Likelihood(우도)란?
Likelihood는 주어진 데이터가 특정 확률 분포에서 나왔을 가능성을 나타내는 함수이다.
Probability(확률) vs Likelihood(우도)
Probability: 확률 분포 혹은 모델이 주어졌을 때, 특정 데이터가 나올 확률을 계산하는 것
Likelihood: data를 고정하고, 어떤 확률 분포가 무엇인지 추정하는 것
직관적 예시
1) Probability
2) Likelihood
MLE(Maximum Likelihood Estimation, 최대 우도 측정)
data의 likelihood를 최대로 만드는 parameter(모수)를 찾는 방법이다.
딥러닝에서의 MLE 사용
Regression에서 MLE 적용
1) Data가 Normal Distribution을 따른다고 가정
딥러닝에서 주택 가격 예측과 같은 회귀 문제는 출력 y가 입력 x에 대해 정규 분포를 따른다고 가정하는 경우가 많다.
+) 딥러닝에서 출력이 입력에 대해 정규분포를 따른다고 가정하는 이유: 중심극한정리(Central Limit Theorem, CLT)
: 깊은 신경망에서는 여러 개의 독립적인 입력들의 가중합이 반복적으로 이루어지기 때문에, 중심극한정리에 의해 출력이 점점 정규 분포에 가까워질 가능성이 커진다.
+) 중심극한정리란?
서로 독립적인 랜덤 변수들의 평균 혹은 합이 충분히 많아지면, 그 분포는 원래 변수들의 분포와 상관없이 정규분포에 가까워진다.
예시)
주사위를 1번 굴리기 => 1에서 6이 똑같이 나올 확률로 균등분포
주사위를 30번 굴려 평균 구하기 => 평균값의 분포가 정규분포에 가까워짐
주사위를 1000번 굴려 평균 구하기 => 거의 완벽한 정규분포처럼 보임
그렇기 때문에 딥러닝에서의 출력이 입력에 대해 정규분포를 따른다고 가정할 수 있다. 추가로 신경망이 깊어질수록 중심극한정리의 효과가 더 강하게 나타난다.
이 경우 확률 밀도 함수(PDF)는 다음과 같다.
2) Likelihood
3) Loss Function과 MLE 관계
Loss를 줄인다 = MSE를 최소화하한다 = Log-Likelihood를 최대화한다 = MLE
