목적함수, 손실함수, 비용 함수, 오차 함수
목적함수 Objective function
우리가 최적화하고 싶어하는 함수
- 함수를 최소화할 때 비용함수, 손실 함수, 오류 함수
- 함수를 최대화할 때 MLE, 클래스 간의 다이버전스
손실함수 Loss function
어떤 문제에서 머신러닝 알고리즘이 얼마나 엉터리인지 측정하는 기준
샘플 하나에 대한 손실을 구하는 데, 즉 파라미터 추정에 쓰인다.
한 트레이닝에만 영향을 미친다.
- 제곱 손실 - 선형 회귀에 사용(릿지)
- 힌지 손실 - SVM(서포터 벡터 머신)에서 사용
- 0/1 손실 - 이론 분석 및 정확도 정의에 사용
- log 손실 - 로지스틱 회귀에서 사용
비용함수 cost function
훈련 세트에 있는 모든 샘플에 대한 손실 함수의 합
전체 트레이닝 셋에 걸쳐있으므로 최적화 문제에 쓰인다.
- 평균 제곱 오차(MSE ; Mean Square Error)
- SVM 비용 함수
오차 함수 Error function
보통 딥러닝에서 손실 함수의 다른 말로 쓰인다.
평균 제곱 계열 - 회귀문제(타겟이 연속형)에 쓰임.
- 평균 제곱 오차
$$ \frac{1}{n} \sum_{i=1}^n (y_i-\hat{y_i})^2 $$
- 평균 절대 오차
$$ \frac{1}{n} \sum_{i=1}^n |y_i-\hat{y_i}| $$
- 평균 절대 백분율 오차
$$ \frac{1}{n} \sum_{i=1}^n \frac{|y_i-\hat{y_i}|}{|y_i|} $$
- 평균 제곱 로그 오차
$$ \frac{1}{n} \sum_{i=1}^n (log(y_i+1)-log(\hat{y_i}+1))^2$$
교차 엔트로피 게열 - 분류문제(타겟이 이산/범주형)에 쓰임.
- 교차 엔트로피
- Entropy
$$ H(x) = -\sum_{i=1}^n p(x_i)log(p(x_i)) $$
- Cross entropy
$$ H_p(q) = -\sum_{i=1}^n q(x_i)log(p(x_i)) $$
- 이항/이진 교차 엔트로피 (= 로지스틱 손실 함수)
$ x_i $ 실제 입력 값
$y_i$ 실제 결과 값 -> 1 또는 0
$$ h_{\theta}(x_i) = \frac{1}{1+e^{-(\theta_1x_i+\theta_0)}} $$
$$ J(\theta) = -\frac{1}{m}\sum_{i= 1}^m[y_ilog(h_\theta(x_i)) +(1-y_i)log(1- h_\theta(x_i))] $$
참고 : 여기