목적함수, 손실함수, 비용 함수, 오차 함수

목적함수 Objective function

  우리가 최적화하고 싶어하는 함수

•   함수를 최소화할 때 비용함수, 손실 함수, 오류 함수
•   함수를 최대화할 때 MLE, 클래스 간의 다이버전스

 

손실함수 Loss function

  어떤 문제에서 머신러닝 알고리즘이 얼마나 엉터리인지 측정하는 기준

  샘플 하나에 대한 손실을 구하는 데, 즉 파라미터 추정에 쓰인다.

  한 트레이닝에만 영향을 미친다.

• 제곱 손실 - 선형 회귀에 사용(릿지)
• 힌지 손실 - SVM(서포터 벡터 머신)에서 사용
• 0/1 손실 - 이론 분석 및 정확도 정의에 사용
• log 손실 - 로지스틱 회귀에서 사용

 

비용함수 cost function

  훈련 세트에 있는 모든 샘플에 대한 손실 함수의 합

  전체 트레이닝 셋에 걸쳐있으므로 최적화 문제에 쓰인다.

• 평균 제곱 오차(MSE ; Mean Square Error)
• SVM 비용 함수

 

오차 함수 Error function

  보통 딥러닝에서 손실 함수의 다른 말로 쓰인다.

 

평균 제곱 계열 - 회귀문제(타겟이 연속형)에 쓰임.

• 평균 제곱 오차

$$\frac{1}{n}\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2$$

• 평균 절대 오차

$$\frac{1}{n}\sum _{i=1}^n|y_i-\widehat{y_i}|$$

• 평균 절대 백분율 오차

$$\frac{1}{n}\sum _{i=1}^n\frac{|y_i-\widehat{y_i}|}{|y_i|}$$

• 평균 제곱 로그 오차

$$\frac{1}{n}\sum _{i=1}^n(log(y_i+1)-log(\widehat{y_i}+1){)}^2$$

 

교차 엔트로피 게열 - 분류문제(타겟이 이산/범주형)에 쓰임.

• 교차 엔트로피

- Entropy

$$H(x)=-\sum _{i=1}^{n}p(x_i)log(p(x_i))$$

- Cross entropy

$$H_p(q)=-\sum _{i=1}^{n}q(x_i)log(p(x_i))$$

• 이항/이진 교차 엔트로피 (= 로지스틱 손실 함수)

$x_i$ 실제 입력 값

$y_i$ 실제 결과 값 -> 1 또는 0

$$h_{\theta }(x_i)=\frac{1}{1+e^{-({\theta }_1{x}_i+{\theta }_0)}}$$

$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m[y_{i}log(h_{\theta }(x_i))+(1-y_i)log(1-h_{\theta }(x_i))]$$

 

참고 : 여기