목적함수, 손실함수, 비용 함수, 오차 함수

목적함수 Objective function

  우리가 최적화하고 싶어하는 함수

•   함수를 최소화할 때 비용함수, 손실 함수, 오류 함수
•   함수를 최대화할 때 MLE, 클래스 간의 다이버전스

 

손실함수 Loss function

  어떤 문제에서 머신러닝 알고리즘이 얼마나 엉터리인지 측정하는 기준

  샘플 하나에 대한 손실을 구하는 데, 즉 파라미터 추정에 쓰인다.

  한 트레이닝에만 영향을 미친다.

• 제곱 손실 - 선형 회귀에 사용(릿지)
• 힌지 손실 - SVM(서포터 벡터 머신)에서 사용
• 0/1 손실 - 이론 분석 및 정확도 정의에 사용
• log 손실 - 로지스틱 회귀에서 사용

 

비용함수 cost function

  훈련 세트에 있는 모든 샘플에 대한 손실 함수의 합

  전체 트레이닝 셋에 걸쳐있으므로 최적화 문제에 쓰인다.

• 평균 제곱 오차(MSE ; Mean Square Error)
• SVM 비용 함수

 

오차 함수 Error function

  보통 딥러닝에서 손실 함수의 다른 말로 쓰인다.

 

평균 제곱 계열 - 회귀문제(타겟이 연속형)에 쓰임.

• 평균 제곱 오차

$$ \frac{1}{n} \sum_{i=1}^n (y_i-\hat{y_i})^2 $$

• 평균 절대 오차

$$ \frac{1}{n} \sum_{i=1}^n |y_i-\hat{y_i}| $$

• 평균 절대 백분율 오차

$$ \frac{1}{n} \sum_{i=1}^n \frac{|y_i-\hat{y_i}|}{|y_i|} $$

• 평균 제곱 로그 오차

$$ \frac{1}{n} \sum_{i=1}^n (log(y_i+1)-log(\hat{y_i}+1))^2$$

 

교차 엔트로피 게열 - 분류문제(타겟이 이산/범주형)에 쓰임.

• 교차 엔트로피

- Entropy

$$ H(x) = -\sum_{i=1}^n p(x_i)log(p(x_i)) $$

- Cross entropy

$$ H_p(q) = -\sum_{i=1}^n q(x_i)log(p(x_i)) $$

• 이항/이진 교차 엔트로피 (= 로지스틱 손실 함수)

$ x_i $ 실제 입력 값

$y_i$ 실제 결과 값 -> 1 또는 0

$$ h_{\theta}(x_i) = \frac{1}{1+e^{-(\theta_1x_i+\theta_0)}} $$

$$ J(\theta) = -\frac{1}{m}\sum_{i= 1}^m[y_ilog(h_\theta(x_i)) +(1-y_i)log(1- h_\theta(x_i))] $$

 

참고 : 여기