위클리 페이퍼 #11 - 손실함수(Loss function)

손실함수(Loss Function)

손실함수(Loss function)이란 머신러닝과 딥러닝에서 주요 지표로 볼수 있는 것중의 하나로, 모델링을 평가할때 해당 ML 모델이 global loss에 도달했는지, local loss에 빠져서 못나오는지에 대해서 판단할수 있는 지표입니다. 즉, 훈련 데이터셋이 모델링에 잘 적응하고 개선이 되는지 파악할수 있다.

 

손실 함수는 머신러닝이나 딥러닝 모델이 예측한 값과 실제 값 사이의 차이를 측정하는 함수로, 모델의 성능평가 및 개선 방향성을 알려주는 역할을 하게 된다. loss function의 값이 최소화 될수록 데이터에 맞게 최적화가 잘된 모델이라고 판단할 수 있다.

 

수 많은 종류의 손실함수가 존재하며. 대표적으로 사용하는 몇가지 함수는 아래와 같다.

 

MSE(Mean Squared Error)

- 회귀 문제에서 많이 사용되는 손실함수로, 예측값과 실제 값의 차이를 Squared(제곱)한 후 Mean(평균)을 취하는 방법이다.

 

$$MSE = \frac{1}{N} \sum_{i=1}^{N} (y_i - \hat{y}_i)^2 $$

 

Categorical Cross-Entropy

- 다중 클래스 분류 문제에서 사용되는 손실함수로. 클래스에 대한 예측 확률과 실제 클레스 사이의 차이를 측정

 

$$    \text{CCE} = -\frac{1}{N} \sum_{i=1}^{N} \sum_{c=1}^{C} y_{i,c} \log(\hat{y}_ {i,c})$$