머신러닝 기초 개념-06. loss function (1)

💡 loss function : 모델의 inference 결과와 실제값 사이의 틀린 정도를 계산하는 함수

 

Source : https://datahacker.rs/003-pytorch-how-to-implement-linear-regression-in-pytorch/

• hat y(예측값 predicted value)와 y(traget value) 사이의 차이를 계산해주는 함수.
• 덜 틀릴 수록(= 차이가 적을 수록) 학습을 잘한 것
• 그럼 Loss function의 결과에 영향을 주는 변수는 무엇일까?
• → parameter (weight)
• Loss function의 결과가 가장 작아질 수 있는 parameter를 찾는 것이 학습의 목표

Loss Function Optimization

Source : https://www.kaggle.com/mrhippo/data-science-notes5-deep-learning-ann

• Loss function이 최적의 값을 가질 수 있는 파라미터를 찾기 위해서는 파라미터를 적절하게 업데이트 해주어야 합니다.
• 성능이 향상되는 방향으로 파라미터를 업데이틀 하는 것 중요 (=loss가 줄어드는 방향)
• Loss space에서 최적의 파라미터 조합을 찾는 문제는 수학적으로 매우 어렵습니다. (고차원에서의 최적화 문제는 해답을 찾기가 어려움)
• 현실적으로 최적의 파라미터 조합을 찾을 수 있는 “gradient Descent Algorithm” 이 제일 많이 사용됩니다.Source : https://blog.clairvoyantsoft.com/the-ascent-of-gradient-descent-23356390836f
• Gradient Descent algorithm은 산맥에서 임의의 포인트에 떨어졌을 때, 현재 서 있는 위치에서 가장 가파른 방향으로 한 발자국씩 내려가는 방법으로 최선을 다해 밑바닥으로 내려갈 수 있는 방법
• practical하게 굉장히 좋은 파라미터 조합을 잘 찾아주며, 대부분의 머신러닝 모델에 적용되어 있는 최적화 방식임
• Gradient Descent algorithm은 파라미터가 점차 Loss Function에서 최소값을 가질 수 있게 파라미터를 업데이트 해준다.
• 단, 무조건 global minimum(최소값)을 찾는 것은 아님. local minimum(극소값)을 찾을 수 있음(극소값은 무조건 찾음)

---

Hands-on

1. 머신러닝에서 사용되는 대표적인 Loss Function을 3가지만 조사해보세요. (분류, 회귀, 클러스터링에서 하나씩 찾아보면 제일 좋습니다!)
   • 분류(Classification):
     • 크로스 엔트로피 손실(Cross-Entropy Loss): 분류 문제에서 주로 사용되는 손실 함수로, 실제 레이블과 예측값 사이의 차이를 계산합니다. 크로스 엔트로피 손실은 다중 클래스 분류 문제에서 자주 사용되며, 모델이 정확한 클래스를 예측하도록 돕습니다.
     • 로지스틱 손실(Logistic Loss): 이진 분류 문제에서 사용되는 손실 함수로, 로지스틱 회귀에서 주로 활용됩니다. 실제 레이블과 예측값 사이의 차이를 계산하여 모델을 학습시킵니다.
   • 회귀(Regression):
     • 평균 제곱 오차(Mean Squared Error, MSE): 회귀 문제에서 주로 사용되는 손실 함수로, 예측값과 실제 값 사이의 차이를 계산하여 평균을 취합니다. MSE는 오차의 제곱을 사용하므로 큰 오차에 더 많은 패널티를 부여합니다.
     • 평균 절대 오차(Mean Absolute Error, MAE): MSE와 유사한 회귀 문제에서 사용되는 손실 함수로, 예측값과 실제 값 사이의 절대 차이를 계산하여 평균을 취합니다. MAE는 오차의 절대값을 사용하므로 큰 오차에 대해 더 균등한 패널티를 부여합니다.
   • 클러스터링(Clustering):
     • 이상치 탐지: 클러스터링 문제에서는 일반적으로 레이블이 없기 때문에 명시적인 손실 함수가 사용되지 않는 경우가 많습니다. 대신 이상치 탐지 기법을 활용하여 데이터 내에서 이상치를 식별하고 제거하는 방식으로 클러스터링의 품질을 평가합니다. 이상치 탐지 기법은 데이터의 밀도, 거리, 이상치 점수 등을 고려하여 이상치를 식별하는데 사용됩니다.
2. Loss function optimization에서 수학적으로 최소값을 찾는 analytic solution 대신, Gradient Descent를 주로 사용하는 이유는 무엇일지 생각해보세요.

• Gradient Descent는 복잡한 손실 함수에서도 적용 가능한 범용적인 최적화 알고리즘입니다. 다양한 형태의 모델과 손실 함수에 적용할 수 있어 활용 범위가 넓습니다.
• Gradient Descent는 기울기(Gradient)를 사용하여 손실 함수의 최소값을 찾는 방법입니다. 기울기는손실 함수의 기울기(Gradient)는 현재 위치에서 가장 가파른 강하 방향을 나타냅니다. Gradient Descent는 이 기울기를 이용하여 손실 함수의 최소값을 찾기 위해 반복적으로 파라미터를 업데이트합니다. 이를 통해 모델의 손실을 최소화하고, 최적의 파라미터 값을 찾을 수 있습니다.