cost function에서 global minimun을 찾고 local minimun에 빠지지 않기 위함입니다.
New cost function for logistic
sigmoid function의 exponential term을 log를 이용하여 상쇄합니다.
위의 cost function을 이용하면,
실제 lable이 y=1이고 예측값이 H(x)=1로 맞았을 경우, -log(1)로 cost function 값이 0이 됩니다.
실제 lable이 y=1이고 예측값이 H(x)=0으로 틀렸을 경우, -log(0)로 cost function 값이 커지게 됩니다.
실제 lable이 y=0이고 예측값이 H(x)=0으로 맞았을 경우, -log(1-0)로 cost function 값이 0이 됩니다.
실제 lable이 y=0이고 예측값이 H(x)=1로 틀렸을 경우, -log(1-1)로 cost function 값이 커지게 됩니다.
y=1인 경우와 y=0인 경우의 if condition을 위의 수식을 이용하여 상쇄합니다.
y=1인 경우,
두 번째 term이 없어집니다.
y=0인 경우,
첫 번째 term이 없어집니다.
Minimize cost - Gradient decent algorithm
cost function의 기울기(미분)을 구해서 W를 update합니다.
출처
'머신러닝 > 모두를 위한 딥러닝' 카테고리의 다른 글
| Learning and test data sets (0) | 2017.03.22 |
|---|---|
| Learning rate, data preprocessing, overfitting (0) | 2017.03.22 |
| Softmax classification: Multinomial classification (0) | 2017.03.22 |
| Logistic Classification의 가설 함수 정의 (0) | 2017.03.22 |