티스토리 뷰
손실값을 최소화 하기 위한 최적화 알고리즘이다.
손실값을 최소화 해주는 W,b값을 찾아주는 알고리즘인데,
그래프의 기울기를 구하고, 기울기를 계속 낮춰가면서 가장 최적화된 W,b의 값을 찾아 나가는 방법이다.
cost function은 평균적으로 Hypothsis에 얼마나 떨어져 있는지를 구하는 함수이다.
cost function을 미분식에 대입하고
미분을 하면
최종적으로 위와같은 식이 나온다.
경사하강법은 국소 최적해(local minimum)의 위험이 있기 때문에
convex function을 사용한다.
'Programming > Deep Learning' 카테고리의 다른 글
| Gradient Descent Algorithm 구현 (0) | 2018.03.21 |
|---|---|
| 다층 퍼셉트론으로 XOR 게이트 구현 (0) | 2018.03.20 |
| 퍼셉트론으로 AND, OR ,NAND 게이트 구현 (using numpy, introduce bias) (0) | 2018.03.20 |
| 퍼셉트론 AND , OR , NAND게이트 (0) | 2018.03.20 |
| 퍼셉트론 (0) | 2018.03.20 |
댓글