나혼자 공부장

Learning Rate Gradient Descent 알고리즘을 수행할 때 learning rate를 너무 크게 설정할 시 나타나는 결과다. 보폭이 지나치게 커져 반대편 경사면으로 넘어가게 되고, 아예 포물선 밖으로 튕겨져나가는 경우(overshooting)까지 발생할 수 있다. 반대로 너무 작아져도 문제다. 물론 위의 경우처럼 overshooting은 일어나지 않겠지만 지나치게 작은 보폭 때문에 학습에 엄청나게 시간이 많이 걸리고, 우리가 생각하는 최저점까지 가지 못하고 멈춰버린다. 즉, 최저점을 바르게 인식하지 못한다. 어떻게 해결하는가? 요령이란 전혀 없다. 다양한 learning rate을 적용해서 적절한 결과를 도출해낼 때까지 실행해 보는 것이 최선이다. Overfitting 머신러닝에서의 가..