728x90 반응형 AI/딥러닝 DL1 고급 경사 하강법 ; optimizer 딥러닝을 제대로 학습시키기 위해서는 많은 데이터를 필요로 한다. 또한, 그만큼 일반적인 경사하강법(GD ; Gradient Descent 또는 Batch GD)을 사용할 경우 한 번 업데이트할 때마다 모든 데이터를 미분해야 하므로 계산량이 매우 많아 시간이 무척 오래 걸린다. 또, 최적의 해를 찾기위해 충분히 반복하여야하며, local minima나 saddle point에 걸려 잘못된 해를 찾을 수도 있으므로 여러 곳에서부터 최적의 해를 찾아봐야하므로 더욱더 많은 시간을 걸린다. 이러한 점을 보완하기 위해 개선된 경사 하강법이 등장하였다. 확률적 경사 하강법 ; Mini-batch Stochastic GD 모든 데이터를 사용하는 것이 아니라, 랜덤하게 추출한 일부 데이터를 사용하여 더 빨리 그리고 자주.. 2022. 4. 18. 이전 1 다음 728x90 반응형
