확률적경사하강법1 6-1. 학습 관련 기술들 6. 학습 관련 기술들 6장에서는 신경망 학습의 핵심 개념을 다룬다. 가중치 매개변수의 최적값을 탐색하는 최적화 방법, 가중치 매개변수 초깃값, 하이퍼파라미터 설정 방법 등이다. 오버피팅 대응책인 가중치 감소와 드롭아웃 등의 정규화 방법과 배치 정규화도 짧게 알아본다. 6.1. 매개변수 갱신 신경망 학습의 목적은 손실 함수의 값을 가능한 한 낮추는 매개변수를 찾는 것이다. 이는 곧 매개변수의 최적값을 찾는 문제이며, 이 문제를 푸는 것을 최적화(optimization)라 한다. 신경망 최적화는 굉장히 어려운 문제다. 매개변수 공간은 매우 넓고 복잡해서 최적의 솔루션은 쉽게 찾을 수 없다. 심층 신경망에서는 매개변수의 수가 엄청나게 많아져서 더 어렵다. 지금까지 최적의 매개변수 값을 찾는 단서로 매개변수의.. 2020. 5. 11. 이전 1 다음
