경사하강법

신경망 학습 방법

본 글은 「밑바닥부터 시작하는 딥러닝」 책을 공부하고 정리한 내용입니다. 신경망의 학습은 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 얻는 것을 말합니다. 손실 함수는 신경망이 학습할 수 있도록 해주는데 이 손실 함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것이 목표입니다. 기계학습엔 크게 세 가지의 접근법이 존재합니다. 사람이 생각한 알고리즘으로 결과를 창출 사람이 특징을 설계하고 기계학습 후 결과 창출 인간의 개입없이 딥러닝을 통해 결과 창출 딥러닝은 인간의 개입이 없으므로 종단 간 기계학습이라고도 한다. 기계학습 문제는 훈련 데이터와 시험 데이터로 나눠 학습과 실험을 수행하는 것이 일반적입니다. (먼저 훈련 데이터만 사용하여 학습하면서 최적의 매개변수를 찾고 그 후에 시험 데이..