딥러닝

신경망 학습 방법

본 글은 「밑바닥부터 시작하는 딥러닝」 책을 공부하고 정리한 내용입니다. 신경망의 학습은 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 얻는 것을 말합니다. 손실 함수는 신경망이 학습할 수 있도록 해주는데 이 손실 함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것이 목표입니다. 기계학습엔 크게 세 가지의 접근법이 존재합니다. 사람이 생각한 알고리즘으로 결과를 창출 사람이 특징을 설계하고 기계학습 후 결과 창출 인간의 개입없이 딥러닝을 통해 결과 창출 딥러닝은 인간의 개입이 없으므로 종단 간 기계학습이라고도 한다. 기계학습 문제는 훈련 데이터와 시험 데이터로 나눠 학습과 실험을 수행하는 것이 일반적입니다. (먼저 훈련 데이터만 사용하여 학습하면서 최적의 매개변수를 찾고 그 후에 시험 데이..

퍼셉트론(Perceptron) : 딥러닝의 기원

본 글은 「밑바닥부터 시작하는 딥러닝」 책을 공부하고 정리한 내용입니다. 퍼셉트론이란? 퍼셉트론은 미국의 신경생물학자인 프랑크 로젠블라트가 1957년에 고안했습니다. 퍼셉트론은 초기 형태의 인공 신경망으로, 다수의 입력으로부터 하나의 출력을 내보내는 알고리즘 입니다. 퍼셉트론 알고리즘의 구조는 크게 입력, 가중치, 출력으로 나뉘어져 있습니다. 다음 사진은 n개의 입력을 받은 퍼셉트론의 예 입니다. x는 입력 신호, w는 가중치, y는 출력 신호입니다. 그림에 나와있는 원은 뉴런 혹은 노드라고 부릅니다. 입력 신호가 뉴런에 보내질 땐 각각의 가중치 w가 곱해집니다. 각 입력 신호와 그에 해당되는 가중치의 곱의 전체 합이 임계값(Threshold, θ)을 넘으면 1을 출력하고 그렇지 않으면 0을 출력합니다...

Chainer: A Deep Learning Framework for Accelerating theResearch Cycle 리뷰

딥러닝 프레임워크 중 하나인 Chainer에 대해 리뷰를 해보려고 합니다. Chainer 소개 Chainer는 이라는 일본 벤처 기업이 개발한 딥러닝 프레임워크입니다. 특징 ▒ "Define-and-run" vs "Define-by-run" Chainer는 무엇보다도 다른 딥러닝 프레임워크와는 다르게 "Define-by-run" 체계를 기반으로 합니다. Tensorflow, Caffe, Microsoft의 CNTK 모두 정적 그래프 프레임워크이며 "Define-and-run" 체계 기반입니다. "Define-and-run"은 네트워크(또는 계산 그래프)가 정의되고 고정된 후 미니 배치가 고정된 네트워크에 공급되는 형식이고, "Define-by-run"은 미니 배치가 공급되고 네트워크는 순방향 계산을 통..