AI/Deep Learning

합성곱신경망, CNN(Convolutional neural network)

CNN은 이미지 인식과 음성 인식 등 다양한 곳에서 사용 되는데, 특히 이미지 인식 분야에서 딥러닝을 활용한 기법은 거의 CNN을 기초로 할 정도로 중요한 신경망 중 하나 입니다. CNN의 등장 ; 완전연결 계층(Fully Connected Layer)의 문제점 완전연결 신경망에서는 완전연결 계층(Affine 계층)을 사용했습니다. 완저연결계층에서는 인접하는 계층의 뉴런이 모두 연결되고 출력의 수는 임의로 정할 수 있습니다. 완전연결 계층의 문제점은 바로 데이터의 형상이 무시된다는 사실 입니다. 예를들어, (세로 * 가로 * 색상) 정보가 들어있는 3차원 이미지를 입력할 때 완전연결 계층은 1차원 데이터로 평탄화를 해줘야 합니다. 즉 3차원 속에서 의미를 갖는 본질적인 패턴의 형상을 무시하고 모든 입력 ..

신경망 학습 방법

본 글은 「밑바닥부터 시작하는 딥러닝」 책을 공부하고 정리한 내용입니다. 신경망의 학습은 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 얻는 것을 말합니다. 손실 함수는 신경망이 학습할 수 있도록 해주는데 이 손실 함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것이 목표입니다. 기계학습엔 크게 세 가지의 접근법이 존재합니다. 사람이 생각한 알고리즘으로 결과를 창출 사람이 특징을 설계하고 기계학습 후 결과 창출 인간의 개입없이 딥러닝을 통해 결과 창출 딥러닝은 인간의 개입이 없으므로 종단 간 기계학습이라고도 한다. 기계학습 문제는 훈련 데이터와 시험 데이터로 나눠 학습과 실험을 수행하는 것이 일반적입니다. (먼저 훈련 데이터만 사용하여 학습하면서 최적의 매개변수를 찾고 그 후에 시험 데이..

신경망, 인간의 두뇌

본 글은 「밑바닥부터 시작하는 딥러닝」 책을 공부하고 정리한 내용입니다. 이전 글(퍼셉트론)에 이어서 퍼셉트론과 공통점이 많은 신경망에 대해 소개해드리겠습니다. 신경망은 인간이 가중치값을 수동으로 설정해줘야 하는 퍼셉트론과 다르게 가중치값도 자동으로 기계가 학습할 수 있게 합니다. 신경망의 그림입니다. 구조는 입력층, 은닉층, 출력층으로 나눠져 있는데 은닉층의 뉴런(노드)은 사람 눈에 보이지 않습니다. 전 글에서 퍼셉트론 수식에 대해 설명드렸을 때 θ(세타)를 b(편향)으로 치환하여 수식을 나타냈었는데요. 이를 노드로 표현하면 다음과 같습니다. 가중치가 b이고 입력이 1인 뉴런(노드)이 추가됐습니다. 편향의 입력 신호는 항상 1입니다. 편향이 있는 수식인데 조건 분기 동작을 하나의 함수로 만들어 더 간단..

퍼셉트론(Perceptron) : 딥러닝의 기원

본 글은 「밑바닥부터 시작하는 딥러닝」 책을 공부하고 정리한 내용입니다. 퍼셉트론이란? 퍼셉트론은 미국의 신경생물학자인 프랑크 로젠블라트가 1957년에 고안했습니다. 퍼셉트론은 초기 형태의 인공 신경망으로, 다수의 입력으로부터 하나의 출력을 내보내는 알고리즘 입니다. 퍼셉트론 알고리즘의 구조는 크게 입력, 가중치, 출력으로 나뉘어져 있습니다. 다음 사진은 n개의 입력을 받은 퍼셉트론의 예 입니다. x는 입력 신호, w는 가중치, y는 출력 신호입니다. 그림에 나와있는 원은 뉴런 혹은 노드라고 부릅니다. 입력 신호가 뉴런에 보내질 땐 각각의 가중치 w가 곱해집니다. 각 입력 신호와 그에 해당되는 가중치의 곱의 전체 합이 임계값(Threshold, θ)을 넘으면 1을 출력하고 그렇지 않으면 0을 출력합니다...