Neural Networks and Deep Learning [1주차]

강의 소개

이 강의는 심화과정 5개 강의 중 첫 번째 강의

첫 번째 강의에서는 신경망과 딥러닝의 기본 개념을 학습합니다.

---

강의 목차

• 딥러닝 소개

---

1. 딥러닝 소개

신경망이란?

- 집값 예측 예시

 

집 크기에 따라 가격이 오르는 모습

모양이 ReLU모양

몇 개의 뉴런을 거쳐 가격을 예측할 수 있다.

-> 이게 실제 신경망

---

신경망을 사용한 지도학습

지금까지 신경망에 의해 창출된 거의 모든 경제적 가치는 지도 학습이라는 한가지 유형의 머신 러닝을 통해 만들어진 것

CNN

: 이미지 애플리케이션의 경우 CNN으로 약칭되는 컨볼루션 신경망을 사용하는 경우가 많습니다.

RNN

: 오디오는 시간에 따라 재생되기 때문에 가장 자연스럽게 1차원 시계열 또는 1차원 시간 시퀀스로 표현

그러므로 시퀀스 데이터의 경우 RNN, 순환 신경망을 사용하는 경우가 많습니다.

 

표준신경망(standard NN)

 

structured data

구조화된 데이터는 기본적으로 데이터 데이터베이스를 의미합니다.

unstructured data

-비정형 데이터는 오디오, 원시 오디오 또는 이미지나 텍스트의 내용을 인식하려는 이미지와 같은 것.

정형데이터보다 비정형 데이터를 이해하는 것이 훨씬 더 어렵

---

딥러닝이 도약하는 이유?

1. data -> 데이터의 양이 무수히 많아짐
2. computation ->하드웨어와 소프트웨어 발전으로 계산 속도가 올라감
3. algorithms -> 알고리즘 발전으로 계산 속도 향상

sigmoid 함수는 머신러닝에 적용시키는 경우 이 부분들이 함수의 기울기가 거의 0에 가까운 값이 됨. 그러면 러닝의 속도가 매우 느려집니다. 그 이유는 gradient descent (기울기 강하)를 도입하는 경우 기울기가 0이면 개체가 매우 느린 속도로 변하기 때문입니다.

반면에, 액티베이션 함수로 바꾸는 경우엔 신경망이 오른쪽에 있는 함수를 적용시켜 Relu 기울기는 모든 양수에 대해 1이되고 그렇기 때문에 기울기가 0으로 줄어드는 확률은 급격히 감소됩니다.

그래서, 여기 이 부분에서 기울기는 값이 0이지만 시그모이드 함수에서 ReLU 함수로 변경하면서 gradient descent (기울기 강하)라는 알고리즘을 더 빨리 작동하는 알고리즘을 생성시켰습니다.

---