딥러닝 (1)

딥러닝

 

대량의 데이터로부터 학습하는 머신러닝의 한 종류

인간의 두뇌에서 영감을 받은 알고리즘인 인공 신경망의 다른 이름

이미지 및 음성 인식, 자연어 처리에 엄청난 혁신을 가진다

 

기존 머신 러닝 : Features를 직접 만들어야 함

딥러닝 : Features를 알아서 배워가는 형태에 가까움

이는 이미지, 오디오, 자연어 프로세싱의 경우 더더욱 두드러진다.

 

 

MNIST 

"Hello World" of 딥러닝

숫자 인식기(0-9)

ImageNet

 

퍼셉트론(뉴런) | 다수의 신호를 입력으로 받아 하나의 신호를 출력

동작 방식 : 

활성함수 | 입력노드의 가중치와 입력치를 곱한 것을 모두 합한 값을 입력으로 받아 임계치 기준으로 출력값 결정

보통 임계치 0을 사용 / 최종합이 0보다 크면 퍼셉트론이 활성화 된다. 

 

활성 함수 종류

다양한 구조의 딥러닝 모델

히든 레이어가 많을 수록 딥러닝 모델이 더 발전 된다.

처음에 데이터 사이언티스트들이 구조를 정한다. 인풋 레이어의 노드수, 히든 레이어 개수, 각각의 노드 수, 

 

트레이닝으로 무엇을 결정하는가?

 

노드들간의 weight와 bias가 결국 트레이닝으로 결정 | 처음에는 무작위로 설정되고 훈련을 통해 결정됨(손실함수의 값을 최소화하는 형태로 감)

비용 함수 : 얼마나 틀리는지 알려주는 함수

Learning rate 란것이 트레이닝시 속도를 결정 | 너무 작으면 트레이닝에 많은 시간이 걸리고 너무 크면 트레이닝이 수렴하지 않을 수 있다. 

 

비용 함수 (Loss Function) 

모든 모델마다 적합한 비용 함수가 있다. 이 함수가 최소값일때의 모델이 바로 최적의 모델

입력 : 정답과 예측값 / 출력 : 비용(정답과 예측값간의 간극) 

비용함수의 값을 최소화하는 방향으로 뉴런들의 weight를 최소화하는 방식

 

 

비용함수의 미분이 가능하다면 이를 통해 최소값을 찾는 것이 가능

수학적으로 미분하는 게 아니고 수치적으로 미분하는 방식이다.