개발_TIL | 2022-05-16(20)

▷ 딥러닝의 주요 개념

  1) Batch size, Epoch (배치 사이즈, 에폭)

   

딥러닝의 주요 개념

     데이터를 쪼갠 크기 = Batch size

     쪼갠 것을 반복하는 것 = Iteration

     이 과정을 하나로 묶으면? = epoch

 

▷ 활성화 함수 (Activation functions)

활성화 함수는 뇌의 뉴런이 다음 뉴런으로 전달할 때 보내는 전기신호의 특성에서 영감을 받아 만들어졌다.

활성화 함수는 비선형 함수여야 하며, 비선형 함수의 대표적인 예는 시그모이드함수이다.

활성화 함수 예시

   - 활성화 함수의 종류

활성화 함수의 종류

    대부분 ReLU를 사용한다.(다른 활성화 함수보다 학습이 빠르며,연산 비용이 적고 구현이 간단하기 때문)

 

▷ 과적합, 과소적합 (Overfitting, Underfitting)

Training loss는 점점 낮아지는데 Validation loss가 높아지는 시점이 과적합 현상이라고 한다.

반대의 경우가 과소적합 현상!

 

▷ 딥러닝의 주요 스킬

    1) 데이터 증강기법(Data augmentation)

      과적합을 해결하기 가장 좋은 방법으로 데이터의 개수를 늘리는 방법

      데이터를 뒤집거나 좌우반전,상하반전 등으로 개수를 늘리는 방법이다.

    2) 드랍아웃 (Dropout)

      각노드들이 이어진 선을 빼서 없애버린다는 의미로 랜덤한 노드를 끊어 다음 노드로 전달할 때

      랜덤하게 출력을 0으로 만들어버리는 것과 같다.

    3) 앙상블 (Ensemble)

      컴퓨팅 파워만 충분하다면 가장 시도해보기 쉬운 방법으로, 여러개의 딥러닝 모델을 만들어 각각

      학습 시킨 후 각각의 모델에서 나온 출력을 기반으로 투표를 하는 방법이다.

    4) Learning rate decay ( Learning rate schedules)

      실무에서 자주 쓰는 기법으로 Local minimum에 빠르게 도달하고 싶을 때 사용한다.

      학습의 앞부분에서는 큰 폭으로 건너뛰고 뒷부분으로 갈수록 조금씩 움직여서 효율적으로

      Local minimum을 찾는 방법