개발_TIL | 2022-05-13(19)

▷ 논리 회귀 (Logistic regression)

   특정 변수에 대한 확률값이 선형이 아닌 S 커브 형태를 따르는 경우에 사용하며, 이러한

   S-커브를 함수로 표현해낸 것이 바로 로지스틱 함수(Logistic function)이다. (딥러닝 에서는

   시그모이드 함수(Sigmoid function)이라고 불린다)

 

   실질적인 계산은 선형 회귀와 똑같지만, 출력에 시그모읻 함수를 붙여 0에서 1사이의 값을

   가지도록합니다.

   <시그모이드 함수>

시그모이드 함수 그래프

     x(입력)가 음수 방향으로 갈수록 y(출력)가 0에 가까워지고,

     x(입력)가 양수 방향으로 갈수록 y(출력)가 1에 가까워진다.

    => 시그모이드 함수를 통과하면 0에서 1사이 값이 나오게 된다!

 

Keras에서 이진 논리 회귀의 경우 손실 함수로 binary_crossentropy 를 사용한다.

▷ 다항 논리 회귀 (Multinomial logistic regression)

   클래스가 여러개로 나뉠 경우 사용.

   <원핫 인코딩>

     다항 분류 문제를 풀 때 출력값의 형태를 가장 예쁘게 표현할 수 있는 방법.

     -> 1) 클래스의 개수만큼 배열을 0으로 채운다

         2) 각 클래스의 인덱스 위치를 정한다.

         3) 각 클래스에 해당하는 인덱스에 1을 넣는다.

 

   <Softmax함수와 손실함수>

     Softmax란 선형 모델에서 나온 결과를 모두가 더하면 1이 되도록 만들어주는 함수

     여기서 1이란 예측의 결과를 확률로 표현하여 1이되면 100%라는 뜻이다.

     Keras에서 다항 논리 회귀의 경우 손실 함수로 categorical_crossentropy 를 사용한다.

 

▷ 다양한 러신머닝 모델

   1) Support vector machine(SVM)

     특정된 두가지의 모델을 분류 할 때도 사용되며, 두가지 모델을 구분하기 위해 그래프에 직선을

     긋고 하나의 모델과 직선과의 최소 거리를 Support vector라고 부르며, 다른 하나와의 Support vector와

     더하게 되면 이것이 Margin이 라고 불리어진다. Margin이 넓어질수록 훌륭한 Support vector machine이 된다.

 

   2) k-Nearest Neighbors(KNN)

     KNN은 비슷한 특성을 가진 개체끼리 군집화하는 알고리즘이다.

     새로운 개체가 나타났을 때, 일정 거리안에 다른 개체들의 개수(k)를 보고 자신의 위치를 결정하는 것!

 

   3) Decision tree(의사결정나무)

     흔히 스무고개와 같은 방식으로 예,아니오를 반복하며 추론해나가는 방식이다.

 

   4) Ramdom forest

     의사결정나무를 여러개 합친 모델. 각각의 의사결정나무들이 결정을 하고 마지막에 투표를 통해 최종 답을 결정한다