MLP
Neural Network의 예시로 One Layer Neural Network를 먼저 보면
One Layer Neural Network
앞서 봤던 로지스틱 회귀(Logistic Regression)는 활성 함수가 시그모이드 함수인 1층 뉴럴 네트워크와 같다고 볼 수 있음.
$$ h_{\theta}(x) = \sigma(\theta_0 + \theta_1 x_1 + \theta_2 x_2) $$
이를 1층 뉴럴 네트워크로 나타내면, 입력값 \( x_1, x_2 \)에 가중치 \( w_1, w_2 \)를 곱하고, 이를 합산한 값 \( u \)에 시그모이드 함수를 적용하여 출력값 \( y \)를 얻는것.
수식으로는 다음과 같이 표현할 수 있음.
$$ u = \sum_{i=1}^{N} w_i x_i $$
$$ \phi_{sig}(u) = y $$
여기서 \( \sigma(x) \)는 로지스틱 함수로, 다음과 같이 정의됨.
$$ \sigma(x) = \frac{1}{1 + e^{-x}} $$
그리고 \( \phi_{sig}(x) \)는 시그모이드 함수로, 다음과 같이 정의됨.
$$ \phi_{sig}(x) = \frac{1}{1 + e^{-x}} $$
즉, \( u \)에 시그모이드 함수를 적용한 값이 최종 출력값 \( y \)가 됨.
이렇게 로지스틱 회귀는 활성 함수가 시그모이드 함수인 1층 뉴럴 네트워크와 동일한 구조를 가지며, 이 기본적인 구조를 확장하여 더 복잡한 네트워크를 구성할 수 있음.
One Layer Neural Network의 구조를 나타낸 다이어그램 ( 이해를 위해~)
\[ \begin{array}{cccccc} & x_1 & \xrightarrow{w_1} & u & \xrightarrow{\sigma} & y \\ & x_2 & \xrightarrow{w_2} & u & \xrightarrow{\sigma} & y \\ \end{array} \] \[ u = \sum_{i=1}^{N} w_i x_i \] \[ \phi_{sig}(u) = \frac{1}{1 + e^{-u}} \]
One neural network 의 한계
and 나 or 의 연산에서는 single network(즉 하나의 선으로 두가지 점을 구분살 수 있음. 그치만 XOR에서는?? 하나의 선만으로는 구분 할 수 가 없음.
그럼 점들이 더 종류가 많아지고 복잡해지면..?
이 그림을 보면 좀 더 이해가 잘 될 수 있는데, 하나의 선으로 구분할 수 없었던거를 multi layer 를 통해서 다시 정의해서 구분할 수 있게 만들어줄 수 있는것임.
그래서 나오게 된게 Multi Layer Perceptron
Multi Layer Perceptron (MLP)
요런 해석(직관) 도 가져보면 좋을것 같음
어떻게 보면 x(입력 벡터) 랑 W(weight ) 들의 dot product score를 계산해서 유사도를 구하는걸로, 입력이랑 W의 패턴이 얼마만큼 유사한지 에대한 점수가 뮤1, 뮤2,,,,, 이런식으로 나오게 되는것.