퍼셉트론 perceptron과 신경망 Neural Network

 

 

퍼셉트론 perceptron

  신경망(Neural Network)을 이루는 기본 단위

 

용어정리

가중치(weight)

  선형모델에서의 기울기 $w_1,w_2,...,w_M$

바이어스(bias ; 편향)

  선형모델에서의 절편 $b$

가중합(weighted sum)

  입력값($x$)와 가중치($w$)의 곱을 모두 더한 다음 거기에 바이어스($b$)를 더한 값

활성화 함수(actiivation function)

  가중합의 결과를 놓고 1 또는 0을 출력해서 다음으로 보낼 때, 0과 1을 판단하는 함수

  ex) 시그모이드(sigmoid) 함수, 렐루(ReLU) 함수

 

XOR 문제

 다음과 같이 두 입력 값 $x_1$과 $x_2$가 있을 때, 출력 값 $y$를 가지는 모델을 찾는 것을 말한다.

$x_1$	$x_2$	$y$
0	0	0
0	1	1
1	0	1
1	1	0

이것을 그래프로 표현하면 다음과 같고 빨간점은 1을 하얀점은 0을 뜻한다.

여기서 하얀점과 빨간점을 나누는 하나의 직선으로 나누는 것이 단층 퍼셉트론인데 XOR문제는 단층 퍼셉트론으로는 해결할 수 없다.

이 문제를 해결한 것이 은닉층을 추가한 다층 퍼셉트론이다.

XOR문제를 해결하는 다층 퍼셉트론 구조 (은닉층과 출력층에 활성화 함수(시그모이드)는 생략되었다.)

위의 표현을 행렬수식으로 나타내면 다음과 같다.

$$W^{(1)}=\left(\begin{array}{cc}-2& -2\\ 2& 2\end{array}\right),X=\left(\begin{array}{c}x1\\ x2\end{array}\right),B^{(1)}=\left(\begin{array}{c}3\\ -1\end{array}\right),N=\left(\begin{array}{c}n1\\ n2\end{array}\right),W^{(2)}=\left(\begin{array}{c}1\\ 1\end{array}\right),B^{(2)}=-1$$

$$N=\sigma (W^{(1)}X+B^{(1)}),y=\sigma (W^{(2)}N+B^{(2)}),\sigma =시그모이드함수$$

이것을 풀어쓰면

$$n1=\sigma (-2x1-2x2+3),n2=\sigma (2x1+2x2-1),y=\sigma (n1+n2-1)$$

시그모이드함수는 0.5를 초과하면 1을 출력하고 0.5 이하면 0을 출력한다.

$x1$	$x2$	$n1$	$n2$	$y$
0	0	$\sigma (3)=>1$	$\sigma (-1)=>0$	$\sigma (0)=0.5=>0$
0	1	$\sigma (1)=>1$	$\sigma (1)=>1$	$\sigma (1)=>1$
1	0	$\sigma (1)=>1$	$\sigma (1)=>1$	$\sigma (1)=>1$
1	1	$\sigma (-1)=>0$	$\sigma (3)=>1$	$\sigma (0)=0.5=>0$

 

다층 퍼셉트론

  입력층과 출력층 사이에 숨어있는 은닉층을 만든 것으로 은닉층이 좌표 평면을 왜곡시키는 결과를 가져온다.(참조)

4개의 은닉층을 사용하여 약하게 얽힌 두 나선을 분류하는 과정

은닉층을 여러 개 쌓아올려 복잡한 문제를 해결하는 과정은 뉴런이 복잡한 과정을 거쳐 사고를 낳는 사람의 신경망을 닮았다. 그래서 이 방법을 '인공 신경망'이라 부르기 시작했고, 이를 간단히 줄여서 신경망이라고 통칭한다.