[스마트인재개발원] MLP(Multi Layer Perceptron) 다층 퍼셉트론

퍼셉트론의 한계

단층 퍼셉트론의 경우 직선으로 나뉘는 두 영역을 만들기 때문에 선형 분리만 가능하다는 단점이 있다.

그래서 아레 그림과 같이 선형분리로 AND, OR는 해결이 가능하지만, 간단한 XOR 문제를 해결할 수 없다.

 

선형분리만 가능한 퍼셉트론의 한계

 

XOR 게이트와 해결방법

위의 그림에서 보이는 바와 같이 퍼셉트론의 한계를 극복하기 위해서 하나의 직선이 아닌 여러 개의 직선을 그어보자, 즉 퍼셉트론을 여러 개 쌓아보자는 생각을 하게 되었고 이 것이 바로 다층 퍼셉트론의 등장이다.

 

 

MLP(Multilayer Perceptron) 다층 퍼셉트론

- 퍼셉트론을 여러 개의 층으로 구성하여 만든 신경망

- 입력계층, 은닉 계층 및 출력 계층의 세 개 이상의 노드 계층으로 구성된다.

- 중간층을 잘 설계를 하면 학습의 능력을 끌어올릴 수 있다.

  (중간층은 여러 층 일 수 있다!)

- 입력층과 출력층을 어떻게 설계하느냐에 따라 무슨 문제를 해결할 수 있는지 설계 가능

 

다층 퍼셉트론의 구조

* 다층 퍼셉트론 활용 예시

ex> 주식 가격 예측

입력 : 과거 5일간의 주식 정보(입력 5개(Day1, Day2, Day3, Day4, Day5))

출력 : 내일의 주식 가격(출력 (1개)Dday)

 

ex> 4개의 단어로 100*100의 사진 한 장을 만들고 싶다

입력 : 4개(단어 수)

출력 : 10000개(픽셀 수)

 

ex> 100*100의 사진 한 장이 개, 고양이, 사자 인지 학습시키고 싶다

입력 : 10000개(픽셀 수)

출력 : 3개(강아지, 고양이, 오리)

 

 

MLP(Multilayer Perceptron) 다층 퍼셉트론 의 특징

- 비선형 데이터를 분리할 수 있다

- 학습시간이 오래걸린다

- 가중치 파라미터가 많아 과적합되기 쉽다.

  (선형모델이 어러개다 -> w가 많아진다 -> 훨씬 많은 요소(컬럼)을 고려한다)

- 가중치 초기 값에 민감하여 지역 최적점에 빠지기 쉽다.

  (초기값을 랜덤으로 잡기 때문에) : 가중치가 많아지면 그래프가 점점 구불구불해지면서 지역 최적점이

  많이 생기게 되는데, 초기의 랜덤값 위치에 따라 지역 최적점에 빠질지, 진짜 최적점에 도달할지 에 대한

  문제가 있다.

- 입력 노드를 제외하고 각 노드는 비활성 함수를 사용하는 뉴런이다

- MLP는 훈련을 위해 역전파 라는 지도학습 기술을 사용한다

 

www.smhrd.or.kr

스마트인재개발원