9. 인공신경회로망(Artificial Neural Networks; ANN)contents.kocw.net/KOCW/document/2013/hufs/hanhyeongu/3.pdf · 2016. 9. 9. · 인공지능: 개념 및 응용(3판) Artificial

인공지능: 개념 및 응용(3판) Artificial Intelligence: Concepts and Applications

9. 신경회로망

도용태 김일곤 김종완 박창현 공저

인공신경회로망(Artificial Neural Networks; ANN)

신경회로망(Neural Networks)

(인공)신경회로망 (ANN or NN)

생물학적 신경계와 같은 방식으로 동작할 수 있도록 단순하지만 적응적인 요소들을 대량으로 병렬 연결한 망들의 계층적 조직

AI

연결주의 (Connectionism)

-두뇌가 동작하는 방식을 컴퓨터에서 실현하기 위한 연구 (‘how the brain act’)

-인공적으로 구성된 신경망에 대한 연구

기호주의 (Symbolism)

-두뇌가 하는 일을 컴퓨터가 할 수

있기 위한 연구 (‘what the brain do’)

-탐색, 계획 등 AI연구의 주류를 형성


9. 신경회로망


개요

인공신경회로망(Artificial Neural Networks; ANN)

생물학적 시스템의 계산틀 → 컴퓨터로 모방 불가 → 생물학적 정보체계 연구를 위해 시작 - 심리학,신경과학,인지과학, 시스템 이론 병합

기본 작업

학습(learning): 패턴 부류에 따라 신경망의 연결가중치 조정

재생(recall): 학습된 가중치와 입력벡터와의 거리 계산하여 가장 가까운 클래스로 분류

→ 사람과 같은 학습 능력: 패턴 분류, 인식, 최적화, 예측

→ 기존 인공지능 문제 해결의 새로운 계산틀 제공

(인공)신경회로망

인간의 두뇌작용을 신경 세포들간의 연결관계로 모델링

→ 인간의 학습을 모델링


9. 신경회로망


컴퓨터 vs 신경망 vs 인간 두뇌 (표 9.1)

구분

진화 종족의 급격한 진화

개체 능력은 변화 않음

적응적 변화가 가능한

프로그램

종족의 완만한 진화

개체 능력의 급속한 발달

성능 속도 빠름(ns, ps)

GB의 기억용량

컴퓨터보다 느린 처리속도사람보다 작은 기억용량

느린 처리속도(ms)

큰 기억용량 (4x1010GB)

신호 전기 전기 화학반응에 의한 전기

데이타 디지털 디지털, 아날로그 아날로그

작동 기정된 알고리즘에 의한 최적의 결과 목표

학습할 수 있는 적응적 알고리즘

적응적이며 휴리스틱한 유형

기정의 알고리즘은 없음

결함 허용성

조금의 결함이라도 시스템의 작동에 치명적임

다수의 병렬 연결 구조는

경미한 결함을 허용함

경미한 손상은 전체적으로 별다른 영향을 미치지 않음

비교적

우위

계산과 자료의 저장 컴퓨터를 이용한 판단과 인식

판단과 인식


9. 신경회로망


개요

생물학적 뉴런

신경기능 탐구

생물학적 신경회로망: 인간의 생체 기능 연구(생물, 생리, 신경과학자)

→ 동물 생체 실험 → 학습능력의 원천 밝힘

인공신경회로망 - 신경회로망의 기능, 구조를 H/W, S/W적으로 실현 →

수학적 모델 연구(기존의 시뮬레이션으로 구현된 알고리즘을 H/W화)

핵

축색돌기

세포체

신경절

수상돌기


9. 신경회로망


역사

(1943) McCulloch와 Pitts - 신경세포들을 단순히 연결한 신경회로망은 산술 및 논리연산을 수행할 수 있다.

(1949) Hebb의 법칙

최초의 인공 신경회로망의 학습규칙 제안

신경회로망이 학습을 수행함을 증명

50, 60 년대

단층의 인공세포의 신경회로망

Rosenblatt, Widrow의 Perceptron- 일기예보, 심전도 해석, 인공시각

69년 Minsky 등에 의해 한계 지적(퍼셉트론은 XOR 문제해결 불가)

신경망 연구 침체 → 기호주의 AI 활성화

80 년대 중반이후

기호주의 AI 한계

Hopfield: 신경회로망 에너지 개념

오류역전파 학습 알고리즘(Rumelhart, McCleland): 다층 퍼셉트론 학습

→ 신경회로망 연구 부흥


9. 신경회로망


정의 및 특징

신경회로망의 정의, 특징

신경 세포가 신경절로 연결되어 정보전달

노드 또는 처리요소(processing element)를 연결 → 신경회로망

인공 신경회로망의 뉴런(처리요소)의 구조

뉴런1개는 단순기능 → 다중으로 연결되면 강력한 기능(그림9.4 단층)

∑i Xi • Wi -

X1

X2

Xn

1

W1

W2

Wn

-

OUT = F(∑i Xi • Wi - )

F

입력 가중치

임계치

다른 뉴런의 입력으로

연결됨


9. 신경회로망


정의 및 특징

신경회로망이 커지고 복잡해질수록 더 나은 기능 수행

다층 신경회로망: 입력층과 출력층 사이에 새로운 층 추가

→ 은닉층(hidden layer) 또는 중간층(internal layer)

예를 통한 학습, 일반화, 연상기억, 결함 허용성의 특징을 보인다

예를 통한 학습 - 예를 계속적으로 제시함으로써 원하는 형태의 사상(mapping)을 만듦 : 지도 학습/비지도 학습

일반화 - 학습이 완료된 신경회로망은 학습되지 않은 입력에 대해서도 올바른 결과를 출력

연상기억 - 새로운 입력, 일부 유실된 정보 → 유사한 출력

결함 허용성 - 일부 뉴런 고장, 단절 → 남아 있는 뉴런들에 의해 작동 보장

연결가중치 조정방법

– 지도학습: 입력이 주어짐에 따라 원하는 출력값이 활성화 되도록 가중치를 조절 (Hopfield 학습규칙, 델타규칙, 오류 역전파 학습규칙)

– 비지도학습: 목표값 없이 학습 데이터만 입력, 스스로 연결가중치들을 학습

→미리 결정된 해가 불필요 (경쟁학습, ART 모델)


9. 신경회로망


종류

신경회로망 모델 종류

입력형식 학습방식 신경회로망 모델

이진입력

실수입력

지도 학습

지도 학습 및 비지도

학습을 결합한 학습

비지도 학습

Hopfield network

Counterpropagation

network

ART model

지도 학습

비지도 학습

Perceptron

Multilayer Perceptron

Competitive learning

SOM


9. 신경회로망


Hopfield 신경회로망

신경회로망의 동작: energy + dynamic system

조직

모든 뉴런이 양방향으로 연결(자신 제외)

전달(활성화)함수 : hard limiter 함수 사용

입력 : 2진수

출력 : +1, -1(양과 음의 에너지 상태를 표시)

I0 I1 I2 IN-1

0 1 2 N-1


9. 신경회로망


Hopfield 신경회로망의 동작 규칙

1단계 : M개의 패턴을 이용하여 N개 뉴런 사이의 연결 가중치를 지정

wij: 뉴런 i에서 뉴런 j로의 연결가중치

Xsi: s 클래스에 속하는 학습패턴의 i번째 요소값(+1 or -1)

2단계 : 미지의 입력패턴을 신경회로망에 제시

3단계 : 뉴런들의 출력과 가중치를 곱한 값을 합하여 전달함수를 통과

4단계 : 수렴(출력의 변화가 없음)할 때까지 3단계를 계속 반복

5단계 : 2단계로 분기

1)Nji,(0

ji0,

ji,XXw

1M

0s

s

j

s

iij

1)Nji,(0,)0( ii xμ

0if,1

0if,1where1)Nj(0)),(()1(

1

0 a

aftμwftμ h

M

i

iijhi


9. 신경회로망


Hopfield 신경회로망 - 비고

예제 2개의 4차원 학습패턴벡터: P0=(1,1,1,-1), P1=(1,-1,1,-1)일때 wij는?

w00 = w11 = w22 = w33 = 0

w01=X00X

01+X1

0X1

1=1x1+1x(-1) = 0

예제: 각 패턴 크기: (5x5) 대상 : {ㄱ, ㄴ, ㄷ, ㄹ}으로 학습

테스트 패턴: {ㄱ, ㄴ, ㄹ}으로 테스트

테스트 결과

– ㄱ, ㄴ: 제대로 인식

– ㄹ: ㄷ으로 오인식

→ 회로망 크기 vs 저장가능한 패턴수 문제

→ Hopfield에서는 뉴런 수가 N인 경우, 0.15N개의 패턴 저장 가능

(이 예제의 경우 25x0.15 = 3.75 → 4개 미만의 패턴 인식)

수렴결과가 최적인지 보장 안됨

02022002

00002200

ijw

Documents

9. 인공신경회로망(Artificial Neural Networks; ANN)contents.kocw.net/KOCW/document/2013/hufs/hanhyeongu/3.pdf · 2016. 9. 9. · 인공지능: 개념 및 응용(3판) Artificial