Upload
others
View
5
Download
0
Embed Size (px)
Citation preview
Large-scale data 개요
기계학습 기반 자료 분석 기술
교통분석에 기계 학습 적용 사례
1 CNN을 활용한 대중교통수요 예측
2 RNN을 활용한 공로통행속도 예측
3 DQN을 이용한 최적 교통신호제어
시연
1
2
3
4
3-1
3-2
3-3
1 TB 디스크 : 6만원
1 GB RAM : 1만원
전수 자료
이력 자료 누적
(자료를 지우지 않음)
통계 기술
데이터 마이닝
시각화 기술
HDFS
MapReduce
병렬 DBMS
(기존 방식)
기계 학습 (인공지능)
하둡(Hadoop), 테라데이터, Aster데이터 ……
이미 시장에 많은 제품 출시 상태
사용 방법은 계속 쉬워짐
가격 하락 추세
Hadoop
Large-Scale Data 기술 요소
Large-scale data 개요
기계학습 기반 자료 분석 기술
교통분석에 기계 학습 적용 사례
1 CNN을 활용한 대중교통수요 예측
2 RNN을 활용한 공로통행속도 예측
3 DQN을 이용한 최적 교통신호제어
시연
1
2
3
4
3-1
3-2
3-3
기계 학습의 교통 분석 도구로서의 가능성
U·E
S·U·E Data itself reveals everything!
Maximum utility
Cost minimization …
교통 분석에 활용하는 기계 학습
자료: D. Siver
첨단 기술의 생애 주기
Deep Learning 생애주기의 이변
자료: Microsoft
자료: Google
Deep Learning 기반모형: Artificial Neural Network (ANN) 개요
Input wires
𝑥0=1
𝑥1
𝑥2
𝑥3
Input Weights Bias unit
ℎ𝜃 𝑥 =1
1 + 𝑒−𝜃𝑇𝑥
Output
𝜃0 𝜃1
𝜃2
𝜃3
Tanh(), Relu(), MaxOut() …
Sigmoid (logistic) activation function.
Deep Learning 기반 모형: Artificial Neural Network (ANN) 개요
“activation” of unit in layer
matrix of weights controlling function mapping from layer to layer
If network has units in layer , units in layer , then will be of dimension
자료: A. Ng
𝑎0(2)
𝑎1(2)
𝑎2(2)
𝑎3(2)
𝑥0
𝑥1
𝑥2
𝑥3
Deep Neural Network (DNN) 탄생 배경
비지도형 기계학습을 이용한 Pre-training 으로 해결 [Deep Belief Network (DBN)]
R
B
M
구
조
D
B
N
구
조
미니뱃치 그래디언트 (SGD) + 분산처리 or 병렬처리 (GPU: Graphics Processing Unit)
Visible
Hidden
자료: J. Hinton
DBN = 다층 RBM
자료: A. Ng
Deep Neural Network (DNN) 성공요인
• Stochastic Gradient Descent (SGD) Algorithm • Powerful activation function (Relu) • Drop-out technology • HogWild (Lock-free parallelizing) • GPU 등 Ad-hoc approaches 최근 DNN 추세: RNN(LSTM,GRU), CNN, CNN+RNN, RL+CNN…
Pre-training (Deep Belief Network)
Big Data Parallel Computing
Vanishing gradient problem 해결
Large-scale data 개요
기계학습 기반 자료 분석 기술
교통분석에 기계 학습 적용 사례
1 CNN을 활용한 대중교통수요 예측
2 RNN을 활용한 공로통행속도 예측
3 DQN을 이용한 최적 교통신호제어
시연
1
2
3
4
3-1
3-2
3-3
주요교통분석 과제에 대한 기계학습 적용 방법론
입력자료 방법론(Methodology) 출력자료
실시간 교차로
현황 동영상 프레임
실시간 최적화된
교차로 현시
DNN 기반 통행수요 추정방법의 한계
Wide and Shallow
Narrow and Deep
Stop-level model
Stop-to-stop-level model
기존 통행수요 예측 DNN을 활용한 통행 수요 예측 시도
통행 수요
*주 : CS231n Convolutional Neural Networks for Visual Recognition, http://cs231n.github.io/convolutional-networks/, 2016.04.18
CNN은 기존의 인공 신경망(Neural Networks)과 매우 유사한 구조를 가지고 있음
Single Vector를 입력 변수로 사용했던 DNN과는 달리 CNN은 다차원으로 구성된 입력 변수(텐서)를 이용, 다시 다차원의 은닉층(hidden layer) 생성
CONV, RELU, POOL 등 다양한 레이어로 구성된 연산 후 최종적으로 Fully Connected 레이어를 통해 최종 결과값 계산
새로운 Deep learning 방법 모색
CNN(Convolutional Neural Networks)
Stop-Level에서 기존 DNN방법으로 입력 변수를 9790x1의 단일 벡터로 설정할 경우, 첫 번째 히든 레이어로 갈 때 필요한 weight parameter는 9790x9790 = 약 9500만 개
그러나 9790개의 입력변수를 178x1x55의 텐서로 변환하여 입력할 경우 첫 번째 히든 레이어로 갈 때 필요한 weight parameter는 55x3 = 165개
기존 DNN과의 비교
자료: Google
자료: Wikipedia
다양한 데이터를 통한 Activity & Supply 입력 변수 설정
Activity Input (활동 변수)
Supply Input (공급 변수)
노선 정류장 용도별 토지이용 특성(250m 영향권 내)
주거면적(㎡) 업무면적(㎡) 상업면적(㎡) 기타면적(㎡)
A-101 1022.1 94.1 501.3 200.1
A-102 508.4 888.1 99.2 205.2
A-103 602.1 99.3 2012.5 300.4
A-104 200.3 3488.1 2011.4 208.5
… … … … …
…. 노선별
최대 정류장 수 178
29가지 특성 변수
노선 정류장 버스 노선 공급 특성
배차빈도 (/시간)
환승 가능 노선 수
인근 지하철유무
환승노선 배차빈도
A-101 6 5 1 14
A-102 6 6 0 23
A-103 6 3 0 16
A-104 6 7 1 34
… … … … …
…. 노선별
최대 정류장 수 178
26가지 특성 변수
총 Sample수 : 26551
총 Sample수 : 26551
CNN 기법을 이용한 수요 모형 정교화
Activity
Supply
현재 연구 진행상황 및 계획
CNN 예측 수요
실제 관측 수요
CNN model Training Test set을 통한 모델 검정
향후 추가 입력 데이터 계획
서울시 CDR 자료
통신사의 CDR(Call Detail Record) 자료를 이용하여 교통수요의 발생이 예측되는 지점을 분석할 수 있음
과천시 전일 통화량 자료(전일)
강남구 전일 통화량 자료(전일)
공공·민간을 아우르는 다양한 소유 기관이 제공하는 자료를 통해 딥러닝 알고리즘 정교화 가능성 향상
에너지 소비량 데이터(Energy Consumption Data) 통신 데이터(Call Detail Record Data)
서울시 건축물별 에너지 소비량 자료
뉴욕시 연간 건축물 별 에너지 사용량
건축물의 에너지 소비량(Energy consumption)은 건축물의 이용자 수와 비례한다고 가정하여, 교통수요의 발생의 한 요인이라고 할 수 있음
*Mail Online, ‘Ever wondered what your neighbor bills are? Incredible map shows energy use for EVERY building in New York City’, 2016.04.18
뉴욕 시에서 가장 많은
에너지 소비량을 가진
맨해튼 북동부 지역 및
북서부지역
뉴욕시 전체의 건축물 별
에너지 소비량
맨해튼의 금융
중심지인 남부 지역
역시 많은 양의
에너지를 소비함
자료: 국토연구원
고밀 공로 네트워크에 적용 가능한 공간적ㆍ시간적 확장
연구
가능
배경
Traffic probe data를 통한 big data 확보 가능 RNN Deep-learning 기법을 통한 예측 기술 향상
과거 및 현재 상태를 기반으로 미래 상태를 예측하는
Neural network
시계열 데이터의 시공간적 상관을 처리하는데 효과적인
Deep learning기법
GPS Satellite
Probe Data Processor
Probe vehicle Information
Probe Vehicle
GPS Data Transmission
공로 통행속도 예측에 있어 RNN 모형의 효용
기존 링크 통행속도 추정 방법론의 공간적ㆍ시간적 한계
시ㆍ공간적 상관을 고려한 다중 링크의 통행속도 예측
도시가로망 도시가로망
시간
공간
공간
시간
도시부 가로의 통행속도 데이터 확보
도로교통량 조사에서 사용되는 10월을 포함하여 기간을 선택
UTIS의 taxi probe data 2015년 9,10,11월 세달 동안의 통행속도 데이터 확보
서울시 전역의 링크 중 교통량이 많은 주요 링크 1400개 선별.
한 층의 INPUT은 500분으로 입력 (5분*100=500분)
GPS Satellite
Probe Data Processor
Probe vehicle Information
Probe Vehicle
GPS Data Transmission
차량의 GPS가 주행한 도로의 정보(GPS좌표, 이동시간)를 취합해
기지국으로 전송
UTIS(도시교통정보시스템)은 서울시 전역의 링크에 대해 5분 단
위로 통행 속도를 수집
연구의 범위
시간적 범위 공간적 범위
Traffic probe data 확보 Data 개요
자동 문장구현 성능
TYPICAL RNN NETWORK MODEL
U
W
ot-1
S t-1
W
ot
S t
W
V
ot+1
S t+1
W
x t-1 x t x t+1
U U
V V
o
S
W
x
U
V
unfold
xt : Input at time step t
St : hidden state at time step t
St = f (Uxt +Wst-1)
ot : output at time step t
ot = softmax (Vst)
RNN shares the same parameters(U, V, W).
St typically cannot capture information from too many
times steps ago.
Vanishing gradient problem
주* : LAR’S EIDNES’BLOG AUTO-GENERATING CLICKBAIT WITH RECURRENT NEURAL NETWORKS
A MAN WHO WANTS TO RUN FAST PURCHASES
자연어 처리에서의 RNN 뛰어난 성능
자동 번역기에 적용되어 다양하게 사용되고 있다.
… …
바로 앞 단어가 아니더라도 받는 영향을 계산 할 수 있다.
문법체크 성능
OFTEN
자료: D. Britz
RNN_LSTM – Vanishing gradient problem 극복을 위한 gating model 적용
i = σ( xtUi + S t-1W
i )
f = σ( xtUf + S t-1W
f )
o = σ( xtUo + S t-1W
o )
LSTM unit
ㆍㆍㆍ
S t-1 S t+1
xt
C
~C
i
f
o
IN
OUT
Hidden state st
g = tanh ( xtUg + S t-1W
g )
c = c t-1 ° f + g ° i
st = tanh (ct°o)
*WildML RECURRENT NEURAL NETWORK TUTORIAL, PART4-IMPLEMENTING A GRU/LSTM RNN WITH PYTHON AND THEANO
LSTM(Long Short Term Model)은 현재 자연어처리를 위한 Deep-learning 모형중 최고
성능 기록
Hidden state를 새로운 방법으로 계산할 수 있는 Layer역할을 하는 Gating Model을
사용하여 정보를 선별하여 RNN 단점을 극복
RNN의 Vanishing gradient problem을 극복한 LSTM 모델
LSTM NETWORKS LSTM GATING
자료: D. Britz
RNN model을 적용한 올림픽대로 상행 링크 단기통행속도 예측
Input data Selceted links No. of links Aggregation N_prev 예측
2015.09~ 2015.11
올림픽대로 상행
20 15(min) 12 30분 후
training : test
Hidden node
Activation layer
Dropout Batch size N_epoch Validation_
split
9:1 600개 Sigmoid 0.5 1000 300 0.05
Predicted Observed Predicted vs. Observed LSTM
model 설
정
향후 연구 진행 계획 INPUT, OUTPUT, FORGET Gate 외에 모델
성능을 향상시킬 수 있는 Gate 발굴이 필요
GATING MODEL의 다변화 신뢰성 있는 권역 분석 최적 시간(행) 개수 검증
링크 속도를 효과적으로 추정할 수 있도록 권역의 사이즈를 달리하여 추정의 신뢰성을 확보할 수 있는 권역의 크기를 파악
각각의 model 설정을 다르게 하며 training하여 최적의 시간 개수를 결정
기존 강화학습(Reinforcement learning) 적용의 한계
강화학습(RL: Reinforcement learning)을 이용한 교통신호 제어에 관한 연구는 활발히 이루어져 왔음
• 위 그림과 같이 검지기 데이터와 카메라를 통해서 수집된 이미지를 이용하여 교통 특성(점유율(Occupancy), 대기행렬(Queue),
교통량(Vehicle counts))을 계산한 뒤, 이를 강화 학습을 이용하여 시뮬레이션하는 방법론을 사용
• 그 결과로 시간에 따른 평균 지체시간(Average delay)을 얻을 수 있으며, 평균 지체시간을 reward로 설정 하고 최적화 방법이 사용됨
실시간으로 변화하는 교차로의 교통상황을 제한된 수의 변수로 변환하고 교통 상태를 대표하는 방법은 한계가 있음
*이미지 출처 : 구글 이미지
교차로 교통상태는 대기행렬,교통량,속도,지체,정지 수 등이 아닌 교차로가 운영되고 있는 영상 자체
Environment
자료: D. Silver
DQN(Deep Q-Network)의 등장과 적용 사례
인공지능 바둑(AlphaGo) 아타리 블록 깨기(Atari block game)
딥러닝(Deep learning)과 강화 학습(Reinforcement learning)을 접목한 DQN(Deep Q-Network)을 이용한 기계학습
방법론이 최근 인공지능의 대세
알파고, 블록 깨기(Atari break) 게임에서도 DQN을 이용한 AI가 인간을 뛰어넘는 결과를 보여주었음
이 두가지 AI는 모두 이미지 자체를 상태변수로 하고 누적보상(Reward)을 최대화 하는 DQN 기반의 강화 학습을
적용함
• 알파고의 경우, 바둑판의 격자에 흑돌 또는 백돌이 놓여져 있는 화면을 입력 변수로 하였음
• 아타리 블록 깨기의 경우, 블록이 남아있는 화면 자체를 입력 변수로 하여 최고의 점수를 도출하는 결과를 보여줌
*이미지 출처 : 구글 이미지
게임의 방법 또는 룰은 절대 입력하지 않았고 게임상태(화면)가 그대로 입력되었을 뿐…
게임과 교통제어의 비교
주체(Agent)
환경(Environment)
Action State
Reward (점수)
비디오 게임에 적용된 DQN(Deep Q-Network) 교차로 신호제어에 적용된 DQN(Deep Q-Network)
교통현상을 이론(수학,물리)으로 풀려고 하는 무모함을 버린다면… 모의실험으로 충분히 검증 후 실제 현장실험 필요
Reward (소통원활,정체)
주체(Agent)
환경(Environment)
Action State
자료: Google DeepMind
강화학습(AI) 기반의 교통제어 시스템
정책(Policy) : π(s)
MDP(Markov Decision Processes)의 목적은
미래의 기대보상을 최대화 하는 최적의 정책을 찾는 것
강화학습의 기본모형: MDP(Markov Decision Processes)
딥러닝 대표모형: CNN(Convolutional Neural Network)
4×84×84
16 8×8 filters 31 4×4 filters 256 hidden units
Fully-connected linear output layer
Stack of 4 previous frames
Convolutional layer of ReLu Convolutional
layer of ReLu
Fully-connected layer of ReLu
주체(Agent)
환경(Environment)
Action State
Reward
인간의 감각을 묘사할 수 있는
Deep Neural Network
AI = RL + Deep Learning
현재 인공지능은 강화학습과 딥러닝의 융합이 대세
자료: Mnih et al., Nature
최적 교통제어 관리기술 개발에 대한 DQN의 적용
드론 교차로
교차로 사진(Image) 촬영
교차로 이미지의 입력 변수화
…
Convolution
…
Convolution …
Fully connected Fully connected
𝑄 (𝑠, 𝑎1, 𝑤)
𝑄 (𝑠, 𝑎2, 𝑤)
𝑄 (𝑠, 𝑎3, 𝑤)
𝑄 (𝑠, 𝑎4, 𝑤)
𝒂𝒊 𝒘𝒉𝒊𝒄𝒉 𝒎𝒂𝒙𝒊𝒎𝒊𝒛𝒆 𝑸 (𝒔, 𝒂𝒊, 𝒘)
…
ReLu ReLu ReLu
DQN을 이용한 최적 교통신호제어 시뮬레이션 아키텍쳐
Python : RL logic
NumPy : Matrix computing
Theano : GPU computing
Keras : Deep learning
WinCom
VISSIM : Traffic signal control
simulation
Large-scale data 개요
기계학습 기반 자료 분석 기술
교통분석에 기계 학습 적용 사례
1 CNN을 활용한 대중교통수요 예측
2 RNN을 활용한 공로통행속도 예측
3 DQN을 이용한 최적 교통신호제어
시연
1
2
3
4
3-1
3-2
3-3