Embed Size (px)
Citation preview
ㅍ 이 태영Software Engineer
Tae Young Lee
AutoML & AutoDraw
2014 2015 20172016
딥러닝을 위한 TensorFlow
Sequence Model and the RNN API
Open Stack으로 바라보는 클라우드
플랫폼
Machine LearningIn SPAM
Python Network Programming
Neural Network의 변천사를 통해
바라본 R에서 Deep Neural Net활용
Change the world in IOT (Falinux)
Game based on the IOT (KGC)
ㅍ AutoMLAutomatic Machine Learning
ㅍ AutoML Google
ㅍ Automation Car
❏ Environmental factors❏ Heavy Rain❏ Tremendous Mist❏ Snow
❏ Unexpected Situation❏ Suddenly a child appears❏ Dogs and cats run around.❏ Wild animals appear at a speed of 100 km / h.
Flexible model needed to
handle situations
ㅍ Accracy rate & Model
❏ Most fixed models are used in formal data analysis and natural language processing.
❏ However, for autonomous vehicles that require precise motion or do not tolerate errors, you must change the real-time model.
❏ Because it is directly connected with life.❏ Why have they been commissioning self-driving vehicles for years?❏ This is because the accuracy of the Reinforcement Model and the
maximization of the Accuracy Rate are required.
ㅍ Automation Car
OpenCV
Recognition
YOLO2
Reinforcement Learning
ㅍ YOLO
❏ You only look once 최첨단 실시간 물체 탐지 시스템❏ Detection Mechanizm Improvement❏ 이전의 Dection 시스템은 분류기나 로컬라이저를 사용하여 감지❏ YOLO 하나의 신경망을 전체 이미지에 적용❏ 이 네트워크는 이미지를 영역으로 분할❏ 각 영역의 경계 상자(bounding box)와 확률을 예측❏ 테스트 시간에 전체 이미지를 보고 이미지 글로벌 context로 예측 정보를 알려줌
❏ 단일 이미지에 수천개가 필요한 R-CNN과 달리 단일 네트워크 평가로 예측
❏ R-CNN보다 1,000배 이상 빠르며, Fast R-CNN보다 100배 빠름
ㅍ Real Time Model
ㅍ
ㅍ
ㅍ
ㅍ
Automl Google
Google Brain에서 ICLR 2017에 발표한 “Neural Architecture Search with Reinforcement Learning”
ㅍ
ㅍ
ㅍ
ㅍ
새로운 구조를 gradient 기반으로 찾는 Neural Architecture Search라는 방법을 제안
neural network의 structure와 connectivity를 가변 길이의 configuration string으로 지정한다는 관찰에서 시작
하나는 CIFAR-10을 사용한 image classification다른 하나는 Penn Treebank를 사용한 language modeling
전제조건
https://www.cs.toronto.edu/~kriz/cifar.html
ㅍ Reason String의 처리에는 RNN을 적용하는 것이 일반적이므로, 여기서도 RNN(“Controller”)을 사용해 그와 같은 configuration string을 generation하도록 합니다. 그렇게 만들어진 네트워크(“Child Network”)의 성능을 validation set에서 측정하고, 결과로 얻은 accuracy를 reinforcement learning의 reward로 사용해 Child Network의 parameter를 update
ㅍ
ㅍ
ㅍ
ㅍ
Neural Architecture Search
ㅍ
ㅍ
ㅍ
ㅍ
Reinforcement Learning
Finally, RL's goal is to learn the policy that best fits the sum of all rewards.(Finding the best policy network)
ㅍ
ㅍ
ㅍ
ㅍ
이 논문에서 적용한 reinforcement learning 알고리즘은 Ronald J. Williams의 REINFORCE 입니다.
Reinforcement Learning
ㅍ
ㅍ
ㅍ
ㅍ
Training with REINFORCE
ㅍ Experiments and Results
ㅍ
ㅍ
ㅍ
ㅍ
맨 아래 부분 Neural Architecture Search로 만든 구조들이 DenseNet을 비롯한 인간이 설계한 state-of-the-art에 근접하는 성능을 보이는 것을 볼 수 있습니다.
Learning Convolutional Architectures for CIFAR-10
ㅍ
ㅍ
ㅍ
ㅍ
language modeling task에 적용할 RNN cell을 생성
[add, elem_mult] 등의 combination method와 [identity, tanh, sigmoid, relu] 등의 activation method를 조합해서 tree의 각 node를 표현
실험에는 400개의 CPU를 사용했고, 총 15,000개의 child network을 만들어 평가했다고 합니다. 실험 결과로 만들어진 RNN cell은 LSTM 대비 0.5 BLEU의 향상
Learning Recurrent Cells for Penn Treebank
ㅍ Conclusion
이 논문에서는 신경 네트워크 구조를 구성하기 위해 반복적 인 신경망을 사용하는 아이디어 인 신경 구조 검색 (Neural Architecture Search)을 소개
반복적인 네트워크를 컨트롤러로 사용함으로써 우리의 방법은 가변적이어서 가변 길이 아키텍처 공간을 검색 할 수 있습니다.
우리의 방법은 매우 까다로운 벤치 마크에서 강한 경험적 성과를 보이며 훌륭한 신경 네트워크 아키텍처를 자동으로 찾는 새로운 연구 방향을 제시합니다.
이 논문에서 사용한 코드는 GitHub TensorFlow Models 페이지에 공개될 예정이며, 앞에서 만든 RNN cell은 NASCell이라는 이름으로 TensorFlow API에 추가되었습니다.
ㅍ AutoML IN Other PAPER
ㅍ What AutoML
Speeding up Automatic Hyperparameter Optimization of Deep Neural Networksby Extrapolation of Learning Curves (2015)https://github.com/automl/pylearningcurvepredictor
ㅍ AutoML IN Real
ㅍ
ㅍ
ㅍ
ㅍ
Everything is Possible
It’s Magic
Trap of Machine Learning
ㅍ Behind the Magic
Data selectionData cleaning/augmentationOthers pre-processingFeatures engineeringModels selectionHyperparameters optimisation
ㅍ
ㅍ
ㅍ
ㅍ
Just put in data and everything is automated
Ultimate Goal
ㅍ
ㅍ
ㅍ
ㅍ
You need to know the characteristics of the data to train the model.
Reality
ㅍ
ㅍ
ㅍ
ㅍ
Tuning AutoML using crowd intelligence
Vision
ㅍ
ㅍ
ㅍ
ㅍ
6 Rounds5 data sets / round2 phases / round : AutoML & TweakathonIncreasing difficulties
AutoML Challenge (3years ago)
http://automl.chalearn.org/
ㅍ Data
❏ 30 data sets (5 per rounds) ❏ Various domaines: pharma, medicine, marketing, finance...❏ Divers formats: text, image, video, speech...❏ Participants don't know about the domain nor the format❏ Given: dense or sparse matrix❏ Numerical, categorical, binary❏ Missing values or not❏ Noisy or not❏ Various proportion of Large test sets, ensuring statistical significance
ㅍ Data
❏ Binary classification❏ Multi-class classification (10 to 100's)❏ Multi-labels classification❏ Regression/Prediction❏ Difficulty = Medium to hard, 10 to 20% error at best❏ Time budget = Limited❏ Computational resources & memory = Fixed
ㅍ AutoML strategies
❏ Bayesian approache for Hyper Parameters (HP) optimization❏ Global approches including in search space:
HP, models, features engineering, data pre-processing❏ Ensemble methods❏ Meta-learning❏ Memory & time management
ㅍ AutoDraw
ㅍ AutoDraw
https://www.autodraw.com/
ㅍ
ㅍ
ㅍ
ㅍ
리스트1이에 대한 설명
리스트2이에 대한 설명
리스트3이에 대한 설명
페이지 타이틀
ㅍ Using AutoDraw
Initial Page
ㅍ
ㅍ
ㅍ
ㅍ
리스트1이에 대한 설명
리스트2이에 대한 설명
리스트3이에 대한 설명
페이지 타이틀
ㅍ Using AutoDraw
Tutorial And Usage
ㅍ
ㅍ
ㅍ
ㅍ
페이지 타이틀
ㅍ Using AutoDraw
Line Draw
Select Image Box
ㅍ AutoDraw Usage
ㅍ AutoDraw's hidden secrets
❏ Image Recognition❏ Feature Extraction❏ Visual Search❏ Visual Search at Pinterest ( https://arxiv.org/abs/1505.07647 )
ㅍ
ㅍ
ㅍ
ㅍ
페이지 타이틀
ㅍ Visual Search
Use of human-curated data and meta data
ㅍ Visual Search
❏ Image Representation and Features❏ Incremental Fingerprinting Service❏ Search Infrastructure
ㅍ Image Representation and Features
❏ Extract various features from image❏ Local feature❏ Deep feature (CNN)❏ AlexNet and VGGNet❏ Binarized feature : for efficiency❏ Compared using Hamming distance
❏ Salient color signatures
ㅍ
ㅍ
ㅍ
ㅍ
페이지 타이틀
ㅍ Two-step Object Detection and Localization
Aggregate annotations (pin description + board title)Which object to look for?
Deep learining based object detectors
ㅍ
ㅍ
ㅍ
ㅍ
페이지 타이틀
ㅍ Click Prediction
CUR / CTR is often used in search ranking, recommendation systems, and ads targeting.
Click Through Rate (ratio) 광고 노출횟수 대비 클릭 수Click User Rate
How to find out which images in Visual content are most interested in users
ㅍ Click Prediction
❏ CNN has recently become the most dominant approach to semantic prediction
❏ However, many data sets and time are required to learn❏ Fine-tuning pre-made models
❏ Compared with traditional computer vision techniques (baseline)❏ PHOW + SVM
❏ PHOW (Pyramid Histogram of Visual Word)❏ SVM (Support Vector Machine)
ㅍ Visual Search in Google
ㅍ Using Visual Search
ㅍ Maximize your advertising effectiveness
ㅍ Apply visual search to eye tracking
ㅍ Thank you
ㅍ
https://www.youtube.com/watch?v=92-DoDjCdsY
http://automl.chalearn.org/
https://github.com/automl/pylearningcurvepredictor
https://jamiekang.github.io/2017/06/19/neural-architecture-search-with-reinforcement-learning/
http://slides.com/streguer/automl/fullscreen#/
http://jeongchul.tistory.com/528
https://arxiv.org/abs/1505.07647
Reference
