[222]딥러닝을 활용한 이미지 검색 포토요약과 타임라인 최종

딥러닝을 활용한 이미지 검색 : 포토요약과 타임라인

조근희 / 김시연 NAVER Search

CONTENTS1. 이미지 검색과 Deep Learning2. Deep Learning 을 이용한 이미지 검색

사용자 인터페이스 개선

- 포토요약 (PhotoDigest) - 타임라인 (ImageTimeline)

1.이미지 검색과 Deep Learning

들어가기 전에

오늘 이야기할 이미지 검색은 ?Search by Im-

age

이미지에 대한 Description 이 잘 되어야 한다 .

개발 중

나아가 더 잘 보여 줄 수는 없을까 ?

Search by Text

Search by Text 이미지 검색오늘의 주제

이미지 Description이미지에 대한 Description 이 잘 되려면 ?

Description 을 잘 찾아야…

“ 공개된 Deep Learning 모델을 활용한

이미지 검색 개선 사례 공유”

Description 을 만들어 보자 !

Deep Learning 이 대세

이미지 인식 및 언어처리 기술 활용 :

일반적인 블로그 포스트

오늘의 주제

이미지 검색 품질 개선 사례 4 가지 ( 간단히 )이미지 검색 인터페이스 개선 2 가지 ( 자세

히 )- 포토요약과 타임라인

“ 공개된 Deep Learning 모델을 활용한 이미지 검색 개선 사례 공유”

BackgroundDeep Learning 모델과 학습 데이터 사용CNN 기반 Deep Learning 모델 사용공개 데이터 및 자체 구축 데이터

Topic Modeling 과 데이터 분석Bag of Words(BoW), TF-IDF, Doc2Vec…K-Means/Agglomerative Clustering,Nearest Neighbor...

http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/Convolution Neural Network

TF-IDF Model Doc2Vec Model

문제 정의 및 데이터

대규모 데이터 및 이미지 대상 문제 정의

Wanted! 이 데이터 갖고 노실 분

찾음문제 정의

하나의 이미지와 연관된 () 개의 문장 찾기

개의 문장 중 이미지와 연관된 1 개의 문장 선택하기

이미지와 연관된 1 개의 문장 중 개의 단어 찾기

m 개의 문장에 포함되지 않은 tag 부여

1 개의 제목 , 𝑛 개의 이미지 , 𝑚 개의 문장

123

참고 ) 웹수집 문서 16B+

대상 문서 및 이미지

추출된 Image-Text Pair 약 1.2B+ 건

최근 1 년이내 생성 / 수정 블로그에서만

전체 2.6B+ 개의 이미지 (2016.09 기준 )뉴스 / 카페 / 블로그 / 포스트 /

폴라등매일 약 2M 개의

이미지

4

이미지 검색 Overview(Very High Level)Document

ParserExternal

InputManager

Analyzer/Merger

Meta TextRefiner

Deep ImageTagger

LearningTo

Rank

뉴스카페

블로그포스트폴라…

Merged Storage

Feature Storage

Search Collection

Training Collection

이미지 검색과 Deep LearningDeep Learning 의 역할

DocumentParser

Meta TextRefiner

Deep ImageTagger

External InputManager

문서 분석Weakly labeledImage-Text Pair

생성

메타 텍스트 정제Unsupervised Learning 기반Image Annota-

tion

이미지 태깅Supervised

Learning 기반Image Annota-

tion

정답 도구 활용Training Data구축 및 활용


DocumentParser

Meta TextRefiner

Deep ImageTagger


메타 텍스트 정제 이미지 태깅 정답 도구 활용문서 분석Weakly labeledImage-Text Pair

생성

문서 분석 (Document Parser) Weakly labeled Image-Text Pair Generation텍스트와 이미지로 구성된 하나의 문서에서 이미지의 연관 텍스트 추출하기

Body

Text 1 Image 1 Text 2 Image

2 Text 3 Text 4

자그마한 산사… ‘안국사’도 그대로…

 

 

 

고려 박달재 전투의 영웅 ‘김취려’장군의

기마상…

Image 1Visuall

Distance:3

VisualDistance:

0

div

div

div

div

p

div

p

Image 1

Text 1

Text 2

Body

Text 1 Image 1 Text 2

Tag Distance: 3

Tag Distance: 2

Visual Distance

Tag Distance

Title

TitleSemantic Distance

Image-Text Pair 생성과 평가• 기본적으로 주변 텍스트 추출 기법 활용• 보조적으로 Word2Vec 등의 Topic Modeling 기법을 이용한 의미적

분석• 반복적인 평가를 통한 부적합 케이스 분석

문서 분석 (Document Parser)


DocumentParser

Meta TextRefiner

Deep ImageTagger


문서 분석 이미지 태깅 정답 도구 활용메타 텍스트 정제Unsupervised Learning 기반Image Annota-

tion

메타 텍스트 정제 (Meta Text Refiner) Unsupervised Learning 기반 Image Annotation여러 문서의 연관 텍스트와 자질을 조합하여 이미지를 설명하는 텍스트 추출하기

DocumentsQuery

Search

Images in Documents

Deep Feature Extracting

Clustering Text Model-ing

Keyword Tagging𝑞=𝑞𝑢𝑒𝑟𝑦 …,

h𝑤 𝑒𝑟𝑒𝑑={𝑇 , 𝐼 } …, …, …, 𝐶𝑘={𝑣1 ,𝑣2 ,… ,𝑣 𝑙 }

where{𝑤𝑥 ,𝑤 𝑦 ,… } 𝑓𝑜𝑟𝐶𝑘

컬러

드라이

클리닉

염색

탁사정

정자

안내판

소나무

미용실 명소


DocumentParser

Meta TextRefiner

Deep ImageTagger


문서 분석 메타 텍스트 정제 정답 도구 활용이미지 태깅Supervised

Learning 기반Image Annota-

tion

이미지 태깅 (Deep Image Tagger) Supervised Learning 기반 Image Annotation사전 학습된 딥러닝 모델을 이용하여 이미지를 설명하는 텍스트 추출하기

Classify Text Model-ing

Keyword Tag-ging

Learning Classi-

fier

Training

Data

Blog Data

1.5K Classes

Quiz?

번역 Featured by


DocumentParser

Meta TextRefiner

Deep ImageTagger


문서 분석 메타 텍스트 정제 이미지 태깅 정답 도구 활용Training Data구축 및 활용

정답 도구 (Answering Tool)Training Data 구축 및 활용평가자에 의한 대표 이미지 선정 및 Training Data 확보

Evaluator Query SearchSelect Repre-sentative Im-

ageSorting by Similarity

Final Search Re-

sult

Existing Search Re-

sult

Extracting Deep Fea-

ture

Calculate Similarity𝑞=𝑞𝑢𝑒𝑟𝑦

…, …,

…,

…,

2.Deep Learning 을 이용한 사용자 인터페이스 개선

포토요약(PhotoDigest)

포토요약 (PhotoDigest) 이란 ?식당 / 미용실 / 명소의 리뷰와사진을 분석 , 주제별로 구성하여 제공

식당 명소미용실

?

맛집뷰의 탄생

중구 난방의 검색결과 , 정리해서 보여 줄 수 없을까 ?

네이버 블로그 내 맛집 이미지를 모아 분류 및 클러스터링 음식 , 메뉴판 , 식당 외 / 내부 이미지 위주

Can we do better?이미지 분석 및 언어 처리의 Orchestration

인터페이스도 바꾸고

이름도 붙이자

잘 모여있는

이미지 검색 결과

사용자들이 주로

관심 갖는 클러스터

이미지 분석 개선 언어 처리

ClusteringClassification Annotation

Deep Feature 추출과 분류

Deep learning 모델과 학습 데이터범용 데이터를 학습시킨 VGGNet16 모델의 FC7 Layer 추출 deep feature 사용Classifier and classesdeep feature 분류를 위해 OVA(one vs all) 기반 multiclass SVMs 사용내부 , 외부 , 메뉴 , 음식 , 사람 , 동물 , 건물등으로 분류

SVMhttp://courses.media.mit.edu/2006fall/mas622j/Projects/aisen-project/#node_bib_4

Clustering 및 Annotation‘ 음식’ 클래스의 Clustering클러스터 내 이미지 수를 반영하는 동적 클러스터 수에 따라 Agglomerative cluster-ing 적용

NAVER 언어처리를 이용한 word 추출 1

텍스트 마이닝 및 통계 분석 이용 2: TFIDF weight, P Value from Chi-square, Standardized Pearson Residual

대표 키워드 추출

Agglomerative Clustering

…,

𝐶1={𝑣1 ,𝑣2,…,𝑣 𝑖 }

where{w ,w ,… } forC1

𝐶2={𝑣1 ,𝑣2 ,… ,𝑣 𝑗 }

…, where

{𝑤 ,𝑤 ,… } 𝑓𝑜𝑟 𝐶2

12

랭킹 및 서비스 확장

식당에서 미용실 / 명소까지식당 / 미용실 / 명소에 적용 , 서비스별 서로 다른 클러스터 랭킹

식당 미용실 명소

다출처 우선 시술사진 우선 대표 이미지 유사도 우선

Appendix: VGGNet Finetuning(1/3)Food101 데이터로 VGGNet Finetuning요리가 확대된 이미지에 대해 좋은 Clustering 품질을 보임

Appendix: VGGNet Finetuning(2/3)Food101 데이터로 VGGNet Finetuning요리가 아닌 이미지에 대해 Clustering 품질 저하

Appendix: VGGNet Finetuning(3/3)Food101 데이터로 VGGNet Finetuning음식 이미지임에도 저품질을 보이는 경우101 개 클래스와 매우 다른 음식인 경우

국내 음식 데이터 분류에 적합하지 않음 !

Summary이미지 분석과 Text mining 의 조합은 강력하다Deep feature vector 의 Numerical attribute 는 이미지 데이터 분석에 매우 적합유사 이미지를 군집화하기위해 감독학습 기법과 비감독학습 기법을 이용전통적인 Text mining 기법은 image recognition 의 품질 개선에 기여정제되지 않은 사용자 데이터로부터 정제된 검색 결과를 생성

On-going work on active learning

Meta Text Refiner(Unsupervised Learn-

ing)

Deep Image Tagger(Supervised Learning)

Training Data 는 자란다 !

이미지 타임라인 (Image Timeline For Celebrity)

누가 찍든 여러 날을 찍어도 찍을 때 마다 새로운 트와이스

“ 트와이스” 와 “정식당” 은 같은가 ?많은 사람이 여러 날을 찍어도 ,

공통적인 사진이 많아야하는 정식당

“ 트와이스” 이미지를 잘 보여주는 방법

“ 이벤트” 를 “타임라인 " 으로같은 날짜 , 같은 장소에서 찍힌 “ 인물” 이미지를 모아서시간이 흘러가는 대로 보여주자

이미지 타임라인유명인의 이미지를 이벤트별로 묶어서시간순으로 제공

일반 통합 검색 스타 통합 검색 이미지 탭 검색

“ 트와이스” 이미지 정리하기

VisualSummarization

EventDetection

다양한 사진을다채롭게 정리하자

유명인의 이벤트를 찾아서


VisualSummarization

EventDetection



“EVENT DETECTION”?같은 “ EVENT” 를 중심으로 문서를 클러스터링 하는 것

같은 Event 를 다루는 문서인지 판정하여 분류하는 것이 핵심 .

New

분류

Class : 0

Class : 1Even

t

“ 인물 ( 다수 / 복수 )”, “ 시간” , “ 장소 ( 물리적 )” 가 분명한 것

“EVENT”?인물 이미지를 보는 사용자에게 의미가 있는 “ EVENT”

시상식 등 행사 공항 패션 열애설화보

n 개의 이미지 ( n >=1 )m 개의 문장 (0 <= m <=3)1 개의 제목

+ 서로 다른 어휘+ 기자님들의 사소한 실수

포토 뉴스 데이터 http://m.entertain.naver.com/read?oid=117&aid=0002814145http://m.entertain.naver.com/read?oid=117&aid=0002814124

http://m.entertain.naver.com/read?oid=117&aid=0002814145




데이터 전처리

형태소 분석을 통한 메타데이터 추출1. “ 누구” 것인 지 분명히 알아야하니까2. 텍스트가 너무 짧고 너무 비슷해서

제목 , 본문의 TF, 조사의 위치 이용가장 중요할 것으로 추측되는 명사구 추출

분류하기 : 같은 이벤트 / 다른이벤트

결정 트리를 이용한 분류BagOfWords 로 메타데이터 , 본문에서 distance vector 추출하여 학습

Article인명 명사구

장소 명사구

본문

EventArticleArticleArticle

Class : 같은 이벤트 Class : 다른 이벤트

왜 텍스트만 썼지 ?Doc2Vec Feature ?같은 “ EVENT” 라면 비슷한 공간에 사상되겠지 ?: 뉴스 기사 약 94 만건 제목 / 본문 학습

참고 : 뉴스 클러스터링 개선을 위한 문서 임베딩 및 이미지 분석 자질의 활용 – HCLT2015, 김시연 , 김상범

이벤트는 같아도 , 기사의 목적이 다른 경우 (예 : 사실 전달 /작품 리뷰 ) 성능 저하 발생

Le, Quoc V., and Tomas Mikolov. "Distributed representa-tions of sentences and documents." arXiv preprint arXiv:1405.4053 (2014).

왜 텍스트만 썼지 ?Visual Feature ?같은 “ EVENT” 라면 옷차림이나 헤어스타일이 비슷하지 않을까 ?: AlexNet FC 7 layer feature 사용

다른 이벤트여도 , 비슷한 옷차림 /헤어스타일 / 포즈일 경우 성능 저하 발생

거리 - 0.022

Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Im-agenet classification with deep convolutional neural networks." Advances in neural information processing sys-tems. 2012.


“EVENT” 의 동일함을 찾는 Task 에선 , 여전히 “단어” 자체가 중요

“ 이미지” 의 유사도는 FP/FN 야기 가능성 존재

예쁘다”와 “아름답다”가 같은 곳에 사상되는게 중요한게 아님

명백한 “사실 " 을 알 수 있어야 함

같은 이벤트여도 이미지가 다르고 ,다른 이벤트여도 이미지가 비슷할 수 있음

Visual Feature 은 Text 가 하지못한 Outlier 제거 시 활용


이미지를 Event 로 모아서 보면 ?


VisualSummarization

EventDetection



비슷한 이미지끼리 모으기

Visual Feature : AlexNet FC7 feature using caffe

[7.686598, 0, 0, .... ]

Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neu-ral networks." Advances in neural information processing systems. 2012.

비슷한 이미지끼리 모으기

2 단계 K-means Clustering

임의의 k 로 K-means Clustering

Cluster 정리Cluster 간 거리

item 과 Cluster 중심과의 거리

재 정리한 Central 를 입력 ,K-means Clustering

클러스터링한 이미지를 보면 ?클러스터 이미지를 그냥 보여주면 중복 같고 , 지루하고… .

c@1, i@1c@1, i@2c@2, i@1c@2, i@2c@3, i@1c@3, i@2c@4, i@1

Ranking + DiversificationCluster 간 Ranking : 어떤 종류의 이미지가 좋은 가 ?Cluster 응집도 , Image 개수 고려 , Collage Image 고려

Cluster 내 Image Ranking : 각 종류별로 더 좋은 이미지는 ?Image 품질 , Cluster 중심과의 거리 , Cluster 내 타 Image 과의 거리

@1@2

@3

@4

“Event” 설명문 찾기

본문내 문장을 가지고 Clustering, 가장 중심에 있는 문장 선택이미지만 주면 무슨 이벤트 인지 모르니까

걸그룹 트와이스의 멤버 쯔위가 31일 잠실 구장에서 진행된…

2016 프로야구 KIA 와 LG 의 경기가 31 일 오후 서울 잠실…

31 일 오후 서울 송파구 잠실 야구장에서 열린 ‘ 2016 타이어뱅크’…

Event Card EVENT DATEEVENT DESCRIPTIONEVENT IMAGES

이미지 타임라인

Event Card == 문서 인 Search By Text

Summary“Text + Image” For Service서비스를 위한 기술의 선택과 활용전통적인 Text mining 기법으로 데이터 한계 극복Deep feature vector 활용으로 유사 이미지 군집 및 다양성을 고려한 랭킹 적용

Q&A

Thank You

Technology

[222]딥러닝을 활용한 이미지 검색 포토요약과 타임라인 최종