Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
Deep learning pour la RI
© Some slides are directly extracted fromhttp://nn4ir.com/
o Traditional approach
o Modern approach (guided by machine learning)
n Conducting query and document understandingn Representing query and document as multiple feature vectorsn Calculating multiple matching scores between query and document n Training ranker with matching scores as features using learning to rank
From traditional to modern approaches in IR
Recherche d'information textuelle 266
RSV(d, q)
f(d, q)
Lexical vs. Semantic matching
Recherche d'information textuelle 267
© http://nn4ir.com/
o Pioneer work for text semanticsn Word embeddings
o Skip-gram & CBOWo Following methods: Gloves,
FastText, …
o Principle: learn wordrepresentations using contextualinformations
o Unsupervised methods (not task-driven)
Deep learning for semantic matching
Recherche d'information textuelle 268
From Word to Document/Queryembeddings
Recherche d'information textuelle 269
© http://nn4ir.com/
From Word to Document/Queryembeddings
Recherche d'information textuelle 270
© http://nn4ir.com/
Dual Embedding Space Model (DESM) [Nalisnick et al., 2016]
Recherche d'information textuelle 271
© http://nn4ir.com/
Dual Embedding Space Model (DESM) [Nalisnick et al., 2016]
Recherche d'information textuelle 272
© http://nn4ir.com/
Neural Translation Language Model [Zuccon et al., 2015]
Recherche d'information textuelle 273
© Zuccon et al. 2015
© http://nn4ir.com/
Neural Translation Language Model [Zuccon et al., 2015]
Recherche d'information textuelle 274
© http://nn4ir.com/
Pre-trained word embedding for queryterm weighting [Zheng and Callan, 2015]
Recherche d'information textuelle 275
© http://nn4ir.com/
Pre-trained word embedding for queryexpansion
Recherche d'information textuelle 276
© http://nn4ir.com/
Pre-trained word embedding for queryexpansion
Recherche d'information textuelle 277
© http://nn4ir.com/
o Document/query representations are generallylearnt independently from the retrieval taskn Well designed for semantic matchingn Not specifically designed for relevance matching
o One solution is to guide representation according to the retrieval taskn Goal of retrieval task: rankingn Need to build neural network able to rank documents
(learning-to-rank)
From document/query representations to end-to-end neural IR models
Recherche d'information textuelle 278
n Representation-basedneural models
n Interaction-based neural models
End-to-end neural IR approaches
Recherche d'information textuelle 279
© Nguyen 2018
© Nuyen
o Triplet loss
Learning-to-rank with neural models
Recherche d'information textuelle 280
©https://filebox.ece.vt.edu/~jbhuang/teaching/ece6554/sp17/lectures/Lecture_08_Siamese_Triplet_Networks.pdf
! =max(cos *, , + −cos *, , − +/01234, 0)
Representation-based neural modelsDeep Semantic Matching Model (Huang et al, 2014)
Recherche d'information textuelle 281
o Word representations: letter trigram
o Document scoring
o Loss
Representation-based neural modelsDeep Semantic Matching Model (Huang et al, 2014)
Recherche d'information textuelle 282
n Dataset: commercial search engine (over 16.000 queries)
Representation-based neural modelsDeep Semantic Matching Model (Huang et al, 2014)
Recherche d'information textuelle 283
Representation-based neural modelsAn extension with convolution (sentence level)
Recherche d'information textuelle 284
© http://nn4ir.com/
Interaction-based neural models
Recherche d'information textuelle 285
© http://nn4ir.com/
Interaction-based neural modelsDeep Relevance Matching model [Guo et al., 2016]
Recherche d'information textuelle 286
o Histogramsn Count-based Histogram (CH): the count of local
interactions in each bin as the histogram value.n Normalized Histogram (NH): normalization of the count
value in each bin by the total count. n LogCount-based Histogram (LCH): logarithm applied over
the count value in each bin.
o Loss
Interaction-based neural modelsDeep Relevance Matching model [Guo et al., 2016]
Recherche d'information textuelle 287
Interaction-based neural modelsDeep Relevance Matching model [Guo et al., 2016]
Recherche d'information textuelle 288
o Challengesn Traditional baselines as BM25 are difficult to beatn Relatively good results on short texts (titles) but not
on long text
o Solutions
Representation-based neural modelsLimitations and challenges
Recherche d'information textuelle 289
© http://nn4ir.com/
Neural Ranking Models with WeakSupervision [Dehghani et al., 2017]
Recherche d'information textuelle 290
© http://nn4ir.com/
Neural Ranking Models with WeakSupervision [Dehghani et al., 2017]
Recherche d'information textuelle 291
© http://nn4ir.com/
o Knowledge resources (thesaurus, nomenclature, …)
Another type of semantics
Recherche d'information textuelle 292
© Nguyen
o Graph-oriented knowledge resources
Another type of semantics
Recherche d'information textuelle 293
Comment on fait en RI classique ?
Recherche d'information textuelle 294
RI sém
antique R
I Conceptuelle
Désambiguïsation des mots (Voorhees 93, Sanderson97, Gonzalo 98, Baziz et al. 05,Boughanem et al.10)
Reformulation de la requête (Voorhees 99, Baziz et al.03, Croft et al. 2011)
RI basée sur les concepts (Bedersky et al, 2012)
�
�
�
Approches basées sur l’analyse de corpus
•Proximité des mots : Bi-grammes, Bi-termes, , Apprentissage profond (deep learning)
Approches basées sur des ressources sémantiques
•Ontologies : (WordNet), thésaurus (UMLS) , Encyclopédie (wikipedia)
© Lynda Said L’hadj
Approches basées sur l’analyse de corpus
Recherche d'information textuelle 295
Travaux Descripteurslongs Relations Pertinence
revisitéeAuteurs Description
Berger & LaffertySIGIR 99
Statistical translation Modélisation de la synonymie par un modèle de cooccurrence
- + +
Song & CroftSIGIR
A general language model for information retrieval
Modèle de langue de bigrammes + - -
Srikanth & srihari(SIGIR’02-03)
Bi-term language Model Modèle de langue de bi-termes et concepts (bigrammes revisités)
+ - -
Gao et al. (SIGIR’04)
Dependence language model for information retrieval
Liens pondérés entre les mots de la requête modélisée par un graphe de liens L
- + -
Metzler & croft (SIGIR’05)
A markov random field model for term dependencies
Liens pondérés entre la requête et le document (FI,SD,FD)
- + +
Shi & Nie (SIGIR’09)
Phrase inseparability in phrase-based model
Mots composés identifié selon un facteur discriminant + + +
Hammache et al (KIS’ 13)
Compound and singleterms under LM
Mot composés identifiés selon facteur de dominance + + +
Bendersky et al(SIGIR 12)
Modeling higher-order term dependencies in IR using query hypergraphs
Concepts identifiés selon un processus d’apprentissage + - +
© Lynda Said L’hadj
Approche basée sur des ressources sémantiques
Recherche d'information textuelle 296
Travaux Descripteur
Long Désambiguïsa
tionRelation
s Pertinen
ce revisitée Auteurs Description
Voorhees et al.SIGIR’94
Query expansion using lexical-semantic relations
Représentation de la requête étendue par un vecteur Résultat négatif (requête longues)
- - + -
Baziz et al. RSTI’ 03
expansion de requêtes
Expansion prudente (long concepts). + + + +
Baziz et al. CoLIS'05
Document and queryexpansion (Doc Core)
Noyau sémantique des documents. Désambiguïsation basée sur les relations sémantiques
+ + + +CF.IDF
Baziz et al. RIAO’07
IR driven by ontology from query to document expansion. (Doc Tree)
Représentation par les sous arbres appariement flow . Meilleure que DoCore
+ + + +
Cao et al. SIGIR’05
WordNet relationshipsin LM
Combinaison linéaire de (UL,LM,CM), (UL,LM)-- - - + -
Bao et al. 05 Language SenseModel
Lissage sémantique des mots avec leurs sens (Requêtes courtes ++)
- + +
Zhou et al. 08 Topic signature language models
Lissage du ML par des concepts + - - -
Tu et al. 11 Wikipedia-basedsemantic smoothing
Lissage du ML par des concepts + + - -
Meij et al. 12 Conceptual language models for domain-specific retrieval
Réécriture de la requête avec les mots simples engendré par les concepts des document feedback
- + -
© Lynda Said L’hadj
o Word embeddings are not sufficient to conveymeanings expressed in knowledge resources
n Hybrid approaches for representing word/documents
n End-to-end approach leveraging knowledge resources
And with deep learning methods?
Recherche d'information textuelle 297
o Triplet embedding [Bordes et al., 2013] – TransE, TransR, …n Concepts h and tn Related by l
Knowledge-guided word representations
Recherche d'information textuelle 298
o RC-NET [Xu et al., 2014]
Knowledge-guided word representations
Recherche d'information textuelle 299
o Retrofitting word representations [Faruqui et al., 2015]n 2 steps:
o Estimate word embeddingso Retrofit word embeddings with KB
n New embeddings close to first onesn Close to concept embeddings in the KB
Knowledge-guided word representations
Recherche d'information textuelle 300
Knowledge-guided word and concept representations
Recherche d'information textuelle 301
o [Mancini et al., 2017]
Knowledge-guided word and concept representations
Recherche d'information textuelle 302
??????
Future direction in IR
Recherche d'information textuelle 303
o GAN
Future directions of deep learning in IR
Recherche d'information textuelle 304
Source : http://wnzhang.net/tutorials/sigir2018/docs/sigir18-irgan-full-tutorial.pdf
IRGAN (Wang et al., 2017)
Recherche d'information textuelle 305Source : http://wnzhang.net/tutorials/sigir2018/docs/sigir18-irgan-full-tutorial.pdf
IRGAN (Wang et al., 2017)
Recherche d'information textuelle 306Source : http://wnzhang.net/tutorials/sigir2018/docs/sigir18-irgan-full-tutorial.pdf
o Reinforcement learning ?
Future directions of deep learning in IR
Recherche d'information textuelle 307
Source : http://wnzhang.net/tutorials/sigir2018/docs/sigir18-irgan-full-tutorial.pdf
o Reinforcement learningn User modeling: sequence of actions, predicting next
steps, …n Chatbot !
Future direction in IR
Recherche d'information textuelle 308
o Reinforcement learning for natural languageunderstanding (Nogueira et al., 2018)
Future direction in IR
Recherche d'information textuelle 309
Recherche d'information textuelle 310
o Reinforcement learning for natural languageunderstanding (Aissa et al., 2018)
Future direction in IR
Bibliographieo Ouvrages généraux
n Baeza-Yates R, Ribeiro-Neto B., 1999, Modern Information Retrieval, Addison-Wesleyn Manning D., Schütze H., 1999, Foundations of statistical natural language processing, MIT pressn Christopher D. Manning, Prabhakar Raghavan and Heinrich Schütze, Introduction to Information
Retrieval, Cambridge University Press. 2008.n Amini M., Gaussier E., Recherche d’information, Eyrolles 2012
311Recherche d'information textuelle