Upload
payton
View
43
Download
1
Embed Size (px)
DESCRIPTION
Princippet om polyrepræsentation: teori, eksperimenter og erfaringer. Mette Skov og Birger Larsen Danmarks Biblioteksskole. Temadag om Udviklingstendenser indenfor indeksering og repræsentation, 3. oktober 2007. Disposition. Princippet om polyrepræsentation - et kognitivt perspektiv på IR - PowerPoint PPT Presentation
Citation preview
Princippet om polyrepræsentation: Princippet om polyrepræsentation: teori, eksperimenter og erfaringerteori, eksperimenter og erfaringer
Mette Skov og Birger LarsenDanmarks Biblioteksskole
Temadag om Udviklingstendenser indenfor indeksering og repræsentation, 3. oktober 2007
2
DispositionDisposition
• Princippet om polyrepræsentation - et kognitivt perspektiv på IR
• Empiriske undersøgelser af polyrepræsentation• Repræsentationer af informationsrummet (dokumenter og
informationssystemer)• Repræsentationer af brugerens kognitive rum
• Konklusion af nuværende undersøgelser
• Hvad kan vi bruge resultaterne til? Og hvad er næste skridt?
3
Det kognitive synspunktDet kognitive synspunkt
• Princippet om polyrepræsentation er forankret i det kognitive synspunkt, hvor information retrieval & seeking (IR&S) opfattes
som processer og kognition (bl.a. Ingwersen 1996; Ingwersen & Järvelin, 2005)
• Holistisk tilgang hvor kognitive strukturer fra alle komponenter og aktører i IR&S processen indgår, f.eks. forfattere, indeksører og designere af tesauri, databaser og brugergrænseflader
• Det medfører stor variation af forskellige kognitive repræsentationer og fortolkninger indenfor én og samme
søgesituation
4
Kognitiv model af centrale Kognitiv model af centrale komponenter i IS&Rkomponenter i IS&R
SocialContext
Informationobjects
IT: EnginesLogics
Algorithms
InterfaceCognitiveActor(s)
(team)
Org.
Cultural
= Cognitive transformation and influence over time= Interactive communication of cognitive structures
Information IR Social
InteractionInteractionRetrievalSocialcontextSocialContext
Informationobjects
IT: EnginesLogics
Algorithms
InterfaceCognitiveActor(s)
(team)
Org.
Cultural
= Cognitive transformation and influence over time= Interactive communication of cognitive structures
Information IR Social
InteractionInteractionRetrievalSocialcontext
5
Hypotesen omHypotesen om polyrepræsentation polyrepræsentation
• Motivationen bag princippet om polyrepræsentation er at udnytte variationer af kontekst som indgår i en interaktiv IR proces (Ingwersen, 1996; Ingwersen og Järvelin, 2005)
• Dvs. udnytte den store variation af (allerede eksisterende)
repræsentationer til at optimere søgning
• Jo flere kognitivt og funktionelt forskellige repræsentationer, der peger på dokumenter i såkaldte kognitive overlap, desto større er sandsynligheden for at dokumenterne er relevante
6
Polyrepræsentation i forskellige Polyrepræsentation i forskellige sammenhængesammenhænge
RequestVersion …
Task / ProblemDescription …
defined cognitive overlap in X
defined cognitiveoverlap in X
COGNITIVECOGNITIVEOVERLAPOVERLAP
fromfromEngine XEngine X
Engine Xdefined …rank/cognitive overlap
Engine Y defined … rank/cognitiveoverlap
TOTALTOTALCOGNITIVECOGNITIVEOVERLAPOVERLAP
Engine Pdefined …
PX PY
XY
COGNITIVEOVERLAP
CITATIONSIn-links to titles
authors & passages
AUTHOR(s)Text - imagesHeadingsCaptionsTitlesReferencesOut-links
THESAURUSstructure
INDEXERSClass codesDescriptorsDocument type Weights
SELECTORsJournal namePublication yearDatabase(s)Corporate sourceCountry
Informationsrummet: dokumenter
(2 eksperimenter)
Informationsrummet: IR systemer
(1 eksperiment)
Brugerens kognitive rum
(1 eksperiment)
7
Polyrepræsentation af Polyrepræsentation af dokumentrepræsentationerdokumentrepræsentationer
• Skov et al. (2006) udnyttede fire forskellige dokument-repræsentationer
• Variation m.h.t.: •Forskellige kognitive ophav
(TI/AB vs. MJ og MN)•Samme kognitive ophav men
funktionelt forskellige (TI/AB og RF)
• Titel/abstracts (TI/AB)• Referencer (RF) • Major MeSH (MJ) og• Minor MeSH (MN)
MN
RF TI/AB
MJ
OL1
OL4 OL3
OL7 OL10
OL8
OL9
OL2 OL5
OL11 OL6
MN
AB
TIRF
8
Polyrepræsentation af dokument-Polyrepræsentation af dokument-repræsentationer (Skov et al.)repræsentationer (Skov et al.)
• Formål: Empirisk undersøgelse af hvorvidt udnyttelse af kognitivt og funktionelt forskellige repræsentationer kan optimere søgning?
• Data: CF-testsamlingen (1239 poster fra Medline), 4 dok-repræsentationer, 29 topics, best match og Boolesk søgning
(InQuery-systemet)
• Metode: Identifikation af alle kognitive overlaps mellem repræsentationerne ved anvendelse af to typer af søgninger
(naturligt sprog og struktureret sprog)
Resultater – overlaps Resultater – overlaps
Minor MeSH (mn)Minor MeSH (mn)
Referencer (rf)Referencer (rf) Titel/abstract (ti/ab)Titel/abstract (ti/ab)Major MeSH (mj)Major MeSH (mj)
Natural language Highly structured
All relevant All relevant Highly relevant# doc Precision Recall # doc Precision Recall Precision Recall
Overlap A B C D E G F H
OI 1 (ti/ab,mj,mn,rf) 126 41% 5% 58 69% 4% 53% 6%
Ol 2 (ti/ab,mj,mn) 668 13% 8% 100 42% 4% 20% 4%
Ol 3 (ti/ab,mj,rf) 101 48% 4% 66 79% 5% 45% 6%
Ol 4 (ti/ab,mn,rf) 240 29% 6% 68 62% 4% 47% 7%
Ol 5 (mj,mn,rf) 3 0% 0% 11 64% 1% 45% 1%
Ol 6 (ti/ab,mj) 702 12% 7% 131 45% 5% 22% 6%
Ol 7 (ti/ab,mn) 1761 9% 14% 210 27% 5% 13% 6%
Ol 8 (ti/ab,rf) 1528 9% 12% 162 27% 4% 19% 6%
Ol 9 (mj,mn) 141 6% 1% 42 26% 1% 14% 1%
Ol 10 (mj,rf) 6 33% 0% 16 38% 1% 19% 1%
Ol 11 (mn,rf) 42 21% 1% 68 24% 2% 16% 2%
Ol 12 (ti/ab) 16201 2% 25% 770 12% 8% 5% 8%
Ol 13 (mj) 106 10% 1% 109 27% 3% 12% 3%
Ol 14 (mn) 603 4% 2% 336 17% 5% 7% 5%
Ol 15 (rf) 872 5% 4% 2458 6% 12% 2% 10%
Resultater – overlaps Resultater – overlaps
Minor MeSH (mn)Minor MeSH (mn)
Referencer (rf)Referencer (rf) Titel/abstract (ti/ab)Titel/abstract (ti/ab)Major MeSH (mj)Major MeSH (mj)
Natural language Highly structured
All relevant All relevant Highly relevant# doc Precision Recall # doc Precision Recall Precision Recall
Overlap A B C D E G F H
OI 1 (ti/ab,mj,mn,rf) 126 41% 5% 58 69% 4% 53% 6%
Ol 2 (ti/ab,mj,mn) 668 13% 8% 100 42% 4% 20% 4%
Ol 3 (ti/ab,mj,rf) 101 48% 4% 66 79% 5% 45% 6%
Ol 4 (ti/ab,mn,rf) 240 29% 6% 68 62% 4% 47% 7%
Ol 5 (mj,mn,rf) 3 0% 0% 11 64% 1% 45% 1%
Ol 6 (ti/ab,mj) 702 12% 7% 131 45% 5% 22% 6%
Ol 7 (ti/ab,mn) 1761 9% 14% 210 27% 5% 13% 6%
Ol 8 (ti/ab,rf) 1528 9% 12% 162 27% 4% 19% 6%
Ol 9 (mj,mn) 141 6% 1% 42 26% 1% 14% 1%
Ol 10 (mj,rf) 6 33% 0% 16 38% 1% 19% 1%
Ol 11 (mn,rf) 42 21% 1% 68 24% 2% 16% 2%
Ol 12 (ti/ab) 16201 2% 25% 770 12% 8% 5% 8%
Ol 13 (mj) 106 10% 1% 109 27% 3% 12% 3%
Ol 14 (mn) 603 4% 2% 336 17% 5% 7% 5%
Ol 15 (rf) 872 5% 4% 2458 6% 12% 2% 10%
11
Resultater og konklusion Resultater og konklusion (Skov et al.)(Skov et al.)
• Generelt bekræftes hypotesen om polyrepræsentation. Jo flere repræsentationer der peger på et dokument desto højere præcision
• Struktureret søgning giver højere præcision end søgning i naturligt sprog
• Struktureret søgesprog er nødvendigt pga. polyrepræsentations boolske natur
• Query expansion i tesaurus er nødvendigt for at sikre kvalitet og undgå tomme overlap
• Overlap, hvor referencer indgår, har højere præcision end dem uden. Dette understreger vigtigheden af at inkludere kognitivt forskellige repræsentationer
12
Kompleks polyrepræsentation:Kompleks polyrepræsentation:BoomerangeffektenBoomerangeffekten
• Kombination af princippet om polyrepræsentation og søgning via citationer
• Citationssøgning kan give gode resultater med gode kildedokumenter, men disse kan være svære at få fat i
• Idé: brug polyrepræsentation til at identificere kildedokumenter automatisk
• Udforsket i ph.d.-projekt (Larsen, 2004)• Tager udgangspunkt i emnesøgninger i videnskabelige
dokumenter• Udtrækker og vægter referencer, og laver en fremadrettet
citationssøgning med disse kildedokumenter• 2 versioner: en Boolesk og en best match
COGNITIVEOVERLAP
CITATIONSIn-links to titles
authors & passages
AUTHOR(s)Text - imagesHeadingsCaptionsTitlesReferencesOut-links
THESAURUSstructure
INDEXERSClass codesDescriptorsDocument type
Weights
SELECTORsJournal namePublication yearDatabase(s)Corporate sourceCountry
COGNITIVEOVERLAP
CITATIONSIn-links to titles
authors & passages
AUTHOR(s)Text - imagesHeadingsCaptionsTitlesReferencesOut-links
THESAURUSstructure
INDEXERSClass codesDescriptorsDocument type
Weights
SELECTORsJournal namePublication yearDatabase(s)Corporate sourceCountry
BoomerangeffektenBoomerangeffektenStep 1
documents
Step 3documents
OL = Overlap Level
Step 2citations
i ii
iii I
II III
IV
OL3
OL2 OL2
OL1 OL1
OL1
OL1
OL2 OL2
OL1 OL1
(OL0)
(OL0)
(OL0)(OL0)
TI
AB DE
iv
Fra Larsen (2004), s. 82 Fra Larsen (2004), s. 82
= Ranking with threshold
14
Boomerangeffekten: resultaterBoomerangeffekten: resultater
• Den Booleske version gav meget lovende resultater• 4 repræsentationer (TI, AB, ”ID”, basic index), 3 work tasks,
100 dokumenter bedømt per task (Larsen, 2002)• Højere precision i indre overlap: hele vejen op, og både i
step 1 og step 3. Mange ekstra relevante dokumenter fundet
• Best match versionen gav gode resultater, men ikke bedre end baseline
• 11 repræsentationer (TI, AB, AU keywords, figur- og tabel, intro. + konkl., citerede titler, citationsindeks, DE og ID)
• Del af INEX: 12.107 XML dokumenter, 23 work tasks• 2 baselines: bag-of-words og ustruktureret polyrep uden
citationer
Boomerangeffekten: best matchBoomerangeffekten: best match
• Baseline (bag-of-words) klarede sig bedst
• Både boomerang og polyrep. påvirkes kraftigt af antallet af top-dokumenter i step 1
Results for the ‘generalized’ INEX2002 scoring function
Run AvgP
boomerang (H/ff/32) 0.0422
polyrepresentation 0.0419
bag-of-words 0.0606
0,00
0,20
0,40
0,60
0,00 0,50 1,00
Generalized recall (gR)
Gen
era
lized
pre
cisi
on
(g
P)
bag-of-wordspolyrepresentation (64)boomerang (H/xx/16)
0,00
0,10
0,20
0,30
0,40
0,50
0,60
0,70
0,80
0,90
0 20 40 60 80 100
Rank (DCV_step3)
nC
G (
0-1-
2-3)
bag-of-wordspolyrepresentationboomerang (H/xx/16)
16
Boomerangeffekten, refleksionerBoomerangeffekten, refleksioner
• Struktureret (=Boolesk) fungerede godt, ustruktureret knap så godt
• Polyrep Boolesk af natur?• Polyrep continuum?
• For mange / for dårlige repræsentationer?• Struktur nødvendigt?
UnstructuredStructured
The Polyrepresentation Continuum
Exact matchSetsOverlapsPseudo-ranking
Best matchThresholds
Fusion of ranks Continuous ranking
Polyrepræsentation af IR systemerPolyrepræsentation af IR systemer
• Lund (speciale, 2005) undersøgte kombinationer af de 12 bedste TREC5 systemer med 30 topics (40+ relevante dokumenter)
• Kognitivt forskellige systemer (nogle mere end andre)• En slags ”data fusion”: Ekstra vægt til dokumenter i overlap• Fuse12: top-100 inverteret og summeret over alle 12 systemer
med boosting for dokumenter i overlap (100x, 90x, …)• Fuse4;3a;3b;3c…: Samtlige mulige overlap mellem de 4 bedste
systmer• Supersystem: fordi Fuse4 ofte fandt mindre
end 100 dokumenter, blev Fuse 3a etc slået samen i et supersystem (mix af vægte) Engine X
defined …rank/cognitive overlap
Engine Y defined … rank/cognitiveoverlap
TOTALTOTALCOGNITIVECOGNITIVEOVERLAPOVERLAP
Engine Pdefined …
PX PY
XY
Polyrepræsentation af IR systemerPolyrepræsentation af IR systemer
• Med mange relevante dokumenter per topic klarer polyrepræsentation sig bedre end input systemerne (ved top-100)
• Fusioner at de 3-5 bedste systemer var bedre end det bedste input systemer:
• Når kognitivt forskellige systemer blev kombineret var performance signifikant bedre• Når kognitivt lignende systemer blev kombineret faldt performance
Konklusioner• ’Blødgøring’ af de
Booleske sæt fungerede godt: tilføjelse af overlap fra lavere niveauer gav gode resultater
• Stor samling med mange dokumenter flere dokumenter i overlap?
Precision Recall F-measure MAP
S-system 0.56* 0.46* 0.47* 0.40*
Fuse4 0.48^ 0.29* 0.36*^ -
Fuse12 0.41*^ 0.31* 0.33* 0.27*
UWG 0.42*^ 0.32* 0.33* 0.29*
ETH 0.40*^ 0.32* 0.33* 0.31*
GEN 0.35*^ 0.28* 0.29* 0.24*
COR 0.34*^ 0.27* 0.28*^ 0.23*
Baseret på Lund, Schneider & Ingwersen (2006)Baseret på Lund, Schneider & Ingwersen (2006)
Polyrep. af brugernes kognitive rumPolyrep. af brugernes kognitive rum
• Mange muligheder (se Ingwersen & Järvelin, 2005, p. 335 ff)• Kelly, Dollu & Fu (2005) undersøgte udtrækning og kombination
af forskellige funktionelle repræsentationer af brugernes kognitive rum ved at stille 4 spørgsmål i interfacet:
• Q1: Hvor mange gange har du tidligere søgt på emnet;• Q2: Beskriv hvad du allerede ved om emnet (16,18 ord);• Q3: Hvorfor er interesseret i at vide noget om emnet (10,67 ord);• Q4: Kan du give ekstra ord der beskriver emnet (3,3 ord)
• Ord fra svarene blev kombineret og sammenlagt på forskellige måder med højere vægte for gentagne termer = ikke meget struktur
RequestVersion …
Task / ProblemDescription …
defined cognitive overlap in X
defined cognitiveoverlap in X
COGNITIVECOGNITIVEOVERLAPOVERLAP
fromfromEngine XEngine X
20
Polyrep. af brugernes kognitive rumPolyrep. af brugernes kognitive rum
• Del af TREC 2004 HARD track: 13 søgere, 45 tasks med relevance vurderinger
• Anvendte clarification forms med Q1-Q4 til at kontekstualisere tasks
• Meget interessante resultater:• Alle enkeltvise Q og Q-kombinationer klarede sig bedre end
baselinen• Alle ord (BL+Q2+Q3+Q4) gav bedst resultater af alle• Meget stærk korrelation mellem query-længde og performance• “...probing users with different, but related questions might elicit
most robust and useful problem descriptions.” (p. 463)• Kelly, Dollu & Xin Fu (2005) giver meget stræk støtte til
polyrepræsentation af brugernes kognitive rum flere forsøg med mere avancerede vægtninger af overlap
21
Konklusioner og vejen fremKonklusioner og vejen frem
• Princippet om polyrepræsentation• giver en teoretisk ramme for at udnytte mange forskellige
typer af indeksering til at opnå bedre resultater• Mange hypoteser kan genereres og der er en teori at fortolke
resultaterne i forhold til• Er holistisk og inddrager både system- og brugersiden• Ser ud til at fungere også empirisk i delkomponenter
• Mangler endnu tests der kombinerer bruger og systemsiden (forventning om gode resultater)
• Kan lede til meget komplekse kombinationer…
22
Konklusioner og vejen fremKonklusioner og vejen frem
• Næste skridt• Erfaringsopsamling med en lang række forskellige data
vigtigt for tuning af algoritmer• Flere laboratorietests af kombinationer af dokumenter og
informationssystemer• Laboratorietests med brugerdata og brugere
• Tests af implementering i operationelle miljøer• Undersøge applikation på federated/intergrated search• Tests af berigelse af bibliografiske poster (lektørudtalelser,
anmeldelser, logdata)
23
Tak for opmærksomheden
24
ReferencerReferencer
• Ingwersen, P. (1996). Cognitive perspectives of informationretrieval interaction: elements of a cognitive IR theory. Journal of Documentation, 52(1), 3-50.
• Ingwersen, P. & Järvelin, K. (2005). The turn: integration of information seeking and retrieval in context. Springer.
• Kelly, D., Dollu, V.D. & Xin Fu.: The loquacious user: A document-independent source of terms for query expansion. In: Proceedings of the 28th Annual ACM SIGIR Conference on Research and Development in Information retrieval. ACM Press, New York NY (2005) 457-464
• Larsen, B. (2002): Exploiting citation overlaps for information retrieval: generating a boomerang effect from the network of scientific papers. Scientometrics, 54(2), 155-178.
• Larsen, B. (2004): References and citations in automatic indexing and retrieval systems : experiments with the boomerang effect. Copenhagen: Royal School of Library and Information Science. XIII, 297 p. (PhD dissertation) [http://www.db.dk/blar/dissertation]
• Lund, B.R., Schneider, J.W. & Ingwersen, P. (2006). Impact of relevance intensity in test topics on IR performance in polyrepresentative exploratory search systems. In: White, Ryen, Muresan, G. & Marchionini, G. (eds.), Evaluating Exploratory Search Systems, Proceedings of the SIGIR 2006 EESS Workshop: 42-46.
• Skov, M., Larsen, B. & Ingwersen, P. (2006): Inter and intra-document contexts applied in polyrepresentation. In: Proceedings of the first symposium on Information Interaction in Context (IIiX), 18-20 October, 2006, Copenhagen, Denmark.