Upload
alexandre-duarte
View
700
Download
0
Embed Size (px)
Citation preview
Ordenação e Recuperação de Dados
Prof. Alexandre Duarte - http://alexandre.ci.ufpb.br
Centro de Informática – Universidade Federal da Paraíba
Aula 9: Avaliação de Sistemas de Recuperação de Informação e Sumário de Resultados
111
Agenda
❶ Revisão
❷ Avaliação sem classificação
❸ Avaliação com classificação
❺ Sumário de Resultados
2
Agenda
❶ Revisão
❷ Avaliação sem classificação
❸ Avaliação com classificação
❺ Sumário de Resultados
3
44
5
Usando um heap mínimo para selecionar os top k documentos entre os N disponíveis
Usar um heap binário mínimo Um heap binário mínimo é uma árvore binária na qual o
valor de cada nó é menor que o valor de seus filhos. Precisamos de O(N log k) operações para construir um
heap contendo os k maiores valores entre os N documentos.
Essencialmente linear em N para um valor pequeno para k e grande para N
5
Heap binário mínimo
6
7
Seleciona os k melhores scores em O(N log k) Objetivo: Manter os k melhores documentos encontrados
até o momento Usar um heap binário mínimo Para processar o documento d com score′ s :′
Pegar o valor mínino do heap hm (em O(1))
Se s ′ ≤ hm ignorar e processar o próximo documento
Se s > ′ hm heap-delete-root (in O(log k)) Heap-add s (in ′ O(log k))
7
8
Índice estratificado
8
Agenda
❶ Revisão
❷ Avaliação sem classificação
❸ Avaliação com classificação
❺ Sumário de Resultados
9
10
Métricas para um engenho de busca
Quão rápido ele consegue indexar e.g., número de bytes por hora
Quão rápido ele consegue realizar uma busca e.g., latência como função da quantidade de consultas por
segundo Qual o custo por consulta?
em $
10
11
Métrica para um engenho de busca Todos os critérios anteriores podem ser mensuráveis:
podemos quantificar velocidade / tamanho / dinheiro No entanto, a principal métrica para um engenho de busca é
satisfação do usuário. O que é satisfação do usuário? Fatores incluídos:
Velocidade na resposta Tamanho do índice Interface amigável Mais importante: relevância
Note que nenhum desses é suficiente sozinho: extrema rapidez com resultados inúteis não deixam o usuário feliz.
Como quantificar a satisfação dos usuários?
11
12
Quem é o usuário? Quem é o usuário que estamos tentando deixar feliz? Ferramentas de busca na web
Pesquisador - Sucesso: O pesquisador encontra o que está procurando. Métrica: taxa de retorno a ferramenta de busca
Anunciante - Sucesso: Pesquisador clica no anúncio. Métrica: taxa de cliques
Comércio eletrônico Comprador - Sucesso: Comprador compra algo. Métricas:
tempo para efetuar a compra, fração da conversão de pesquisadores em compradores
Vendedor - Sucesso: Vendedor vende algo. Métrica: lucro por item vendido
12
13
Definição mais comum para satisfação do usuário: Relevância
A satisfação dos usuários é proporcional a relevância dos resultados em relação as consultas
Como medir relevância? Metodologia padrão em recuperação da informação consiste
em três elementos. Uma coleção de documentos para benchmark Uma coleção de consultas para benchmark Uma análise da relevância de cada par consulta-
documento
13
14
Relevância: consulta vs. Necessidade de informação
Relevante a que? Primeira tentativa: relevante a consulta “Relevância a consulta” apresenta alguns problemas. Necessidade de informação i : “Estou procurando saber se beber vinho
tinho é melhor do que beber vinho branco na redução dos riscos de ataques cardíacos.” Isto é uma necessidade de informação, não uma consulta.
Consulta q: [vinho tinto vinho branco ataque cardíaco] Considere o documento d : No coração de seu discurso estava um ′
ataque ao lobby da indústria de vinhos para minimizar o efeito do consumo de vinhos tinto e branco na taxa de acidentes causados por motoristas alcoolizados.”
O score de d em relação a q será muito bom . . .′ d não é relevante para a necessidade de informação i.′
14
15
Relevância: consulta vs. Necessidade de informação
A satisfação do usuário só pode ser medida pela relevância em relação as suas necessidades de informação e não as suas consultas.
15
16
Precisão e Recall
Precisão (P) é a fração dos documentos retornados que é relevante
Recall (R) é a fração dos documentos relevantes que é retornada
16
17
Precisão e Recall
P = TP / ( TP + FP )R = TP / ( TP + FN )
17
18
Trandeoff entre Precisão e Recall
É possível aumentar o recall retornando mais documentos. Um sistema de busca que retorna todos os docmentos tem
um recall de 100%! O contrário também é geralmente verdade: é fácil obter altos
níveis de precisão com baixos nívels de recall. Suponha que o documento com o maior score é relevante.
Como poderíamos maximizar a precisão?
18
19
F nos permite balancear precisão e recall.
onde
α ϵ [0, 1] e b 2 ϵ [0,∞] Valores mais utilizados: F balanceado com b = 1 ou α = 0.5 Que valores de β dão peso maior ao recall do que a precisão?
19
Uma medida composta: F
20
F: Exemplo
20
relevantes não relevanterecuperado 20 40 60Não recuperado 60 1,000,000 1,000,060
80 1,000,040 1,000,120
21
Acurácia
Por que usar métricas complexas como precisão, recall e F? Por que não usar algo mais simples como acurácia? Acurácia é a fração das decisões (relevante/não relevante)
que são corretas Em termos da tabela
Acurácia = (TP + TN)/(TP + FP + FN + TN). Por que acurácia não é uma métrica útil em um sistema de
recuperação de informação na web?21
22
Porque acurácia é inútil em sistemas de recuperação da informação
Truque simples para maximizar acurácia: sempre retorne 0 resultados
Isso resulta em uma acurácia de 99.9% para a maioria das consultas (em geral, 99.9% dos documentos são irrelevantes para uma consulta)
Usuários de sistemas de busca na web (e em geral) querem encontrar algo e têm um certo grau de tolerância a lixo.
É melhor retornar alguns maus resultados do que não retornar nada.
→Usamos precisão, recall e F para avaliação.
22
Agenda
❶ Revisão
❷ Avaliação sem classificação
❸ Avaliação com classificação
❹ Benchmarks de avaliações
❺ Sumário de Resultados
23
24
Curva de Precisão-Recall
Precisão/recall/F são métricas para conjuntos não ranqueados.
É possível utilizar estas métricas também para listas de documentos ranqueados.
Basta calcular o valor para cada “prefixo”: o top 1, top 2, top 3, top 4 etc resultados
Fazendo isso, precisão e recall geram uma curva.
24
25
Uma curva de precisão-recall
Cada ponto corresponde a um resultado para os top k resultados (k = 1, 2, 3, 4, . . .).
Interpolação (em vermelho):Valor máximo para todos os pontos no futuro
25
Agenda
❶ Revisão
❷ Avaliação sem classificação
❸ Avaliação com classificação
❺ Sumário de Resultados
26
27
Como apresentar os resultados para o usuário?
Mais frequente: como uma lista – aka “10 links azuis” Como cada documento deve ser descrito na lista? Esta descrição é crucial. O usuário geralmente consegue identificar bons resultados
através da descrição. Evita a necessidade de clicar em todos os documentos de
forma sequencial
27
28
Descrição de um documento na lista de resultados
Mais comum: título do documento, url, alguns metadados . . . . . . e um sumário Como “calcular” o sumário?
28
29
Sumários
Dois tipos básicos: (i) estático (ii) dinâmico Um sumário estático de um documento é sempre o mesmo,
independente da consulta realizada pelo usuário. Sumários dinâmicos são dependentes da consulta. Eles servem
para tentar explicar porque o documento foi recuperado em resposta aquela consulta.
29
30
Sumários estáticos Em um sistema típico, um sumário estático é um subconjunto
do documento. Heurística mais simples: pegar as 50 primeiras palavras do
documento Um pouco mais sofisticada: extrair sentenças-chave de cada
documento Heurística simples de PLN para classificar cada sentença
O sumário é composto pelas sentenças melhor classificadas Abordagem baseada em aprendizagem de máquina (Capítulo
13) A mais sofisticada: PLN complexo para sintetizar/gerar um
sumário30
31
Sumários Dinâmicos
Apresenta uma ou mais “janelas” no documento que contém vários dos termos da consulta.
Preferência por trechos onde os termos aparecem como frases Preferência por trechos onde os termos aparecem juntos em
pequenas janelas O sumário “computado” desta maneira apresenta todo o
conteúdo da janela, todos os termos não só os da consulta.
31