Upload
lua-da-costa
View
215
Download
0
Embed Size (px)
Citation preview
Engenhos de Busca WebEquipe: Rafael Corrêa e Igor Goes
{rcls, igp}
RoteiroEvolução Web e Desafios;Arquitetura;Evolução da Busca;Rankeamento;
Authorities, Hubs, Hits, PageRank e Hilltop;Spiders; Estratégias de Busca;Indexação;Browsing;Metabuscas;Conclusão.
Evolução WebGigantesco e ubíquo banco de dados, sem
estrutura definida.Como se comunicar ?
Evolução Web1990 - Tim Berners-Lee do CERN(Conseil
Européen pour la Recherche Nucleaire) cria o WWW;
Libwww, Erwise, Voilawww, Mosaic(NCSA), etc...
Evolução WebEm 1993, havia aproximadamente 50 sites;Abril de 2008, segundo pesquisas da Netcraft
Survey, existem 165.719.150 sites.
DesafiosDados:Descentralização;Volatilidade;Volume;Redundancia;Qualidade.
ArquiteturasSistemas RI padrão + WEBPrincipais arquiteturas
Arquitetura centralizadaArquitetura distribuída
Arquitetura Centralizada
Query Engine
IndexIndexer
Web
Arquitetura CentralizadaArquitetura CentralizadaPrincipais problemas:
Sobrecarga dos servidoresAumento de tráfego (spiders)Informação recolhida sem coordenação
Arquitetura Distribuída
Evolução da Busca1993 – Spiders foram criados para coletar
URL’s;1994 – Yahoo
Coleta manual de sites;Hierarquia de tópicos.
1995 – AltavistaGrande capacidade de processamento de queries;Suportando booleanos, frases e operadores.
Evolução da Busca1998 – Google
Análise dos links;PageRank;Authorities.
2004 - Google ScholarBusca especializada;Artigos cientifícos;Dados estruturados.
AuthoritiesDefinição: são páginas que são reconhecidas
por proverem informações significantes, confiáveis e úteis sobre um determinado tópico
Busca informação desejada dentro dos sites
AuthoritiesAuthorities for query: “Java”
java.sun.comcomp.lang.java FAQ
Authorities for query “search engine”Yahoo.comExcite.comLycos.comAltavista.com
Authorities for query “Gates”Microsoft.comroadahead.com
HubsDefinição: termo para o grupo que une todos
os sites web que recebem grande quantidade de links e que por sua vez fazem laço com páginas web que consideram importantes.
Ou seja, são páginas de índices que provêem grande quantidade de links úteis para páginas de conteúdo relevante
Authorities e HubsNa definição de Jon Kleinberg, de hubs e
autoridades: uma boa autoridade será uma página apontada por bons hubs e um bom hub será uma página que aponta para boas autoridades.
HITS (Hyperlink Induced Topic Search)Tenta determinar hubs e autoridades em um
tópico particular através da análise de um grafo relevante da web
É baseado em fatos recursivos pois hubs apontam para autoridades e autoridades são apontadas por hubs.
O peso de cada link dependerá dos índices hub e authority da página em que se encontra. O processo de cálculo é recursivo e pode envolver bilhões de páginas. Quando de sua concepção, o algoritmo mostrou-se impraticável.
Construindo um subgrafoHubs apontam para muitas autoridades.Autoridades são apontadas por muitos hubs.
Hubs Authorities
PageRankAtribui um peso para cada elemento
“hiperlincado”. Os links são como votos.Quanto mais apontamentos a página tiver,
maior vai ser o page rank dela.
PageRankMedida de importância de uma página para o Google.Download da barra de ferramentas do Google.
Page Rank
PageRankFalhas:
Qualquer página contida no índice, aumentava o PageRank da página que recebia o link.
Webmasters estavam comprando links, para aumentar seu pagenRank
E uma vez tendo contruído um site de alto pagerank, ficava fácil para os webmasters construírem outros sitese, de imediato, apontar links de suas próprias páginas e conseguir um bom posicionamento inicial.
Solução: Algoritmo Hilltop
Algoritmo HilltopO Hilltop procura detectar hosts afiliados; se
um link apontar para uma página em um host afiliado, o valor do link é descontado.
Hosts afiliados = mesmos primeiros três octetos de endereço IPEx.: Hosts com IPs 200.109.112.132 e
200.109.112.132 (ou qualquer outro host de IP 200.109.112.xxx) são considerados afiliados
Algoritmo HilltopO hilltop deixa claro que se eu quiser ter bom
posicionamento do meu site de filmes é muito melhor eu ter um link em mdb.com (um expert no tópico filmes) do que um link em nature.com
Spiders (Robots/Bots/Crawlers)Procuram informações nos sitesEntram nas páginas e lêem o conteúdo assim
como os internautas.Não avaliam o site propriamente.Avaliam o código que o gera.O código deve estar em perfeita sintonia com
os critérios que esses programas utilizam.
25
Spiders (Robots/Bots/Crawlers)Alguns desses critérios:
Indexação Banco de dados é criado para cada termo de busca e
são relacionadas as paginas Quando se faz a busca, a spider recorre a esse banco
de dados.
Html- as ferramentas de buscam entendem melhor.
Links- Quanto mais sites tiverem links para a página, mais relevante será essa página.
26
Estratégias de Busca
27
Busca em Largura
Estratégias de Busca
28
Busca em Profundidade
Prós e Contras…Busca em largura requer muita memória para
guardar todos os nós do nível anteriorporém é o método padrão utilizado.
Busca em profundidade necessita de menos memóriaporém pode se “perder” em um único nó, dada
a alta conectividade da Web.
29
Directed/Focused Spidering
Selecionam as páginas mais “interessantes” primeiro.Direcionado aos Links
30
Spidering direcionado ao LinkMonitora links e verifica o in-degree e out-
degree de cada página encontrada.
31
Spidering direcionado ao LinkBusca na fila primeiramente páginas
populares que são apontadas por muitos links (authorities).
Busca na fila primeiramente páginas “sumário”com muitos links (hubs).
32
Indexação
AnáliseAnálise do FormatoReconhecimento de LinguagemProcessamento de Linguagem Natural
Eliminação de stopwordsOperações de normalização
Pontuação, espaços, uppercase,...TokenizationReconhecimento da SeçãoIndexação de Meta Tag
34
Busca no Arquivo de ÍndicesConsulta é respondida através de busca
binária no arquivo de índicesConsulta formada por várias palavras
o sistema recupera os índices para cada palavra isolada
os resultados da recuperação são combinados para gerar a resposta final
35
BrowsingDiretórios Web
Pequena cobertura geralmente menos de 1% das páginas
Links geralmente possuem conteúdos mais relevantes
Alguns são focados em um domínio específicoMuitas ferramentas de busca são híbridas
Exemplo: Yahoo!
36
BrowsingDiretórios Web
Vantagens Documentos mais relevantes Possibilidade de armazenar o conteúdo de todas
as páginas classificadas, por serem em menores quantidades
Desvantagens Nem todos os documentos são classificados Documentos mudam constantemente Tentativas de classificação automática não são
100% efetivas
37
MetabuscasServidores Web que enviam uma consulta
a vários motores de busca, diretórios Web e outros bancos de dados
Coletam as respostas e unificam o resultado
VantagensHabilidade em unificar resultados de várias
origensUtilização de uma interface única
38
ConclusãoA Internet cresce de forma rápida e não
estruturadaNecessidade de ferramentas de RI mais
eficientesAumento da demanda de armazenamento e
processamento de sistemas de RIApesar dos avanços, é muito difícil resolver
estes problemas de forma definitiva
39