Search Enjin Bahsa

7/24/2019 Search Enjin Bahsa

1/69

PengenalanEnjin Gelintar

PengenalanMaksud Enjin Gelintar

Tiga Jenis Enjin Gelintar Senibina Enjin Gelintar

Komponen Asas Enjin Gelintar


2/69

2

Pengenalan Enjin Gelintar

2003 !"#bil $aman%eb

3 bil laman 'G( teksdimuat setiap)ari

*a+at ,,)ari

0M(&steks -.onne.tion.apable todo%nloading


3/69

3


/o '1 - Alta ista)andle20 bil

ueriesper da+


4/69

,

Apa itu enjin gelintar ?

Enjin gelintar iala) suatu program +ang digunakan untuk men.ari danmen.apai maklumat berdasarkan kepada sebutan gelintaran4search terms 5 +ang diberi ole) pengguna" 6a membenarkanpengguna menjelaja) pangkalan data +ang mengandungi teks terdiri

daripada berjuta7juta di laman %eb" Apabila perisian enjin gelintardapat padankan maklumat +ang di.ari 4)its58 ia akan menerangkandimana pautan maklumat terdapat dan seterusn+a pengguna akanterus menjelaja)"

search engine 77 4a .omputer program t)at retrie es do.uments or9iles or data 9rom a database or 9rom a .omputer net%ork 4espe.iall+9rom t)e internet55


5/69

#

Query

String

IR System

Ranked

Documents

1. Page12. Page23. Page3

. .

Document

corpus

Web Spider


6/69

!



7/691



8/69:

Pela+anGoogle

Pela+an;KM


9/69'

How SE Works>ra%l entire 6ntranet>ompute t)e s)ortest )+perlink pat) 9rom a .ertainroot page to e er+ %eb page6nde? and .ompute metadata 9or t)e pages ;sing >)es)ire 66 =un a user uer+" Gat)er all t)e )its >reate a @dire.tor+ based on .ombining t)e s)ortest pat)s Spe.ial grap) algorit)m remo es redundant links and

internal nodes


10/690

SE System Architecture

crawl theweb

storethe

documents


11/69


crawl theweb

storethe

documents

create fleso

metadata

Cheshire II


12/69

2

SE Metadata6n9ormation about %eb pages Title

$engt) 6nlinks Butlinks

S)ortest Pat)s 9rom a root )ome page

;sed to pro ide inno ati e sear.)inter9a.e


13/69

3


crawl theweb

storethe

documents

create fleso

metadata

Cheshire II


14/69

,


crawl theweb

create akeyword

index

storethe

documents

create fleso

metadata

Cheshire II


15/69

#

Creating a eyword !nde"alled an Inverted Index Di.tionar+- a re.ord o9 all t)e tokens in t)e .olle.tion

and t)eir o erall 9re uen.+ Postings


16/69

!


Cheshire II

user uery


17/69

1

#esponding to the $ser %uery

;ser sear.)es on @pam samuelsonSear.) Engine looks up do.uments

inde?ed %it) one or bot) terms in itsin erted inde?Sear.) Engine looks up titles and s)ortest

pat)s in t)e metadata inde?;ser 6nter9a.e .ombines t)e in9ormationand presents t)e results as *TM$


18/69

:


Cheshire II

user uery


19/69

'


Cheshire II

server

accesses thedatabases


20/69

20


Cheshire II

results shownto user


21/69

2


Cheshire II

results shownto user

server

accesses thedatabases

user uery


22/69

22

What hasn&t 'een e"plained here?

*o% do.uments are ranked*o% ueries are 9ormed

*o% s)ortest pat)s are .omputed*o% t)e s+stem is built among ot)er t)ingsF T)is is just an introdu.tionF Mu.) more later"


23/69

23

Dua kaeda) mendapatkan maklumat +ang menarikKueri >arian berasaskan ke+%ord - EG jana kueri kepada indeks

katakun.i dan pulangkan dokumen terpangkat

Sesuai untuk pengguna +ang mempun+ai matlamat jelasGelintar /a igasi melalui set jalinan 4link5 seperti )ieraki bagi mendapatkan

topik sasaran

Pengguna pili) link +ang ia rasakan akan memba%a kepadadokumen +ang rele an"

Sesuai bagi pengguna +ang tidak dapatkan men+atakan matlamatdengan jelas melalui kombinasi katakun.i berasaskan boolean

Kaedah padanan berdasarkan katakunci memulangkan banyak hasilyang kurang berkualiti Bahasa Tabie (NL) lebih baik



24/69

2,

Masalah 'erkaitan katakunci

Kemungkinan tidak men.apai dokumen +ang rele an bilamana terdapat term sinonim

@restaurant s" @.a9

Aku8 sa+a8 patik8 )amba

Kemungkinan .apai dokumen +ang tidak berkaitan bilamanaterdapat term +ang ada kesamaran 4ambiguous5

@bat 4baseball s" mammal5 @Apple 4.ompan+ s" 9ruit5 @bit 4unit o9 data s" a.t o9 eating5 Perang 4perbuatan s %arna5


25/69

2#

" Heb .ra%lers2" Heb portals3" Meta7Sear.) engines


Terdapat 3 bentuk enjin gelintar


26/69

2!

Enjin Gelintar

" Heb >ra%lersDikenali juga - robots8 spiders8 %orms8 %alkers8 %anderer Jelaja)i internet bagi mendapat laman kepada indeksMula dengan satu alamat %eb +ang dikenalpasti dan muat turunlaman tersebut" 4berdasarkan ;=$ kaeda) .t) breat)79irstsear.)56ndeks semua perkataan dan 9rasa dan )ubungan perkataanPengguna akan buat .arian berdasarkan indeks tersebut>onto) - Alta ista8 E?.ite8 Google8 *otbot8 $+.os 8 /ort)en $ig)t


27/69

21

Alirankerja bagi %eb .ra%lers


28/69

2:

Alta ista mempun+ai spider bernama S.ooter +angmengedari 4 traverse 5 HHH dan ;senet me%sgroup"Pengindeksan iala) berdasarkan teks penu) dokumentersebut6nde? di dalam pangkalan data Alta ista diupdatekansekurang7kurangn+a sekali se)ari"S.ooter mela%at laman %eb berdasarkan kekerapanlaman %eb tersebut diupdatekan" $aman +ang statikuntuk beberapa bulan akan lebi) kurang dila%ati"

We' Crawlers ( Alta)ista


29/69

2'

Alta ista men+okong operasi penu) (oolean8 phrase 8 dancase-sensistive searches "

Alta ista memangkat dokumen berdasarkan kerele anan8

memberikan pemberat +ang lebi) tinggi pada dokumen+ang mengandungi sebutan uer+ pada baris pertamadokumen"*asil uer+ termasukla) tajuk8 abstrak +ang ringkas8 saiC8dan tarik) terak)ir dimodi9ikasi"

We' Crawlers ( Alta)ista


30/69

30

E?.ite juga mempun+ai spider dan pengindeks 4 indexer 5untuk teks penu) sesuatu dokumen"Spider )an+a men.apai maklumat dalam bentuk dokumen%eb dan ;senet ne%sgroup"Pengguna bole) )antar ;=$ untuk pengindeksan"Pengindeks meng)asilkan sebutan indeks dan ringkasandokumen"

E?.ite men+okong pengoperasi (oolean A/D" B=8 dan/BT8 dan ekspresi uer+ (oolean"

We' Crawlers ( E"cite


31/69

3

*ot(ot men.apai dan mengindeks dokumen denganmenggunakan robot bernama Slurp "Slurp mengeluarkan semua ;=$ daripada do.ument +angdi.apai dan meletakkann+a di dalam struktur data berjadual8+ang menunjukkan setiap ;=$ kepada >P; +ang berbeCaberdasarkan kriteria seperti bilaka) masa terkini )osdiakses"*ot(ot men+okong penggelintaran berasakan .ase7sensiti edan operasi (oolean"*ot(ot memberikan tarik) terak)ir sesuatu laman %ebdiupdate dan abstrak ringkas mengandungi beberapa barispertama sesuatu dokumen"

We' Crawlers ( Hot*ot


32/69

32

Enjin gelintar +ang men.apai dokumen dalam bentuk*TM$ dan PD


33/69

33

6n9oSeek memangkat outputn+a8 mengira =S denganmemberikan pemberat +ang lebi) untuk dokumen +angkata sebutan uer+ terdapat pada a%alan dokumen

tersebut"6a memberi ringkasan pendek8 marka) kerele anan8 dansaiC dokumen"

We' Crawlers ( !n+oSeek


34/69

3,

$+.os mempun+ai robot +ang menggunakan )euristikuntuk berjalan dalam %eb dan membina indeks +angbole) digelintari";ntuk setiap dokumen +ang diindeks8 robot akanmen+impan maklumat tentang @ outgoing links 4anchortext atau link tags 5 dalam susunan 4 queue 5 dan memili);=$ daripa susunan" Satu .onto) )euristik umpaman+amengara) robot untuk memili) ;=$ +ang menunjukkanlaman %eb pela+an 4 server 5"

We' Crawlers ( ,ycos


35/69

3#

$+.os mengindeks tajuk8 headings 8 dan subheadings untuk dokumen *TM$8


36/69

3!

BpenTe?t mempun+ai robot +ang mela+ari laman %ebdengan memili) satu7satu ;=$ daripada sekumpulan;=$8 men.apai dokumen dari ;=$ tersebut8 danmengindeks dokumen tersebut"6a juga mengeluarkan semual ;=$ daripada dokumen+ang di.apai dan meletakkann+a di kumpulan ;=$ 4;=$pool5"Pengguna bole) meng)antar ;=$ untuk diindeks"

We' Crawlers ( -pen.e"t


37/69

31

BpenTe?t mengindeks teks penu) sesuatu dokumen*TM$ dan berterusan mengupadate indeksn+a"Pengindeks 4 indexer 5 akan meng)asilkan 00 perkataan

pertama sesuatu dokumen sebagai ringkasan pendek"6a men+okong sepenu)n+a pengoperasi (oolean"

We' Crawlers ( -pen.e"t


38/69

3:

Enjin gelintar daripada kumpulan ini men+usun katalogatau direktori subjek bagi laman %eb +ang bole) di

gunakan ole) pengguna"

We' Crawlers ( /irektori0 atalog


39/69

3'

a)oo se.ara semi7otomatik mengorganisasikan subjeklaman %eb"Link ke beberapa sumber dikumpul dalam 2 .ara- 4i5daripada pengguna +ang meng)antar laman %eb untukdiindeks 4ii5 daripads robot +ang men.apai link barudaripada laman %eb terkemuka seperti NCSA/GNN s!hat s Ne" #age "

a)oo mengindeks Heb8 ;senet ne%s8 dan alamat e7mel"

Butput daripada uer+ iala) senarai dokumen dankategori +ang diberikan ole) a)oo8 berserta beberapabaris pertama dokumen"

We' Crawlers ( 1ahoo


40/69

,0

Enjin Gelintar

2" Portals

L $aman +abg diorganisasi maklumat mengikut topik bagi memuda)pengguna mena igasi dan mendapatkan maklumat +ang di.ari

L Juga dikenali %eb direktoriL Keban+akan portal merupakan @)uman maintained

L >arian keban+akan berdasarkan ringkasan 4summaries5 atau tajukbukan pada kandungan


41/69

,

Alirankerja portal


42/69

,2

3" Meta7Sear.) Engines

L Merupakan site +ang mengambil kueri 4katakun.i ataukueri /$5 dan )antar ian+a ke ban+ak enjin gelintar danpulangkan )asil kepada pengguna"

L Tiga kaeda) gelintarani" Senarai penu) enjin gelintarii" Penggelintaran se.ara jujukan 4se uential5iii"Penggelintaran se.ara concurrent

Enjin Gelintar


43/69

,3

Aliran kerja meta7sear.) engines


44/69

,,

Pem'ahagian Sistem Enjin Gelintar

Enjin elintar

Enjin elintar bagitujuan !mum

( eneral"purp#se$earch Engine)

Enjin elintar bagi%#main Tertentu(%#main $peci&ic$earch Engine)

'#kus pada jenisd#kumen tertentu

'#kus pada t#piktertentu


45/69

,#

Pela+anGoogle

>ra%ling t)e %eb

(uilding an inde?

=anking

Ser ing sear.) result

;ser inter9a.e anddesign

Google in9rastru.ture

akan dibincang semasa tut#rial


46/69

,!

klien

Enjin kueri pemangkatan

Modul *impunan Analisis

=epositori laman

6ndeks-kemuda)an

struktur teksModul Ka%alan $elaba)

H H H

$elaba)Modul6ndeks

Maklumbalas pengguna

kuerikeputusan

$enibina Enjin arian ( rasu et*al +,,-)


47/69

,1

klien

Enjin kueripemangkatan


=epositori laman

6ndeks-kemuda)an

struktur teksModul Ka%alan

$elaba)

H H H

$elaba)Modul6ndeks


kuerikeputusan

$enibina Enjin arian ( rasu et*al +,,-)


48/69

,:

Modul Ka%alan $elaba)

H H H

$elaba)

Sumber dari HHH dimuat turun ole) lelaba)4agen5

Akti iti penjelaja)an dika%al ole) Modul Ka%alan$elaba) 4MK$5

MK$ tentu ;=$ akan dila%at dan beri ;=$ kepadalelaba)

Tugas lelaba) sebenarn+a ditentu ole)pembangun

!R"# http#$$%%%.mo&.com.my

'(it&e)# Search *ngine'+,D-)' 1)We&come to Search*ngine Page/////////../////////../////////.


49/69

,'

klien



=epositori laman

6ndeks-kemuda)an


$elaba)

H H H

$elaba)Modul6ndeks


kuerikeputusan

.#dul Indeks Modul 6ndeks berperanan mendapatkan

semua perkataan dalam laman %eb +angdimuat turun ole) lelaba)

Merekod ;=$ bagi perkataan berkaitan4;=$ )alaman berkaitan5


50/69

#0

klien



=epositori laman

6ndeks-kemuda)an


$elaba)

H H H

$elaba)Modul6ndeks


kuerikeputusan


51/69

#

klien



=epositori laman

6ndeks-kemuda)an


$elaba)

H H H

$elaba)Modul6ndeks


kuerikeputusan

.#dul Kueri

Terima kueri daripengguna dan .ari

maklumat dari indeksdan kadang2 darirepositori laman


52/69

#2

klien



=epositori laman

6ndeks-kemuda)an


$elaba)

H H H

$elaba)Modul6ndeks


kuerikeputusan

.#dul /emangkatan Men+usun keputusanberdasar enjin kueri kepadamaklumat paling )ampirdengan pengguna"


53/69

#3

Enjin Gelintar

Empat komponen Asas

Pangkalan data rujukan kepada laman %eb =obot pengindeksan +ang mejelaja) HHH Antaramuka

Membole)kan pengguna untuk )antar kueri

Memaparkan )asil +ang diperole)i

Sistem >apaian Maklumat


54/69

#,

angkalan /ata Pangkalan data iala) koleksi maklumat +ang terindeks +angdikumpul ole) robot" =obot akan merekodkan semua maklumat+ang diindekskan dalam pangkalan data +ang mungkinmerangkumi alamat laman %eb8 tajuk8 header 8 sebutan8 saiC

atau mungkin keseluru)an teks"Pangkalan data bole) men+impan se)ingga berjuta maklumatdalam laman %eb" Sesetenga) enjin gelintar mempun+ai lebi)daripada satu pangkalan data"

Enjin gelintar berbeCa dari segi kekerapan dan metod dalammengemaskini pangkalan data"


55/69

##

#o'ot

Juga dipanggil @ "eb "anderers 8 @"eb cra"lers 8 dan @spider =obot +ang menjejaki laman menerusi )iperlink untuk men.ari8mengumpul8 mengindeks8 dan memeriksa dokumen dan dimasukkanke dalam pangkalan data

Merekod data +ang dijumpai Perkataan pada laman %eb Metadata Atribut ALT pada IMG tags

Program ini berinteraksi berdasarkan *+perTe?t Trans9er Proto.ol4*TTP5 untuk men.apai dokumen daripada pela+an7pela+an 4 servers 5=obot E?.lusion Proto.ol

)ttp-&&%%%"robotst?t"org&%.&e?.lusion")tml


56/69

#!

#o'ots E"clusion

Sometimes people 9ind t)e+ )a e been inde?ed b+ an inde?ingrobot8 or t)at a resour.e dis.o er+ robot )as isited part o9 a sitet)at 9or some reason s)ouldn t be isited b+ robots" 6nre.ognition o9 t)is problem8 man+ Heb =obots o99er 9a.ilities 9or

Heb site administrators and .ontent pro iders to limit %)at t)erobot does" T)is is a.)ie ed t)roug) t%o me.)anisms-

The 0#b#ts Exclusi#n /r#t#c#l A Heb site administrator .an indi.ate %)i.) parts o9 t)e sites)ould not be istsed b+ a robot8 b+ pro iding a spe.iall+9ormatted 9ile on t)eir site8 in )ttp-&&"""&robots"t?t"

The 0#b#ts .ET tag A Heb aut)or .an indi.ate i9 a page ma+ or ma+ not be inde?ed8or anal+sed 9or links8 t)roug) t)e use o9 a spe.ial *TM$ METAtag"


57/69

#1

#o'ot =obot akan sentiasa meneliti internet8 se.ara otomatik akanmenjejaki dokumen baru atau +ang diupdate dan men+ingkirkandokumen +ang bertindi)8 +ang tidak akti9 atau +ang tela)dimansu)kan"

Strategi +ang dilakukan ole) robot ketika @berjalan dalam HHHmenentukan kuantiti dan kualiti maklumat +ang di.apai untukpangkalan data"


58/69

#:

Antaramuka Enjin Gelintar

Meng)impun input dari penggunaMemaparkan keputusan dari sistem 6=

Kebiasaan dalam bentuk pangkatan

6nput Keperluan pengguna

;ngkapan penggelintaran8 )ad penggelintaran (entuk @Presentation


59/69

#'

Butput

Keputusan & )asil Des.riptions

>lusters

Antaramuka Enjin Gelintar


60/69

!0

Pemadanan .erm Gelintaran

>uba mendapatkan padanan pada pangkalan dataDua kaeda) utama

Gelintar menggunakan katakun.i

Padanan satu term8 menggunakan @.osine

Gelintar berasaskan konsep 4.on.ept7based5 Menilai gugusan perkataan 4.lusters o9 %ords5 >uba tentukan maksud kueri dan dapatkan rekod

berdasarkan maksud tersebut"


61/69

!

Asas Ciri2ciri !#

Bperator (oolean

A/D8 B=8 /BT8 groupingE?tended operators

/EA=8 ADJA>E/T 4N5 Analisa $eksikalPembuangan kata)enti>antasan

PengindeksanMaklumbalas berkaitan


62/69

!2

Pemangkatan -utput

Keban+akan SE memangkat senarai menggunakan peraturan - Perkataan a%al lebi) penting Tajuk sangat penting

Kekerapan keujudan term Perkataan tak kerap ujud kadang2 lebi) penting Tarik) penguba)suaian

Google berbeCa- Kaeda) Page=ank TM berdasarkan kepada kemas)uran4popularit+5
http://www.google.com/technology/index.htmlhttp://www.google.com/technology/index.html


63/69

!3

Sistem Capaian Maklumat

PengumpulanDokumenPengindeksan

Pen.arianPengurusanDokumen danKueri


64/69

!,

er'e3aan enjin gelintar untuk internetdan sistem capaian maklumat

a) /emangkatan #utput (ranking #utput)

Kaeda) memberati sebutan +ang unik"

Enjin gelintar sentiasa memeriksa 4keep tra.k5 bilangankekerapan sebutan dalam setiap laman %eb8 dankedudukan sebutan dalam dokumen juga dipertimbangkan

dalam proses pemangkatan"


65/69

!#

b) Keluasan pangkalan data

Pangkalan data internet terdiri daripada pelbagai sumbermaklumat 4.t)" )ttp8 9tp8 gop)er dll5 +ang biasan+aditerbitkan tanpa sebarang pengadilan8 tapisan" Ble) itumaklumat +ang di.apai tidak dijamin kualitin+a"

Sebalikn+a8 dokumen +ang terkandung di dalampangkalan data se.ara on-line 4on-line database 58 >D7=BM adala) lebi) tinggi kualitin+a dan lebi) tersusun"


66/69

!!

c) .edan yang diindeksKeban+akan maklumat +ang disimpan di dalam on-linedatabase dan >D7=BM diindeks berdasarkan kepada setperbenda)aran kata 4 controlled vocabularies 5 atauthesauri " Medan +ang diindeks seperti subjek8 katakun.i8penulis8 tajuk atau organisasi ditentu atau dipili) ole)manusia"

Sebalikn+a8 dokumen %eb dilokasikan dan diindekskanole) robot tanpa sebarang keterlibatan daripada manusia"Medan +ang diindekskan mengandungi elemen +angberbeCa termasuk juga- ;=$8 title8header 8 tarik) dan saiC"

Setiap robot mempun+ai strategi tersendiri dalampengindeksan"


67/69

!1

d) Teknik /enggelintaran

>apaian maklumat dalam internet iala) berdasarkan gra9ikdan penunjuk tetikus8 berbeCa dengan sistem .apaianmaklumat biasa +ang berorientasi teknik uer+"

Penggelintaran dalam laman %eb melibatkan pen+usuranmelalui penunjuk 4 link 5 antara )iperteks +angmenggalakkan bro"sing tetapi bole) menimbulkankekeliruan"

Pengoperasi untuk menaksirkan uer+ atau sintaks jugaberbeCa"


68/69

!:

e) ntaramuka dan /ilihan 1utputEnjin gelintar untuk internet mena%arkan berbagaiantaramuka" >onto)- Alta ista mena%arkan 2

antaramuka- penggelintaran muda) atau uer+ lanjutan"


69/69

$istem .aklumatKlasikal Enjin elintar 2eb

Kelajuan Masa tindakbalas +ang interakti9

Pre.ision 4Kejituan5 Kejituan )asil +ang dipaparkan padalaman pertama

=e.all 4panggil semula5 Dapat seban+ak mungkin laman ka+amaklumat8 .alled aut)orit+ dan )ubpages

Perbandingan pengukuran pen.apaian diantara sistem maklumatklasikal dan enjin gelintar %eb

er'e3aan enjin gelintar untuk internetdan sistem capaian maklumat 4sam'56