25
r

The Invisible Web

Embed Size (px)

DESCRIPTION

"If only I had known!" was the bitter cry of the searcher who relied just on search engines to search the Web. Although many popular search engines boast about their ability to index information on the Web, more of it (dynamically-generated pages, certain file formats, and information held within numerous databases) has become invisible to their searching spiders. Much of the Web is hiding information from us, but we can access this hidden content! Learn how you can reveal the secrets of these dark, hiding places.

Citation preview

Page 1: The Invisible Web

r قال رسول اهللا غرست له خنلة سبحان اهللا العظيم وحبمده من قال

. يف اجلنة

بسـم الـله الرحـمـن الرحيـم

صحيح الجامع الصغير وزياداتــه

Page 2: The Invisible Web

3.0 اإلبداعية العموميات رخصة : مبوجب له مرخص احملاضرة هذه محتوى

الويب غير المرئي

The Invisible Web

٢٠٠٩ ـ ١٤٣٠

Page 3: The Invisible Web
Page 4: The Invisible Web

! Web site ماهو موقع الويب

 ا املوقع عبارة نظام من مستندات النص الفائق املرتبطة ببعضهhypertext املتداخل هذا الترابط Hyper linking بني النصوص في

فيما بني الصفحات باستعمال متصفح الشبكة العاملية يسمح باالنتقال على نصوص، وصور، وأصوات، وصفحات الويب من املمكن أن حتتوي . إنترنت ، Server جهاز اخلادم ويقوم بتوفير هذه الصفحات في اإلنترنت .. وفيديو

من متصفح الذي يقوم بإرسال الصفحات، ومحتوياتها بناء على الطلب . الويب Surface Web الويب السطحي : نوعان من صفحات الويب ويوجد

Deep / Invisible Web غير املرئي / والويب العميق

Page 5: The Invisible Web

: Surface Web الويب السطحية

: مبعنى “ الويب املفهرسة ” كذلك بالويب الظاهرية أو بشكل أدق ، تسمى صفحات الويب التي تقوم محركات البحث بفهرستها،

: ة وهي من ثالثة أجزاء متكامل يتكون محرك البحث ف هذا :(spider) أو برنامج العنكبوت (Robot) البرنامج اآللي -

 (crawler) البرنامج أيضا يسمى الزاحف برنامج يقوم بفهرسة كل الوثائق التي قام :(Indexer) املفهرس -

 . البرنامج اآللي بأخذ نسخ منهااجلانب املرئي من محرك البحث :(Interface) واجهة البحث -

Page 6: The Invisible Web

: Invisible Web غير المرئي الويب افية أو الويب Deep Web أو الويب العميقة غير املرئي إن الويب

Web Hidden كلها مصطلحات تشير إلى صفحات الويب غير املفهرسة من طرف محركات البحث أو غير املتواجدة بشكل كلي في

قاعدة بيانات محركات البحث وبالتالي لن يصل إليها مستخدم اإلنترنت ل املبحرين في إذا اتبع الطرق التقليدية في البحث عن املعلومة، إذ إن ج

العالم االفتراضي ال يستعملون إال محركات البحث وباألخص محرك ٣ بني افي وتتراوح تقديرات حجم الويب . Google البحث الشهير

، كما أن جودة ) السطحية ( ضعف حجم الويب الظاهرة ٥٠٠ إلى. بها املعلومات في الويب اخلفية أفضل من الويب املفهرسة وميكن الوثوق

Page 7: The Invisible Web

: Invisible Web غير المرئي الويب ة هو املصطلح املستخدم لوصف جميع املعلومات واملواد املتاحة واملتوفر -

على شبكة الويب، إال أنها ال يتاح الوصول إليها باستخدام أدوات . العامة . البحث

الويب غير املرئي مصطلح يشير إلى املستودع الضخم من املعلومات - من خالل والبيانات املوثوقة واملعتمدة واحلديثة التي مبقدورك الوصول إليها

والتي المتلك محركات البحث العامة وأدلة الويب وصوال مباشرا ، اإلنترنت Searchable Databases إليها مثل قواعد البيانات القابلة للبحث

فاملعلومات التي في قواعد البيانات عموما التصل إليها عناكب البحث، البرمجية التي تشكل فهارس محركات البحث

Page 8: The Invisible Web

: أنواع مواقع الويب غير المرئية : هناك أربع أنواع من تلك املواقع وهي

يتكون من ملفات : opaque web الويب املبهم أو غير الشفاف • ميكن الوصول إليها من محركات البحث التقليدية، ولكن بإجراء بسيط

 . في طريقة البحث عن املعلومات صفحات ومواقع ميكن تكشيفها : Private web الويب اخلاص •

 . ولكن استبعدت بشكل مقصود من محركات البحث مواقع متاحة فقط لألفراد الذين : property web امللكية اخلاصة •

 . وافقوا على شروط معينة في مقابل مشاهدة احملتوى وهناك عدة أسباب لعدم قدرة محركات : الويب غير املرئي بالفعل •

. البحث للوصول لها أو تكشيف محتواها

Page 9: The Invisible Web

ما المشكلة إذا ؟

املشكلة أنه أصبحت تتولد لدى املستخدم مشاكل عدة نتيجة للكم . الهائل املطرد في الزيادة لشبكة الويب العاملية

فبسبب التطور السريع واملذهل التي تتميز به الشبكة العنكبوتية، ل الدراسات ال تستطيع إال تقدير عدد املواقع اإللكترونية فإن ج

املنتشرة في العالم االفتراضي، حيث تقوم بحساب فقط الصفحات التي تتم فهرستها من قبل محركات البحث، أي ما يسمى بالويب

 . الظاهرية ن عدد املواقع اإللكترونية في ارتفاع مستمر، حيث سجل خالل كما أ

مليون موقع إلكتروني ، 156 عدد املواقع تقريبا 2009 شهر مارس

Page 10: The Invisible Web

ما المشكلة إذا ؟

Page 11: The Invisible Web

حتى األن وصلت املواقع املفهرسة على الويب في كال من محركات البحث و – نسبة تقريبية - على األقل ) ويندوز اليف - أسك - ياهو - جوجل (

 ) ٢٠٠٩ مارس ٢٥ ربعاء األ ( ، وذلك في مليار صفحة ٢٥٫٦٧ إلىwww.worldwidewebsize.com

Page 12: The Invisible Web

هل محرك البحث هو أحسن وسيلة للوصول إلى المعلومات؟ : ح األن و طر م السؤال ال

Page 13: The Invisible Web

لماذا يوجد الويب غير المرئي ؟ هذه الصفحات بعيدة عن متناول طرق البحث أسباب جتعل عدة هناك

: وهي ة التقليدي داخل أن محركات البحث تصل للصفحات اتلفة مبتابعة الروابط - ١

ومبا أن عناكب محركات البحث غير قادرة على التفكير صفحات املوقع فهي بالتالي ال تستطيع كتابة شروط البحث أو االختيار وبالتالي فهي ه ال متتلك القدرة على الوصول للمعلومات الثمينة التي حتتويها مثل هذ

. املواقع ديناميكية لبحث هي صفحات ل الصفحات التي تظهر بها نتائج وفقا - ٢

. متغيرة

إلدخال اسم املستخدم وكلمة السر الكثير من صفحات الويب احتياج - ٣. محتوى أو معلومات تلك الصفحات قبل مشاهدة

Page 14: The Invisible Web

لماذا يوجد الويب غير المرئي ؟ دون وجود عائق تقني ( هناك صفحات تختار محركات البحث إقصائها - ٤

حيث أن :Format إما صيغة الصفحة : وذلك ألسباب عدة منها ) قاهر أما الصيغ HTML عناكب البحث تقرأ فقط الصفحات املكتوبة بلغة

 PDF – Flash – Word – PowerPoint : واللغات األخرى مثل ، فقد التفهمها أو تشكل صعوبة حملرك البحث لفهرستها

ففي بداية الويب كانت ، طريقة تقدمي املعلومات ووضعها على الويب - ٥ وكان ممكنا ومقبوال وضعها كلها بصيغة ، هناك وثائق ومواقع قليلة

وكانت فهرستها سهلة من عناكب محركات Static صفحات ثابتة Databases البحث األولى ولكن مع دخول تقنية قواعد البيانات

لصفحات الويب بتقنيات Dynamic ح بالتقدمي الديناميكي ا سم وال ازداد االعتماد على قواعد AJAX أو XML أو PHP أو ASPH مثل

. البيانات

Page 15: The Invisible Web

إن املشكلة قد تكمن في أن أجزاء واسعة من الويب غير مرئية حملركات بل إنها حقا أدوات ، وهذا ليس لكونها سيئة الهندسة ، البحث العامة

لكنها فقط ال تستطيع رؤية ماليني ، مفيدة جدا للباحث على الويبInvisible Web املوارد القيمة املتوفرة في الويب اخلفية

Page 16: The Invisible Web

: أهمية الويب غير المرئي فإذا كنت تريد ، إن األمر هو مسألة اختيار الوسيلة املناسبة حلاجاتك

 ، معلومات عامة سيكون من األسهل واألجدى استخدام جوجل أو ياهو

(محركات البحث جتر شباكها في الويب السطحي)

Page 17: The Invisible Web

: أهمية الويب غير المرئي كتاريخ صناعة ( لكن إذا كنت تبحث عن معلومة عالية التخصص

فسيتوجب عليك التنقيب عميقا عنها وهنا رمبا !) مشابك الورق مثال غير لن تساعدك محركات البحث العامة بشكل يرضيك، ولكن الويب

 . ذلك فعل مبقدوره املرئي

(حصاد الويب العميق والسطحي معا)

Page 18: The Invisible Web

: أهمية الويب غير المرئي مرة من ٥٥٠ - ٤٠٠ ن حجم املعلومات العامة في الويب اخلفية أكبر بـ إ

التي تشمل مجاالتها ( قواعد البيانات وتشكل - بالتقريب - الويب املعروفة واملكتبات واملنشورات املؤرشفة والوثائق الداخلية للمواقع ) كل نواحي احلياة

وتشكل املعلومات املالية من حتويالت ، من مواقع الويب العميقة % ٨٠ وتتوزع العشرة باملئة الباقية على مواضيع متعددة ، % ١٠ ومزادات وغيرها

. كما يظهر في الشكل التالي) توزيع محتويات الويب العميق (

Page 19: The Invisible Web

! كيفية الوصول إلى الويب غير المرئي

، يدية إن كان الويب غير املرئي بعيدا متاما عن أعني محركات البحث التقل أو باالستعانة مبحركات بحث متخصصة فإن الوصول إليه ممكن، وذلك

، أدوات مساعدة متخصصة في هذا اال

. املتخصصة في هذا النوع من الويب املوضوعية عبر الدخول إلى األدلة أو كما ميكن استعمال محركات البحث العادية بتركيز البحث في املواقع

وباألخص محركات في بحثها اإللكترونية التي تعتمد قواعد البيانات. البحث األكادميية

Page 20: The Invisible Web

لويب غير المرئي ل أمثلة ونماذج www.lii.org دليل اإلنترنت للمكتبيني -

املواقع على اإلنترنت التي تستطيع االعتماد عليها للوصول إلي الويب يعد أحد أهم الف ملواقع على اإلنترنت اآل حيث يعرض نتائج بحث ألكثر من عشرات . غير املرئي

موضوع فرعي ، باألضافة إلى ٣٠٠ موضوع رئيسي وحوالي ١٤ ، وهو منظم في مميزة كة نشرة أخبار اسبوعية مميزة عن كل ما هو جديد، وهو أحد أكثر مداخل شب

. يرية اإلنترنت السرية أو ما يطلق عليه البعض الشبكة العميقة شعبية وجماه ألف مصدر مت تصنيفها يدويا ١١ وهذا املوقع عبارة عن فهرس قابل للبحث ألكثر من

يف على يد مجموعة من العاملني باملكتبات أصحاب اخلبرات الكبيرة في تصن . ر املصاد

 WWW.INVISIBLE­WEB.NET الويب افي موقع ­

قة ، قام يعتبر مدخل مت تصنيفه يدويا للوصول حملتوى الشبكة السرية أو العمي ١٨ املوقع بإنشائه اثنان من املؤلفني املتخصصني في موضوع الشبكة اخلفية ويضم

. تقسيما عاما ميكن أن تبدأ منها

Page 21: The Invisible Web

لويب غير المرئي ل أمثلة ونماذج library.rider.edu موقع -

ن وهذا املوقع خاص بالتحدث عن الويب الغير املرئي وهو يعطي العديد م األمثلة سواء حملركات البحث أو أدلة للبحث أو بوابات البحث الشاملة ائج التي تتيح البحث داخل تلك االدوات مما يتيح توفير قدر كبير من النت

ضغف النتائج التي قد يصل اليها الباحث اذا كان ٥٠٠ التي قد تصل الي . يبحث في ادوات بحث عادية

 www.rdn.ac.uk موقع ­

وهو موقع . هو واحد من أفضل األدلة املتوافرة حملتوى اإلنترنت اخلفية مركزه الرئيسي إجنلترا ويديره مجموعة من خبراء التعليم كطريقة

رق للوصول املباشر للمعلومات ذات القيمة العالية والتي ال تتوافر بالط وبالرغم من أن املوقع ال يضم فقط مواقع اإلنترنت . التقليدية املعتادة

. اخلفية إال أن جزءا كبيرا منه مخصص لهذا الغرض فقط

Page 22: The Invisible Web

الخــالصــة منا يبلغ حجمه هناك جزءا خفيا من شبكة املعلومات العاملية العمالقة ال يراه معظ

محركات ، واألن ومع ظهور ضعف اجلزء الظاهر الذي نستخدمه جميعا ٥٥٠ بالتقريب ظهرت محوالت جادة ومؤثرة لتقلل تلك الفجوة بني الويب اقي ٢٫٠ بحث الويب

. والويب السطحي

Page 23: The Invisible Web

الخــالصــة لغوص محركات البحث املستقبلية سوف حتسن نوعية نتائجها بواسطة التنقيب وا

وبتتبع ، وبتصنيف وعرض النتائج بشكل أفضل ، أعمق خالل مستودع املعلومات املتاحة ثك سياق اهتماماتك على املدى الطويل لالستجابة بشكل أكثر ذكاء في أبحا

كما سوف توسع نطاق بحثها ليشمل باإلضافة للبحث عن النصوص أو ، املستقبلية وإيجاد األشكال والتصاميم الهندسية ثالثية األبعاد ، إيجاد الصور والفيديو ، الكلمات

، بناء على رسوماتك األولية

Page 24: The Invisible Web

ا وإ إ ك و .

و ، ، ،

ن ا و ا أو ا ذ ن ه وو نأو م ا ، ا وا ء .

Page 25: The Invisible Web

: داد ــ إع

ـاطـف محمـد . ر . عـ

. محمد فضل المولى

GO TO LIBRARY 2.0 www.go2library2.wordpress.com

مصطفى جودت صالح بوابة تكنولوجيا التعليم ؛ إشراف الدكتورwww.mostafa­gawdat.net

وا و

م رب ن و ةا وا ا رب ا