Kiến thức SEO (P.6) – Cách Dò quét (Spider) Website của bọ tìm kiếm

Đầu tiên Spider lấy danh sách các máy chủ và trang web phổ biến. Spider sẽ bắt đầu tìm kiếm với một site nào đó, nó đánh chỉ mục các từ trên trang của nó và theo các liên kết (link) tìm thấy bên trong Site này. Theo phương pháp này, hệ thống tìm kiếm của Google sẽ nhanh chóng thực hiện công việc và trải rộng ra toàn bộ các phần được sử dụng rộng rãi nhất của web.Spider có thể:

Crawling qua link trên các site đã index theo chỉ định của Meta name. Crawling qua Add URL form. Crawling qua Ip server reversed, DNS. Crawling qua full domain search.

 Nếu không có liên kết, Search Engine sẽ không thể hoạt động

1. Cách bọ tìm kiếm dò quét website

Máy tìm kiếm thực hiện dò quét website nhằm mục đích tìm ra nội dung mới.Máy tìm kiếm làm được việc này nhờ sử dụng những phần mềm hiện đại có thể thu thập thông tin trên Internet. Những chương trình này thường được gọi là bọ tìm kiếm ( Spider) .Với quy mô ngày càng mở rộng của mạng Internet, công việc này ngày càng tiêu tốn nhiều tài nguyên. Do đó, máy tìm kiếm sử dụng các thuật toán để quyết định xem trang web nào sẽ được dò quét, bao lâu sẽ dò quét, và độ sâu dò quét. Điều này cho phép họ tận dụng tài nguyên của mình một cách hiệu quả nhất có thể.Bài học quan trọng mà các SEOer cần phải nhớ là các máy tìm kiếm sẽ không tự động dò quét trang web của bạn trừ phi chúng có lý do để làm điều đó.- Khi Spider xem xét các trang web (định dạng HTML), nó lưu ý: Các từ bên trong trang web & nơi nó tìm thấy các từ đó.Các từ xuất hiện trong các thẻ Tiêu đề, Meta Description…. nó nhận định đó là phần quan trọng có liên quan đến sự tìm kiếm của người dùng sau này. Vì thế đối với mỗi website Google nó sẽ có nhiều phương pháp để index lại chỉ mục, liệt kê lại các từ khóa chính. Nhưng dù dùng cách nào thì Google cũng luôn cố gắng làm cho hệ thống tìm kiếm diễn ra nhanh hơn để người dùng có thể tìm kiếm hiệu quả hơn hoặc cả hai.- Ngoài ra, một khi bọ tìm kiếm ghé thăm trang web của bạn, đầu tiên chúng sẽ tìm đến file robots.txt, đây cũng chính là bảng nội quy của trang web và sẽ chỉ ra những trang nào (nếu có) mà chúng không được dò quét.Giả sử rằng con bọ không bị chặn theo cách này, nó sẽ bắt đầu dò quét tất cả các trang web trên website của bạn. Dọc đường đi, nó sẽ lưu lại tất cả các địa chỉ tên miền vào trong một danh sách để sử dụng cho những lần dò quét sau.Giữa dò quét và index (lưu dữ liệu) có sự khác biệt lớn. Dò quét là tìm ra các địa chỉ trang web, trong khi index là thu thập thông tin hay nội dung trong các trang web đó.

2. Những vấn đề mà bọ tìm kiếm thường gặp phảiBọ tìm kiếm là các chương trình máy tính thông minh, tuy nhiên, chúng vẫn chỉ là máy móc và do đó có những hạn chế nhất địnhNhững công nghệ Web có thể gây khó khăn cho bọ tìm kiếm:

Website ngày nay sử dụng nhiều công nghệ khác nhau để nâng cao chất lượng đồng thời mang lại trải nghiệm tốt hơn cho người dùng. Tuy nhiên một số công nghệ lại gây khó khăn cho bọ tìm kiếm. Cụ thể là:

Javascript AJAX Flash

Nhưng là một người làm SEO, bạn cần biết rằng sử dụng các công nghệ này trong trang web có thể làm khó cho bọ tìm kiếm khi chúng dò quét nội dung của bạn.Những loại nội dung có thể gây khó cho hoạt động của bọ tìm kiếm:Có những loại nội dung mà bọ tìm kiếm không thích, vì chúng không thể đọc được dễ dàng như con người, cụ thể là video và hình ảnh. Trong khi chúng có thể phát hiện và nhận ra sự tồn tại của video hoặc hình ảnh trên một trang web, chúng vẫn chưa đủ khả năng để hiểu đầy đủ nội dung này. Một lần nữa, bọ tìm kiếm đang ngày càng trở nên thông minh hơn nhưng còn xa chúng mới đạt tới trình độ có thể hiểu đầy đủ các loại nội dung như con người.Ví dụ: Máy tìm kiếm sẽ không thể đọc được chữ trên một bức ảnh. Điều tương tự cũng xảy ra với video.Vì vậy cần đảm bảo trang web của bạn không chỉ chứa hình ảnh hoặc video. Bên cạnh hình ảnh, video cần có những đoạn nội dung mô tả. Và những nội dung quan trọng nhất định phải được để trong những định dạng mà máy tìm kiếm có thể dễ dàng hiểu được. Cụ thể là văn bản

3. Các loại bọ tìm kiếmMỗi máy tìm kiếm có con bọ riêng với cái tên riêng.Ví dụ:Google là googlebot.Bing là bingbot.Baidu là Baiduspider.

nguyenphuc – Tenmien.domainsNguồn tham khảo:- Wiki.org

- Vietmoz

- idichvuseo.com