【SEO•不難】04_什麼是搜索引擎蜘蛛?


搜索引擎用來爬行和訪問頁面的程序,
稱為蜘蛛 (Spider) 或機器人 (Bot)

搜索引擎蜘蛛訪問網站頁面時,
類似於普通用戶使用的瀏覽器。
蜘蛛程序發出頁面訪問請求後,
服務器返回 HTML 代碼,
蜘蛛程序把收到的代碼存入原始頁面資料庫。

蜘蛛訪問任何一個網頁時,
都會先訪問網站根目錄下的 robots.txt 文件。
如果 robots.txt 文件
禁止搜索引擎抓取某些文件或目錄,
蜘蛛會遵守協議,不抓取被禁止的網址。

分享到:

相關文章: