成都網站建設,原新盒子網絡工作室
專業設計,打造專業品質
Professional design, to create professional quality
百度蜘蛛如何爬行和抓取?
來源: 作者:成都網站制作 日期:2012-10-30 23:24:31 點擊:0

 
   SEO們每天都會研究爬蟲爬取了網站哪些網頁,喜歡哪些內容,來的次數多不多等等,成都新盒子網絡工作室為大家小結蜘蛛爬尋軌跡:
   
 
     蜘蛛爬行和抓取是搜索引擎工作的第一步,完成數據收集的任務搜索引擎用來爬行和訪問頁面的程序被稱為蜘蛛( spider),也稱為機器人(bot)。搜索引擎蜘蛛訪問網站頁面時類似于普通用戶使用的瀏覽器。蜘蛛程摩發出頁面訪問請求后,服務器返回HTML代碼,蜘蛛程序把收到的代碼存入原始頁面數據庫。搜索引擎為了提高爬行和抓取速度,都使用多個蜘蛛并發分布爬行。
    
  
    蜘蛛訪問任何一個網站時,都會先訪問網站根目錄下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目錄,蜘蛛將遵守協議,不抓取被禁止的網址。和瀏覽器一樣,搜索引擎蜘蛛也有標明自己身份的代理名稱,站長可以在日志文件中看到搜索引擎的特定代理名稱,從而辨識搜索引擎蜘蛛。


    跟蹤鏈接為了抓取網上盡量多的頁面,搜索引擎蜘蛛會跟蹤頁面上的鏈接,從一個頁面爬到下一個頁面,就好像蜘蛛在蜘蛛網上爬行那樣,這也就是搜索引擎蜘蛛這個名稱的由來。
   
  
     整個互聯網是由相互鏈接的網站及頁面組成的。從理論上說,蜘蛛從任何一個頁面出發,順著鏈接都可以爬行到網上的歷有頁面。當然,由于網站及頁面鏈接結構異常復雜,蜘蛛需要采取一定的爬行策略才能遍歷網上所有頁面。

 
     最簡單的爬行遍歷策略分為兩種,一種是深度優先,另一種是廣度優先。所謂深度優先,指的是蜘蛛沿著發現的鏈接一直向前爬行,直到前面再也沒有其他鏈接,然后返回到第一個頁面,沿著另一個鏈接再一直往前爬行。


     此文章由成都新盒子網絡工作室分析總結;僅供參考;不作商業用途;轉載請注明文章來源;更多詳情請參與|:http://www.fadedz.com
 

Address
咨詢熱線:028-85555316 and 15378179975
地址:成都市青羊區北大街19號正成·財富領地1棟2901(省市政務中心斜對面)
電話:028-85555316 15378179975
網址:http://www.fadedz.com/  QQ:357898628 snjeso@qq.com
2011 sosbox.cn , All Right Reserved 蜀ICP備09022060號
Share
更多
收縮
  • 電話咨詢

  • 4000-855-316
  • 028-85555316
  • 15608036768
秋霞二级理论