如何查看百度蜘蛛是否來過網站?如何進行蜘蛛的抓取診斷?

　　如何正確識別百度蜘蛛?如何通過百度蜘蛛IP得知網站狀態?今天，筆者為大家介紹的是百度搜索引擎蜘蛛分析。希望對大家有所幫助。

　　一、如何查看百度蜘蛛是否過來網站

　　可以通過查看網站日志進行分析。Windows服務器的IIS與Linux服務器的apache都有記錄網站日志的功能。

　　二、如何辨別百度蜘蛛

　　百度官方給出的辨別百度蜘蛛的方法如下。

　　1、查看UA

　　首先要UA正確，百度公布過的UA有如下這些。

　　移動UA

　　新增渲染UA

　　2、反查IP

　　可以通過dns反差ip的方法判斷是否是百度蜘蛛，只要不是來自“. baidu . com”或“. baidu . jp”即為假冒的百度蜘蛛。

　　三、如何診斷百度蜘蛛是否能夠正常抓取網站內容

　　我認為很多網站因使用JavaScript代碼或框架結構等問題，不能被百度蜘蛛所抓取。這里進行診斷也是為了防止蜘蛛來網站后，因為不能正常抓取而離開，導致網站收錄很差，快照不更新等問題。

　　如果診斷結果有問題，則需要修正問題，提升與百度蜘蛛的友好度。

　　百度官方在線抓取診斷工具如下圖所示，選好網站(主頁或其他頁面)后，選擇PC UA 或者移動UA，最后點擊“抓取”即可。

　　稍等片刻，刷新頁面會顯示“抓取成功”，或者失敗�？梢渣c擊查看“抓取成功”或失敗的詳細信息。

　　四、如何通過百度蜘蛛IP得知網站狀態

　　1、抓取你網站的網頁蜘蛛

　　2、百度競價蜘蛛

　　3、百度統計的蜘蛛

　　4、站長工具的模仿的百度蜘蛛

　　5、搜外站長工具的模仿的百度蜘蛛

　　6、114站長工具箱模仿的百度蜘蛛

　　7、百度圖片蜘蛛

　　8、抓取網站內頁收錄的權重較低的非原創，需要通過一段時間考察

　　9、站長工具檢測造成的無用

　　10、百度考察期蜘蛛或降權蜘蛛

　　11、偽裝百度蜘蛛

　　12、新站及站點有不正�，F象

　　13、不間斷巡邏各站就是路過

　　14、沙盒或者有被K站

　　15、此ip爬過的文章或首頁，絕對24小時內放出來和隔夜快照

　　16、百度蜘蛛IP來過，準備抓取

　　17、度過新站考察期

　　18、百度抓取首頁的專用IP，網站首頁快照更新快，隔夜更新

　　19、百度的權重IP段，抓取的文章第二天放出來，權重較高

　　20、綜合性權重IP，抓取文章和首頁，權重較高

　　21、抓取內頁收錄的，但權重較低

　　22、抓取網站首頁的，也屬于權重段，權重較高。