廣元網站優化SEO問答:百度蜘蛛的抓取方式和異常原因

閱讀 ?·? 發布日期 2018-12-07 09:26 ?·? admin

1,網站更新頻率:更新快多來,更新慢少來,直接影響Baiduspider的來訪頻率

3,連通度:網站應該安全穩定、對Baiduspider保持暢通,經常給Baiduspider吃閉門羹可不是好事情

抓取頻次間接決定著網站有多少頁面有可能被建庫收錄,如此重要的數值如果不符合站長預期該如何調整呢?百度站長平臺提供了抓取頻次工具,并已完成多次升級。該工具除了提供抓取統計數據外,還提供“頻次調整”功能,站長根據實際情況向百度站長平臺提出希望Baiduspider增加來訪或減少來訪的請求,工具會根據站長的意愿和實際情況進行調整。

 
有一些網頁,內容優質,用戶也可以正常訪問,但是Baiduspider卻無法正常訪問并抓取,造成搜索結果覆蓋率缺失,對百度搜索引擎對站點都是一種損失,百度把這種情況叫“抓取異常”。對于大量內容無法正常抓取的網站,百度搜索引擎會認為網站存在用戶體驗上的缺陷,并降低對網站的評價,在抓取、索引、排序上都會受到一定程度的負面影響,最終影響到網站從百度獲取的流量。
 
1,服務器連接異常:2,網絡運營商異常:網絡運營商分電信和聯通兩種,Baiduspider通過電信或網通無法訪問您的網站。如果出現這種情況,您需要與網絡服務運營商進行聯系,或者購買擁有雙線服務的空間或者購買cdn服務。

4,IP封禁:IP封禁為:限制網絡的出口IP地址,禁止該IP段的使用者進行內容訪問,在這里特指封禁了BaiduspiderIP。當您的網站不希望Baiduspider訪問時,才需要該設置,如果您希望Baiduspider訪問您的網站,請檢查相關設置中是否誤添加了BaiduspiderIP。也有可能是您網站所在的空間服務商把百度IP進行了封禁,這時您需要聯系服務商更改設置。

6,死鏈:頁面已經無效,無法對用戶提供任何有價值信息的頁面就是死鏈接,包括協議死鏈和內容死鏈兩種形式:
內容死鏈:服務器返回狀態是正常的,但內容已經變更為不存在、已刪除或需要權限等與原內容無關的信息頁面。
7,異常跳轉:將網絡請求重新指向其他位置即為跳轉。異常跳轉指的是以下幾種情況:
2)跳轉到出錯或者無效頁面
8,其他異常:
2)針對百度ua的異常:網頁對百度UA返回不同于頁面原內容的行為。

4)壓力過大引起的偶然封禁:百度會根據站點的規模、訪問量等信息,自動設定一個合理的抓取壓力。但是在異常情況下,如壓力控制失常時,服務器會根據自身負荷進行保護性的偶然封禁。這種情況下,請在返回碼中返回503(其含義是“Service Unavailable”),這樣Baiduspider會過段時間再來嘗試抓取這個鏈接,如果網站已空閑,則會被成功抓取。