邯鄲網(wǎng)站加上robots的作用?robots協(xié)議(也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等)的全稱是“網(wǎng)爬蟲排除標(biāo)準(zhǔn)”  ( robots exclusion protocol)’。網(wǎng)站通過robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

當(dāng)一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在搜索機(jī)器人就會按照該文件中的內(nèi)容確定訪問的范圍;如果該文件不在所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。

如果將網(wǎng)站視為酒店里的一個房間，robots.txt就是主人在房間門口懸掛的“請勿打擾”的提示牌。這個文件告訴來訪的搜索引擎哪些房間可以進(jìn)入和參觀，哪些房間因為存放貴重物品，或可能涉及住戶及訪客的隱私而不對搜索引擎開放。

但是，robots.txt不是命令，也不是防火墻，如同守門人無法阻止竊賊等惡意闖人者。

robots協(xié)議可以屏蔽一些網(wǎng)站中比較大的文件，如圖片、音樂、視頻等內(nèi)容，節(jié)省服務(wù)器帶寬;也可以屏蔽站點的一些死鏈接，禁止搜索引擎抓取。