網(wǎng)站制作robots協(xié)議應(yīng)該遵守么？

前些年，網(wǎng)站建設(shè)行業(yè)的程序猿們肯定有聽說過robots協(xié)議，而且360與百度兩大搜索引擎關(guān)于“robots”協(xié)議也一直存在爭議，百度這邊呢，指責(zé)360違反商業(yè)道德，不遵守“robots協(xié)議”，而360又認(rèn)為百度利用該協(xié)議作為不正當(dāng)競爭的工具，想要壟斷整個搜索引擎市場。那么究竟robots協(xié)議功能是什么？有什么功能？那就跟隨成都創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司一起來了解下吧！

首先，robots協(xié)議全稱是Robots Exclusion Protocol，翻譯過來是機(jī)器人排除協(xié)議，又稱為爬蟲協(xié)議、機(jī)器人協(xié)議，是指網(wǎng)站所有者通過一個置于網(wǎng)站根目錄下的文本文件，即robots.txt，提示搜索引擎的網(wǎng)絡(luò)機(jī)器人哪些網(wǎng)頁不應(yīng)被抓取，哪些網(wǎng)頁可以抓取。從本質(zhì)上來說，robots協(xié)議是受訪網(wǎng)站與搜索引擎之間的一種交互方式。

如果把網(wǎng)站比作一個對公眾開放的博物館，robots協(xié)議就相當(dāng)于在博物館入口處懸掛的提示牌，告知游客哪些區(qū)域不對游客開放，如：“本館三樓301-302室為展品儲藏室、四樓為辦公區(qū)，謝絕參觀”。通常情況下，游客會根據(jù)提示牌的內(nèi)容，進(jìn)行參觀游覽。提示牌本身沒有強(qiáng)制力，如果要防止游客擅自闖入不開放區(qū)域，最好的辦法是采取一些“技術(shù)措施”，如在辦公區(qū)外設(shè)置欄桿，在儲藏室門上加鎖等。博物館設(shè)置提示牌的目的是為了便于游客更好的參觀，提示牌的內(nèi)容對所有游客應(yīng)一視同仁。如果提示牌規(guī)定禁止某一類人參觀，則需要有合理、正當(dāng)?shù)睦碛?，在缺乏合理、正?dāng)理由的情況下，禁止某一類人進(jìn)入一個對公眾開放的博物館參觀顯然是不合理的。

從《互聯(lián)網(wǎng)搜索引擎自律公約》第七條、第八條的規(guī)定來看，其包含兩個層次的含義，一方面從搜索引擎的角度來說，必須遵守受訪網(wǎng)站的robots協(xié)議，不得隨意抓取，另一方面從受訪網(wǎng)站的角度來說，其設(shè)置robots協(xié)議的行為本身應(yīng)當(dāng)具有行業(yè)公認(rèn)合理的正當(dāng)理由，不得利用robots協(xié)議進(jìn)行不正當(dāng)競爭行為。

而robots協(xié)議設(shè)置的初衷也正是如此，為了提示搜索引擎的網(wǎng)絡(luò)機(jī)器人更有效的抓取對網(wǎng)絡(luò)用戶有用的信息，從而更好的促進(jìn)信息共享。但是對于robots協(xié)議存在的不正當(dāng)競爭行為應(yīng)該加以限制，也只有這樣才可以維護(hù)市場環(huán)境的公平競爭，從而促進(jìn)互聯(lián)網(wǎng)行業(yè)的發(fā)展。

網(wǎng)站題目：網(wǎng)站制作robots協(xié)議應(yīng)該遵守么？
文章起源：http://muchs.cn/news17/767.html

網(wǎng)站建設(shè)、網(wǎng)絡(luò)推廣公司-創(chuàng)新互聯(lián)，是專注品牌與效果的網(wǎng)站制作，網(wǎng)絡(luò)營銷seo公司；服務(wù)項(xiàng)目有網(wǎng)站制作等

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)