帝國(guó)CMS中robots.txt文件的使用方法-創(chuàng)新互聯(lián)

創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！

成都創(chuàng)新互聯(lián)公司公司2013年成立，先為下陸等服務(wù)建站，下陸等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為下陸企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問(wèn)題。

這篇文章給大家分享的是有關(guān)帝國(guó)CMS中robots.txt文件的使用方法的內(nèi)容。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧。

在說(shuō)帝國(guó)CMS中robots.txt文件使用前先給大家解釋下robots.tx是干什么的.

robots協(xié)議（也稱為爬蟲(chóng)協(xié)議、爬蟲(chóng)規(guī)則、機(jī)器人協(xié)議等）也就是robots.txt，網(wǎng)站通過(guò)robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。Robots協(xié)議是網(wǎng)站國(guó)際互聯(lián)網(wǎng)界通行的道德規(guī)范，其目的是保護(hù)網(wǎng)站數(shù)據(jù)和敏感信息、確保用戶個(gè)人信息和隱私不被侵犯。因其不是命令，故需要搜索引擎自覺(jué)遵守。一些病毒如malware（馬威爾病毒）經(jīng)常通過(guò)忽略robots協(xié)議的方式，獲取網(wǎng)站后臺(tái)數(shù)據(jù)和個(gè)人信息。

robots.txt文件是一個(gè)文本文件，使用任何一個(gè)常見(jiàn)的文本編輯器，比如Windows系統(tǒng)自帶的Notepad，就可以創(chuàng)建和編輯它。robots.txt是一個(gè)協(xié)議，而不是一個(gè)命令。robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。

推薦學(xué)習(xí)《帝國(guó)cms教程》

當(dāng)一個(gè)搜索蜘蛛訪問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問(wèn)的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問(wèn)網(wǎng)站上所有沒(méi)有被口令保護(hù)的頁(yè)面。百度官方建議，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時(shí)，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請(qǐng)勿建立robots.txt文件。

如果將網(wǎng)站視為酒店里的一個(gè)房間，robots.txt就是主人在房間門(mén)口懸掛的“請(qǐng)勿打擾”或“歡迎打掃”的提示牌。這個(gè)文件告訴來(lái)訪的搜索引擎哪些房間可以進(jìn)入和參觀，哪些房間因?yàn)榇娣刨F重物品，或可能涉及住戶及訪客的隱私而不對(duì)搜索引擎開(kāi)放。但robots.txt不是命令，也不是防火墻，如同守門(mén)人無(wú)法阻止竊賊等惡意闖入者。

帝國(guó)CMS默認(rèn)robots.txt為:

代碼如下:

#
# robots.txt for EmpireCMS
#
User-agent: * *允許所有搜索引擎抓取
Disallow: /d/ *禁止所有搜索引擎抓取D目錄
Disallow: /e/class/ *禁止所有搜索引擎抓取/e/class/ 目錄
Disallow: /e/data/ *禁止所有搜索引擎抓取/e/data/ 目錄
Disallow: /e/enews/ *禁止所有搜索引擎抓取/e/enews/ 目錄
Disallow: /e/update/ *禁止所有搜索引擎抓取/e/update/ 目錄

感謝各位的閱讀！關(guān)于帝國(guó)CMS中robots.txt文件的使用方法就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！

分享名稱：帝國(guó)CMS中robots.txt文件的使用方法-創(chuàng)新互聯(lián)
分享地址：http://muchs.cn/article4/cdgooe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、ChatGPT、關(guān)鍵詞優(yōu)化、品牌網(wǎng)站制作、商城網(wǎng)站、搜索引擎優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)