robots的寫(xiě)法,及作用

robots.txt文件應(yīng)該放在網(wǎng)站根目錄下，用好robots是很容易為你網(wǎng)站提權(quán)的。主要作用是讓搜索引擎抓取什么，不讓搜索引擎抓取什么

一、robots.txt 的寫(xiě)法：

1. User-agent: *

意思是允許所有搜索引擎收錄，星號(hào)代表所有。

2. Disallow:/
意思是禁止搜索引擎收錄頁(yè)面。

3. 禁止所有搜索引擎訪問(wèn)網(wǎng)站的所有部分
User-agent: *
Disallow: /

4. 禁止百度索引你的網(wǎng)站
User-agent: Baiduspider
Disallow: /

5. 禁止Google索引你的網(wǎng)站
User-agent: Googlebot
Disallow: /

6. 禁止除Google外的一切搜索引擎索引你的網(wǎng)站
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /

7. 禁止除百度外的一切搜索引擎索引你的網(wǎng)站
User-agent: Baiduspider
Disallow:
User-agent: *

Disallow: /

8. 禁止蜘蛛訪問(wèn)某個(gè)目錄
（例如禁止admincssimages被索引）
User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/

9. 允許訪問(wèn)某個(gè)目錄中的某些特定網(wǎng)址
User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/

在SEO優(yōu)化過(guò)程中，對(duì)于蜘蛛的了解和控制至關(guān)重要，關(guān)于robot.txt的寫(xiě)法還有很多，希望以上這些對(duì)大家有幫助。

二、robots.txt 注意事項(xiàng)：
1. 如果你希望搜索引擎收錄網(wǎng)站上所有的內(nèi)容，那么就不要建立robots.txt文件。
2. 如果同時(shí)存在動(dòng)態(tài)和靜態(tài)鏈接，那么建議屏蔽動(dòng)態(tài)鏈接。
3. robots.txt只能是屏蔽站內(nèi)文件的，對(duì)站外文件沒(méi)有屏蔽功能。
4. User-agent，Allow，Disallow，Sitemap的首字母都是大寫(xiě)的。
5. User-agent，Allow，Disallow，Sitemap的冒號(hào)后面都是有空格的，沒(méi)有寫(xiě)空格直接寫(xiě)接下來(lái)的內(nèi)容會(huì)出錯(cuò)。
6. 網(wǎng)站通常會(huì)屏蔽搜索結(jié)果頁(yè)面。因?yàn)樗阉鹘Y(jié)果頁(yè)和正常展示的內(nèi)容頁(yè)相比，標(biāo)題和內(nèi)容上相同的，而這兩個(gè)頁(yè)面鏈接是不同的。那搜索引擎該將這篇文章歸屬于哪個(gè)內(nèi)鏈呢，這樣就會(huì)造成內(nèi)鏈之間相互競(jìng)爭(zhēng)，造成內(nèi)部資源損耗。
7. 建議屏蔽js文件。Disallow: /*.js$，以 .js 結(jié)尾的路徑統(tǒng)統(tǒng)被屏蔽，這樣就屏蔽了js文件。
8. 路徑是區(qū)分大小寫(xiě)的。Disallow: /ab/ 和 Disallow: /Ab/ 是不一樣的。
9. robots.txt會(huì)暴露網(wǎng)站相關(guān)目錄，寫(xiě)robots.txt時(shí)要考慮到這一點(diǎn)。
10. 有些seo會(huì)將文件直接備份在服務(wù)器中，文件是 .zip 格式，然后在robots.txt中屏蔽。個(gè)人不建議這樣，這就是明顯告訴人家你的備份文件位置。建議文件和數(shù)據(jù)都備份到本地。
11.必須命名為：robots.txt都是小寫(xiě)，robot后面加s。

文章標(biāo)題：robots的寫(xiě)法,及作用
URL地址：http://www.muchs.cn/news48/5698.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設(shè)、網(wǎng)站改版、ChatGPT、域名注冊(cè)、App開(kāi)發(fā)、虛擬主機(jī)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)