詳談robots.txt的語(yǔ)法格式！

每當(dāng)用戶試圖訪問某個(gè)不存在的 URL 時(shí)，服務(wù)器都會(huì)在日志中記錄 404 錯(cuò)誤（無(wú)法 找到文件）。每當(dāng)搜索蜘蛛來(lái)尋找并不存在的 robots.txt 文件時(shí)，服務(wù)器也將在日志中記錄一 條 404 錯(cuò)誤，所以你應(yīng)該在網(wǎng)站中添加一個(gè) robots.txt。 那今天成都網(wǎng)絡(luò)公司小李，就帶大家一起學(xué)習(xí)一下有關(guān)robots.txt 的語(yǔ)法格式 的知識(shí)！

“robots.txt”文件包含一條或更多的記錄，這些記錄通過(guò)空行分開（以 CR，CR/NL, or NL 作為結(jié)束符），每一條記錄的格式如下所示： “:”。 在該文件中可以使用#進(jìn)行注解，具體使用方法和 UNIX 中的慣例一樣。該文件中的記 錄通常以一行或多行 User-agent 開始，后面加上若干 Disallow 行，詳細(xì)情況如下：

User-agent:
在"robots.txt"文件中，如果有多條 User-agent 記錄說(shuō)明有多個(gè) robot 會(huì)受到"robots.txt"的 限制，對(duì)該文件來(lái)說(shuō)，至少要有一條 User-agent 記錄。如果該項(xiàng)的值設(shè)為*，則對(duì)任何 robot 均有效，在"robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。 如果在"robots.txt"文件中，加入"User-agent:SomeBot"和若干 Disallow、Allow 行，那么 名為"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow 和 Allow 行的限制。

Disallow:
這個(gè)值可以是一條完整的路徑，也可以是路徑的非空前綴，以 Disallow 項(xiàng)的值開頭的 URL 不會(huì)被 robot 訪問。例如"Disallow:/help"禁止 robot 訪問/help.html、/helpabc.html、 /help/index.html，而"Disallow:/help/"則允許 robot 訪問/help.html、/helpabc.html，不能訪問/help /index.html。 "Disallow:"說(shuō)明允許 robot 訪問該網(wǎng)站的所有 url，在"/robots.txt"文件中，至少要有一條 Disallow 記錄。如果"/robots.txt"不存在或者為空文件，則對(duì)于所有的搜索引擎 robot，該網(wǎng) 站都是開放的。 . 要攔截整個(gè)網(wǎng)站，請(qǐng)使用正斜扛。 Disallow:/ . 要攔截目錄及其中的所有內(nèi)容，請(qǐng)?jiān)谀夸浢筇砑诱笨?Disallow:/private_directory/ . 要攔截網(wǎng)頁(yè)，請(qǐng)列出該網(wǎng)頁(yè)。 Disallow:/private_file.html

Allow:
與 Disallow 項(xiàng)相似，這個(gè)值可以是一條完整的路徑，也可以是路徑的前綴，以 Allow 項(xiàng)的值開頭的 URL 是允許 robot 訪問的。例如"Allow:/hibaidu"允許 robot 訪問/hibaidu.htm、/hibaiducom.html、/hibaidu /com.html。一個(gè)網(wǎng)站的所有 URL 默認(rèn)是 Allow 的，所以 Allow 通常與 Disallow 搭配使用，實(shí)現(xiàn)允許訪問一部分網(wǎng)頁(yè)同時(shí)禁止訪問其它所有 URL 的功能。 注意：Disallow 與 Allow 行的順序是有意義的，robot 會(huì)根據(jù)先進(jìn)個(gè)匹配成功的 Allow 或 Disallow 行確定是否訪問某個(gè) URL.

使用 * 匹配字符序列
您可使用星號(hào) (*) 來(lái)匹配字符序列。例如，要攔截對(duì)所有以"專用"開頭的子目錄的訪問， 可使用下列條目：
User-Agent:Googlebot 　Disallow:/專用*/ 要攔截對(duì)所有包含問號(hào) (?) 的網(wǎng)址的訪問，可使用下列條目： User-agent:* 　Disallow:/*? 使用 $ 匹配網(wǎng)址的結(jié)束字符
您可使用 $ 字符指定與網(wǎng)址的結(jié)束字符進(jìn)行匹配。例如，要攔截以 .asp 結(jié)尾的網(wǎng)址， 可使用下列條目： User-Agent:Googlebot Disallow:/*.asp$ 您可將此模式匹配與 Allow 指令配合使用。例如，如果 ? 表示一個(gè)會(huì)話 ID，您可排 除所有包含該 ID 的網(wǎng)址，確保搜索引擎蜘蛛不會(huì)抓取重復(fù)的網(wǎng)頁(yè)。但是，以 ? 結(jié)尾的網(wǎng)
址可能是您要包含的網(wǎng)頁(yè)版本。在此情況下，可對(duì) robots.txt 文件進(jìn)行如下設(shè)置： User-agent:*　 Allow:/*?$ 　Disallow:/*?
Disallow:/ *? 一行將攔截包含 ? 的網(wǎng)址（具體而言，它將攔截所有以您的域名開頭、 后接任意字符串，然后是問號(hào) (?)，而后又是任意字符串的網(wǎng)址）。
Allow: /*?$ 一行將允許包含任何以 ? 結(jié)尾的網(wǎng)址（具體而言，它將允許包含所有以您 的域名開頭、后接任意字符串，然后是問號(hào) (?)，問號(hào)之后沒有任何字符的網(wǎng)址）。

當(dāng)前名稱：詳談robots.txt的語(yǔ)法格式！
瀏覽路徑：http://www.muchs.cn/news0/260200.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁(yè)設(shè)計(jì)公司、靜態(tài)網(wǎng)站、App開發(fā)、面包屑導(dǎo)航、定制開發(fā)、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)