robots.txt是什么？怎么運(yùn)用

2015-01-01    分類： 網(wǎng)站建設(shè)

作為一個(gè)網(wǎng)站建設(shè)加優(yōu)化的公司，是必須要回的就是robots.txt文件，所以我們就來看看這個(gè)文件的意思

robots.txt是一個(gè)純文本文件，用于聲明該網(wǎng)站中不想被蜘蛛訪問的部分，或者指定蜘蛛抓取的部分。不是規(guī)定，而是一種約定，需要蜘蛛自覺遵守的一種習(xí)俗

當(dāng)蜘蛛訪問一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)是否存在robots.txt

如果找到，蜘蛛就會(huì)按照該文件中的內(nèi)容來確定抓取的范圍

如果該文件不存在，那么蜘蛛就沿著鏈接直接抓取

網(wǎng)站建設(shè)

robots.txt的作用

1、防止私密或重要內(nèi)容被搜索引擎抓取

2、節(jié)省服務(wù)器資源，從而提高服務(wù)質(zhì)量

3、減少重復(fù)抓取，提高網(wǎng)站質(zhì)量

4、指定sitemap文件位置

robots.txt是什么

User-agent: *

針對(duì)哪個(gè)搜索引擎蜘蛛

這里的*代表搜索引擎種類，*是通配符

Allow

定義的是允許蜘蛛抓取某個(gè)欄目或文件

Allow: /cgi-bin/

這里定義是允許訪問cgi-bin目錄

Allow:/* .htm$

允許訪問以".htm"為后綴的URL

$指的是匹配行結(jié)束符

*指的是匹配任何字符

網(wǎng)站建設(shè)

Disallow

定義的是禁止蜘蛛抓取某個(gè)欄目或文件

Disallow: /admin/

這里定義是禁止抓取admin目錄

Disallow: /cgi-bin/*.htm

禁止抓取/cgi-bin/目錄下的所有以".htm"為后綴的URL

Disallow: /*?*

禁止抓取網(wǎng)站中所有包含問號(hào) “?”的網(wǎng)址robots.txt是什么

用法：sitemap: http://www.google.com/sitemap.xml

sitemap：URL全稱（包含http://部分）

告訴搜索引擎蜘蛛這個(gè)頁面是網(wǎng)站地圖

robots.txt文件主要是限制整個(gè)站點(diǎn)或者目錄的蜘蛛訪問情況，而robots meta標(biāo)簽則主要是針對(duì)某個(gè)具體的頁面

本文名稱：robots.txt是什么？怎么運(yùn)用
文章URL：http://muchs.cn/news21/14321.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信小程序、全網(wǎng)營銷推廣、服務(wù)器托管、響應(yīng)式網(wǎng)站、企業(yè)建站、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

搜索引擎優(yōu)化

網(wǎng)站建設(shè)知識(shí)