robots協(xié)議對(duì)于網(wǎng)站優(yōu)化中收錄的影響？

2014-04-27 分類(lèi)：網(wǎng)站收錄

很多網(wǎng)站優(yōu)化人員都會(huì)遇到一個(gè)問(wèn)題，在網(wǎng)站建好之后明明定期更新文章內(nèi)容，然而就是不被搜索引擎收錄網(wǎng)站。遇到這樣的問(wèn)題會(huì)讓很多優(yōu)化人員無(wú)從下手，找不到正解。今天創(chuàng)新互聯(lián)就帶著大家一起來(lái)找找網(wǎng)站優(yōu)化網(wǎng)站不收錄的原因，這個(gè)答案你可能會(huì)在Robots協(xié)議里找到。

網(wǎng)站優(yōu)化

一、robots協(xié)議到底是什么？

先來(lái)說(shuō)說(shuō)什么是Robots協(xié)議，它也叫機(jī)器人協(xié)議或爬蟲(chóng)協(xié)議，它并不是一個(gè)指令，而是一個(gè)文本，一般來(lái)說(shuō)常見(jiàn)的文本編輯器都可以創(chuàng)建和編輯它，它具有非常強(qiáng)大的作用和功能。網(wǎng)站可以通過(guò)Robots協(xié)議告訴搜索引擎哪些網(wǎng)站頁(yè)面可以抓取，哪些網(wǎng)站頁(yè)面不能被抓取。

有的網(wǎng)站優(yōu)化人員可能使用的建站系統(tǒng)自帶Robots.txt文件，有的壓根就沒(méi)有Robots.txt文件。這使得爬蟲(chóng)無(wú)法對(duì)網(wǎng)站進(jìn)行爬取索引。自然而然的不會(huì)收錄你的網(wǎng)站，所以大家在建站之后一定要記得查看是否存在在Robots.txt以及它的內(nèi)容是否規(guī)范。

二、robots.txt文件設(shè)置要求

1、robots.txt文件必須放置在網(wǎng)站根目錄；

2、robots.txt文件名必須小寫(xiě)。

根據(jù)上面兩點(diǎn)提示我們查看到絕大部分網(wǎng)站的robots.txt文件，如果出現(xiàn)無(wú)法訪問(wèn)的現(xiàn)象，大可能就是網(wǎng)站根目錄中沒(méi)有此文件。

三、常見(jiàn)語(yǔ)法的定義

User-agent:定義搜索引擎。如果想定義所有搜索引擎請(qǐng)用*;Disallow:禁止搜索引擎抓取，“/”表示根目錄，代表網(wǎng)站的所有目錄。Allow: 是允許的意思，這里只簡(jiǎn)單的做一下描述，具體的操作寫(xiě)法請(qǐng)參考百度文庫(kù)。

希望以上關(guān)于網(wǎng)站優(yōu)化的robots協(xié)議的內(nèi)容對(duì)大家有幫助，一般主流的搜索引擎都會(huì)遵守robots文件指令，Robots可以用來(lái)防止搜索引擎抓取那些我們不想被搜索引擎索引的內(nèi)容。我們可以用它來(lái)保護(hù)一些隱私的內(nèi)容，屏蔽死鏈接和無(wú)內(nèi)容頁(yè)面和重復(fù)頁(yè)面。

分享文章：robots協(xié)議對(duì)于網(wǎng)站優(yōu)化中收錄的影響？
地址分享：http://www.muchs.cn/news/8442.html

網(wǎng)站建設(shè)、網(wǎng)絡(luò)推廣公司-創(chuàng)新互聯(lián)，是專(zhuān)注品牌與效果的網(wǎng)站制作，網(wǎng)絡(luò)營(yíng)銷(xiāo)seo公司；服務(wù)項(xiàng)目有網(wǎng)站營(yíng)銷(xiāo)、網(wǎng)站收錄等

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容