2016-10-27 分類: 網(wǎng)站建設(shè)
robots協(xié)議書是正確引導(dǎo)蛛蛛抓取網(wǎng)站地形圖,也用于維護網(wǎng)站信息和比較靈敏信息內(nèi)容,保證客戶私家信息和隱私維護不被損害。存有于網(wǎng)站根目錄正,以文件格式存有,留意robots文件夾名稱不可以隨意改變。
SEO高手為什么要懂robots?
書寫::表達關(guān)于某一爬蟲,
:表達制止抓取
:容許抓取
.*通配符,表達悉數(shù)
.$結(jié)束符,表達以哪些結(jié)尾
/根域下就是指網(wǎng)站根目錄
注:灶具顯現(xiàn)英文情況下的,并且后邊有一個空格符,首寫有必要小寫。
例:
1、User-agent:*Disallow:/關(guān)于悉數(shù)爬蟲制止抓取根目錄下的悉數(shù)銜接
2、User-agent:BaiduspiderDisallow:/制止百度爬蟲抓取網(wǎng)站悉數(shù)聯(lián)接
3、User-agent:*Disallow:/a/關(guān)于悉數(shù)的爬蟲制止抓取網(wǎng)站根目錄下的a目錄
4、User-agent:*Disallow:/a關(guān)于悉數(shù)的爬蟲制止抓取網(wǎng)站根目錄下為“a”開端的文檔
5、User-agent:*Disallow:/*?*(?表達動態(tài)性符)制止抓取網(wǎng)站根目錄下帶?號的動態(tài)性銜接
6、User-agent:*Disallow:/*.js$制止抓取網(wǎng)站根目錄下邊以.js結(jié)尾的文檔
7、User-agent:*Disallow:/a/Allow:/a/b/制止抓取網(wǎng)站根目錄下邊“a”,容許抓取“a”目錄下邊的“b”目錄。
8、User-agent:*Disallow:/a/Allow:/a/b制止抓取網(wǎng)站根目錄下邊“a”目錄,容許抓取“a”目錄中以“b”開端的文檔。
當前標題:SEO高手需要懂得什么呢?
網(wǎng)站網(wǎng)址:http://muchs.cn/news35/53185.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供外貿(mào)網(wǎng)站建設(shè)、App設(shè)計、企業(yè)網(wǎng)站制作、ChatGPT、網(wǎng)站內(nèi)鏈、Google
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容