關(guān)于百度站長(zhǎng)平臺(tái)網(wǎng)頁(yè)抓取功能解析

2013-04-27    分類： 網(wǎng)站建設(shè)

關(guān)于百度站長(zhǎng)平臺(tái)網(wǎng)頁(yè)抓取功能解析：

網(wǎng)頁(yè)抓取功能主要包括索引量、Robots、鏈接提交、死鏈提交、抓取頻次、抓取診斷、抓取異常等內(nèi)容。我們通過(guò)索引量可以看到站點(diǎn)在一定時(shí)間內(nèi)被索引的量和變化趨勢(shì),能及時(shí)掌握網(wǎng)站的實(shí)際情況,并且可以指定規(guī)則,檢測(cè)某個(gè)頻道或者專題被收錄和索引的情況。

百度站長(zhǎng)網(wǎng)頁(yè)抓取功能

鏈接提交包括主動(dòng)推送、自動(dòng)推送、 Sitemap、手動(dòng)提交四種提交方式。其中主動(dòng)推送是最快捷的方式,能夠確保當(dāng)天新鏈接被收錄進(jìn)來(lái)。自動(dòng)推送是最便捷的方式,把JS代碼部署到每一頁(yè)面,頁(yè)面被瀏覽時(shí)自動(dòng)推送到百度,一般都與主動(dòng)推送結(jié)合使用。Sitemap提交慢于主動(dòng)推送,需要定期更新。手動(dòng)提交比較機(jī)械化,但是可以把鏈接一次性提交給百度。

死鏈提交主要是處理網(wǎng)站上已存在的死鏈,當(dāng)網(wǎng)站死鏈數(shù)據(jù)累積過(guò)多,并且被展示到搜索結(jié)果頁(yè)中時(shí),對(duì)網(wǎng)站本身的訪問(wèn)體驗(yàn)和用戶轉(zhuǎn)化都產(chǎn)生了負(fù)面影響。另外,百度檢查死鏈的流程也會(huì)為網(wǎng)站帶來(lái)額外負(fù)擔(dān),影響網(wǎng)站其他正常頁(yè)面的抓取和索引。死鏈提交方式包括文件提交和規(guī)則提交。文件提交是將已制作好的死鏈文件上傳至網(wǎng)站根目錄,然后將死鏈文件地址提交。規(guī)則提交是指將相同鏈接前綴下的死鏈寫成鏈接規(guī)則,且與其匹配的鏈接全部都是死鏈,然后將這個(gè)死鏈規(guī)則提交。目前支持兩種死鏈規(guī)則:目錄規(guī)則,以“”結(jié)尾的前綴;CGI規(guī)則,以“?”結(jié)尾的前綴。

Robots功能用于檢測(cè)與更新網(wǎng)站的 robots. txt文件,如果網(wǎng)站長(zhǎng)時(shí)間不被搜索引擎抓取,可能是 robots.txt文件出了問(wèn)題,需要對(duì)其進(jìn)行檢測(cè)更新。需要注意的是, robots.xt文件大不超過(guò)48k,目錄不超過(guò)250個(gè)字符。

抓取頻次功能可以監(jiān)測(cè)蜘蛛抓取網(wǎng)站的頻次和每次抓取所用時(shí)間。

抓取診斷功能可以監(jiān)測(cè)蜘蛛抓取網(wǎng)站是否正常,是否能夠正常抓取網(wǎng)站內(nèi)容。每個(gè)站點(diǎn)每周最多能夠抓取整段200次,通過(guò)抓取整段可以監(jiān)測(cè)網(wǎng)站內(nèi)容是否符合預(yù)期,是否被加了黑鏈,是否隱藏文本,連通是否正常等。

抓取異常監(jiān)測(cè)可以監(jiān)測(cè)網(wǎng)站異常和鏈接異常兩個(gè)方面。網(wǎng)站異常會(huì)出現(xiàn)DNS異常、連接與抓取超時(shí)、鏈接錯(cuò)誤的情況;鏈接異常會(huì)出現(xiàn)訪問(wèn)被拒、找不到頁(yè)面、服務(wù)器錯(cuò)誤、其它錯(cuò)誤等情況。

本文標(biāo)題：關(guān)于百度站長(zhǎng)平臺(tái)網(wǎng)頁(yè)抓取功能解析
網(wǎng)站URL：http://muchs.cn/news/555.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機(jī)網(wǎng)站建設(shè)、ChatGPT、關(guān)鍵詞優(yōu)化、面包屑導(dǎo)航、標(biāo)簽優(yōu)化、網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

綿陽(yáng)服務(wù)器托管

網(wǎng)站建設(shè)知識(shí)