移動(dòng)端如何做好網(wǎng)站被動(dòng)抓取？

當(dāng)做好了PC站點(diǎn)與移動(dòng)站點(diǎn)的適配之后,接下來就是等待百度的抓取收錄了。重慶SEO公司可以通過以下幾點(diǎn)來加速網(wǎng)站被搜索引擎抓取。

(1)不要通過 robots agent封禁的方式調(diào)配PC或移動(dòng)蜘蛛如果發(fā)現(xiàn)你的網(wǎng)站 robots文件中出現(xiàn)了 User-agent:*和 Disallow:/的寫法,就代表封禁了所有搜索引擎抓取網(wǎng)站的網(wǎng)頁。

(2)不要將重要的頁面添加nofo|oM標(biāo)簽

(3)不要在服務(wù)器端輕易設(shè)置屏蔽某P段的訪問,很有可能該IP就是搜索引擎能夠識(shí)別的百度移動(dòng)ua。

之前通過htt://baidu.com/search/spider.htm進(jìn)行識(shí)別的網(wǎng)站請(qǐng)注意!您需要修改識(shí)別方式,新的正確地識(shí)別爬蟲移動(dòng)ua的方法如下。

①通過關(guān)鍵詞“ Android或者“ Mobile"進(jìn)行識(shí)別,判斷為移動(dòng)訪問或者抓取。

②通過關(guān)鍵詞“ Baiduspider2.0”進(jìn)行識(shí)別,判斷為百度爬蟲。

另外需要強(qiáng)調(diào)的是,對(duì)于 robots封禁,如果封禁的 agent是爬蟲會(huì)對(duì)PC和移動(dòng)同時(shí)生效。即無論是PC還是移動(dòng)爬蟲,都不會(huì)對(duì)封禁對(duì)象進(jìn)行抓取。之所以要強(qiáng)調(diào)這一點(diǎn),是發(fā)現(xiàn)有些代碼適配站點(diǎn)(同個(gè)URL,用PCua打開時(shí)是PC頁,用移動(dòng)ua打開時(shí)是移動(dòng)頁),想通過設(shè)置 Robots的 agent封禁達(dá)到只讓移動(dòng)爬蟲抓取的目的,但由于PC和移動(dòng)爬蟲的agen嘟都是爬蟲,這種方法是非常不可取的。

(4)通過百度站長工具中的鏈接提交工具進(jìn)行實(shí)時(shí)提交。

(5)制作好移動(dòng)站點(diǎn)的 sitemap文件,并通過百度站長工具的sitemap方式提交。

(6)通過分析移動(dòng)站點(diǎn)的og日志,找到響應(yīng)代碼異常的排查原因并解決。

(7)服務(wù)器錯(cuò)誤:爬蟲發(fā)起抓取,httpcode返回碼是5××。

(8)訪問被拒絕:爬蟲發(fā)起抓取,httpcode返回碼是403。

(9)找不到頁面:爬蟲發(fā)起抓取,httpcode返回碼是404。

(10)其他錯(cuò)誤:爬蟲發(fā)起抓取,httpcode返回碼是4xx,不包括403和404。

網(wǎng)站欄目：移動(dòng)端如何做好網(wǎng)站被動(dòng)抓?。?/a>
當(dāng)前URL：http://muchs.cn/news/226019.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、網(wǎng)站策劃、商城網(wǎng)站、軟件開發(fā)、云服務(wù)器、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)