移動端如何做好網(wǎng)站被動抓??？

當(dāng)做好了PC站點與移動站點的適配之后,接下來就是等待百度的抓取收錄了。重慶SEO公司可以通過以下幾點來加速網(wǎng)站被搜索引擎抓取。

(1)不要通過 robots agent封禁的方式調(diào)配PC或移動蜘蛛如果發(fā)現(xiàn)你的網(wǎng)站 robots文件中出現(xiàn)了 User-agent:*和 Disallow:/的寫法,就代表封禁了所有搜索引擎抓取網(wǎng)站的網(wǎng)頁。

(2)不要將重要的頁面添加nofo|oM標(biāo)簽

(3)不要在服務(wù)器端輕易設(shè)置屏蔽某P段的訪問,很有可能該IP就是搜索引擎能夠識別的百度移動ua。

之前通過htt://baidu.com/search/spider.htm進(jìn)行識別的網(wǎng)站請注意!您需要修改識別方式,新的正確地識別爬蟲移動ua的方法如下。

①通過關(guān)鍵詞“ Android或者“ Mobile"進(jìn)行識別,判斷為移動訪問或者抓取。

②通過關(guān)鍵詞“ Baiduspider2.0”進(jìn)行識別,判斷為百度爬蟲。

另外需要強(qiáng)調(diào)的是,對于 robots封禁,如果封禁的 agent是爬蟲會對PC和移動同時生效。即無論是PC還是移動爬蟲,都不會對封禁對象進(jìn)行抓取。之所以要強(qiáng)調(diào)這一點,是發(fā)現(xiàn)有些代碼適配站點(同個URL,用PCua打開時是PC頁,用移動ua打開時是移動頁),想通過設(shè)置 Robots的 agent封禁達(dá)到只讓移動爬蟲抓取的目的,但由于PC和移動爬蟲的agen嘟都是爬蟲,這種方法是非常不可取的。

(4)通過百度站長工具中的鏈接提交工具進(jìn)行實時提交。

(5)制作好移動站點的 sitemap文件,并通過百度站長工具的sitemap方式提交。

(6)通過分析移動站點的og日志,找到響應(yīng)代碼異常的排查原因并解決。

(7)服務(wù)器錯誤:爬蟲發(fā)起抓取,httpcode返回碼是5××。

(8)訪問被拒絕:爬蟲發(fā)起抓取,httpcode返回碼是403。

(9)找不到頁面:爬蟲發(fā)起抓取,httpcode返回碼是404。

(10)其他錯誤:爬蟲發(fā)起抓取,httpcode返回碼是4xx,不包括403和404。

網(wǎng)頁名稱：移動端如何做好網(wǎng)站被動抓??？
URL分享：http://muchs.cn/news19/226019.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供建站公司、響應(yīng)式網(wǎng)站、企業(yè)網(wǎng)站制作、網(wǎng)站收錄、定制網(wǎng)站、網(wǎng)站設(shè)計公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)