對頁面抓取異常的原因及分析

1，效勞器銜接反常
效勞器銜接反常會有兩種狀況：一種是站點不穩(wěn)定，Baiduspider測驗銜接您網站的效勞器時呈現(xiàn)暫時無法銜接的狀況;一種是Baiduspider一向無法銜接上您網站的效勞器。
形成效勞器銜接反常的因素通常是您的網站效勞器過大，超負荷運轉。也有也許是您的網站運轉不正常，請查看網站的web效勞器(如apache、iis)是不是裝置且正常運轉，并運用瀏覽器查看首要頁面能否正常拜訪。您的網站和主機還也許阻撓了Baiduspider的拜訪，您需求查看網站和主機的防火墻。
2，網絡運營商反常
網絡運營商分電信和聯(lián)通兩種，Baiduspider經過電信或網通無法拜訪您的網站。假如呈現(xiàn)這種狀況，您需求與網絡效勞運營商進行聯(lián)絡，或許采購具有雙線效勞的空間或許采購cdn效勞。
3，DNS反常
當Baiduspider無法解析您網站的IP時，會呈現(xiàn)DNS反常。也許是您的網站IP地址過錯，或許域名效勞商把Baiduspider封禁。請運用WHOIS或許host查詢自己網站IP地址是不是準確且可解析，假如不準確或無法解析，請與域名注冊商聯(lián)絡，更新您的IP地址。
4，IP封禁
IP封禁為：限制網絡的出口IP地址，制止該IP段的運用者進行內容拜訪，在這里特指封禁了BaiduspiderIP。當您的網站不期望Baiduspider拜訪時，才需求該設置，假如您期望Baiduspider拜訪您的網站，請查看有關設置中是不是誤添加了BaiduspiderIP。也有也許是您網站地點的空間效勞商把baiduIP進行了封禁，這時您需求聯(lián)絡效勞商更改設置。
5，UA封禁
UA即為用戶署理(User-Agent)，效勞器經過UA辨認拜訪者的身份。當網站關于指定UA的拜訪，回來反常頁面(如403，500)或跳轉到別的頁面的狀況，即為UA封禁。當您的網站不期望Baiduspider拜訪時，才需求該設置，假如您期望Baiduspider拜訪您的網站，useragent有關的設置中是不是有Baiduspider UA，并及時修正。
6，死鏈
頁面現(xiàn)已無效，無法對用戶供給任何有價值信息的頁面即是死連接，包含協(xié)議死鏈和內容死鏈兩種形式:
協(xié)議死鏈：頁面的TCP協(xié)議狀況/HTTP協(xié)議狀況清晰表明的死鏈，多見的如404、403、503狀況等。
內容死鏈：效勞器回來狀況是正常的，但內容現(xiàn)已變更為不存在、已刪去或需求權限等與原內容無關的信息頁面。
關于死鏈，我們主張站點運用協(xié)議死鏈，并經過baidu站長平臺–死鏈東西向baidu提交，以便baidu更快地發(fā)現(xiàn)死鏈，削減死鏈對用戶以及查找引擎形成的負面影響。
7，反常跳轉
將網絡懇求重新指向別的方位即為跳轉。反常跳轉指的是以下幾種狀況：
1)當前該頁面為無效頁面(內容已刪去、死鏈等)，直接跳轉到前一目錄或許主頁，baidu主張站長將該無效頁面的進口超連接刪去掉
2)跳轉到犯錯或許無效頁面
留意：關于長期跳轉到別的域名的狀況，如網站替換域名，baidu主張運用301跳轉協(xié)議進行設置。
8，別的反常
1)關于baidurefer的反常：頁面關于來自baidu的refer回來不同于正常內容的做法。
2)關于baiduua的反常：頁面對baiduUA回來不同于頁面原內容的做法。
3)JS跳轉反常：頁面加載了baidu無法辨認的JS跳轉代碼，使得用戶經過查找成果進入頁面后發(fā)生了跳轉的狀況。
4)壓力過大導致的偶爾封禁：baidu會依據站點的規(guī)劃、拜訪量等信息，自動設定一個合理的抓取壓力。但是在反常狀況下，如壓力操控異常時，效勞器會依據自身負荷進行保護性的偶爾封禁。這種狀況下，請在回來碼中回來503(其意義是“Service Unavailable”)，這樣Baiduspider會過段時間再來測驗抓取這個連接，假如網站已閑暇，則會被成功抓取。
大多數(shù)網站都是由于沙盒效應，創(chuàng)新互聯(lián)網站建設公司提示我們，要進步執(zhí)行力，不要急。SEO是急不來的，由于主動權在查找引擎那里，你只能墨守成規(guī)的去做。

文章題目：對頁面抓取異常的原因及分析
分享路徑：http://muchs.cn/news/89538.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供搜索引擎優(yōu)化、網站收錄、做網站、商城網站、網站營銷、企業(yè)建站

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)