百度的致命抓取異常?你重視過嗎?

百度的致命抓取異常?你重視過嗎?在這些年的SEO診斷中，我這里發(fā)現(xiàn)不低于20%的網(wǎng)站都存在著一個嚴(yán)重的抓取問題，但是奇怪的是，卻始終得不到大多數(shù)人的重視。而研究透徹并分享這個問題的人，更是沒有發(fā)現(xiàn)。今天這篇文章，我們就來看一下這個問題。網(wǎng)站建設(shè)★網(wǎng)站設(shè)計★網(wǎng)站制作★網(wǎng)頁設(shè)計-800元全包;企業(yè)網(wǎng)絡(luò)推廣☆網(wǎng)站優(yōu)化☆seo☆關(guān)鍵詞排名☆百度快照-2200元全年展示;做網(wǎng)站優(yōu)化排名-網(wǎng)站建設(shè)公司

成都創(chuàng)新互聯(lián)主要從事網(wǎng)站設(shè)計制作、網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)灌南,十載網(wǎng)站建設(shè)經(jīng)驗,價格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):18982081108

什么問題呢?

連接超時，或者抓取超時，如果你的網(wǎng)站出現(xiàn)過這個問題，至今沒有處理到位的，就把這篇文章轉(zhuǎn)載一下吧。

很多人說，不就是幾十次的超時嗎?有什么大不了的，如果這樣認(rèn)為，那么真的是活該網(wǎng)站做不好了，正常的網(wǎng)站是什么樣的呢?我們來舉個例子：

這是一個權(quán)重4的站點，哪怕十多萬次的抓取，卻仍舊沒有出現(xiàn)過一次的抓取錯誤!如果你的每日抓取錯誤量超過10次(十天半個月就出現(xiàn)一次錯誤，或者連續(xù)多天出現(xiàn)的)，就真的應(yīng)該嚴(yán)肅處理一下這個問題了，因為當(dāng)前問題的存在，已經(jīng)長期的制約了網(wǎng)站的發(fā)展上限，甚至因為這個問題，誘發(fā)網(wǎng)站的降權(quán)，都一點不奇怪。

為什么會出錯?

有人說，不用理會，這就是一個BUG，因為我在網(wǎng)站的LOG日志中，并沒有發(fā)現(xiàn)這個問題。之前在百度站長的VIP群里，有人這樣解釋過。但是我想說的是：百度無法抓取到網(wǎng)站，你的網(wǎng)站LOG日志，能統(tǒng)計到這樣的錯誤嗎?所以，上述解釋是完全說不過去的。

那么，為什么會出現(xiàn)這樣的錯誤呢?

A，DNS問題，無論是蜘蛛還是用戶訪問網(wǎng)站，首先就需要域名的DNS做了正確的解析，然而解析是解析了，你能確定DNS真的穩(wěn)定嗎?不少站點的錯誤，正是因為DNS不穩(wěn)定而造成的。尤其是那些又做域名注冊，又搞‘域名搶注’的平臺，這樣的平臺，更容易出現(xiàn)DNS解析不穩(wěn)定的情況，尤其是在搶注高峰期。具體哪些品牌，這個就不點名了，如果你的域名在這些平臺中，賀貴江強烈建議你將其轉(zhuǎn)出。

B，頁面太大，有一些網(wǎng)站的部分頁面達(dá)到了四五六七八兆的情況，甚至還見過極少的網(wǎng)站出現(xiàn)過一個頁面有10MB大小。這樣的頁面，更容易出現(xiàn)鏈接超時。正常情況，并不建議網(wǎng)站的頁面大小超過3MB，同時建議網(wǎng)站服務(wù)器啟用GZIP壓縮。

C，帶寬不足，這是一個很常見的情況，不少站點出現(xiàn)鏈接超時都是因為帶寬不足而引發(fā)的。我們知道1M的帶寬峰值下載是128KB，如果網(wǎng)站是1M接入，頁面大小是256KB，如果同時2個人在打開頁面，那么就需要4秒才可以下載完畢。如果帶寬是2MB，頁面大小是1024KB，一個人打開網(wǎng)站需要8秒，可如果是10個人同時打開呢?所以帶寬這里，一定要做足。站長或者企業(yè)都應(yīng)當(dāng)觀察一下站點的平均帶寬，以及峰值帶寬情況，如果經(jīng)常出現(xiàn)‘帶寬峰值’類型的訪問，那么就一定要升級帶寬了。

D，首字節(jié)時間，可能很多同學(xué)沒有聽說過這個問題，它指的是從發(fā)送請求到WEB服務(wù)器的時間+WEB服務(wù)器處理請求并生成響應(yīng)花費的時間。有一些站點，首字節(jié)時間居然都可以達(dá)到5MS，這樣的情況，網(wǎng)站還能正常嗎?

1、對于首字節(jié)時間這里，我們應(yīng)當(dāng)注意：避免網(wǎng)站與其他網(wǎng)站共享同一個服務(wù)器其他網(wǎng)站會占用自身網(wǎng)站服務(wù)器處理時間。

2、CDN減少內(nèi)容和訪問者之間的“距離”將靜態(tài)內(nèi)容分發(fā)到CDN，CDN的內(nèi)容自動復(fù)制到各個位置，在地理上更接近用戶，從而減少TTFB的時間。注意的是，已定要設(shè)置‘緩存時間’針對于網(wǎng)站訪問較慢的頁面或欄目。

3、避免網(wǎng)站使用虛擬主機系統(tǒng)如網(wǎng)站在一段時間未有流量產(chǎn)生，系統(tǒng)會推遲或暫停虛擬服務(wù)器，當(dāng)新訪客進(jìn)入時，將重新進(jìn)行服務(wù)器備份處理(10s或更長時間);

4、后端優(yōu)化軟件性能減少服務(wù)器生成的響應(yīng)到瀏覽器的時間，比如：操作碼緩存、服務(wù)器端緩存、本地緩存、W3總緩存等。

最后，我們總結(jié)一下：

首先是為網(wǎng)站找一家靠譜的DNS服務(wù)商，我們建議是阿里云，其次是穩(wěn)定的CDN服務(wù)商，阿里、百度智能云、騰訊云，都可以。最后就是網(wǎng)站服務(wù)器，盡量不要選擇使用虛擬主機，且盡量避免多個站點使用相同服務(wù)器。

網(wǎng)站欄目：百度的致命抓取異常?你重視過嗎?
轉(zhuǎn)載注明：http://www.muchs.cn/article8/dghedop.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供域名注冊、電子商務(wù)、搜索引擎優(yōu)化、網(wǎng)站收錄、品牌網(wǎng)站設(shè)計、網(wǎng)站導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)