網(wǎng)站抓取會(huì)遇到的問(wèn)題及解決方法

當(dāng)您面對(duì)大型網(wǎng)站可能遇到的上千個(gè)潛在問(wèn)題時(shí)，您從哪里開(kāi)始? 這是我們?cè)谥亟ňW(wǎng)站抓取時(shí)嘗試解決的問(wèn)題。答案幾乎完全取決于您的網(wǎng)站，并且可能需要對(duì)其歷史和目標(biāo)的深入了解，但至少應(yīng)該有一個(gè)可以概述幫助您減少噪音并開(kāi)始使用的seo過(guò)程。

簡(jiǎn)單的操作有時(shí)是危險(xiǎn)的，為什么?

以前，我們?cè)噲D將網(wǎng)站初期的每個(gè)問(wèn)題標(biāo)記為高，中，低優(yōu)先級(jí)。 這種簡(jiǎn)單的方法可能是有用的，但我們發(fā)現(xiàn)不能這樣做，你可能會(huì)想知道為什么我們離開(kāi)它。

首先，網(wǎng)站優(yōu)化要素優(yōu)先次序取決于您的意圖。 如果搜索引擎在進(jìn)行網(wǎng)站抓取的時(shí)候，誤解你的意圖可能會(huì)導(dǎo)致不好的結(jié)果，從混亂到徹底的災(zāi)難性的。比方說(shuō)，我們?cè)贛oz上聘請(qǐng)了全新的SEOER，發(fā)現(xiàn)網(wǎng)站存在以下問(wèn)題：

網(wǎng)站同時(shí)存在幾乎35,000個(gè)NOINDEX標(biāo)簽?

如果采用搜索引擎優(yōu)化工具趕緊刪除這些標(biāo)簽，那么網(wǎng)站本身會(huì)受到很大的傷害，而不是意識(shí)到絕大多數(shù)這些指令是有意的。我們可以讓我們的系統(tǒng)更聰明，但是他們看不懂，所以我們要對(duì)虛警報(bào)警謹(jǐn)慎。

其次，優(yōu)先考慮的問(wèn)題并不能幫助您了解這些問(wèn)題的性質(zhì)或如何解決這些問(wèn)題。 我們現(xiàn)在將網(wǎng)站抓取問(wèn)題分為四種描述類(lèi)型之一：

歷史數(shù)據(jù)問(wèn)題

重定向問(wèn)題

元數(shù)據(jù)問(wèn)題

內(nèi)容問(wèn)題

按類(lèi)型進(jìn)行分類(lèi)可以讓您更具seo技術(shù)。 例如，我們新的“重定向”類(lèi)別中的問(wèn)題將會(huì)有更多的共同點(diǎn)，這意味著它們可能有共同的修復(fù)。最終幫助您找到問(wèn)題只是第一步。 我們希望能夠更好地幫助您解決問(wèn)題。

1.從嚴(yán)重的爬蟲(chóng)問(wèn)題開(kāi)始

這不是說(shuō)一切都是主觀的。 一些問(wèn)題阻止抓取工具(不僅僅是我們的，而是搜索引擎)到達(dá)你的頁(yè)面。我們將這些“關(guān)鍵爬蟲(chóng)問(wèn)題”分組到我們的第一類(lèi)，目前包括5XX錯(cuò)誤，4XX錯(cuò)誤和重定向到4XX。如果您在5XX錯(cuò)誤中突然上升，您需要知道，幾乎沒(méi)有人有意將其重定向到404。

您會(huì)看到整個(gè)網(wǎng)站抓取界面中突出顯示嚴(yán)重的爬網(wǎng)程序問(wèn)題：

尋找紅色的警報(bào)圖標(biāo)來(lái)快速找到關(guān)鍵問(wèn)題。 首先解決這些問(wèn)題。 如果無(wú)法抓取頁(yè)面，那么每個(gè)其他抓取工具的問(wèn)題都是無(wú)法解決的,對(duì)seo是極為不好的。

2.平衡流行率的問(wèn)題

在解決您的技術(shù)性SEO問(wèn)題時(shí)，我們還必須平衡嚴(yán)重性與數(shù)量。 不了解你的網(wǎng)站，我會(huì)說(shuō)404錯(cuò)誤可能值得在重復(fù)的內(nèi)容之前解決 -但是如果你有十一個(gè)404和17,843個(gè)重復(fù)的頁(yè)面呢? 你的優(yōu)先事項(xiàng)突然看起來(lái)很不一樣。

我們已經(jīng)為你做了一些seo數(shù)據(jù)分析，通過(guò)問(wèn)題的普遍程度來(lái)加重緊迫性。這需要對(duì)優(yōu)先級(jí)的一些假設(shè)，但如果您的時(shí)間有限，我們希望至少為您提供解決幾個(gè)關(guān)鍵問(wèn)題的快速起點(diǎn)。

3.解決多頁(yè)問(wèn)題

解決高額問(wèn)題的另一個(gè)優(yōu)點(diǎn)是。 在許多情況下，您可以通過(guò)一次修復(fù)來(lái)解決數(shù)百個(gè)(甚至數(shù)千個(gè))頁(yè)面上的問(wèn)題。這是一個(gè)更加戰(zhàn)術(shù)的方法可以為您節(jié)省大量時(shí)間和金錢(qián)的地方。

比方說(shuō)，我想在Moz.com上挖掘916頁(yè)，缺少元描述。 我馬上注意到，其中一些頁(yè)面是博客文章。 所以，可以通過(guò)URL過(guò)濾解決網(wǎng)站抓取問(wèn)題：

我可以很快看到，這些頁(yè)面占我缺少描述的392個(gè)，高達(dá)43%。如果我擔(dān)心這個(gè)問(wèn)題，那么可能我可以通過(guò)一個(gè)相當(dāng)簡(jiǎn)單的CMS頁(yè)面解決它，用幾行代碼擦除數(shù)百個(gè)問(wèn)題。

在不久的將來(lái)，我們希望為您做一些這樣的分析，但如果過(guò)濾不能完成此工作，您還可以將任何問(wèn)題列表導(dǎo)出到CSV。 然后，轉(zhuǎn)動(dòng)和過(guò)濾到你的心臟的內(nèi)容。

4.通過(guò)PA和爬行深度潛入頁(yè)面

如果您不能輕易找到明確的模式，或者如果您已經(jīng)解決了一些重大問(wèn)題，那么下一步呢?一次修復(fù)數(shù)千個(gè)問(wèn)題一個(gè)URL只是值得的，如果你知道這些URL很重要。

幸運(yùn)的是，您現(xiàn)在可以按頁(yè)面權(quán)限(PA)和網(wǎng)站抓取中的抓取深度進(jìn)行排序。PA是我們自己的排名能力的內(nèi)部指標(biāo)(主要由鏈接權(quán)重判斷)，爬網(wǎng)深度是頁(yè)面與主頁(yè)的距離：

在這里，我可以看到我們的MozBar網(wǎng)址中有一個(gè)重定向鏈，這是一個(gè)非常高權(quán)限的頁(yè)面。這可能是一個(gè)值得修復(fù)的問(wèn)題，即使它不是一個(gè)明顯的，更大的組織的一部分。

5.注意網(wǎng)站抓取中出現(xiàn)的突發(fā)問(wèn)題。

最后，隨著時(shí)間的推移，您還需要注意新問(wèn)題，特別是如果網(wǎng)站抓取問(wèn)題同一時(shí)間大量出現(xiàn)的情況。 這可能表明突然和潛在的破壞性變化。網(wǎng)站抓取現(xiàn)在可以輕松跟蹤新問(wèn)題，包括警報(bào)圖標(biāo)，圖表和按類(lèi)別的新問(wèn)題的快速摘要：

任何爬網(wǎng)都會(huì)發(fā)現(xiàn)一些新的頁(yè)面(內(nèi)容機(jī)器永遠(yuǎn)不會(huì)休息)，但是如果您突然看到數(shù)以百計(jì)的單一類(lèi)型的新問(wèn)題，重要的是迅速挖掘，確定沒(méi)有任何問(wèn)題。在一個(gè)好的世界中，SEO團(tuán)隊(duì)總是會(huì)知道其他人和團(tuán)隊(duì)對(duì)網(wǎng)站的改變，但我們都知道這不是一個(gè)好的世界。

當(dāng)您面對(duì)大型網(wǎng)站可能遇到的上千個(gè)潛在問(wèn)題時(shí)，您從哪里開(kāi)始? 這是我們?cè)谥亟ňW(wǎng)站抓取時(shí)嘗試解決的問(wèn)題。答案幾乎完全取決于您的網(wǎng)站，并且可能需要對(duì)其歷史和目標(biāo)的深入了解，但我想概述一個(gè)可以幫助您減少噪音并開(kāi)始使用的seo過(guò)程。

當(dāng)前文章：網(wǎng)站抓取會(huì)遇到的問(wèn)題及解決方法
本文來(lái)源：http://www.muchs.cn/news13/29663.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號(hào)、標(biāo)簽優(yōu)化、網(wǎng)站策劃、外貿(mào)網(wǎng)站建設(shè)、移動(dòng)網(wǎng)站建設(shè)、Google

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)