網(wǎng)站建設(shè)好后如何吸引蜘蛛？

網(wǎng)站建設(shè)好后如何吸引蜘蛛來(lái)爬行？

由昨天講解的可以了解到，雖然理論上蜘蛛能爬行和抓取所有頁(yè)面，但實(shí)際上不能也不會(huì)這么做SEO人員要想讓自己更多頁(yè)面被收錄，就要想方設(shè)法吸引蜘蛛來(lái)抓取。既然不能抓取所有頁(yè)面，蜘蛛所要做的就是盡量抓取重要的頁(yè)面。那些頁(yè)面被認(rèn)為比較重要呢？下面成都網(wǎng)站設(shè)計(jì)--創(chuàng)新互聯(lián)小編就來(lái)和大家說(shuō)說(shuō)有那幾方面的影響因素：

導(dǎo)入鏈接。無(wú)論是外部鏈接還是同一個(gè)網(wǎng)站的內(nèi)部鏈接，要被蜘蛛抓取，就必須有導(dǎo)入鏈接進(jìn)入頁(yè)面，否則蜘蛛根本沒(méi)有機(jī)會(huì)知道頁(yè)面的存在。高質(zhì)量的導(dǎo)入鏈接也經(jīng)常使頁(yè)面上的導(dǎo)出鏈接被爬行深度增加。

與首頁(yè)點(diǎn)擊距離。一般來(lái)說(shuō)完整干旱上權(quán)重高的的首頁(yè)，大部分外部鏈接是指向首頁(yè)的，蜘蛛訪問(wèn)最平凡的也是首頁(yè)。離首頁(yè)點(diǎn)擊距離越近，頁(yè)面權(quán)重高，被蜘蛛爬行的機(jī)會(huì)也就越大。

URL結(jié)構(gòu)。頁(yè)面權(quán)重是在收錄并進(jìn)行   代計(jì)算后才知道的，那么前面說(shuō)的頁(yè)面權(quán)重高有利于被抓取，搜索引擎蜘蛛在抓取前怎么知道這個(gè)頁(yè)面的權(quán)重呢？所以蜘蛛要進(jìn)行預(yù)判，除了鏈接與首頁(yè)距離 歷史數(shù)據(jù)等因數(shù)外，短的層次淺的URL也可能被直觀認(rèn)為在網(wǎng)站上的權(quán)重相對(duì)較高。

地址庫(kù)：為了避免重復(fù)爬行和抓取網(wǎng)址，搜索引擎會(huì)建立一個(gè)地址庫(kù)，記錄已經(jīng)被發(fā)現(xiàn)，但還沒(méi)有抓取的頁(yè)面，以及已經(jīng)被抓取的頁(yè)面。蜘蛛在頁(yè)面上發(fā)現(xiàn)鏈接后并不是馬上就去訪問(wèn)，而是將URL存入地址庫(kù)，然后統(tǒng)一安排抓取。

成都網(wǎng)站設(shè)計(jì)--創(chuàng)新互聯(lián)小編就來(lái)和大家說(shuō)說(shuō)有那幾點(diǎn)地址庫(kù)中URL有幾個(gè)來(lái)源：

1）：人工錄入的種子網(wǎng)站。

2）：蜘蛛抓取頁(yè)面后，從html中解析出新的鏈接URL，與地址庫(kù)中的數(shù)據(jù)進(jìn)行對(duì)比，如果是地址庫(kù)中沒(méi)有的網(wǎng)址，就存入待訪問(wèn)地址庫(kù)。

3）：站長(zhǎng)通過(guò)搜索引擎頁(yè)面提交表格提交進(jìn)來(lái)的網(wǎng)址。

4）：站長(zhǎng)通過(guò)xml網(wǎng)站地圖，站長(zhǎng)平臺(tái)提交的網(wǎng)站。

蜘蛛按重要性從待訪問(wèn)的地址庫(kù)中提取URL，訪問(wèn)并抓取頁(yè)面，然后把這個(gè)URL從待訪問(wèn)地址哭中刪除，放進(jìn)已訪問(wèn)的地址庫(kù)中。大部分主流的搜索引擎都會(huì)提供一個(gè)表格，讓站長(zhǎng)提交網(wǎng)址。不過(guò)這些提交上來(lái)的網(wǎng)址都只是存入地址庫(kù)而已，是否收錄還要看頁(yè)面的重要性如何。搜索引擎所收錄的絕大部分頁(yè)面是蜘蛛自己跟蹤鏈接得到的。可以說(shuō)提交頁(yè)面作用微乎其微，搜索引擎更喜歡自己沿著鏈接發(fā)現(xiàn)新頁(yè)面。

成都網(wǎng)站設(shè)計(jì)--創(chuàng)新互聯(lián)小編就來(lái)和大家說(shuō)說(shuō)文件存儲(chǔ)和爬行時(shí)的復(fù)制內(nèi)容檢測(cè)：搜索引擎蜘蛛抓取的數(shù)據(jù)存入原始頁(yè)面數(shù)據(jù)庫(kù)。其中的頁(yè)面數(shù)據(jù)與用戶瀏覽器得到的html是完全一樣的，每個(gè)URL都有一個(gè)獨(dú)特的文件編號(hào)。

爬行時(shí)的復(fù)制內(nèi)容檢測(cè)：檢測(cè)并刪除復(fù)制內(nèi)容通常是在下面介紹的預(yù)處理過(guò)程中進(jìn)行的。但現(xiàn)在的蜘蛛在爬行和抓取文件時(shí)也會(huì)進(jìn)行一定程度的復(fù)制內(nèi)容檢測(cè)。遇到權(quán)重很底的網(wǎng)站上大量轉(zhuǎn)載或抄襲內(nèi)容時(shí)，很可能不在繼續(xù)爬行。這也就是有的站長(zhǎng)在日志文件中發(fā)現(xiàn)了蜘蛛，但頁(yè)面從來(lái)沒(méi)有被真正收錄過(guò)的原因。

本文名稱：網(wǎng)站建設(shè)好后如何吸引蜘蛛？
文章源于：http://muchs.cn/news4/175154.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供python、Google、虛擬主機(jī)、做網(wǎng)站、靜態(tài)網(wǎng)站、網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)