網(wǎng)頁抓取優(yōu)先策略

網(wǎng)頁抓取優(yōu)先策略也稱為“頁面選擇問題”(page Selection),通常是盡可能地首先抓取重要性的網(wǎng)頁，這樣保證在有限的資源內盡可能地照顧到那些重要性高的網(wǎng)頁。那么哪些網(wǎng)頁才是重要性高的呢？如何量化重要性呢？

重要性度量由鏈接歡迎度、鏈接重要度和平均鏈接深度這個方面決定。

定義鏈接歡迎度為IB(p)，它主要由反向鏈接(Backinks)的數(shù)目和質量決定。首先考察數(shù)目，直觀地講，一個網(wǎng)頁有越多的鏈接指向它（反向鏈接數(shù)多），那么表示其他網(wǎng)頁對其的認可。同時這個網(wǎng)頁被網(wǎng)民訪問的機會就大，推測出其重要性也就越高;其次考察質量，如果被越多的重要性高的網(wǎng)指向，那么其重要性也就越高。如果不考慮質量，就會出現(xiàn)局部最優(yōu)，而不是全局最優(yōu)的問題。最典型的就是作弊網(wǎng)頁，人為地在一些網(wǎng)頁中設置了大量反策鏈接指向其自身的網(wǎng)頁，以提高該網(wǎng)頁的重要性。如果不考慮鏈接質量，就會被這些作弊者所利用。

定義鏈接重要度為IL(p)，它是一個關于URL字符串的函數(shù)，僅僅考察字符串本身。鏈接重要度主要通過一些模式，比如認為包含“.COM”或者“HOME”的URL重要度高，以及具有較少斜杠(Slash)的URL重要度高等。

定義平均鏈接深度為ID(p),此為筆者所創(chuàng)。ID(p)表示在一個種子站點集合中，每個種子站點如果存在一條鏈路（寬度優(yōu)先遍歷規(guī)則）到達該網(wǎng)頁，那么平均鏈接深度就是這個網(wǎng)頁的又一個重要性指標。因為距離種子站點越近，說明被訪問的機會越多，離種子站點越遠，重要性越低。事實上，按照寬度優(yōu)先的遍歷規(guī)則即可滿足這種重要性高的網(wǎng)頁被優(yōu)先抓取的需要。

最后，定義網(wǎng)頁重要性的度量為I(p)，它由以上兩個量化值線性決定，即：

I(p)＝a*IB(p)+β*IL(p)

平均鏈接深度同寬度優(yōu)先的遍歷規(guī)則保證，因此不作為重要性評價的指標。在抓取能力有限的情況下，如果能夠把重要性高的網(wǎng)頁盡可能地抓完，是合理科學的，最終被用戶查詢到的網(wǎng)頁也往往是那些重要性高的網(wǎng)頁。

盡管這樣看來已經(jīng)足夠好，事實上，還是忽視了一個重要的要素－－時間。時間導致萬維網(wǎng)動態(tài)變化的一面。如何抓取那些新增的網(wǎng)頁呢？如何重訪那些被修改了的網(wǎng)頁呢？如何發(fā)現(xiàn)那些被刪除了的網(wǎng)頁呢？為了保持和萬維網(wǎng)網(wǎng)頁的同步變化，就必須有網(wǎng)頁重訪策略。通過該策略可以識別增加、修改及刪除網(wǎng)頁這3種網(wǎng)頁變化的情況。

文章題目：網(wǎng)頁抓取優(yōu)先策略
分享網(wǎng)址：http://www.muchs.cn/news1/183451.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供微信公眾號、品牌網(wǎng)站建設、服務器托管、做網(wǎng)站、商城網(wǎng)站、面包屑導航

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)