如何實現網址池URLPool
今天就跟大家聊聊有關如何實現網址池URL Pool，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據這篇文章可以有所收獲。
專注于為中小企業(yè)提供成都網站設計、網站制作服務,電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)漳浦免費做網站提供優(yōu)質的服務。我們立足成都，凝聚了一批互聯(lián)網行業(yè)人才，有力地推動了近1000家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網站建設實現規(guī)模擴充和轉變。
對于比較大型的爬蟲來說，URL管理的管理是個核心問題，管理不好，就可能重復下載，也可能遺漏下載。這里，我們設計一個URL池來管理URL。
這個URL池就是一個生產者 - 消費者模式：
生產者 - 消費者流程圖
依葫蘆畫瓢，URLPool就是這樣的
設計的網絡爬蟲URLPool
我們從網址池的使用目的出發(fā)來設計網址池的接口，它應該具有以下功能：
往池子里面添加URL;
從池子里面取URL以下載;
池子內部要管理URL狀態(tài);
前面我提到的網址的狀態(tài)有以下4中：
已經下載成功
下載多次失敗無需再下載
正在下載
下載失敗要再次嘗試
前兩個是永久狀態(tài)，也就是已經下載成功的不再下載，多次嘗試后仍失敗的也就不再下載，它們需要永久存儲起來，以便爬蟲重啟后，這種永久狀態(tài)記錄不會消失，已經成功下載的網址不再被重復下載永久存儲的方法有很多種：
比如，直接寫入文本文件，但它不利于查找某個URL是否已經存在文本中;
比如，直接寫入的MySQL等關系型數據庫，它利用查找，但是速度又比較慢，
比如，使用鍵值數據庫，查找和速度都符合要求，是不錯的選擇！
我們這個URL池選用LevelDB來作為URL狀態(tài)的永久存儲.LevelDB是谷歌開源的一個鍵值數據庫，速度非?？欤瑫r自動壓縮數據。我們用它先來實現一個UrlDB作為永久存儲數據庫。
UrlDB的實現
import leveldb
class UrlDB:
'''Use LevelDB to store URLs what have been done(succeed or faile)
'''
status_failure = b'0'
status_success = b'1'
def __init__(self, db_name):
self.name = db_name + '.urldb'
self.db = leveldb.LevelDB(self.name)
def load_from_db(self, status):
urls = []
for url, _status in self.db.RangeIter():
if status == _status:
urls.append(url)
return urls
def set_success(self, url):
if isinstance(url, str):
url = url.encode('utf8')
try:
self.db.Put(url, self.state_success)
s = True
except:
s = False
return s
def set_failure(self, url):
if isinstance(url, str):
url = url.encode('utf8')
try:
self.db.Put(url, self.status_failure)
s = True
except:
s = False
return s
def has(self, url):
if isinstance(url, str):
url = url.encode('utf8')
try:
attr = self.db.Get(url)
return attr
except:
pass
return FalseUrlDB將被UrlPool使用，主要有三個方法被使用：
has（url）查看是否已經存在某url
set_success（url）存儲url狀態(tài)為成功
set_failure（url）存儲url狀態(tài)為失敗
UrlPool的實現
而正在下載和下載失敗次數這兩個URL的狀態(tài)只需暫時保存在內容即可，我們把它們放到UrlPool這個類中進行管理接著我們來實現網址池：
#Author: veelion
import pickle
import leveldb
import time
import urllib.parse as urlparse
class UrlPool:
'''URL Pool for crawler to manage URLs
'''
def __init__(self, pool_name):
self.name = pool_name
self.db = UrlDB(pool_name)
self.pool = {} # host: set([urls]), 記錄待下載URL
self.pending = {} # url: pended_time, 記錄已被pend但還未被更新狀態(tài)（正在下載）的URL
self.failure = {} # url: times, 記錄失敗的URL的次數
self.failure_threshold = 3
self.pending_threshold = 60 # pending的最大時間，過期要重新下載
self.in_mem_count = 0
self.max_hosts = ['', 0] # [host: url_count] 目前pool中url最多的host及其url數量
self.hub_pool = {} # {url: last_query_time}
self.hub_refresh_span = 0
self.load_cache()
def load_cache(self,):
path = self.name + '.pkl'
try:
with open(path, 'rb') as f:
self.pool = pickle.load(f)
cc = [len(v) for k, v in self.pool]
print('saved pool loaded! urls:', sum(cc))
except:
pass
def set_hubs(self, urls, hub_refresh_span):
self.hub_refresh_span = hub_refresh_span
self.hub_pool = {}
for url in urls:
self.hub_pool[url] = 0
def set_status(self, url, status_code):
if url in self.pending:
self.pending.pop(url)
if status_code == 200:
self.db.set_success(url)
return
if status_code == 404:
self.db.set_failure(url)
return
if url in self.failure:
self.failure[url] += 1
if self.failure[url] > self.failure_threshold:
self.db.set_failure(url)
self.failure.pop(url)
else:
self.add(url)
else:
self.failure[url] = 1
def push_to_pool(self, url):
host = urlparse.urlparse(url).netloc
if not host or '.' not in host:
print('try to push_to_pool with bad url:', url, ', len of ur:', len(url))
return False
if host in self.pool:
if url in self.pool[host]:
return True
self.pool[host].add(url)
if len(self.pool[host]) > self.max_hosts[1]:
self.max_hosts[1] = len(self.pool[host])
self.max_hosts[0] = host
else:
self.pool[host] = set([url])
self.in_mem_count += 1
return True
def add(self, url, always):
if always:
return self.push_to_pool(url)
pended_time = self.pending.get(url, 0)
if time.time() - pended_time < self.pending_threshold:
print('being downloading:', url)
return
if self.db.has(url):
return
if pended_time:
self.pending.pop(url)
return self.push_to_pool(url)
def addmany(self, urls, always=False):
if isinstance(urls, str):
print('urls is a str !!!!', urls)
self.add(urls, always)
else:
for url in urls:
self.add(url, always)
def pop(self, count, hubpercent=50):
print('\n\tmax of host:', self.max_hosts)
# 取出的url有兩種類型：hub=1, 普通=2
url_attr_url = 0
url_attr_hub = 1
# 1\. 首先取出hub，保證獲取hub里面的最新url.
hubs = {}
hub_count = count * hubpercent // 100
for hub in self.hub_pool:
span = time.time() - self.hub_pool[hub]
if span < self.hub_refresh_span:
continue
hubs[hub] = url_attr_hub # 1 means hub-url
self.hub_pool[hub] = time.time()
if len(hubs) >= hub_count:
break
# 2\. 再取出普通url
# 如果某個host有太多url，則每次可以取出3（delta）個它的url
if self.max_hosts[1] * 10 > self.in_mem_count:
delta = 3
print('\tset delta:', delta, ', max of host:', self.max_hosts)
else:
delta = 1
left_count = count - len(hubs)
urls = {}
for host in self.pool:
if not self.pool[host]:
# empty_host.append(host)
continue
if self.max_hosts[0] == host:
while delta > 0:
url = self.pool[host].pop()
self.max_hosts[1] -= 1
if not self.pool[host]:
break
delta -= 1
else:
url = self.pool[host].pop()
urls[url] = url_attr_url
self.pending[url] = time.time()
if len(urls) >= left_count:
break
self.in_mem_count -= len(urls)
print('To pop:%s, hubs: %s, urls: %s, hosts:%s' % (count, len(hubs), len(urls), len(self.pool)))
urls.update(hubs)
return urls
def size(self,):
return self.in_mem_count
def empty(self,):
return self.in_mem_count == 0
def __del__(self):
path = self.name + '.pkl'
try:
with open(path, 'wb') as f:
pickle.dump(self.pool, f)
print('self.pool saved!')
except:
passUrlPool的實現有些復雜，且聽我一一分解。
UrlPool的使用
先看看它的主要成員及其用途：
self.db是一個UrlDB的示例，用來永久存儲url的永久狀態(tài)
self.pool是用來存放url的，它是一個字典（dict）結構，key是url的主機，值是一個用來存儲這個主機的所有url的集合（set）。
self.pending用來管理正在下載的url狀態(tài)。它是一個字典結構，key是url，value是它被pop的時間戳。當一個url被pop（）時，就是它被下載的開始。當該url被set_status（）時，就是下載結束的時刻。如果一個url被添加（）入池時，發(fā)現它已經被套的時間超過pending_threshold時，就可以再次入庫等待被下載。否則，暫不入池。
self.failue是一個字典，key是url，value是識別的次數，超過failure_threshold就會被永久記錄為失敗，不再嘗試下載。
hub_pool是一個用來存儲hub page面的字典，key是hub url，value是上次刷新該hub頁面的時間。
以上成員就構成了我們這個網址池的數據結構，再通過以下成員方法對這個網址池進行操作：
1. load_cache（）和dump_cache（）對網址池進行緩存
load_cache（）在init（）中調用，創(chuàng)建池的時候，嘗試去加載上次退出時緩存的URL池;
dump_cache（）在del（）中調用，也就是在網址池銷毀前（比如爬蟲意外退出），把內存中的URL pool緩存到硬盤。
這里使用了pickle模塊，這是一個把內存數據序列化到硬盤的工具。
** 2. set_hubs（）方法設置hub URL **
hub網頁就是像百度新聞那樣的頁面，整個頁面都是新聞的標題和鏈接，是我們真正需要的新聞的聚合頁面，并且這樣的頁面會不斷更新，把最新的新聞聚合到這樣的頁面，我們稱它們?yōu)閔ub頁面，其URL就是hub url。在新聞爬蟲中添加大量的這樣的url，有助于爬蟲及時發(fā)現并抓取最新的新聞。
該方法就是將這樣的hub url列表傳給網址池，在爬蟲從池中取URL時，根據時間間隔（self.hub_refresh_span）來取集樞紐網址。
** 3. add（），addmany（），push_to_pool（）對網址池進行入池操作**
把url放入網址池時，先檢查內存中的self.pending是否存在該url，即是否正在下載該。網址如果正在下載就不入池;如果正下載或已經超時，就進行到下一步;
接著檢查該網址是否已經在性LevelDB中存在，存在就表明之前已經成功下載或徹底失敗，不再下載了也不入池。如果沒有則進行到下一步;
最后通過push_to_pool（）把url放入self.pool中。存放的規(guī)則是，按照url的主機進行分類，相同主機的url放到一起，在取出時 -個主取一個url，盡量保證每次取出的一批url都是指向不同的服務器的，這樣做的目的也是為了盡量減少對抓取目標服務器的請求壓力。力爭做一個服務器友好的爬蟲O（∩∩ _∩）O
4. pop（）對網址池進行出池操作
爬蟲通過該方法，從網址池中獲取一批url去下載。取出url分兩步：
第一步，先從self.hub_pool中獲得，方法是遍歷hub_pool，檢查每個集線器-URL距上次被彈出的時間間隔是否超過轂頁面刷新間隔（self.hub_refresh_span），來決定轂-URL是否應該被彈出。
第二步，從self.pool中獲取。前面push_to_pool中，介紹了流行的原則，就是每次取出的一批URL都是指向不同服務器的，有了self.pool的特殊數據結構，安裝這個原則獲取網址就簡單了，按主機（自我.pool的鍵）遍歷self.pool即可。
5. set_status（）方法設置網址池中url的狀態(tài)
其參數status_code是http響應的狀態(tài)碼。爬蟲在下載完URL后進行url狀態(tài)設置。
首先，把該url成self.pending中刪除，已經下載完畢，不再是未決狀態(tài);
接著，根據STATUS_CODE來設置URL狀態(tài)，200和404的直接設置為永久狀態(tài);其它狀態(tài)就記錄失敗次數，并再次入池進行后續(xù)下載嘗試。
通過以上成員變量和方法，我們把這個網址池（UrlPool）解析的清清楚楚。小猿們可以毫不客氣的收藏起來，今后在寫爬蟲時可以用它方便的管理URL，并且這個實現只有一個PY文件，方便加入到任何項目中。
爬蟲知識點
1.網址的管理
網址的管理，其目的就是為了：不重抓，不漏抓。
2. pickle模塊
把內存數據保存到硬盤，再把硬盤數據重新加載到內存，這是很多程序停止和啟動的必要步驟.pickle就是實現數據在內存和硬盤之間轉移的模塊。
3. leveldb模塊
這是一個經典且強大的硬盤型key-value數據庫，非常適合url-status這種結構的存儲。
4. urllib.parse
解析網址的模塊，在處理url時首先想到的模塊就應該是它。
看完上述內容，你們對如何實現網址池URL Pool有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。
文章名稱：如何實現網址池URLPool
當前鏈接：http://muchs.cn/article40/ihieho.html
成都網站建設公司_創(chuàng)新互聯(lián)，為您提供品牌網站設計、定制網站、軟件開發(fā)、網頁設計公司、移動網站建設、品牌網站制作
聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)
- 網站代碼優(yōu)化的策略 2013-12-05
- 企業(yè)在網絡營銷過程中的相應技巧集錦 2022-08-18
- 醫(yī)院分類信息發(fā)布及編輯規(guī)范 2021-08-20
- 如何提升網站內頁長尾關鍵詞的排名？ 2023-11-13
- 如何進行商務推廣公司的產品？？ 2022-11-11
- 營銷型網站建設公司的類型及建站的好處 2023-06-10
- 創(chuàng)作符合馬鞍山SEO優(yōu)化的高質量文章 2023-10-08
- 【網絡推廣】網站數據流量分析是網站推廣每天必做工作之一 2022-03-20
- 美國Linux主機的優(yōu)勢與局限 2023-12-08
- 建站技術不在手 技術在心中 2016-11-01
- 淺析建網站容易忽略的問題 2016-10-13
- 網站不收錄的原因有哪些？如何處理不收錄的問題？ 2023-07-07