怎么在python爬蟲中利用url管理器實(shí)現(xiàn)一個(gè)去重功能-創(chuàng)新互聯(lián)

這篇文章將為大家詳細(xì)講解有關(guān)怎么在python爬蟲中利用url管理器實(shí)現(xiàn)一個(gè)去重功能，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

創(chuàng)新互聯(lián)公司專注于企業(yè)全網(wǎng)整合營銷推廣、網(wǎng)站重做改版、金臺(tái)網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5技術(shù)、商城網(wǎng)站定制開發(fā)、集團(tuán)公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站制作、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為金臺(tái)等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

URL管理器到底應(yīng)該具有哪些功能？

• URL下載器應(yīng)該包含兩個(gè)倉庫，分別存放沒有爬取過的鏈接和已經(jīng)爬取過的鏈接。

• 應(yīng)該有一些函數(shù)負(fù)責(zé)往上述兩個(gè)倉庫里添加鏈接

• 應(yīng)該有一個(gè)函數(shù)負(fù)責(zé)從新url倉庫中隨機(jī)取出一條鏈接以便下載器爬取

• URL下載器應(yīng)該能識(shí)別重復(fù)的鏈接，已經(jīng)爬取過的鏈接就不需要放進(jìn)倉庫了

如果一個(gè)URL管理器能夠具有以上4點(diǎn)功能，也算是“麻雀雖小，五臟俱全”了。然而，鏈接去重這個(gè)功能，應(yīng)該怎么實(shí)現(xiàn)？

鏈接去重是關(guān)系爬蟲效率的一個(gè)比較關(guān)鍵的點(diǎn)，尤其是爬取的數(shù)據(jù)量極大的時(shí)候。在這個(gè)簡單的例子里，由于數(shù)據(jù)量較少，我們不需要太過復(fù)雜的算法，直接借助于python的set()函數(shù)即可，該函數(shù)可以生成一個(gè)集合對(duì)象，其元素不可重復(fù)。

根據(jù)以上分析，URL管理器的w代碼如下：

'''
UrlManager
class UrlManager(object):
  def __init__(self):
    #初始化的時(shí)候就生成兩個(gè)url倉庫
    self.new_urls = set()
    self.old_urls = set()
  #判斷新url倉庫中是否還有沒有爬取的url
  def has_new_url(self):
    return len(self.new_urls)
  #從new_url倉庫獲取一個(gè)新的url
  def get_new_url(self):
    return self.new_urls.pop()
  def add_new_url(self, url):  #這個(gè)函數(shù)后來用不到了……
    '''
    將一條url添加到new_urls倉庫中
    parm url: str
    return:
    if url is None:
      return
    #只需要判斷old_urls中沒有該鏈接即可，new_urls在添加的時(shí)候會(huì)自動(dòng)去重
    if url not in self.old_urls:
      self.new_urls.add(url)
  def add_new_urls(self, urls):
    將多條url添加到new_urls倉庫中
    parm url: 可迭代對(duì)象
    print "start add_new_urls"
    if urls is None or len(urls) == 0:
    for url in urls:
      self.add_new_url(url)
  def add_old_url(self, url):
    self.old_urls.add(url)
    print "add old url succefully"
  #獲取已經(jīng)爬取過的url的數(shù)目
  def old_url_size(self):
    return len(self.old_urls)

關(guān)于怎么在python爬蟲中利用url管理器實(shí)現(xiàn)一個(gè)去重功能就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

網(wǎng)站題目：怎么在python爬蟲中利用url管理器實(shí)現(xiàn)一個(gè)去重功能-創(chuàng)新互聯(lián)
本文地址：http://www.muchs.cn/article18/dodidp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供做網(wǎng)站、定制開發(fā)、網(wǎng)站策劃、網(wǎng)站設(shè)計(jì)、云服務(wù)器、網(wǎng)站導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)