怎么繞過python反爬蟲獲取租房信息

這篇文章主要介紹了怎么繞過python反爬蟲獲取租房信息，具有一定借鑒價(jià)值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。

創(chuàng)新互聯(lián)專注于中大型企業(yè)的網(wǎng)站制作、網(wǎng)站建設(shè)和網(wǎng)站改版、網(wǎng)站營(yíng)銷服務(wù)，追求商業(yè)策劃與數(shù)據(jù)分析、創(chuàng)意藝術(shù)與技術(shù)開發(fā)的融合，累計(jì)客戶上千家，服務(wù)滿意度達(dá)97%。幫助廣大客戶順利對(duì)接上互聯(lián)網(wǎng)浪潮，準(zhǔn)確優(yōu)選出符合自己需要的互聯(lián)網(wǎng)運(yùn)用，我們將一直專注高端網(wǎng)站設(shè)計(jì)和互聯(lián)網(wǎng)程序開發(fā)，在前進(jìn)的路上，與客戶一起成長(zhǎng)！

python爬蟲試了一下，但是遇到了反爬蟲的阻攔，不過最終還是通過修改代碼解決了。接下來我們就一起看看繞過python反爬蟲獲取租房信息的方法吧。

在有的頁面后面會(huì)出現(xiàn)一段代碼，通過禁用瀏覽器JavaScript發(fā)現(xiàn)每頁其實(shí)初始界面是一段JS代碼，然后跳轉(zhuǎn)至目標(biāo)頁

 

百度了一下這種反爬蟲的繞過措施都是Python加載JS代碼，自己感覺比較麻煩就沒有實(shí)施，但是在查看網(wǎng)頁源代碼時(shí)發(fā)現(xiàn)了下面這段代碼，其目的應(yīng)該是檢測(cè)到移動(dòng)端跳轉(zhuǎn)至移動(dòng)端網(wǎng)頁

 

既然使用了Ajax，抓包抓一下瀏覽時(shí)傳輸?shù)臄?shù)據(jù)就得到了下面的URL

 

上圖黃色畫出的就是每次向下瀏覽加載的頁面，通過修改后面的數(shù)字可以定位不同的頁面，構(gòu)造URL，那么剩下的就是爬取數(shù)據(jù)了，下面貼一下簡(jiǎn)略代碼

import requests
from lxml import etree
import xlwt
import time
 
headers = {
       'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome'
                     '/70.0.3538.110 Safari/537.36'
}
all_info_list = []
 
 
def get_photo(url):
    res = requests.get(url, headers=headers)
    selector = etree.HTML(res.text)
    divs = selector.xpath('//div[@class="list_con"]')
    for div in divs:
        names = div.xpath('div[2]/h4/text()')[0].strip()
        types = div.xpath('div[2]/p[1]/text()[1]')[0]
        area = div.xpath('div[2]/p[1]/text()[2]')[0]
        direction = div.xpath('div[2]/p[1]/text()[3]')[0]
        price = div.xpath('div[2]/div/p/text()')[0]
        info_list = [names, types, area, direction, price]
        all_info_list.append(info_list)
    time.sleep(1)
 
 
if __name__=='__main__':
    urls = ['https://m.5i5j.com/bj/zufang/index-_%E6%9C%9B%E4%BA%AC/n{}'.format(str(i)) for i in range(1,4)]
    for url in urls:
        get_photo(url)
    xls_header = ['地點(diǎn)', '戶型', '面積', '朝向', '價(jià)格']
 
    book = xlwt.Workbook(encoding='utf-8')
    sheet = book.add_sheet('5i5j')
    for h in range(len(xls_header)):
        sheet.write(0,h,xls_header[h])
    i = 1
    for list in all_info_list:
        j = 0
        for data in list:
            sheet.write(i, j, data)
            j += 1
        i += 1
    book.save('5i5j.xls')

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享怎么繞過python反爬蟲獲取租房信息內(nèi)容對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，遇到問題就找創(chuàng)新互聯(lián)，詳細(xì)的解決方法等著你來學(xué)習(xí)!

當(dāng)前題目：怎么繞過python反爬蟲獲取租房信息
網(wǎng)站鏈接：http://www.muchs.cn/article46/pgdieg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、網(wǎng)站排名、網(wǎng)站維護(hù)、做網(wǎng)站、用戶體驗(yàn)、App開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)