python爬蟲(chóng)中如何爬取新聞

這篇文章主要介紹了python爬蟲(chóng)中如何爬取新聞，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

站在用戶(hù)的角度思考問(wèn)題，與客戶(hù)深入溝通，找到崇川網(wǎng)站設(shè)計(jì)與崇川網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶(hù)體驗(yàn)好的作品，建站類(lèi)型包括：做網(wǎng)站、網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、主機(jī)域名、網(wǎng)站空間、企業(yè)郵箱。業(yè)務(wù)覆蓋崇川地區(qū)。

python的五大特點(diǎn)是什么

python的五大特點(diǎn)：1.簡(jiǎn)單易學(xué)，開(kāi)發(fā)程序時(shí)，專(zhuān)注的是解決問(wèn)題,而不是搞明白語(yǔ)言本身。2.面向?qū)ο螅c其他主要的語(yǔ)言如C++和Java相比, Python以一種非常強(qiáng)大又簡(jiǎn)單的方式實(shí)現(xiàn)面向?qū)ο缶幊獭?.可移植性，Python程序無(wú)需修改就可以在各種平臺(tái)上運(yùn)行。4.解釋性，Python語(yǔ)言寫(xiě)的程序不需要編譯成二進(jìn)制代碼,可以直接從源代碼運(yùn)行程序。5.開(kāi)源，Python是 FLOSS(自由/開(kāi)放源碼軟件)之一。

1、爬蟲(chóng)思路：

定義編碼形式并引入模塊；

請(qǐng)求新聞網(wǎng)站URL，獲取其text文本并解析；

通過(guò)select選擇器定位解析文件指定的元素，返回一個(gè)列表并遍歷；

獲取相關(guān)內(nèi)容。

2、具體實(shí)現(xiàn)

第一步：使用UTF-8編碼形式定義文件（避免一些編碼錯(cuò)誤導(dǎo)致中文亂碼），并引入相關(guān)模塊。

# coding:utf-8
# 引入相關(guān)模塊
import requests
from bs4 import BeautifulSoup
url = "http://news.qq.com/"

第二步：請(qǐng)求新聞網(wǎng)站URL，獲取其text文本

wbdata = requests.get(url).text

第三步：解析獲取到的文本

soup = BeautifulSoup(wbdata,'lxml')

第四步：通過(guò)select選擇器定位解析文件指定的元素，返回一個(gè)列表

從解析文件中通過(guò)select選擇器定位指定的元素，返回一個(gè)列表
news_titles = soup.select("div.text > em.f14 > a.linkto")

第五步：遍歷返回的列表

for n in news_titles:

第六步：獲取新聞標(biāo)題及信息

 # 提取出標(biāo)題和鏈接信息
    title = n.get_text()
    link = n.get("href")
    data = {
        '標(biāo)題':title,
        '鏈接':link
    }
    print(data)

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“python爬蟲(chóng)中如何爬取新聞”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!

文章題目：python爬蟲(chóng)中如何爬取新聞
分享鏈接：http://muchs.cn/article34/jpgdse.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號(hào)、網(wǎng)站改版、網(wǎng)站營(yíng)銷(xiāo)、網(wǎng)站制作、面包屑導(dǎo)航、

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)