如何用Node寫(xiě)頁(yè)面爬蟲(chóng)的工具集-創(chuàng)新互聯(lián)

最近做了幾個(gè)寫(xiě)爬蟲(chóng)的小項(xiàng)目（從頁(yè)面端到APP端的都有），在網(wǎng)上搜尋了一番好用的爬蟲(chóng)工具，做了個(gè)工具集整理：

創(chuàng)新互聯(lián)建站基于成都重慶香港及美國(guó)等地區(qū)分布式IDC機(jī)房數(shù)據(jù)中心構(gòu)建的電信大帶寬，聯(lián)通大帶寬，移動(dòng)大帶寬，多線BGP大帶寬租用,是為眾多客戶(hù)提供專(zhuān)業(yè)達(dá)州服務(wù)器托管報(bào)價(jià)，主機(jī)托管價(jià)格性?xún)r(jià)比高，為金融證券行業(yè)服務(wù)器托管，ai人工智能服務(wù)器托管提供bgp線路100M獨(dú)享，G口帶寬及機(jī)柜租用的專(zhuān)業(yè)成都idc公司。

Puppeteer

簡(jiǎn)介

Puppeteer 是一個(gè)Node庫(kù)，它提供了一個(gè)高級(jí) API 來(lái)通過(guò) DevTools協(xié)議控制Chromium或Chrome。簡(jiǎn)單點(diǎn)說(shuō)，就是使用Node命令控制一個(gè)無(wú)需渲染至用戶(hù)界面的瀏覽器。

與使用 PhantomJS 搭配 Python 進(jìn)行爬蟲(chóng)抓取類(lèi)似，其原理也是去完全地模擬一個(gè)瀏覽器進(jìn)行頁(yè)面的渲染，從而抓取其中某些特定的內(nèi)容。

特性

Puppeteer 可以完整地模擬一個(gè)瀏覽器的行為，并且可以進(jìn)行截圖、攔截瀏覽器請(qǐng)求、獲取Cookie、通過(guò)Node注入JS代碼等操作，使用Chrome瀏覽器開(kāi)發(fā)者工具能做到的，Puppeteer也能做到。

使用起來(lái)也十分的簡(jiǎn)單，以下是官方的例子：

const puppeteer = require('puppeteer');

(async () => {
 const browser = await puppeteer.launch();
 const page = await browser.newPage();
 await page.goto('https://example.com');
 await page.screenshot({path: 'example.png'});

 await browser.close();
})();

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性?xún)r(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿(mǎn)足用戶(hù)豐富、多元化的應(yīng)用場(chǎng)景需求。

分享題目：如何用Node寫(xiě)頁(yè)面爬蟲(chóng)的工具集-創(chuàng)新互聯(lián)
網(wǎng)站鏈接：http://muchs.cn/article30/dpedso.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App開(kāi)發(fā)、網(wǎng)站改版、動(dòng)態(tài)網(wǎng)站、定制開(kāi)發(fā)、企業(yè)網(wǎng)站制作、Google

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)