這篇文章主要介紹如何實(shí)現(xiàn)node.js基于cheerio的爬蟲工具,文中介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們一定要看完!
網(wǎng)站建設(shè)哪家好,找創(chuàng)新互聯(lián)公司!專注于網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、小程序設(shè)計(jì)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了通城免費(fèi)建站歡迎大家使用!
先上代碼
'use strict'; // 引入模塊 const superagent = require('superagent'); const cheerio = require('cheerio'); const Excel = require('exceljs'); var baseUrl = ''; var Cookies = 'PHPSESSID=1c948cafb361cb5dce87122846e649cd'; //偽裝的cookie let pageDatas = []; let count = 1; let limit = 3; for (count; count < limit; count++) { baseUrl = `http://bxjd.henoo.com/policy/policyList?page=${count}`; loadPage(baseUrl); } function loadPage(baseUrl) { getPageLoad(baseUrl); } async function getPageLoad(baseUrl) { try { let body = await superagent.get(baseUrl) .set("Cookie", Cookies) var $ = cheerio.load(body.text); var trList = $("#tableList").children("tr"); for (var i = 0; i < trList.length; i++) { let item = {}; var tdArr = trList.eq(i).find("td"); var id = tdArr.eq(0).text(); item.sortId = id; var detailUrl = `http://bxjd.henoo.com/policy/view?id=${id}`; item.policyId = tdArr.eq(1).text(); item.policyProductName = tdArr.eq(2).text(); item.policyName = tdArr.eq(3).text(); item.policyMoney = tdArr.eq(4).text(); let detailBody = await superagent.get(detailUrl) .set("Cookie", Cookies); var $$ = cheerio.load(detailBody.text); var detailT = $$(".table-view"); //投保人證件號 item.policyIdNum = detailT.find("tr").eq(11).find("td").eq(1).text(); //投保人手機(jī)號 item.policyPhone = detailT.find("tr").eq(10).find("td").eq(1).text(); //被保人手機(jī)號 item.bePoliciedPhone = detailT.find("tr").eq(16).find("td").eq(1).text(); //被保人姓名 item.bePoliciedName = detailT.find("tr").eq(13).find("td").eq(1).text(); console.log(item.bePoliciedName) //被保人證件號 item.bePoliciedIdNum = detailT.find("tr").eq(17).find("td").eq(1).text(); pageDatas = [...pageDatas,item]; } if (pageDatas.length / 15 == (count - 1)) { writeXLS(pageDatas) } } catch (error) { } } function writeXLS(pageDatas) { const workbook = new Excel.Workbook(); const sheet = workbook.addWorksheet('My Sheet'); const reColumns=[ {header:'序號',key:'sortId'}, {header:'投保單號',key:'policyId'}, {header: '產(chǎn)品名稱', key: 'policyProductName'}, {header: '投保人姓名', key: 'policyName' }, {header: '投保人手機(jī)號', key: 'policyPhone' }, {header: '投保人證件號', key: 'policyIdNum'}, {header: '被保人姓名', key: 'bePoliciedName' }, {header: '被保人手機(jī)號', key: 'bePoliciedPhone' }, {header: '被保人證件號', key: 'bePoliciedIdNum' }, {header:'保費(fèi)',key:'policyMoney'}, ]; sheet.columns = reColumns; for(let trData of pageDatas){ sheet.addRow(trData); } const filename = './projects.xlsx'; workbook.xlsx.writeFile(filename) .then(function() { console.log('ok'); }).catch(function (error) { console.error(error); }); }
代碼使用方式
一、npm install
相關(guān)的依賴二、代碼修改
1、修改為自己的baseUrl
2、如果不需要攜帶cookie時(shí)將set("Cookie", Cookies)
代碼去掉
3、修改自己的業(yè)務(wù)代碼
三、運(yùn)行 node index四、部分代碼說明
所有代碼不過90行不到,操作了表格數(shù)據(jù)獲取和單條數(shù)據(jù)詳情的獲取
接口請求的框架使用superagent的原因是拼接偽裝的cookie的操作比較簡單。因?yàn)橛械臅r(shí)候我們需要獲取登錄后的頁面數(shù)據(jù)。
這個(gè)時(shí)候可能需要請求是攜帶登錄cookie信息。返回后的body對象通過cheerio.load之后就能拿到一個(gè)類似jquery的文檔對象。
后面就可以很方便的使用jquery的dom操作方式去拿到頁面內(nèi)自己想要的數(shù)據(jù)了。
數(shù)據(jù)寫入到excel中。
五、結(jié)果
以上是“如何實(shí)現(xiàn)node.js基于cheerio的爬蟲工具”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對大家有幫助,更多相關(guān)知識,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!
分享標(biāo)題:如何實(shí)現(xiàn)node.js基于cheerio的爬蟲工具
URL網(wǎng)址:http://muchs.cn/article40/gedeeo.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供企業(yè)網(wǎng)站制作、關(guān)鍵詞優(yōu)化、App開發(fā)、響應(yīng)式網(wǎng)站、網(wǎng)站內(nèi)鏈、網(wǎng)站設(shè)計(jì)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)