node實現(xiàn)的爬蟲功能示例

本文實例講述了node實現(xiàn)的爬蟲功能。分享給大家供大家參考，具體如下：

站在用戶的角度思考問題，與客戶深入溝通，找到郊區(qū)網(wǎng)站設(shè)計與郊區(qū)網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗，讓設(shè)計與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個性化、用戶體驗好的作品，建站類型包括：網(wǎng)站設(shè)計制作、網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣、申請域名、網(wǎng)站空間、企業(yè)郵箱。業(yè)務(wù)覆蓋郊區(qū)地區(qū)。

node是服務(wù)器端的語言，所以可以像python一樣對網(wǎng)站進行爬取，下面就使用node對博客園進行爬取，得到其中所有的章節(jié)信息。

第一步：建立crawl文件，然后npm init。

第二步：建立crawl.js文件，一個簡單的爬取整個頁面的代碼如下所示：

var http = require("http");
var url = "http://www.cnblogs.com";
http.get(url, function (res) {
  var html = "";
  res.on("data", function (data) {
    html += data;
  });
  res.on("end", function () {
    console.log(html);
  });
}).on("error", function () {
  console.log("獲取課程結(jié)果錯誤！");
});

即引入http模塊，然后利用http對象的get請求，即一旦運行，相當(dāng)于node服務(wù)器端發(fā)送了一個get請求請求這個頁面，然后通過res返回，其中on綁定data事件用來不斷地接受數(shù)據(jù)，最后end時我們就在后臺打印出來。

這只是整個頁面的一部分，我們可以在此頁面審查元素，發(fā)現(xiàn)確實是一樣的

我們只需要將其中的章節(jié)title和每一小節(jié)的信息爬到即可。

第三步：引入cheerio模塊，如下：（在gitbash中安裝即可，cmd總是出問題）

cnpm install cheerio --save-dev

這個模塊的引入，就是為了方便我們操作dom，就像jQuery一樣。

第四步：操作dom，獲取有用信息。

var http = require("http");
var cheerio = require("cheerio");
var url = "http://www.cnblogs.com";
function filterData(html) {
  var $ = cheerio.load(html); 
  var items = $(".post_item");
  var result = [];
  items.each(function (item) {
    var tit = $(this).find(".titlelnk").text();
    var aut = $(this).find(".lightblue").text();
    var one = {
      title: tit,
      author: aut
    };
    result.push(one);
  });
  return result;
}
function printInfos(allInfos) {
  allInfos.forEach(function (item) {
    console.log("文章題目 " + item["title"] + '\n' + "文章作者 " + item["author"] + '\n'+ '\n');
  });
}
http.get(url, function (res) {
  var html = "";
  res.on("data", function (data) {
    html += data;
  });
  res.on("end", function (data) {
    var allInfos = filterData(html);
    printInfos(allInfos);
  });
}).on("error", function () {
  console.log("爬取博客園首頁失敗")
});

即上面的過程就是在爬取博客的題目和作者。

最終后臺輸出如下：

這和博客園首頁的內(nèi)容是一致的：

希望本文所述對大家nodejs程序設(shè)計有所幫助。

網(wǎng)站名稱：node實現(xiàn)的爬蟲功能示例
轉(zhuǎn)載源于：http://muchs.cn/article4/pdghoe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、網(wǎng)站維護、微信公眾號、定制網(wǎng)站、用戶體驗、外貿(mào)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)