基于curl數據采集之單頁面并行采集函數get_htmls怎么用-創(chuàng)新互聯

這篇文章主要介紹了基于curl數據采集之單頁面并行采集函數get_htmls怎么用，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

成都創(chuàng)新互聯公司-專業(yè)網站定制、快速模板網站建設、高性價比順昌網站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式順昌網站制作公司更省心,省錢,快速模板網站建設找我們，業(yè)務覆蓋順昌地區(qū)。費用合理售后完善，十多年實體公司更值得信賴。

之前用get_html()實現簡單的數據采集，由于是一個一個執(zhí)行才采集數據的傳輸時間就會是所有頁面下載的總時長，一個頁面假設1秒，那么10個頁面就是10秒了。所幸curl還提供了并行處理的功能。

要寫一個并行采集的函數，先要了解要采集什么樣的頁面，對采集的頁面用什么請求，才能寫出一個相對常用的函數。


功能需求分析：

返回什么？

當然每一個頁面的html集合成的數組

傳遞什么參數？

編寫get_html()時，我們知道了可以用options數組來傳遞更多的curl參數，那么多頁面同時采集函數的編寫這種特性也得保留下來。

什么類型的參數？

無論是請求網頁HTML，還是調用互聯網api接口，get和post傳遞參數總是請求同一個頁面或者接口，只是參數不同罷了。那么參數的類型是：

get_htmls($url,$options);

$url 是string

$options，是一個二維數組，每一個頁面的參數為一個數組。

這樣的話，貌似解決了問題。但是我找遍了curl的手冊都沒有看到get的參數傳遞在什么地方，所以只能$url 是數組的形式傳遞并且增加一個method參數


函數的原型就定下來了get_htmls($urls,$options = array, $method = ‘get');代碼如下：


復制代碼 代碼如下:


function get_htmls($urls, $options = array(), $method = 'get'){
     $mh = curl_multi_init();
     if($method == 'get'){//get方式傳值 最常用
         foreach($urls as $key=>$url){
             $ch = curl_init($url);
             $options[CURLOPT_RETURNTRANSFER] = true;
             $options[CURLOPT_TIMEOUT] = 5;
             curl_setopt_array($ch,$options);
             $curls[$key] = $ch;
             curl_multi_add_handle($mh,$curls[$key]);
         }
     }elseif($method == 'post'){//post方式傳值
         foreach($options as $key=>$option){
             $ch = curl_init($urls);
             $option[CURLOPT_RETURNTRANSFER] = true;
             $option[CURLOPT_TIMEOUT] = 5;
             $option[CURLOPT_POST] = true;
             curl_setopt_array($ch,$option);
             $curls[$key] = $ch;
             curl_multi_add_handle($mh,$curls[$key]);
         }
     }else{
         exit("參數出錯!\n");
     }
     do{
         $mrc = curl_multi_exec($mh,$active);
         curl_multi_select($mh);//減少CPU壓力 注釋掉CPU壓力變大
     }while($active);
     foreach($curls as $key=>$ch){
         $html = curl_multi_getcontent($ch);
         curl_multi_remove_handle($mh,$ch);
         curl_close($ch);
         $htmls[$key] = $html;
     }
     curl_multi_close($mh);
     return $htmls;
 }



常用的get請求是通過改變url參數來實現的，又因為我們的函數是針對數據采集的。必然是分類采集，所以網址類似于這種：

/tupian/20230522/s>復制代碼 代碼如下:


$urls = array();
 for($i=1; $i<=5; $i++){
     $urls[] = '/tupian/20230522/s = 'Mozilla/5.0 (Windows NT 6.1; rv:19.0) Gecko/20100101 Firefox/19.0';
 $htmls = get_htmls($urls,$option);
 foreach($htmls as $html){
     echo $html;//這里得到html 就可以進行數據處理了
 }



模擬常用的post請求：

寫一個post.php文件如下：


復制代碼 代碼如下:


 if(isset($_POST['username']) && isset($_POST['password'])){
     echo '用戶名是: '.$_POST['username'].' 密碼是: '.$_POST['password'];
 }else{
     echo '請求錯誤!';
 }



然后調用如下:


復制代碼 代碼如下:


$url = 'http://localhost/yourpath/post.php';//這里是你的路徑
 $options = array();
 for($i=1; $i<=5; $i++){
     $option[CURLOPT_POSTFIELDS] = 'username=user'.$i.'&password=pass'.$i;
     $options[] = $option;
 }
 $htmls = get_htmls($url,$options,'post');
 foreach($htmls as $html){
     echo $html;//這里得到html 就可以進行數據處理了
 }



這樣這個get_htmls函數也基本能實現一些數據采集的功能了

感謝你能夠認真閱讀完這篇文章，希望小編分享的“基于curl數據采集之單頁面并行采集函數get_htmls怎么用”這篇文章對大家有幫助，同時也希望大家多多支持創(chuàng)新互聯網站建設公司，，關注創(chuàng)新互聯行業(yè)資訊頻道，更多相關知識等著你來學習!

新聞標題：基于curl數據采集之單頁面并行采集函數get_htmls怎么用-創(chuàng)新互聯
網址分享：http://muchs.cn/article28/cosgjp.html

成都網站建設公司_創(chuàng)新互聯，為您提供標簽優(yōu)化、網站營銷、小程序開發(fā)、App開發(fā)、品牌網站設計、Google

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯

成都app開發(fā)公司