php循環(huán)處理大數(shù)據(jù) php循環(huán)讀取數(shù)據(jù)庫表數(shù)據(jù)

php怎么循環(huán)數(shù)據(jù)庫里的內(nèi)容

您好，可參考如下思路，然后結(jié)合自己的業(yè)務(wù)邏輯即可：

成都創(chuàng)新互聯(lián)公司堅持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站建設(shè)、成都做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的達孜網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

?php

//首先鏈接數(shù)據(jù)庫

$conn = mysql_connect('主機名','數(shù)據(jù)庫登陸用戶名','數(shù)據(jù)庫登陸密碼') or die('鏈接數(shù)據(jù)庫失敗');

//選擇數(shù)據(jù)庫

mysql_select_db( 'test',$conn );

//假設(shè)test數(shù)據(jù)庫中有文章表，article，表有字段 id,title,create_time 那么可采用如下代碼循環(huán)讀出里面數(shù)據(jù)

//進行SQL查詢-查詢article中的數(shù)據(jù)并按照id倒序排列

$sql = 'SELECT *FROM article ORDER BY id DESC';

//獲取執(zhí)行結(jié)果

$result = mysql_query( $sql,$conn );

if( !$result ) die( '執(zhí)行SQL語句失敗' );

//循環(huán)讀出結(jié)果集中的數(shù)據(jù)

while( $row = mysql_fetch_assoc( $result ) )

{

//輸出數(shù)據(jù)

echo $row['id'].'--'.$row['title'].'--'.$row['create_time'].'br/';

}

//如果test中有三條數(shù)據(jù)，比如下列數(shù)據(jù)

//id title create_time

//1 文章標(biāo)題1 2014/10/31 14:20

//2 文章標(biāo)題2 2014/11/01 15:12

//3 文章標(biāo)題3 2014/11/03 12:10

//那么執(zhí)行代碼后，網(wǎng)頁應(yīng)顯示如下：

//3--文章標(biāo)題3--2014/11/03 12:10

//2--文章標(biāo)題2--2014/11/01 15:12

//1--文章標(biāo)題1--2014/10/31 14:20

?

php采集大數(shù)據(jù)的方案

1、建議你讀寫數(shù)據(jù)和下載圖片分開，各用不同的進程完成。

比如說，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。

2、多進程的話，php可以簡單的用pcntl_fork()。這樣可以并發(fā)多個子進程。

但是我不建議你用fork，我建議你安裝一個gearman worker。這樣你要并發(fā)幾個，就啟幾個worker，寫代碼簡單，根本不用在代碼里考慮thread啊，process等等。

3、綜上，解決方案這樣：

（1）安裝gearman worker。

（2）寫一個get-data.php，在crontab里設(shè)置它每5分鐘執(zhí)行一次，只負(fù)責(zé)讀數(shù)據(jù)，然后把讀回來的數(shù)據(jù)一條一條的扔到 gearman worker的隊列里；

然后再寫一個處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個腳本常駐內(nèi)存。它作為worker從geraman 隊列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫老數(shù)據(jù)比較，進行你的業(yè)務(wù)邏輯。如果你要10個并發(fā)，那就啟動10個process-data.php好了。處理完后，如果圖片地址有變動需要下載圖片，就把圖片地址扔到 gearman worker的另一個隊列里。

（3）再寫一個download-data.php，作為下載圖片的worker，同樣，你啟動10個20個并發(fā)隨便你。這個進程也常駐內(nèi)存運行，從gearman worker的圖片數(shù)據(jù)隊列里取數(shù)據(jù)出來，下載圖片

4、常駐進程的話，就是在代碼里寫個while(true)死循環(huán)，讓它一直運行好了。如果怕內(nèi)存泄露啥的，你可以每循環(huán)10萬次退出一下。然后在crontab里設(shè)置，每分鐘檢查一下進程有沒有啟動，比如說這樣啟動3個process-data worker進程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了沒有

求 php 循環(huán)執(zhí)行大量數(shù)據(jù) 解決辦法。

你用網(wǎng)頁的方式，讓人點擊，服務(wù)器采集，簡直是弱爆了。每個人的點擊循環(huán)1000次，來個100人同時點，你要用的是普通的虛擬機就不行了。

最好是換種方式實現(xiàn)，不要通過網(wǎng)頁進行采集。

可以非常簡單的在數(shù)據(jù)庫的表，創(chuàng)建一個采集隊列，后臺執(zhí)行一個crontab的計劃任務(wù)，去完成隊列里的采集任務(wù)。

分享標(biāo)題：php循環(huán)處理大數(shù)據(jù) php循環(huán)讀取數(shù)據(jù)庫表數(shù)據(jù)
當(dāng)前地址：http://muchs.cn/article34/dojhgpe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設(shè)、搜索引擎優(yōu)化、靜態(tài)網(wǎng)站、建站公司、定制開發(fā)、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)