PHP一億條數(shù)據(jù) php億級(jí)數(shù)據(jù)查詢

php一億個(gè)排好序手機(jī)號(hào),用什么算法可以查詢到我的號(hào)碼出現(xiàn)過

使用二分查找算法。二分查找算法是一種高效的查找算法，可以在有序數(shù)組中快速查找指定元素，在一億個(gè)排好序的手機(jī)號(hào)中查詢自己的號(hào)碼是否出現(xiàn)過，可以使用二分查找算法。要頻繁地進(jìn)行插入、刪除操作，會(huì)導(dǎo)致數(shù)組的有序性被破壞，從而影響查找效率，因此，在實(shí)際應(yīng)用中，需要根據(jù)具體情況選擇合適的數(shù)據(jù)結(jié)構(gòu)和算法。

創(chuàng)新互聯(lián)公司專注于資中網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠(chéng)為您提供資中營(yíng)銷型網(wǎng)站建設(shè)，資中網(wǎng)站制作、資中網(wǎng)頁(yè)設(shè)計(jì)、資中網(wǎng)站官網(wǎng)定制、微信小程序定制開發(fā)服務(wù)，打造資中網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供資中網(wǎng)站排名全網(wǎng)營(yíng)銷落地服務(wù)。

php處理大文件文件

我前幾天有一個(gè)面試，面試題就是有這樣一道題。先把自己的思路說一下，因?yàn)樾畔⒘糠浅５拇?，所以我采用了分表，分?4張表，每個(gè)小時(shí)一張，雖然凌晨時(shí)刻的表可能很少數(shù)據(jù)，但這樣sum字段的問題就容易解決了，我理解的sum字段是一個(gè)小時(shí)同一個(gè)用戶在相同的環(huán)境的登陸次數(shù)。這樣理解不知對(duì)否，請(qǐng)網(wǎng)友自行甄辨。然后我通過PHP中的fgets函數(shù)一行一行的數(shù)據(jù)取出，入表。實(shí)驗(yàn)了幾萬條數(shù)據(jù)是沒有問題的，但是上億條數(shù)據(jù)可能夠嗆。這一點(diǎn)也請(qǐng)網(wǎng)友注意，我也是新手。只是看到這里沒有答案，給大家一個(gè)參考。廢話不多，看流程：

日志文件（access.log）格式：

200?/alipeng.gif?zoneid=2bannerid=44clentid=6materialid=64redirect=http%3a%2f%2f;time=1384444800.832ip=127.0.0.1user_agent=Mozilla/5.0?(X11;?Linux?x86_64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/31.0.1650.48?Safari/537.36utrace=a6dbdd2f6a37b946165b7ae98dcd4f79

502?/alipeng.gif?zoneid=2bannerid=44clentid=6materialid=64redirect=http%3a%2f%2f;time=1384444800.904ip=127.0.0.1user_agent=Mozilla/5.0?(X11;?Linux?x86_64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/31.0.1650.48?Safari/537.36utrace=a6dbdd2f6a37b946165b7ae98dcd4f79

配置文件cfg.php：

define(HOST,'localhost');//主機(jī)名

define(USER,'root');//數(shù)據(jù)庫(kù)賬號(hào)

define(PASS,'111111');//數(shù)據(jù)庫(kù)密碼

define(DBNAME,'test');//所用的數(shù)據(jù)庫(kù)

define(CHARSET,'utf8');//使用的字符集

具體代碼test.php：

?php

header("content-type:text/html;charset=utf-8");

require?'./cfg.php';

$link?=?mysql_connect(HOST,USER,PASS)?or?die('連接數(shù)據(jù)庫(kù)失敗');

//程序中自動(dòng)建庫(kù)和建表，這樣一定程度上拖慢了程序的速度

//創(chuàng)建數(shù)據(jù)庫(kù)

$crdb="create?database?if?not?exists?".DBNAME;

if(!mysql_query($crdb)){

die('創(chuàng)建數(shù)據(jù)庫(kù)失敗');

}

//鏈接數(shù)據(jù)庫(kù)

mysql_select_db(DBNAME)?or?die('選擇數(shù)據(jù)庫(kù)失敗');

mysql_set_charset(CHARSET);

//因?yàn)閿?shù)據(jù)量很大我將數(shù)據(jù)按小時(shí)分表，分成24個(gè)表,每小時(shí)一個(gè)表，這樣num字段的值也好做統(tǒng)計(jì)

//數(shù)據(jù)循環(huán)建表

for($i=0;$i24;$i++){

if($i10){

$tbhz='0'.$i;//如果前10張表，表后綴應(yīng)該是00-09

}else{

$tbhz=$i;

}

$ctbsql="create?table?if?not?exists?logininfo_{$tbhz}(

id?int?not?null?auto_increment?primary?key,

zoneid?int?not?null?default?0,

bannerid?int?not?null?default?0,

clentid?int?not?null?default?0,

materialid?int?not?null?default?0,

redirect?char(200)?not?null?default?'',

time?char(16)?not?null?default?'',

user_agent?char(200)?not?null?default?'',

utrace?char(32)?not?null?default?'',

sum?int?not?null?default?0

)TYPE=MyISAM?DEFAULT?CHARACTER?SET?utf8?COLLATE?utf8_general_ci";

mysql_query($ctbsql);

}

//打開文件

$file=fopen("./access.log",'r')?or?die("打開文件失敗");

//對(duì)文件內(nèi)容進(jìn)行循環(huán)，直到文件末尾才停止

while?(!feof($file)){

//每次讀取一行

$line?=?fgets($file,1024);

//狀態(tài)是200的進(jìn)行寫入數(shù)據(jù)庫(kù)操作

if(preg_match('/^200/',$line)){

$pinfo=parse_url($line);//url信息

$ext=$pinfo['query'];//取得傳遞的各個(gè)參數(shù)

$parray=explode('',$ext);//根據(jù)分解為數(shù)組

//因?yàn)榉纸鉃閿?shù)組后并不是要的值，所以要對(duì)值進(jìn)行一次截取，將等號(hào)及等號(hào)左邊的都去掉

foreach($parray?as?$val){

$narray[]=ltrim(strstr($val,'='),'=');

}

$narray[8]=rtrim($narray[8],'_');

//截取時(shí)間的秒數(shù)

$getmun=substr($parray[5],5,10);

$time=date('Y-m-d?H',$getmun);//將秒數(shù)轉(zhuǎn)化為時(shí)間類型。

//得到表后綴

$tbhz=date('H',$getmun);

$sql="insert?into?logininfo_{$tbhz}?values(null,'{$narray[0]}','{$narray[1]}','{$narray[2]}','{$narray[3]}','{$narray[4]}','{$time}','{$narray[7]}','{$narray[8]}',0)";

//echo?$sql;

$res=mysql_query($sql);//執(zhí)行插入

if(!$res?||?!mysql_affected_rows()0){

die('寫入數(shù)據(jù)庫(kù)失敗');

}

unset($narray);//循環(huán)一次將narray銷毀，為下一次循環(huán)做準(zhǔn)備

//var_dump(parse_url($line)['query']);

}

}

fclose($file);//關(guān)閉

//因?yàn)閟um字段還是0，下面代碼段需要處理sum字段的值

//24張表循環(huán)處理

for($i=0;$i24;$i++){

if($i10){

$tbhz='0'.$i;//如果前10張表，表后綴應(yīng)該是00-09

}else{

$tbhz=$i;

}

//該sql語句是把同一個(gè)小時(shí)內(nèi),并且符合條件相等的登陸的總次數(shù)和需要的登陸信息查出，為下面修改sum做準(zhǔn)備

$sql="SELECT?COUNT('zoneid')?AS?sum,zoneid,bannerid,clentid,materialid,redirect,user_agent,utrace?FROM?logininfo_{$tbhz}?GROUP?BY?zoneid,bannerid,clentid,materialid,redirect,user_agent,utrace";

//發(fā)送查詢sql

$res=mysql_query($sql);

if($res??mysql_num_rows($res)0){

while($row=mysql_fetch_assoc($res)){

//修改sum字段，即同一小時(shí)內(nèi)的登陸次數(shù)

$upsql="update?logininfo_{$tbhz}?set?sum='{$row['sum']}'?where?zoneid='{$row['zoneid']}'?and?bannerid='{$row['bannerid']}'?and?clentid='{$row['clentid']}'?and?materialid='{$row['materialid']}'?and?redirect='{$row['redirect']}'?and?user_agent='{$row['user_agent']}'?and?utrace='{$row['utrace']}'";

//發(fā)送修改sql,執(zhí)行修改sum

$upres=mysql_query($upsql);

if(!$upres){

die('修改登陸sum失敗');

}

}

}

}

echo?'數(shù)據(jù)成功入表';

使用說明：

將配置文件cfg.php中的連接數(shù)據(jù)庫(kù)賬號(hào)、密碼修改為自己本機(jī)的（默認(rèn)新增的庫(kù)名是test）

直接運(yùn)行test1.php

用php代碼向mysql數(shù)據(jù)庫(kù)里插入10000000條數(shù)據(jù)

我知道你為什么會(huì)停下來，因?yàn)閙ysql插入大量數(shù)據(jù)（1000W）的情況下，執(zhí)行時(shí)間需要的很長(zhǎng)，而你八成設(shè)定執(zhí)行時(shí)間不限制，如果時(shí)間默認(rèn)超過30秒，那么程序就會(huì)自動(dòng)停下來。

1000 0000

?php

set_time_limit(0);#設(shè)置執(zhí)行時(shí)間為不限制~

for($i=0;$i1000;++$i){#嵌套循環(huán)，避免悲??；

for($j=0;$j10000;$j++){

mysql_query(" 插入把~");

}

}

?

文章名稱：PHP一億條數(shù)據(jù) php億級(jí)數(shù)據(jù)查詢
URL地址：http://muchs.cn/article16/ddiipdg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站排名、Google、電子商務(wù)、做網(wǎng)站、全網(wǎng)營(yíng)銷推廣、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

成都做網(wǎng)站