php大數(shù)據(jù)更新 php處理大數(shù)據(jù)用什么方法
php 更新大數(shù)據(jù)時(shí)很慢
沒必要一次性查出100W條。每次請(qǐng)求3-5W數(shù)據(jù)update，分頁用遞歸。
成都創(chuàng)新互聯(lián)公司是一家朝氣蓬勃的網(wǎng)站建設(shè)公司。公司專注于為企業(yè)提供信息化建設(shè)解決方案。從事網(wǎng)站開發(fā)，網(wǎng)站制作，網(wǎng)站設(shè)計(jì)，網(wǎng)站模板，微信公眾號(hào)開發(fā)，軟件開發(fā)，微信小程序開發(fā)，10多年建站對(duì)成都銅雕雕塑等多個(gè)領(lǐng)域，擁有多年的網(wǎng)站維護(hù)經(jīng)驗(yàn)。
控制好變量內(nèi)存，不要內(nèi)存溢出。
Thinkphp怎么批量更新數(shù)據(jù)
thinkphp批量更新數(shù)據(jù)可以參考如下三種方法：
方法一：
//批量修改 data二維數(shù)組 field關(guān)鍵字段 參考ci 批量修改函數(shù) 傳參方式
function batch_update($table_name='',$data=array(),$field=''){
if(!$table_name||!$data||!$field){
return false;
}else{
$sql='UPDATE '.$table_name;
}
$con=array();
$con_sql=array();
$fields=array();
foreach ($data as $key = $value) {
$x=0;
foreach ($value as $k = $v) {
if($k!=$field!$con[$x]$x==0){
$con[$x]=" set {$k} = (CASE {$field} ";
}elseif($k!=$field!$con[$x]$x0){
$con[$x]=" {$k} = (CASE {$field} ";
}
if($k!=$field){
$temp=$value[$field];
$con_sql[$x].= " WHEN '{$temp}' THEN '{$v}' ";
$x++;
}
}
$temp=$value[$field];
if(!in_array($temp,$fields)){
$fields[]=$temp;
}
}
$num=count($con)-1;
foreach ($con as $key = $value) {
foreach ($con_sql as $k = $v) {
if($k==$key$key$num){
$sql.=$value.$v.' end),';
}elseif($k==$key$key==$num){
$sql.=$value.$v.' end)';
}
}
}
$str=implode(',',$fields);
$sql.=" where {$field} in({$str})";
$res=M($table_name)-execute($sql);
return $res;
}
//測(cè)試
function test(){
$update_array=array();
for ($i=2; $i 7 ; $i++) {
$data=array();
$data['id']=$i;
$data['memeber_type']=2;
$data['memeber_type_state']=1;
$update_array[]=$data;
}
$res=$this-batch_update('yl_member',$update_array,id);
var_dump($res);
}
方法二：
即是循環(huán)一條一條的更新記錄。一條記錄update一次，這樣性能很差，也很容易造成阻塞。
那么能不能一條sql語句實(shí)現(xiàn)批量更新呢？mysql并沒有提供直接的方法來實(shí)現(xiàn)批量更新，但是可以用點(diǎn)小技巧來實(shí)現(xiàn)。
UPDATE categories
SET display_order = CASE id
WHEN 1 THEN 3
WHEN 2 THEN 4
WHEN 3 THEN 5
END
WHERE id IN (1,2,3)
這句sql的意思是，更新display_order 字段，如果id=1 則display_order 的值為3，如果id=2 則 display_order 的值為4，如果id=3 則 display_order 的值為5。
即是將條件語句寫在了一起。
這里的where部分不影響代碼的執(zhí)行，但是會(huì)提高sql執(zhí)行的效率。確保sql語句僅執(zhí)行需要修改的行數(shù)，這里只有3條數(shù)據(jù)進(jìn)行更新，而where子句確保只有3行數(shù)據(jù)執(zhí)行。
如果更新多個(gè)值的話，只需要稍加修改：
UPDATE categories
SET display_order = CASE id
WHEN 1 THEN 3
WHEN 2 THEN 4
WHEN 3 THEN 5
END,
title = CASE id
WHEN 1 THEN 'New Title 1'
WHEN 2 THEN 'New Title 2'
WHEN 3 THEN 'New Title 3'
END
WHERE id IN (1,2,3)
實(shí)際運(yùn)用
$display_order = array(
1 = 4,
2 = 1,
3 = 2,
4 = 3,
5 = 9,
6 = 5,
7 = 8,
8 = 9
);
$ids = implode(',', array_keys($display_order));
$sql = "UPDATE categories SET display_order = CASE id ";
foreach ($display_order as $id = $ordinal) {
$sql .= sprintf("WHEN %d THEN %d ", $id, $ordinal);
}
$sql .= "END WHERE id IN ($ids)";
echo $sql;
方法二不建議使用。
方法三：
/*
* @param $saveWhere ：想要更新主鍵ID數(shù)組
* @param $saveData ：想要更新的ID數(shù)組所對(duì)應(yīng)的數(shù)據(jù)
* @param $tableName : 想要更新的表明
* @param $saveWhere : 返回更新成功后的主鍵ID數(shù)組
* */
public function saveAll($saveWhere,$saveData,$tableName){
if($saveWhere==null||$tableName==null)
return false;
//獲取更新的主鍵id名稱
$key = array_keys($saveWhere)[0];
//獲取更新列表的長度
$len = count($saveWhere[$key]);
$flag=true;
$model = isset($model)?$model:M($tableName);
//開啟事務(wù)處理機(jī)制
$model-startTrans();
//記錄更新失敗ID
$error=[];
for($i=0;$i$len;$i++){
//預(yù)處理sql語句
$isRight=$model-where($key.'='.$saveWhere[$key][$i])-save($saveData[$i]);
if($isRight==0){
//將更新失敗的記錄下來
$error[]=$i;
$flag=false;
}
//$flag=$flag$isRight;
}
if($flag ){
//如果都成立就提交
$model-commit();
return $saveWhere;
}elseif(count($error)0count($error)$len){
//先將原先的預(yù)處理進(jìn)行回滾
$model-rollback();
for($i=0;$icount($error);$i++){
//刪除更新失敗的ID和Data
unset($saveWhere[$key][$error[$i]]);
unset($saveData[$error[$i]]);
}
//重新將數(shù)組下標(biāo)進(jìn)行排序
$saveWhere[$key]=array_merge($saveWhere[$key]);
$saveData=array_merge($saveData);
//進(jìn)行第二次遞歸更新
$this-saveAll($saveWhere,$saveData,$tableName);
return $saveWhere;
}
else{
//如果都更新就回滾
$model-rollback();
return false;
}
}
在測(cè)試方法中調(diào)用：
public function test(){
//要更新的數(shù)據(jù)表的主鍵數(shù)組
$where['ID']=array(70,73,74,80,83);
//ID主鍵數(shù)組對(duì)應(yīng)的待更新數(shù)據(jù)
$save=array(
array('School'='DK Univisity01','isExport'=0),
array('School'='DK Univisity02','isExport'=0),
array('School'='DK Univisity03','isExport'=0),
array('School'='DK Univisity04','isExport'=0),
array('School'='','isExport'=0),
// array('School'=' Univisity05','isExport'=0),
);
$f=$this-saveAll($where,$save,'want');
if(count($f['ID'])0){
//返回更新成功的ID數(shù)組
echo "This is success :/br";
dump($f);
echo 'ok';
}else{
//更新失敗操作
echo "This is failed :/br";
dump($f);
echo 'error';
}
}
PHP中如何更新大量的mysql數(shù)據(jù)
sql= "UPDATE mydata SET p1='".$pointarr[i][1]."' where ps like '%".$pointarr[i][
每次都去做一次like的全表掃描當(dāng)然慢了。
建議使用批量更新，減少查詢次數(shù)。
比如先查詢出結(jié)果集，然后在內(nèi)存里去操作字段更新
最后采用 update ...... where id = xxx 這樣的更新方法。避免多次全表掃描。
不是最了解你的需求，僅供參考。
本文名稱：php大數(shù)據(jù)更新 php處理大數(shù)據(jù)用什么方法
網(wǎng)頁網(wǎng)址：http://muchs.cn/article32/ddigdsc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、響應(yīng)式網(wǎng)站、網(wǎng)站改版、網(wǎng)站排名、網(wǎng)站策劃、
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)
- 企業(yè)找合肥建站公司制作網(wǎng)站必須注意兩個(gè)問題 2022-05-18
- 為什么企業(yè)網(wǎng)站建設(shè)應(yīng)該找專業(yè)建站公司 2015-09-18
- 優(yōu)秀建站公司告訴你建設(shè)網(wǎng)站的好處是什么 2021-11-13
- 建站公司有哪些類型，哪些組別適合他們？ 2016-12-12
- 上海建站公司是可以放心的網(wǎng)站建設(shè)公司 2020-11-10
- 選擇好的建站公司，就是為網(wǎng)站優(yōu)化打基礎(chǔ) 2021-04-27
- 選擇建站公司要考察的關(guān)鍵能力 2017-08-08
- 微信建站要怎么選擇建站公司 2021-05-02
- 北京網(wǎng)站建設(shè)公司哪家好？如何選擇靠譜的建站公司？ 2022-07-17
- 成都網(wǎng)站建站公司告訴你企業(yè)網(wǎng)站建設(shè)的必要性 2014-12-03
- 建設(shè)網(wǎng)站是選擇建站公司還是建站工具 2019-04-30
- 選擇建站公司時(shí)可以參考哪幾方面？ 2021-09-18