直接用limit start, count分頁語句, 也是我程序中用的方法:
網(wǎng)站設(shè)計(jì)制作過程拒絕使用模板建站;使用PHP+MYSQL原生開發(fā)可交付網(wǎng)站源代碼;符合網(wǎng)站優(yōu)化排名的后臺管理系統(tǒng);成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)收費(fèi)合理;免費(fèi)進(jìn)行網(wǎng)站備案等企業(yè)網(wǎng)站建設(shè)一條龍服務(wù).我們是一家持續(xù)穩(wěn)定運(yùn)營了十載的創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司。
select * from product limit start, count
當(dāng)起始頁較小時(shí),查詢沒有性能問題,我們分別看下從10, 100, 1000, 10000開始分頁的執(zhí)行時(shí)間(每頁取20條), 如下:
select * from product limit 10, 20 0.016秒
select * from product limit 100, 20 0.016秒
select * from product limit 1000, 20 0.047秒
select * from product limit 10000, 20 0.094秒
我們已經(jīng)看出隨著起始記錄的增加,時(shí)間也隨著增大, 這說明分頁語句limit跟起始頁碼是有很大關(guān)系的,那么我們把起始記錄改為40w看下(也就是記錄的一般左右) select * from product limit 400000, 20 3.229秒
再看我們?nèi)∽詈笠豁撚涗浀臅r(shí)間
select * from product limit 866613, 20 37.44秒
難怪搜索引擎抓取我們頁面的時(shí)候經(jīng)常會(huì)報(bào)超時(shí),像這種分頁最大的頁碼頁顯然這種時(shí)
間是無法忍受的。
從中我們也能總結(jié)出兩件事情:
1)limit語句的查詢時(shí)間與起始記錄的位置成正比
2)mysql的limit語句是很方便,但是對記錄很多的表并不適合直接使用。
用一個(gè)分頁類。直接調(diào)用。
?php
/**
* 分頁類
* 用DBMySQL類讀取數(shù)據(jù)庫
*/
class BreakPage
{
//屬性開始
var $pageparam="pageno";
var $sql;//顯示數(shù)據(jù)的sql
var $countsql;//顯示總記錄數(shù)的SQL
var $max_line;//最大記錄數(shù)
var $begin_record;//開始記錄數(shù)
var $current_page;//當(dāng)前頁
var $total_record;//總記錄數(shù)
var $total_page;//總頁數(shù)
var $conn_id;//數(shù)據(jù)庫連接
var $query_id;//查詢句柄
var $row_num;//當(dāng)頁記錄的條數(shù)
var $url;//url
var $param="";
//屬性結(jié)束
function setpageparam($pageparam)
{
$this-pageparam=$pageparam;
}
function getpageparam()
{
return $this-pageparam;
}
function setrows($rows)
{
$this-row_num=$rows;
}
function getrows()
{
return $this-row_num;
}
function setparam($param)
{
$this-param=$param;
}
function getparam()
{
return $this-param;
}
function seturl($url)
{
$this-url=$url;
}
function geturl()
{
return $this-url;
}
//屬設(shè)置開始
function setcountsql($countsql)
{
$this-countsql="select count(*) as count from (".$countsql.") as temp1";
}
function getcountsql()
{
return $this-countsql;
}
function settotalpage($totalpage)
{
$this-total_page=$totalpage;
}
function gettotalpage()
{
return $this-total_page;
}
function settotalrecord($totalrecord)
{
$this-total_record=$totalrecord;
}
function gettotalrecord()
{
return $this-total_record;
}
/**
* 設(shè)置當(dāng)前頁,從1開始
*
* @param unknown_type $currentpage
*/
function setcurrentpage($currentpage)
{
$this-current_page=$currentpage1? 1:$currentpage;
}
function getcurrentpage()
{
return $this-current_page;
}
function setbeginline($begin)
{
$this-begin_record=$begin;
}
function getbeginline()
{
return $this-begin_record;
}
function setsql($sql)
{
$this-sql=$sql;
}
function getsql()
{
return $this-sql;
}
/**
* 設(shè)置最大記錄數(shù)
* @param unknown_type $maxline
*/
function setmaxline($maxline)
{
$this-max_line=$maxline;
}
function getmaxline()
{
return $this-max_line;
}
//屬性設(shè)置結(jié)束
function __construct()
{//連接數(shù)據(jù)庫
$this-setbeginline(0);
$this-setmaxline(10);
}
function __destruct()
{
}
//方法開始
/**
* 主體函數(shù),查詢當(dāng)前頁的記錄,同時(shí)返回信息
* @param string $sql:查詢的SQL,如select * from table1;
* @param string $countsql:總數(shù)量的SQL,如select count(*) from table1;
* @return 當(dāng)前頁的記錄
*/
function getrecords($db,$sql)
{
$this-setsql($sql);//設(shè)置查詢的SQL
$this-setcountsql($sql);//設(shè)置查詢總數(shù)量的SQL
//查詢總記錄數(shù),可用gettotalrecord()方法返回總記錄數(shù)
$db-query($this-getcountsql());
$db-seek(0);
//返總記錄數(shù)
$this-settotalrecord($db-f(0));
$db-free();
//根據(jù)當(dāng)前頁和每頁最大記錄數(shù)計(jì)算開始和結(jié)束記錄
//可用getbeginline()方法查詢開始記錄值,即limit的開始值
//可用getmaxline()方法查詢每頁記錄數(shù),即limit的第二個(gè)限制值
$this-setbeginline(($this-getcurrentpage()-1)*$this-getmaxline());//設(shè)置開始記錄值,即limit的開始值
//計(jì)算結(jié)束
//計(jì)算總頁數(shù)
//可用gettotalpage()查詢總頁數(shù)
$this-settotalpage((int)(($this-gettotalrecord()+$this-getmaxline()-1)/$this-getmaxline()));//(總記錄數(shù)+每頁記錄數(shù)-1)/每頁記錄數(shù)
//計(jì)算結(jié)束
//返回當(dāng)前記錄
$temp_sql=$this-getsql()." limit ".$this-getbeginline().",".$this-getmaxline();//構(gòu)造限制的SQL語句
$db-query($temp_sql);
$result=$db-getalldata();
return $result;
//結(jié)束
}
function paint()
{
$prepg=$this-getcurrentpage()=1? 1:$this-getcurrentpage()-1;//上一頁
$nextpg=$this-getcurrentpage()=$this-gettotalpage()? $this-gettotalpage():$this-getcurrentpage()+1;//下一頁
$otherparam=$this-getparam()!=""? "".$this-getparam():"";
$pagenav="tabletr";
if($this-getcurrentpage()==1)
{//第一頁
$pagenav.="td nowrap='nowrap' style='font-size: 12px'a disabled='disabled'首頁/a/tdtd nowrap='nowrap' style='font-size: 12px' /td";
}
else
{
$pagenav.="td nowrap='nowrap' style='font-size: 12px'a href='".$this-geturl()."?".$this-getpageparam()."=1$otherparam'首頁/a/tdtd nowrap='nowrap' style='font-size: 12px' /td";
}
if($this-getcurrentpage()1)
{//有上一頁
$pagenav.="td nowrap='nowrap' style='font-size: 12px'a href='".$this-geturl()."?".$this-getpageparam()."=$prepg$otherparam'上一頁/a/td";
}
else
{//第一頁
$pagenav.="td nowrap='nowrap' style='font-size: 12px'a disabled='disabled'上一頁/a/td";
}
if($this-getcurrentpage()$this-gettotalpage())
{//有下一頁
$pagenav.="td nowrap='nowrap' style='font-size: 12px'?a href='".$this-geturl()."?".$this-getpageparam()."=$nextpg$otherparam'下一頁/a/td";
}
else
{
$pagenav.="td nowrap='nowrap' style='font-size: 12px'?a disabled='disabled'下一頁/a/td";
}
if($this-getcurrentpage()=$this-gettotalpage())
{//沒有下一頁
$pagenav.="td nowrap='nowrap' style='font-size: 12px'/tdtd nowrap='nowrap' style='font-size: 12px'a disabled='disabled'尾頁/a/td";
}
else
{
$pagenav.="td nowrap='nowrap' style='font-size: 12px'/tdtd nowrap='nowrap' style='font-size: 12px'a href='".$this-geturl()."?".$this-getpageparam()."=".$this-gettotalpage()."$otherparam'尾頁/a/td";
}
//下拉跳轉(zhuǎn)列表,循環(huán)列出所有頁碼:
$onchange=$otherparam!=""? 'window.location="'.$this-url.'?'.$this-getpageparam().'="+this.value+"'.$otherparam.'"':'window.location="'.$this-url.'?'.$this-getpageparam().'="+this.value';
$pagenav.="td nowrap='nowrap' style='font-size: 12px'?共font color=red".$this-gettotalpage()."/font頁/tdtd nowrap='nowrap' style='font-size: 12px'?第font color=red".$this-getcurrentpage()."/font頁/tdtd nowrap='nowrap' style='font-size: 12px'?轉(zhuǎn)到第/tdtd nowrap='nowrap'select name='topage' size='1' onchange='$onchange'";
for($i=1;$i=$this-gettotalpage();$i++)
{
if($i==$this-getcurrentpage())
{
$pagenav.="option value='$i' selected$i/option\n";
}
else
{
$pagenav.="option value='$i'$i/option\n";
}
}
$pagenav.="/select/tdtd nowrap='nowrap' style='font-size: 12px'頁/td";
$pagenav.="/tr/table";
return $pagenav;
}
//方法結(jié)束
}
?
分頁查詢一般 DBA 想到的辦法是在某個(gè)(如ID,create_time)字段上加組合索引。這樣條件排序都能有效的利用到索引,性能迅速提升。
因?yàn)槿绻?dāng) LIMIT 子句變成 “LIMIT 1000000,10” 時(shí),你會(huì)抱怨:我只取10條記錄為什么還是慢?
要知道數(shù)據(jù)庫也并不知道第1000000條記錄從什么地方開始,即使有索引也需要從頭計(jì)算一次。出現(xiàn)這種性能問題,多數(shù)情形下是程序員偷懶了。在前端數(shù)據(jù)瀏覽翻頁,或者大數(shù)據(jù)分批導(dǎo)出等場景下,是可以將上一頁的最大值當(dāng)成參數(shù)作為查詢條件的。SQL 重新設(shè)計(jì)如下:
SELECT *
FROM 表
WHERE create_time '2017-07-04 09:00:00'
ORDER BY create_time limit 10;
這樣查詢時(shí)間基本固定,不會(huì)隨著數(shù)據(jù)量的增長而發(fā)生變化。
pageNow代表當(dāng)前頁面,第一頁。
第一部分:看一下分頁的基本原理:
對上面的mysql語句說明:limit 10000,20的意思掃描滿足條件的10020行,扔掉前面的10000行,返回最后的20行,問題就在這里,如果是limit 100000,100,需要掃描100100行,在一個(gè)高并發(fā)的應(yīng)用里,每次查詢需要掃描超過10W行,性能肯定大打折扣。文中還提到limit n性能是沒問題的,因?yàn)橹粧呙鑞行。
第二部分:根據(jù)雅虎的幾位工程師帶來了一篇Efficient Pagination Using MySQL的報(bào)告內(nèi)容擴(kuò)展:在文中提到一種clue的做法,給翻頁提供一些線索,比如還是SELECT * FROM message ORDER BY id DESC,按id降序分頁,每頁20條,當(dāng)前是第10頁,當(dāng)前頁條目id最大的是1020,最小的是1000,如果我們只提供上一頁、下一頁這樣的跳轉(zhuǎn)(不提供到第N頁的跳轉(zhuǎn)),那么在處理上一頁的時(shí)候SQL語句可以是:
處理下一頁的時(shí)候SQL語句可以是:
不管翻多少頁,每次查詢只掃描20行。
缺點(diǎn)是只能提供上一頁、下一頁的鏈接形式,但是我們的產(chǎn)品經(jīng)理非常喜歡“上一頁 1 2 3 4 5 6 7 8 9 下一頁”這樣的鏈接方式,怎么辦呢?
如果LIMIT m,n不可避免的話,要優(yōu)化效率,只有盡可能的讓m小一下,我們擴(kuò)展前面的clue做法,還是SELECT * FROM message ORDER BY id DESC,按id降序分頁,每頁20條,當(dāng)前是第10頁,當(dāng)前頁條目id最大的是2519,最小的是2500;
當(dāng)是第10頁的SQL如下:
比如要跳到第9頁,SQL語句可以這樣寫:
比如要跳到第8頁,SQL語句可以這樣寫:
原理還是一樣,記錄住當(dāng)前頁id的最大值和最小值,計(jì)算跳轉(zhuǎn)頁面和當(dāng)前頁相對偏移,由于頁面相近,這個(gè)偏移量不會(huì)很大,這樣的話m值相對較小,大大減少掃描的行數(shù)。其實(shí)傳統(tǒng)的limit m,n,相對的偏移一直是第一頁,這樣的話越翻到后面,效率越差,而上面給出的方法就沒有這樣的問題。
很多應(yīng)用往往只展示最新或最熱門的幾條記錄,但為了舊記錄仍然可訪問,所以就需要個(gè)分頁的導(dǎo)航欄。然而,如何通過MySQL更好的實(shí)現(xiàn)分頁,始終是比較令人頭疼的問題。雖然沒有拿來就能用的解決辦法,但了解數(shù)據(jù)庫的底層或多或少有助于優(yōu)化分頁查詢。
我們先從一個(gè)常用但性能很差的查詢來看一看。
SELECT *
FROM city
ORDER BY id DESC
LIMIT 0, 15
這個(gè)查詢耗時(shí)0.00sec。So,這個(gè)查詢有什么問題呢?實(shí)際上,這個(gè)查詢語句和參數(shù)都沒有問題,因?yàn)樗玫搅讼旅姹淼闹麈I,而且只讀取15條記錄。
CREATE TABLE city (
id int(10) unsigned NOT NULL AUTO_INCREMENT,
city varchar(128) NOT NULL,
PRIMARY KEY (id)
) ENGINE=InnoDB;
真正的問題在于offset(分頁偏移量)很大的時(shí)候,像下面這樣:
SELECT *
FROM city
ORDER BY id DESC
LIMIT 100000, 15;
上面的查詢在有2M行記錄時(shí)需要0.22sec,通過EXPLAIN查看SQL的執(zhí)行計(jì)劃可以發(fā)現(xiàn)該SQL檢索了100015行,但最后只需要15行。大的分頁偏移量會(huì)增加使用的數(shù)據(jù),MySQL會(huì)將大量最終不會(huì)使用的數(shù)據(jù)加載到內(nèi)存中。就算我們假設(shè)大部分網(wǎng)站的用戶只訪問前幾頁數(shù)據(jù),但少量的大的分頁偏移量的請求也會(huì)對整個(gè)系統(tǒng)造成危害。Facebook意識到了這一點(diǎn),但Facebook并沒有為了每秒可以處理更多的請求而去優(yōu)化數(shù)據(jù)庫,而是將重心放在將請求響應(yīng)時(shí)間的方差變小。
對于分頁請求,還有一個(gè)信息也很重要,就是總共的記錄數(shù)。我們可以通過下面的查詢很容易的獲取總的記錄數(shù)。
SELECT COUNT(*)
FROM city;
然而,上面的SQL在采用InnoDB為存儲(chǔ)引擎時(shí)需要耗費(fèi)9.28sec。一個(gè)不正確的優(yōu)化是采用 SQL_CALC_FOUND_ROWS,SQL_CALC_FOUND_ROWS 可以在能夠在分頁查詢時(shí)事先準(zhǔn)備好符合條件的記錄數(shù),隨后只要執(zhí)行一句 select FOUND_ROWS(); 就能獲得總記錄數(shù)。但是在大多數(shù)情況下,查詢語句簡短并不意味著性能的提高。不幸的是,這種分頁查詢方式在許多主流框架中都有用到,下面看看這個(gè)語句的查詢性能。
SELECT SQL_CALC_FOUND_ROWS *
FROM city
ORDER BY id DESC
LIMIT 100000, 15;
這個(gè)語句耗時(shí)20.02sec,是上一個(gè)的兩倍。事實(shí)證明使用 SQL_CALC_FOUND_ROWS 做分頁是很糟糕的想法。
下面來看看到底如何優(yōu)化。文章分為兩部分,第一部分是如何獲取記錄的總數(shù)目,第二部分是獲取真正的記錄。
高效的計(jì)算行數(shù)
如果采用的引擎是MyISAM,可以直接執(zhí)行COUNT(*)去獲取行數(shù)即可。相似的,在堆表中也會(huì)將行數(shù)存儲(chǔ)到表的元信息中。但如果引擎是InnoDB情況就會(huì)復(fù)雜一些,因?yàn)镮nnoDB不保存表的具體行數(shù)。
我們可以將行數(shù)緩存起來,然后可以通過一個(gè)守護(hù)進(jìn)程定期更新或者用戶的某些操作導(dǎo)致緩存失效時(shí),執(zhí)行下面的語句:
SELECT COUNT(*)
FROM city
USE INDEX(PRIMARY);
獲取記錄
下面進(jìn)入這篇文章最重要的部分,獲取分頁要展示的記錄。上面已經(jīng)說過了,大的偏移量會(huì)影響性能,所以我們要重寫查詢語句。為了演示,我們創(chuàng)建一個(gè)新的表“news”,按照時(shí)事性排序(最新發(fā)布的在最前面),實(shí)現(xiàn)一個(gè)高性能的分頁。為了簡單,我們就假設(shè)最新發(fā)布的新聞的Id也是最大的。
CREATE TABLE news(
id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,
title VARCHAR(128) NOT NULL
) ENGINE=InnoDB;
一個(gè)比較高效的方式是基于用戶展示的最后一個(gè)新聞Id。查詢下一頁的語句如下,需要傳入當(dāng)前頁面展示的最后一個(gè)Id。
SELECT *
FROM news WHERE id $last_id
ORDER BY id DESC
LIMIT $perpage
查詢上一頁的語句類似,只不過需要傳入當(dāng)前頁的第一個(gè)Id,并且要逆序。
SELECT *
FROM news WHERE id $last_id
ORDER BY id ASC
LIMIT $perpage
上面的查詢方式適合實(shí)現(xiàn)簡易的分頁,即不顯示具體的頁數(shù)導(dǎo)航,只顯示“上一頁”和“下一頁”,例如博客中頁腳顯示“上一頁”,“下一頁”的按鈕。但如果要實(shí)現(xiàn)真正的頁面導(dǎo)航還是很難的,下面看看另一種方式。
SELECT id
FROM (
SELECT id, ((@cnt:= @cnt + 1) + $perpage - 1) % $perpage cnt
FROM news
JOIN (SELECT @cnt:= 0)T
WHERE id $last_id
ORDER BY id DESC
LIMIT $perpage * $buttons
)C
WHERE cnt = 0;
通過上面的語句可以為每一個(gè)分頁的按鈕計(jì)算出一個(gè)offset對應(yīng)的id。這種方法還有一個(gè)好處。假設(shè),網(wǎng)站上正在發(fā)布一片新的文章,那么所有文章的位置都會(huì)往后移一位,所以如果用戶在發(fā)布文章時(shí)換頁,那么他會(huì)看見一篇文章兩次。如果固定了每個(gè)按鈕的offset Id,這個(gè)問題就迎刃而解了。Mark Callaghan發(fā)表過一篇類似的博客,利用了組合索引和兩個(gè)位置變量,但是基本思想是一致的。
如果表中的記錄很少被刪除、修改,還可以將記錄對應(yīng)的頁碼存儲(chǔ)到表中,并在該列上創(chuàng)建合適的索引。采用這種方式,當(dāng)新增一個(gè)記錄的時(shí)候,需要執(zhí)行下面的查詢重新生成對應(yīng)的頁號。
SET p:= 0;
UPDATE news SET page=CEIL((p:= p + 1) / $perpage) ORDER BY id DESC;
當(dāng)然,也可以新增一個(gè)專用于分頁的表,可以用個(gè)后臺程序來維護(hù)。
UPDATE pagination T
JOIN (
SELECT id, CEIL((p:= p + 1) / $perpage) page
FROM news
ORDER BY id
)C
ON C.id = T.id
SET T.page = C.page;
現(xiàn)在想獲取任意一頁的元素就很簡單了:
SELECT *
FROM news A
JOIN pagination B ON A.id=B.ID
WHERE page=$offset;
還有另外一種與上種方法比較相似的方法來做分頁,這種方式比較試用于數(shù)據(jù)集相對小,并且沒有可用的索引的情況下—比如處理搜索結(jié)果時(shí)。在一個(gè)普通的服務(wù)器上執(zhí)行下面的查詢,當(dāng)有2M條記錄時(shí),要耗費(fèi)2sec左右。這種方式比較簡單,創(chuàng)建一個(gè)用來存儲(chǔ)所有Id的臨時(shí)表即可(這也是最耗費(fèi)性能的地方)。
CREATE TEMPORARY TABLE _tmp (KEY SORT(random))
SELECT id, FLOOR(RAND() * 0x8000000) random
FROM city;
ALTER TABLE _tmp ADD OFFSET INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, DROP INDEX SORT,ORDER BY random;
接下來就可以向下面一樣執(zhí)行分頁查詢了。
SELECT *
FROM _tmp
WHERE OFFSET = $offset
ORDER BY OFFSET
LIMIT $perpage;
簡單來說,對于分頁的優(yōu)化就是。。。避免數(shù)據(jù)量大時(shí)掃描過多的記錄。
1、首先我們建立一個(gè)表表的數(shù)據(jù),這個(gè)表里有25條數(shù)據(jù),id從1到25。(下圖是部分截圖)
2、要分頁數(shù)據(jù),首先我們假設(shè)一頁有10條數(shù)據(jù),我們可以用mysql的 limit關(guān)鍵字來限定返回多少條數(shù)據(jù)。并且用order by來排序數(shù)據(jù),這里用 id來排序。所以第一頁的sql可以如圖這樣寫。
3、執(zhí)行后得到的數(shù)據(jù)如圖,就是 id從1到10的前10條數(shù)據(jù),因?yàn)槲覀兪前磇d升序來排序的。
4、上面第一頁的sql是簡化的寫法,完整的寫法如圖,得到的結(jié)果和上圖的一模一樣。代碼里 limit 0, 10 的意思是從第一條數(shù)據(jù)開始,取10條數(shù)據(jù)。(注意的是第一條數(shù)據(jù)是從0開始的)
5、那么第二頁的數(shù)據(jù),關(guān)鍵是要知道是從哪一條數(shù)據(jù)開始,可以用這個(gè)公式得到: (頁碼-1) ?* 每頁顯示多少條,即 (2-1) * 10 = 10, 所以sql語句如圖, limit 10, 10。
6、執(zhí)行后,結(jié)果正確,得到id從11到20的10條數(shù)據(jù)。
7、同理第三頁數(shù)據(jù)的sql如圖,br/就是 limit 20, 10。
8、查詢的結(jié)果如圖,因?yàn)檫@頁只剩下5條數(shù)據(jù)了,所以只顯示5條數(shù)據(jù)。如果你有更多頁的數(shù)據(jù),后面的數(shù)據(jù)只需要按上面的公式,得到從哪行開始,就可以寫對應(yīng)的sql語句了。
網(wǎng)站標(biāo)題:mysql每頁怎么算 mysql一頁
轉(zhuǎn)載注明:http://muchs.cn/article44/hggoee.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供Google、自適應(yīng)網(wǎng)站、網(wǎng)站制作、外貿(mào)建站、搜索引擎優(yōu)化、營銷型網(wǎng)站建設(shè)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)