mysql怎么分庫分頁 24105掛機

mysql數(shù)據(jù)庫分頁

很多應用往往只展示最新或最熱門的幾條記錄，但為了舊記錄仍然可訪問，所以就需要個分頁的導航欄。然而，如何通過MySQL更好的實現(xiàn)分頁，始終是比較令人頭疼的問題。雖然沒有拿來就能用的解決辦法，但了解數(shù)據(jù)庫的底層或多或少有助于優(yōu)化分頁查詢。

成都創(chuàng)新互聯(lián)是一家集網(wǎng)站建設,濱海新區(qū)企業(yè)網(wǎng)站建設,濱海新區(qū)品牌網(wǎng)站建設,網(wǎng)站定制,濱海新區(qū)網(wǎng)站建設報價,網(wǎng)絡營銷,網(wǎng)絡優(yōu)化,濱海新區(qū)網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強企業(yè)競爭力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學習、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網(wǎng)站。

我們先從一個常用但性能很差的查詢來看一看。

SELECT *

FROM city

ORDER BY id DESC

LIMIT 0, 15

這個查詢耗時0.00sec。So，這個查詢有什么問題呢？實際上，這個查詢語句和參數(shù)都沒有問題，因為它用到了下面表的主鍵，而且只讀取15條記錄。

CREATE TABLE city (

id int(10) unsigned NOT NULL AUTO_INCREMENT,

city varchar(128) NOT NULL,

PRIMARY KEY (id)

) ENGINE=InnoDB;

真正的問題在于offset(分頁偏移量)很大的時候，像下面這樣：

SELECT *

FROM city

ORDER BY id DESC

LIMIT 100000, 15;

上面的查詢在有2M行記錄時需要0.22sec，通過EXPLAIN查看SQL的執(zhí)行計劃可以發(fā)現(xiàn)該SQL檢索了100015行，但最后只需要15行。大的分頁偏移量會增加使用的數(shù)據(jù)，MySQL會將大量最終不會使用的數(shù)據(jù)加載到內(nèi)存中。就算我們假設大部分網(wǎng)站的用戶只訪問前幾頁數(shù)據(jù)，但少量的大的分頁偏移量的請求也會對整個系統(tǒng)造成危害。Facebook意識到了這一點，但Facebook并沒有為了每秒可以處理更多的請求而去優(yōu)化數(shù)據(jù)庫，而是將重心放在將請求響應時間的方差變小。

對于分頁請求，還有一個信息也很重要，就是總共的記錄數(shù)。我們可以通過下面的查詢很容易的獲取總的記錄數(shù)。

SELECT COUNT(*)

FROM city;

然而，上面的SQL在采用InnoDB為存儲引擎時需要耗費9.28sec。一個不正確的優(yōu)化是采用 SQL_CALC_FOUND_ROWS,SQL_CALC_FOUND_ROWS 可以在能夠在分頁查詢時事先準備好符合條件的記錄數(shù)，隨后只要執(zhí)行一句 select FOUND_ROWS(); 就能獲得總記錄數(shù)。但是在大多數(shù)情況下，查詢語句簡短并不意味著性能的提高。不幸的是，這種分頁查詢方式在許多主流框架中都有用到，下面看看這個語句的查詢性能。

SELECT SQL_CALC_FOUND_ROWS *

FROM city

ORDER BY id DESC

LIMIT 100000, 15;

這個語句耗時20.02sec，是上一個的兩倍。事實證明使用 SQL_CALC_FOUND_ROWS 做分頁是很糟糕的想法。

下面來看看到底如何優(yōu)化。文章分為兩部分，第一部分是如何獲取記錄的總數(shù)目，第二部分是獲取真正的記錄。

高效的計算行數(shù)

如果采用的引擎是MyISAM，可以直接執(zhí)行COUNT(*)去獲取行數(shù)即可。相似的，在堆表中也會將行數(shù)存儲到表的元信息中。但如果引擎是InnoDB情況就會復雜一些，因為InnoDB不保存表的具體行數(shù)。

我們可以將行數(shù)緩存起來，然后可以通過一個守護進程定期更新或者用戶的某些操作導致緩存失效時，執(zhí)行下面的語句：

SELECT COUNT(*)

FROM city

USE INDEX(PRIMARY);

獲取記錄

下面進入這篇文章最重要的部分，獲取分頁要展示的記錄。上面已經(jīng)說過了，大的偏移量會影響性能，所以我們要重寫查詢語句。為了演示，我們創(chuàng)建一個新的表“news”，按照時事性排序(最新發(fā)布的在最前面)，實現(xiàn)一個高性能的分頁。為了簡單，我們就假設最新發(fā)布的新聞的Id也是最大的。

CREATE TABLE news(

id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,

title VARCHAR(128) NOT NULL

) ENGINE=InnoDB;

一個比較高效的方式是基于用戶展示的最后一個新聞Id。查詢下一頁的語句如下，需要傳入當前頁面展示的最后一個Id。

SELECT *

FROM news WHERE id $last_id

ORDER BY id DESC

LIMIT $perpage

查詢上一頁的語句類似，只不過需要傳入當前頁的第一個Id，并且要逆序。

SELECT *

FROM news WHERE id $last_id

ORDER BY id ASC

LIMIT $perpage

上面的查詢方式適合實現(xiàn)簡易的分頁，即不顯示具體的頁數(shù)導航，只顯示“上一頁”和“下一頁”，例如博客中頁腳顯示“上一頁”，“下一頁”的按鈕。但如果要實現(xiàn)真正的頁面導航還是很難的,下面看看另一種方式。

SELECT id

FROM (

SELECT id, ((@cnt:= @cnt + 1) + $perpage - 1) % $perpage cnt

FROM news

JOIN (SELECT @cnt:= 0)T

WHERE id $last_id

ORDER BY id DESC

LIMIT $perpage * $buttons

)C

WHERE cnt = 0;

通過上面的語句可以為每一個分頁的按鈕計算出一個offset對應的id。這種方法還有一個好處。假設，網(wǎng)站上正在發(fā)布一片新的文章，那么所有文章的位置都會往后移一位，所以如果用戶在發(fā)布文章時換頁，那么他會看見一篇文章兩次。如果固定了每個按鈕的offset Id，這個問題就迎刃而解了。Mark Callaghan發(fā)表過一篇類似的博客，利用了組合索引和兩個位置變量，但是基本思想是一致的。

如果表中的記錄很少被刪除、修改，還可以將記錄對應的頁碼存儲到表中，并在該列上創(chuàng)建合適的索引。采用這種方式，當新增一個記錄的時候，需要執(zhí)行下面的查詢重新生成對應的頁號。

SET p:= 0;

UPDATE news SET page=CEIL((p:= p + 1) / $perpage) ORDER BY id DESC;

當然，也可以新增一個專用于分頁的表，可以用個后臺程序來維護。

UPDATE pagination T

JOIN (

SELECT id, CEIL((p:= p + 1) / $perpage) page

FROM news

ORDER BY id

)C

ON C.id = T.id

SET T.page = C.page;

現(xiàn)在想獲取任意一頁的元素就很簡單了：

SELECT *

FROM news A

JOIN pagination B ON A.id=B.ID

WHERE page=$offset;

還有另外一種與上種方法比較相似的方法來做分頁，這種方式比較試用于數(shù)據(jù)集相對小，并且沒有可用的索引的情況下—比如處理搜索結(jié)果時。在一個普通的服務器上執(zhí)行下面的查詢，當有2M條記錄時，要耗費2sec左右。這種方式比較簡單，創(chuàng)建一個用來存儲所有Id的臨時表即可(這也是最耗費性能的地方)。

CREATE TEMPORARY TABLE _tmp (KEY SORT(random))

SELECT id, FLOOR(RAND() * 0x8000000) random

FROM city;

ALTER TABLE _tmp ADD OFFSET INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, DROP INDEX SORT,ORDER BY random;

接下來就可以向下面一樣執(zhí)行分頁查詢了。

SELECT *

FROM _tmp

WHERE OFFSET = $offset

ORDER BY OFFSET

LIMIT $perpage;

簡單來說，對于分頁的優(yōu)化就是。。。避免數(shù)據(jù)量大時掃描過多的記錄。

mysql 數(shù)據(jù)庫 分表后 怎么進行分頁查詢？Mysql分庫分表方案

你可以先count一下各分表，再根據(jù)頁數(shù)來取數(shù)據(jù)

或都使用中間件進行取數(shù)據(jù)

MySQL數(shù)據(jù)庫性能優(yōu)化之分區(qū)分表分庫

分表是分散數(shù)據(jù)庫壓力的好方法。

分表，最直白的意思，就是將一個表結(jié)構(gòu)分為多個表，然后，可以再同一個庫里，也可以放到不同的庫。

當然，首先要知道什么情況下，才需要分表。個人覺得單表記錄條數(shù)達到百萬到千萬級別時就要使用分表了。

分表的分類

**1、縱向分表**

將本來可以在同一個表的內(nèi)容，人為劃分為多個表。（所謂的本來，是指按照關系型數(shù)據(jù)庫的第三范式要求，是應該在同一個表的。）

分表理由：根據(jù)數(shù)據(jù)的活躍度進行分離，（因為不同活躍的數(shù)據(jù)，處理方式是不同的）

案例：

對于一個博客系統(tǒng)，文章標題，作者，分類，創(chuàng)建時間等，是變化頻率慢，查詢次數(shù)多，而且最好有很好的實時性的數(shù)據(jù)，我們把它叫做冷數(shù)據(jù)。而博客的瀏覽量，回復數(shù)等，類似的統(tǒng)計信息，或者別的變化頻率比較高的數(shù)據(jù)，我們把它叫做活躍數(shù)據(jù)。所以，在進行數(shù)據(jù)庫結(jié)構(gòu)設計的時候，就應該考慮分表，首先是縱向分表的處理。

這樣縱向分表后：

首先存儲引擎的使用不同，冷數(shù)據(jù)使用MyIsam 可以有更好的查詢數(shù)據(jù)。活躍數(shù)據(jù)，可以使用Innodb ,可以有更好的更新速度。

其次，對冷數(shù)據(jù)進行更多的從庫配置，因為更多的操作時查詢，這樣來加快查詢速度。對熱數(shù)據(jù)，可以相對有更多的主庫的橫向分表處理。

其實，對于一些特殊的活躍數(shù)據(jù)，也可以考慮使用memcache ,redis之類的緩存，等累計到一定量再去更新數(shù)據(jù)庫?；蛘適ongodb 一類的nosql 數(shù)據(jù)庫，這里只是舉例，就先不說這個。

**2、橫向分表**

字面意思，就可以看出來，是把大的表結(jié)構(gòu)，橫向切割為同樣結(jié)構(gòu)的不同表，如，用戶信息表，user_1,user_2等。表結(jié)構(gòu)是完全一樣，但是，根據(jù)某些特定的規(guī)則來劃分的表，如根據(jù)用戶ID來取模劃分。

分表理由：根據(jù)數(shù)據(jù)量的規(guī)模來劃分，保證單表的容量不會太大，從而來保證單表的查詢等處理能力。

案例：同上面的例子，博客系統(tǒng)。當博客的量達到很大時候，就應該采取橫向分割來降低每個單表的壓力，來提升性能。例如博客的冷數(shù)據(jù)表，假如分為100個表，當同時有100萬個用戶在瀏覽時，如果是單表的話，會進行100萬次請求，而現(xiàn)在分表后，就可能是每個表進行1萬個數(shù)據(jù)的請求（因為，不可能絕對的平均，只是假設），這樣壓力就降低了很多很多。

延伸：為什么要分表和分區(qū)？

日常開發(fā)中我們經(jīng)常會遇到大表的情況，所謂的大表是指存儲了百萬級乃至千萬級條記錄的表。這樣的表過于龐大，導致數(shù)據(jù)庫在查詢和插入的時候耗時太長，性能低下，如果涉及聯(lián)合查詢的情況，性能會更加糟糕。分表和表分區(qū)的目的就是減少數(shù)據(jù)庫的負擔，提高數(shù)據(jù)庫的效率，通常點來講就是提高表的增刪改查效率。

什么是分表？

分表是將一個大表按照一定的規(guī)則分解成多張具有獨立存儲空間的實體表，我們可以稱為子表，每個表都對應三個文件，MYD數(shù)據(jù)文件，.MYI索引文件，.frm表結(jié)構(gòu)文件。這些子表可以分布在同一塊磁盤上，也可以在不同的機器上。app讀寫的時候根據(jù)事先定義好的規(guī)則得到對應的子表名，然后去操作它。

什么是分區(qū)？

分區(qū)和分表相似，都是按照規(guī)則分解表。不同在于分表將大表分解為若干個獨立的實體表，而分區(qū)是將數(shù)據(jù)分段劃分在多個位置存放，可以是同一塊磁盤也可以在不同的機器。分區(qū)后，表面上還是一張表，但數(shù)據(jù)散列到多個位置了。app讀寫的時候操作的還是大表名字，db自動去組織分區(qū)的數(shù)據(jù)。

**MySQL分表和分區(qū)有什么聯(lián)系呢？**

1、都能提高mysql的性高，在高并發(fā)狀態(tài)下都有一個良好的表現(xiàn)。

2、分表和分區(qū)不矛盾，可以相互配合的，對于那些大訪問量，并且表數(shù)據(jù)比較多的表，我們可以采取分表和分區(qū)結(jié)合的方式（如果merge這種分表方式，不能和分區(qū)配合的話，可以用其他的分表試），訪問量不大，但是表數(shù)據(jù)很多的表，我們可以采取分區(qū)的方式等。

3、分表技術(shù)是比較麻煩的，需要手動去創(chuàng)建子表，app服務端讀寫時候需要計算子表名。采用merge好一些，但也要創(chuàng)建子表和配置子表間的union關系。

4、表分區(qū)相對于分表，操作方便，不需要創(chuàng)建子表。

我們知道對于大型的互聯(lián)網(wǎng)應用，數(shù)據(jù)庫單表的數(shù)據(jù)量可能達到千萬甚至上億級別，同時面臨這高并發(fā)的壓力。Master-Slave結(jié)構(gòu)只能對數(shù)據(jù)庫的讀能力進行擴展，寫操作還是集中在Master中，Master并不能無限制的掛接Slave庫，如果需要對數(shù)據(jù)庫的吞吐能力進行進一步的擴展，可以考慮采用分庫分表的策略。

**1、分表**

在分表之前，首先要選中合適的分表策略（以哪個字典為分表字段，需要將數(shù)據(jù)分為多少張表），使數(shù)據(jù)能夠均衡的分布在多張表中，并且不影響正常的查詢。在企業(yè)級應用中，往往使用org_id(組織主鍵)做為分表字段，在互聯(lián)網(wǎng)應用中往往是userid。在確定分表策略后，當數(shù)據(jù)進行存儲及查詢時，需要確定到哪張表里去查找數(shù)據(jù)，

數(shù)據(jù)存放的數(shù)據(jù)表 = 分表字段的內(nèi)容 % 分表數(shù)量

**2、分庫**

分表能夠解決單表數(shù)據(jù)量過大帶來的查詢效率下降的問題，但是不能給數(shù)據(jù)庫的并發(fā)訪問帶來質(zhì)的提升，面對高并發(fā)的寫訪問，當Master無法承擔高并發(fā)的寫入請求時，不管如何擴展Slave服務器，都沒有意義了。我們通過對數(shù)據(jù)庫進行拆分，來提高數(shù)據(jù)庫的寫入能力，即所謂的分庫。分庫采用對關鍵字取模的方式，對數(shù)據(jù)庫進行路由。

數(shù)據(jù)存放的數(shù)據(jù)庫=分庫字段的內(nèi)容%數(shù)據(jù)庫的數(shù)量

**3、即分表又分庫**

數(shù)據(jù)庫分表可以解決單表海量數(shù)據(jù)的查詢性能問題，分庫可以解決單臺數(shù)據(jù)庫的并發(fā)訪問壓力問題。

當數(shù)據(jù)庫同時面臨海量數(shù)據(jù)存儲和高并發(fā)訪問的時候，需要同時采取分表和分庫策略。一般分表分庫策略如下：

中間變量 = 關鍵字%（數(shù)據(jù)庫數(shù)量*單庫數(shù)據(jù)表數(shù)量）

庫 = 取整（中間變量/單庫數(shù)據(jù)表數(shù)量）

表 = （中間變量%單庫數(shù)據(jù)表數(shù)量）

實例：

1、分庫分表

很明顯，一個主表（也就是很重要的表，例如用戶表）無限制的增長勢必嚴重影響性能，分庫與分表是一個很不錯的解決途徑，也就是性能優(yōu)化途徑，現(xiàn)在的案例是我們有一個1000多萬條記錄的用戶表members,查詢起來非常之慢，同事的做法是將其散列到100個表中，分別從members0到members99，然后根據(jù)mid分發(fā)記錄到這些表中，牛逼的代碼大概是這樣子：

復制代碼 代碼如下:

?php

for($i=0;$i 100; $i++ ){

//echo "CREATE TABLE db2.members{$i} LIKE db1.members

";

echo "INSERT INTO members{$i} SELECT * FROM members WHERE mid%100={$i}

";

}

?

2、不停機修改mysql表結(jié)構(gòu)

同樣還是members表，前期設計的表結(jié)構(gòu)不盡合理，隨著數(shù)據(jù)庫不斷運行，其冗余數(shù)據(jù)也是增長巨大，同事使用了下面的方法來處理：

先創(chuàng)建一個臨時表：

/*創(chuàng)建臨時表*/

CREATE TABLE members_tmp LIKE members

然后修改members_tmp的表結(jié)構(gòu)為新結(jié)構(gòu)，接著使用上面那個for循環(huán)來導出數(shù)據(jù)，因為1000萬的數(shù)據(jù)一次性導出是不對的，mid是主鍵，一個區(qū)間一個區(qū)間的導，基本是一次導出5萬條吧，這里略去了

接著重命名將新表替換上去：

/*這是個頗為經(jīng)典的語句哈*/

RENAME TABLE members TO members_bak,members_tmp TO members;

就是這樣，基本可以做到無損失，無需停機更新表結(jié)構(gòu)，但實際上RENAME期間表是被鎖死的，所以選擇在線少的時候操作是一個技巧。經(jīng)過這個操作，使得原先8G多的表，一下子變成了2G多。

MySQL分頁的sql語言怎么寫？

1、首先我們建立一個表表的數(shù)據(jù)，這個表里有25條數(shù)據(jù)，id從1到25。（下圖是部分截圖）

2、要分頁數(shù)據(jù)，首先我們假設一頁有10條數(shù)據(jù)，我們可以用mysql的limit關鍵字來限定返回多少條數(shù)據(jù)。并且用orderby來排序數(shù)據(jù)，這里用id來排序。所以第一頁的sql可以如圖這樣寫。

3、執(zhí)行后得到的數(shù)據(jù)如圖，就是id從1到10的前10條數(shù)據(jù)，因為我們是按id升序來排序的。

4、上面第一頁的sql是簡化的寫法，完整的寫法如圖，得到的結(jié)果和上圖的一模一樣。代碼里limit0,10的意思是從第一條數(shù)據(jù)開始，取10條數(shù)據(jù)。（注意的是第一條數(shù)據(jù)是從0開始的）

5、那么第二頁的數(shù)據(jù)，關鍵是要知道是從哪一條數(shù)據(jù)開始，可以用這個公式得到：(頁碼-1)?*每頁顯示多少條，即（2-1)*10=10,所以sql語句如圖,limit10,10。

6、執(zhí)行后，結(jié)果正確，得到id從11到20的10條數(shù)據(jù)。

7、同理第三頁數(shù)據(jù)的sql如圖，br/就是limit20,10。

8、查詢的結(jié)果如圖，因為這頁只剩下5條數(shù)據(jù)了，所以只顯示5條數(shù)據(jù)。如果你有更多頁的數(shù)據(jù)，后面的數(shù)據(jù)只需要按上面的公式，得到從哪行開始，就可以寫對應的sql語句了。

新聞名稱：mysql怎么分庫分頁 24105掛機
當前地址：http://muchs.cn/article2/doscioc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供域名注冊、標簽優(yōu)化、網(wǎng)站設計、響應式網(wǎng)站、服務器托管、云服務器

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)