MySQL數(shù)據(jù)庫優(yōu)化的5個(gè)階段

下文主要給大家?guī)鞰ySQL數(shù)據(jù)庫優(yōu)化的5個(gè)階段，希望這些內(nèi)容能夠帶給大家實(shí)際用處，這也是我編輯MySQL數(shù)據(jù)庫優(yōu)化的5個(gè)階段這篇文章的主要目的。好了，廢話不多說，大家直接看下文吧。 

創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),紅山企業(yè)網(wǎng)站建設(shè),紅山品牌網(wǎng)站建設(shè),網(wǎng)站定制,紅山網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,紅山網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競爭力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

1、數(shù)據(jù)庫表設(shè)計(jì)

項(xiàng)目立項(xiàng)后，開發(fā)部根據(jù)產(chǎn)品部需求開發(fā)項(xiàng)目，開發(fā)工程師工作其中一部分就是對表結(jié)構(gòu)設(shè)計(jì)。對于數(shù)據(jù)庫來說，這點(diǎn)很重要，如果設(shè)計(jì)不當(dāng)，會直接影響訪問速度和用戶體驗(yàn)。影響的因素很多，比如慢查詢、低效的查詢語句、沒有適當(dāng)建立索引、數(shù)據(jù)庫堵塞（死鎖）等。當(dāng)然，有測試工程師的團(tuán)隊(duì)，會做壓力測試，找bug。對于沒有測試工程師的團(tuán)隊(duì)來說，大多數(shù)開發(fā)工程師初期不會太多考慮數(shù)據(jù)庫設(shè)計(jì)是否合理，而是盡快完成功能實(shí)現(xiàn)和交付，等項(xiàng)目有一定訪問量后，隱藏的問題就會暴露，這時(shí)再去修改就不是這么容易的事了。

 

2、數(shù)據(jù)庫部署

該運(yùn)維工程師出場了，項(xiàng)目初期訪問量不會很大，所以單臺部署足以應(yīng)對在1500左右的QPS（每秒查詢率）。考慮到高可用性，可采用MySQL主從復(fù)制+Keepalived做雙擊熱備，常見集群軟件有Keepalived、Heartbeat。

3、數(shù)據(jù)庫性能優(yōu)化

如果將MySQL部署到普通的X86云服務(wù)器上，在不經(jīng)過任何優(yōu)化情況下，MySQL理論值正?？梢蕴幚?000左右QPS，經(jīng)過優(yōu)化后，有可能會提升到2500左右QPS，否則，訪問量當(dāng)達(dá)到1500左右并發(fā)連接時(shí)，數(shù)據(jù)庫處理性能就會變慢，而且硬件資源還很富裕，這時(shí)就該考慮軟件問題了。那么怎樣讓數(shù)據(jù)庫最大化發(fā)揮性能呢？一方面可以單臺運(yùn)行多個(gè)MySQL實(shí)例讓云服務(wù)器性能發(fā)揮到最大化，另一方面是對數(shù)據(jù)庫進(jìn)行優(yōu)化，往往操作系統(tǒng)和數(shù)據(jù)庫默認(rèn)配置都比較保守，會對數(shù)據(jù)庫發(fā)揮有一定限制，可對這些配置進(jìn)行適當(dāng)?shù)恼{(diào)整，盡可能的處理更多連接數(shù)。

具體優(yōu)化有以下三個(gè)層面

3.1 數(shù)據(jù)庫配置優(yōu)化

MySQL常用有兩種存儲引擎，一個(gè)是MyISAM，不支持事務(wù)處理，讀性能處理快，表級別鎖。另一個(gè)是InnoDB，支持事務(wù)處理（ACID），設(shè)計(jì)目標(biāo)是為處理大容量數(shù)據(jù)發(fā)揮最大化性能，行級別鎖。

表鎖：開銷小，鎖定粒度大，發(fā)生死鎖概率高，相對并發(fā)也低。

行鎖：開銷大，鎖定粒度小，發(fā)生死鎖概率低，相對并發(fā)也高。

為什么會出現(xiàn)表鎖和行鎖呢？主要是為了保證數(shù)據(jù)的完整性，舉個(gè)例子，一個(gè)用戶在操作一張表，其他用戶也想操作這張表，那么就要等第一個(gè)用戶操作完，其他用戶才能操作，表鎖和行鎖就是這個(gè)作用。否則多個(gè)用戶同時(shí)操作一張表，肯定會數(shù)據(jù)產(chǎn)生沖突或者異常。

根據(jù)以上看來，使用InnoDB存儲引擎是最好的選擇，也是MySQL5.5以后版本中默認(rèn)存儲引擎。每個(gè)存儲引擎相關(guān)聯(lián)參數(shù)比較多，以下列出主要影響數(shù)據(jù)庫性能的參數(shù)。

公共參數(shù)默認(rèn)值：

MyISAM參數(shù)默認(rèn)值：

  

key_buffer_size = 16M

#索引緩存區(qū)大小，一般設(shè)置物理內(nèi)存的30-40%

read_buffer_size = 128K

#讀操作緩沖區(qū)大小，推薦設(shè)置16M或32M

   

InnoDB參數(shù)默認(rèn)值：

innodb_buffer_pool_size = 128M

#索引和數(shù)據(jù)緩沖區(qū)大小，一般設(shè)置物理內(nèi)存的60%-70%

innodb_buffer_pool_instances = 1

#緩沖池實(shí)例個(gè)數(shù)，推薦設(shè)置4個(gè)或8個(gè)

innodb_flush_log_at_trx_commit = 1

#關(guān)鍵參數(shù)，0代表大約每秒寫入到日志并同步到磁盤，數(shù)據(jù)庫故障會丟失1秒左右事務(wù)數(shù)據(jù)。1為每執(zhí)行一條SQL后寫入到日志并同步到磁盤，I/O開銷大，執(zhí)行完SQL要等待日志讀寫，效率低。2代表只把日志寫入到系統(tǒng)緩存區(qū)，再每秒同步到磁盤，效率很高，如果云服務(wù)器故障，才會丟失事務(wù)數(shù)據(jù)。對數(shù)據(jù)安全性要求不是很高的推薦設(shè)置2，性能高，修改后效果明顯。

innodb_file_per_table = OFF

#默認(rèn)是共享表空間，共享表空間idbdata文件不斷增大，影響一定的I/O性能。推薦開啟獨(dú)立表空間模式，每個(gè)表的索引和數(shù)據(jù)都存在自己獨(dú)立的表空間中，可以實(shí)現(xiàn)單表在不同數(shù)據(jù)庫中移動。

innodb_log_buffer_size = 8M

#日志緩沖區(qū)大小，由于日志最長每秒鐘刷新一次，所以一般不用超過16M

   

3.2 系統(tǒng)內(nèi)核優(yōu)化

大多數(shù)MySQL都部署在linux系統(tǒng)上，所以操作系統(tǒng)的一些參數(shù)也會影響到MySQL性能，以下對linux內(nèi)核進(jìn)行適當(dāng)優(yōu)化。

   

在linux系統(tǒng)中，如果進(jìn)程打開的文件句柄數(shù)量超過系統(tǒng)默認(rèn)值1024，就會提示“too many files open”信息，所以要調(diào)整打開文件句柄限制。

   

3.3 硬件配置

加大物理內(nèi)存，提高文件系統(tǒng)性能。linux內(nèi)核會從內(nèi)存中分配出緩存區(qū)（系統(tǒng)緩存和數(shù)據(jù)緩存）來存放熱數(shù)據(jù)，通過文件系統(tǒng)延遲寫入機(jī)制，等滿足條件時(shí)（如緩存區(qū)大小到達(dá)一定百分比或者執(zhí)行sync命令）才會同步到磁盤。也就是說物理內(nèi)存越大，分配緩存區(qū)越大，緩存數(shù)據(jù)越多。當(dāng)然，云服務(wù)器故障會丟失一定的緩存數(shù)據(jù)。

SSD硬盤代替SAS硬盤，將RAID級別調(diào)整為RAID1+0，相對于RAID1和RAID5有更好的讀寫性能（IOPS），畢竟數(shù)據(jù)庫的壓力主要來自磁盤I/O方面。

 

4、數(shù)據(jù)庫架構(gòu)擴(kuò)展

隨著業(yè)務(wù)量越來越大，單臺數(shù)據(jù)庫云服務(wù)器性能已無法滿足業(yè)務(wù)需求，該考慮加機(jī)器了，該做集群了~~~。主要思想是分解單臺數(shù)據(jù)庫負(fù)載，突破磁盤I/O性能，熱數(shù)據(jù)存放緩存中，降低磁盤I/O訪問頻率。

4.1 主從復(fù)制與讀寫分離

因?yàn)樯a(chǎn)環(huán)境中，數(shù)據(jù)庫大多都是讀操作，所以部署一主多從架構(gòu)，主數(shù)據(jù)庫負(fù)責(zé)寫操作，并做雙擊熱備，多臺從數(shù)據(jù)庫做負(fù)載均衡，負(fù)責(zé)讀操作，主流的負(fù)載均衡器有LVS、HAProxy、Nginx。怎么來實(shí)現(xiàn)讀寫分離呢？大多數(shù)企業(yè)是在代碼層面實(shí)現(xiàn)讀寫分離，效率比較高。另一個(gè)種方式通過代理程序?qū)崿F(xiàn)讀寫分離，企業(yè)中應(yīng)用較少，常見代理程序有MySQL Proxy、Amoeba。在這樣數(shù)據(jù)庫集群架構(gòu)中，大大增加數(shù)據(jù)庫高并發(fā)能力，解決單臺性能瓶頸問題。如果從數(shù)據(jù)庫一臺從庫能處理2000 QPS，那么5臺就能處理1w QPS，數(shù)據(jù)庫橫向擴(kuò)展性也很容易。

有時(shí)，面對大量寫操作的應(yīng)用時(shí)，單臺寫性能達(dá)不到業(yè)務(wù)需求。如果做雙主，就會遇到數(shù)據(jù)庫數(shù)據(jù)不一致現(xiàn)象，產(chǎn)生這個(gè)原因是在應(yīng)用程序不同的用戶會有可能操作兩臺數(shù)據(jù)庫，同時(shí)的更新操作造成兩臺數(shù)據(jù)庫數(shù)據(jù)庫數(shù)據(jù)發(fā)生沖突或者不一致。在單庫時(shí)MySQL利用存儲引擎機(jī)制表鎖和行鎖來保證數(shù)據(jù)完整性，怎樣在多臺主庫時(shí)解決這個(gè)問題呢？有一套基于perl語言開發(fā)的主從復(fù)制管理工具，叫MySQL-MMM（Master-Master replication managerfor Mysql，Mysql主主復(fù)制管理器），這個(gè)工具最大的優(yōu)點(diǎn)是在同一時(shí)間只提供一臺數(shù)據(jù)庫寫操作，有效保證數(shù)據(jù)一致性。

4.2 增加緩存

給數(shù)據(jù)庫增加緩存系統(tǒng)，把熱數(shù)據(jù)緩存到內(nèi)存中，如果內(nèi)存緩存中有要請求的數(shù)據(jù)就不再去數(shù)據(jù)庫中返回結(jié)果，提高讀性能。緩存實(shí)現(xiàn)有本地緩存和分布式緩存，本地緩存是將數(shù)據(jù)緩存到本地云服務(wù)器內(nèi)存中或者文件中，速度快。分布式可以緩存海量數(shù)據(jù)，擴(kuò)展容易，主流的分布式緩存系統(tǒng)有memcached、redis，memcached性能穩(wěn)定，數(shù)據(jù)緩存在內(nèi)存中，速度很快，QPS可達(dá)8w左右。如果想數(shù)據(jù)持久化那就用redis，性能不低于memcached。

工作過程：

4.3 分庫

分庫是根據(jù)業(yè)務(wù)不同把相關(guān)的表切分到不同的數(shù)據(jù)庫中，比如web、bbs、blog等庫。如果業(yè)務(wù)量很大，還可將切分后的庫做主從架構(gòu)，進(jìn)一步避免單個(gè)庫壓力過大。

4.4 分表

數(shù)據(jù)量的日劇增加，數(shù)據(jù)庫中某個(gè)表有幾百萬條數(shù)據(jù)，導(dǎo)致查詢和插入耗時(shí)太長，怎么能解決單表壓力呢？你就該考慮是否把這個(gè)表拆分成多個(gè)小表，來減輕單個(gè)表的壓力，提高處理效率，此方式稱為分表。

分表技術(shù)比較麻煩，要修改程序代碼里的SQL語句，還要手動去創(chuàng)建其他表，也可以用merge存儲引擎實(shí)現(xiàn)分表，相對簡單許多。分表后，程序是對一個(gè)總表進(jìn)行操作，這個(gè)總表不存放數(shù)據(jù)，只有一些分表的關(guān)系，以及更新數(shù)據(jù)的方式，總表會根據(jù)不同的查詢，將壓力分到不同的小表上，因此提高并發(fā)能力和磁盤I/O性能。

分表分為垂直拆分和水平拆分：

垂直拆分：把原來的一個(gè)很多字段的表拆分多個(gè)表，解決表的寬度問題。你可以把不常用的字段單獨(dú)放到一個(gè)表中，也可以把大字段獨(dú)立放一個(gè)表中，或者把關(guān)聯(lián)密切的字段放一個(gè)表中。

水平拆分：把原來一個(gè)表拆分成多個(gè)表，每個(gè)表的結(jié)構(gòu)都一樣，解決單表數(shù)據(jù)量大的問題。

4.5 分區(qū)

分區(qū)就是把一張表的數(shù)據(jù)分成多個(gè)區(qū)塊，這些區(qū)塊可以在一個(gè)磁盤上，也可以在不同的磁盤上，分區(qū)后，表面上還是一張表，但數(shù)據(jù)散列在多個(gè)位置，這樣一來，多塊硬盤同時(shí)處理不同的請求，從而提高磁盤I/O讀寫性能，實(shí)現(xiàn)比較簡單。

注：增加緩存、分庫、分表和分區(qū)主要由程序猿來實(shí)現(xiàn)。

 

5、數(shù)據(jù)庫維護(hù)

數(shù)據(jù)庫維護(hù)是運(yùn)維工程師或者DBA主要工作，包括性能監(jiān)控、性能分析、性能調(diào)優(yōu)、數(shù)據(jù)庫備份和恢復(fù)等。

5.1 性能狀態(tài)關(guān)鍵指標(biāo)

QPS，Queries Per Second：每秒查詢數(shù)，一臺數(shù)據(jù)庫每秒能夠處理的查詢次數(shù)

TPS，Transactions Per Second：每秒處理事務(wù)數(shù)

通過show status查看運(yùn)行狀態(tài)，會有300多條狀態(tài)信息記錄，其中有幾個(gè)值幫可以我們計(jì)算出QPS和TPS，如下：

Uptime：云服務(wù)器已經(jīng)運(yùn)行的實(shí)際，單位秒
Questions：已經(jīng)發(fā)送給數(shù)據(jù)庫查詢數(shù)
Com_select：查詢次數(shù)，實(shí)際操作數(shù)據(jù)庫的
Com_insert：插入次數(shù)
Com_delete：刪除次數(shù)
Com_update：更新次數(shù)
Com_commit：事務(wù)次數(shù)
Com_rollback：回滾次數(shù)

那么，計(jì)算方法來了，基于Questions計(jì)算出QPS：

mysql> show global status like 'Questions';

mysql> show global status like 'Uptime';

   

QPS = Questions / Uptime
基于Com_commit和Com_rollback計(jì)算出TPS：

mysql> show global status like 'Com_commit';

mysql> show global status like 'Com_rollback';

mysql> show global status like 'Uptime';

TPS = (Com_commit + Com_rollback) / Uptime

   

另一計(jì)算方式：基于Com_select、Com_insert、Com_delete、Com_update計(jì)算出QPS

mysql> show global status where Variable_name in('com_select','com_insert','com_delete','com_update');

   

等待1秒再執(zhí)行，獲取間隔差值，第二次每個(gè)變量值減去第一次對應(yīng)的變量值，就是QPSSTPS計(jì)算方法：

mysql> show global status where Variable_name in('com_insert','com_delete','com_update');

   

計(jì)算TPS，就不算查詢操作了，計(jì)算出插入、刪除、更新四個(gè)值即可。

經(jīng)網(wǎng)友對這兩個(gè)計(jì)算方式的測試得出，當(dāng)數(shù)據(jù)庫中myisam表比較多時(shí)，使用Questions計(jì)算比較準(zhǔn)確。當(dāng)數(shù)據(jù)庫中innodb表比較多時(shí)，則以Com_*計(jì)算比較準(zhǔn)確。

5.2 開啟慢查詢?nèi)罩?/p>

MySQL開啟慢查詢?nèi)罩?，分析出哪條SQL語句比較慢，使用set設(shè)置變量，重啟服務(wù)失效，可以在my.cnf添加參數(shù)永久生效。

分析慢查詢?nèi)罩荆梢允褂肕ySQL自帶的mysqldumpslow工具，分析的日志較為簡單。

# mysqldumpslow -t 3 /var/log/mysql/mysql-slow.log #查看最慢的前三個(gè)查詢

也可以使用percona公司的pt-query-digest工具，日志分析功能全面，可分析slow log、binlog、general log。

分析慢查詢?nèi)罩荆簆t-query-digest /var/log/mysql/mysql-slow.log

分析binlog日志：mysqlbinlog mysql-bin.000001 >mysql-bin.000001.sql

pt-query-digest –type=binlog mysql-bin.000001.sql

分析普通日志：pt-query-digest –type=genlog localhost.log

5.3 數(shù)據(jù)庫備份

備份數(shù)據(jù)庫是最基本的工作，也是最重要的，否則后果很嚴(yán)重，你懂得！但由于數(shù)據(jù)庫比較大，上百G，往往備份都很耗費(fèi)時(shí)間，所以就該選擇一個(gè)效率高的備份策略，對于數(shù)據(jù)量大的數(shù)據(jù)庫，一般都采用增量備份。常用的備份工具有mysqldump、mysqlhotcopy、xtrabackup等，mysqldump比較適用于小的數(shù)據(jù)庫，因?yàn)槭沁壿媯浞?，所以備份和恢?fù)耗時(shí)都比較長。mysqlhotcopy和xtrabackup是物理備份，備份和恢復(fù)速度快，不影響數(shù)據(jù)庫服務(wù)情況下進(jìn)行熱拷貝，建議使用xtrabackup，支持增量備份。

5.4 數(shù)據(jù)庫修復(fù)

有時(shí)候MySQL云服務(wù)器突然斷電、異常關(guān)閉，會導(dǎo)致表損壞，無法讀取表數(shù)據(jù)。這時(shí)就可以用到MySQL自帶的兩個(gè)工具進(jìn)行修復(fù)，myisamchk和mysqlcheck。

myisamchk：只能修復(fù)myisam表，需要停止數(shù)據(jù)庫

常用參數(shù)：

-f –force 強(qiáng)制修復(fù)，覆蓋老的臨時(shí)文件，一般不使用
-r –recover 恢復(fù)模式
-q –quik 快速恢復(fù)
-a –analyze 分析表
-o –safe-recover 老的恢復(fù)模式，如果-r無法修復(fù)，可以使用此參數(shù)試試
-F –fast 只檢查沒有正常關(guān)閉的表

快速修復(fù)weibo數(shù)據(jù)庫:
# cd /var/lib/mysql/weibo
# myisamchk -r -q *.MYI

mysqlcheck：myisam和innodb表都可以用，不需要停止數(shù)據(jù)庫，如修復(fù)單個(gè)表，可在數(shù)據(jù)庫后面添加表名，以空格分割

常用參數(shù)：

-a –all-databases 檢查所有的庫
-r –repair 修復(fù)表
-c –check 檢查表，默認(rèn)選項(xiàng)
-a –analyze 分析表
-o –optimize 優(yōu)化表
-q –quik 最快檢查或修復(fù)表
-F –fast 只檢查沒有正常關(guān)閉的表
快速修復(fù)weibo數(shù)據(jù)庫:
mysqlcheck -r -q -uroot -p123 weibo

5.5 另外，查看CPU和I/O性能方法

#查看CPU性能

#參數(shù)-P是顯示CPU數(shù)，ALL為所有，也可以只顯示第幾顆

#查看I/O性能

#參數(shù)-m是以M單位顯示，默認(rèn)K
#%util：當(dāng)達(dá)到100%時(shí)，說明I/O很忙。
#await：請求在隊(duì)列中等待時(shí)間，直接影響read時(shí)間。
I/O極限：IOPS（r/s+w/s）,一般在1200左右。（IOPS，每秒進(jìn)行讀寫（I/O）操作次數(shù)）
I/O帶寬：在順序讀寫模式下SAS硬盤理論值在300M/s左右，SSD硬盤理論值在600M/s左右。

對于以上關(guān)于MySQL數(shù)據(jù)庫優(yōu)化的5個(gè)階段，大家是不是覺得非常有幫助。如果需要了解更多內(nèi)容，請繼續(xù)關(guān)注我們的行業(yè)資訊，相信你會喜歡上這些內(nèi)容的。

網(wǎng)站欄目：MySQL數(shù)據(jù)庫優(yōu)化的5個(gè)階段
當(dāng)前網(wǎng)址：http://muchs.cn/article14/pjjjge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App開發(fā)、網(wǎng)站設(shè)計(jì)公司、服務(wù)器托管、ChatGPT、做網(wǎng)站、動態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)