mysql的io怎么優(yōu)化 數(shù)據(jù)庫io優(yōu)化

有哪些方法可以改善 MySQL 的 IO 瓶頸問題

通過sysbench的oltp_read_write測試來模擬業(yè)務(wù)壓力、以此來給指定的硬件環(huán)境配置一份比較合理的MySQL配置文件。

成都創(chuàng)新互聯(lián)主營大英網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,成都App制作,大英h5小程序設(shè)計搭建,大英網(wǎng)站營銷推廣歡迎大英等地區(qū)企業(yè)咨詢

環(huán)境介紹

硬件配置

請點擊輸入圖片描述

軟件環(huán)境

請點擊輸入圖片描述

優(yōu)化層級與指導(dǎo)思想

優(yōu)化層級

MySQL數(shù)據(jù)庫優(yōu)化可以在多個不同的層級進行，常見的有：

SQL優(yōu)化

參數(shù)優(yōu)化

架構(gòu)優(yōu)化

本文重點關(guān)注：參數(shù)優(yōu)化

指導(dǎo)思想

日志先行 -- 一個事務(wù)能否成功提交的關(guān)鍵是日志是否成功落盤，與數(shù)據(jù)沒有太大的關(guān)系；也就是說對寫的優(yōu)化可以表述為各方面的資源向?qū)懖僮鲀A斜。

瓶頸分析 -- 通過show global status 的各個計數(shù)器的值基本上就能分析出當前瓶頸所在，再結(jié)合一些簡單的系統(tǒng)層面的監(jiān)控工具如top iostat 就能明確瓶頸。

整體性能是“讀”“寫”之間的再平衡。

mysql使用io過高應(yīng)該怎么優(yōu)化

查找看看那個文件引起的負載過高，然后做優(yōu)化。

iostat ,iotop ,pt-ioprofile 或者別的工具

mysql 存儲過程執(zhí)行太慢怎么優(yōu)化

1.當我們請求mysql服務(wù)器的時候,MySQL前端會有一個監(jiān)聽,請求到了之后,服務(wù)器得到相關(guān)的SQL語句,執(zhí)行之前(虛線部分為執(zhí)行),還會做權(quán)限的判斷

2.通過權(quán)限之后,SQL就到MySQL內(nèi)部,他會在查詢緩存中,看該SQL有沒有執(zhí)行過,如果有查詢過,則把緩存結(jié)果返回,說明在MySQL內(nèi)部,也有一個查詢緩存.但是這個查詢緩存,默認是不開啟的,這個查詢緩存,和我們的Hibernate，Mybatis的查詢緩存是一樣的,因為查詢緩存要求SQL和參數(shù)都要一樣,所以這個命中率是非常低的（沒什么卵用的意思）。

3.如果我們沒有開啟查詢緩存,或者緩存中沒有找到對應(yīng)的結(jié)果,那么就到了解析器,解析器主要對SQL語法進行解析

4.解析結(jié)束后就變成一顆解析樹,這個解析樹其實在Hibernate里面也是有的,大家回憶一下,在以前做過Hibernate項目的時候,是不是有個一個antlr.jar。這個就是專門做語法解析的工具.因為在Hibernate里面有HQL，它就是通過這個工具轉(zhuǎn)換成SQL的,我們編程語言之所以有很多規(guī)范、語法,其實就是為了便于這個解析器解析,這個學(xué)過編譯原理的應(yīng)該知道.

5.得到解析樹之后,不能馬上執(zhí)行,這還需要對這棵樹進行預(yù)處理,也就是說,這棵樹,我沒有經(jīng)過任何優(yōu)化的樹,預(yù)處理器會這這棵樹進行一些預(yù)處理,比如常量放在什么地方,如果有計算的東西,把計算的結(jié)果算出來等等...

6.預(yù)處理完畢之后,此時得到一棵比較規(guī)范的樹,這棵樹就是要拿去馬上做執(zhí)行的樹,比起之前的那棵樹,這棵得到了一些優(yōu)化

7.查詢優(yōu)化器，是MySQL里面最關(guān)鍵的東西,我們寫任何一條SQL,比如SELECT * FROM USER WHERE USERNAME = toby AND PASSWORD = 1,它會怎么去執(zhí)行?它是先執(zhí)行username = toby還是password = 1?每一條SQL的執(zhí)行順序查詢優(yōu)化器就是根據(jù)MySQL對數(shù)據(jù)統(tǒng)計表的一些信息,比如索引,比如表一共有多少數(shù)據(jù),MySQL都是有緩存起來的,在真正執(zhí)行SQL之前,他會根據(jù)自己的這些數(shù)據(jù),進行一個綜合的判定,判斷這一次在多種執(zhí)行方式里面,到底選哪一種執(zhí)行方式,可能運行的最快.這一步是MySQL性能中,最關(guān)鍵的核心點,也是我們的優(yōu)化原則.我們平時所講的優(yōu)化SQL,其實說白了,就是想讓查詢優(yōu)化器,按照我們的想法,幫我們選擇最優(yōu)的執(zhí)行方案,因為我們比MySQL更懂我們的數(shù)據(jù).MySQL看數(shù)據(jù),僅僅只是自己收集到的信息,這些信息可能是不準確的,MySQL根據(jù)這些信息選了一個它自認為最優(yōu)的方案,但是這個方案可能和我們想象的不一樣.

8.這里的查詢執(zhí)行計劃,也就是MySQL查詢中的執(zhí)行計劃,比如要先執(zhí)行username = toby還是password = 1

9.這個執(zhí)行計劃會傳給查詢執(zhí)行引擎,執(zhí)行引擎選擇存儲引擎來執(zhí)行這一份傳過來的計劃,到磁盤中的文件中去查詢,這個時候重點來了,影響這個查詢性能最根本的原因是什么?就是硬盤的機械運動,也就是我們平時熟悉的IO,所以一條查詢語句是快還是慢,就是根據(jù)這個時間的IO來確定的.那怎么執(zhí)行IO又是什么來確定的?就是傳過來的這一份執(zhí)行計劃.(優(yōu)化就是制定一個我們認為最快的執(zhí)行方案,最節(jié)省IO,和執(zhí)行最快)

10.如果開了查詢緩存,則返回結(jié)果給客戶端,并且查詢緩存也放一份。

Mysql某個表有近千萬數(shù)據(jù)，CRUD比較慢，如何優(yōu)化？

數(shù)據(jù)千萬級別之多，占用的存儲空間也比較大，可想而知它不會存儲在一塊連續(xù)的物理空間上，而是鏈式存儲在多個碎片的物理空間上?？赡軐τ陂L字符串的比較，就用更多的時間查找與比較，這就導(dǎo)致用更多的時間。

可以做表拆分，減少單表字段數(shù)量，優(yōu)化表結(jié)構(gòu)。

在保證主鍵有效的情況下，檢查主鍵索引的字段順序，使得查詢語句中條件的字段順序和主鍵索引的字段順序保持一致。

主要兩種拆分 垂直拆分，水平拆分。

垂直分表

也就是“大表拆小表”，基于列字段進行的。一般是表中的字段較多，將不常用的， 數(shù)據(jù)較大，長度較長（比如text類型字段）的拆分到“擴展表“。 一般是針對 那種 幾百列的大表，也避免查詢時，數(shù)據(jù)量太大造成的“跨頁”問題。

垂直分庫針對的是一個系統(tǒng)中的不同業(yè)務(wù)進行拆分，比如用戶User一個庫，商品Product一個庫，訂單Order一個庫。 切分后，要放在多個服務(wù)器上，而不是一個服務(wù)器上。為什么？ 我們想象一下，一個購物網(wǎng)站對外提供服務(wù)，會有用戶，商品，訂單等的CRUD。沒拆分之前， 全部都是落到單一的庫上的，這會讓數(shù)據(jù)庫的單庫處理能力成為瓶頸。按垂直分庫后，如果還是放在一個數(shù)據(jù)庫服務(wù)器上， 隨著用戶量增大，這會讓單個數(shù)據(jù)庫的處理能力成為瓶頸，還有單個服務(wù)器的磁盤空間，內(nèi)存，tps等非常吃緊。 所以我們要拆分到多個服務(wù)器上，這樣上面的問題都解決了，以后也不會面對單機資源問題。

數(shù)據(jù)庫業(yè)務(wù)層面的拆分，和服務(wù)的“治理”，“降級”機制類似，也能對不同業(yè)務(wù)的數(shù)據(jù)分別的進行管理，維護，監(jiān)控，擴展等。 數(shù)據(jù)庫往往最容易成為應(yīng)用系統(tǒng)的瓶頸，而數(shù)據(jù)庫本身屬于“有狀態(tài)”的，相對于Web和應(yīng)用服務(wù)器來講，是比較難實現(xiàn)“橫向擴展”的。 數(shù)據(jù)庫的連接資源比較寶貴且單機處理能力也有限，在高并發(fā)場景下，垂直分庫一定程度上能夠突破IO、連接數(shù)及單機硬件資源的瓶頸。

水平分表

針對數(shù)據(jù)量巨大的單張表（比如訂單表），按照某種規(guī)則（RANGE,HASH取模等），切分到多張表里面去。 但是這些表還是在同一個庫中，所以庫級別的數(shù)據(jù)庫操作還是有IO瓶頸。不建議采用。

水平分庫分表

將單張表的數(shù)據(jù)切分到多個服務(wù)器上去，每個服務(wù)器具有相應(yīng)的庫與表，只是表中數(shù)據(jù)集合不同。 水平分庫分表能夠有效的緩解單機和單庫的性能瓶頸和壓力，突破IO、連接數(shù)、硬件資源等的瓶頸。

水平分庫分表切分規(guī)則

1. RANGE

從0到10000一個表，10001到20000一個表；

2. HASH取模

一個商場系統(tǒng)，一般都是將用戶，訂單作為主表，然后將和它們相關(guān)的作為附表，這樣不會造成跨庫事務(wù)之類的問題。 取用戶id，然后hash取模，分配到不同的數(shù)據(jù)庫上。

3. 地理區(qū)域

比如按照華東，華南，華北這樣來區(qū)分業(yè)務(wù)，七牛云應(yīng)該就是如此。

4. 時間

按照時間切分，就是將6個月前，甚至一年前的數(shù)據(jù)切出去放到另外的一張表，因為隨著時間流逝，這些表的數(shù)據(jù) 被查詢的概率變小，所以沒必要和“熱數(shù)據(jù)”放在一起，這個也是“冷熱數(shù)據(jù)分離”。

分庫分表后面臨的問題

事務(wù)支持

分庫分表后，就成了分布式事務(wù)了。如果依賴數(shù)據(jù)庫本身的分布式事務(wù)管理功能去執(zhí)行事務(wù)，將付出高昂的性能代價； 如果由應(yīng)用程序去協(xié)助控制，形成程序邏輯上的事務(wù)，又會造成編程方面的負擔。

跨庫join

只要是進行切分，跨節(jié)點Join的問題是不可避免的。但是良好的設(shè)計和切分卻可以減少此類情況的發(fā)生。解決這一問題的普遍做法是分兩次查詢實現(xiàn)。在第一次查詢的結(jié)果集中找出關(guān)聯(lián)數(shù)據(jù)的id,根據(jù)這些id發(fā)起第二次請求得到關(guān)聯(lián)數(shù)據(jù)。

跨節(jié)點的count,order by,group by以及聚合函數(shù)問題

這些是一類問題，因為它們都需要基于全部數(shù)據(jù)集合進行計算。多數(shù)的代理都不會自動處理合并工作。解決方案：與解決跨節(jié)點join問題的類似，分別在各個節(jié)點上得到結(jié)果后在應(yīng)用程序端進行合并。和join不同的是每個結(jié)點的查詢可以并行執(zhí)行，因此很多時候它的速度要比單一大表快很多。但如果結(jié)果集很大，對應(yīng)用程序內(nèi)存的消耗是一個問題。

數(shù)據(jù)遷移，容量規(guī)劃，擴容等問題

來自淘寶綜合業(yè)務(wù)平臺團隊，它利用對2的倍數(shù)取余具有向前兼容的特性（如對4取余得1的數(shù)對2取余也是1）來分配數(shù)據(jù)，避免了行級別的數(shù)據(jù)遷移，但是依然需要進行表級別的遷移，同時對擴容規(guī)模和分表數(shù)量都有限制?？偟脕碚f，這些方案都不是十分的理想，多多少少都存在一些缺點，這也從一個側(cè)面反映出了Sharding擴容的難度。

ID問題

一旦數(shù)據(jù)庫被切分到多個物理結(jié)點上，我們將不能再依賴數(shù)據(jù)庫自身的主鍵生成機制。一方面，某個分區(qū)數(shù)據(jù)庫自生成的ID無法保證在全局上是唯一的；另一方面，應(yīng)用程序在插入數(shù)據(jù)之前需要先獲得ID,以便進行SQL路由.

一些常見的主鍵生成策略

UUID

使用UUID作主鍵是最簡單的方案，但是缺點也是非常明顯的。由于UUID非常的長，除占用大量存儲空間外，最主要的問題是在索引上，在建立索引和基于索引進行查詢時都存在性能問題。

Twitter的分布式自增ID算法Snowflake

在分布式系統(tǒng)中，需要生成全局UID的場合還是比較多的，twitter的snowflake解決了這種需求，實現(xiàn)也還是很簡單的，除去配置信息，核心代碼就是毫秒級時間41位 機器ID 10位 毫秒內(nèi)序列12位。

跨分片的排序分頁

一般來講，分頁時需要按照指定字段進行排序。當排序字段就是分片字段的時候，我們通過分片規(guī)則可以比較容易定位到指定的分片，而當排序字段非分片字段的時候，情況就會變得比較復(fù)雜了。為了最終結(jié)果的準確性，我們需要在不同的分片節(jié)點中將數(shù)據(jù)進行排序并返回，并將不同分片返回的結(jié)果集進行匯總和再次排序，最后再返回給用戶。

MySQL性能調(diào)優(yōu) – 你必須了解的15個重要變量

前言:

MYSQL 應(yīng)該是最流行了 WEB 后端數(shù)據(jù)庫。雖然 NOSQL 最近越來越多的被提到，但是相信大部分架構(gòu)師還是會選擇 MYSQL 來做數(shù)據(jù)存儲。本文作者總結(jié)梳理MySQL性能調(diào)優(yōu)的15個重要變量，又不足需要補充的還望大佬指出。

1.DEFAULT_STORAGE_ENGINE

如果你已經(jīng)在用MySQL 5.6或者5.7，并且你的數(shù)據(jù)表都是InnoDB，那么表示你已經(jīng)設(shè)置好了。如果沒有，確保把你的表轉(zhuǎn)換為InnoDB并且設(shè)置default_storage_engine為InnoDB。

為什么？簡而言之，因為InnoDB是MySQL(包括Percona Server和MariaDB)最好的存儲引擎 – 它支持事務(wù)，高并發(fā)，有著非常好的性能表現(xiàn)(當配置正確時)。這里有詳細的版本介紹為什么

2.INNODB_BUFFER_POOL_SIZE

這個是InnoDB最重要變量。實際上，如果你的主要存儲引擎是InnoDB，那么對于你，這個變量對于MySQL是最重要的。

基本上，innodb_buffer_pool_size指定了MySQL應(yīng)該分配給InnoDB緩沖池多少內(nèi)存，InnoDB緩沖池用來存儲緩存的數(shù)據(jù)，二級索引，臟數(shù)據(jù)(已經(jīng)被更改但沒有刷新到硬盤的數(shù)據(jù))以及各種內(nèi)部結(jié)構(gòu)如自適應(yīng)哈希索引。

根據(jù)經(jīng)驗，在一個獨立的MySQL服務(wù)器應(yīng)該分配給MySQL整個機器總內(nèi)存的80%。如果你的MySQL運行在一個共享服務(wù)器，或者你想知道InnoDB緩沖池大小是否正確設(shè)置，詳細請看這里。

3.INNODB_LOG_FILE_SIZE

InnoDB重做日志文件的設(shè)置在MySQL社區(qū)也叫做事務(wù)日志。直到MySQL 5.6.8事務(wù)日志默認值innodb_log_file_size=5M是唯一最大的InnoDB性能殺手。從MySQL 5.6.8開始，默認值提升到48M,但對于許多稍繁忙的系統(tǒng)，還遠遠要低。

根據(jù)經(jīng)驗，你應(yīng)該設(shè)置的日志大小能在你服務(wù)器繁忙時能存儲1-2小時的寫入量。如果不想這么麻煩，那么設(shè)置1-2G的大小會讓你的性能有一個不錯的表現(xiàn)。這個變量也相當重要，更詳細的介紹請看這里。

當然，如果你有大量的大事務(wù)更改，那么，更改比默認innodb日志緩沖大小更大的值會對你的性能有一定的提高，但是你使用的是autocommit，或者你的事務(wù)更改小于幾k，那還是保持默認的值吧。

4.INNODB_FLUSH_LOG_AT_TRX_COMMIT

默認下，innodb_flush_log_at_trx_commit設(shè)置為1表示InnoDB在每次事務(wù)提交后立即刷新同步數(shù)據(jù)到硬盤。如果你使用autocommit，那么你的每一個INSERT, UPDATE或DELETE語句都是一個事務(wù)提交。

同步是一個昂貴的操作(特別是當你沒有寫回緩存時)，因為它涉及對硬盤的實際同步物理寫入。所以如果可能，并不建議使用默認值。

兩個可選的值是0和2:

* 0表示刷新到硬盤，但不同步(提交事務(wù)時沒有實際的IO操作)

* 2表示不刷新和不同步(也沒有實際的IO操作)

所以你如果設(shè)置它為0或2，則同步操作每秒執(zhí)行一次。所以明顯的缺點是你可能會丟失上一秒的提交數(shù)據(jù)。具體來說，你的事務(wù)已經(jīng)提交了，但服務(wù)器馬上斷電了，那么你的提交相當于沒有發(fā)生過。

顯示的，對于金融機構(gòu)，如銀行，這是無法忍受的。不過對于大多數(shù)網(wǎng)站，可以設(shè)置為innodb_flush_log_at_trx_commit=0|2，即使服務(wù)器最終崩潰也沒有什么大問題。畢竟，僅僅在幾年前有許多網(wǎng)站還是用MyISAM，當崩潰時會丟失30s的數(shù)據(jù)(更不要提那令人抓狂的慢修復(fù)進程)。

那么，0和2之間的實際區(qū)別是什么？性能明顯的差異是可以忽略不計，因為刷新到操作系統(tǒng)緩存的操作是非?？斓摹Ｋ院苊黠@應(yīng)該設(shè)置為0，萬一MySQL崩潰(不是整個機器)，你不會丟失任何數(shù)據(jù)，因為數(shù)據(jù)已經(jīng)在OS緩存，最終還是會同步到硬盤的。

5.SYNC_BINLOG

已經(jīng)有大量的文檔寫到sync_binlog，以及它和innodb_flush_log_at_trx_commit的關(guān)系，下面我們來簡單的介紹下：

a) 如果你的服務(wù)器沒有設(shè)置從服務(wù)器，而且你不做備份，那么設(shè)置sync_binlog=0將對性能有好處。

b) 如果你有從服務(wù)器并且做備份，但你不介意當主服務(wù)器崩潰時在二進制日志丟失一些事件，那么為了更好的性能還是設(shè)置為sync_binlog=0.

c) 如果你有從服務(wù)器并且備份，你非常在意從服務(wù)器的一致性，以及能及時恢復(fù)到一個時間點(通過使用最新的一致性備份和二進制日志將數(shù)據(jù)庫恢復(fù)到特定時間點的能力)，那么你應(yīng)該設(shè)置innodb_flush_log_at_trx_commit=1，并且需要認真考慮使用sync_binlog=1。

問題是sync_binlog=1代價比較高 – 現(xiàn)在每個事務(wù)也要同步一次到硬盤。你可能會想為什么不把兩次同步合并成一次，想法正確 – 新版本的MySQL(5.6和5.7，MariaDB和Percona Server)已經(jīng)能合并提交，那么在這種情況下sync_binlog=1的操作也不是這么昂貴了，但在舊的mysql版本中仍然會對性能有很大影響。

6.INNODB_FLUSH_METHOD

將innodb_flush_method設(shè)置為O_DIRECT以避免雙重緩沖.唯一一種情況你不應(yīng)該使用O_DIRECT是當你操作系統(tǒng)不支持時。但如果你運行的是Linux，使用O_DIRECT來激活直接IO。

不用直接IO，雙重緩沖將會發(fā)生，因為所有的數(shù)據(jù)庫更改首先會寫入到OS緩存然后才同步到硬盤 – 所以InnoDB緩沖池和OS緩存會同時持有一份相同的數(shù)據(jù)。特別是如果你的緩沖池限制為總內(nèi)存的50%，那意味著在寫密集的環(huán)境中你可能會浪費高達50%的內(nèi)存。如果沒有限制為50%，服務(wù)器可能由于OS緩存的高壓力會使用到swap。

簡單地說，設(shè)置為innodb_flush_method=O_DIRECT。

7.INNODB_BUFFER_POOL_INSTANCES

MySQL 5.5引入了緩沖實例作為減小內(nèi)部鎖爭用來提高MySQL吞吐量的手段。

在5.5版本這個對提升吞吐量幫助很小，然后在MySQL 5.6版本這個提升就非常大了，所以在MySQL5.5中你可能會保守地設(shè)置innodb_buffer_pool_instances=4，在MySQL 5.6和5.7中你可以設(shè)置為8-16個緩沖池實例。

你設(shè)置后觀察會覺得性能提高不大，但在大多數(shù)高負載情況下，它應(yīng)該會有不錯的表現(xiàn)。

對了，不要指望這個設(shè)置能減少你單個查詢的響應(yīng)時間。這個是在高并發(fā)負載的服務(wù)器上才看得出區(qū)別。比如多個線程同時做許多事情。

8.INNODB_THREAD_CONCURRENCY

InnoDB有一種方法來控制并行執(zhí)行的線程數(shù) – 我們稱為并發(fā)控制機制。大部分是由innodb_thread_concurrency值來控制的。如果設(shè)置為0，并發(fā)控制就關(guān)閉了，因此InnoDB會立即處理所有進來的請求(盡可能多的)。

在你有32CPU核心且只有4個請求時會沒什么問題。不過想像下你只有4CPU核心和32個請求時 – 如果你讓32個請求同時處理，你這個自找麻煩。因為這些32個請求只有4 CPU核心，顯然地會比平常慢至少8倍(實際上是大于8倍)，而然這些請求每個都有自己的外部和內(nèi)部鎖，這有很大可能堆積請求。

下面介紹如何更改這個變量，在mysql命令行提示符執(zhí)行：

對于大多數(shù)工作負載和服務(wù)器，設(shè)置為8是一個好開端，然后你可以根據(jù)服務(wù)器達到了這個限制而資源使用率利用不足時逐漸增加?？梢酝ㄟ^show engine innodb status\G來查看目前查詢處理情況，查找類似如下行：

9.SKIP_NAME_RESOLVE

這一項不得不提及，因為仍然有很多人沒有添加這一項。你應(yīng)該添加skip_name_resolve來避免連接時DNS解析。

大多數(shù)情況下你更改這個會沒有什么感覺，因為大多數(shù)情況下DNS服務(wù)器解析會非常快。不過當DNS服務(wù)器失敗時，它會出現(xiàn)在你服務(wù)器上出現(xiàn)“unauthenticated connections” ，而就是為什么所有的請求都突然開始慢下來了。

所以不要等到這種事情發(fā)生才更改?，F(xiàn)在添加這個變量并且避免基于主機名的授權(quán)。

10.INNODB_IO_CAPACITY, INNODB_IO_CAPACITY_MAX

* innodb_io_capacity：用來當刷新臟數(shù)據(jù)時，控制MySQL每秒執(zhí)行的寫IO量。

* innodb_io_capacity_max: 在壓力下，控制當刷新臟數(shù)據(jù)時MySQL每秒執(zhí)行的寫IO量

首先，這與讀取無關(guān) – SELECT查詢執(zhí)行的操作。對于讀操作，MySQL會盡最大可能處理并返回結(jié)果。至于寫操作，MySQL在后臺會循環(huán)刷新，在每一個循環(huán)會檢查有多少數(shù)據(jù)需要刷新，并且不會用超過innodb_io_capacity指定的數(shù)來做刷新操作。這也包括更改緩沖區(qū)合并（在它們刷新到磁盤之前，更改緩沖區(qū)是輔助臟頁存儲的關(guān)鍵）。

第二，我需要解釋一下什么叫“在壓力下”，MySQL中稱為”緊急情況”，是當MySQL在后臺刷新時，它需要刷新一些數(shù)據(jù)為了讓新的寫操作進來。然后，MySQL會用到innodb_io_capacity_max。

那么，應(yīng)該設(shè)置innodb_io_capacity和innodb_io_capacity_max為什么呢？

最好的方法是測量你的存儲設(shè)置的隨機寫吞吐量，然后給innodb_io_capacity_max設(shè)置為你的設(shè)備能達到的最大IOPS。innodb_io_capacity就設(shè)置為它的50-75%，特別是你的系統(tǒng)主要是寫操作時。

通常你可以預(yù)測你的系統(tǒng)的IOPS是多少。例如由8 15k硬盤組成的RAID10能做大約每秒1000隨機寫操作，所以你可以設(shè)置innodb_io_capacity=600和innodb_io_capacity_max=1000。許多廉價企業(yè)SSD可以做4,000-10,000 IOPS等。

這個值設(shè)置得不完美問題不大。但是，要注意默認的200和400會限制你的寫吞吐量，因此你可能偶爾會捕捉到刷新進程。如果出現(xiàn)這種情況，可能是已經(jīng)達到你硬盤的寫IO吞吐量，或者這個值設(shè)置得太小限制了吞吐量。

11.INNODB_STATS_ON_METADATA

如果你跑的是MySQL 5.6或5.7，你不需要更改innodb_stats_on_metadata的默認值，因為它已經(jīng)設(shè)置正確了。

不過在MySQL 5.5或5.1，強烈建議關(guān)閉這個變量 – 如果是開啟，像命令show table status會立即查詢INFORMATION_SCHEMA而不是等幾秒再執(zhí)行，這會使用到額外的IO操作。

從5.1.32版本開始，這個是動態(tài)變量，意味著你不需要重啟MySQL服務(wù)器來關(guān)閉它。

12.INNODB_BUFFER_POOL_DUMP_AT_SHUTDOWN INNODB_BUFFER_POOL_LOAD_AT_STARTUP

innodb_buffer_pool_dump_at_shutdown和innodb_buffer_pool_load_at_startup這兩個變量與性能無關(guān)，不過如果你偶爾重啟mysql服務(wù)器(如生效配置)，那么就有關(guān)。當兩個都激活時，MySQL緩沖池的內(nèi)容(更具體地說，是緩存頁)在停止MySQL時存儲到一個文件。當你下次啟動MySQL時，它會在后臺啟動一個線程來加載緩沖池的內(nèi)容以提高預(yù)熱速度到3-5倍。

兩件事：

第一，它實際上沒有在關(guān)閉時復(fù)制緩沖池內(nèi)容到文件，僅僅是復(fù)制表空間ID和頁面ID – 足夠的信息來定位硬盤上的頁面了。然后它就能以大量的順序讀非?？焖俚募虞d那些頁面，而不是需要成千上萬的小隨機讀。

第二，啟動時是在后臺加載內(nèi)容，因為MySQL不需要等到緩沖池內(nèi)容加載完成再開始接受請求(所以看起來不會有什么影響)。

從MySQL 5.7.7開始，默認只有25%的緩沖池頁面在mysql關(guān)閉時存儲到文件，但是你可以控制這個值 – 使用innodb_buffer_pool_dump_pct，建議75-100。

這個特性從MySQL 5.6才開始支持。

13.INNODB_ADAPTIVE_HASH_INDEX_PARTS

如果你運行著一個大量SELECT查詢的MySQL服務(wù)器(并且已經(jīng)盡可能優(yōu)化)，那么自適應(yīng)哈希索引將下你的下一個瓶頸。自適應(yīng)哈希索引是InnoDB內(nèi)部維護的動態(tài)索引，可以提高最常用的查詢模式的性能。這個特性可以重啟服務(wù)器關(guān)閉，不過默認下在mysql的所有版本開啟。

這個技術(shù)非常復(fù)雜，在大多數(shù)情況下它會對大多數(shù)類型的查詢直到加速的作用。不過，當你有太多的查詢往數(shù)據(jù)庫，在某一個點上它會花過多的時間等待AHI鎖和閂鎖。

如果你的是MySQL 5.7，沒有這個問題 – innodb_adaptive_hash_index_parts默認設(shè)置為8，所以自適應(yīng)哈希索引被切割為8個分區(qū)，因為不存在全局互斥。

不過在mysql 5.7前的版本，沒有AHI分區(qū)數(shù)量的控制。換句話說，有一個全局互斥鎖來保護AHI，可能導(dǎo)致你的select查詢經(jīng)常撞墻。

所以如果你運行的是5.1或5.6，并且有大量的select查詢，最簡單的方案就是切換成同一版本的Percona Server來激活A(yù)HI分區(qū)。

14.QUERY_CACHE_TYPE

如果人認為查詢緩存效果很好，肯定應(yīng)該使用它。好吧，有時候是有用的。不過這個只在你在低負載時有用，特別是在低負載下大多數(shù)是讀取，小量寫或者沒有。

如果是那樣的情況，設(shè)置query_cache_type=ON和query_cache_size=256M就好了。不過記住不能把256M設(shè)置更高的值了，否則會由于查詢緩存失效時，導(dǎo)致引起嚴重的服務(wù)器停頓。

如果你的MySQL服務(wù)器高負載動作，建議設(shè)置query_cache_size=0和query_cache_type=OFF，并重啟服務(wù)器生效。那樣Mysql就會停止在所有的查詢使用查詢緩存互斥鎖。

15.TABLE_OPEN_CACHE_INSTANCES

從MySQL 5.6.6開始，表緩存能分割到多個分區(qū)。

表緩存用來存放目前已打開表的列表，當每一個表打開或關(guān)閉互斥體就被鎖定 – 即使這是一個隱式臨時表。使用多個分區(qū)絕對減少了潛在的爭用。

從MySQL 5.7.8開始，table_open_cache_instances=16是默認的配置。

歡迎做Java的工程師朋友們私信我資料免費獲取免費的Java架構(gòu)學(xué)習(xí)資料（里面有高可用、高并發(fā)、高性能及分布式、Jvm性能調(diào)優(yōu)、Spring源碼，MyBatis，Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多個知識點的架構(gòu)資料）

其中覆蓋了互聯(lián)網(wǎng)的方方面面，期間碰到各種產(chǎn)品各種場景下的各種問題，很值得大家借鑒和學(xué)習(xí)，擴展自己的技術(shù)廣度和知識面。

MYSQL實戰(zhàn)優(yōu)化——數(shù)據(jù)頁、表空間

經(jīng)過前面的介紹現(xiàn)在我們都知道，一行一行的數(shù)據(jù)是存放在數(shù)據(jù)頁里的，所以接下來我們該分析一下數(shù)據(jù)頁的結(jié)構(gòu)了。之前介紹過，每個數(shù)據(jù)頁，實際上是默認有16kb的大小，那么這16kb的大小就是存放大量的數(shù)據(jù)行嗎？明顯不是的，其實一個數(shù)據(jù)頁拆分成了很多個部分，大體上來說包含： 文件頭、數(shù)據(jù)頁頭，最小記錄和最大記錄、多個數(shù)據(jù)行、空閑空間、數(shù)據(jù)頁目錄、文件尾部。下面我們來看一張圖：

簡單來說，就是平時我們創(chuàng)建的那些表，其實都有一個表空間的概念，在磁盤上都會對應(yīng)著“表名.ibd”這樣的一個磁盤數(shù)據(jù)文件。所以在物理層面，表空間就是對應(yīng)一些磁盤上的數(shù)據(jù)文件。有的表空間，比如系統(tǒng)表空間可能對應(yīng)的是多個磁盤文件，我們自己創(chuàng)建的表對應(yīng)的表空間可能就是對應(yīng)了一個“表名.ibd”數(shù)據(jù)文件。

在表空間的磁盤文件里會有很多的數(shù)據(jù)頁，但是如果一個表空間包含了太多數(shù)據(jù)頁的話就不便于管理，所以在表空間里又引入了一個 的概念，英文就是extent，一個數(shù)據(jù)區(qū)對應(yīng)著連續(xù)的64個數(shù)據(jù)頁，每個數(shù)據(jù)頁是16kb，所以一個數(shù)據(jù)區(qū)是1mb，然后256個數(shù)據(jù)區(qū)被劃分為一組。

對于表空間而言，它的第一組數(shù)據(jù)區(qū)的第一個數(shù)據(jù)區(qū)的前3個數(shù)據(jù)頁都是固定的，里面存放了一些描述性的數(shù)據(jù)。比如fsp_hdr這個數(shù)據(jù)頁，它里面就存放了表空間和這一組數(shù)據(jù)區(qū)的一些屬性。ibuf_bitmap數(shù)據(jù)頁，里面存放的是這一組數(shù)據(jù)頁的所有insert buffer的一些信息。inode數(shù)據(jù)頁，這里也存放了一些特殊信息。

我們現(xiàn)在先不去具體了解它們是干什么的，只要知道第一組數(shù)據(jù)區(qū)的第一個數(shù)據(jù)區(qū)的前3個數(shù)據(jù)頁，都是存放一些特殊信息的。然后這個表空間里的其它各組數(shù)據(jù)區(qū)，每一組數(shù)據(jù)區(qū)的第一個數(shù)據(jù)區(qū)的頭兩個數(shù)據(jù)頁都是存放特殊信息的，比如xdes數(shù)據(jù)頁就是用來存放這一組數(shù)據(jù)區(qū)的一些相關(guān)屬性的，其實就是很多描述這組數(shù)據(jù)區(qū)的東西。下面我們通過一張圖來看一下表空間的存儲結(jié)構(gòu)。

1、linux操作系統(tǒng)的存儲系統(tǒng)軟件層原理分析以及IO調(diào)度優(yōu)化原理

簡單來說，linux的存儲系統(tǒng)分為 VFS層、文件系統(tǒng)層，Page Cache緩存層，通用Block層、IO調(diào)度層、Block設(shè)備驅(qū)動層、Block設(shè)備層 ，如下圖：

最后IO完成調(diào)度之后，就會決定哪個IO請求先執(zhí)行，哪個IO請求后執(zhí)行，此時可以執(zhí)行的IO請求就會交給Block設(shè)備驅(qū)動層，最后經(jīng)過驅(qū)動把IO請求發(fā)送給真正的存儲硬件，也就是Block設(shè)備層。硬件設(shè)備完成IO讀寫操作，最后就把響應(yīng)經(jīng)過上面的層級反向依次返回，最終MySQL可以得到本次IO讀寫操作的結(jié)果。

網(wǎng)站欄目：mysql的io怎么優(yōu)化 數(shù)據(jù)庫io優(yōu)化
文章分享：http://muchs.cn/article32/hjcjpc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、品牌網(wǎng)站建設(shè)、微信公眾號、企業(yè)建站、網(wǎng)站策劃、外貿(mào)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)