mysql查看慢怎么辦 mysql查詢慢原因

mysql重啟之后首次查詢很慢，求問是什么原因引起的

MySQL 在崩潰恢復(fù)時(shí)，會(huì)遍歷打開所有 ibd 文件的 header page 驗(yàn)證數(shù)據(jù)字典的準(zhǔn)確性，如果 MySQL 中包含了大量表，這個(gè)校驗(yàn)過程就會(huì)比較耗時(shí)。 MySQL 下崩潰恢復(fù)確實(shí)和表數(shù)量有關(guān)，表總數(shù)越大，崩潰恢復(fù)時(shí)間越長(zhǎng)。另外磁盤 IOPS 也會(huì)影響崩潰恢復(fù)時(shí)間，像這里開發(fā)庫(kù)的 HDD IOPS 較低，因此面對(duì)大量的表空間，校驗(yàn)速度就非常緩慢。另外一個(gè)發(fā)現(xiàn)，MySQL 8 下正常啟用時(shí)居然也會(huì)進(jìn)行表空間校驗(yàn)，而故障恢復(fù)時(shí)則會(huì)額外再進(jìn)行一次表空間校驗(yàn)，等于校驗(yàn)了 2 遍。不過 MySQL 8.0 里多了一個(gè)特性，即表數(shù)量超過 5W 時(shí)，會(huì)啟用多線程掃描，加快表空間校驗(yàn)過程。

創(chuàng)新互聯(lián)建站從2013年成立，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目網(wǎng)站設(shè)計(jì)、做網(wǎng)站網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元興隆做網(wǎng)站,已為上家服務(wù),為興隆各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18980820575

如何跳過校驗(yàn)MySQL 5.7 下有方法可以跳過崩潰恢復(fù)時(shí)的表空間校驗(yàn)過程嘛？查閱了資料，方法主要有兩種：

1. 配置 innodb_force_recovery可以使 srv_force_recovery != 0 ，那么 validate = false，即可以跳過表空間校驗(yàn)。實(shí)際測(cè)試的時(shí)候設(shè)置 innodb_force_recovery =1，也就是強(qiáng)制恢復(fù)跳過壞頁，就可以跳過校驗(yàn)，然后重啟就是正常啟動(dòng)了。通過這種臨時(shí)方式可以避免崩潰恢復(fù)后非常耗時(shí)的表空間校驗(yàn)過程，快速啟動(dòng) MySQL，個(gè)人目前暫時(shí)未發(fā)現(xiàn)有什么隱患。2. 使用共享表空間替代獨(dú)立表空間這樣就不需要打開 N 個(gè) ibd 文件了，只需要打開一個(gè) ibdata 文件即可，大大節(jié)省了校驗(yàn)時(shí)間。自從聽了姜老師講過使用共享表空間替代獨(dú)立表空間解決 drop 大表時(shí)性能抖動(dòng)的原理后，感覺共享表空間在很多業(yè)務(wù)環(huán)境下，反而更有優(yōu)勢(shì)。

臨時(shí)冒出另外一種解決想法，即用 GDB 調(diào)試崩潰恢復(fù)，通過臨時(shí)修改 validate 變量值讓 MySQL 跳過表空間驗(yàn)證過程，然后讓 MySQL 正常關(guān)閉，重新啟動(dòng)就可以正常啟動(dòng)了。但是實(shí)際測(cè)試發(fā)現(xiàn)，如果以 debug 模式運(yùn)行，確實(shí)可以臨時(shí)修改 validate 變量，跳過表空間驗(yàn)證過程，但是 debug 模式下代碼運(yùn)行效率大打折扣，反而耗時(shí)更長(zhǎng)。而以非 debug 模式運(yùn)行，則無法修改 validate 變量，想法破滅。

mysql查詢速度慢

我們先來看第一個(gè)階段，MySQL慢的診斷思路，一般我們會(huì)從三個(gè)方向來做：

第一個(gè)方向是MySQL內(nèi)部的觀測(cè)

第二個(gè)方向是外部資源的觀測(cè)

第三個(gè)方向是外部需求的改造

1.1 MySQL 內(nèi)部觀測(cè)

我們來看MySQL內(nèi)部的觀測(cè)，常用的觀測(cè)手段是這樣的，從上往下看，第一部分是Processlist，看一下哪個(gè)SQL壓力不太正常，第二步是explain，解釋一下它的執(zhí)行計(jì)劃，第三步我們要做Profilling，如果這個(gè)SQL能再執(zhí)行一次的話, 就做一個(gè)Profilling，然后高級(jí)的DBA會(huì)直接動(dòng)用performance_schema ，MySQL 5.7 以后直接動(dòng)用sys_schema，sys_schema是一個(gè)視圖，里面有便捷的各類信息，幫助大家來診斷性能。再高級(jí)一點(diǎn)，我們會(huì)動(dòng)用innodb_metrics進(jìn)行一個(gè)對(duì)引擎的診斷。

除了這些手段以外，大家還提出了一些亂七八糟的手段，我就不列在這了，這些是常規(guī)的一個(gè)MySQL的內(nèi)部的狀態(tài)觀測(cè)的思路。除了這些以外，MySQL還陸陸續(xù)續(xù)提供了一些暴露自己狀態(tài)的方案，但是這些方案并沒有在實(shí)踐中形成套路，原因是學(xué)習(xí)成本比較高。

1.2 外部資源觀測(cè)

外部資源觀測(cè)這部分，我引用了一篇文章，這篇文章的二維碼我貼在上面了。這篇文章是國(guó)外的一個(gè)神寫的，標(biāo)題是：60秒的快速巡檢，我們來看一下它在60秒之內(nèi)對(duì)服務(wù)器到底做了一個(gè)什么樣的巡檢。一共十條命令，這是前五條，我們一條一條來看。

1.uptime，uptime告訴我們這個(gè)機(jī)器活了多久，以及它的平均的負(fù)載是多少。

2.dmesg -T | tail，告訴我們系統(tǒng)日志里邊有沒有什么報(bào)錯(cuò)。

3.vmstat 1，告訴我們虛擬內(nèi)存的狀態(tài)，頁的換進(jìn)換出有沒有問題，swap有沒有使用。

4. mpstat -P ALL，告訴我們CPU壓力在各個(gè)核上是不是均勻的。

5.pidstat 1，告訴我們各個(gè)進(jìn)程的對(duì)資源的占用大概是什么樣子。

我們來看一下后五條：

首先是iostat-xz 1，查看IO的問題，然后是free-m內(nèi)存使用率，之后兩個(gè)sar，按設(shè)備網(wǎng)卡設(shè)備的維度，看一下網(wǎng)絡(luò)的消耗狀態(tài)，以及總體看TCP的使用率和錯(cuò)誤率是多少。最后一條命令top，看一下大概的進(jìn)程和線程的問題。

這個(gè)就是對(duì)于外部資源的診斷，這十條命令揭示了應(yīng)該去診斷哪些外部資源。

1.3 外部需求改造

第三個(gè)診斷思路是外部的需求改造，我在這里引用了一篇文檔，這篇文檔是MySQL的官方文檔中的一章，這一章叫Examples of Common Queries，文檔中介紹了常規(guī)的SQL怎么寫, 給出了一些例子。文章的鏈接二維碼在slide上。

我們來看一下它其中提到的一個(gè)例子。

它做的事情是從一個(gè)表里邊去選取，這張表有三列，article、dealer、price，選取每個(gè)作者的最貴的商品列在結(jié)果集中，這是它的最原始的SQL，非常符合業(yè)務(wù)的寫法，但是它是個(gè)關(guān)聯(lián)子查詢。

關(guān)聯(lián)子查詢成本是很貴的，所以上面的文檔會(huì)教你快速地把它轉(zhuǎn)成一個(gè)非關(guān)聯(lián)子查詢，大家可以看到中間的子查詢和外邊的查詢之間是沒有關(guān)聯(lián)性的。

第三步，會(huì)教大家直接把子查詢拿掉，然后轉(zhuǎn)成這樣一個(gè)SQL，這個(gè)就叫業(yè)務(wù)改造，前后三個(gè)SQL的成本都不一樣，把關(guān)聯(lián)子查詢拆掉的成本，拆掉以后SQL會(huì)跑得非常好，但這個(gè)SQL已經(jīng)不能良好表義了，只有在診斷到SQL成本比較高的情況下才建議大家使用這種方式。

為什么它能夠把一個(gè)關(guān)聯(lián)子查詢拆掉呢？

這背后的原理是關(guān)系代數(shù)，所有的SQL都可以被表達(dá)成等價(jià)的關(guān)系代數(shù)式，關(guān)系代數(shù)式之間有等價(jià)關(guān)系，這個(gè)等價(jià)關(guān)系通過變換可以把關(guān)聯(lián)子查詢拆掉。

上面的這篇文檔是一個(gè)大學(xué)的教材，它從頭教了關(guān)于代數(shù)和SQL之間的關(guān)系。然后一步步推導(dǎo)怎么去簡(jiǎn)化這句SQL。

第一，MySQL本身提供了很多命令來觀察MySQL自身的各類狀態(tài)，大家從上往下檢一般能檢到SQL的問題或者服務(wù)器的問題。

第二，從服務(wù)器的角度，我們從巡檢的腳本角度入手，服務(wù)器的資源就這幾種，觀測(cè)手法也就那么幾種，我們把服務(wù)器的資源全部都觀察一圈就可以了。

第三，如果實(shí)在搞不定，需求方一定要按照數(shù)據(jù)庫(kù)容易接受的方式去寫SQL，這個(gè)成本會(huì)下降的非?？欤@個(gè)是常規(guī)的MySQL慢的診斷思路。

如果mysql里面的數(shù)據(jù)過多，查詢太慢怎么辦？

問題

我們有一個(gè) SQL，用于找到?jīng)]有主鍵 / 唯一鍵的表，但是在 MySQL 5.7 上運(yùn)行特別慢，怎么辦？

實(shí)驗(yàn)

我們搭建一個(gè) MySQL 5.7 的環(huán)境，此處省略搭建步驟。

寫個(gè)簡(jiǎn)單的腳本，制造一批帶主鍵和不帶主鍵的表：

執(zhí)行一下腳本：

現(xiàn)在執(zhí)行以下 SQL 看看效果：

...

執(zhí)行了 16.80s，感覺是非常慢了。

現(xiàn)在用一下 DBA 三板斧，看看執(zhí)行計(jì)劃：

感覺有點(diǎn)慘，由于 information_schema.columns 是元數(shù)據(jù)表，沒有必要的統(tǒng)計(jì)信息。

那我們來 show warnings 看看 MySQL 改寫后的 SQL：

我們格式化一下 SQL：

可以看到 MySQL 將

select from A where A.x not in (select x from B) //非關(guān)聯(lián)子查詢

轉(zhuǎn)換成了

select from A where not exists (select 1 from B where B.x = a.x) //關(guān)聯(lián)子查詢

如果我們自己是 MySQL，在執(zhí)行非關(guān)聯(lián)子查詢時(shí)，可以使用很簡(jiǎn)單的策略：

select from A where A.x not in (select x from B where ...) //非關(guān)聯(lián)子查詢:1. 掃描 B 表中的所有記錄，找到滿足條件的記錄，存放在臨時(shí)表 C 中，建好索引2. 掃描 A 表中的記錄，與臨時(shí)表 C 中的記錄進(jìn)行比對(duì)，直接在索引里比對(duì)，

而關(guān)聯(lián)子查詢就需要循環(huán)迭代：

select from A where not exists (select 1 from B where B.x = a.x and ...) //關(guān)聯(lián)子查詢掃描 A 表的每一條記錄 rA： ? ? 掃描 B 表，找到其中的第一條滿足 rA 條件的記錄。

顯然，關(guān)聯(lián)子查詢的掃描成本會(huì)高于非關(guān)聯(lián)子查詢。

我們希望 MySQL 能先"緩存"子查詢的結(jié)果（緩存這一步叫物化，MATERIALIZATION），但MySQL 認(rèn)為不緩存更快，我們就需要給予 MySQL 一定指導(dǎo)。

...

可以看到執(zhí)行時(shí)間變成了 0.67s。

整理

我們?cè)\斷的關(guān)鍵點(diǎn)如下：

\1. 對(duì)于 information_schema 中的元數(shù)據(jù)表，執(zhí)行計(jì)劃不能提供有效信息。

\2. 通過查看 MySQL 改寫后的 SQL，我們猜測(cè)了優(yōu)化器發(fā)生了誤判。

\3. 我們?cè)黾恿?hint，指導(dǎo) MySQL 正確進(jìn)行優(yōu)化判斷。

但目前我們的實(shí)驗(yàn)僅限于猜測(cè)，猜中了萬事大吉，猜不中就無法做出好的診斷。

Mysql 查詢速度慢怎么辦

問題