Mysql百萬量級(jí)數(shù)據(jù)如何高效導(dǎo)入Redis

MySQL百萬量級(jí)數(shù)據(jù)如何高效導(dǎo)入redis，很多新手對此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

在五蓮等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供做網(wǎng)站、網(wǎng)站建設(shè) 網(wǎng)站設(shè)計(jì)制作按需定制網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),成都品牌網(wǎng)站建設(shè),成都全網(wǎng)營銷推廣,成都外貿(mào)網(wǎng)站制作,五蓮網(wǎng)站建設(shè)費(fèi)用合理。

傳統(tǒng)命令的缺點(diǎn)

數(shù)據(jù)導(dǎo)入Redis熱身

采用nc命令導(dǎo)入數(shù)據(jù)

采用pipe模式導(dǎo)入數(shù)據(jù)

由上圖，可以看到pipe命令的返回結(jié)果，txt文件中有多少行命令，返回的replies數(shù)就是多少， errors表示其中執(zhí)行錯(cuò)誤的命令條數(shù)。

redis協(xié)議學(xué)習(xí)

協(xié)議的格式為：

*<參數(shù)數(shù)量>  \r
$<參數(shù) 
1 的字節(jié)數(shù)量>  \r
<參數(shù) 
1 的數(shù)據(jù)> \r
...
$<參數(shù) N 的字節(jié)數(shù)量> \r
<參數(shù) N 的數(shù)據(jù)> \r\n

HSET  id  book1  book_description1

*4\r\n$4\r\nHSET\r\n$2\r\nid\r\n$5\r\nbook1\r\n$17\r\nbook_description1\r

格式化一下：

*4\r
$4\r
HSET\r
$2\r
idvvvv\r
$5\r
book1\r
$17\r
book_description1\r\n

將輸入數(shù)據(jù)源換成mysql

實(shí)際案例--從Mysql導(dǎo)入百萬級(jí)數(shù)據(jù)到Redis

首先造數(shù)據(jù)

DELIMITER $$
USE `cb_mon`$$

DROP PROCEDURE IF EXISTS `test_insert`$$
CREATE DEFINER=`root`@`%` PROCEDURE `test_insert`()
BEGIN

       DECLARE i INT DEFAULT 
1;
       WHILE i<= 
1000000
           DO
           INSERT INTO 
t_book(id,number,NAME,descrition)
           VALUES (i, CONCAT("00000",i) , 
CONCAT('book',i)
           , 
CONCAT('book_description',i));
           SET i=i+1;
       END WHILE ;
       COMMIT;
   END$$

DELIMITER ;
調(diào)用存儲(chǔ)過程

CALL test_insert();

按協(xié)議構(gòu)造查詢語句

SELECT
 CONCAT(
   "*4\r\n",
   "$",
   LENGTH(redis_cmd),
   "\r\n",
   redis_cmd,
   "\r\n",
   "$",
   LENGTH(redis_key),
   "\r\n",
   redis_key,
   "\r\n",
   "$",
   LENGTH(hkey),
   "\r\n",
   hkey,
   "\r\n",
   "$",
   LENGTH(hval),
   "\r\n",
   hval,
   "\r"
 )
FROM
 (SELECT
   "HSET" AS redis_cmd,
   id AS redis_key,
   NAME AS hkey,
   descrition AS hval
 FROM
   cb_mon.t_book
 ) AS t limit 1000000

并將內(nèi)容保存至redis.sql 文件中。

編寫腳本使用pipe模式導(dǎo)入redis

編寫shell腳本。由于我在主機(jī)上是通過docker安裝的redis和mysql，以下腳本供參考：

#!/bin/bash
starttime=`date +'%Y-%m-%d %H:%M:%S'`

docker exec -i 
899fe01d4dbc mysql --default-character-set=utf8
--skip-column-names --raw < ./redis.sql
| docker exec -i 
4c90ef506acd redis-cli --pipe

endtime=`date +'%Y-%m-%d %H:%M:%S'`
start_seconds=$(date --date="$starttime" +%s);
end_seconds=$(date --date="$endtime" +%s);

echo 
"腳本執(zhí)行耗時(shí)："$((end_seconds-start_seconds))"s"

lost connection to mysql server during query

總結(jié)了如下幾點(diǎn)：

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對創(chuàng)新互聯(lián)的支持。

本文標(biāo)題：Mysql百萬量級(jí)數(shù)據(jù)如何高效導(dǎo)入Redis
文章轉(zhuǎn)載：http://muchs.cn/article0/ihgdoo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供自適應(yīng)網(wǎng)站、App開發(fā)、關(guān)鍵詞優(yōu)化、、品牌網(wǎng)站建設(shè)、域名注冊

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)