本篇文章為大家展示了如何進行sqoop部署,內(nèi)容簡明扼要并且容易理解,絕對能使你眼前一亮,通過這篇文章的詳細介紹希望你能有所收獲。
創(chuàng)新互聯(lián)專注于赤城企業(yè)網(wǎng)站建設(shè),響應(yīng)式網(wǎng)站建設(shè),商城網(wǎng)站制作。赤城網(wǎng)站建設(shè)公司,為赤城等地區(qū)提供建站服務(wù)。全流程按需策劃設(shè)計,專業(yè)設(shè)計,全程項目跟蹤,創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)1.sqoop下載
https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/
2.sqoop上傳到服務(wù)器 并解壓到相應(yīng)的目錄
3.修改sqoop的配置文件
4.修改配置文件
5.拷貝sqoop需要的mysql 數(shù)據(jù)庫驅(qū)動
cp /home/nflow/servers/hive/lib/mysql-connector-java-5.1.26-bin.jar /home/nflow/servers/sqoop-1.4.7/lib/
6.啟動sqoop測試 (可以看出連接數(shù)據(jù)庫了)
./sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root --password 123456
7.sqoop導(dǎo)入數(shù)據(jù)
從博主拿過來的sql
drop database if exists userdb; create database userdb; use userdb; drop table if exists emp; drop table if exists emp_add; drop table if exists emp_conn; CREATE TABLE emp( id INT NOT NULL, name VARCHAR(100), deg VARCHAR(100), salary BIGINT, dept VARCHAR(50) ); CREATE TABLE emp_add( id INT NOT NULL, hno VARCHAR(50), street VARCHAR(50), city VARCHAR(50) ); CREATE TABLE emp_conn( id INT NOT NULL, phno VARCHAR(50), email VARCHAR(50) ); insert into emp values(1201,'gopal','manager','50000','TP'); insert into emp values(1202,'manisha','Proof reader','50000','TP'); insert into emp values(1203,'khalil','php dev','30000','AC'); insert into emp values(1204,'prasanth','php dev','30000','AC'); insert into emp values(1205,'kranthi','admin','20000','TP'); insert into emp_add values(1201,'288A','vgiri','jublee'); insert into emp_add values(1202,'108I','aoc','sec-bad'); insert into emp_add values(1203,'144Z','pgutta','hyd'); insert into emp_add values(1204,'78B','old city','sec-bad'); insert into emp_add values(1205,'720X','hitec','sec-bad'); insert into emp_conn values(1201,'2356742','gopal@tp.com'); insert into emp_conn values(1202,'1661663','manisha@tp.com'); insert into emp_conn values(1203,'8887776','khalil@ac.com'); insert into emp_conn values(1204,'9988774','prasanth@ac.com'); insert into emp_conn values(1205,'1231231','kranthi@tp.com'); ———————————————— ####感謝此博主 版權(quán)為別人的版權(quán) 我只是試用下 版權(quán)聲明:本文為CSDN博主「記錄每一份筆記」的原創(chuàng)文章,遵循 CC 4.0 BY-SA 版權(quán)協(xié)議,轉(zhuǎn)載請附上原文出處鏈接及本聲明。 原文鏈接:https://blog.csdn.net/yumingzhu1/article/details/80678525
從mysql 到 hdfs
#/bin/bash ./bin/sqoop import \ --connect jdbc:mysql://192.168.249.10:3306/userdb \ --username root \ --password 123456 \ --table emp \ --m 1 [nflow@hadoop-master1 sqoop-1.4.7]$ pwd /home/nflow/servers/sqoop-1.4.7 [nflow@hadoop-master1 sqoop-1.4.7]$ 默認導(dǎo)出的位置為 /usr/用戶/表名 數(shù)據(jù)庫不能用localhost或者127.0.0.1 不然會報錯 必須要用IP地址
HDFS 目錄下次在導(dǎo)入不能重復(fù)
重新修改腳本如下 這樣每次都可以生成新的
mysql數(shù)據(jù)導(dǎo)入到hive里面
數(shù)據(jù)庫數(shù)據(jù)
./sqoop import \ --connect jdbc:mysql://192.168.249.10:3306/userdb \ ##userdb --username admin \ #數(shù)據(jù)庫admin用戶 --password 123456 \ #數(shù)據(jù)庫admin用戶的密碼 --table emp_add \ #數(shù)據(jù)庫admin里面的emp_add表 --delete-target-dir \ #每次刪除 --num-mappers 1 \ ##mapreduce 進程個數(shù) --hive-import \ ##指定hive --hive-database default \ ##hive的默認數(shù)據(jù)庫 --hive-table empadd \ ##hive里面 default 數(shù)據(jù)的表名稱 --fields-terminated-by '\t' ###換行
sqoop再次導(dǎo)入同一張表測試 測試結(jié)果為 如果數(shù)據(jù)庫有新增的數(shù)據(jù) 那么hive將會也會拿過來,導(dǎo)致重復(fù) 如下圖,如何避免這個問題呢 sqoop的增量同步
#######sqoop增量同步到hive
id大于1207 的會同步 不會導(dǎo)致重復(fù)
./sqoop import \ --connect jdbc:mysql://192.168.249.10:3306/userdb \ --username admin \ --password 123456 \ --table emp_add \ --num-mappers 1 \ --hive-import \ --hive-database default \ --hive-table empadd \ --fields-terminated-by '\t' \ --incremental append \ --check-column id \ --last-value 1207
上述內(nèi)容就是如何進行sqoop部署,你們學(xué)到知識或技能了嗎?如果還想學(xué)到更多技能或者豐富自己的知識儲備,歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。
新聞標(biāo)題:如何進行sqoop部署-創(chuàng)新互聯(lián)
分享URL:http://muchs.cn/article22/dhiecc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站營銷、微信小程序、響應(yīng)式網(wǎng)站、手機網(wǎng)站建設(shè)、定制開發(fā)、App開發(fā)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)