sqoop工具的安裝和部署-創(chuàng)新互聯(lián)

Sqoop介紹

站在用戶的角度思考問(wèn)題，與客戶深入溝通，找到蓬安網(wǎng)站設(shè)計(jì)與蓬安網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：網(wǎng)站建設(shè)、成都網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、申請(qǐng)域名、網(wǎng)頁(yè)空間、企業(yè)郵箱。業(yè)務(wù)覆蓋蓬安地區(qū)。

Sqoop是一個(gè)用來(lái)將Hadoop和關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)（例如 ： MySQL ,Oracle ,Postgres等）中的數(shù)據(jù)導(dǎo)進(jìn)到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫(kù)中。

對(duì)于某些NoSQL數(shù)據(jù)庫(kù)它也提供了連接器。Sqoop，類似于其他ETL工具，使用元數(shù)據(jù)模型來(lái)判斷數(shù)據(jù)類型并在數(shù)據(jù)從數(shù)據(jù)源轉(zhuǎn)移到Hadoop時(shí)確保類型安全的數(shù)據(jù)處理。Sqoop專為大數(shù)據(jù)批量傳輸設(shè)計(jì)，能夠分割數(shù)據(jù)集并創(chuàng)建Hadoop任務(wù)來(lái)處理每個(gè)區(qū)塊。

1.sqoop下載

https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/

2.sqoop上傳到服務(wù)器 并解壓到相應(yīng)的目錄

sqoop工具的安裝和部署

3.修改sqoop的配置文件

sqoop工具的安裝和部署

4.修改配置文件

sqoop工具的安裝和部署

5.拷貝sqoop需要的mysql 數(shù)據(jù)庫(kù)驅(qū)動(dòng)

cp   /home/nflow/servers/hive/lib/mysql-connector-java-5.1.26-bin.jar   /home/nflow/servers/sqoop-1.4.7/lib/

6.啟動(dòng)sqoop測(cè)試 （可以看出連接數(shù)據(jù)庫(kù)了）

sqoop工具的安裝和部署

./sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root --password 123456

7.sqoop導(dǎo)入數(shù)據(jù)

 從博主拿過(guò)來(lái)的sql

drop database if exists userdb; create database userdb; use userdb; drop table if exists emp; drop table if exists emp_add; drop table if exists emp_conn;   CREATE TABLE emp( id INT NOT NULL, name VARCHAR(100), deg VARCHAR(100), salary BIGINT, dept VARCHAR(50) );   CREATE TABLE emp_add( id INT NOT NULL, hno VARCHAR(50), street VARCHAR(50), city VARCHAR(50) );   CREATE TABLE emp_conn( id INT NOT NULL, phno VARCHAR(50), email VARCHAR(50) );   insert into emp values(1201,'gopal','manager','50000','TP'); insert into emp values(1202,'manisha','Proof reader','50000','TP'); insert into emp values(1203,'khalil','php dev','30000','AC'); insert into emp values(1204,'prasanth','php dev','30000','AC'); insert into emp values(1205,'kranthi','admin','20000','TP');   insert into emp_add values(1201,'288A','vgiri','jublee'); insert into emp_add values(1202,'108I','aoc','sec-bad'); insert into emp_add values(1203,'144Z','pgutta','hyd'); insert into emp_add values(1204,'78B','old city','sec-bad'); insert into emp_add values(1205,'720X','hitec','sec-bad');   insert into emp_conn values(1201,'2356742','gopal@tp.com'); insert into emp_conn values(1202,'1661663','manisha@tp.com'); insert into emp_conn values(1203,'8887776','khalil@ac.com'); insert into emp_conn values(1204,'9988774','prasanth@ac.com'); insert into emp_conn values(1205,'1231231','kranthi@tp.com'); ———————————————— ####感謝此博主   版權(quán)為別人的版權(quán)  我只是試用下  版權(quán)聲明：本文為CSDN博主「記錄每一份筆記」的原創(chuàng)文章，遵循 CC 4.0 BY-SA 版權(quán)協(xié)議，轉(zhuǎn)載請(qǐng)附上原文出處鏈接及本聲明。 原文鏈接：https://blog.csdn.net/yumingzhu1/article/details/80678525

從mysql 到 hdfs

#/bin/bash ./bin/sqoop import   \ --connect  jdbc:mysql://192.168.249.10:3306/userdb \ --username root  \ --password 123456   \ --table emp   \ --m 1 [nflow@hadoop-master1 sqoop-1.4.7]$ pwd /home/nflow/servers/sqoop-1.4.7 [nflow@hadoop-master1 sqoop-1.4.7]$  默認(rèn)導(dǎo)出的位置為 /usr/用戶/表名          數(shù)據(jù)庫(kù)不能用localhost或者127.0.0.1  不然會(huì)報(bào)錯(cuò) 必須要用IP地址

sqoop工具的安裝和部署

sqoop工具的安裝和部署sqoop工具的安裝和部署

HDFS 目錄下次在導(dǎo)入不能重復(fù)

重新修改腳本如下 這樣每次都可以生成新的

sqoop工具的安裝和部署

sqoop工具的安裝和部署

mysql數(shù)據(jù)導(dǎo)入到hive里面

數(shù)據(jù)庫(kù)數(shù)據(jù)

sqoop工具的安裝和部署

./sqoop import \ --connect jdbc:mysql://192.168.249.10:3306/userdb \　    ##userdb --username admin \              #數(shù)據(jù)庫(kù)admin用戶 --password 123456 \             #數(shù)據(jù)庫(kù)admin用戶的密碼 --table emp_add \　　           #數(shù)據(jù)庫(kù)admin里面的emp_add表 --delete-target-dir \　　       #每次刪除 --num-mappers 1 \　             ##mapreduce 進(jìn)程個(gè)數(shù) --hive-import \　　             ##指定hive --hive-database default \　　   ##hive的默認(rèn)數(shù)據(jù)庫(kù) --hive-table empadd \           ##hive里面 default 數(shù)據(jù)的表名稱 --fields-terminated-by '\t'     ###換行

sqoop工具的安裝和部署

sqoop工具的安裝和部署

sqoop再次導(dǎo)入同一張表測(cè)試 測(cè)試結(jié)果為 如果數(shù)據(jù)庫(kù)有新增的數(shù)據(jù) 那么hive將會(huì)也會(huì)拿過(guò)來(lái)，導(dǎo)致重復(fù) 如下圖，如何避免這個(gè)問(wèn)題呢 sqoop的增量同步

sqoop工具的安裝和部署

#######sqoop增量同步到hive

id大于1207 的會(huì)同步 不會(huì)導(dǎo)致重復(fù)

./sqoop import \ --connect jdbc:mysql://192.168.249.10:3306/userdb \ --username admin \ --password 123456 \ --table emp_add \ --num-mappers 1 \ --hive-import \ --hive-database default \ --hive-table empadd \ --fields-terminated-by '\t' \ --incremental append \ --check-column id  \ --last-value 1207

sqoop工具的安裝和部署

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

文章題目：sqoop工具的安裝和部署-創(chuàng)新互聯(lián)
文章網(wǎng)址：http://muchs.cn/article24/dpjcje.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、網(wǎng)站設(shè)計(jì)、ChatGPT、用戶體驗(yàn)、建站公司、企業(yè)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

成都網(wǎng)站建設(shè)