本篇內(nèi)容介紹了“ HBase的環(huán)境配置及應(yīng)用方法 ”的有關(guān)知識,在實(shí)際案例的操作過程中,不少人都會(huì)遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!
成都創(chuàng)新互聯(lián)公司主營青白江網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,重慶APP開發(fā)公司,青白江h(huán)5微信小程序開發(fā)搭建,青白江網(wǎng)站營銷推廣歡迎青白江等地區(qū)企業(yè)咨詢
hbase是bigtable的開源山寨版本。是建立的hdfs之上,提供高可靠性、高性能、列存儲(chǔ)、可伸縮、實(shí)時(shí)讀寫的數(shù)據(jù)庫系統(tǒng)。
它介于NOSQL和RDBMS之間,僅能通過主鍵(row key)和主鍵的range來檢索數(shù)據(jù),僅支持單行事務(wù)(可通過hive支持來實(shí)現(xiàn)多表join等復(fù)雜操作)。主要用來存儲(chǔ)非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)。與hadoop一樣,Hbase目標(biāo)主要依靠橫向擴(kuò)展,通過不斷增加廉價(jià)的商用服務(wù)器,來增加計(jì)算和存儲(chǔ)能力。
HBase以表的形式存儲(chǔ)數(shù)據(jù)。表有行和列組成。列劃分為若干個(gè)列族(row family)。
我們可以先來看一下傳統(tǒng)的關(guān)系型數(shù)據(jù)庫中的表:
然后與HBase的表進(jìn)行對比,hbase的表結(jié)構(gòu),與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫有較大的差別
1、一個(gè)表會(huì)按照行劃分為若干個(gè)region,每一個(gè)region分配給一臺(tái)特定的regionserver管理
2、每一個(gè)region內(nèi)部還要一句列族劃分為若干個(gè)HStore
3、每個(gè)HStore中的數(shù)據(jù)會(huì)落地到若干個(gè)HFILE文件中
4、region體積會(huì)隨著數(shù)據(jù)插入而不斷增長,到一定閾值后悔分裂
5、隨著region的分裂,一臺(tái)regionserver上管理的region會(huì)越來越多
6、HMASTER會(huì)根據(jù)regionserver上管理的region數(shù)做負(fù)載均衡
7、region中的數(shù)據(jù)擁有一個(gè)內(nèi)存緩存:memstore,數(shù)據(jù)的訪問優(yōu)先在memstore中進(jìn)行
8、memstore中的數(shù)據(jù)因?yàn)榭臻g有限,所以需要定期flush到文件storefile中,每次flush都是生成新的storefile
9、storefile的數(shù)量隨著時(shí)間也會(huì)不斷增加,regionserver會(huì)定期將大量storefile進(jìn)行合并(merge)
行鍵的設(shè)計(jì)對數(shù)據(jù)查詢效率的影響非常大。
HBase具有很好的可伸縮性:如果存儲(chǔ)容量不夠的時(shí)候,直接加datanode或者regionservers
hbase可以作為一個(gè)線上系統(tǒng)的底層系統(tǒng)的功能。
Hmaster可以做負(fù)載均衡,監(jiān)控到各個(gè)節(jié)點(diǎn)之間的數(shù)據(jù)存儲(chǔ)情況。
每一個(gè)store(列族)會(huì)有一個(gè)內(nèi)存緩存,存放的是一些最熱的數(shù)據(jù)(最近訪問的),這樣的話讀取數(shù)據(jù)的速度會(huì)快很多。
文件都是有索引的,所以查起來會(huì)比較快的。
region會(huì)在storefile定期進(jìn)行合并操作。
1、首先要去下載一個(gè)HBase的安裝文件: http://hbase.apache.org/,然后解壓到你需要安裝的目錄,如果你已經(jīng)學(xué)到hbase了,我相信這些基本的安裝肯定全部都會(huì)了的。
2、在habse目錄下的conf目錄下找到hbase-env.sh和hbase-site.xml,以及regionservers,然后分別按照下面的進(jìn)行配置,整個(gè)配置過程非常簡單。
在hbase-env.sh中,主要是配置java的環(huán)境變量,還有就是要開啟zookeeper功能,這里要把默認(rèn)的true改成的false,意思就是啟用zookeeper,但是啟用的不是hbase自帶的zookeeper,而是使用我自己安裝的zookeeper。
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64 export HBASE_MANAGES_ZK=false
在hbase-site.xml中,主要就是配置hdfs的主機(jī)地址,還有下面的ubuntu1,2,3就是zookeeper的主機(jī)名個(gè)端口2181,不同的機(jī)器可以酌情配置。
configuration> <property> <name>hbase.rootdir</name> <value>hdfs://ubuntu2:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>ubuntu1:2181,ubuntu2:2181,ubuntu3:2181</value> </property> </configuration>
3、最后修改regionservers,將默認(rèn)的localhost修改為主機(jī)的地址,這個(gè)配置文件的意思就是設(shè)置從節(jié)點(diǎn),和我們之前配置的hadoop集群都是差不多的,就相當(dāng)于那個(gè)salver。
ubuntu1 ubuntu2 ubuntu3
4、最后將hadoop中的core-site.xml和hdfs-site.xml拷貝到hbase的conf目錄下。
5、然后通過scp將這個(gè)配置好的文件發(fā)往其他的兩個(gè)節(jié)點(diǎn)。
最后我只想說一句不要在這配置文件里面多打了字母,否則會(huì)報(bào)錯(cuò)的。
1、啟動(dòng)所有的hbase進(jìn)程
首先啟動(dòng)zk集群
./zkServer.sh start
啟動(dòng)hbase集群
start-dfs.sh
啟動(dòng)hbase,在主節(jié)點(diǎn)上運(yùn)行:
start-hbase.sh
2、 通過瀏覽器訪問hbase管理頁面
192.168.44.131:60010
3、 為保證集群的可靠性,要啟動(dòng)多個(gè)HMaster
hbase-daemon.sh start master
jps在主節(jié)點(diǎn)上面的效果是:會(huì)啟動(dòng)HRegionServer和HMaster
我們可以通過web頁面查看啟動(dòng)的情況:192.168.44.131:60010,也就是你的主節(jié)點(diǎn)的ip或主機(jī)名+端口號60010就可以了。
官方給的例子是:
Examples: hbase> create 'ns1:t1', 'f1', SPLITS => ['10', '20', '30', '40'] hbase> create 't1', 'f1', SPLITS => ['10', '20', '30', '40'] hbase> create 't1', 'f1', SPLITS_FILE => 'splits.txt', OWNER => 'johndoe' hbase> create 't1', {NAME => 'f1', VERSIONS => 5}, METADATA => { 'mykey' => 'myvalue' } hbase> # Optionally pre-split the table into NUMREGIONS, using hbase> # SPLITALGO ("HexStringSplit", "UniformSplit">
那么我們就以例子為準(zhǔn),來新建一個(gè)用戶信息表。表名為user-info,包含兩個(gè)列族(base_info和extra_info),保留3個(gè)版本。
create 'user-info',{NAME=>'base_info',VERSIONS=>3},{NAME=>'extra_info'}
官方給的語句是:
hbase> put 'ns1:t1', 'r1', 'c1', 'value', ts1
那么我們就按照它的語法來寫:
put 'user-info','rk-100001','base_info:name','張s' put 'user-info','rk-100001','base_info:age','20' put 'user-info','rk-100001','base_info:address','湖南長沙'
在hbase只能一條條的插入,就比如一次只能插入name,那么如果我們想插入age,address就需要一個(gè)個(gè)的put。
1、我們可以通過scan來查詢:
scan 'user-info'
我們可以從圖中看到它是按key來排序的(字段的名稱會(huì)根據(jù)字典排序)k-value
如果我再插入一行,
put 'user-info','rk100003','base_info:name','angelabby'
一行中的所有字段名+字段值,在存儲(chǔ)的時(shí)候,hbase會(huì)排序,排序的依據(jù)是按照K的字典順序,所有的行也會(huì)有序存儲(chǔ),排序的依據(jù)是rowkey的字典順序。
這個(gè)特性會(huì)影響連續(xù)存放。
2、get取數(shù)據(jù),一次只能取一行數(shù)據(jù)
get 'user-info','rk100003'
三個(gè)版本:
put 'user-info','rk100003','base_info:name',’yangying' put 'user-info','rk100003','base_info:name','baobao'
查看以前版本的值:
scan 'user-info',{VERSIONS=>10}
需要先禁用這個(gè)表,然后才可以drop掉。
需要先禁用這個(gè)表,然后才可以drop掉。 disable 'user-info' drop 'user-info'
打開eclipse,導(dǎo)入hbase/lib中的所有包。然后就可以愉快的開始寫了,這里以在eclipse中庸hbase建表和插入數(shù)據(jù)為例:
//建表,DDL操作 public static void main(String[] args) throws MasterNotRunningException, ZooKeeperConnectionException, IOException { // Configuration conf=new Configuration(); //會(huì)加載hbase-site.xml配置文件 Configuration conf=HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum","ubuntu1:2181,ubuntu2:2181,ubuntu3:2181"); HBaseAdmin admin=new HBaseAdmin(conf); TableName name = TableName.valueOf("user-info"); HTableDescriptor tableDescriptor=new HTableDescriptor(name); //創(chuàng)建列名 HColumnDescriptor base_info = new HColumnDescriptor("base_info"); //給列族增加版本約束 base_info.setMaxVersions(3); //將列族添加到表描述對象中 tableDescriptor.addFamily(base_info); //用createTable方法創(chuàng)建一個(gè)tabelDescriptor所描述的對象 admin.createTable(tableDescriptor); //關(guān)閉連接 admin.close(); }
最后我們可以在hbase的shell窗口來查看表是否已建好表。輸入list就可以查詢了
然后來插入數(shù)據(jù):
@Test //插入數(shù)據(jù),屬于DML操作 public void Put() throws IOException{ Configuration conf=HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum","ubuntu1:2181,ubuntu2:2181,ubuntu3:2181"); HTable hTable = new HTable(conf,"user-info"); Put put=new Put(Bytes.toBytes("rk-10001")); put.add("base_info".getBytes(),"name".getBytes(),"wangming".getBytes()); put.add("base_info".getBytes(),"age".getBytes(),"20".getBytes()); hTable.put(put); hTable.close(); }
最后我們可以在hbase的shell窗口來查看表是否已插入好數(shù)據(jù)。
“ HBase的環(huán)境配置及應(yīng)用方法 ”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實(shí)用文章!
網(wǎng)站題目:HBase的環(huán)境配置及應(yīng)用方法
標(biāo)題URL:http://www.muchs.cn/article44/jiojhe.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供域名注冊、、用戶體驗(yàn)、電子商務(wù)、手機(jī)網(wǎng)站建設(shè)、服務(wù)器托管
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)