zookeeper+kafka集群部署+storm集群-創(chuàng)新互聯(lián)

zookeeper+kafka集群部署+storm集群

創(chuàng)新互聯(lián)主要從事成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站、網(wǎng)頁(yè)設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)宿松,十多年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專業(yè),歡迎來(lái)電咨詢建站服務(wù):18980820575

一、環(huán)境安裝前準(zhǔn)備：

準(zhǔn)備三臺(tái)機(jī)器

操作系統(tǒng)：centos6.8

jdk:jdk-8u111-linux-x64.gz

zookeeper:zookeeper-3.4.11.tar.gz

kafka: kafka_2.11-1.0.1.tgz

storm:apache-storm-1.2.2.tar.gz

配置/etc/hosts(三臺(tái)上都操作)

vi /etc/hosts

192.168.1.211 canal01

192.168.1.212 canal02

192.168.1.213 canal03

二、jdk安裝（三臺(tái)）

2.1解壓軟件

tar zxvf jdk-8u111-linux-x64.gz

mv  jdk-8u111-linux-x64 /usr/local/jdk

2.2配置環(huán)境變量

vi /etc/profile

#java

JAVA_HOME=/usr/local/jdk

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME

export PATH

export CLASSPATH

環(huán)境變量生效

source /etc/profile

三、zookeeper集群安裝(三臺(tái)上操作)

3.1解壓軟件

tar zxvf zookeeper-3.4.11.tar.gz

mv zookeeper-3.4.11 /usr/local/zookeeper

cd /usr/local/zookeeper/conf

mv  mv zoo_sample.cfg zoo.cfg

3.2、配置zoo.cfg

vi zoo.cfg

#修改

dataDir=/usr/local/zookeeper/data

#添加

dataLogDir=/usr/local/zookeeper/logs

server.1=192.168.1.211:2888:3888

server.2=192.168.1.212:2888:3888

server.3=192.168.1.213:2888:3888

3.3、創(chuàng)建目錄

mkdir /usr/local/zookeeper/data

mkdir /usr/local/zookeeper/logs

在192.168.1.211操作

echo "1" >/usr/local/zookeeper/data/myid

在192.168.1.212操作

echo "2" >/usr/local/zookeeper/data/myid

在192.168.1.213操作

echo "3" >/usr/local/zookeeper/data/myid

3.4、啟動(dòng)zookeeper

cd /usr/local/zookeeper/bin/

./zkServer.sh start

3.5、查看狀態(tài)

cd /usr/local/zookeeper/bin/

./zkServer.sh status

注意：查看zookeeper集群的狀態(tài)，出現(xiàn)Mode:follower或是Mode:leader則代表成功

四、kafka集群安裝（三臺(tái)上操作）

4.1解壓軟件

tar zxvf  kafka_2.11-1.0.1.tgz

mv kafka_2.11-1.0.1 /usr/local/kafka

4.2配置kafka（在三臺(tái)分別操作）

在192.168.1.211操作

cd /usr/local/kafka/config/

cp server.properties server0.properties

vi server0.properties

#修改

broker.id=0

zookeeper.connect=192.168.1.211:2181,192.168.1.212:2181,192.168.1.213:2181

在192.168.1.212操作

cd /usr/local/kafka/config/

cp server.properties server0.properties

vi server0.properties

#修改

broker.id=1

zookeeper.connect=192.168.1.211:2181,192.168.1.212:2181,192.168.1.213:2181

在192.168.1.213操作

cd /usr/local/kafka/config/

cp server.properties server0.properties

vi server0.properties

#修改

broker.id=2

zookeeper.connect=192.168.1.211:2181,192.168.1.212:2181,192.168.1.213:2181

4.3啟動(dòng)kafka(采用后臺(tái)啟動(dòng)方式)

/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server0.properties

查看日志是否成功

cd /usr/local/kafka/logs

tail -200 kafkaServer.out

以上圖說(shuō)明成功，沒(méi)有報(bào)錯(cuò)

五、storm集群安裝（三臺(tái)都操作）

5.1、解壓軟件

tar zxvf apache-storm-1.2.2.tar.gz

mv apache-storm-1.2.2 /usr/local/storm

5.2、配置storm

cd /usr/local/storm/conf/

vi storm.yaml

##配置

storm.zookeeper.servers:

- "192.168.1.211"

- "192.168.1.212"

- "192.168.1.213"

storm.zookeeper.port: 2181

nimbus.seeds: ["canal01"]

storm.local.dir: "/usr/local/storm/storm-local"

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

storm.health.check.dir: "healthchecks"

storm.health.check.timeout.ms: 5000

5.3、配置環(huán)境變量

vi /etc/profile

##storm

export STORM_HOME=/usr/local/storm

export PATH=${STORM_HOME}/bin:$PATH

環(huán)境變量生效

source /etc/profile

5.4、啟動(dòng)storm

在192.168.1.211操作

storm nimbus >/dev/null 2>&1 &

storm ui &

在192.168.1.212操作

storm supervisor >/dev/null 2>&1 &

在192.168.1.213操作

storm supervisor >/dev/null 2>&1 &

訪問(wèn)strom http://192.168.1.211:8080

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

新聞標(biāo)題：zookeeper+kafka集群部署+storm集群-創(chuàng)新互聯(lián)
文章源于：http://muchs.cn/article26/popjg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)網(wǎng)站建設(shè)、建站公司、虛擬主機(jī)、ChatGPT、營(yíng)銷型網(wǎng)站建設(shè)、網(wǎng)站導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)