kafka集群搭建(消息)-創(chuàng)新互聯(lián)

1、Kafka使用背景

成都創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),沅江企業(yè)網(wǎng)站建設(shè),沅江品牌網(wǎng)站建設(shè),網(wǎng)站定制,沅江網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷(xiāo),網(wǎng)絡(luò)優(yōu)化,沅江網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力?？沙浞譂M(mǎn)足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專(zhuān)業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶(hù)成長(zhǎng)自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

在我們大量使用分布式數(shù)據(jù)庫(kù)、分布式計(jì)算集群的時(shí)候，是否會(huì)遇到這樣的一些問(wèn)題：

1. 我們想分析下用戶(hù)行為（pageviews），以便我們?cè)O(shè)計(jì)出更好的廣告位

2. 我想對(duì)用戶(hù)的搜索關(guān)鍵詞進(jìn)行統(tǒng)計(jì)，分析出當(dāng)前的流行趨勢(shì)

3. 有些數(shù)據(jù)，存儲(chǔ)數(shù)據(jù)庫(kù)浪費(fèi)，直接存儲(chǔ)硬盤(pán)效率又低

這些場(chǎng)景都有一個(gè)共同點(diǎn)：

數(shù)據(jù)是由上游模塊產(chǎn)生，上游模塊，使用上游模塊的數(shù)據(jù)計(jì)算、統(tǒng)計(jì)、分析，這個(gè)時(shí)候就可以使用消息系統(tǒng)，尤其是分布式消息系統(tǒng)！

2、Kafka的定義

What is Kafka：它是一個(gè)分布式消息系統(tǒng)，由linkedin使用scala編寫(xiě)，用作LinkedIn的活動(dòng)流（Activity Stream）和運(yùn)營(yíng)數(shù)據(jù)處理管道（Pipeline）的基礎(chǔ)。具有高水平擴(kuò)展和高吞吐量。

3、Kafka和其他主流分布式消息系統(tǒng)的對(duì)比

定義解釋?zhuān)?/p>

1、Java 和 scala都是運(yùn)行在JVM上的語(yǔ)言。

2、erlang和最近比較火的和go語(yǔ)言一樣是從代碼級(jí)別就支持高并發(fā)的一種語(yǔ)言，所以RabbitMQ天生就有很高的并發(fā)性能，但是 有RabbitMQ嚴(yán)格按照AMQP進(jìn)行實(shí)現(xiàn)，受到了很多限制。kafka的設(shè)計(jì)目標(biāo)是高吞吐量，所以kafka自己設(shè)計(jì)了一套高性能但是不通用的協(xié)議，他也是仿照AMQP（ Advanced Message Queuing Protocol ? 高級(jí)消息隊(duì)列協(xié)議）設(shè)計(jì)的。

3、事務(wù)的概念：在數(shù)據(jù)庫(kù)中，多個(gè)操作一起提交，要么操作全部成功，要么全部失敗。舉個(gè)例子， 在轉(zhuǎn)賬的時(shí)候付款和收款，就是一個(gè)事物的例子，你給一個(gè)人轉(zhuǎn)賬，你轉(zhuǎn)成功，并且對(duì)方正常行收到款項(xiàng)后，這個(gè)操作才算成功，有一方失敗，那么這個(gè)操作就是失敗的。

對(duì)應(yīng)消在息隊(duì)列中，就是多條消息一起發(fā)送，要么全部成功，要么全部失敗。3個(gè)中只有ActiveMQ支持，這個(gè)是因?yàn)?，RabbitMQ和Kafka為了更高的性能，而放棄了對(duì)事務(wù)的支持 。

4、集群：多臺(tái)服務(wù)器組成的整體叫做集群，這個(gè)整體對(duì)生產(chǎn)者和消費(fèi)者來(lái)說(shuō)，是透明的。其實(shí)對(duì)消費(fèi)系統(tǒng)組成的集群添加一臺(tái)服務(wù)器減少一臺(tái)服務(wù)器對(duì)生產(chǎn)者和消費(fèi)者都是無(wú)感之的。

5、負(fù)載均衡，對(duì)消息系統(tǒng)來(lái)說(shuō)負(fù)載均衡是大量的生產(chǎn)者和消費(fèi)者向消息系統(tǒng)發(fā)出請(qǐng)求消息，系統(tǒng)必須均衡這些請(qǐng)求使得每一臺(tái)服務(wù)器的請(qǐng)求達(dá)到平衡，而不是大量的請(qǐng)求，落到某一臺(tái)或幾臺(tái)，使得這幾臺(tái)服務(wù)器高負(fù)荷或超負(fù)荷工作，嚴(yán)重情況下會(huì)停止服務(wù)或宕機(jī)。

6、動(dòng)態(tài)擴(kuò)容是很多公司要求的技術(shù)之一，不支持動(dòng)態(tài)擴(kuò)容就意味著停止服務(wù)，這對(duì)很多公司來(lái)說(shuō)是不可以接受的。

注：

阿里巴巴的Metal,RocketMQ都有Kafka的影子，他們要么改造了Kafka或者借鑒了Kafka，最后Kafka的動(dòng)態(tài)擴(kuò)容是通過(guò)Zookeeper來(lái)實(shí)現(xiàn)的。

Zookeeper是一種在分布式系統(tǒng)中被廣泛用來(lái)作為：分布式狀態(tài)管理、分布式協(xié)調(diào)管理、分布式配置管理、和分布式鎖服務(wù)的集群。kafka增加和減少服務(wù)器都會(huì)在Zookeeper節(jié)點(diǎn)上觸發(fā)相應(yīng)的事件kafka系統(tǒng)會(huì)捕獲這些事件，進(jìn)行新一輪的負(fù)載均衡，客戶(hù)端也會(huì)捕獲這些事件來(lái)進(jìn)行新一輪的處理。

二、Kafka相關(guān)概念

1、 AMQP協(xié)議

Advanced Message Queuing Protocol （高級(jí)消息隊(duì)列協(xié)議）

The Advanced Message Queuing Protocol (AMQP)：是一個(gè)標(biāo)準(zhǔn)開(kāi)放的應(yīng)用層的消息中間件（Message Oriented Middleware）協(xié)議。AMQP定義了通過(guò)網(wǎng)絡(luò)發(fā)送的字節(jié)流的數(shù)據(jù)格式。因此兼容性非常好，任何實(shí)現(xiàn)AMQP協(xié)議的程序都可以和與AMQP協(xié)議兼容的其他程序交互，可以很容易做到跨語(yǔ)言，跨平臺(tái)。

上面說(shuō)的3種比較流行的消息隊(duì)列協(xié)議，要么支持AMQP協(xié)議，要么借鑒了AMQP協(xié)議的思想進(jìn)行了開(kāi)發(fā)、實(shí)現(xiàn)、設(shè)計(jì)。

2、 一些基本的概念

1、消費(fèi)者：（Consumer）：從消息隊(duì)列中請(qǐng)求消息的客戶(hù)端應(yīng)用程序

2、生產(chǎn)者：（Producer） ?：向broker發(fā)布消息的應(yīng)用程序

3、AMQP服務(wù)端（broker）：用來(lái)接收生產(chǎn)者發(fā)送的消息并將這些消息路由給服務(wù)器中的隊(duì)列，便于fafka將生產(chǎn)者發(fā)送的消息，動(dòng)態(tài)的添加到磁盤(pán)并給每一條消息一個(gè)偏移量，所以對(duì)于kafka一個(gè)broker就是一個(gè)應(yīng)用程序的實(shí)例

kafka支持的客戶(hù)端語(yǔ)言

：Kafka客戶(hù)端支持當(dāng)前大部分主流語(yǔ)言，包括：C、C++、Erlang、Java、.net、perl、PHP、Python、Ruby、Go、Javascript

可以使用以上任何一種語(yǔ)言和kafka服務(wù)器進(jìn)行通信（即辨析自己的consumer從kafka集群訂閱消息也可以自己寫(xiě)producer程序）

3、Kafka架構(gòu)

生產(chǎn)者生產(chǎn)消息、kafka集群、消費(fèi)者獲取消息這樣一種架構(gòu)，如下圖：

kafka集群中的消息，是通過(guò)Topic（主題）來(lái)進(jìn)行組織的，如下圖：

一些基本的概念：

1、主題（Topic）：一個(gè)主題類(lèi)似新聞中的體育、娛樂(lè)、教育等分類(lèi)概念，在實(shí)際工程中通常一個(gè)業(yè)務(wù)一個(gè)主題。

2、分區(qū)（Partition）：一個(gè)Topic中的消息數(shù)據(jù)按照多個(gè)分區(qū)組織，分區(qū)是kafka消息隊(duì)列組織的最小單位，一個(gè)分區(qū)可以看作是一個(gè)FIFO（ First Input First Output的縮寫(xiě)，先入先出隊(duì)列）的隊(duì)列。

kafka分區(qū)是提高kafka性能的關(guān)鍵所在，當(dāng)你發(fā)現(xiàn)你的集群性能不高時(shí)，常用手段就是增加Topic的分區(qū)，分區(qū)里面的消息是按照從新到老的順序進(jìn)行組織，消費(fèi)者從隊(duì)列頭訂閱消息，生產(chǎn)者從隊(duì)列尾添加消息。

工作圖：

備份（Replication）：為了保證分布式可靠性，kafka0.8開(kāi)始對(duì)每個(gè)分區(qū)的數(shù)據(jù)進(jìn)行備份（不同的Broker上），防止其中一個(gè)Broker宕機(jī)造成分區(qū)上的數(shù)據(jù)不可用。

kafka0.7是一個(gè)很大的改變：1、增加了備份2、增加了控制借點(diǎn)概念，增加了集群領(lǐng)導(dǎo)者選舉 。

三、Zookeeper(動(dòng)物園)集群搭建

kafka集群是把狀態(tài)保存在Zookeeper中的，首先要搭建Zookeeper集群。

1、軟件環(huán)境(3臺(tái)服務(wù)器-測(cè)試,一般是奇數(shù)臺(tái)服務(wù)器)

vim? /etc/hosts(3臺(tái)服務(wù)器都要寫(xiě))

192.168.11.128? server1

192.168.11.129? server2

192.168.11.130? server3

1、Linux服務(wù)器一臺(tái)、三臺(tái)、五臺(tái)、（2*n+1），Zookeeper集群的工作是超過(guò)半數(shù)才能對(duì)外提供服務(wù)，3臺(tái)中超過(guò)兩臺(tái)超過(guò)半數(shù)，允許1臺(tái)掛掉 ，是否可以用偶數(shù)，其實(shí)沒(méi)必要。

如果有四臺(tái)那么掛掉一臺(tái)還剩下三臺(tái)服務(wù)器，如果在掛掉一個(gè)就不行了，這里記住是超過(guò)半數(shù)。

2、Java jdk1.8 zookeeper是用java寫(xiě)的所以他的需要JAVA環(huán)境，java是運(yùn)行在java虛擬機(jī)上的

3、Zookeeper的穩(wěn)定版本Zookeeper 3.4.14版本

-------------------------------------------------------------------------------------------------------------------------------------------------

2、配置安裝zookeeper

下面的操作是: 3臺(tái)服務(wù)器統(tǒng)一操作

1、安裝java（我這里采用jdk安裝）

先準(zhǔn)備jdk的包，解壓帶/usr/local下

創(chuàng)建軟鏈接

寫(xiě)java環(huán)境變量

vim? ?/etc/profile.d/aa.sh

加載環(huán)境變量

source? /etc/profile(加載全部環(huán)境變量)? ?或者? source /etc/profile.d/aa.sh(加載這一個(gè)環(huán)境變量)

查看java有沒(méi)有安裝成功

如上圖所示，表示java環(huán)境已經(jīng)部署成功

------------------------------------------------------------------------------------------------------------------------

用yum安裝java

yum? list? ?java*? ? &&? ?yum? -y? install? java

------------------------------------------------------------------------------------------------------------------------

2、下載Zookeeper（3臺(tái)服務(wù)器統(tǒng)一操作）

首先要注意在生產(chǎn)環(huán)境中目錄結(jié)構(gòu)要定義好，防止在項(xiàng)目過(guò)多的時(shí)候找不到所需的項(xiàng)目

#目錄統(tǒng)一放在/opt下面

#首先創(chuàng)建Zookeeper項(xiàng)目目錄

cd? /opt

mkdir? ?zookeeper? ? ? ? ?//項(xiàng)目目錄

mkdir? ?zookeeper/zkdata? ? ? ? //存放快照日志

mkdir? ?zookeeper/zkdatalog? ? ? ?//存放事物日志

下載Zookeeper

#下載軟件

cd? ?/opt/zookeeper/

wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

解壓軟件

tar? ?xf? ??zookeeper-3.4.14.tar.gz

3、修改配置文件

進(jìn)入到解壓好的目錄里面的conf目錄中，查看

#zoo_sample.cfg ?這個(gè)文件是官方給我們的zookeeper的樣板文件，給他復(fù)制一份命名為zoo.cfg，zoo.cfg是官方指定的文件命名規(guī)則。

3臺(tái)服務(wù)器的配置文件

vim? ? zoo.cfg

上面定義了dataDir和clientPort這2行就要注釋?zhuān)駝t后面起集群會(huì)報(bào)錯(cuò)。

#server.1 這個(gè)1是服務(wù)器的標(biāo)識(shí)也可以是其他的數(shù)字， 表示這個(gè)是第幾號(hào)服務(wù)器，用來(lái)標(biāo)識(shí)服務(wù)器，這個(gè)標(biāo)識(shí)要寫(xiě)到快照目錄下面myid文件里

#192.168.11.139為集群里的IP地址，第一個(gè)端口是master和slave之間的通信端口，默認(rèn)是2888，第二個(gè)端口是leader選舉的端口，集群剛啟動(dòng)的時(shí)候選舉或者leader掛掉之后進(jìn)行新的選舉的端口默認(rèn)是3888

配置文件解釋?zhuān)?/strong>

#tickTime：

這個(gè)時(shí)間是作為 Zookeeper 服務(wù)器之間或客戶(hù)端與服務(wù)器之間維持心跳的時(shí)間間隔，也就是每個(gè) tickTime 時(shí)間就會(huì)發(fā)送一個(gè)心跳。

#initLimit：

這個(gè)配置項(xiàng)是用來(lái)配置 Zookeeper 接受客戶(hù)端（這里所說(shuō)的客戶(hù)端不是用戶(hù)連接 Zookeeper 服務(wù)器的客戶(hù)端，而是 Zookeeper 服務(wù)器集群中連接到 Leader 的 Follower 服務(wù)器）初始化連接時(shí)最長(zhǎng)能忍受多少個(gè)心跳時(shí)間間隔數(shù)。當(dāng)已經(jīng)超過(guò) 5個(gè)心跳的時(shí)間（也就是 tickTime）長(zhǎng)度后 Zookeeper 服務(wù)器還沒(méi)有收到客戶(hù)端的返回信息，那么表明這個(gè)客戶(hù)端連接失敗?？偟臅r(shí)間長(zhǎng)度就是 5*2000=10 秒

#syncLimit：

這個(gè)配置項(xiàng)標(biāo)識(shí) Leader 與Follower 之間發(fā)送消息，請(qǐng)求和應(yīng)答時(shí)間長(zhǎng)度，最長(zhǎng)不能超過(guò)多少個(gè) tickTime 的時(shí)間長(zhǎng)度，總的時(shí)間長(zhǎng)度就是5*2000=10秒

#dataDir：

快照日志的存儲(chǔ)路徑

#dataLogDir：

事物日志的存儲(chǔ)路徑，如果不配置這個(gè)那么事物日志會(huì)默認(rèn)存儲(chǔ)到dataDir制定的目錄，這樣會(huì)嚴(yán)重影響zk的性能，當(dāng)zk吞吐量較大的時(shí)候，產(chǎn)生的事物日志、快照日志太多

#clientPort：

這個(gè)端口就是客戶(hù)端連接 Zookeeper 服務(wù)器的端口，Zookeeper 會(huì)監(jiān)聽(tīng)這個(gè)端口，接受客戶(hù)端的訪(fǎng)問(wèn)請(qǐng)求。修改他的端口改大點(diǎn)

創(chuàng)建myid文件（每一臺(tái)的都不一樣）

#server1

echo "1" > /opt/zookeeper/zkdata/myid

#server2

echo "2" > /opt/zookeeper/zkdata/myid

#server3

echo "3" > /opt/zookeeper/zkdata/myid

4、重要配置說(shuō)明

1、myid文件和server.myid ?在快照目錄下存放的標(biāo)識(shí)本臺(tái)服務(wù)器的文件，他是整個(gè)zk集群用來(lái)發(fā)現(xiàn)彼此的一個(gè)重要標(biāo)識(shí)。

2、zoo.cfg 文件是zookeeper配置文件 在conf目錄里。

3、log4j.properties文件是zk的日志輸出文件 在conf目錄里用java寫(xiě)的程序基本上有個(gè)共同點(diǎn)日志都用log4j，來(lái)進(jìn)行管理。

4、zkEnv.sh和zkServer.sh文件

zkServer.sh ?主的管理程序文件

zkEnv.sh ? 是主要配置，zookeeper集群?jiǎn)?dòng)時(shí)配置環(huán)境變量的文件

5、還有一個(gè)需要注意

ZooKeeper serverwill not remove old snapshots and log files when using the default configuration (see autopurge below), this is the responsibility of the operator

zookeeper不會(huì)主動(dòng)的清除舊的快照和日志文件，這個(gè)是操作者的責(zé)任。

但是可以通過(guò)命令去定期的清理

#以上這個(gè)腳本定義了刪除對(duì)應(yīng)兩個(gè)目錄中的文件，保留最新的66個(gè)文件，可以將他寫(xiě)到crontab中，設(shè)置為每天凌晨2點(diǎn)執(zhí)行一次就可以了。

5、啟動(dòng)服務(wù)并查看

1、啟動(dòng)服務(wù)

#進(jìn)去到Zookeeper的bin目錄下

cd ? /opt/zookeeper/zookeeper-3.4.14/bin

#啟動(dòng)服務(wù)(3臺(tái)都需要操作)

2、檢查服務(wù)狀態(tài)

#檢查服務(wù)器狀態(tài)（會(huì)有一個(gè)leader和2個(gè)follower）

zk集群一般只有一個(gè)leader，多個(gè)follower，主一般是相應(yīng)客戶(hù)端的讀寫(xiě)請(qǐng)求，而從主同步數(shù)據(jù)，當(dāng)主掛掉之后就會(huì)從follower里投票選舉一個(gè)leader出來(lái)。

可以用jps查看zk的進(jìn)程，這是整個(gè)工程的main

#執(zhí)行命令jps

四，kafka集群搭建

1，軟件環(huán)境

1、linux一臺(tái)或多臺(tái)，大于等于2

2、已經(jīng)搭建好的zookeeper集群

3、軟件版本kafka_2.11-0.9.0.1.tgz

2、創(chuàng)建目錄并下載安裝軟件（3臺(tái)服務(wù)器一起操作）

#創(chuàng)建目錄

cd ? /opt

mkdir ? kafka ? #創(chuàng)建項(xiàng)目目錄

cd ? kafka

mkdir ? kafkalogs ? ?#創(chuàng)建kafka消息目錄，主要存放kafka消息

#下載軟件

wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.2.0/kafka_2.11-2.2.0.tgz

#解壓軟件

tar -zxvf kafka_2.11-2.2.0.tgz

3，修改配置文件

進(jìn)入到config目錄

cd /opt/kafka/kafka_2.11-2.2.0/config/

主要關(guān)注：server.properties 這個(gè)文件即可，我們可以發(fā)現(xiàn)在目錄下：

有很多文件，這里可以發(fā)現(xiàn)有Zookeeper文件，我們可以根據(jù)Kafka內(nèi)帶的zk集群來(lái)啟動(dòng)，但是建議使用獨(dú)立的zk集群

修改配置文件

broker.id=0? #當(dāng)前機(jī)器在集群中的唯一標(biāo)識(shí)，和zookeeper的myid性質(zhì)一樣

port=19092 #當(dāng)前kafka對(duì)外提供服務(wù)的端口默認(rèn)是9092

host.name=192.168.7.100 #這個(gè)參數(shù)默認(rèn)是關(guān)閉的，在0.8.1有個(gè)bug，DNS解析問(wèn)題，失敗率的問(wèn)題。

num.network.threads=3 #這個(gè)是borker進(jìn)行網(wǎng)絡(luò)處理的線(xiàn)程數(shù)

num.io.threads=8 #這個(gè)是borker進(jìn)行I/O處理的線(xiàn)程數(shù)

log.dirs=/opt/kafka/kafkalogs/ #消息存放的目錄，這個(gè)目錄可以配置為“，”逗號(hào)分割的表達(dá)式，上面的num.io.threads要大于這個(gè)目錄的個(gè)數(shù)這個(gè)目錄，如果配置多個(gè)目錄，新創(chuàng)建的topic他把消息持久化的地方是，當(dāng)前以逗號(hào)分割的目錄中，那個(gè)分區(qū)數(shù)最少就放那一個(gè)

socket.send.buffer.bytes=102400 #發(fā)送緩沖區(qū)buffer大小，數(shù)據(jù)不是一下子就發(fā)送的，先回存儲(chǔ)到緩沖區(qū)了到達(dá)一定的大小后在發(fā)送，能提高性能

socket.receive.buffer.bytes=102400 #kafka接收緩沖區(qū)大小，當(dāng)數(shù)據(jù)到達(dá)一定大小后在序列化到磁盤(pán)

socket.request.max.bytes=104857600 #這個(gè)參數(shù)是向kafka請(qǐng)求消息或者向kafka發(fā)送消息的請(qǐng)請(qǐng)求的大數(shù)，這個(gè)值不能超過(guò)java的堆棧大小

num.partitions=1 #默認(rèn)的分區(qū)數(shù)，一個(gè)topic默認(rèn)1個(gè)分區(qū)數(shù)

log.retention.hours=168 #默認(rèn)消息的大持久化時(shí)間，168小時(shí)，7天

message.max.byte=5242880? #消息保存的大值5M

default.replication.factor=2? #kafka保存消息的副本數(shù)，如果一個(gè)副本失效了，另一個(gè)還可以繼續(xù)提供服務(wù)

replica.fetch.max.bytes=5242880? #取消息的大直接數(shù)

log.segment.bytes=1073741824 #這個(gè)參數(shù)是：因?yàn)閗afka的消息是以追加的形式落地到文件，當(dāng)超過(guò)這個(gè)值的時(shí)候，kafka會(huì)新起一個(gè)文件

log.retention.check.interval.ms=300000 #每隔300000毫秒去檢查上面配置的log失效時(shí)間（log.retention.hours=168 ），到目錄查看是否有過(guò)期的消息如果有，刪除

log.cleaner.enable=false #是否啟用log壓縮，一般不用啟用，啟用的話(huà)可以提高性能

zookeeper.connect=192.168.11.139:12181,192.168.11.140:12181,192.168.11.141:1218 #設(shè)置zookeeper的連接端口

上面是參數(shù)的解釋?zhuān)瑢?shí)際的修改項(xiàng)為：

配置文件修改結(jié)束

4,啟動(dòng)kafka集群并測(cè)試

1. 啟動(dòng)服務(wù)

2.檢查服務(wù)是否啟動(dòng)

#執(zhí)行命令jps

3. 創(chuàng)建Topic驗(yàn)證是否創(chuàng)建成功

更多請(qǐng)看官方文檔：http://kafka.apache.org/documentation.html

#創(chuàng)建Topic（話(huà)題）

#解釋

--replication-factor 2? ?#復(fù)制兩份

--partitions 1 #創(chuàng)建1個(gè)分區(qū)

--topic #主題為meinv

'''在一臺(tái)服務(wù)器上創(chuàng)建一個(gè)發(fā)布者'''

#創(chuàng)建一個(gè)broker，發(fā)布者

'''在一臺(tái)服務(wù)器上創(chuàng)建一個(gè)訂閱者'''

到此，服務(wù)搭建結(jié)束

5、其他說(shuō)明標(biāo)注

5.1、日志說(shuō)明

默認(rèn)kafka的日志是保存在/opt/kafka/kafka_2.11-2.2.0/logs目錄下的，這里說(shuō)幾個(gè)需要注意的日志

server.log #kafka的運(yùn)行日志
state-change.log ?#kafka他是用zookeeper來(lái)保存狀態(tài)，所以他可能會(huì)進(jìn)行切換，切換的日志就保存在這里

controller.log #kafka選擇一個(gè)節(jié)點(diǎn)作為“controller”,當(dāng)發(fā)現(xiàn)有節(jié)點(diǎn)down掉的時(shí)候它負(fù)責(zé)在游泳分區(qū)的所有節(jié)點(diǎn)中選擇新的leader,這使得Kafka可以批量的高效的管理所有分區(qū)節(jié)點(diǎn)的主從關(guān)系。如果controller down掉了，活著的節(jié)點(diǎn)中的一個(gè)會(huì)備切換為新的controller.

5.2、上面的大家你完成之后可以登錄zk來(lái)查看zk的目錄情況

#使用客戶(hù)端進(jìn)入zk
cd/opt/zookeeper/zookeeper-3.4.14/bin
./zkCli.sh -server 192.168.11.139:12181 ?#默認(rèn)是不用加’-server‘參數(shù)的因?yàn)槲覀冃薷牧怂亩丝?br />
#查看目錄情況 執(zhí)行“l(fā)s /”
[zk: 127.0.0.1:12181(CONNECTED) 0] ls /

#顯示結(jié)果：[consumers, config, controller, isr_change_notification, admin, brokers, zookeeper, controller_epoch]
'''
上面的顯示結(jié)果中：只有zookeeper是，zookeeper原生的，其他都是Kafka創(chuàng)建的
'''

#標(biāo)注一個(gè)重要的
[zk: 127.0.0.1:12181(CONNECTED) 1] get /brokers/ids/1
{"jmx_port":-1,"timestamp":"1456125963355","endpoints":["PLAINTEXT://192.168.7.100:19092"],"host":"192.168.7.100","version":2,"port":19092}
cZxid = 0x1000001c1
ctime = Mon Feb 22 15:26:03 CST 2016
mZxid = 0x1000001c1
mtime = Mon Feb 22 15:26:03 CST 2016
pZxid = 0x1000001c1
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x152e40aead20016
dataLength = 139
numChildren = 0
[zk: 127.0.0.1:12181(CONNECTED) 2]

#還有一個(gè)是查看partion
[zk: 127.0.0.1:12181(CONNECTED) 7] get /brokers/topics/shuaige/partitions/0
null
cZxid = 0x100000029
ctime = Mon Feb 22 10:05:11 CST 2016
mZxid = 0x100000029
mtime = Mon Feb 22 10:05:11 CST 2016
pZxid = 0x10000002a
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1
[zk: 127.0.0.1:12181(CONNECTED) 8]

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線(xiàn)，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性?xún)r(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿(mǎn)足用戶(hù)豐富、多元化的應(yīng)用場(chǎng)景需求。

分享名稱(chēng)：kafka集群搭建(消息)-創(chuàng)新互聯(lián)
文章地址：http://muchs.cn/article18/dcjcdp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設(shè)、移動(dòng)網(wǎng)站建設(shè)、App設(shè)計(jì)、靜態(tài)網(wǎng)站、用戶(hù)體驗(yàn)、網(wǎng)站設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)