Ubuntu-16.04中怎么配置ApacheKafka集群-創(chuàng)新互聯(lián)

創(chuàng)新互聯(lián)是網(wǎng)站建設(shè)專家,致力于互聯(lián)網(wǎng)品牌建設(shè)與網(wǎng)絡(luò)營(yíng)銷，專業(yè)領(lǐng)域包括成都網(wǎng)站制作、網(wǎng)站設(shè)計(jì)、電商網(wǎng)站制作開(kāi)發(fā)、微信小程序開(kāi)發(fā)、微信營(yíng)銷、系統(tǒng)平臺(tái)開(kāi)發(fā)，與其他網(wǎng)站設(shè)計(jì)及系統(tǒng)開(kāi)發(fā)公司不同，我們的整合解決方案結(jié)合了恒基網(wǎng)絡(luò)品牌建設(shè)經(jīng)驗(yàn)和互聯(lián)網(wǎng)整合營(yíng)銷的理念，并將策略和執(zhí)行緊密結(jié)合，且不斷評(píng)估并優(yōu)化我們的方案，為客戶提供全方位的互聯(lián)網(wǎng)品牌整合方案！

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)?lái)有關(guān)Ubuntu-16.04中怎么配置Apache Kafka集群，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

Apache Kafka是一個(gè)免費(fèi)的開(kāi)源流處理軟件平臺(tái)，由Apache軟件基金會(huì)用Scala編寫(xiě)。它是一種分布式消息代理，專門(mén)用于有效處理大量實(shí)時(shí)信息。與其他消息代理系統(tǒng)（如ActiveMQ和RabbitMQ）相比，Apache Kafka具有更高吞吐量。Apache Kafka基于提交日志，允許用戶訂閱并將數(shù)據(jù)發(fā)布到任意數(shù)量的系統(tǒng)或?qū)崟r(shí)應(yīng)用程序。

Apache Kafka可以部署在單個(gè)Web服務(wù)器上，也可以部署在分布式集群環(huán)境中。Apache Kafka有四個(gè)主要的API：Producer API，Consumer API，Connector API和Streams API。

特征：

  • 支持并行數(shù)據(jù)加載到Hadoop；

  • 高吞吐量，即便使用適中的硬件，也能支持每秒數(shù)十萬(wàn)條消息；

  • 持久的消息傳遞與O（1）磁盤(pán)結(jié)構(gòu)，提供穩(wěn)定的時(shí)間性能，即使有數(shù)TB的存儲(chǔ)消息；

  • 分布式系統(tǒng)可輕松擴(kuò)展，無(wú)需停機(jī)。

本教程要求

  • 安裝Ubuntu 16.04服務(wù)器的云ECS平臺(tái)；

  • 配置靜態(tài)IP地址192.168.0.103；

  • 在服務(wù)器上設(shè)置Root密碼。

啟動(dòng)云ECS實(shí)例

首先，登錄云ECS控制臺(tái)，你可以選擇喜歡的云平臺(tái)。創(chuàng)建一個(gè)新的ECS實(shí)例，選擇Ubuntu 16.04作為具有至少2GB RAM的操作系統(tǒng)。 連接到ECS實(shí)例并以root用戶身份登錄。

登錄到Ubuntu 16.04實(shí)例后，運(yùn)行以下命令以使用最新的可用軟件包更新基本系統(tǒng)：

apt-get update -y

安裝Java

Apache Kafka需要Java運(yùn)行時(shí)環(huán)境，因此需要在系統(tǒng)中安裝最新版本的Java。默認(rèn)情況下，Ubuntu 16.04存儲(chǔ)庫(kù)中不提供最新版本的Java。因此，我們需要將Java存儲(chǔ)庫(kù)添加到系統(tǒng)中，可以通過(guò)運(yùn)行以下命令來(lái)執(zhí)行此操作：

add-apt-repository ppa:webupd8team/java

接下來(lái)，通過(guò)運(yùn)行以下命令更新存儲(chǔ)庫(kù)并安裝Java：

apt-get install oracle-java8-installer -y

安裝Java后，可以使用以下命令檢查Java版本：

java -version

輸出：

java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

安裝Zookeeper

Apache Kafka依靠Zookeeper維護(hù)配置信息，提供分布式同步，命名和提供組服務(wù)。因此，我們需要將Zookeeper安裝到系統(tǒng)中，可以通過(guò)運(yùn)行以下命令來(lái)安裝它：

apt-get install zookeeperd -y

默認(rèn)情況下，Zookeeper偵聽(tīng)端口2181，可以通過(guò)運(yùn)行以下命令來(lái)檢查它：

netstat -nlpt | grep ':2181'

你應(yīng)該可以看到以下輸出：

tcp6       0      0 :::2181                 :::*                    LISTEN

安裝Apache Kafka

首先，你需要從Apache網(wǎng)站下載最新版本的Kafka，可以通過(guò)運(yùn)行以下命令來(lái)下載：

wget  http://redrockdigimark.com/apachemirror/kafka/1.1.0/kafka_2.12-1.1.0.tgz

下載完成后，使用以下命令解壓縮文件：

tar -xvzf kafka_2.12-1.1.0.tgz

接下來(lái)，將解壓縮目錄復(fù)制到/ opt：

cp -r kafka_2.12-1.1.0 /opt/Kafka

通過(guò)運(yùn)行以下腳本啟動(dòng)Kafka服務(wù)器：

/opt/Kafka/bin/kafka-server-start.sh /opt/Kafka/config/server.properties

你應(yīng)該可以看到以下輸出：

[2018-05-20 08:13:54,271] INFO [/config/changes-event-process-thread]: Starting (kafka.common.ZkNodeChangeNotificationListener$ChangeEventProcessThread)
[2018-05-20 08:13:54,449] INFO Kafka version : 1.1.0 (org.apache.kafka.common.utils.AppInfoParser)
[2018-05-20 08:13:54,461] INFO Kafka commitId : fdcf75ea326b8e07 (org.apache.kafka.common.utils.AppInfoParser)
[2018-05-20 08:13:54,466] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)

Kafka服務(wù)器正在偵聽(tīng)端口9092。

測(cè)試Apache Kafka

現(xiàn)在，通過(guò)運(yùn)行以下命令，使用單個(gè)分區(qū)和僅一個(gè)副本創(chuàng)建名為T(mén)opic1的第一個(gè)主題：

/opt/Kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1  --partitions 1 --topic Topic1

應(yīng)該看到以下輸出：

Created topic "Topic1".

現(xiàn)在，你可以通過(guò)運(yùn)行以下命令在Kafka上查看已創(chuàng)建的主題：

/opt/Kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181

應(yīng)該可以看到以下輸出：

Topic1

現(xiàn)在，使用以下命令將示例消息發(fā)布到名為T(mén)opic1的Apache kafka主題：

/opt/Kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Topic1
>>Hello Kafka
>How R You
>Ok
>

接下來(lái)，運(yùn)行Kafka consumer命令從Kafka集群讀取數(shù)據(jù)并將消息顯示到標(biāo)準(zhǔn)輸出：

/opt/Kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic Topic1 --from-beginning

以下輸出應(yīng)該可以看到發(fā)布的消息：

Hello Kafka
How R You
OK

上述就是小編為大家分享的Ubuntu-16.04中怎么配置Apache Kafka集群了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。

分享名稱：Ubuntu-16.04中怎么配置ApacheKafka集群-創(chuàng)新互聯(lián)
鏈接地址：http://muchs.cn/article16/djihgg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動(dòng)網(wǎng)站建設(shè)、App開(kāi)發(fā)、建站公司、動(dòng)態(tài)網(wǎng)站、企業(yè)建站、微信公眾號(hào)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

成都做網(wǎng)站