消息中間件--kafka（1）安裝部署-創(chuàng)新互聯(lián)

一、概念

1、什么是kafka

Kafka是由Apache軟件基金會開發(fā)的一個開源的分布式流處理平臺，由LinkedIn公司開發(fā)，使用 Scala和Java編寫。Kafka是一個分布式、分區(qū)的、多副本的、多訂閱者，基于zookeeper協(xié)調(diào)的分布式日志系統(tǒng)（也可以當做MQ系統(tǒng)），它可以處理消費者在網(wǎng)站中的所有動作流數(shù)據(jù)。

專業(yè)領域包括成都網(wǎng)站設計、成都做網(wǎng)站、商城網(wǎng)站定制開發(fā)、微信營銷、系統(tǒng)平臺開發(fā)， 與其他網(wǎng)站設計及系統(tǒng)開發(fā)公司不同，創(chuàng)新互聯(lián)的整合解決方案結(jié)合了幫做網(wǎng)絡品牌建設經(jīng)驗和互聯(lián)網(wǎng)整合營銷的理念，并將策略和執(zhí)行緊密結(jié)合，為客戶提供全網(wǎng)互聯(lián)網(wǎng)整合方案。

• Kafka在一個或多個可以跨越多個數(shù)據(jù)中心的服務器上作為集群運行。

• Kafka集群將記錄流存儲在稱為topic的類別中。

• 每個記錄由一個鍵，一個值和一個時間戳組成。

2、流平臺具有三個關鍵功能：

• 發(fā)布和訂閱記錄流，類似于消息隊列或企業(yè)消息傳遞系統(tǒng)。

• 以容錯的持久方式存儲記錄流。

• 處理記錄流。

3、解決什么問題

Kafka主要設計目標如下：

• 以時間復雜度為O(1)的方式提供消息持久化能力，即使對TB級以上數(shù)據(jù)也能保證常數(shù)時間的訪問性能。

• 高吞吐率。即使在非常廉價的商用機器上也能做到單機支持每秒100K條消息的傳輸。

• 支持Kafka Server間的消息分區(qū)，及分布式消費，同時保證每個partition內(nèi)的消息順序傳輸。

• 同時支持離線數(shù)據(jù)處理和實時數(shù)據(jù)處理。

• Scale out:支持在線水平擴展

Kafka通常用于兩大類應用程序：

• 建立實時流數(shù)據(jù)管道，以可靠地在系統(tǒng)或應用程序之間獲取數(shù)據(jù)

• 構(gòu)建實時流應用程序以轉(zhuǎn)換或響應數(shù)據(jù)流

4、在Kafka中，客戶端和服務器之間的通信是通過簡單，高性能，與語言無關的TCP協(xié)議完成的。該協(xié)議已版本化，并與舊版本保持向后兼容性。提供了Java客戶端，但是客戶端支持多種語言。

二、安裝部署kafka

下載地址：http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz

kafka最為重要三個配置依次為：broker.id、log.dir、zookeeper.connect，kafka server端config/server.properties參數(shù)

vim config/server.properties

·公布訪問地址和端口

advertised.listeners=PLAINTEXT://192.168.3.100:9092

配置zookeeper

默認localhost:2181,如果是其他的zookeeper改為相應地址

zookeeper.connect=localhost:2181

啟動kafka

[root@node1 bin]# ./kafka-server-start.sh ../config/server.properties

 注：此方法為前臺啟動，若需要后臺啟動，則在上面命令的最后加上 &

檢測是否啟動 netstat -tunlp | egrep "(2181|9092)"

測試發(fā)送信息和消費消息

創(chuàng)建主題

[root@node1 bin]# ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

啟動生產(chǎn)者

[root@node1 bin]#./kafka-console-producer.sh --broker-list localhost:9092 --topic test

啟動消費者

[root@node1 bin]#./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

生產(chǎn)者發(fā)布消息

[root@node1 bin]# ./kafka-console-producer.sh --broker-list localhost:9092 --topic test
>is successfully
>good night
>

消費者接收到消息

[root@node1 bin]# ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
hallo
;
你好
is successfully
good night

注：消費者中會出現(xiàn)一些歷史消息

由于啟動添加了--from-beginning參數(shù)，所以會把過往消息也顯示，省略該參數(shù)，即可不顯示歷史消息就！



如果該文章對你有所幫助，請點個贊支持下，謝謝！

本文標題：消息中間件--kafka（1）安裝部署-創(chuàng)新互聯(lián)
URL網(wǎng)址：http://muchs.cn/article16/dpsegg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供自適應網(wǎng)站、網(wǎng)站排名、全網(wǎng)營銷推廣、虛擬主機、Google、手機網(wǎng)站建設

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)