怎樣分析kafka數(shù)據(jù)保存時(shí)間問題與kafka的性能測試

怎樣分析kafka數(shù)據(jù)保存時(shí)間問題與kafka的性能測試 ，很多新手對此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

郎溪ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場景，ssl證書未來市場廣闊！成為成都創(chuàng)新互聯(lián)公司的ssl證書銷售渠道，可以享受市場價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18982081108（備注：SSL證書合作）期待與您的合作！

查看kafka的topic情況，bin/kafka-topics.sh --describe --zookeeper hadoop234:2182 --topic test5

可以查看replicationfactor的leader，如果broker list中某個(gè)節(jié)點(diǎn)斷掉，則會(huì)重選leader

Partition： 分區(qū)
Leader ： 負(fù)責(zé)讀寫指定分區(qū)的節(jié)點(diǎn)
Replicas ： 復(fù)制該分區(qū)log的節(jié)點(diǎn)列表
Isr ： "in-sync" replicas，當(dāng)前活躍的副本列表（是一個(gè)子集），并且可能成為Leader。

在producer發(fā)送消息的過程中，broker list的某個(gè)節(jié)點(diǎn)斷掉，不會(huì)影響消息的發(fā)送。

 kafka數(shù)據(jù)保存時(shí)間問題。

   Kafka刪除檢查主要有兩種，任一達(dá)到要求即執(zhí)行。

（1）      按時(shí)間粒度，可設(shè)置分鐘或者小時(shí)。達(dá)到時(shí)間進(jìn)行處理。

（2）      按文件大小限制，設(shè)置最大文件大小，達(dá)到上限即進(jìn)行處理。

可設(shè)置文件大小檢查周期。

kafka的性能測試

kafka中有自帶的性能測試代碼，測試結(jié)果均來自kafka自帶的測試代碼 ，位于bin/kafka-producer-perf-test.sh。

         主要參數(shù)有以下四個(gè)，

messages                生產(chǎn)者發(fā)送總的消息數(shù)量

message-size             每條消息大?。▎挝粸閎）

batch-size                每次批量發(fā)送消息的數(shù)量

topics                   生產(chǎn)者發(fā)送的topic

threads                  生產(chǎn)者使用幾個(gè)線程同時(shí)發(fā)送

例如bin/kafka-producer-perf-test.sh --messages 100000 --message-size 1000  --batch-size 10000 --topics test4 --threads 4 --broker-list hadoop234:9092,hadoop237:9092,hadoop238:9092

返回信息為

start.time, end.time, compression, message.size, batch.size, total.data.sent.in.MB, MB.sec, total.data.sent.in.nMsg, nMsg.sec

2015-10-15 18:56:27:542, 2015-10-15 18:56:30:880, 0, 1000, 10000, 95.37, 28.5702, 100000, 29958.0587

可以通過調(diào)節(jié)參數(shù)進(jìn)行性能測試。

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對創(chuàng)新互聯(lián)的支持。

本文名稱：怎樣分析kafka數(shù)據(jù)保存時(shí)間問題與kafka的性能測試
網(wǎng)站鏈接：http://muchs.cn/article38/ijchsp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供搜索引擎優(yōu)化、網(wǎng)站營銷、定制開發(fā)、標(biāo)簽優(yōu)化、網(wǎng)頁設(shè)計(jì)公司、商城網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)