spark用kafka批量讀取時的相關(guān)問題-創(chuàng)新互聯(lián)

語法書寫錯誤報錯:查了半天最后發(fā)現(xiàn)這句寫錯了,盯著挨個對才發(fā)現(xiàn)冒號寫成了逗號,改好即可

公司專注于為企業(yè)提供做網(wǎng)站、成都網(wǎng)站設(shè)計、微信公眾號開發(fā)、商城建設(shè)，成都小程序開發(fā)，軟件按需搭建網(wǎng)站等一站式互聯(lián)網(wǎng)企業(yè)服務(wù)。憑借多年豐富的經(jīng)驗，我們會仔細了解各客戶的需求而做出多方面的分析、設(shè)計、整合，為客戶設(shè)計出具風(fēng)格及創(chuàng)意性的商業(yè)解決方案，創(chuàng)新互聯(lián)更提供一系列網(wǎng)站制作和網(wǎng)站推廣的服務(wù)。

pyspark.sql.utils.IllegalArgumentException: Expected e.g. {"topicA":{"0":23,"1":-1},"topicB":{"0":-2}}, got {"aaa":{"0":10,"1":700,"2",700}}

分區(qū)數(shù)目不對,偏移量不對報錯:更改分區(qū)數(shù)目,偏移量位置即可,或者將failOnDataLoss設(shè)置為False,此時程序結(jié)果會出現(xiàn)但依然會報錯

java.lang.IllegalStateException: Cannot fetch offset 1 (GroupId: spark-kafka-relation-928e8f8b-5271-4295-a3e2-7eeb7965940f-executor, TopicPartition: aaa-0). 
Some data may have been lost because they are not available in Kafka any more; either the
 data was aged out by Kafka or the topic may have been deleted before all the data in the
 topic was processed. If you don't want your streaming query to fail on such cases, set the
 source option "failOnDataLoss" to "false".

批量讀取時

py4j.protocol.Py4JJavaError: An error occurred while calling o45.showString.
: java.lang.AssertionError: assertion failed: If startingOffsets contains specific offsets, you must specify all TopicPartitions.

分區(qū)數(shù)目必須寫全,否則會出現(xiàn)這個錯誤

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機房具備T級流量清洗系統(tǒng)配攻擊溯源，準確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級服務(wù)器適合批量采購，新人活動首月15元起，快前往官網(wǎng)查看詳情吧

新聞名稱：spark用kafka批量讀取時的相關(guān)問題-創(chuàng)新互聯(lián)
URL鏈接：http://muchs.cn/article48/ijphp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供商城網(wǎng)站、軟件開發(fā)、定制網(wǎng)站、虛擬主機、網(wǎng)站制作、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)