這篇文章給大家分享的是有關(guān)spark mllib如何實(shí)現(xiàn)TF-IDF的內(nèi)容。小編覺得挺實(shí)用的,因此分享給大家做個參考,一起跟隨小編過來看看吧。
成都創(chuàng)新互聯(lián)公司長期為上千多家客戶提供的網(wǎng)站建設(shè)服務(wù),團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年,關(guān)注不同地域、不同群體,并針對不同對象提供差異化的產(chǎn)品和服務(wù);打造開放共贏平臺,與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為無錫企業(yè)提供專業(yè)的網(wǎng)站制作、網(wǎng)站設(shè)計(jì),無錫網(wǎng)站改版等技術(shù)服務(wù)。擁有十年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。
package spark.FeatureExtractionAndTransformation import org.apache.spark.mllib.feature.{HashingTF, IDF} import org.apache.spark.{SparkContext, SparkConf} /** * TF-IDF 是一種簡單的文本特征提取算法 * 詞頻(Term Frequency): 某個關(guān)鍵詞在文本中出現(xiàn)的次數(shù) * 逆文檔頻率(Inverse Document Frequency): 大小與一個詞的常見程度成反比 * TF = 某個詞在文章中出現(xiàn)的次數(shù)/文章的總詞數(shù) * IDF = log(查找的文章總數(shù) / (包含該詞的文章數(shù) + 1)) * TF-IDF = TF(詞頻) x IDF(逆文檔頻率) * 此處未考慮去除停用詞(輔助詞,如副詞,介詞等)和 * 語義重構(gòu)("數(shù)據(jù)挖掘","數(shù)據(jù)結(jié)構(gòu)",拆分成"數(shù)據(jù)","挖掘","數(shù)據(jù)","結(jié)構(gòu)") * 這樣兩個完全不同的文本具有 50% 的相似性,是非常嚴(yán)重的錯誤. * Created by eric on 16-7-24. */ object TF_IDF { val conf = new SparkConf() //創(chuàng)建環(huán)境變量 .setMaster("local") //設(shè)置本地化處理 .setAppName("TF_IDF") //設(shè)定名稱 val sc = new SparkContext(conf) def main(args: Array[String]) { val documents = sc.textFile("/home/eric/IdeaProjects/wordCount/src/main/spark/FeatureExtractionAndTransformation/a.txt") .map(_.split(" ").toSeq) val hashingTF = new HashingTF() //首先創(chuàng)建TF計(jì)算實(shí)例 val tf = hashingTF.transform(documents).cache()//計(jì)算文檔TF值 val idf = new IDF().fit(tf) //創(chuàng)建IDF實(shí)例并計(jì)算 val tf_idf = idf.transform(tf) //計(jì)算TF_IDF詞頻 tf_idf.foreach(println) // (1048576,[179334,596178],[1.0986122886681098,0.6931471805599453]) // (1048576,[586461],[0.1823215567939546]) // (1048576,[422129,586461],[0.6931471805599453,0.1823215567939546]) // (1048576,[586461,596178],[0.1823215567939546,0.6931471805599453]) // (1048576,[422129,586461],[0.6931471805599453,0.1823215567939546]) } }
hello mllib spark goodBye spark hello spark goodBye spark
感謝各位的閱讀!關(guān)于“spark mllib如何實(shí)現(xiàn)TF-IDF”這篇文章就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,讓大家可以學(xué)到更多知識,如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!
網(wǎng)站欄目:sparkmllib如何實(shí)現(xiàn)TF-IDF
URL地址:http://muchs.cn/article32/ihghpc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供電子商務(wù)、網(wǎng)站維護(hù)、網(wǎng)站策劃、企業(yè)建站、網(wǎng)站導(dǎo)航、全網(wǎng)營銷推廣
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)