實現(xiàn)WordCount的方法有哪些

這篇文章將為大家詳細講解有關(guān)實現(xiàn)WordCount的方法有哪些，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。

成都創(chuàng)新互聯(lián)公司專注于白朗網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。熱誠為您提供白朗營銷型網(wǎng)站建設(shè)，白朗網(wǎng)站制作、白朗網(wǎng)頁設(shè)計、白朗網(wǎng)站官網(wǎng)定制、重慶小程序開發(fā)服務(wù)，打造白朗網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供白朗網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

1、精簡的Shell

cat /home/sev7e0/access.log | tr -s ' ' '\n' | sort | uniq -c | sort -r | awk '{print $2, $1}'
#cat 命令一次性展示出文本內(nèi)容
#tr -s ' ' '\n' 將文本中空格使用回車鍵替換
#sort 串聯(lián)排序所有指定文件并將結(jié)果寫到標(biāo)準(zhǔn)輸出。
#uniq -c 從輸入文件或者標(biāo)準(zhǔn)輸入中篩選相鄰的匹配行并寫入到輸出文件或標(biāo)準(zhǔn)輸出,-c 在每行前加上表示相應(yīng)行目出現(xiàn)次數(shù)的前綴編號
#sort | uniq -c 同時使用用來統(tǒng)計出現(xiàn)的次數(shù)
#sort -r 把結(jié)果逆序排列
#awk '{print $2,$1}' 將結(jié)果輸出,文本在前,計數(shù)在后

2、反人類的MapReduce

//mapreduce方式
public static void main(String[] args) throws Exception {

    Configuration conf = new Configuration();
//        conf.set("fs.defaultFS", "hdfs://spark01:9000");
//        conf.set("yarn.resourcemanager.hostname", "spark01");

    Path out = new Path(args[1]);
    FileSystem fs = FileSystem.get(conf);

    //判斷輸出路徑是否存在，當(dāng)路徑存在時mapreduce會報錯
    if (fs.exists(out)) {
        fs.delete(out, true);
        System.out.println("ouput is exit  will delete");
    }
    
    // 創(chuàng)建任務(wù)
    Job job = Job.getInstance(conf, "wordcountDemo");
    // 設(shè)置job的主類
    job.setJarByClass(WordCount.class); // 主類

    // 設(shè)置作業(yè)的輸入路徑
    FileInputFormat.setInputPaths(job, new Path(args[0]));

    //設(shè)置map的相關(guān)參數(shù)
    job.setMapperClass(WordCountMapper.class);
    job.setMapOutputKeyClass(Text.class);
    job.setMapOutputValueClass(LongWritable.class);
    
    //設(shè)置reduce相關(guān)參數(shù)
    job.setReducerClass(WordCountReduce.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(LongWritable.class);

    //設(shè)置作業(yè)的輸出路徑
    FileOutputFormat.setOutputPath(job, out);
    job.setNumReduceTasks(2);
    System.exit(job.waitForCompletion(true) ? 0 : 1);
}

3、好用的spark

//spark版wordcount
sc.textFile("/home/sev7e0/access.log").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).foreach(println(_))

關(guān)于實現(xiàn)WordCount的方法有哪些就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

新聞名稱：實現(xiàn)WordCount的方法有哪些
文章地址：http://muchs.cn/article24/piepje.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機、建站公司、云服務(wù)器、、外貿(mào)建站、網(wǎng)站建設(shè)

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容