python統(tǒng)計詞頻的方法

這篇文章將為大家詳細講解有關(guān)python統(tǒng)計詞頻的方法，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)是創(chuàng)新、創(chuàng)意、研發(fā)型一體的綜合型網(wǎng)站建設(shè)公司，自成立以來公司不斷探索創(chuàng)新，始終堅持為客戶提供滿意周到的服務(wù)，在本地打下了良好的口碑，在過去的十多年時間我們累計服務(wù)了上千家以及全國政企客戶，如宴會酒店設(shè)計等企業(yè)單位，完善的項目管理流程，嚴格把控項目進度與質(zhì)量監(jiān)控加上過硬的技術(shù)實力獲得客戶的一致稱贊。

python利用defaultdict（類字典類型）對文本中的詞頻進行統(tǒng)計和保存。方法是：1、利用open函數(shù)讀取文本文件；2、利用相關(guān)分割符（如：空格）切分單詞；3、利用defaultdict類型統(tǒng)計詞頻。

如何用python統(tǒng)計一個純文本文件中的詞頻？這是我每次面試的時候都會問的一個問題。對于有些經(jīng)驗的程序員來說，這是一個很簡單的問題。但實際情況是，很多面試者都不能很好甚至不能解決這個問題。

對文本做詞頻統(tǒng)計在爬蟲抓取了數(shù)據(jù)后對數(shù)據(jù)做分類、去重等都有應(yīng)用，算是一個數(shù)據(jù)處理的基本功能。

這里我們以英文內(nèi)容為例來解決這個問題，而中文還涉及到文本的編碼和分詞。

讀取文本文件

python讀取文本很簡單：

#讀取整個文件的內(nèi)容：
text = open('file.txt').read()
#按行讀取文本，并返回一個list，每一行是list的一個item
lines = open('file.txt').readlines()

切分單詞

英文行文以空格和標點符合來分隔單詞，我們切分單詞也以空格和標點符號來且分。但大多之考慮到空格而忽略了標點符號。英文中標點符合是直接挨著單詞的，只以空格分割，會把表達符號也分到單詞里面去。如下文本：

Google introduced its TPU at Google I/O 2016. Distinguished hardware engineer – and top MIPS CPU architect – Norm Jouppi in a blog post said Google had been running TPUs in its data centers since 2015 and that the specialized silicon delivered “an order of magnitude better-optimized performance per watt for machine learning.”

# 僅僅以空格切分：
words = text.split(' ')
#切分更準確的話就要使用正則表達式模塊re
import re
# 下面的正則表達式的含義是，
# 切分符包括空白符號(空格、換行符\n, Tab符\t等看不見的符號）、
# 英文逗號、英文句號.、英文問號？、感嘆號！、英文冒號:
# 中括號[]擴起來表示任意匹配這些符號其一即可
# 最后的加號+表示如果這些符號是連續(xù)挨著的則當成一個分割符切分
pattern = r'[\s,\.?!:"]+'
words = re.split(pattern, text)

統(tǒng)計詞頻

上面切分得到的words是一個list，里面有重復和不重復的單詞。
使用dict這個key-value數(shù)據(jù)結(jié)構(gòu)來進行統(tǒng)計和保存統(tǒng)計結(jié)果。
key就是單詞，value就是單詞的個數(shù)。

result = {}
for w in words:
    if w in result:
        result[w] += 1
    else:
        result[2] = 1
#或者用defaultdict
from collections import defaultdict
result = defaultdict(int)
for w in words:
    result[w] += 1

defaultdict比dict少了一個if w in result的判斷，這正是defaultdict的特點：當key不存在時默認其value為零。
把以上程序片段寫出一個.py文件就是一個比較完整的統(tǒng)計詞頻的程序?？梢援斪魇荘ython入門小練習

關(guān)于python統(tǒng)計詞頻的方法就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

本文標題：python統(tǒng)計詞頻的方法
分享地址：http://muchs.cn/article22/ipiojc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App開發(fā)、App設(shè)計、網(wǎng)站營銷、、微信小程序、移動網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)