文本關(guān)鍵詞提取方法及具體操作步驟

在搜索引擎中，通過處理海量的文本關(guān)鍵詞進(jìn)而盡可能滿足用戶搜索需求是搜索引擎核心，無論一篇文章的長(zhǎng)短，搜索引擎都可以通過提取關(guān)鍵詞的方法來判斷整篇文章的主題，因此如何判斷一篇文章的核心關(guān)鍵詞是什么非常重要，下面關(guān)于為什么要做關(guān)鍵詞提取以及基于TF-IDF的文本關(guān)鍵詞抽取方法作簡(jiǎn)單介紹。

為什么要做關(guān)鍵詞提取

關(guān)鍵字提取是文本挖掘領(lǐng)域的一個(gè)重要組成部分。從文本中提取關(guān)鍵詞有三種方法：監(jiān)督、半監(jiān)督和無監(jiān)督。監(jiān)督關(guān)鍵字提取算法是將關(guān)鍵字提取算法構(gòu)造為兩類問題來判斷文檔中的詞或短語是否為關(guān)鍵字。由于這是一個(gè)分類問題，因此有必要提供標(biāo)記的訓(xùn)練預(yù)測(cè)。訓(xùn)練語料庫(kù)用于訓(xùn)練關(guān)鍵詞提取模型。根據(jù)該模型，對(duì)需要提取關(guān)鍵字的文檔的關(guān)鍵字提取算法進(jìn)行了半監(jiān)督。

構(gòu)造關(guān)鍵詞提取模型只需要少量的訓(xùn)練數(shù)據(jù)，然后利用模型對(duì)新文本進(jìn)行檢查。關(guān)鍵字提取，手動(dòng)篩選這些關(guān)鍵字，并將篩選后的關(guān)鍵字添加到培訓(xùn)集以重新培訓(xùn)模型。無監(jiān)督的方法不需要手動(dòng)標(biāo)記語料庫(kù)。一些方法被用來尋找文本中更重要的詞作為關(guān)鍵字并提取關(guān)鍵字。監(jiān)督文本關(guān)鍵字提取算法要求人工成本高，現(xiàn)有的文本關(guān)鍵字提取主要采用無監(jiān)督關(guān)鍵字提取，適用性強(qiáng)。

文本關(guān)鍵字提取的過程如下：無監(jiān)督文本關(guān)鍵字提取流程圖無監(jiān)督關(guān)鍵字提取算法可分為三類：基于統(tǒng)計(jì)特征的關(guān)鍵字提取、基于詞圖模型的關(guān)鍵字提取和基于主題模型的關(guān)鍵字提取?；诮y(tǒng)計(jì)特征的文本關(guān)鍵字提取算法基于統(tǒng)計(jì)特征的關(guān)鍵字提取算法基于統(tǒng)計(jì)特征的關(guān)鍵字提取算法是利用文檔中的統(tǒng)計(jì)信息提取關(guān)鍵字。

一般情況下，文本經(jīng)過預(yù)處理得到候選詞集，然后通過特征值量化從候選詞集中獲得關(guān)鍵詞?；诮y(tǒng)計(jì)特征的關(guān)鍵詞提取方法的關(guān)鍵是采用何種特征值量化指標(biāo)。

基于TF-IDF的文本關(guān)鍵詞抽取方法

詞頻(Term Frequency，TF)

指某一給定詞語在當(dāng)前文件中出現(xiàn)的頻率。由于同一個(gè)詞語在長(zhǎng)文件中可能比短文件有更高的詞頻，因此根據(jù)文件的長(zhǎng)度，需要對(duì)給定詞語進(jìn)行歸一化，即用給定詞語的次數(shù)除以當(dāng)前文件的總詞數(shù)。

逆向文件頻率(Inverse Document Frequency，IDF)

是一個(gè)詞語普遍重要性的度量。即如果一個(gè)詞語只在很少的文件中出現(xiàn)，表示更能代表文件的主旨，它的權(quán)重也就越大;如果一個(gè)詞在大量文件中都出現(xiàn)，表示不清楚代表什么內(nèi)容，它的權(quán)重就應(yīng)該小。

TF-IDF的主要思想是，如果某個(gè)詞語在一篇文章中出現(xiàn)的頻率高，并且在其他文章中較少出現(xiàn)，則認(rèn)為該詞語能較好的代表當(dāng)前文章的含義。即一個(gè)詞語的重要性與它在文檔中出現(xiàn)的次數(shù)成正比，與它在語料庫(kù)中文檔出現(xiàn)的頻率成反比。

TF-IDF是對(duì)文本所有候選關(guān)鍵詞進(jìn)行加權(quán)處理，根據(jù)權(quán)值對(duì)關(guān)鍵詞進(jìn)行排序。假設(shè)Dn為測(cè)試語料的大小，該算法的關(guān)鍵詞抽取步驟如下所示：

(1) 對(duì)于給定的文本D進(jìn)行分詞、詞性標(biāo)注和去除停用詞等數(shù)據(jù)預(yù)處理操作。本分采用結(jié)巴分詞，保留'n','nz','v','vd','vn','l','a','d'這幾個(gè)詞性的詞語，最終得到n個(gè)候選關(guān)鍵詞，即D=[t1,t2,…,tn] ;

(2) 計(jì)算詞語ti 在文本D中的詞頻;

(3) 計(jì)算詞語ti 在整個(gè)語料的IDF=log (Dn /(Dt +1))，Dt 為語料庫(kù)中詞語ti 出現(xiàn)的文檔個(gè)數(shù);

(4) 計(jì)算得到詞語ti 的TF-IDF=TF*IDF，并重復(fù)(2)—(4)得到所有候選關(guān)鍵詞的TF-IDF數(shù)值;

(5) 對(duì)候選關(guān)鍵詞計(jì)算結(jié)果進(jìn)行倒序排列，得到排名前TopN個(gè)詞匯作為文本關(guān)鍵詞。

上述關(guān)于文本關(guān)鍵詞提取方法及具體操作步驟作簡(jiǎn)單介紹，希望這些知識(shí)對(duì)您有所幫助!