CRF是什么縮寫搜索引擎常用的中文分詞的方法有哪些？-創(chuàng)新互聯(lián)

搜索引擎常用的中文分詞的方法有哪些？中文分詞算法大概分為兩大類a.第一類是基于字符串匹配，即掃描字符串，如果發(fā)現(xiàn)字符串的子串和詞相同，就算匹配。這類分詞通常會加入一些啟發(fā)式規(guī)則，比如“正向/反向大匹配”，“長詞優(yōu)先”等策略。這類算法優(yōu)點是速度塊，都是O(n)時間復雜度，實現(xiàn)簡單，效果尚可。也有缺點，就是對歧義和未登錄詞處理不好。b.第二類是基于統(tǒng)計以及機器學習的分詞方式這類分詞基于人工標注的詞性和統(tǒng)計特征，對中文進行建模，即根據(jù)觀測到的數(shù)據(jù)（標注好的語料）對模型參數(shù)進行估計，即訓練。在分詞階段再通過模型計算各種分詞出現(xiàn)的概率，將概率大的分詞結果作為最終結果。常見的序列標注模型有HMM和CRF。這類分詞算法能很好處理歧義和未登錄詞問題，效果比前一類效果好，但是需要大量的人工標注數(shù)據(jù)，以及較慢的分詞速度。機器學習需要哪些數(shù)學基礎？

最主要的是線性代數(shù)和概率論。

成都創(chuàng)新互聯(lián)公司2013年開創(chuàng)至今，是專業(yè)互聯(lián)網(wǎng)技術服務公司，擁有項目網(wǎng)站制作、網(wǎng)站建設網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元鑲黃做網(wǎng)站,已為上家服務,為鑲黃各地企業(yè)和個人服務,聯(lián)系電話:18982081108線性代數(shù)

現(xiàn)在最流行的機器學習模型，神經(jīng)網(wǎng)絡基本是就是一大堆向量、矩陣、張量。從激活函數(shù)到損失函數(shù)，從反向傳播到梯度下降，都是對這些向量、矩陣、張量的操作和運算。

其他“傳統(tǒng)”機器學習算法也大量使用線性代數(shù)。比如線性回歸

聽名字就知道和線性代數(shù)關系密切了。

而主成分分析，從線性代數(shù)的觀點看，就是對角化協(xié)方差矩陣。

概率

特別是當你讀論文或者想深入一點的時候，概率論的知識非常有幫助。

包括邊緣概率、鏈式法則、期望、貝葉斯推理、大似然、大后驗、自信息、香農(nóng)熵、KL散度，等等。

其他

神經(jīng)網(wǎng)絡很講究“可微”，因為可微的模型可以通過梯度下降的方法優(yōu)化。梯度下降離不開求導。所以多變量微積分也需要。另外，因為機器學習是基于統(tǒng)計的方法，所以統(tǒng)計學的知識也缺不了。不過大部分理工科應該都學過這兩塊內(nèi)容，所以這也許不屬于需要補充的內(nèi)容。

在nlp中常用的算法都有哪些？

詞向量方面有有word2vec，tf-idf，glove等

序列標注方面有hmm，crf等常用的算法，也可和神經(jīng)網(wǎng)絡結合使用，可用于解決分詞，詞性識別，命名實體識別，關鍵詞識別等問題！

關鍵詞提取方面可以用textrank，lda等

分類方面（包括意圖識別和情感識別等）傳統(tǒng)的機器學習算法和神經(jīng)網(wǎng)絡都是可以的。

其他方面，如相似度比較的余弦相似度，編輯距離以及其他優(yōu)化方面的動態(tài)規(guī)劃，維特比等很多。

本文標題：CRF是什么縮寫搜索引擎常用的中文分詞的方法有哪些？-創(chuàng)新互聯(lián)
本文路徑：http://www.muchs.cn/article12/cdshgc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供全網(wǎng)營銷推廣、用戶體驗、移動網(wǎng)站建設、網(wǎng)頁設計公司、網(wǎng)站內(nèi)鏈、響應式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)