java中文分詞之正向最大匹配法的示例分析

這篇文章主要介紹java中文分詞之正向最大匹配法的示例分析,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!

鄂托克前網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián),鄂托克前網(wǎng)站設(shè)計制作,有大型網(wǎng)站制作公司豐富經(jīng)驗。已為鄂托克前千余家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站建設(shè)公司要多少錢,請找那個售后服務(wù)好的鄂托克前做網(wǎng)站的公司定做!

前言

基于詞典的正向最大匹配算法(最長詞優(yōu)先匹配),算法會根據(jù)詞典文件自動調(diào)整最大長度,分詞的好壞完全取決于詞典。

所謂詞典正向最大匹配就是將一段字符串進行分隔,其中分隔 的長度有限制,然后將分隔的子字符串與字典中的詞進行匹配,如果匹配成功則進行下一輪匹配,直到所有字符串處理完畢,否則將子字符串從末尾去除一個字,再進行匹配,如此反復(fù)。

算法流程圖如下:

java中文分詞之正向最大匹配法的示例分析

下面給大家主要講一下中文分詞里面算法的簡單實現(xiàn),廢話不多說了,現(xiàn)在先上代碼

示例代碼

package com; 
 
 
import java.util.ArrayList; 
import java.util.List; 
 
 
public class Segmentation1 { 
 private List<String> dictionary = new ArrayList<String>(); 
 private String request = "北京大學(xué)生前來應(yīng)聘"; 
 
 public void setDictionary() { 
 dictionary.add("北京"); 
 dictionary.add("北京大學(xué)"); 
 dictionary.add("大學(xué)"); 
 dictionary.add("大學(xué)生"); 
 dictionary.add("生前"); 
 dictionary.add("前來"); 
 dictionary.add("應(yīng)聘"); 
 } 
 
 public String leftMax() { 
 String response = ""; 
 String s = ""; 
 for(int i=0; i<request.length(); i++) { 
  s += request.charAt(i); 
  if(isIn(s, dictionary) && aheadCount(s, dictionary)==1) { 
  response += (s + "/"); 
  s = ""; 
  } else if(aheadCount(s, dictionary) > 0) { 
   
  } else { 
  response += (s + "/"); 
  s = ""; 
  } 
 } 
 return response; 
 } 
 
 private boolean isIn(String s, List<String> list) { 
 for(int i=0; i<list.size(); i++) { 
  if(s.equals(list.get(i))) return true; 
 } 
 return false; 
 } 
 
 private int aheadCount(String s, List<String> list) { 
 int count = 0; 
 for(int i=0; i<list.size(); i++) { 
  if((s.length()<=list.get(i).length()) && (s.equals(list.get(i).substring(0, s.length())))) count ++; 
 } 
 return count; 
 } 
 
 public static void main(String[] args) { 
 Segmentation1 seg = new Segmentation1(); 
 seg.setDictionary(); 
 String response1 = seg.leftMax(); 
 System.out.println(response1); 
 } 
}

可以看到運行結(jié)果是:北京大學(xué)/生前/來/應(yīng)聘/

算法的核心就是從前往后搜索,然后找到最長的字典分詞。

以上是“java中文分詞之正向最大匹配法的示例分析”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對大家有幫助,更多相關(guān)知識,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!

本文名稱:java中文分詞之正向最大匹配法的示例分析
分享URL:http://muchs.cn/article30/ighipo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站制作虛擬主機、品牌網(wǎng)站設(shè)計面包屑導(dǎo)航、網(wǎng)站維護網(wǎng)站改版

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

微信小程序開發(fā)