什么是文本的粒度？我們用什么來衡量文本粒度？

一般而言，大型搜索引擎的索引都采用分布式系統(tǒng)。不同文本的索引，被某種hash算法“分配”到了某臺機器。理論上講，索引的數量的增長，只會造成所需機器的增長，而對整體系統(tǒng)性能的消耗影響比較小。所以一般搜索引擎會從性價比的角度來考慮索引數量與機器數量的折衷，也就是召回與硬件投入的折衷。粒度分析對于折衷的性價比也有一定的貢獻，在粒度層次里，當粒度逐漸變小的過程中，我們并不一定對所有小粒度詞都建索引，而是選擇“更有可能召回相關結果”的小粒度詞。詞匯的什么性質決定了“更有可能召回相關結果”？

傳統(tǒng)的搜索引擎的定義，是指一種對于指定的查詢（Query），能夠返回與之相關的文檔集合（Documents）的系統(tǒng)。而百度將這個定義更加豐富化，即搜索引擎能夠幫助人們更方便的找到所求。這里的“所求”，比“文檔”更加寬泛和豐富，比如一個關于天氣的查詢，直接返回一個天氣預報的窗口，而非一篇關于天氣的文檔；再如一個關于小游戲的查詢，直接返回這個小游戲的Flash頁面而非簡單的介紹性的文字。

百度對Query深刻的理解，源于自然語言處理技術在其中發(fā)揮的巨大作用。對搜索引擎而言，文本切分是最基礎也是最重要的自然語言問題之一。今天，我們就來談談文本切分粒度與搜索引擎的關系。

什么是文本的粒度？我們用什么來衡量文本粒度？專名是一類比較特殊的詞，盡管所含字數很多，但其實只表達一個意思，如“步步驚心”，“家的n次方”這樣的電影、電視劇的名稱，粒度是很小的。機構名、人名等屬于有內部結構的專名，比電影名的粒度稍大一些。

一般我們采用倒排索引的方式來實現這個系統(tǒng)。所謂倒排索引，就是對關鍵字建立索引，記錄包含這個關鍵字的文檔集合D。對于請求的關鍵字集合，找出所有關鍵字對應的索引，并對索引求交，最后返回同時存在于所有索引中的文檔。

在百度，我們不僅允許用戶輸入關鍵字，也可以輸入任何長度在一定范圍內的文本。此時我們需要對文本做一定處理，切分成一系列關鍵字，從而能夠從倒排索引中找出對應的文檔。

既然粒度是衡量文本所含信息量的大小，那么緊密度就是描述文本所含信息緊密程度的量。再說的通俗一些，緊密度就是信息被人們表達和接受的穩(wěn)定程度。穩(wěn)定有兩種解釋，第一，穩(wěn)定是相對于臨時而言的。一般來說，如果信息是因為某些因素臨時組合在一起，那就是不穩(wěn)定的，即不緊密。比如許多動賓結構的短語（“過馬路”，“踢足球”），定中結構的短語（“紅蘋果”，“豪華轎車”）。第二，穩(wěn)定是相對于順序不固定而言的。如果同樣一個信息，內部的子信息順序可以互換，那么這個詞匯就不穩(wěn)定，即不緊密。比如一些大粒度的詞匯“鼠標護腕墊”、“護腕鼠標墊”。

當前題目：什么是文本的粒度？我們用什么來衡量文本粒度？
URL分享：http://muchs.cn/news22/168522.html

成都網站建設公司_創(chuàng)新互聯，為您提供App開發(fā)、手機網站建設、外貿網站建設、云服務器、品牌網站建設、品牌網站設計

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯