TransOMCS中從語言圖提取常識知識的示例分析

一、背景毋庸置疑，常識在自然語言理解(NLU)中是極為重要的。以下圖為例，人類可以很容易理解“踩進水坑”與“回家換鞋”這兩個事件是如何關(guān)聯(lián)起來的，因為我們知道踩進水坑會導(dǎo)致鞋濕，而濕的鞋會讓人感到不舒服，自然就會想回家換掉。由此可見，常識與事件是息息相關(guān)的。

何為常識？一個較為流行的定義是“對于正常人來說，常識一般是指對周圍事件的良好判斷”。而在AI領(lǐng)域，通常將常識作為一個術(shù)語來指代“大多數(shù)人公認的百萬級的基本事實和理解”。常識與事實（fact）一個很重要的區(qū)別是由于默認常識是大家所熟知的，為了交流的高效性，在社交中通常會被人們所忽略。比方說，“如果你忘掉了一個人的生日，他可能會很生氣”，“鳥可以飛，但書不能”，這些是日常交流中不需要重復(fù)的。另外一個重要區(qū)別是與事實不同，常識更多的是一種傾向性，它并不總是正確的。如上述兩個例子，如果你朋友知道你最近很忙，就算你忘記他生日，他不一定會生氣。不是所有鳥都可以飛，比如鴕鳥。

為了幫助機器常識，現(xiàn)已有很多常識資源，通過人工智能的方式建立常識知識庫，較為有名的是ConceptNet/OMCS(Open Mind Common Sense)。最初的OMCS包含了20種常識關(guān)系類型，最新的ConceptNet 5.0在OMCS的基礎(chǔ)上拓展到了33種，除了常識外，還涉及WordNet相關(guān)知識.

最近推出的一個常識數(shù)據(jù)集叫ATOMIC，包含了大量生活事件的常識，利用了9種人定義的關(guān)系類型。但是這些以人工構(gòu)建常識知識庫的方法總存在一些局限性：（1）它只能覆蓋選定的邊；（2）每尋找一個新的邊，都需要花費大量的金錢和時間。

想要突破以上局限性，自然的想法是能否通過自動的方式從自然語言中獲取常識。為了研究這個問題，首先需要弄清常識在自然語言中是如何表達的，而這就要溯源到語義理論的下界。語言描寫去掉語法就得到了語義。理解語言既需要“說話者的語言知識”，也需要“有關(guān)世界的知識”，這里的“世界知識”包括事實和常識兩部分。

如下圖的例子，三個句子語法一樣，但描述了三個完全不同的事件。但當(dāng)說“它太危險了”，句中“它”在三個選項中顯然更傾向于“獅子”，因為這是常識?？偨Y(jié)來說，當(dāng)語法被困定時，我們做出的選擇可以反映出我們對世界的理解。

在語言學(xué)上這被稱為選擇偏好(Selectional Preference)，是選擇限制(Selectional Restriction)的一種泛化，通常也被用為一種非常重要的語言學(xué)特征。它最初只被運用到了WordNet中的IsA層次結(jié)構(gòu)和謂語-賓語關(guān)系。通過此公式，我們可以非常容易地使用不同組合的頻率/合理性得分來反映人們的偏好。例如，一個模型或知識庫能夠給予三元組(“Cat”-IsA-“Animal”) 的分數(shù)高于(“Cat”-IsA-“Plant”)，就可以認為這個模型或知識庫具備了“貓是一種動物，而不是植物”的常識。

只有以上兩種關(guān)系是不能覆蓋全部常識知識的，因此學(xué)術(shù)界也嘗試進行了探索，如下圖所展示的。一階關(guān)系，比如擴展到主語位。二階關(guān)系，有時對于一個事件來說，我們對它的主語和謂語沒有直接要求和傾向性，但對于主語和謂語的特征有很直接的傾向性。進一步拓展，可以得到更高階的關(guān)系，事件之間的傾向性。如下圖所示這項工作，主要研究了語言關(guān)系的選擇偏好與人類定義的常識之間的聯(lián)系。

上面已經(jīng)提到獲取常識的常規(guī)方法通常需要費力且昂貴的人工注釋，這在大規(guī)模上是不可行的。對此，張洪銘等探索出了一種新的實用方法——TransOMCS，從語言圖中提取常識知識，目的是將通過語言模式獲得的廉價知識轉(zhuǎn)化為昂貴的常識知識。下圖為這項工作的總體框架。

⑴首先對語言知識圖和種子常識知識圖兩個數(shù)據(jù)集進行模式提取，但提取得到的模式可能存在噪音，因此在此基礎(chǔ)上需要進一步的清洗和挑選。

⑵然后，在獲取到高質(zhì)量的模式后，可以遷移回原始的語言知識圖，從而得到大量的常識知識。

⑶最后，對獲取到的常識知識進行打分，得到最終更高質(zhì)量的常識。整個過程不需要額外的標(biāo)注，因此十分便宜且具有較好的拓展性。

下圖為針對不同常識關(guān)系語言圖和提取模式的示例，這些模式是通過種子常識元組和圖中的單詞匹配來提取的。給定語言圖作為輸入，可以將這些模式應(yīng)用于提取類似OMCS的常識。提取的頭部和尾部概念分別用藍色和紅色圓圈表示。

模式選擇需要重新精煉自動提取的模式，在這個過程中，應(yīng)綜合考慮高頻率和復(fù)雜性兩個因素。對于每個模式，并不是簡單看其本身的分數(shù)，而是需要將所有的候選模式經(jīng)過對比分析，選擇置信度更高的。

為了最大程度地減小模型噪聲的影響，提出了一個知識排名模塊，根據(jù)置信度對所有提取的知識進行排名。這里的置信度主要利用原始句子的語義和頻率兩方面的信息。

實驗部分，將ASER作為語言知識圖，種子常識知識圖則采用OMCS/ConceptNet。結(jié)果是輸入了一個大型的常識庫——TransOMCS，是由OMCS格式轉(zhuǎn)換而來的。雖然TransOMCS與OMCS類似，但其規(guī)模約是OMCS的一百多倍。另外，在與人工標(biāo)注的對比中發(fā)現(xiàn)，TransOMCS是擁有高質(zhì)量的高置信度。最重要的是，這幾乎沒有任何成本。

下表列出了模型評估的摘要，主要對比了COMET和LAMA兩個基準模型。從表中可以看出，TransOMCS在數(shù)量上勝于另外三個模型，即使是TransOMCS的最小子集也要比其他最大生成策略高出10倍。另外，TransOMCS在新穎性方面也優(yōu)于COMET，尤其是新穎概念的百分比。其背后的原因在于COMET是一種純粹的機器學(xué)習(xí)方法，它在訓(xùn)練集上學(xué)習(xí)生成尾部概念。模型越強大，就越可能擬合訓(xùn)練數(shù)據(jù)，產(chǎn)生的新穎概念就越少。因此，通過實驗證明了確實可以將語言知識轉(zhuǎn)移為常識知識，SP可以有效地表示常識。

下圖為案例研究，以進一步分析不同的獲取方法。COMET是唯一可以生成長概念的模型，但同時它也遭受生成無意義單詞的困擾。除此之外，COMET可能會擬合訓(xùn)練數(shù)據(jù)，即使十個輸出不完全相同，但其中四個都表示同一件事。

LAMA的最大優(yōu)勢在于它不受監(jiān)督，但它有兩個主要缺點：（1）它只能生成one-token的概念，對于常識知識來說還遠遠不夠；（2）LAMA的質(zhì)量不如其他兩種方法。

與COMET相比，TransOMCS可以產(chǎn)生更多新穎的常識知識。同時，與LAMA不同，TransOMCS可以生成multi-token概念。但TransOMCS也有兩個局限性：（1）無法提取長概念，很難找到精確的模式匹配；（2）由于提取過程嚴格遵循模式匹配，因此可能提取語義不完整的知識。

實驗的最后，還設(shè)計了常識閱讀理解和日常對話生成兩個下游任務(wù)，結(jié)果顯示如下圖。對于閱讀理解任務(wù)，TransOMCS有助于提高總體的準確性，而COMET和LAMA對于此任務(wù)的貢獻很小。對于日常對話生成任務(wù)，TransOMCS在生成的響應(yīng)質(zhì)量上表現(xiàn)出顯著的提高。

簡單總結(jié)來說，講者這項工作證明了從語言知識到常識的可轉(zhuǎn)移性，提出了可自動獲取常識的可擴展的模型。另外，還設(shè)計了TransOMCS，它比OMCS大兩個數(shù)量級。

除了TransOMCS這項工作，張洪銘博士還介紹了他參與的另一項工作DISCOS，目前已被WWW 2021所接收。同樣針對先前常識獲取方法的局限性，DISCOS常識獲取框架也希望自動從更實惠的語言知識資源中挖掘昂貴的復(fù)雜常識知識。

下圖是DISCOS的一個示例，來自ASER的最終事件通過指示相應(yīng)話語關(guān)系的有向邊連接起來。DISCOS旨在將ASER中的話語邊轉(zhuǎn)換為“如果-那么”的常識邊。例如，ASER邊（“我餓了”，結(jié)果是“我吃了午餐”）將被轉(zhuǎn)換為（如果“ X餓了”，那么X想要“吃午飯”）常識元組。與OMCS不同，DISCOS只專注于更高階的SP，它的頭和尾通常是長且復(fù)雜的，因此需要用神經(jīng)網(wǎng)絡(luò)代替固定模式。

DISCOS的總體框架如下圖，ATOMIC和ASER中的事件主體完全不同，在ATOMIC中主體是諸如“Person X”和“ Person Y”的占位符，而在ASER中則是具體人稱代詞“他”和“她”。為了對齊兩個資源，首先將ATOMIC中的所有頭和尾映射到ASER中。形式上，需要一個映射函數(shù)將輸入的字符串映射到ASER中相同的節(jié)點格式。接下來，在給定節(jié)點和常識關(guān)系的情況下，利用規(guī)則選擇候選話語邊。最后，采用一種新穎的常識知識種群模型BERTSAGE來對候選常識元組的合理性進行評分。

如下表的實驗結(jié)果顯示，雖然COMET和DISCOS在質(zhì)量上相差不大，但是在新穎性方面DISCOS大大勝于COMET。

總結(jié)來說，TransOMCS和DISCOS都證明了從語言知識到簡單常識和復(fù)雜常識的可轉(zhuǎn)移性，這就意味著過去費力且昂貴的方法是可以被取代的，TransOMCS、DISCOS等自動獲取的方式不僅便宜且可擴展性更優(yōu)。