百度發佈NLP模型ERNIE,基於知識增強,在多個中文NLP任務中表現超越BERT

雷鋒網 AI 科技評論消息,Google 近期提出的 BERT 模型,通過預測屏蔽的詞,利用 Transformer 的多層 self-attention 雙向建模能力,取得了很好的效果。但是,BERT 模型的建模對象主要聚焦在原始語言信號上,較少利用語義知識單元建模。這個問題在中文方面尤為明顯,例如,BERT 在處理中文語言時,通過預測漢字進行建模,模型很難學出更大語義單元的完整語義表示。例如,對於乒 [mask] 球,清明上 [mask] 圖,[mask] 顏六色這些詞,BERT 模型通過字的搭配,很容易推測出掩碼的字信息,但沒有顯式地對語義概念單元 (如乒乓球、清明上河圖) 以及其對應的語義關係進行建模。

設想如果能夠讓模型學習到海量文本中蘊含的潛在知識,勢必會進一步提升各個 NLP 任務效果。基於此,百度提出了基於知識增強的 ERNIE 模型。

ERNIE 通過建模海量數據中的詞、實體及實體關係,學習真實世界的語義知識。相較於 BERT 學習局部語言共現的語義表示,ERNIE 直接對語義知識進行建模,增強了模型語義表示能力。

例如以下例子:

Learned by BERT :哈 [mask] 濱是 [mask] 龍江的省會,[mask] 際冰 [mask] 文化名城。

Learned by ERNIE:[mask] [mask] [mask] 是黑龍江的省會,國際 [mask] [mask] 文化名城。

在 BERT 模型中,通過『哈』與『濱』的局部共現,即可判斷出『爾』字,模型沒有學習與『哈爾濱』相關的知識。而 ERNIE 通過學習詞與實體的表達,使模型能夠建模出『哈爾濱』與『黑龍江』的關係,學到『哈爾濱』是『黑龍江』的省會以及『哈爾濱』是個冰雪城市。

訓練數據方面,除百科類、資訊類中文語料外,ERNIE 還引入了論壇對話類數據,利用 DLM(Dialogue Language Model)建模 Query-Response 對話結構,將對話 Pair 對作為輸入,引入 Dialogue Embedding 標識對話的角色,利用 Dialogue Response Loss 學習對話的隱式關係,進一步提升模型的語義表示能力。

通過在自然語言推斷、語義相似度、命名實體識別、情感分析、問答匹配 5 個公開的中文數據集合上進行效果驗證,ERNIE 模型相較 BERT 取得了更好的效果。

1. 自然語言推斷任務 XNLI

XNLI 由 Facebook 和紐約大學的研究者聯合構建,旨在評測模型多語言的句子理解能力。目標是判斷兩個句子的關係(矛盾、中立、蘊含)。

鏈接:https://github.com/facebookresearch/XNLI

2. 語義相似度任務 LCQMC

LCQMC 是哈爾濱工業大學在自然語言處理國際頂會 COLING2018 構建的問題語義匹配數據集,其目標是判斷兩個問題的語義是否相同。

鏈接: http://aclweb.org/anthology/C18-1166

3. 情感分析任務 ChnSentiCorp

ChnSentiCorp 是中文情感分析數據集,其目標是判斷一段話的情感態度。

4. 命名實體識別任務 MSRA-NER

MSRA-NER 數據集由微軟亞研院發佈,其目標是命名實體識別,是指識別文本中具有特定意義的實體,主要包括人名、地名、機構名等。

5. 檢索式問答匹配任務 NLPCC-DBQA 

NLPCC-DBQA 是由國際自然語言處理和中文計算會議 NLPCC 於 2016 年舉辦的評測任務,其目標是選擇能夠回答問題的答案。

地址: http://tcci.ccf.org.cn/conference/2016/dldoc/evagline2.pdf

預訓練模型下載地址:

https://ernie.bj.bcebos.com/ERNIE.tgz

任務數據下載地址:

https://ernie.bj.bcebos.com/task_data.tgz

Github 地址:

https://github.com/PaddlePaddle/LARK/tree/develop/ERNIE


想在手機閱讀更多中國內地資訊資訊?下載【香港矽谷】Android應用
分享到Facebook
技術平台: Nasthon Systems