從餐館評論中提取方面術語

來源:用戶上傳      作者:

　　摘 要：方面術語提取是基于方面的情感分析中的一個關鍵的任務，其目的是從在線用戶評論中提取關鍵的方面術語。本文通過在現實數據上使用了一個解決方面術語提取任務的新框架。該框架通過挖掘2個有用的線索，即意見摘要和方面預測的歷史。意見摘要是從整個輸入語句中提取出來的關鍵詞，以每個當前標記為條件進行方面預測，因此確定的摘要可以幫助對該標記進行方面預測。另一條線索是方面預測的歷史，是從以前的方面預測中提取出來的關鍵詞，以便利用坐標結構和標注模式約束來更好地做出方面預測。用此模型分析餐館的用戶評論，最終的實驗結果則展示了良好的提取結果。
　　關鍵詞： 方面提取;長短期記憶網絡;注意力機制;展望
　　文章編號： 2095-2163（2019）03-0259-04 中圖分類號： TP391.1 文獻標志碼： A
　　0 引 言
　　隨著互聯網的快速發展，網上購物、網上點餐等方便快捷的生活方式日益深入人們的生活。與之相適應的是，人們在這些平臺上發表的評論信息也正在呈指數級的方式增長。這些信息數量龐大，在一定程度上有著重要的研究價值。對這些評論信息進行分析，不僅能引導消費者的消費行為，而且有利于商家掌握消費者需求，從而有針對性地做出產品改進?？焖儆行У靥崛　⒗镁W絡信息已成為學界關注的焦點，從文本中提取方面術語也是其中的一個關鍵研究課題。現今，許多研究人員將方面術語提取表示為序列標記問題或標記級分類問題。傳統的序列模型如條件隨機域（CRFs） [1-3]、Long Short-Term Memory Networks （LSTMs） [4] 以及SVM等分類模型 [5]都被應用于方面術語提取的任務處理，性能較為合理。但是上述方法也有不足，也就是根據任務的定義，方面術語應該與表示意見的詞相一致。因此，這些方法對非主觀性句子中經常使用的方面詞的提取上就容易出現偏差，如 “The restaurant installation is very comfortable， does not affect the dining” 中的 “restaurant” 一詞，不應該提取出來，因為這個句子中并沒有表達任何觀點。
　　有一些文獻在進行方面術語提取研究時考慮了意見術語。文獻[6] 提出遞歸神經條件隨機域 （Recursive Neural Conditional Random Fields， RNCRF） ，在一個框架內開展方面和觀點提取。通過聯合抽取和基于依賴的表示學習，建立了方面意見關系的模型。RNCRF的一個假設是依賴關系解析將捕獲同一句話中方面術語和觀點詞之間的關系，從而使聯合提取受益。這種假設通常適用于簡單的句子，但對于一些復雜的結構，如分句和括號，這種假設是很脆弱的。此外，由于RNCRF的網絡結構依賴于輸入的依賴樹，因此存在依賴解析錯誤。CMLA [7]在不使用句法的情況下對方面意見關系進行建模。這是使2個任務能夠通過注意機制共享信息。例如，方法中利用全局意見信息，直接計算方面原型和個人意見隱藏表示之間的關聯得分，而后執行加權聚合。然而，這種聚集可能會帶來噪聲。分析可知，這一缺陷多半在一定程度上是由注意機制繼承而來的。
　　為了更好地利用意見信息輔助方面項的提取，研究將整個輸入語句的意見信息提取作為意見摘要，這種提取是以特定的當前令牌為條件進行方面預測的。繼而，將意見摘要作為當前方面預測的特征之一。以“the hotel is nice but not very quiet”這一句為例，當本文的模型對“hotel”這個詞進行預測時，將運行生成一個以“hotel”為條件的對整個句子的意見總結。由于“hotel”與“quiet”（一個點評詞）之間存在著很強的相關性，因此點評總結會傳達更多關于“quiet”的信息，從而幫助預測“hotel”作為一個高概率的方面。需要注意的是，意見摘要是建立在輔助意見檢測任務的初始意見特征基礎上的，這些初始意見特征在意見詞區分上已經顯出一定成效。此外，研究還提出了一種新的轉換網絡，可以幫助增強“hotel”和“quiet”之間的良好關聯，從而使生成的意見總結包含更少的噪音。
　　這里，對方面預測的研究進行梳理后可知：一方面，在序列標注中，之前時間步長的預測是減少當前預測誤差空間的有用線索。例如，在B-I-O標注中（參見2.1節） ，如果之前的預測為O，則當前的預測不能為I; 另一方面，研究中還觀察到，有些句子包含多個方面的術語。例如，蘋果在產品質量、美學、工藝技術等方面都是無與倫比的，而客戶服務在各方面都有協調的結構。在此結構下，利用之前預測的常用方面術語（如產品質量），可以幫助模型找到不經常出現的方面術語（如工藝）。為了捕捉上述線索，本文研發的模型提取了之前方面檢測的信息，以便更好地預測當前狀態。
　　總而言之，本文將通過一個該框架在網站評論的應用，進行方面術語的提取。研發步驟如下，旨在利用意見摘要和方面檢測歷史來更準確地提取方面術語。過程中，使用了2個標準的長短時記憶網絡（LSTMs）來構建初始方面和記錄順序信息的意見表示。為了在每個時間步將歷史信息編碼到初始方面表示中，截斷歷史注意，從最近的方面預測中提取有用的特性，并生成具有歷史意識的方面表示。研究還設計了一個選擇性的轉換網絡，在每一步都能得到意見摘要。也就是，文中應用方面信息來轉換最初的意見表示，并將注意力投放在轉換后的表示上以生成意見摘要。實驗結果表明，本文用該框架提取了網站評論的關鍵詞。
　　1 相關工作
　　研究最初，有學者基于意見詞通常對于方面周圍的觀察，開發了一個用于處理方面術語提取的自引導框架。文獻[8-9]中，基于復雜的句法模式對aspect terms和opinion words進行共提取。然而，在處理非正式的在線評論時，依賴語法模式會出現解析錯誤。針對這一缺陷，文獻[10-11]采用基于單詞的翻譯模型。具體來說，這些模型將方面術語提取任務表示為單語單詞對齊過程，而方面-意見關系由對齊鏈接捕獲，而不是單詞依賴關系。方面術語提取任務也可以表示為一個令牌級序列標記問題。最近，基于神經網絡的模型，如基于LSTM[4]和CNN[12]方法成為主流。在此基礎上，提出了聯合提取方面和觀點的神經模型。文獻[6]在單個基于樹的遞歸神經網絡中完成這2項任務。其中的網絡結構依賴于依存關系語法解析，但是用于非正式的評論很容易出錯。CMLA[7]由標準GRUs之上的多個注意層組成，提取方面和意見詞。同樣，MIN[13]在多任務學習框架下，使用多個LSTMs交互地進行方面術語的提取和意見單詞的提取。本文的框架與前述工作的不同之處在于： 　　（1）能夠過濾意見摘要，在原始意見表示中加入每一步的方面特征。
　　（2）利用方面檢測的歷史信息，捕捉坐標結構和以前的方面特征。
　　研究至此，最終的實驗結果表明，本文中使用的模型[14] 有著出色的表現。
　　2 模型
　　2.1 方面術語
　　給定一個包含了T個單詞的序列X={x1，…，xT}，方面術語提取可以表示為記號/單詞級序列標記問題，用于預測方面標記序列y={y1，…，yT}，其中每個yi來自一個有限的標簽集Y = {B， I， O}，由其描述了可能的方面標簽。方面術語示例見表1。
　　表1中，B、I和O分別表示方面跨越空間的開始、內部（inside）和外面（outside）。
　　2.2 模型描述
　　該模型包含2個關鍵部分，即：截斷歷史記錄的注意力和選擇轉換網絡，用于捕獲歷史信息的方面檢測和意見摘要。該模型建立在2個LSTMs上，分別為方面術語提取和輔助意見檢測任務生成關鍵字表示。方法中將面向方面檢測歷史信息集成到當前的面向特征中，生成一個新的面向歷史的感知表示。選擇轉換網絡時，首先根據當前方面候選對象計算一個新的意見表示。然后，利用一個雙線注意網絡，根據新的意見表示與當前方面表示的關聯，計算出意見摘要作為新意見表示的加權和。最后，將歷史感知方面表示和意見摘要連接起來作為當前時間步長方面預測的特征。方面術語和意見總結的預測公式可表示為：
　　當T=1時，表示方面術語網絡中使用的公式;當T=2時，表示意見總結中作為全連接層的預測。WTf和bTf表示全連接層的參數。
　　本次研究中，損失函數可寫作如下數學形式：
　　3 實驗
　　3.1 模型對比
　　本數據集選自網上截取的數據案例進行分析，由此研究得到的模型比較數據結果，詳見表2。
　　同時，關于本次研究選用的對比模型可概述如下：
　　（1）LSTM：普通的雙向LSTM，帶有預先訓練好的單詞嵌入。
　?。?）CRF-1：帶有基本特征模板的條件隨機字段。
　　（3）CRF-2：帶有基本功能模板和單詞嵌入的條件隨機字段。
　　（4）CMLA [6] ：CMLA是一個多層架構，每層由2個耦合的GRUs組成，用來建模方面術語和意見詞之間的關系。
　　本文的框架致力于提取以意見信息為輔助的方面術語，后兩種模型則是聯合提取方面和意見，研究中擬使用現有的意見詞典來提供較弱的意見監督。對比結果見表3。
　　由對比結果可以知道，CMLA利用注意機制提取意見信息來幫助方面提取，本文提出的框架始終比其它框架表現得更好。對其性能優勢可表述如下：
　?。?）在本文的模型中，意見摘要是在對當前方面特征進行選擇性轉換后加以利用的，因此，意見摘要在一定程度上可以避免由于直接應用常規注意而產生的噪聲。
　?。?）通過歷史的關注，本文的模型可以在坐標結構中一些常用方面的指導下發現一些不尋常的方面。
　　帶有基本特征模板的CRF在運行性能上仍有待完善，因此研究中特別添加了CRF-2作為另一個基線。由表3可知，在所有數據集上，使用word嵌入的CRF-2比CRF-1獲得更好的結果。因此，上述對比表明，word嵌入是有用的，包含結構信息的嵌入可以進一步提高性能。
　　3.2 方面提取結果
　　本文從美國的大眾點評網站（www.yelp.com）爬取到香港地區的餐館的評論內容，利用這些評論數據來組織仿真測試，對爬取的數據進行了分句處理后，則轉入注意力機制的模型中進行實驗，實驗結果見表4。
　　實驗結果表明，研究可以從句子中提取出相應的關鍵詞，為現在對句子的情感分析提供了幫助。
　　4 結束語
　　時下，餐館評論是在自然語言處理方面受到多方重視與關注的研究內容。為了更準確地提取方面術語，研究探索了2種重要類型的信息，即歷史信息的方面檢測和意見摘要。設計了截斷歷史注意和選擇性轉換網絡兩部分。實驗結果表明，該模型提取出的關鍵詞都有助于后續對于句子做文本分析。本次研究對于深度學習知識的挖掘就是為了給人們的現實生活帶來更多便利，做句子的情感分析也是大數據分析領域的一個熱門研究方向，可以預期在未來的相關工作中也將會收獲到更大的研究進展和更多的應用成果。
　　參考文獻
　　[1]CHERNYSHEVICH M. Ihs r&d belarus：Cross-domain extraction of product features using CRF[C]//Proceedings of the 8th International Workshop on Semantic Evaluation （SemEval 2014）. Dublin， Ireland： Association for Computational Linguistic， 2014： 309-313.
　　[2]TOH Z， WANG Wenting. Dlirec：Aspect term extraction and term polarity classification system[C]// Proceedings of the 8th International Workshop on Semantic Evaluation （SemEval 2014）. Dublin， Ireland： Association for Computational Linguistic，2014： 235-240.
　　[3]TOH Z， SU Jian. Nlangp at semeval-2016 task 5： Improving aspect based sentiment analysis using neural network features[C]// Proceedings of the 10th International Workshop on Semantic Evaluation （SemEval-2016）. San Diego， California：Association for Computational Linguistic， 2016：282-288. 　　[4]LIU Pengfei， JOTY S， MENG H. Fine-grained opinion mining with recurrent neural networks and word embeddings[C]//Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing.Lisbon， Portugal：Association for Computational Linguistic， 2015：1433-1443.
　　[5]MANEK A S， SHENOY P D， MOHAN M C， et al. Aspect term extraction for sentiment analysis in large movie reviews using Gini index feature selection method and SVM classifier[J]. World Wide Web， 2017，20（2）：135-154.
　　[6]WANG Wenya， PAN Jialin， DAHLMEIER D， et al. Recursive neural conditional random fields for aspect-based sentiment analysis[C]// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Austin，Texas：Association for Computational Linguistic， 2016：616-626.
　　[7]WANG Wenya， PAN Jialin， DAHLMEIER D， et al. Coupled multi-layer attentions for co-extraction of aspect and opinion terms[C]//Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence（AAAI-17）.San Francisco，California，USA：AAAI ， 2017： 3316-3322.
　　[8]POPESCU A M， ETZIONI O. Extracting product features and opinions from reviews[C]//HLT '05 Proceedings of the conference on Human Language Technology and Empirical Methods in Natural Language Processing. Vancouver， British Columbia， Canada：ACM， 2005：339-346.
　　[9]QIU Guang， LIU Bing， BU Jiajun， et al. Opinion word expansion and target extraction through double propagation[J]. Computational Linguistics，2011， 37（1）：9-27.
　　[10]LIU Kang， XU Liheng，ZHAO Jun. Opinion target extraction using word-based translation model[C]// Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. Jeju Island， Korea：ACM， 2012：1346-1356.
　　[11]LIU Kang， XU Hengli， LIU Yang， et al. Opinion target extraction using partially-supervised word alignment model[C]//Proceedings of the Twenty-Third International Joint Conference on Artificial Intelligence. Beijing， China ：ACM， 2013： 2134-2140.
　　[12]PORIA S， CAMBRIA E， GELBUKH A. Aspect extraction for opinion mining with a deep convolutional neural network[J]. Knowledge-Based Systems， 2016，108：42-49.
　　[13]LI Xin， LAM W. Deep multi-task learning for aspect term extraction with memory interaction[C]//Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing.Copenhagen， Denmark：Association for Computational Linguistic，2017： 2886-2892.
　　[14]LI Xin， BING Lidong， LI Piji， et al.  Aspect term extraction with history attention and selective transformation[J]. arXiv preprint arXiv：1805.00760，2018.
轉載注明來源:http://www.hailuomaifang.com/8/view-14888237.htm