摘要：文本情感分析旨在對蘊涵在文本中的觀點和情感進行挖掘和分析，進而可以在個性化服務、推薦系統、輿情監測和產品調研等應用方面提升性能。對于文本情感分析，從機器學習的角度，一般可以把它轉化成分類問題，其中處理的關鍵在于文本表示、特征提取以及分類器模型建立，而傳統方法中最為核心的是情感特征詞典構建。

近年來，深度學習方法在圖像、語音等諸多領域取得了令人矚目的進展，相比于傳統的機器學習方法，該方法的最大優勢就是可以從大量的數據樣本中自動地學習出豐富、有效的特征，從而獲得更好的效果。已有研究表明，在文本表示層面，詞語向量表示方法可以獲取文本的語義、語法以及自身結構信息，為情感分析研究提供堅實基礎，并成為當前該領域的研究熱點。本文首先介紹了文本情感分析的概念和問題分類，對深度學習在文本情感分析中的相關工作進行梳理，詳細討論了文本情感分析中的文本表示方法以及深度學習模型，介紹了當前深度學習在文本情感分析應用中存在的問題，并對未來該領域研究方向和趨勢進行了展望。

1  引言

在剛剛結束的人機世紀圍棋對抗賽中，谷歌公司出品的人工智能代表AlphaGo以4：1擊敗了圍棋九段李世石，人們驚嘆人工智能進步的同時更為關注AlphaGo背后的核心算法——深度學習。的確，近年來，深度學習在圖像、語音識別、機器翻譯等領域任務中都取得了革命性的性能提升，掀起全民追捧深度學習的熱潮，AlphaGo的成功讓這股熱潮達到頂點。人們不僅要問：深度學習是否在人類最為獨特的情感分析世界也扮演獨特的角色呢？本文并不試圖回答這個問題，而是從技術進步角度對其在文本情感分析領域進行綜述和展望。

文本情感分析(SentimentAnalysis)，也稱為觀點挖掘(OpinionMining)，通常被定義為對文本中所表達的喜、怒、哀、樂和批評、贊揚等觀點、情感和情緒等的計算學習，屬于情感計算(AffectionComputing)[67][91]領域的子問題。隨著移動互聯網技術在生活中各個領域內的應用，文本信息越來越豐富多樣，并且蘊涵著巨大的商業、政治和學術價值，文本情感分析逐步成為學術界以及工業界中的研究熱點。

回顧文本情感分析問題研究歷程，國外（特別是英文母語國家）研究起步早，有很多方法被提出，但是國內對于該問題的研究還不充分，特別是針對中文文本的情感分析方法，目前比較欠缺。由于中文特有的一些特征，很多針對英文文本的方法無法直接使用。因此，對當前文本情感分析以及處理方法研究進展進行梳理總結，對中文文本情感分析更有意義和需要。

而現代機器學習技術可以說是文本情感分析的核心工具，在近幾年，深度學習方法在許多任務突出表現正逐步演化成功能最強、最流行的人工智能工具，其在文本情感分析中應用已成為最前沿和最活躍的領域。事實上，與深度學習相關的多層神經網絡的概念在更早之前也已經被提出，但當時由于各種原因，深度網絡模型沒有取得良好的效果，并沒有被人們認可，有關深度學習相關的發展歷史，可以參看胡曉林[104]在《人工智能通訊》中的總結。深度神經網絡相關思想和方法在2006年由Hinton等人[33]以“深度學習”的概念再次提出，之后，深度學習方法在語音識別、圖像識別、語音合成、文字翻譯等領域中取得了令人矚目的成績，許多研究人員投入對深度學習方法的模型、訓練以及應用場景中的研究中去。針對文本情感分析問題，也已經有不少研究人員嘗試使用深度學習方法進行處理，并且取得了較大的效果提升。總結文本情感分析的深度學習方法可以幫助我們理清該領域當前研究動態。

 因此，本文主要對文本情感分析的相關概念和一般方法進行梳理，對采用深度學習方法進行文本情感分析方法進行詳細介紹和總結，為了方便表述，在表1中給出文章使用的英文縮略詞對照表。文章后續內容安排如下：第1節介紹文本情感分析的研究現狀，對文本情感分析的相關概念以及主要方法進行總結；第2節介紹文本處理相關領域常用的文本表示方法，并著重介紹目前被廣大研究人員使用的連續詞語向量表示方法；第3節對當前研究人員使用較多的深度神經網絡模型進行介紹，并著重介紹如何使用這些模型進行文本情感分析；第4節對應用于文本情感分析的深度學習方法進行總結，闡述當前深度學習方法在文本情感分析上的優勢與不足，介紹未來可能的研究方向與發展趨勢。

表1英文縮略詞對照表

2  文本情感分析

2.1問題定義與分類

文本情感分析的目標通常是挖掘文本中所表達的觀點以及情感，可以分為主題相關的情感分析以及主題無關的情感分析。主題相關所指的是除了獲取文本的情感極性，還需要抽取文本中的相關主題，關注于對某個事件、物品的哪種屬性具有什么樣的觀點與評價。主題相關的情感分析也稱為基于屬性的情感分析(Aspect-BasedSentimentAnalysis)，LiuB等人[48][99]對屬性的抽取以及主題相關的情感分析給出了很好的問題定義和方法總結。主題無關的情感分析，單純判斷一個文檔或者一句話的情感極性，而不考慮情感所針對的主題或者屬性[94]。目前來說，大多數方法都是針對主題無關的文本情感分析，本文后續的方法綜述以及深度學習方法介紹，都是針對主題無關的文本情感分析。

文本情感分析除了根據是否與主題相關進行劃分，還有很多其他劃分方法。從情感類別的劃分粒度上看，在粗粒度上可以分為文本主觀性(Subjectivity)判斷和文本傾向性(Orientation)判斷，主觀性偏重于判斷文本中是否含有主觀情感，傾向性側重于分析文本中所包含情感的正負；在較細粒度上，文本情感分析可以對文本中蘊涵的情感進行細微情感類別的劃分，如人的基本七種情感——憤怒(anger)、厭惡(disgust)、恐懼(fear)、高興(happiness)、喜好(like)、悲傷(sadness)、驚訝(surprise)，在Plutchik的情感模型中[68]則對人類情感進行了更細致的劃分，將人類情感分成了八種基本情感以及八種復合情感，如圖1所示。從處理語料的粒度上來看，文本情感分析可以分為篇章級別、語句級別以及詞語級別，即一篇文檔、一句話和一個單詞所蘊涵的情感。從機器學習的角度來說，文本情感分析是一種二分或者多分類問題，因此文本情感分析也常常被稱為文本情感分類(SentimentClassification)。圖2對上述有關文本情感分析相關概念和分類體系進行總結，加粗表示研究、應用較多。

文本情感分析的應用場景一般是對新聞、博客、貼吧、論壇、微博、以及電商網站上的商品（各種產品以及服務）評論文本中包含的情感進行提取和分析，為輿論監督、時事熱點跟蹤、新聞推薦、商品評價等應用提供基礎數據。相對其他文本數據，微博和商品評論往往文本數量多、實時性高、包含信息豐富，蘊涵潛在價值更大，并且由于微博和商品評論文本自身具有文本長度較短、用語不規范現象以及新興流行詞匯較多等特征，對這些文本進行情感分析具有更大的學術以及技術挑戰，因而對于這兩種文本的情感分析方法研究具有更大的學術和實用價值。

2.2文本情感分析的典型方法

對于文本情感分析問題，目的在于將分析無結構化的目標情感文本轉化為計算機容易識別和處理的結構化文本，需要對其有意義的信息單元識別和判斷，進而獲得評價主體和評價觀點信息。獲取評價觀點信息常用的方法主要分為基于詞典與規則的方法，基于一般機器學習的方法以及基于深度學習的方法，前兩者的基礎都在于情感詞典的構建，情感詞典的質量直接決定了后續情感判斷。

基于詞典與規則的方法，一般是用已有的知識資源，如WordNet等來構建情感詞典，然后基于情感詞典，構建規則進行情感的判斷[43][96][44]。一種簡單的規則可以如下構建：統計文本中包含正負情感詞的個數，按照表2的規則進行情感極性判斷。

表2基于簡單規則的情感極性判斷

這種方法其實是將情感詞看作具有一樣的情感強度，如果構建出含有不同強度情感詞的情感詞典，如正負情感各分五級，也就是每個詞語的情感強度分布在[-5,5]之間，可以把文本中所含情感詞的強度值相加，根據整體情感強度的正負來判斷文本情感的傾向。

基于機器學習的方法，首先由PangB等人[63]提出，在他們的方法中，利用情感詞典構建文本的特征表示，然后使用樸素貝葉斯(NaiveBayes,NB)、支持向量機(SupportVectorMachine,SVM)以及最大熵(MaximumEntropy,ME)模型進行情感的正負分類。在Pang之后，很多人開始嘗試使用機器學習方法進行文本情感分析，提出了很多方法[4][19][22][95]。基于機器學習的方法，把文本情感分析看作一種有監督或者半監督的分類問題，分類器一般選用SVM，NB以及ME，主要工作在于如何構建、學習更具表征能力的特征。

對于機器學習方法，一個很大的困難就是訓練數據的獲取，通過人工標注的方法可以獲取訓練樣本，但是這種方法很耗費人力，無法獲取大量的標注數據。對于微博、評論等文本來說，可以利用文本中的表情符號來對文本進行標注[1][62][100]，這種標注方法會引入一些噪聲，但是可以很方便的獲取大量訓練數據，依然可以獲得很好的效果。

基于深度學習的文本情感分析方法主要是指基于構建的深度網絡模型進行文本建模、特征提取以及情感分類。深度神經網絡可以具備很強的數據特征表示能力，由于多個非線性隱含層的存在，一個多層次的神經網絡幾乎可以學習到任意分布的數據特征[6]。深度網絡的最大優勢就是可以自動地學習出多層次的特征表示，這些特征表示被逐層學習到并且越在高層越接近語義。自動地學習特征可以省去很多耗費人力的特征提取工作，并且可以獲得適用范圍很廣的特征表示。按照網絡結構的不同，我們可以將目前應用于文本情感分析的深度網絡分為前饋神經網絡(FeedforwardNeuralNetworks,FNNs)、遞歸神經網絡(RecursiveNeuralNetworks,RecursiveNNs)、卷積神經網絡(ConvolutionNeuralNetworks,CNNs)以及循環神經網絡(RecurrentNeuralNetworks,RecurrentNNs)，在本文第3章，將對這些網絡的模型結構，以及在文本情感分析上的應用方法進行詳細介紹。

2.3文本表示、深度網絡與情感分析關系

文本情感分析問題一般可以轉換為二分或者多分類的問題，在此過程中，同對其他機器學習問題一樣，我們在處理文本情感分析問題時，一般涉及以下環節：即，文本的表示、特征的提取以及分類模型的選擇。深度學習一個突出特點就是可以學習模仿人類認知習慣，將特征提取和分類建模緊密關聯一起了，而特征選擇通過網絡參數學習自動可以獲得，典型的處理框架如圖3所示。

其中，文本表示和特征提取是進行文本情感分析的關鍵環節。文本表示就是把需要處理的抽象文本符號表示成計算機可以“理解”的形式，其常用方法在第2節中詳細介紹。

在傳統的機器學習算法中，特征提取的工作主要由人工進行。可以從以下兩個方面進行直覺上的解釋：對于計算機來說，所有的數據其實都是二進制的0、1串，機器很難理解數據所表達的抽象含義，而人則可以將數據進行解釋，給予數據具體的含義；另外，特征提取的本質可以看作對輸入數據逐步的進行數據變換，比如對于一串數字“20151010”，人可能很容易想到是年月日的時間戳，而對于機器來說這只是一個數字序列或者一個大整數，將“20151010”映射為“20151010”的過程是一個需要先驗知識的非線性變換過程，機器自動的學習出這個非線性映射函數是困難的，而人在看數據的時候會加上人類積累很多年的先驗知識自動進行復雜的非線性變換。但是人工進行特征提取具有很多限制：人工特征提取其實就是根據先驗知識搜索出一種合理的非線性映射方式，而人的搜索效率是比較低的；不同問題的合理特征表示方式是不同的，針對每一個具體問題都需要進行很多人工特征提取工作，效率很低。

讓機器模仿人類的特征提取方式是困難的，但可以從機器本身的方式進行——通過大量數據和計算在一個合理模型表示出的變換函數空間中進行搜索，只要后者獲取的特征是有效的。我們知道，一個超過三層的深度神經網絡可以表示出任意的數據分布以及變換[6]，在深度網絡模型確定的變換函數空間（網絡的每一組不同的參數都表示了一種變換函數）中進行搜索（搜索的過程其實就是對網絡參數的訓練過程），可以找出有效的特征變換函數。目前在文本情感分析中使用的幾種深度神經網絡都可以在避免過擬合的前提下學習到有效的特征表示，盡管學習到的特征表示可能只是一個局部最優解，但是讓機器自動地學習到有效的特征表示，依然使得相關問題獲得了更好的解決。

文本表示和深度學習各自都有著很多不同的方法和模型，我們很難說哪一種文本表示方式最優或者使用哪一個深度網絡最好，對于使用深度網絡進行文本情感分析的深度學習方法來說，由于解決目標問題的不同，會選用不同的深度網絡和文本表示方式。并且，文本的表示方式與深度網絡的結構特性是緊密相關的：對于FNNs，一般使用詞袋(Bag-of-Word,BOW)模型以及向量空間模型(VectorSpaceModel,VSM)在文檔級別對文本進行初始表示；RecursiveNNs以及CNNs一般將文本拆分成一個個詞語，采用詞語的低維集成向量對文本進行初始表示，并且使用其他方法訓練好的詞語向量進行初始化，之后RecursiveNNs將詞語按照語句的詞法層次關系進行組織而CNNs更偏向與將語句表示成由詞語向量組成的矩陣形式從而進行卷積操作等處理；對于RecurrentNNs一般將文本看作詞語序列，將詞語表示成向量，然后學習詞語以及文本的向量表示。

2.4文本情感分析的挑戰

大家知道，文本情感分析最終需要回到基本的語言句法和語法基本體系以及人類認知問題上來，在讓計算機理解文本情感之前，需要有足夠多的樣本來訓練我們機器。這要求我們有足夠的樣本，尤其是有標注的樣本，對于不同語言，都需要這樣的足夠龐大的語料庫。隨然文本情感分析已有十多年研究歷史，但還存在許多挑戰問題。

一、高質量的有標注情感文本語料庫不夠多。傳統的基于詞典和規則的方法依賴于有良好的情感詞典庫，Wordnet有效弱化了這個問題但還遠遠不夠，同時，在中文應用場景中，中文的情感權威詞典資源更為稀少，這給基于詞典進行情感判斷帶來較大障礙；而對于基于統計機器學習的方法，其成功更依賴于高質量的有標注情感文本語料庫，缺乏數據規模的統計學習方法是沒有意義的；而深度學習模型中動輒成千上萬參數，這些參數的選取取決于百倍于參數數目的樣本，可以說語料庫的數據規模越大，訓練出的模型可以避免過擬合，對模型學習越有利。情感的難以量化也使得獲得有標注的情感庫更為困難。

二、文本情感表達的多樣化（表情符號、標點符號）的影響。文本的情感分析通常有類似于新聞報道等長文本分析，也有社交網絡交流中越來越多的短文本情感分析。在后者的情感分析中，表情符號扮演了越來越重要角色。在網絡交流或商品評論中，這些表情符號由字符、圖形、文字組成，模仿人類的眼神和情感表露的面部表情。人類閱讀到這些表情、一些感嘆好或者省略號時能快速解碼成對發出主體的情感判斷，但對機器而言，如何綜合這些表情符號和文字內容來理解人類情感的表達是個巨大的挑戰。

三、理解語言結構中的順序性。我們也知道，文本表示的詞袋模型（BOW）常常被研究人員所詬病，其的弱點就在于方法忽略了句子中單詞的順序性，而循環神經網絡（RecurrentNeuralNetwork，RNN)對序列數據超強的處理能力能弱化這個問題，RNN和長短期記憶模型(LongShortTermMemory，LSTM)最近在文本情感分析任務上都取得了最好的性能。盡管如此，對于語言本身的語法和句法層面的合理表示和理解對自然語言處理仍舊是任重道遠的問題。

四、深度學習模型的調參和優化。深度學習模型一方面受制于有標注情感語料庫的匱乏，另一方面因為其自身特點就在于參數巨多，使得其具有模擬任何函數的能力，但又帶來調參的困惑。為了使得模型具有好的泛化能力，我們希望數據量越大越好，但如何訓練當前常常以TB為單位的數據規模是一個巨大難題。

盡管如此，得益于深度學習顛覆自然語言處理各個研究方向進展，深度學習充分利用其在字符、單詞、句子乃至段落層面上表達能力，在文本情感分析領域也取得了驕人的成績，吸引了更多研究人員投身其中。

3  文本表示

對于文本情感分析，首先要考慮的是文本的表示，文字作為一種十分抽象的信息符號，需要使用計算機能夠理解的方式進行表示，才可以被進一步的計算處理。我們根據文本表示方法的切入粒度，分為文檔（document）、詞語（word）、以及字符（character）級別的文本表示方法。為了更清楚的描述問題，這里給出如下說明：文檔不僅僅是普通意義上的文章，根據所研究語料的粒度，文章、段落、句子以及查詢都可以認為是文檔；詞語不僅僅指單獨的一個單詞，根據文檔集生成的詞典集合里面的每一個詞項，都認為是詞語，它可以是單獨的詞語，也可以是n-gram的詞組；字符就是在ASCII字符表中經常出現在文本里的字符，對于中文和日文等非字符形式的語言，轉換成字符表示（如中文的拼音）。

3.1文檔級別

文檔級別的文本表示，最常用的特征表示方法是詞袋(Bag-of-Word,BOW)模型[41]以及向量空間模型(VectorSpaceModel,VSM)[74]。這兩種表示方法都是將文檔表示成與文檔集詞典大小一樣的稀疏向量，不同的是每個維度值的計算方式。BOW模型將文檔看成是裝著詞語的袋子，如果某個詞語在這個袋子里面，那么該詞語在向量中對應維度的取值就是該詞語的頻次，其余維度取值為0。VSM將一個文檔看作空間中的向量，向量的每個維度取值與對應的詞語在文檔集合中的分布有關，一般采用TF-TDF方式進行加權計算。

對于文本情感分類問題，2.2中提及的機器學習算法中，很多都是采用VSM對文本進行特征表示，然后訓練分類器，再進行情感分類。在進行VSM特征學習之前，文檔集詞典的建立是關鍵的一步，一般可以如下處理：先獲取文檔集中的所有詞項，然后按照一定規則進行過濾（如低頻詞、高頻詞過濾，同義詞合并），再結合已有的情感詞典（如WordNet）來獲取最終的文檔集詞典。關于詞項，一般使用unigram模型，只取在已知詞典（如牛津詞典）的詞語作為詞項，有時也會使用N-gram模型[15]對詞項進行擴充。

BOW和VSM可以很方便的表示文本，提取文本特征，在信息檢索、文檔分類和文本情感分析等應用中都有較好的效果，但是這兩種表示方法也有一些缺點：忽略了詞語在文檔中出現的順序，丟失了上下文信息；無法獲取詞語的詞性以及語義信息；維度大，數據稀疏性強，計算復雜度高。當數據規模很大，處理的問題復雜時（比如對短文本進行情感分析），使用這兩種表示方法的系統在準確度以及時間復雜度上的性能都會變得很差。由于這些問題的存在，BOW和VSM常常用于文本的初步表示，然后再利用其它方法進一步處理，如基于奇異值分解(SingularValueDecomposition,SVD)的隱含語義分析(LatentSemanticAnalysis,LSA)[17][54]。

3.2詞語級別

詞語級別的文本表示一般是將文檔集詞典中的每個詞語用連續詞語向量（continuouswordvector）表示，這是一種低維度的連續值向量。連續詞語向量具有很強的文本特征表達能力，可以獲取詞語的詞性以及語義信息。基于連續詞語向量表示的文本情感分析方法主要有三種：一種是通過與所研究問題相結合，構建模型和優化問題來學習連續詞語向量，進而獲取文本的特征表示[56][89]；一種是利用連續詞語向量對情感詞進行聚類或者擴充，對原有的情感詞典進行優化，進而采用基于詞典以及機器學習的方法進行文本情感分析[87][93][98]；還有一種是以詞語向量表示作為模型的初始輸入，利用深度神經網絡更進一步的提取特征，對文本情感進行分類，在后續提及的許多深度學習方法與連續詞語向量表示相結合。

現在使用最廣泛的連續詞語向量訓練方法是由Mikolov等人[57]提出的word2vec，該方法把文檔集詞典中的每個詞語映射為一個獨特的低維向量，不同詞語在這個向量空間中的余弦距離可以表示出詞語之間的語義以及語法關系[24][61]，例如，給出“king”，“man”，“queen”，“woman”的詞語向量表示，可以這樣得到這樣的關系：||“queen”-“woman”||=||“king”-“man”||。

word2vec包含兩種模型：連續詞袋（continuousbag-of-word,CBOW）模型以及連續Skip-gram模型，如圖4所示，CBOW模型通過上下文語境來預測當前詞語的分布，Skip-gram則希望通過當前詞語來預測上下文詞語的分布。CBOW模型是對神經網絡語言模型(NeuralNetworkLanguageModel,NNLM)[7]的簡化，將NNLM中使用的三層神經網絡中的多節點隱含層替換為一個感知機(Perceptron)[71]，并采用了NNLM中的很多處理方法：在輸入層，將每個詞語映射為詞語向量，然后將輸入詞語的向量連接起來作為網絡模型的輸入；詞語向量是作為模型的參數被隨機初始化的，隨著模型的訓練而不斷優化；基于統計語言模型（statisticallanguagemodels），當前詞語的條件概率分布可以根據前面的詞語進行估計，并且只依賴于相鄰的幾個詞語，即：

在CBOW模型中還考慮了當前詞語之后的詞語；對于每個詞語來說，它們在輸入層與隱含層之間的權值是共享的。Skip-gram也采用了類似CBOW的處理，只是構造了不同的模型目標，希望預測當前詞語上下文詞語的分布。由于一般文檔集詞典V都很大，會使上述模型的訓練計算復雜度很高[9][55][57]，word2vec的實現中使用了兩種供選擇的加速訓練方法：Bengio等人[9]提出的重要性采樣(ImportantSampling)和Hinton等人[55]提出的層次化Softmax(HierarchicalSoftmax)。

圖4word2vec中使用的CBOW與Skip-gram模型

類似于NNLM和word2vec的基于統計語言模型的詞語向量學習方法還有很多，基本的思路都是先把詞語映射為詞語向量（待學習的參數），以詞語向量作為模型的輸入，基于統計語言模型建立目標函數進行模型的訓練，訓練方法都是隨機梯度(StochasticGradientDescent,SGD)和反向傳播(Back-Propagation,BP)[38]算法，主要的不同在于所選用的網絡結構，如基于RecurrentNNs[58][97]和LSTM(Long-short-termMemory)[26][75]的詞語向量學習方法。此外，還有一些學習連續詞語向量的方法，如綜合考慮了文檔全局和局部信息的GloVe[65]，以及針對情感分析問題的詞語向量學習[56][89]。

相對于VSM以及BOW模型，詞語向量具有更強的特征表示能力，可以獲取詞語的語義以及語法信息，并且根據詞語在向量空間中的位置分布就可以表示這些信息。詞語向量是一種低維度的非稀疏向量，當獲取整個文檔集詞典中所有詞語的向量表示時，可以很方便的得到詞語集合（如短語和句子）的向量表示[60]，獲得低維度的非稀疏文本特征。

在使用詞語向量表示時也需要注意它的一些缺陷：當訓練完成后每個詞語只被映射為一個向量，這個向量主要表達了該詞語在文檔集中最常用的語義和語法含義，但有些詞語在不同的上下文語境中具有不同的語義和語法含義，也就是詞語的多義性很難被表示出來；對于學習詞語向量模型的訓練，特別是使用word2vec方法時，需要大量的同一領域內的訓練文本，比如我們建立的模型最終希望對微博進行情感分析，那么我們在學習詞語向量時，需要準備大量的微博文本，并且需要進行一些預處理，比如表情符號、@標簽、#標簽、URL等的過濾，使訓練文本比較干凈。