OpenAI 發現獨特情感神經元，無監督學習系統表征情感取得突破

時間：2017-04-08

OpenAI 的研究員今天在博客上宣布，他們開發了一個無監督學習的系統，能夠很好地對情感進行表征。在數據集 Stanford Sentiment Treebank上，他們獲得了當下行業內最高的情感分析準度。現在論文和代碼已經公開。在研究的過程中，他們還發現，算法中實際上存在著一種高度預測情緒值的“情感神經元”。研究結果對于邁向通用無監督表征學習是很有希望的一步。

OpenAI:我們開發了一個非監督的系統，能夠很好地表征情感。雖然研究中只是用亞馬遜網站上的評論進行了訓練，用于預測下一個字母。

一個線性模型使用這一表征，在一個小型但是被深度研究過的數據集 Stanford Sentiment Treebank上，獲得了當下行業內最高的情感分析準度（準確率達到91.8%，此前最好的只有90.2%），并且，這一非監督式的學習系統，在性能上也能與此前的監督式學習系統相媲美，使用的標簽樣本要少30-100倍。我們的表征還包含了一個獨特的“情感神經元”（distinguish emotional neurons），這一神經元中包含了幾乎所有的情感信號。

標簽訓練樣本

我們的系統擊敗了 Stanford Sentiment Treebank 數據集上的最佳的方法，同時使用的數據量有大幅地減少。

標注示例的數量需要我們模型的兩個變體（綠色和藍色線條），以配合完全監督的方法，每個訓練有6,920個例子（虛線）。

我們的L1正則化模型（在亞馬遜評論中以無監督的方式預先訓練）將多通道CNN性能與11個帶標記的示例相匹配，并且使用最先進的 CT-LSTM Ensembles與232個例子相匹配。

我們非常驚訝地看到，我們的模型學習了一個可解釋的特征，并且通過發現情感概念，簡單地預測出亞馬遜評論中的下一個字符。我們認為這種現象不是我們的模型所特有的，而是一些大型神經網絡的通用性質，這些大型神經網絡被訓練來預測其輸入中的下一步或維度。

方法

我們首先在8200萬亞馬遜評論的語料庫上訓練了4,096個單位的乘法LSTM，以預測一小段文本中的下一個字符。整個訓練在四個NVIDIA Pascal GPU上花費了一個月的時間，我們的模型處理速度為每秒12,500個字符。

這4,096個單位（只是浮標的向量）可以被認為是表示模型讀取的字符串的特征向量。在訓練mLSTM后，我們采用這些單位的線性組合將模型轉換為情感分類器，通過可用的監督數據學習組合的權重。

獨一無二的情感神經元

在用L1正則化訓練線性模型的同時，我們注意到，它使用了的學習單位令人意外的少。深入挖掘后，我們意識到，實際上存在著一種高度預測情緒值的“情感神經元”。

我們模型中的情緒神經元可以將評論歸為負面或正面，即使模型只是被訓練來預測文本中的下一個字符。

就像類似的模型一樣，我們的模型可以用來生成文本。與這些模型不同，我們用直接撥號（direct dial）來控制產出文字的情緒：我們只是重新設置了情緒神經元的value。

由訓練模型生成的合成文本的示例。以上，我們在確定情緒單元的value后，從模型中選擇隨機樣本，以確定評論中的情緒。下面，我們還通過模型傳遞前綴“我無法弄清楚”，并選擇高相似度樣本。

例子

下圖表示情緒神經元的字符到字符的符值（value），負值顯示為紅色和正值為綠色。請注意，像“最好的”或“可怕”這樣強烈的指示性詞語會引起顏色的特別大變化。

情感神經元以字符到字符的值為基礎，逐個調整其value。

有趣的是，在完成句子和短語之后，系統也會進行大量更新。例如，在“約有99.8％的電影丟失”中，即使“影片中”本身沒有任何情緒內容，“丟失”還有更新更新的消息。

無監督式學習

標簽數據是今天機器學習的燃料。收集數據很容易，但可擴展標記數據很難得到。人們一般在性價比可觀，或者重要程度夠高的問題上才會去給數據做標簽，比如，機器翻譯，語音識別或自駕駕駛。

機器學習研究人員長期以來一直夢想著開發無監督的學習算法來學習數據集的良好表征，然后可以僅使用幾個標記的例子就能解決任務。

我們的研究證明。在創建具有良好表征學習能力的系統時，在大量的數據中，簡單地訓練一個大型的非監督式“下一步”預測模型，可能是一種很好的方法。

下一步：邁向通用無監督表征學習

我們的結果對于邁向通用無監督表征學習(general unsupervised representation learning)是很有希望的一步。我們探索通過語言建模是否可以學習到優質表征，從而找到結果，并在精心挑選的數據集上擴大現有模型。然而，潛在的現象并沒有變清晰，反而更神秘了。

這些結果對于長文檔的數據集不是很強。我們懷疑我們的字符級別模型努力記住了數百到數千個時間段的信息。我們認為值得嘗試用層次模型以適應他們的時間尺度。進一步擴大這些模型可能進一步提高表征、情緒分析和類似任務的保真度和性能。

這一模型處理越來越多的輸入文本與評論數據分歧。值得驗證的是，擴展文本樣本的語料庫可以獲得同樣適用于更廣泛領域的信息表征。

我們的研究結果表明，存在一種設置使得超大的下一步預測模型（next-step-prediction models）能學到很好的無監督表征。訓練一個大型神經網絡以預測大量視頻集合中的下一幀可能會得到對于對象、場景和動作分類器的無監督表征。

總的來說，了解模型的性質、訓練方式和能夠導致如此優秀的表征的數據集，這是非常重要的。

論文：

摘要

我們探索字節級遞歸語言模型的屬性。當給予足夠的空間、訓練數據和計算時間，這些模型學習到的表征可以包括對應于高級概念的解決特征（disentangled features）。具體來說，我們找到一個執行情緒分析的單位。這些以無監督方式學習的表征，在 the binary subset of the Stanford Sentiment Treebank上達到頂尖的效果。它們處理數據效率也很高。當僅使用少量標簽的示例時，我們的方法與在完整數據集上訓練的強大基準線的性能相當。我們也展示了情感單位對模型的生成過程有直接的影響。簡單地將其值設置為正或負，生成具有相應正或負情緒的樣本。