前言

　　我們?cè)谌粘Ｉ钪薪?jīng)常使用自然語(yǔ)言對(duì)話系統(tǒng)，比如蘋果Siri?，F(xiàn)在的對(duì)話系統(tǒng)多數(shù)只能做單輪對(duì)話，可以幫助用戶完成一些簡(jiǎn)單的任務(wù)，如問(wèn)天氣，查股票(如果做多輪對(duì)話，也是在單輪對(duì)話的基礎(chǔ)上加一些簡(jiǎn)單處理)。實(shí)現(xiàn)這些自然語(yǔ)言對(duì)話系統(tǒng)的基本技術(shù)可以分為兩大類，基于規(guī)則的和基于數(shù)據(jù)的。你也許想知道對(duì)話系統(tǒng)的基本原理是怎樣的?特別是如何用數(shù)據(jù)驅(qū)動(dòng)的方式構(gòu)建一個(gè)對(duì)話系統(tǒng)？

　　最近基于數(shù)據(jù)的自然語(yǔ)言對(duì)話技術(shù)取得了突破性的進(jìn)展。我們發(fā)現(xiàn)，利用深度學(xué)習(xí)和大數(shù)據(jù)，可以很容易地構(gòu)建一個(gè)單輪對(duì)話系統(tǒng)，自動(dòng)生成對(duì)話，并且取得驚人的好效果。比如，用5百萬(wàn)微博數(shù)據(jù)可以構(gòu)建一個(gè)系統(tǒng)，用戶給出一句話，這個(gè)系統(tǒng)可以自動(dòng)生成一句回答。用戶輸入“我想買一部三星手機(jī)”，系統(tǒng)回答“還是支持一下國(guó)產(chǎn)的吧”，等等。你也許想知道這是如何實(shí)現(xiàn)的?能達(dá)到什么樣的水平?

　　本文試圖系統(tǒng)地回答以上問(wèn)題。首先指出，自然語(yǔ)言對(duì)話將是人們信息訪問(wèn)的主要手段，信息檢索領(lǐng)域的主要研究范式。之后，定義自然語(yǔ)言對(duì)話任務(wù)，對(duì)相關(guān)技術(shù)進(jìn)行分類，列舉主要技術(shù)挑戰(zhàn)。接著，詳細(xì)介紹如何構(gòu)建基于數(shù)據(jù)的對(duì)話系統(tǒng)。最后，詳細(xì)介紹最新的基于深度學(xué)習(xí)的對(duì)話技術(shù)。當(dāng)中也介紹深度學(xué)習(xí)在自然語(yǔ)言表示學(xué)習(xí)中的最新成果。

　　信息檢索領(lǐng)域的范式轉(zhuǎn)移

　　“科學(xué)的發(fā)展依賴于間斷性、革命性的變化”，這是科學(xué)哲學(xué)與科學(xué)史學(xué)家托馬斯·庫(kù)恩(Thomas Kuhn)的名言。庫(kù)恩認(rèn)為科學(xué)的每個(gè)領(lǐng)域都有不同的“范式” (paradigm)，它們有著不同的研究對(duì)象、基本概念、解決問(wèn)題的手段，甚至不同的研究者群體，比如，在物理學(xué)領(lǐng)域，量子力學(xué)與牛頓力學(xué)就屬于不同的范式?？茖W(xué)的發(fā)展不是連續(xù)的，而是間斷的，量子力學(xué)并不是在牛頓力學(xué)基礎(chǔ)上發(fā)展起來(lái)的。當(dāng)一個(gè)領(lǐng)域發(fā)生革命性的變化的時(shí)候，一定有新的范式產(chǎn)生，庫(kù)恩稱之為范式轉(zhuǎn)移(paradigm shift)。

　　信息檢索是計(jì)算機(jī)科學(xué)的一個(gè)分支，研究和開發(fā)計(jì)算機(jī)幫助用戶管理、訪問(wèn)、使用信息的技術(shù)。縱觀信息檢索幾十年來(lái)的發(fā)展歷程，可以看到它已經(jīng)歷了兩個(gè)主要范式：圖書館搜索和互聯(lián)網(wǎng)搜索。七十年代研究的重點(diǎn)是如何幫助用戶在圖書館快速地查找文獻(xiàn)資料，有不少該領(lǐng)域基本技術(shù)被開發(fā)出來(lái)，比如向量空間模型。九十年代研究的重點(diǎn)是如何幫助用戶在互聯(lián)網(wǎng)上迅速地訪問(wèn)想訪問(wèn)的網(wǎng)頁(yè)，有許多創(chuàng)新，鏈接分析、排序?qū)W習(xí)、語(yǔ)義匹配、日志分析等技術(shù)被開發(fā)出來(lái)。

　　2011年蘋果公司發(fā)布了語(yǔ)音助手系統(tǒng)Siri，標(biāo)志著一個(gè)新的時(shí)代的開啟。自然語(yǔ)言對(duì)話成了人們?cè)L問(wèn)信息的一個(gè)新的手段?，F(xiàn)在，移動(dòng)設(shè)備成為個(gè)人計(jì)算的主流，越來(lái)越多的用戶通過(guò)移動(dòng)設(shè)備訪問(wèn)信息。在移動(dòng)設(shè)備上，自然語(yǔ)言對(duì)話是人機(jī)交互最自然的，最有效的方式。另一方面，自然語(yǔ)言對(duì)話的技術(shù)，雖然達(dá)到了一定可用的水平，但還不成熟，不能很好理解用戶的意圖，不能充分滿足用戶的需求。這就意味著，圍繞自然語(yǔ)言對(duì)話有很多待解決的具有挑戰(zhàn)性的問(wèn)題，它自然成為信息檢索領(lǐng)域研究的一個(gè)新的重點(diǎn)，一個(gè)新的范式。

　　自然語(yǔ)言對(duì)話

　　自然語(yǔ)言對(duì)話可以形式化為以下問(wèn)題。有一個(gè)計(jì)算機(jī)系統(tǒng)(對(duì)話系統(tǒng))，一個(gè)用戶。用戶通過(guò)自然語(yǔ)言，如中文、英文，與對(duì)話系統(tǒng)進(jìn)行多輪交談，系統(tǒng)幫助用戶完成一個(gè)任務(wù)，特別是訪問(wèn)信息的任務(wù)。

　　自然語(yǔ)言對(duì)話，即計(jì)算機(jī)和人通過(guò)人類的語(yǔ)言進(jìn)行交互，是實(shí)現(xiàn)人工智能的標(biāo)志，其研究與開發(fā)有著很長(zhǎng)的歷史。迄今為止，有許多自然語(yǔ)言對(duì)話系統(tǒng)被開發(fā)出來(lái)，在受限的條件下，可以與用戶進(jìn)行一定的對(duì)話，幫助用戶完成簡(jiǎn)單的任務(wù)。

　　現(xiàn)在的對(duì)話系統(tǒng)大多只做單輪對(duì)話，如果做多輪對(duì)話，也是在單輪對(duì)話的基礎(chǔ)上做一些簡(jiǎn)單的處理。技術(shù)主要包括基于手寫規(guī)則的，和基于數(shù)據(jù)驅(qū)動(dòng)的。比如，六十年代就有著名的Eliza系統(tǒng)問(wèn)世，基于手寫規(guī)則，能與用戶進(jìn)行簡(jiǎn)單的對(duì)話，使許多用戶感覺(jué)到好像是在跟真人進(jìn)行交流。Siri之后，有許多對(duì)話產(chǎn)品出現(xiàn)，包括谷歌Now，微軟Cortana。國(guó)內(nèi)有許多聊天機(jī)器人發(fā)布，如微軟Xiaobing，受到廣泛矚目。據(jù)我們所知，大部分的對(duì)話系統(tǒng)都是基于規(guī)則，或者基于數(shù)據(jù)的。

　　自然語(yǔ)言對(duì)話的研究與開發(fā)，雖然取得了一定的進(jìn)展，但離實(shí)現(xiàn)人工智能的理想，甚至離實(shí)現(xiàn)在復(fù)雜場(chǎng)景下的實(shí)用化還有很大距離。自然語(yǔ)言對(duì)話有許多應(yīng)用場(chǎng)景。比如，如果用戶能夠通過(guò)對(duì)話在智能手機(jī)上完成訂酒店之類的復(fù)雜任務(wù)，那么手機(jī)就會(huì)真正成為用戶的得力助手。這里的核心問(wèn)題是如何“理解”用戶的語(yǔ)言，幫助用戶完成任務(wù)?，F(xiàn)在的語(yǔ)音助手還不能做到這一點(diǎn)。再比如，許多公司有呼叫中心，在電話上回答用戶提出的各種問(wèn)題。如果能夠?qū)崿F(xiàn)自動(dòng)呼叫中心，機(jī)器來(lái)回答用戶的問(wèn)題，就能大大提高服務(wù)的效率和質(zhì)量。這里的核心問(wèn)題也是自然語(yǔ)言對(duì)話。

　　必須指出，重要的是需要將自然語(yǔ)言對(duì)話作為科學(xué)問(wèn)題研究，而不能停留在工程的技巧上。作為科學(xué)問(wèn)題研究，應(yīng)該有幾個(gè)特點(diǎn)：首先是建立數(shù)學(xué)模型解決問(wèn)題，其次是實(shí)驗(yàn)結(jié)果能夠再現(xiàn)，還有復(fù)雜的問(wèn)題被還原成簡(jiǎn)單的問(wèn)題解決。

　　基于數(shù)據(jù)的對(duì)話系統(tǒng)

　　大數(shù)據(jù)時(shí)代為自然語(yǔ)言對(duì)話研究提供了一個(gè)新的機(jī)會(huì)，大量的對(duì)話數(shù)據(jù)可以從實(shí)際的場(chǎng)景獲得。一個(gè)重要的研究問(wèn)題是，我們是否可以利用大數(shù)據(jù)，構(gòu)建一個(gè)數(shù)據(jù)驅(qū)動(dòng)的自然語(yǔ)言對(duì)話系統(tǒng)。比如，記錄呼叫中心話務(wù)員與客戶的對(duì)話，用這些數(shù)據(jù)，是否可以構(gòu)建一個(gè)自動(dòng)的呼叫中心。

　　計(jì)算機(jī)理解人的語(yǔ)言還是非常困難的，即使是可能的。一個(gè)克服這個(gè)挑戰(zhàn)的方法就是用數(shù)據(jù)驅(qū)動(dòng)的方式構(gòu)建對(duì)話系統(tǒng)。搜索技術(shù)的成功給我們的一個(gè)啟示，盡量避開自然語(yǔ)言理解，用數(shù)據(jù)驅(qū)動(dòng)的方式解決問(wèn)題，是人工智能技術(shù)實(shí)用化的一個(gè)有效途徑。我們可以把對(duì)話系統(tǒng)的主要部分用數(shù)據(jù)驅(qū)動(dòng)的方式構(gòu)建，另一方面，只實(shí)現(xiàn)輕量級(jí)的知識(shí)使用、推理、對(duì)話管理。

　　我們可以把自然語(yǔ)言對(duì)話分成單輪對(duì)話和多輪對(duì)話進(jìn)行研究。單輪對(duì)話是基礎(chǔ)，也應(yīng)該是研究的第一個(gè)重點(diǎn)。單輪對(duì)話可以是基于規(guī)則的，或基于數(shù)據(jù)的?；跀?shù)據(jù)的方法又可以分成基于檢索的方式和基于生成的方式。下面作一簡(jiǎn)單介紹。

圖1 基于檢索的對(duì)話系統(tǒng)

　　圖1是基于檢索的單輪對(duì)話系統(tǒng)。大量的單輪對(duì)話數(shù)據(jù)存儲(chǔ)在索引里，每一個(gè)實(shí)例包括一個(gè)信息和一個(gè)回復(fù)。用戶輸入一個(gè)信息，檢索模塊從索引中檢索相對(duì)相關(guān)的信息和回復(fù)，并將最適合的回復(fù)返給用戶，形成一輪對(duì)話。而檢索系統(tǒng)本身是通過(guò)機(jī)器學(xué)習(xí)構(gòu)建的。

圖2 基于生成的對(duì)話系統(tǒng)

　　圖2是基于生成的單輪對(duì)話系統(tǒng)。學(xué)習(xí)模塊利用大量對(duì)話數(shù)據(jù)構(gòu)建生成模塊。當(dāng)用戶給定一個(gè)信息時(shí)，生成模塊針對(duì)該信息自動(dòng)生成一個(gè)回復(fù)。

　　深度學(xué)習(xí)與語(yǔ)義表示學(xué)習(xí)

　　最近深度學(xué)習(xí)技術(shù)有了突飛猛進(jìn)的發(fā)展，為語(yǔ)音識(shí)別、圖像識(shí)別、自然語(yǔ)言處理(包括自然語(yǔ)言對(duì)話)，提供了強(qiáng)大的工具，為這些領(lǐng)域今后的快速發(fā)展提供了新的契機(jī)。事實(shí)上，若干個(gè)基于深度學(xué)習(xí)的對(duì)話系統(tǒng)已被開發(fā)出來(lái)，受到了廣泛矚目。

　　深度學(xué)習(xí)為自然語(yǔ)言處理帶來(lái)的本質(zhì)突破是語(yǔ)句的語(yǔ)義表示學(xué)習(xí)，也是基于深度學(xué)習(xí)的對(duì)話技術(shù)的基礎(chǔ)，這里做一簡(jiǎn)要介紹。

　　在自然語(yǔ)言處理領(lǐng)域，一個(gè)普遍使用的技術(shù)是用實(shí)數(shù)值向量來(lái)表示單詞的語(yǔ)義，其基本假設(shè)是單詞的語(yǔ)義可以由與其共現(xiàn)的其他單詞來(lái)決定。比如，統(tǒng)計(jì)每一個(gè)單詞與其它單詞在一個(gè)數(shù)據(jù)集的共現(xiàn)頻率，并將其表示為向量，這些向量能夠很好地表示單詞的語(yǔ)義相似性，兩個(gè)單詞向量的余弦相似度越大，兩個(gè)單詞的語(yǔ)義就越相近。

　　最近自然語(yǔ)言處理與深度學(xué)習(xí)的一個(gè)新發(fā)現(xiàn)是，我們可以通過(guò)深度學(xué)習(xí)用實(shí)數(shù)值向量來(lái)表示語(yǔ)句的語(yǔ)義。如圖3所示，兩句話“John loves Mary”和“Mary is loved by John”的語(yǔ)義向量就相近，而這兩句話的語(yǔ)義向量就與“Mary loves John”的語(yǔ)義向量相遠(yuǎn)。

圖3 語(yǔ)句的語(yǔ)義可以由向量空間中的實(shí)數(shù)值向量表示

　　下面具體地講述四個(gè)深度學(xué)習(xí)方法：?jiǎn)卧~嵌入(word embedding)、循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network)、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network)、遞歸神經(jīng)網(wǎng)絡(luò)(Recursive Neural Network)的原理，它們是語(yǔ)句語(yǔ)義學(xué)習(xí)的強(qiáng)有力工具。

　　第一個(gè)工具是單詞嵌入，其中最常用的是稱為Word2Vec的工具[2]。如果僅僅基于一個(gè)單詞和其他單詞的共現(xiàn)信息構(gòu)建該單詞的語(yǔ)義表示向量，那么就會(huì)得到一個(gè)高維稀疏的向量。這種高維的向量不適合用于語(yǔ)句語(yǔ)義表示的學(xué)習(xí)，因?yàn)樗羞^(guò)多的參數(shù)。我們的問(wèn)題是如何將高維的單詞向量壓縮成為低維的單詞向量。Word2Vec提供了一個(gè)有效的方法，它對(duì)應(yīng)著以下的非監(jiān)督學(xué)習(xí)方法。

　　假設(shè)在一個(gè)數(shù)據(jù)集上獲得單詞在不同上下文出現(xiàn)的互信息可以由一個(gè)矩陣來(lái)表示，每一行對(duì)應(yīng)著一個(gè)單詞，每一列對(duì)應(yīng)著一個(gè)上下文，每一個(gè)元素表示相應(yīng)的單詞與上下文的互信息，表示該單詞與上下文共同出現(xiàn)的可能性大小。因?yàn)檫@個(gè)矩陣是稀疏的，可以對(duì)其進(jìn)行矩陣分解，即將原來(lái)的矩陣近似地表示為兩個(gè)矩陣的乘積的形式。這時(shí)得到的左矩陣就可以作為單詞嵌入使用。它是一個(gè)低維稠密矩陣，每一行對(duì)應(yīng)著一個(gè)單詞，每一列對(duì)應(yīng)著一個(gè)話題。

圖4 循環(huán)神經(jīng)網(wǎng)絡(luò)

　　第二個(gè)工具是循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)。RNN把一句話看成單詞的序列，每個(gè)單詞由一個(gè)向量表示，每一個(gè)位置上有一個(gè)中間表示，由向量組成，表示從句首到這個(gè)位置的語(yǔ)義。這里假設(shè)，每一個(gè)位置的中間表示由當(dāng)前位置的單詞向量以及前一個(gè)位置的中間表示決定，通過(guò)一個(gè)神經(jīng)網(wǎng)絡(luò)模型化。RNN把句末的中間表示當(dāng)作整個(gè)句子的語(yǔ)義表示。參照?qǐng)D4。RNN與隱馬爾可夫模型有相似的結(jié)構(gòu)，但具有更強(qiáng)的表達(dá)能力，中間表示沒(méi)有馬爾可夫假設(shè)，而且模型是非線性的。加入長(zhǎng)短期記憶(Long Short Term Memory，LSTM)機(jī)制， RNN可以處理遠(yuǎn)距離依存關(guān)系，能夠更好地表示整句的語(yǔ)義。

圖5 卷積神經(jīng)網(wǎng)絡(luò)

　　第三個(gè)工具是卷積神經(jīng)網(wǎng)絡(luò)(CNN)[5,6]。CNN對(duì)句子進(jìn)行掃描，抽取特征，選擇特征，最后組合成句子的語(yǔ)義表示。首先從左到右用一個(gè)滑動(dòng)窗口對(duì)句子進(jìn)行掃描，每個(gè)滑動(dòng)窗口內(nèi)有多個(gè)單詞，每個(gè)單詞由一個(gè)向量表示。在滑動(dòng)窗口內(nèi)，通過(guò)卷積(convolution)操作，進(jìn)行特征抽取。這樣，在各個(gè)位置上得到一系列特征。之后再通過(guò)最大池化(max pooling)操作，對(duì)特征進(jìn)行選擇。重復(fù)以上操作多次，得到多個(gè)向量表示，將這些向量連接起來(lái)得到整個(gè)句子的語(yǔ)義表示。參照?qǐng)D5。同一卷積層內(nèi)參數(shù)是共享的，也就是同一層的卷積操作是相同的，這也就保證了在局部領(lǐng)域進(jìn)行相同的特征抽取。

圖 6 遞歸神經(jīng)網(wǎng)絡(luò)

　　第四個(gè)工具是遞歸神經(jīng)網(wǎng)絡(luò)(ReNN)[7]。ReNN假設(shè)對(duì)語(yǔ)句進(jìn)行句法分析，得到句法樹。句法樹的每個(gè)節(jié)點(diǎn)上有一個(gè)向量中間表示。父節(jié)點(diǎn)的表示由其子節(jié)點(diǎn)的表示決定，通過(guò)神經(jīng)網(wǎng)絡(luò)模型化。而根節(jié)點(diǎn)的表示就是整個(gè)句子的語(yǔ)義表示。參照?qǐng)D6。句法樹上的中間表示可以在句法分析的過(guò)程中得到，比如在最大間隔分析(max margin parsing)。

　　基于深度學(xué)習(xí)的自然語(yǔ)言對(duì)話系統(tǒng)

　　華為諾亞方舟實(shí)驗(yàn)室是最早用深度學(xué)習(xí)技術(shù)開發(fā)自然語(yǔ)言對(duì)話系統(tǒng)的研究機(jī)構(gòu)之一，提出了若干個(gè)具有代表性的模型，這里做一簡(jiǎn)單介紹。我們開發(fā)了基于檢索的單輪對(duì)話系統(tǒng)和基于生成的對(duì)話系統(tǒng)。

　　如圖1所示，基于檢索的方式將對(duì)話看作搜索問(wèn)題。系統(tǒng)索引大量對(duì)話數(shù)據(jù)，每一個(gè)實(shí)例由單輪對(duì)話中的一對(duì)信息與回復(fù)組成。給定一個(gè)信息，系統(tǒng)從索引中找出相關(guān)的信息與回復(fù)對(duì)，計(jì)算輸入信息與檢索到的回復(fù)之間的匹配度，基于匹配度對(duì)回復(fù)進(jìn)行排序，并將排在最前的回復(fù)返回。輸入信息與每一個(gè)回復(fù)之間的匹配度計(jì)算，由事先學(xué)好的多個(gè)匹配模型完成?；貜?fù)的排序由事先學(xué)好的排序模型決定。這里的關(guān)鍵問(wèn)題是如何實(shí)現(xiàn)不同的匹配模型。我們提出了兩個(gè)基于深度學(xué)習(xí)的匹配模型。

圖7 匹配模型Deep Match CNN

　　第一個(gè)匹配模型稱為Deep Match CNN [5]，如圖7所示。這個(gè)模型可以判斷給定的兩句話和是否可以成為一次單輪對(duì)話中的信息和回復(fù)。將兩句話輸入到CNN模型，可以得到它們的語(yǔ)義表示(實(shí)數(shù)值向量)和。之后，再將這兩個(gè)語(yǔ)義表示輸入到一個(gè)多層神經(jīng)網(wǎng)絡(luò)，判斷兩句話語(yǔ)義的匹配程度。這就是Deep Match CNN模型的基本想法。如果有大量的信息和回復(fù)對(duì)的數(shù)據(jù)，那么就可以訓(xùn)練這個(gè)模型。這里介紹的是最基本的模型，還可以對(duì)它進(jìn)行擴(kuò)展，這里不予介紹。

圖8 匹配模型Deep Match Tree

　　第二個(gè)匹配模型稱為Deep Match Tree [8]，如圖8所示。這個(gè)模型，基于句法分析結(jié)果，判斷兩句話是不是可以形成一輪對(duì)話中的信息和回復(fù)。先對(duì)兩句話和進(jìn)行句法分析，得到兩個(gè)句法樹和，再看兩個(gè)句法樹的子樹是否滿足各種匹配模式。比如“how do you think about Hong Kong”與“the food in Hong Kong is great”就滿足匹配模式“how do you think about X”與“the Y in X is great”。之后將匹配結(jié)果輸入到一個(gè)多層的神經(jīng)網(wǎng)絡(luò)，這個(gè)神經(jīng)網(wǎng)絡(luò)的輸入層的每個(gè)神經(jīng)元對(duì)應(yīng)一個(gè)匹配模式。匹配模式事先從數(shù)據(jù)中挖掘出來(lái)，有上百萬(wàn)個(gè)。如果輸入的兩句話能夠滿足某一模式，其對(duì)應(yīng)的神經(jīng)元取值為一，否則取值為零。神經(jīng)網(wǎng)絡(luò)最后判斷兩句話的匹配程度。如果兩句話能夠滿足許多配模模式，那么這兩句話最終形成一輪對(duì)話的可能性就會(huì)很高。Deep Match Tree模型也可以通過(guò)大量信息與回復(fù)對(duì)的數(shù)據(jù)訓(xùn)練得到。

　　如圖2所示，基于生成的方式將對(duì)話看作基于信息產(chǎn)生回復(fù)的問(wèn)題。系統(tǒng)利用大量對(duì)話數(shù)據(jù)構(gòu)建生成模型，給定一個(gè)信息，系統(tǒng)自動(dòng)生成一個(gè)回復(fù)。這里的關(guān)鍵問(wèn)題是如何實(shí)現(xiàn)這個(gè)生成模型。我們提出了一個(gè)基于深度學(xué)習(xí)的生成模型。

圖9 生成模型Neural Responding Machine

　　這個(gè)生成模型稱為Neural Responding Machine(NRM)[9]，如圖9所示。NRM的基本想法是這樣的。將輸入的一句話看作一個(gè)單詞表示的序列，通過(guò)編碼器，是一個(gè)RNN模型，將轉(zhuǎn)換成一個(gè)中間表示的序列，再通過(guò)解碼器，是另一個(gè)RNN模型，將轉(zhuǎn)換成一個(gè)單詞的系列，作為一句話輸出。NRM模型也可以通過(guò)大量信息與回復(fù)對(duì)的數(shù)據(jù)訓(xùn)練得到。

　　基于檢索的對(duì)話系統(tǒng)和基于生成的對(duì)話系統(tǒng)各有其特色。生成系統(tǒng)比檢索系統(tǒng)的準(zhǔn)確率會(huì)高一些，在一個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上，檢索系統(tǒng)的準(zhǔn)確率是70%，生成系統(tǒng)的準(zhǔn)確率是76%。但檢索系統(tǒng)比生成系統(tǒng)會(huì)更安全一些，不會(huì)返回語(yǔ)法不通的句子。這里的準(zhǔn)確率的定義是，人對(duì)返回結(jié)果做評(píng)價(jià)，如果回復(fù)可以成為一輪對(duì)話，就認(rèn)為是正確，否則是錯(cuò)誤。如何對(duì)自然語(yǔ)言對(duì)話系統(tǒng)進(jìn)行客觀評(píng)價(jià)，仍然是一個(gè)需要進(jìn)一步深入研究的課題。

　　同時(shí)指出，基于深度學(xué)習(xí)的生成模型比傳統(tǒng)的基于機(jī)器翻譯的模型在準(zhǔn)確率上有大幅度的提升，從26%提高到76%[9]。深度學(xué)習(xí)在圖像處理、語(yǔ)音處理等領(lǐng)域有許多大幅度提升性能的實(shí)例，在自然語(yǔ)言處理領(lǐng)域這樣的事例還不多，在機(jī)器翻譯等任務(wù)上的提升往往沒(méi)有這么高。

　　令人驚訝的是，基于生成的對(duì)話系統(tǒng)可以返回許多有趣的回復(fù)，超出想象。表1給出一些系統(tǒng)生成的例子。可以看出，在大部分情況下，系統(tǒng)能夠生成比較“自然”的句子，構(gòu)成一個(gè)自然的對(duì)話。