本申請(qǐng)涉及自然語(yǔ)言處理技術(shù)領(lǐng)域，尤其涉及一種對(duì)話管理方法和裝置。

背景技術(shù)：

隨著智能化時(shí)代的到來(lái)，人機(jī)交互方式也越來(lái)越符合人類的交互方式，從鍵盤交互，到圖形界面交互，再到目前的通過(guò)聲音圖像的多媒體交互，實(shí)現(xiàn)人類和機(jī)器的更加自然更加人性化的交互方式。交互過(guò)程中，需要通過(guò)對(duì)話管理方法根據(jù)用戶的請(qǐng)求，確定用戶意圖后，將相應(yīng)響應(yīng)結(jié)果反饋給用戶。

相關(guān)技術(shù)中，對(duì)話管理方法一般是基于規(guī)則的方法確定用戶意圖后，找到相應(yīng)響應(yīng)文本數(shù)據(jù)反饋給用戶，所述規(guī)則需要預(yù)先收集大量對(duì)話文本數(shù)據(jù)后，人工分析出對(duì)話邏輯后，確定相應(yīng)規(guī)則，所述規(guī)則一般只能針對(duì)對(duì)話邏輯出現(xiàn)過(guò)的語(yǔ)料，當(dāng)對(duì)話邏輯未出現(xiàn)時(shí)，則很難適用，規(guī)則存在局限性，并且很難完全覆蓋所有對(duì)話邏輯；人工分析對(duì)話文本數(shù)據(jù)的對(duì)話邏輯，工作量較大，工作效率較低。因此，如何高效準(zhǔn)確地根據(jù)用戶文本數(shù)據(jù)確定用戶意圖對(duì)人機(jī)交互的用戶體驗(yàn)尤為重要。

技術(shù)實(shí)現(xiàn)要素：

本申請(qǐng)旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。

為此，本申請(qǐng)的一個(gè)目的在于提出一種對(duì)話管理方法，該方法可以高效準(zhǔn)確地確定出用戶意圖，進(jìn)而高效準(zhǔn)確地反饋?lái)憫?yīng)文本數(shù)據(jù)。

本申請(qǐng)的另一個(gè)目的在于提出一種對(duì)話管理裝置。

為達(dá)到上述目的，本申請(qǐng)第一方面實(shí)施例提出的對(duì)話管理方法，包括：獲取待處理用戶文本數(shù)據(jù)，以及待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的歷史數(shù)據(jù)；分別對(duì)所述待處理用戶文本數(shù)據(jù)和所述歷史數(shù)據(jù)進(jìn)行特征提取，提取得到所述待處理用戶文本數(shù)據(jù)和所述歷史數(shù)據(jù)分別對(duì)應(yīng)的句子語(yǔ)義特征；根據(jù)預(yù)先構(gòu)建的對(duì)話管理模型和提取得到的句子語(yǔ)義特征，確定用戶意圖；根據(jù)所述用戶意圖，反饋與所述待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的響應(yīng)文本數(shù)據(jù)。

本申請(qǐng)第一方面實(shí)施例提出的對(duì)話管理方法，通過(guò)根據(jù)對(duì)話管理模型確定用戶意圖，可以提高用戶意圖確定的準(zhǔn)確性，并且不需要人工總結(jié)規(guī)則，大大提高了對(duì)話管理的效果，從而可以在對(duì)話管理時(shí)高效準(zhǔn)確地確定出用戶意圖，進(jìn)而高效準(zhǔn)確地反饋?lái)憫?yīng)文本數(shù)據(jù)。

為達(dá)到上述目的，本申請(qǐng)第二方面實(shí)施例提出的對(duì)話管理裝置，包括：獲取模塊，用于獲取待處理用戶文本數(shù)據(jù)，以及待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的歷史數(shù)據(jù)；提取模塊，用于分別對(duì)所述待處理用戶文本數(shù)據(jù)和所述歷史數(shù)據(jù)進(jìn)行特征提取，提取得到所述待處理用戶文本數(shù)據(jù)和所述歷史數(shù)據(jù)分別對(duì)應(yīng)的句子語(yǔ)義特征；確定模塊，用于根據(jù)預(yù)先構(gòu)建的對(duì)話管理模型和提取得到的句子語(yǔ)義特征，確定用戶意圖；反饋模塊，用于根據(jù)所述用戶意圖，反饋與所述待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的響應(yīng)文本數(shù)據(jù)。

本申請(qǐng)第二方面實(shí)施例提出的對(duì)話管理裝置，通過(guò)根據(jù)對(duì)話管理模型確定用戶意圖，可以提高用戶意圖確定的準(zhǔn)確性，并且不需要人工總結(jié)規(guī)則，大大提高了對(duì)話管理的效果，從而可以在對(duì)話管理時(shí)高效準(zhǔn)確地確定出用戶意圖，進(jìn)而高效準(zhǔn)確地反饋?lái)憫?yīng)文本數(shù)據(jù)。

本申請(qǐng)附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本申請(qǐng)的實(shí)踐了解到。

附圖說(shuō)明

本申請(qǐng)上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中：

圖1是本申請(qǐng)一個(gè)實(shí)施例提出的對(duì)話管理方法的流程示意圖；

圖2是本申請(qǐng)另一個(gè)實(shí)施例提出的對(duì)話管理方法的流程示意圖；

圖3是本申請(qǐng)實(shí)施例中對(duì)待提取文本數(shù)據(jù)進(jìn)行特征提取的方法的流程示意圖；

圖4是本申請(qǐng)實(shí)施例中確定用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的用戶意圖的方法的流程示意圖；

圖5是本申請(qǐng)實(shí)施例中對(duì)話管理模型的一種網(wǎng)絡(luò)結(jié)構(gòu)示意圖；

圖6是本申請(qǐng)一個(gè)實(shí)施例提出的對(duì)話管理裝置的結(jié)構(gòu)示意圖；

圖7是本申請(qǐng)另一個(gè)實(shí)施例提出的對(duì)話管理裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面詳細(xì)描述本申請(qǐng)的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的模塊或具有相同或類似功能的模塊。下面通過(guò)參考附圖描述的實(shí)施例是示例性的，僅用于解釋本申請(qǐng)，而不能理解為對(duì)本申請(qǐng)的限制。相反，本申請(qǐng)的實(shí)施例包括落入所附加權(quán)利要求書的精神和內(nèi)涵范圍內(nèi)的所有變化、修改和等同物。

圖1是本申請(qǐng)一個(gè)實(shí)施例提出的對(duì)話管理方法的流程示意圖。

如圖1所示，本實(shí)施例的方法包括：

S11：獲取待處理用戶文本數(shù)據(jù)，以及待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的歷史數(shù)據(jù)。

用戶文本數(shù)據(jù)是指人機(jī)交互過(guò)程中用戶主動(dòng)發(fā)出的文本數(shù)據(jù)，可以為直接輸入到系統(tǒng)中的用戶文本數(shù)據(jù)，也可以為用戶使用語(yǔ)音數(shù)據(jù)輸入后，對(duì)所述語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音識(shí)別后得到的識(shí)別文本。

人機(jī)交互過(guò)程中，可以以一句用戶文本數(shù)據(jù)與一句響應(yīng)文本數(shù)據(jù)交替出現(xiàn)的形式進(jìn)行，響應(yīng)文本數(shù)據(jù)是指機(jī)器反饋給用戶的與用戶文本數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)。一句用戶文本數(shù)據(jù)及對(duì)應(yīng)的一句響應(yīng)文本數(shù)據(jù)可以組成一輪對(duì)話文本數(shù)據(jù)。在人機(jī)交互過(guò)程中，可以包括一輪或多輪對(duì)話文本數(shù)據(jù)，多輪指至少兩輪。

在處理時(shí)，可以分別將每輪對(duì)話文本數(shù)據(jù)中的用戶文本數(shù)據(jù)作為待處理用戶文本數(shù)據(jù)。在人機(jī)交互過(guò)程中可以記錄對(duì)話文本數(shù)據(jù)，以在記錄的數(shù)據(jù)中獲取到待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的歷史數(shù)據(jù)。

歷史數(shù)據(jù)是指待處理用戶文本數(shù)據(jù)之前的預(yù)設(shè)N輪的對(duì)話文本數(shù)據(jù)，N可以根據(jù)應(yīng)用需求設(shè)置。如上所示，對(duì)話文本數(shù)據(jù)包括用戶文本數(shù)據(jù)和響應(yīng)文本數(shù)據(jù)，則歷史數(shù)據(jù)包括歷史用戶文本數(shù)據(jù)和歷史響應(yīng)文本數(shù)據(jù)。如果待處理用戶文本數(shù)據(jù)是第一輪交互中的用戶文本數(shù)據(jù)，則對(duì)應(yīng)的歷史數(shù)據(jù)為空。

S12：分別對(duì)所述待處理用戶文本數(shù)據(jù)和所述歷史數(shù)據(jù)進(jìn)行特征提取，提取得到所述待處理用戶文本數(shù)據(jù)和所述歷史數(shù)據(jù)分別對(duì)應(yīng)的句子語(yǔ)義特征。

由于需要分別對(duì)待處理用戶文本數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行特征提取，因此，待處理用戶文本數(shù)據(jù)和歷史數(shù)據(jù)可以統(tǒng)稱為待提取文本數(shù)據(jù)，而在后續(xù)內(nèi)容中，還會(huì)涉及對(duì)樣本進(jìn)行特征提取的步驟，因此，樣本也可以稱為待提取文本數(shù)據(jù)。具體的對(duì)待提取文本數(shù)據(jù)進(jìn)行特征提取的方法可以參見(jiàn)后續(xù)內(nèi)容。

如果待提取文本數(shù)據(jù)為空，比如歷史數(shù)據(jù)為空，則可以設(shè)置對(duì)應(yīng)的句子語(yǔ)義特征為固定值，如將此時(shí)的句子語(yǔ)義特征的取值設(shè)置為0。

S13：根據(jù)預(yù)先構(gòu)建的對(duì)話管理模型和提取得到的句子語(yǔ)義特征，確定所述待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的用戶意圖。

具體構(gòu)建對(duì)話管理模型的方法可以如后續(xù)內(nèi)容所示。

對(duì)話管理模型的輸入為句子語(yǔ)義特征，輸出為用戶意圖信息，從而在提取得到句子語(yǔ)義特征后，將提取得到的句子語(yǔ)義特征作為對(duì)話管理模型的輸入，得到對(duì)話管理模型輸出的用戶意圖信息，再根據(jù)用戶意圖信息確定用戶意圖，比如，用戶意圖信息為每種預(yù)設(shè)用戶意圖的概率值，則將概率值最高的用戶意圖確定為待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的用戶意圖。

S14：根據(jù)所述用戶意圖，反饋與所述用戶文本數(shù)據(jù)對(duì)應(yīng)的響應(yīng)文本數(shù)據(jù)。

例如，可以預(yù)先配置每種用戶意圖對(duì)應(yīng)的響應(yīng)文本數(shù)據(jù)，從而在用戶意圖確定后，可以直接獲取對(duì)應(yīng)的響應(yīng)文本數(shù)據(jù)反饋給用戶。比如，預(yù)先配置用戶意圖為“查詢?cè)捹M(fèi)”對(duì)應(yīng)的響應(yīng)文本數(shù)據(jù)包括：“您想查詢哪個(gè)月的話費(fèi)”，則在確定出用戶意圖為“查詢?cè)捹M(fèi)”時(shí)，向用戶反饋“您想查詢哪個(gè)月的話費(fèi)”。在反饋時(shí)，可以顯示響應(yīng)文本數(shù)據(jù)，或者，采用語(yǔ)音合成技術(shù)將響應(yīng)文本數(shù)據(jù)轉(zhuǎn)換為語(yǔ)音，采用語(yǔ)音播放的方式進(jìn)行反饋。

本實(shí)施例中，通過(guò)根據(jù)對(duì)話管理模型確定用戶意圖，可以提高用戶意圖確定的準(zhǔn)確性，并且不需要人工總結(jié)規(guī)則，大大提高了對(duì)話管理的效果，從而可以在對(duì)話管理時(shí)高效準(zhǔn)確地確定出用戶意圖，進(jìn)而高效準(zhǔn)確地反饋?lái)憫?yīng)文本數(shù)據(jù)。

圖2是本申請(qǐng)另一個(gè)實(shí)施例提出的對(duì)話管理方法的流程示意圖。

如圖2所示的，本實(shí)施例的方法包括：

S21：構(gòu)建對(duì)話管理模型。

具體如后續(xù)描述。

S22：獲取待處理用戶文本數(shù)據(jù)，以及待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的歷史數(shù)據(jù)。

S23：分別對(duì)所述待處理用戶文本數(shù)據(jù)和所述歷史數(shù)據(jù)進(jìn)行特征提取，提取得到所述待處理用戶文本數(shù)據(jù)和所述歷史數(shù)據(jù)分別對(duì)應(yīng)的句子語(yǔ)義特征。

S24：根據(jù)預(yù)先構(gòu)建的對(duì)話管理模型和提取得到的句子語(yǔ)義特征，確定所述待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的用戶意圖。

S25：根據(jù)所述用戶意圖，反饋與所述待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的響應(yīng)文本數(shù)據(jù)。

其中，S22-S25的具體內(nèi)容可以參見(jiàn)S11-S14，在此不再詳述。

如圖2所示，構(gòu)建對(duì)話管理模型的方法可以包括：

S211：獲取對(duì)話文本數(shù)據(jù)樣本，所述對(duì)話文本數(shù)據(jù)樣本包括：用戶文本數(shù)據(jù)樣本、用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的歷史數(shù)據(jù)樣本。

對(duì)話文本數(shù)據(jù)樣本是指已有的對(duì)話文本數(shù)據(jù)，具體可以采用收集的方式或者從日志中直接獲取的方式，獲取到對(duì)話文本數(shù)據(jù)樣本。

對(duì)話文本數(shù)據(jù)樣本包括多輪，每輪包括一句用戶文本數(shù)據(jù)樣本和一句響應(yīng)文本數(shù)據(jù)樣本。在處理時(shí)，可以將每輪對(duì)話文本數(shù)據(jù)樣本中的用戶文本數(shù)據(jù)樣本依次作為當(dāng)前處理的用戶文本數(shù)據(jù)樣本，以及獲取與當(dāng)前處理的用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的歷史數(shù)據(jù)樣本。當(dāng)前處理的用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的歷史數(shù)據(jù)樣本是指當(dāng)前處理的用戶文本數(shù)據(jù)樣本之前的對(duì)話文本數(shù)據(jù)樣本，具體包括歷史用戶文本數(shù)據(jù)樣本和歷史響應(yīng)文本數(shù)據(jù)樣本。

S212：分別對(duì)所述用戶文本數(shù)據(jù)樣本和所述歷史數(shù)據(jù)樣本進(jìn)行特征提取，提取得到所述用戶文本數(shù)據(jù)樣本和所述歷史數(shù)據(jù)樣本分別對(duì)應(yīng)的句子語(yǔ)義特征。

用戶文本數(shù)據(jù)樣本、歷史數(shù)據(jù)樣本以及上述實(shí)施例中的待處理用戶文本數(shù)據(jù)及其對(duì)應(yīng)的歷史數(shù)據(jù)可以統(tǒng)稱為待提取文本數(shù)據(jù)，對(duì)待提取文本數(shù)據(jù)進(jìn)行特征提取的方法可以如圖3所示。

S213：確定所述用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的用戶意圖。

在獲取的對(duì)話文本數(shù)據(jù)樣本中還包括與用戶文本數(shù)據(jù)樣本屬于同一輪交互的響應(yīng)文本數(shù)據(jù)樣本，可以基于響應(yīng)文本數(shù)據(jù)樣本對(duì)應(yīng)的句子語(yǔ)義特征和用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的句子語(yǔ)義特征確定用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的用戶意圖，具體如圖4所示。

S214：基于預(yù)先確定的網(wǎng)絡(luò)結(jié)構(gòu)，根據(jù)所述用戶文本數(shù)據(jù)樣本和所述歷史數(shù)據(jù)樣本分別對(duì)應(yīng)的句子語(yǔ)義特征以及所述用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的用戶意圖，進(jìn)行模型訓(xùn)練，構(gòu)建得到對(duì)話管理模型。

網(wǎng)絡(luò)結(jié)構(gòu)可以具體為深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

模型訓(xùn)練過(guò)程可以包括：將所述用戶文本數(shù)據(jù)樣本和所述歷史數(shù)據(jù)樣本分別對(duì)應(yīng)的句子語(yǔ)義特征作為模型輸入，經(jīng)過(guò)與模型各層參數(shù)的運(yùn)算后，得到模型輸出，模型輸出包括各用戶意圖的概率值，將概率值最高的用戶意圖作為預(yù)測(cè)值，再將所述用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的用戶意圖作為真實(shí)值，根據(jù)真實(shí)值和預(yù)測(cè)值得到損失函數(shù)，通過(guò)最小化損失函數(shù)，可以得到模型各層參數(shù)，從而得到對(duì)話管理模型。具體的模型訓(xùn)練方式可以參見(jiàn)各種相關(guān)技術(shù)，在此不再詳述。

下面對(duì)上述涉及的一些步驟進(jìn)行具體說(shuō)明。

參見(jiàn)圖3，對(duì)待提取文本數(shù)據(jù)進(jìn)行特征提取的方法可以包括：

S31：對(duì)待提取文本數(shù)據(jù)進(jìn)行分詞，得到分詞后的詞語(yǔ)。

具體分詞方法可以參見(jiàn)各種相關(guān)技術(shù)，如基于條件隨機(jī)場(chǎng)的方法對(duì)文本數(shù)據(jù)進(jìn)行分詞，如文本數(shù)據(jù)“取消已經(jīng)開(kāi)通的十元一百兆的流量”分詞后得到的詞語(yǔ)包括“取消已經(jīng)開(kāi)通的十元一百兆的流量”。

需要說(shuō)明的是，如果待提取文本數(shù)據(jù)中包含有非法或無(wú)意義的字符，可以先清洗待提取文本數(shù)據(jù)，去除其中的非法或無(wú)意義字符，具體清洗方法可以參見(jiàn)各種相關(guān)技術(shù)。

S32：對(duì)所述詞語(yǔ)進(jìn)行詞向量化，得到所述詞語(yǔ)對(duì)應(yīng)的詞向量。

具體詞向量化方法可以參見(jiàn)各種相關(guān)技術(shù)，如使用word2vec技術(shù)進(jìn)行詞向量化。

一般收集的對(duì)話文本數(shù)據(jù)較多，因此，得到的詞語(yǔ)也非常多，為了將不同詞的詞向量區(qū)分開(kāi)，可以使用高維向量表示每個(gè)詞語(yǔ)，如每個(gè)詞向量的維數(shù)為256維。

S33：根據(jù)所述詞向量提取出所述待提取文本數(shù)據(jù)對(duì)應(yīng)的句子語(yǔ)義特征。

具體的，可以將每句文本數(shù)據(jù)包含的詞語(yǔ)對(duì)應(yīng)的詞向量的平均向量作為對(duì)應(yīng)的句子語(yǔ)義特征。例如，直接將每輪對(duì)話中用戶文本數(shù)據(jù)包含詞語(yǔ)的詞向量的平均向量作為用戶文本數(shù)據(jù)對(duì)應(yīng)的句子語(yǔ)義特征，將響應(yīng)文本數(shù)據(jù)包含詞語(yǔ)的詞向量的平均向量作為響應(yīng)文本數(shù)據(jù)對(duì)應(yīng)的句子語(yǔ)義特征。所述句子語(yǔ)義特征的維數(shù)與詞向量維數(shù)相同，平均向量是指將向量包含的各元素按位進(jìn)行平均。需要說(shuō)明的是，由于句子語(yǔ)義特征是一種向量，因此在后續(xù)內(nèi)容中也可以將句子語(yǔ)義特征稱為句子語(yǔ)義特征向量。

參見(jiàn)圖4，確定用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的用戶意圖的方法可以包括：

S41：獲取所述響應(yīng)文本數(shù)據(jù)樣本對(duì)應(yīng)的句子語(yǔ)義特征，并根據(jù)所述響應(yīng)文本數(shù)據(jù)樣本對(duì)應(yīng)的句子語(yǔ)義特征確定初始用戶意圖。

可以采用如圖3所示的方法對(duì)所述響應(yīng)文本數(shù)據(jù)樣本進(jìn)行特征提取，獲取到所述響應(yīng)文本數(shù)據(jù)樣本對(duì)應(yīng)的句子語(yǔ)義特征。

在獲取到所述響應(yīng)文本數(shù)據(jù)樣本對(duì)應(yīng)的句子語(yǔ)義特征后，可以對(duì)該句子語(yǔ)義特征進(jìn)行分類，確定初始用戶意圖。

具體的，可以預(yù)先設(shè)置多種類別的用戶意圖，比如設(shè)置用戶意圖包括“查話費(fèi)、查流量、查賬單、話費(fèi)套餐辦理、流量套餐辦理、網(wǎng)絡(luò)故障報(bào)修”六種類別，之后可以采用各種相關(guān)技術(shù)，將所述響應(yīng)文本數(shù)據(jù)樣本對(duì)應(yīng)的句子語(yǔ)義特征分類到上述六種類別中的一種，作為初始用戶意圖，比如分類到“查話費(fèi)”，則將初始用戶意圖標(biāo)記為001。

S42：根據(jù)所述用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的句子語(yǔ)義特征和所述初始用戶意圖，確定用戶意圖確定特征，并根據(jù)所述用戶意圖確定特征確定出所述用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的用戶意圖。

具體的，可以對(duì)所述用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的句子語(yǔ)義特征和所述初始用戶意圖進(jìn)行組合，將組合后的向量作為用戶意圖確定特征，比如，句子語(yǔ)義特征為256維，初始用戶意圖為3維，則組合后得到的用戶意圖確定特征為259維。在得到用戶意圖確定特征后，可以采用各種相關(guān)技術(shù)，將用戶意圖確定特征分類到上述預(yù)設(shè)類別中的一種，作為最終的用戶意圖。其中，此時(shí)的預(yù)設(shè)類別與確定初始用戶意圖時(shí)的類別相同，如依然為上述的六種類別。

可以理解的是，上述以采用分類的方式確定用戶意圖為例，但不限于上述實(shí)現(xiàn)方式，比如還可以采用人工標(biāo)注方式，由領(lǐng)域?qū)＜覍?duì)用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的用戶意圖進(jìn)行標(biāo)注，從而可以根據(jù)標(biāo)注信息直接確定用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的用戶意圖。

下面以一種網(wǎng)絡(luò)結(jié)構(gòu)為例，對(duì)所述對(duì)話管理模型進(jìn)行說(shuō)明。

如圖5所示，示出了一種網(wǎng)絡(luò)結(jié)構(gòu)的對(duì)話管理模型。參見(jiàn)圖5，該對(duì)話管理模型包括：輸入層、注意力層、連接層和輸出層。

需要說(shuō)明的是，對(duì)話管理模型可以分為訓(xùn)練階段和應(yīng)用階段，且為了區(qū)分訓(xùn)練階段和應(yīng)用階段，使用的輸入數(shù)據(jù)可以具有不同的名稱。如在應(yīng)用階段，輸入數(shù)據(jù)包括待處理用戶文本數(shù)據(jù)及其對(duì)應(yīng)的歷史數(shù)據(jù)，歷史數(shù)據(jù)包括歷史用戶文本數(shù)據(jù)及其對(duì)應(yīng)的歷史響應(yīng)文本數(shù)據(jù)。而在訓(xùn)練階段，輸入數(shù)據(jù)可以稱為樣本，具體包括用戶文本數(shù)據(jù)樣本及其對(duì)應(yīng)的歷史數(shù)據(jù)樣本?？梢岳斫獾氖牵m然在訓(xùn)練階段在相應(yīng)數(shù)據(jù)的名稱后加上了樣本，但是模型對(duì)輸入數(shù)據(jù)進(jìn)行處理的原理是一致的，下面以輸入數(shù)據(jù)包括待處理用戶文本數(shù)據(jù)及其對(duì)應(yīng)的歷史數(shù)據(jù)為例進(jìn)行說(shuō)明，對(duì)用戶文本數(shù)據(jù)樣本及其對(duì)應(yīng)的歷史數(shù)據(jù)樣本進(jìn)行處理的流程可以參照?qǐng)?zhí)行。

輸入層用于接收輸入特征，其中，輸入特征共包含三部分，具體如下：

1)待處理用戶文本數(shù)據(jù)的句子語(yǔ)義特征向量，使用S表示；

2)待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的歷史用戶文本數(shù)據(jù)的句子語(yǔ)義特征向量，使用U＝{u₁,u₂,...,u_k}表示，其中，u_k表示待處理用戶文本數(shù)據(jù)第k輪歷史用戶文本數(shù)據(jù)的句子語(yǔ)義特征，k表示待處理用戶文本數(shù)據(jù)向前取的歷史數(shù)據(jù)的輪數(shù)；

3)待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的歷史響應(yīng)文本數(shù)據(jù)的句子語(yǔ)義特征向量，使用R＝{r₁,r₂,...,r_k}，其中，r_k表示待處理用戶文本數(shù)據(jù)第k輪歷史響應(yīng)文本數(shù)據(jù)的句子語(yǔ)義特征向量；

進(jìn)一步地，由于不同的用戶文本數(shù)據(jù)可能對(duì)應(yīng)相同或類似的響應(yīng)文本數(shù)據(jù)，直接根據(jù)響應(yīng)文本數(shù)據(jù)得到的句子語(yǔ)義特征向量的區(qū)分性不好，因此，在模型構(gòu)建的過(guò)程中，可以對(duì)待處理用戶文本數(shù)據(jù)對(duì)應(yīng)歷史響應(yīng)文本數(shù)據(jù)的句子語(yǔ)義向量進(jìn)行不斷更新，以保證句子語(yǔ)義向量更加準(zhǔn)確。

注意力層用于計(jì)算待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的響應(yīng)文本數(shù)據(jù)的特征向量，具體的，可以先計(jì)算待處理用戶文本數(shù)據(jù)與其對(duì)應(yīng)的每個(gè)歷史用戶文本數(shù)據(jù)的相關(guān)度權(quán)重，再根據(jù)上述的相關(guān)度權(quán)重計(jì)算待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的響應(yīng)文本數(shù)據(jù)的特征向量。

所述相關(guān)度權(quán)重計(jì)算時(shí)，可以先計(jì)算待處理用戶文本數(shù)據(jù)的句子語(yǔ)義特征向量與其每一個(gè)歷史用戶文本數(shù)據(jù)的句子語(yǔ)義特征向量的內(nèi)積后，再計(jì)算待處理用戶文本數(shù)據(jù)與其每一個(gè)歷史用戶文本數(shù)據(jù)的相關(guān)度權(quán)重；也可以先計(jì)算待處理用戶文本數(shù)據(jù)的句子語(yǔ)義特征向量與其每一個(gè)歷史用戶文本數(shù)據(jù)的句子語(yǔ)義特征向量之間的距離，再計(jì)算待處理用戶文本數(shù)據(jù)與其每一個(gè)歷史用戶文本數(shù)據(jù)的相關(guān)度權(quán)重；所述相關(guān)度權(quán)重取值越大，待處理用戶文本數(shù)據(jù)與其對(duì)應(yīng)的歷史用戶文本數(shù)據(jù)的相關(guān)度越高，具體使用P＝{p₁,p₂,...p_k}表示，以先計(jì)算向量之間的內(nèi)積為例，所述相關(guān)度權(quán)重的計(jì)算方法如式(1)所示：

p_i＝f(S^Tu_i) (1)

其中，p_i表示待處理用戶文本數(shù)據(jù)與其第i輪的歷史用戶文本數(shù)據(jù)的相關(guān)度權(quán)重，u_i為待處理用戶文本數(shù)據(jù)的第i輪歷史用戶文本數(shù)據(jù)的句子語(yǔ)義特征向量；f為相關(guān)度權(quán)重計(jì)算函數(shù)，如softmax()函數(shù)。

所述待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的響應(yīng)文本數(shù)據(jù)的特征向量計(jì)算時(shí)，可以將上述的相關(guān)度權(quán)重作為對(duì)應(yīng)的每個(gè)歷史響應(yīng)文本數(shù)據(jù)的句子語(yǔ)義特征向量的加權(quán)值，進(jìn)行加權(quán)求和后得到，具體計(jì)算方法如式(2)所示：

其中，A表示待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的響應(yīng)文本數(shù)據(jù)的特征向量。

連接層用于對(duì)注意力層計(jì)算得到的待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的響應(yīng)文本數(shù)據(jù)的特征向量A以及待處理用戶文本數(shù)據(jù)的句子語(yǔ)義特征向量S進(jìn)行變換，得到變換后的特征向量變換后的特征向量中包含了待處理用戶文本數(shù)據(jù)的語(yǔ)義信息。具體變換方法如式(3)所示：

其中，W為特征向量變換權(quán)重矩陣，為模型參數(shù)，具體可以通過(guò)大量訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練得到，初始取值可以通過(guò)隨機(jī)初始化方法得到，或直接統(tǒng)一初始化為0；f為特征向量變換函數(shù)，如softmax()函數(shù)。

輸出層用于根據(jù)所述變換后的特征向量輸出用戶意圖信息，例如每種預(yù)設(shè)用戶意圖的概率值。

本實(shí)施例中，通過(guò)根據(jù)對(duì)話管理模型確定用戶意圖，可以提高用戶意圖確定的準(zhǔn)確性，并且不需要人工總結(jié)規(guī)則，大大提高了對(duì)話管理的效果，從而可以在對(duì)話管理時(shí)高效準(zhǔn)確地確定出用戶意圖。進(jìn)一步的，通過(guò)上述的深度神經(jīng)網(wǎng)絡(luò)構(gòu)建對(duì)話管理模型，可以進(jìn)一步提高模型準(zhǔn)確度，進(jìn)而提高用戶意圖確定的準(zhǔn)確度。

圖6是本申請(qǐng)一個(gè)實(shí)施例提出的對(duì)話管理裝置的結(jié)構(gòu)示意圖。

如圖6所示，本實(shí)施例的裝置60包括：獲取模塊61、提取模塊62、確定模塊63和反饋模塊64。

獲取模塊61，用于獲取待處理用戶文本數(shù)據(jù)，以及待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的歷史數(shù)據(jù)；

提取模塊62，用于分別對(duì)所述待處理用戶文本數(shù)據(jù)和所述歷史數(shù)據(jù)進(jìn)行特征提取，提取得到所述待處理用戶文本數(shù)據(jù)和所述歷史數(shù)據(jù)分別對(duì)應(yīng)的句子語(yǔ)義特征；

確定模塊63，用于根據(jù)預(yù)先構(gòu)建的對(duì)話管理模型和提取得到的句子語(yǔ)義特征，確定用戶意圖；

反饋模塊64，用于根據(jù)所述用戶意圖，反饋與所述待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的響應(yīng)文本數(shù)據(jù)。

一些實(shí)施例中，所述提取模塊62用于進(jìn)行所述特征提取包括：

對(duì)待提取文本數(shù)據(jù)進(jìn)行分詞，得到分詞后的詞語(yǔ)；

對(duì)所述詞語(yǔ)進(jìn)行詞向量化，得到所述詞語(yǔ)對(duì)應(yīng)的詞向量；

根據(jù)所述詞向量提取出所述待提取文本數(shù)據(jù)對(duì)應(yīng)的句子語(yǔ)義特征；

其中，所述待提取文本數(shù)據(jù)包括：所述待處理用戶文本數(shù)據(jù)，和/或，所述歷史數(shù)據(jù)。

一些實(shí)施例中，參見(jiàn)圖7，該裝置60還包括：用于構(gòu)建對(duì)話管理模型的構(gòu)建模塊65，所述構(gòu)建模塊65具體用于：

獲取對(duì)話文本數(shù)據(jù)樣本，所述對(duì)話文本數(shù)據(jù)樣本包括：用戶文本數(shù)據(jù)樣本、用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的歷史數(shù)據(jù)樣本；

分別對(duì)所述用戶文本數(shù)據(jù)樣本和所述歷史數(shù)據(jù)樣本進(jìn)行特征提取，提取得到所述用戶文本數(shù)據(jù)樣本和所述歷史數(shù)據(jù)樣本分別對(duì)應(yīng)的句子語(yǔ)義特征；

確定所述用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的用戶意圖；

基于預(yù)先確定的網(wǎng)絡(luò)結(jié)構(gòu)，根據(jù)所述用戶文本數(shù)據(jù)樣本和所述歷史數(shù)據(jù)樣本分別對(duì)應(yīng)的句子語(yǔ)義特征以及所述用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的用戶意圖，進(jìn)行模型訓(xùn)練，構(gòu)建得到對(duì)話管理模型。

一些實(shí)施例中，所述對(duì)話文本數(shù)據(jù)樣本還包括：與用戶文本數(shù)據(jù)樣本屬于同一輪交互的響應(yīng)文本數(shù)據(jù)樣本；所述構(gòu)建模塊65用于確定所述用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的用戶意圖，包括：

獲取所述響應(yīng)文本數(shù)據(jù)樣本對(duì)應(yīng)的句子語(yǔ)義特征，并根據(jù)所述響應(yīng)文本數(shù)據(jù)樣本對(duì)應(yīng)的句子語(yǔ)義特征確定初始用戶意圖；

根據(jù)所述用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的句子語(yǔ)義特征和所述初始用戶意圖，確定用戶意圖確定特征，并根據(jù)所述用戶意圖確定特征確定出所述用戶文本數(shù)據(jù)樣本對(duì)應(yīng)的用戶意圖。

一些實(shí)施例中，所述對(duì)話管理模型的網(wǎng)絡(luò)結(jié)構(gòu)包括：深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

一些實(shí)施例中，所述歷史數(shù)據(jù)包括：歷史用戶文本數(shù)據(jù)和歷史響應(yīng)文本數(shù)據(jù)，所述網(wǎng)絡(luò)結(jié)構(gòu)包括：

輸入層、注意力層、連接層和輸出層；

所述輸入層用于輸入如下特征：所述待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的句子語(yǔ)義特征、所述歷史用戶文本數(shù)據(jù)對(duì)應(yīng)的句子語(yǔ)義特征和所述歷史響應(yīng)文本數(shù)據(jù)對(duì)應(yīng)的句子語(yǔ)義特征；

所述注意力層用于根據(jù)所述待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的句子語(yǔ)義特征和所述歷史用戶文本數(shù)據(jù)對(duì)應(yīng)的句子語(yǔ)義特征，計(jì)算所述待處理用戶文本數(shù)據(jù)與所述歷史用戶文本數(shù)據(jù)之間的相關(guān)度權(quán)重，并根據(jù)所述相關(guān)度權(quán)重和所述歷史響應(yīng)文本數(shù)據(jù)對(duì)應(yīng)的句子語(yǔ)義特征，計(jì)算所述待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的響應(yīng)文本數(shù)據(jù)的特征向量；

所述連接層用于對(duì)所述特征向量和所述待處理用戶文本數(shù)據(jù)對(duì)應(yīng)的句子語(yǔ)義特征進(jìn)行變換，得到變換后的特征向量；

所述輸出層用于根據(jù)所述變換后的特征向量輸出用戶意圖信息。

可以理解的是，本實(shí)施例的裝置與上述方法實(shí)施例對(duì)應(yīng)，具體內(nèi)容可以參見(jiàn)方法實(shí)施例的相關(guān)描述，在此不再詳細(xì)說(shuō)明。

本實(shí)施例中，通過(guò)根據(jù)對(duì)話管理模型確定用戶意圖，可以提高用戶意圖確定的準(zhǔn)確性，并且不需要人工總結(jié)規(guī)則，大大提高了對(duì)話管理的效果，從而可以在對(duì)話管理時(shí)高效準(zhǔn)確地確定出用戶意圖，進(jìn)而高效準(zhǔn)確地反饋?lái)憫?yīng)文本數(shù)據(jù)。

可以理解的是，上述各實(shí)施例中相同或相似部分可以相互參考，在一些實(shí)施例中未詳細(xì)說(shuō)明的內(nèi)容可以參見(jiàn)其他實(shí)施例中相同或相似的內(nèi)容。

需要說(shuō)明的是，在本申請(qǐng)的描述中，術(shù)語(yǔ)“第一”、“第二”等僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性。此外，在本申請(qǐng)的描述中，除非另有說(shuō)明，“多個(gè)”的含義是指至少兩個(gè)。

流程圖中或在此以其他方式描述的任何過(guò)程或方法描述可以被理解為，表示包括一個(gè)或更多個(gè)用于實(shí)現(xiàn)特定邏輯功能或過(guò)程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本申請(qǐng)的優(yōu)選實(shí)施方式的范圍包括另外的實(shí)現(xiàn)，其中可以不按所示出或討論的順序，包括根據(jù)所涉及的功能按基本同時(shí)的方式或按相反的順序，來(lái)執(zhí)行功能，這應(yīng)被本申請(qǐng)的實(shí)施例所屬技術(shù)領(lǐng)域的技術(shù)人員所理解。

應(yīng)當(dāng)理解，本申請(qǐng)的各部分可以用硬件、軟件、固件或它們的組合來(lái)實(shí)現(xiàn)。在上述實(shí)施方式中，多個(gè)步驟或方法可以用存儲(chǔ)在存儲(chǔ)器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來(lái)實(shí)現(xiàn)。例如，如果用硬件來(lái)實(shí)現(xiàn)，和在另一實(shí)施方式中一樣，可用本領(lǐng)域公知的下列技術(shù)中的任一項(xiàng)或他們的組合來(lái)實(shí)現(xiàn)：具有用于對(duì)數(shù)據(jù)信號(hào)實(shí)現(xiàn)邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(PGA)，現(xiàn)場(chǎng)可編程門陣列(FPGA)等。

本技術(shù)領(lǐng)域的普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法攜帶的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，包括方法實(shí)施例的步驟之一或其組合。

此外，在本申請(qǐng)各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理模塊中，也可以是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)模塊中。上述集成的模塊既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能模塊的形式實(shí)現(xiàn)。所述集成的模塊如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，也可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。

上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器，磁盤或光盤等。

在本說(shuō)明書的描述中，參考術(shù)語(yǔ)“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本申請(qǐng)的至少一個(gè)實(shí)施例或示例中。在本說(shuō)明書中，對(duì)上述術(shù)語(yǔ)的示意性表述不一定指的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任何的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。

盡管上面已經(jīng)示出和描述了本申請(qǐng)的實(shí)施例，可以理解的是，上述實(shí)施例是示例性的，不能理解為對(duì)本申請(qǐng)的限制，本領(lǐng)域的普通技術(shù)人員在本申請(qǐng)的范圍內(nèi)可以對(duì)上述實(shí)施例進(jìn)行變化、修改、替換和變型。