深度問(wèn)題回答系統(tǒng)中的問(wèn)題分類(lèi)和特征映射的方法和系統(tǒng)的制作方法
【專(zhuān)利摘要】通過(guò)分類(lèi)深度問(wèn)題回答系統(tǒng)接收的第一事例，并且通過(guò)在訓(xùn)練深度問(wèn)題回答系統(tǒng)回答第一事例時(shí)，識(shí)別第一事例中的第一特征，為第一特征計(jì)算第一特征分值，（所述第一特征分值指示在生成對(duì)第一事例的正確響應(yīng)過(guò)程中第一特征的相關(guān)性，）以及一旦確定第一特征分值超過(guò)相關(guān)性閾值，則在回答被分類(lèi)第一事例的過(guò)程中將第一特征識(shí)別為相關(guān)，本發(fā)明公開(kāi)在深度問(wèn)題回答系統(tǒng)中識(shí)別相關(guān)特征的系統(tǒng)和方法。此外，本發(fā)明公開(kāi)深度問(wèn)題回答系統(tǒng)生成對(duì)第一事例的響應(yīng)的系統(tǒng)和方法，以及識(shí)別出在深度問(wèn)題回答系統(tǒng)回答問(wèn)題所使用的證據(jù)中的變化的系統(tǒng)和方法。
【專(zhuān)利說(shuō)明】深度問(wèn)題回答系統(tǒng)中的問(wèn)題分類(lèi)和特征映射的方法和系統(tǒng)
【背景技術(shù)】
[0001]這里所公開(kāi)的實(shí)施例涉及計(jì)算機(jī)軟件領(lǐng)域。更具體地，這里所公開(kāi)的實(shí)施例涉及在深度問(wèn)題回答系統(tǒng)中實(shí)現(xiàn)問(wèn)題分類(lèi)與特征映射、部分和并行管道處理以及智能證據(jù)分類(lèi)與通知的計(jì)算機(jī)軟件。

【發(fā)明內(nèi)容】

[0002]在一方面，通過(guò)分類(lèi)深度問(wèn)題回答系統(tǒng)接收的第一事例(case)，并且通過(guò)在訓(xùn)練深度問(wèn)題回答系統(tǒng)回答第一事例時(shí)，識(shí)別第一事例中的第一特征，為第一特征計(jì)算第一特征分值(第一特征分值指示在生成對(duì)第一事例的正確響應(yīng)的過(guò)程中第一特征的相關(guān)性)，以及一旦確定第一特征分值超過(guò)相關(guān)性閾值，則在回答被分類(lèi)的第一事例的過(guò)程中將第一特征識(shí)別為相關(guān)，這里所公開(kāi)的實(shí)施例提供在深度問(wèn)題回答系統(tǒng)中識(shí)別相關(guān)特征的系統(tǒng)和方法。
[0003]在另一方面，通過(guò)確定第一事例相對(duì)于第二事例的相似度分值超過(guò)相似度閾值，通過(guò)識(shí)別出具有超過(guò)相關(guān)性閾值的第一相關(guān)性分值的第二事例的第一特征，通過(guò)為不具有第一特征的第一事例識(shí)別出第一候選回答，以及通過(guò)在生成第一事例的響應(yīng)過(guò)程中抑制不分析第一候選回答，從而減少深度問(wèn)題回答系統(tǒng)的處理量，這里所公開(kāi)的實(shí)施例提供減少深度問(wèn)題回答系統(tǒng)生成第一事例的響應(yīng)所需要的處理量的系統(tǒng)和方法。
[0004]在另一方面，通過(guò)識(shí)別出與特征有關(guān)的第一證據(jù)，深度問(wèn)題回答系統(tǒng)已經(jīng)將所述特征識(shí)別為與回答多種類(lèi)型問(wèn)題中的第一類(lèi)問(wèn)題相關(guān)，以及響應(yīng)于:(i)檢測(cè)到第一證據(jù)中的變化，并且(ii)確定針對(duì)第一類(lèi)問(wèn)題的第一問(wèn)題所生成的第一響應(yīng)的置信度分值超過(guò)置信度閾值，基于被改變的第一證據(jù)為第一問(wèn)題生成被更新的響應(yīng)，這里所公開(kāi)的實(shí)施例提供識(shí)別在深度問(wèn)題回答系統(tǒng)回答問(wèn)題所使用的證據(jù)中的變化的系統(tǒng)和方法。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0005]以如此方式實(shí)現(xiàn)以上所列舉方面并且能夠被詳細(xì)理解，通過(guò)參照附圖可以具有本發(fā)明實(shí)施例的更具體描述(以上已經(jīng)簡(jiǎn)要總結(jié))。
[0006]然而注意到，附圖僅示出本發(fā)明的典型實(shí)施例，并且因此不被認(rèn)為是限制本發(fā)明的范圍，因?yàn)楸景l(fā)明可以允許其它等效的實(shí)施例。
[0007]圖1是根據(jù)這里所公開(kāi)實(shí)施例示出在深度問(wèn)題回答系統(tǒng)中用于問(wèn)題分類(lèi)和特征映射、用于部分和并行管道處理和/或用于智能證據(jù)分類(lèi)和通知的系統(tǒng)的框圖。
[0008]圖2是根據(jù)這里所公開(kāi)的一個(gè)實(shí)施例示出用于通過(guò)深度問(wèn)題回答系統(tǒng)生成對(duì)事例的響應(yīng)的方法的流程圖。
[0009]圖3是根據(jù)這里所公開(kāi)的一個(gè)實(shí)施例示出用于訓(xùn)練深度問(wèn)題回答系統(tǒng)分類(lèi)問(wèn)題以及映射特征的方法的流程圖。
[0010]圖4是根據(jù)這里所公開(kāi)的一個(gè)實(shí)施例示出用于監(jiān)視證據(jù)以檢測(cè)證據(jù)中的變化的方法的流程圖。[0011]圖5是根據(jù)這里所公開(kāi)的一個(gè)實(shí)施例示出用于使用部分和并行管道執(zhí)行來(lái)處理問(wèn)題的方法的流程圖。
[0012]圖6是根據(jù)這里所公開(kāi)的一個(gè)實(shí)施例示出深度問(wèn)題回答系統(tǒng)的組件的框圖。【具體實(shí)施方式】
[0013]這里所公開(kāi)的實(shí)施例訓(xùn)練深度問(wèn)題回答系統(tǒng)(深度QA系統(tǒng))分類(lèi)問(wèn)題、識(shí)別在生成對(duì)那些類(lèi)問(wèn)題的回答的過(guò)程中最相關(guān)的特征(或注釋器)，并且存儲(chǔ)識(shí)別所述關(guān)系的映射?？梢曰陬?lèi)型、與問(wèn)問(wèn)題的人或?qū)嶓w有關(guān)的信息、以及其它語(yǔ)境信息分類(lèi)問(wèn)題。一旦識(shí)別出針對(duì)每一類(lèi)問(wèn)題的高度相關(guān)特征，當(dāng)回答相同或相似類(lèi)型的另一問(wèn)題時(shí)，這里所公開(kāi)的實(shí)施例可以尋找這些特征。如果所述特征不是針對(duì)相似問(wèn)題的候選回答的部分，則可以跳過(guò)所述候選回答的處理，以便改善生成對(duì)那個(gè)事例的響應(yīng)所需要的時(shí)間和處理量。此外，這里所公開(kāi)的實(shí)施例監(jiān)視被鏈接到高度相關(guān)特征的證據(jù)的變化，所述變化可能?chē)?yán)重影響以前基于未變化證據(jù)所生成的回答中的置信度。一旦檢測(cè)到證據(jù)中的變化，則深度QA系統(tǒng)可以重新處理舊問(wèn)題或者生成新問(wèn)題，以測(cè)試證據(jù)中的變化是否導(dǎo)致正確回答中的變化。如果證據(jù)變化影響了對(duì)它們問(wèn)題的正確回答，則深度QA系統(tǒng)也可以通知以前問(wèn)問(wèn)題的用戶(hù)。
[0014]一般來(lái)說(shuō)，這里所公開(kāi)的實(shí)施例解決了深度QA系統(tǒng)中針對(duì)常見(jiàn)問(wèn)題和回答分析的需要。在近實(shí)時(shí)信息和回答非常關(guān)鍵的金融服務(wù)、社交網(wǎng)絡(luò)和市場(chǎng)營(yíng)銷(xiāo)中強(qiáng)調(diào)這種需要。在此環(huán)境中，每一秒鐘都可能有多個(gè)用戶(hù)提問(wèn)相似問(wèn)題，并且能夠被剔除的任何處理都可以提高深度QA系統(tǒng)的性能。可以將這里所使用的特征定義為被用于識(shí)別證據(jù)的概念，所述證據(jù)被用于對(duì)提交給深度問(wèn)題回答系統(tǒng)的事例生成響應(yīng)。特征可以是被計(jì)算或生成的分值，或者可以是以特定方式形成的特性。例如，特征可以測(cè)量一些特性的存在，或者特征可以設(shè)法評(píng)估針對(duì)當(dāng)前問(wèn)題的給定候選回答的整體精度。可以使用個(gè)體特征與機(jī)器學(xué)習(xí)相結(jié)合以確定給定候選回答的最終分值。事例(也被稱(chēng)為問(wèn)題)可以包含多個(gè)問(wèn)題，它可以是被提交給深度QA系統(tǒng)的詢(xún)問(wèn)。
[0015]深度QA系統(tǒng)可以通過(guò)單個(gè)分析“管道”處理事例。管道可以表示對(duì)問(wèn)題文本和候選回答兩者(即從語(yǔ)料庫(kù)的文件中提取的文本段落)執(zhí)行各種分析程序或引擎，以便推斷出可能的正確回答。典型的管道可以從問(wèn)題分析開(kāi)始，所述問(wèn)題分析分析和注釋在事例中提出的每個(gè)問(wèn)題，以識(shí)別可以對(duì)其進(jìn)行搜索的關(guān)鍵屬性。管道的下一步可以包括主搜索，其包括使用來(lái)自問(wèn)題分析階段的關(guān)鍵屬性搜索語(yǔ)料庫(kù)中的文件。然后，深度QA系統(tǒng)可以生成候選回答，其可以包含利用候選回答中的段落從搜索結(jié)果中識(shí)別出關(guān)鍵匹配段落。然后，深度QA系統(tǒng)可以為候選回答檢索支持證據(jù)。最后，深度QA系統(tǒng)可以通過(guò)給可以從中選出正確回答的各種候選回答評(píng)分來(lái)完成管道。
[0016]可以針對(duì)每個(gè)域或問(wèn)題空間創(chuàng)建唯一管道(例如，將不同的管道用于支持癌癥治療、保險(xiǎn)索賠、診斷、以及一般知識(shí)等)。實(shí)際上，分析引擎本身對(duì)于特定域(例如，腫瘤階段或尺寸的識(shí)別、藥物的識(shí)別、潛在藥物相互作用等)可以是唯一的。管道內(nèi)的問(wèn)題和回答分析也可以包括例如被用于識(shí)別文本內(nèi)部的深度語(yǔ)義關(guān)系的復(fù)雜自然語(yǔ)言處理算法。諸如IBM的沃森深度QA系統(tǒng)的評(píng)分階段可以調(diào)用各種評(píng)分算法以幫助推斷事例的正確回答(或者響應(yīng))。評(píng)分算法可以生成一個(gè)或多個(gè)特征分值以指示它在其回答中的置信度如何。深度QA系統(tǒng)也可以利用訓(xùn)練階段來(lái)學(xué)習(xí)哪個(gè)特征或特征組合在預(yù)測(cè)不同類(lèi)型問(wèn)題的正確回答上是最佳的。一旦已經(jīng)適當(dāng)訓(xùn)練了深度QA系統(tǒng)，則流經(jīng)管道的后續(xù)問(wèn)題可以利用用于發(fā)現(xiàn)最可能正確回答的機(jī)器學(xué)習(xí)模型。
[0017]以下參照本發(fā)明實(shí)施例。然而應(yīng)當(dāng)理解，本發(fā)明不局限于所描述的特定實(shí)施例。代替地，仔細(xì)考慮以下特征和元件的任意組合(是否涉及不同實(shí)施例)以實(shí)現(xiàn)和實(shí)踐本發(fā)明。此外，雖然本發(fā)明實(shí)施例相對(duì)于其它可能方案和/或相對(duì)于現(xiàn)有技術(shù)可以獲得優(yōu)勢(shì)，但是通過(guò)給定實(shí)施例是否獲得特定優(yōu)勢(shì)不是本發(fā)明的限制。因此，以下的方面、特點(diǎn)、實(shí)施例和優(yōu)點(diǎn)僅是說(shuō)明性的，并且不被認(rèn)為是所附權(quán)利要求書(shū)的要素或限制，除非在權(quán)利要求書(shū)中明確表述。類(lèi)似地，“本發(fā)明”的指代不應(yīng)當(dāng)被理解為這里所公開(kāi)的任意發(fā)明主題的一般化，并且不應(yīng)當(dāng)被認(rèn)為是所附權(quán)利要求書(shū)的要素或限制，除非在權(quán)利要求書(shū)中明確表述。
[0018]所屬【技術(shù)領(lǐng)域】的技術(shù)人員知道，本發(fā)明的各個(gè)方面可以實(shí)現(xiàn)為系統(tǒng)、方法或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明的各個(gè)方面可以具體實(shí)現(xiàn)為以下形式，即:完全的硬件實(shí)施方式、完全的軟件實(shí)施方式(包括固件、駐留軟件、微代碼等)，或硬件和軟件方面結(jié)合的實(shí)施方式，這里可以統(tǒng)稱(chēng)為“電路”、“模塊”或“系統(tǒng)”。此外，在一些實(shí)施例中，本發(fā)明的各個(gè)方面還可以實(shí)現(xiàn)為在一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序產(chǎn)品的形式，該計(jì)算機(jī)可讀介質(zhì)中包含計(jì)算機(jī)可讀的程序代碼。
[0019]可以采用一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)的任意組合。計(jì)算機(jī)可讀介質(zhì)可以是計(jì)算機(jī)可讀信號(hào)介質(zhì)或者計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)例如可以是一但不限于——電、磁、光、電磁、紅外線(xiàn)、或半導(dǎo)體的系統(tǒng)、裝置或器件，或者任意以上的組合。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的更具體的例子(非窮舉的列表)包括:具有一個(gè)或多個(gè)導(dǎo)線(xiàn)的電連接、便攜式計(jì)算機(jī)盤(pán)、硬盤(pán)、隨機(jī)存取儲(chǔ)存器(RAM)、只讀儲(chǔ)存器(ROM)、可擦式可編程只讀儲(chǔ)存器(EPR0M或閃存)、光纖、便攜式緊湊盤(pán)只讀儲(chǔ)存器(CD-ROM)、光儲(chǔ)存器件、磁儲(chǔ)存器件、或者上述的任意合適的組合。在本文件中，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是任何包含或存儲(chǔ)程序的有形介質(zhì)，該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。
[0020]計(jì)算機(jī)可讀的信號(hào)介質(zhì)可以包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號(hào)，其中承載了計(jì)算機(jī)可讀的程序代碼。這種傳播的數(shù)據(jù)信號(hào)可以采用多種形式，包括——但不限于——電磁信號(hào)、光信號(hào)或上述的任意合適的組合。計(jì)算機(jī)可讀的信號(hào)介質(zhì)還可以是計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以外的任何計(jì)算機(jī)可讀介質(zhì)，該計(jì)算機(jī)可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序。
[0021]計(jì)算機(jī)可讀介質(zhì)上包含的程序代碼可以用任何適當(dāng)?shù)慕橘|(zhì)傳輸，包括一但不限于一無(wú)線(xiàn)、有線(xiàn)、光纜、RF等等，或者上述的任意合適的組合。
[0022]可以以一種或多種程序設(shè)計(jì)語(yǔ)言的任意組合來(lái)編寫(xiě)用于執(zhí)行本發(fā)明操作的計(jì)算機(jī)程序代碼，所述程序設(shè)計(jì)語(yǔ)言包括面向?qū)ο蟮某绦蛟O(shè)計(jì)語(yǔ)言一諸如Java、Smalltalk、C++等，還包括常規(guī)的過(guò)程式程序設(shè)計(jì)語(yǔ)言一諸如“C”語(yǔ)言或類(lèi)似的程序設(shè)計(jì)語(yǔ)言。程序代碼可以完全地在用戶(hù)計(jì)算機(jī)上執(zhí)行、部分地在用戶(hù)計(jì)算機(jī)上執(zhí)行、作為一個(gè)獨(dú)立的軟件包執(zhí)行、部分在用戶(hù)計(jì)算機(jī)上部分在遠(yuǎn)程計(jì)算機(jī)上執(zhí)行、或者完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計(jì)算機(jī)的情形中，遠(yuǎn)程計(jì)算機(jī)可以通過(guò)任意種類(lèi)的網(wǎng)絡(luò)一包括局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)—連接到用戶(hù)計(jì)算機(jī)，或者，可以連接到外部計(jì)算機(jī)(例如利用因特網(wǎng)服務(wù)提供商來(lái)通過(guò)因特網(wǎng)連接)。
[0023]下面將參照根據(jù)本發(fā)明實(shí)施例的方法、裝置(系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或框圖描述本發(fā)明。應(yīng)當(dāng)理解，流程圖和/或框圖的每個(gè)方框以及流程圖和/或框圖中各方框的組合，都可以由計(jì)算機(jī)程序指令實(shí)現(xiàn)。這些計(jì)算機(jī)程序指令可以提供給通用計(jì)算機(jī)、專(zhuān)用計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器，從而生產(chǎn)出一種機(jī)器，使得這些計(jì)算機(jī)程序指令在通過(guò)計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器執(zhí)行時(shí)，產(chǎn)生了實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的裝置。
[0024]也可以把這些計(jì)算機(jī)程序指令存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中，這些指令使得計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其他設(shè)備以特定方式工作，從而，存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的指令就產(chǎn)生出包括實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的指令的制造品(article of manufacture)0
[0025]也可以把計(jì)算機(jī)程序指令加載到計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其它設(shè)備上，以引起在計(jì)算機(jī)、其它可編程裝置或其它設(shè)備上執(zhí)行的一系列操作步驟，從而產(chǎn)生被計(jì)算機(jī)實(shí)現(xiàn)的處理，使得在計(jì)算機(jī)或其它可編程裝置上執(zhí)行的指令提供了實(shí)現(xiàn)在流程圖和/或框圖的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的處理。
[0026]本發(fā)明實(shí)施例可以通過(guò)云計(jì)算基礎(chǔ)結(jié)構(gòu)提供給終端用戶(hù)。云計(jì)算一般指代在網(wǎng)絡(luò)上把可擴(kuò)展計(jì)算資源作為一種服務(wù)提供。更正式地，可以將云計(jì)算定義為一種計(jì)算能力，它提供了在計(jì)算資源和其下面的技術(shù)結(jié)構(gòu)(例如，服務(wù)、存儲(chǔ)、網(wǎng)絡(luò))之間的抽象，使得人們能夠?qū)膳渲糜?jì)算資源的共享池進(jìn)行方便、按需的網(wǎng)絡(luò)訪問(wèn)，所述計(jì)算資源能夠以最小管理努力或服務(wù)提供商交互而被快速地供應(yīng)和釋放。因此，云計(jì)算允許用戶(hù)訪問(wèn)“云”中的虛擬計(jì)算資源(例如，存儲(chǔ)、數(shù)據(jù)、應(yīng)用程序以及甚至完整的虛擬化計(jì)算系統(tǒng))，而不考慮被用于提供計(jì)算資源的潛在物理系統(tǒng)(或者那些系統(tǒng)的位置)。
[0027]典型地，基于按每次使用計(jì)費(fèi)將云計(jì)算資源提供給用戶(hù)，其中，用戶(hù)僅僅為實(shí)際使用的計(jì)算資源(例如，用戶(hù)消耗的存儲(chǔ)空間量或者用戶(hù)例化的虛擬系統(tǒng)數(shù)量)付費(fèi)。用戶(hù)能夠在任何時(shí)間以及通過(guò)因特網(wǎng)從任何地點(diǎn)訪問(wèn)駐留在云中的任何資源。在本發(fā)明中，用戶(hù)可以訪問(wèn)云中可利用的深度問(wèn)題回答系統(tǒng)或者相關(guān)數(shù)據(jù)。例如，深度問(wèn)題回答系統(tǒng)能夠在云中的計(jì)算系統(tǒng)上執(zhí)行，并且提供問(wèn)題分類(lèi)和特征映射。在此情形中，深度問(wèn)題回答系統(tǒng)能夠分類(lèi)問(wèn)題、映射特征并且將由此產(chǎn)生的數(shù)據(jù)組存儲(chǔ)在云中的存儲(chǔ)位置。這樣做允許用戶(hù)從附接于被連接到云(例如，因特網(wǎng))的網(wǎng)絡(luò)的任何計(jì)算系統(tǒng)訪問(wèn)此信息。
[0028]圖1是根據(jù)這里所公開(kāi)的實(shí)施例示出用于深度問(wèn)題回答系統(tǒng)中的問(wèn)題分類(lèi)和特征映射、用于深度問(wèn)題回答系統(tǒng)中的部分和并行管道處理以及用于深度問(wèn)題回答系統(tǒng)中的智能證據(jù)分類(lèi)和通知的系統(tǒng)100的框圖。網(wǎng)絡(luò)化系統(tǒng)100包括計(jì)算機(jī)102。也可以將計(jì)算機(jī)102經(jīng)由網(wǎng)絡(luò)130連接到其它計(jì)算機(jī)。一般來(lái)說(shuō)，網(wǎng)絡(luò)130可以是電信網(wǎng)和/或廣域網(wǎng)(WAN)0在具體實(shí)施例中，網(wǎng)絡(luò)130是因特網(wǎng)。
[0029]計(jì)算機(jī)102通常包括:處理器104，經(jīng)由總線(xiàn)120被連接到存儲(chǔ)器106 ;網(wǎng)絡(luò)接口設(shè)備118 ;儲(chǔ)存器108 ;輸入設(shè)備122以及輸出設(shè)備124。計(jì)算機(jī)102通常在操作系統(tǒng)(未示出)的控制之下。操作系統(tǒng)的例子包括UNIX操作系統(tǒng)、微軟視窗操作系統(tǒng)的各種版本、以及Linux操作系統(tǒng)的各種發(fā)布。(UNIX是在美國(guó)和其它國(guó)家中的開(kāi)放組的注冊(cè)商標(biāo)。微軟和視窗是在美國(guó)、其它國(guó)家、或者美國(guó)和其它國(guó)家中的微軟公司的商標(biāo)。Linux是在美國(guó)、其它國(guó)家、或者美國(guó)和其它國(guó)家中的林納斯?托瓦茲的注冊(cè)商標(biāo)。)更一般來(lái)說(shuō)，可以使用支持這里所公開(kāi)功能的任何操作系統(tǒng)。處理器104被包含作為單CPU、多CPU、具有多處理核的單CPU等的代表。類(lèi)似地，存儲(chǔ)器106可以是隨機(jī)存取儲(chǔ)存器。盡管將存儲(chǔ)器106示出為單體，應(yīng)當(dāng)理解到，存儲(chǔ)器106可以包含多個(gè)模塊，并且存儲(chǔ)器106可以存在于從高速寄存器和緩存器到低速但大容量的DRAM芯片的多個(gè)層次。網(wǎng)絡(luò)接口設(shè)備118可以是允許計(jì)算機(jī)102經(jīng)由網(wǎng)絡(luò)130與其它計(jì)算機(jī)通信的任何類(lèi)型的網(wǎng)絡(luò)通信設(shè)備。
[0030]儲(chǔ)存器108可以是永久性存儲(chǔ)設(shè)備。雖然將儲(chǔ)存器108示出為單個(gè)單元，但儲(chǔ)存器108可以是固定和/或可移動(dòng)存儲(chǔ)設(shè)備的組合一例如固定盤(pán)驅(qū)動(dòng)器、固態(tài)驅(qū)動(dòng)器、軟盤(pán)驅(qū)動(dòng)器、磁帶驅(qū)動(dòng)器、可移動(dòng)存儲(chǔ)卡或者光儲(chǔ)存器。存儲(chǔ)器106和儲(chǔ)存器108可以是掃描多個(gè)主要和次要存儲(chǔ)設(shè)備的一個(gè)虛擬地址空間的部分。
[0031]如圖所示，存儲(chǔ)器106包含QA應(yīng)用程序112, QA應(yīng)用程序112是通常被配置來(lái)操作深度問(wèn)題回答(QA)系統(tǒng)的應(yīng)用程序。深度問(wèn)題回答系統(tǒng)的一個(gè)例子是由紐約阿蒙克的IBM公司開(kāi)發(fā)的沃森。用戶(hù)可以向QA應(yīng)用程序112提交事例(也被稱(chēng)為問(wèn)題),然后QA應(yīng)用程序112將基于信息語(yǔ)料庫(kù)的分析對(duì)此事例提供回答。QA應(yīng)用程序112可以執(zhí)行管道以生成對(duì)此事例的響應(yīng)，并將其返回給用戶(hù)。可以進(jìn)一步配置QA應(yīng)用程序112分類(lèi)問(wèn)題，識(shí)別與生成問(wèn)題的正確響應(yīng)高度相關(guān)的特征，以及存儲(chǔ)所得到的關(guān)系為今后使用?？梢赃M(jìn)一步配置QA應(yīng)用程序112執(zhí)行部分或并行的管道運(yùn)行。例如，如果一類(lèi)問(wèn)題已經(jīng)被識(shí)別為具有高度可預(yù)測(cè)的正確回答的特征，并且針對(duì)QA應(yīng)用程序112接收到的問(wèn)題的候選回答不包含此特征，則QA應(yīng)用程序112可以不處理那個(gè)候選回答以提高性能和節(jié)約資源。最后，QA應(yīng)用程序112可以監(jiān)視證據(jù)潛在相關(guān)特征的變化。如果檢測(cè)到變化，并且QA應(yīng)用程序112相信該變化可以影響到所生成的回答，則QA應(yīng)用程序112可以重新處理該問(wèn)題以確保提供正確的響應(yīng)。此外，QA應(yīng)用程序112還可以基于被改變的證據(jù)生成新問(wèn)題，以確定回答是否隨著證據(jù)一起變化。一旦檢測(cè)到證據(jù)中的變化，則QA應(yīng)用程序112可以基于證據(jù)中的變化通知用戶(hù)對(duì)他們以前提交的事例的響應(yīng)可能已經(jīng)改變。
[0032]如圖所示，儲(chǔ)存器108包含本體110、語(yǔ)料庫(kù)114、特征貯存115、ML模型116以及證據(jù)分類(lèi)117。本體110為組織信息提供結(jié)構(gòu)框架。本體將知識(shí)在形式上表示為領(lǐng)域內(nèi)的一組概念以及那些概念之間的關(guān)系。語(yǔ)料庫(kù)114是被QA應(yīng)用程序112使用以生成對(duì)事例的回答的信息體。例如，語(yǔ)料庫(kù)114可以包含學(xué)術(shù)論文、詞典定義、百科全書(shū)參考等。特征貯存115存儲(chǔ)問(wèn)題語(yǔ)境和在生成對(duì)所述問(wèn)題的響應(yīng)中高度可預(yù)測(cè)的特征之間的映射，使得當(dāng)處理包含相同語(yǔ)境的附加問(wèn)題時(shí)，可以識(shí)別出所述特征。如果所述特征在針對(duì)問(wèn)題的候選回答中不存在，則可以跳過(guò)QA應(yīng)用程序112對(duì)那些候選回答的處理以提高性能和效率。機(jī)器學(xué)習(xí)(ML)模型116是由QA應(yīng)用程序112在訓(xùn)練階段期間產(chǎn)生的模型，其被用于在運(yùn)行(runtime)管道期間基于以前為每個(gè)回答所生成的特征對(duì)事例的候選回答進(jìn)行評(píng)分和評(píng)級(jí)。證據(jù)分類(lèi)117存儲(chǔ)來(lái)自語(yǔ)料庫(kù)114的證據(jù)、問(wèn)題語(yǔ)境和可預(yù)測(cè)特征之間的關(guān)系。基于這些被存儲(chǔ)的關(guān)系，QA應(yīng)用程序可以監(jiān)視潛在證據(jù)的變化。如果檢測(cè)到改變，并且QA應(yīng)用程序112確定所述變化削弱了在利用所述證據(jù)生成的響應(yīng)中的置信度，則QA應(yīng)用程序112可以重新處理所述問(wèn)題，或者向用戶(hù)警告所述變化。雖然被描述為數(shù)據(jù)庫(kù)，本體110、語(yǔ)料庫(kù)114、特征貯存115、ML模型116以及證據(jù)分類(lèi)117可以采用足以存儲(chǔ)數(shù)據(jù)的任何形式——包括文本文件、xml數(shù)據(jù)文件等。在一個(gè)實(shí)施例中，本體110是語(yǔ)料庫(kù)114的一部分。雖然被描述為駐留在相同計(jì)算機(jī)上，但是QA應(yīng)用程序112、本體110、語(yǔ)料庫(kù)114、特征貯存115、ML模型116以及證據(jù)分類(lèi)117的任意組合可以駐留在相同或不同的計(jì)算機(jī)上。[0033]輸入設(shè)備122可以是用于向計(jì)算機(jī)102提供輸入的任何設(shè)備。例如，可以使用鍵盤(pán)和/或鼠標(biāo)。輸出設(shè)備124可以是用于向計(jì)算機(jī)102的用戶(hù)提供輸出的任何設(shè)備。例如，輸出設(shè)備124可以是任何常規(guī)的顯示屏或揚(yáng)聲器組。雖然與輸入設(shè)備122分離示出，但是可以將輸出設(shè)備124和輸入設(shè)備122組合在一起。例如，可以使用帶有集成觸摸屏的顯示屏。
[0034]圖2是示出根據(jù)這里所公開(kāi)的一個(gè)實(shí)施例的、用于通過(guò)深度問(wèn)題回答系統(tǒng)生成對(duì)事例的響應(yīng)的方法200的流程圖。方法200修改了 QA應(yīng)用程序112的傳統(tǒng)執(zhí)行管道，使得所述管道包括問(wèn)題分類(lèi)與特征映射、部分或并行管道執(zhí)行、以及檢測(cè)可以影響所生成響應(yīng)的正確性的各種變化的證據(jù)監(jiān)視。在一個(gè)實(shí)施例中，QA應(yīng)用程序112執(zhí)行方法200的各個(gè)步驟。在步驟210，訓(xùn)練QA應(yīng)用程序112分類(lèi)問(wèn)題并且基于樣本輸入事例將特征映射到所述問(wèn)題。在訓(xùn)練處理期間，QA應(yīng)用程序112識(shí)別出哪種特征組合是“本質(zhì)的”，或者對(duì)于回答事例中的問(wèn)題有強(qiáng)烈指示性。換句話(huà)說(shuō)，QA應(yīng)用程序112基于問(wèn)題的語(yǔ)境可以識(shí)別出哪種特征或特征組合在生成正確回答的過(guò)程中具有最大權(quán)重。當(dāng)問(wèn)到后續(xù)問(wèn)題時(shí)，QA應(yīng)用程序112可以確定所述問(wèn)題與以前已處理問(wèn)題的相似程度。如果計(jì)算出的相似度測(cè)量值超過(guò)了預(yù)先定義的相似度閾值，則QA應(yīng)用程序112在生成對(duì)所述問(wèn)題的響應(yīng)的過(guò)程中可以?xún)H使用所述主要特征。例如，如果第一事例包括關(guān)于現(xiàn)在是否是買(mǎi)房子的好時(shí)機(jī)的問(wèn)題，則QA應(yīng)用程序112可以識(shí)別出與人們是否應(yīng)當(dāng)租房或者買(mǎi)房有關(guān)的訓(xùn)練問(wèn)題。QA應(yīng)用程序112通過(guò)分析概念、特征和相關(guān)數(shù)據(jù)可以計(jì)算出所述兩個(gè)事例的相似度分值。如果兩個(gè)事例共享足夠的共同性，則QA應(yīng)用程序112可以計(jì)算出超過(guò)相似度閾值的相似度分值，使得當(dāng)處理第一事例時(shí)，采用訓(xùn)練事例的特征。參照?qǐng)D3更詳細(xì)地討論步驟210。
[0035]在步驟220，QA應(yīng)用程序112監(jiān)視證據(jù)以檢測(cè)證據(jù)中的變化，所述證據(jù)的變化可以影響到所生成響應(yīng)中的置信度。雖然被描述為單一步驟，但QA應(yīng)用程序112可以連續(xù)地監(jiān)視語(yǔ)料庫(kù)114中的證據(jù)，即使沒(méi)有事例要處理時(shí)，以便維護(hù)以前所生成回答的置信度。參照?qǐng)D4更詳細(xì)地討論步驟220。在步驟230，QA應(yīng)用程序112從用戶(hù)接收可以包含多個(gè)問(wèn)題的輸入事例。在步驟240，QA應(yīng)用程序112可以使用部分和并行管道執(zhí)行來(lái)處理所述問(wèn)題。在一個(gè)實(shí)施例中，在步驟240可以執(zhí)行全部管道。一般來(lái)說(shuō)，可以實(shí)現(xiàn)部分管道執(zhí)行以限制由QA應(yīng)用程序112完成的處理量，從而提高系統(tǒng)性能。QA應(yīng)用程序112可以跳過(guò)不包含在步驟210中識(shí)別出的特征的候選回答的處理，以便減少處理量并且因此減少返回回答所需的時(shí)間。在步驟250，QA應(yīng)用程序112返回對(duì)事例的響應(yīng)。
[0036]圖3是示出根據(jù)這里所公開(kāi)的一個(gè)實(shí)施例的、與訓(xùn)練深度問(wèn)題回答系統(tǒng)分類(lèi)問(wèn)題和映射特征的步驟210相對(duì)應(yīng)的方法300的流程圖。在一個(gè)實(shí)施例中，QA應(yīng)用程序112執(zhí)行方法300的各個(gè)步驟。一般來(lái)說(shuō)，在訓(xùn)練階段期間，QA應(yīng)用程序112基于幾個(gè)因素，包括但不限于問(wèn)題類(lèi)型、與問(wèn)問(wèn)題的人或?qū)嶓w有關(guān)的信息(或元數(shù)據(jù))以及其它語(yǔ)境信息，確定應(yīng)當(dāng)如何對(duì)事例問(wèn)題進(jìn)行分類(lèi)或歸類(lèi)。訓(xùn)練階段可以包含整個(gè)管道。在訓(xùn)練管道的回答評(píng)分和證據(jù)評(píng)分階段期間，QA應(yīng)用程序112可以為具體問(wèn)題類(lèi)型識(shí)別出最可預(yù)測(cè)的特征或注釋器?？梢詫?wèn)題語(yǔ)境(包括被用于分類(lèi)問(wèn)題的所有相關(guān)信息)以及任何相關(guān)聯(lián)的高可預(yù)測(cè)特征寫(xiě)入特征分類(lèi)117為今后使用。
[0037]在步驟310，QA應(yīng)用程序112接收訓(xùn)練事例和與問(wèn)問(wèn)題的用戶(hù)有關(guān)的元數(shù)據(jù)。用戶(hù)的元數(shù)據(jù)可以包括用戶(hù)的職分、隸屬、專(zhuān)長(zhǎng)、偏好、或者用戶(hù)或用戶(hù)代表的實(shí)體的任何其它屬性。當(dāng)QA應(yīng)用程序112接收到后續(xù)事例時(shí)，當(dāng)計(jì)算與以前所問(wèn)(或者訓(xùn)練)問(wèn)題的相似度分值時(shí)，可以分析那個(gè)用戶(hù)的用戶(hù)元數(shù)據(jù)，并且將其存儲(chǔ)在特征貯存115中。在步驟320，QA應(yīng)用程序112開(kāi)始為訓(xùn)練事例中的每個(gè)問(wèn)題執(zhí)行包含步驟330-395的循環(huán)。在步驟330，QA應(yīng)用程序112識(shí)別問(wèn)題類(lèi)型或語(yǔ)境?？梢允褂萌我夂线m方法來(lái)識(shí)別問(wèn)題語(yǔ)境，包括從問(wèn)題中提取出標(biāo)準(zhǔn)化的術(shù)語(yǔ)和概念的自然語(yǔ)言處理。在步驟340，QA應(yīng)用程序112生成對(duì)事例的響應(yīng)，并且識(shí)別在生成響應(yīng)過(guò)程中所使用的特征。例如，如果問(wèn)題涉及日元和美元的匯率在特定日期是否有利，則可以考慮多個(gè)變量或特征。這些特征可以包括貨幣、金價(jià)、以及當(dāng)前通脹率是否被高估。在生成指示匯率是否有利的響應(yīng)的過(guò)程中，QA應(yīng)用程序也可以存儲(chǔ)關(guān)于在生成對(duì)問(wèn)題的響應(yīng)過(guò)程中哪個(gè)特征或特征組合是最相關(guān)的信息。
[0038]在步驟350，QA應(yīng)用程序112開(kāi)始執(zhí)行用于給在步驟340中識(shí)別出的每個(gè)特征評(píng)分的、包含步驟360-390的循環(huán)。在步驟360，QA應(yīng)用程序112為所述特征計(jì)算特征分值?？梢酝ㄟ^(guò)任何合適的測(cè)量來(lái)計(jì)算特征分值，所述測(cè)量包括為問(wèn)題或事例引到正確回答的特征的能力?？梢允褂脺y(cè)距(ranging)復(fù)雜度算法來(lái)產(chǎn)生特征分值，以便為特定候選回答產(chǎn)生代表性分值。例如，所述算法可以比較候選回答和問(wèn)題之間的相似詞的數(shù)量，或者例如，所述算法可以對(duì)問(wèn)題的含義進(jìn)行語(yǔ)法分析，以便匹配術(shù)語(yǔ)、語(yǔ)境、否定、多重性、連詞以及時(shí)序表。特征分值本身可以是在特征分值的可允許范圍內(nèi)的數(shù)。在步驟370，QA應(yīng)用程序112確定所述特征分值是否超過(guò)了預(yù)先定義的特征閾值。所述特征閾值可以是缺省閾值，或者是用戶(hù)指定的閾值。如果所計(jì)算的特征分值超過(guò)了特征閾值，則在步驟380將所述特征添加到特征分類(lèi)貯存117?？梢詫⑻卣鳌⒂脩?hù)元數(shù)據(jù)和問(wèn)題語(yǔ)境(包括被用于分類(lèi)問(wèn)題的所有相關(guān)信息)寫(xiě)入特征分類(lèi)貯存117作為相關(guān)實(shí)體。如果所計(jì)算的特征分值沒(méi)有超過(guò)特征閾值，則QA應(yīng)用程序112前進(jìn)到步驟390。在步驟390，QA應(yīng)用程序112確定是否剩余更多特征需要評(píng)分。如果仍然剩余更多特征，則QA應(yīng)用程序112返回到步驟350。否則，QA應(yīng)用程序112前進(jìn)到步驟395。在步驟395，QA應(yīng)用程序112確定是否剩余訓(xùn)練事例的更多問(wèn)題。如果剩余更多問(wèn)題，則QA應(yīng)用程序112返回到步驟320。否則，訓(xùn)練階段完成并且方法300結(jié)束。
[0039]圖4是根據(jù)這里所公開(kāi)的一個(gè)實(shí)施例示出與用于監(jiān)視證據(jù)以檢測(cè)證據(jù)中的變化的步驟220相對(duì)應(yīng)的方法400的流程圖。一般來(lái)說(shuō)，執(zhí)行方法400的各個(gè)步驟以檢測(cè)關(guān)鍵支持證據(jù)中的顯著變化，從而提供觸發(fā)部分或并行管道執(zhí)行的自動(dòng)化方法。為了完成此方法，識(shí)別出回答通過(guò)完整管道已經(jīng)運(yùn)行的給定問(wèn)題或問(wèn)題類(lèi)型所需的關(guān)鍵證據(jù)。例如，QA應(yīng)用程序112可以接收包含問(wèn)“日元和美元的匯率今天有利嗎？ ”的問(wèn)題的事例。為了回答此問(wèn)題，QA應(yīng)用程序112可能需要考慮與東京股票交易有關(guān)的許多特征(或者變量)，包括美元和日元是否被高估，金價(jià)是否被高估，以及美國(guó)和日本通脹率是否超過(guò)正常。所有這些特征可以依賴(lài)于變化非常頻繁的潛在數(shù)據(jù)(支持證據(jù))。通過(guò)機(jī)器學(xué)習(xí)，QA應(yīng)用程序112可以確定，當(dāng)美國(guó)通脹率大于某個(gè)值時(shí)，用美元換日元絕不是一個(gè)好想法，而不論其它特征。這被認(rèn)為是“強(qiáng)指示器”。當(dāng)識(shí)別出強(qiáng)指示器時(shí)，它對(duì)最終回答的影響應(yīng)當(dāng)比其它特征大得多。然而，這不會(huì)意味著強(qiáng)指示器是確定回答的唯一輸入，但是在給出當(dāng)前證據(jù)情況下它可以有助于暗示出完全不可接受的回答。它們可以表示的特征和變量可以比簡(jiǎn)單參考值更復(fù)雜。例如，考察美元是否被高估的變量除了考慮美元的當(dāng)前值之外，還可以考慮包含在自然語(yǔ)言文件中的專(zhuān)家洞察力和意見(jiàn)。通過(guò)使用方法400，QA應(yīng)用程序112可以利用特征和潛在數(shù)據(jù)之間的相關(guān)性知道，數(shù)據(jù)中的顯著變化將影響特征分值。在一個(gè)實(shí)施例中，QA應(yīng)用程序112實(shí)現(xiàn)指示證據(jù)中的變化將導(dǎo)致回答中的變化的總體置信度的置信度分值。
[0040]QA應(yīng)用程序112可以監(jiān)視丟失(被識(shí)別但是不存在)和存在的證據(jù)。QA應(yīng)用程序112可以注意到，特征何時(shí)已經(jīng)識(shí)別出不存在的高度相關(guān)的證據(jù)，或者，特征在哪里沒(méi)有充分證據(jù)來(lái)產(chǎn)生有意義的置信度分值。然而，當(dāng)QA應(yīng)用程序112檢測(cè)到數(shù)據(jù)已經(jīng)以有意義的方式改變時(shí)，諸如通過(guò)特定丟失證據(jù)的新發(fā)現(xiàn)存在，或者通過(guò)現(xiàn)有證據(jù)中的顯著變化，QA應(yīng)用程序112可以執(zhí)行另一個(gè)部分管道。如果部分管道指示對(duì)于回答中的變化的高可能性，則QA應(yīng)用程序112可以執(zhí)行全管道，并且可以通知在過(guò)去已經(jīng)問(wèn)過(guò)類(lèi)似問(wèn)題的用戶(hù)。
[0041]此外，QA應(yīng)用程序112還可以生成語(yǔ)料庫(kù)114的子集，該子集僅包括與給定問(wèn)題有關(guān)并且具有重要影響的諸如文件的那些證據(jù)。QA應(yīng)用程序112可以考慮許多相關(guān)性過(guò)濾方法，包括僅選擇包含也被表達(dá)在事例或問(wèn)題內(nèi)的足夠數(shù)量的概念和屬性的文件的能力。僅僅為語(yǔ)料庫(kù)中的可應(yīng)用于給定問(wèn)題的那些文件建立子集，減少了具有觸發(fā)全部或部分問(wèn)題重處理的潛力的文件的數(shù)量。
[0042]在步驟410，QA應(yīng)用程序112識(shí)別被鏈接到相關(guān)特征的證據(jù)。在一個(gè)實(shí)施例中，QA應(yīng)用程序112基于對(duì)證據(jù)分類(lèi)117中的實(shí)體的比較來(lái)識(shí)別證據(jù)。如前所述，證據(jù)分類(lèi)117可以存儲(chǔ)相關(guān)特征、問(wèn)題語(yǔ)境、以及證據(jù)類(lèi)型之間的關(guān)系。因此，QA應(yīng)用程序112可以識(shí)別證據(jù)并且把其類(lèi)型與在證據(jù)分類(lèi)117中的類(lèi)型進(jìn)行比較，以確定其是否包含被鏈接到相關(guān)特征的證據(jù)。通過(guò)被證據(jù)條目影響的特征以及通過(guò)被用于專(zhuān)用事例的機(jī)器學(xué)習(xí)模型被分配給那些特征的權(quán)重，可以確定支持證據(jù)條目對(duì)問(wèn)題具有的影響程度。這種優(yōu)化的一個(gè)例子可以是其中通過(guò)機(jī)器學(xué)習(xí)沒(méi)有檢測(cè)到本質(zhì)的支持證據(jù)特征的情形，例如，被分配給支持證據(jù)特征的權(quán)重對(duì)于給定類(lèi)型的問(wèn)題非常低。于是，可以忽略總體支持證據(jù)語(yǔ)料庫(kù)的任何變化，而不會(huì)對(duì)針對(duì)那類(lèi)問(wèn)題的回答置信度分值產(chǎn)生重要影響。
[0043]在步驟420，QA應(yīng)用程序112監(jiān)視證據(jù)。如上所述，QA應(yīng)用程序112可以監(jiān)視整個(gè)語(yǔ)料庫(kù)114，或者與特定問(wèn)題類(lèi)型有關(guān)的證據(jù)子集。在步驟430，QA應(yīng)用程序112確定在被鏈接證據(jù)中是否出現(xiàn)變化。如果沒(méi)有檢測(cè)到變化，則QA應(yīng)用程序112返回到步驟420。在丟失證據(jù)的情形中，通過(guò)證據(jù)的存在可以檢測(cè)到所述變化。對(duì)于存在的證據(jù)，通過(guò)監(jiān)視證據(jù)的內(nèi)容可以檢測(cè)到所述變化。一般來(lái)說(shuō)，可以使用任何合適的方法來(lái)監(jiān)視證據(jù)。如果已經(jīng)檢測(cè)到證據(jù)中的變化，則QA應(yīng)用程序112前進(jìn)到步驟440。一旦檢測(cè)到證據(jù)中的變化，則QA應(yīng)用程序112可以重新處理以前提交的問(wèn)題或者生成新問(wèn)題，以確定針對(duì)所述問(wèn)題的置信度分值是否已經(jīng)改變，使得回答也已經(jīng)改變。在步驟440，QA應(yīng)用程序112在生成新問(wèn)題的過(guò)程中檢索被鏈接到相關(guān)特征的可應(yīng)用問(wèn)題語(yǔ)境數(shù)據(jù)。通過(guò)獲得所述語(yǔ)境，QA應(yīng)用程序112在步驟450可以制定出新問(wèn)題。在步驟460，QA應(yīng)用程序112可以對(duì)新問(wèn)題(或者以前提交的問(wèn)題)運(yùn)行部分管道，并且計(jì)算相應(yīng)的置信度分值。置信度分值可以基于特征的相關(guān)性分值、證據(jù)中的變化程度或者任何其它合適的方法。置信度分值可以基于適合于指示置信度分值范圍的標(biāo)尺的任意值。在步驟470，QA應(yīng)用程序112確定置信度分值是否超過(guò)了置信度閾值。置信度閾值可以是缺省閾值或者用戶(hù)定義的閾值。如果置信度分值沒(méi)有超過(guò)置信度閾值，則QA應(yīng)用程序112返回到步驟420。如果置信度分值超過(guò)了置信度閾值，則QA應(yīng)用程序112可以在某種概率程度上確定，對(duì)所述類(lèi)型問(wèn)題的回答可能已經(jīng)隨著證據(jù)一起改變。因此，如果置信度分值超過(guò)了置信度閾值，則QA應(yīng)用程序112前進(jìn)到步驟480，其中，QA應(yīng)用程序112執(zhí)行完全管道，并且可選擇地，可以通知以前已經(jīng)提交過(guò)類(lèi)似問(wèn)題的感興趣的各方。
[0044]圖5是根據(jù)這里所公開(kāi)的一個(gè)實(shí)施例示出，與用于使用部分和并行管道執(zhí)行來(lái)處理問(wèn)題的步驟240相對(duì)應(yīng)的方法500的流程圖?？梢詧?zhí)行方法500的各個(gè)步驟以提高對(duì)常問(wèn)問(wèn)題所生成響應(yīng)的效率。QA應(yīng)用程序112可以使用在步驟210中識(shí)別出的語(yǔ)境映射的特征來(lái)運(yùn)行部分管道以提高效率。部分管道是一種不需要運(yùn)行所有階段來(lái)使QA應(yīng)用程序112有理由相信以前所生成的響應(yīng)沒(méi)有變化的管道。為了使其成為可能，QA應(yīng)用程序112為每個(gè)本質(zhì)特征計(jì)分器保持依賴(lài)跟蹤。當(dāng)執(zhí)行部分管道時(shí)，僅僅執(zhí)行針對(duì)(fire)每個(gè)主要特征所要求的最小數(shù)量的步驟，使得QA應(yīng)用程序112能夠“短路”完全管道。于是，QA應(yīng)用程序112將僅執(zhí)行與高度可預(yù)測(cè)特征相關(guān)聯(lián)的那些注釋器。在一個(gè)實(shí)施例中，QA應(yīng)用程序112在訓(xùn)練階段期間可以跟蹤由特征生成類(lèi)型使用的所有類(lèi)型和外部資源。一旦識(shí)別出這些本質(zhì)注釋器，則可以為具有相關(guān)特征的候選回答執(zhí)行管道的回答評(píng)分、支持證據(jù)檢索、以及證據(jù)評(píng)分組件。例如，對(duì)不包含其特征分值超過(guò)特征閾值的特征的候選回答可以不執(zhí)行全管道。在此情形中，QA應(yīng)用程序112可以跳過(guò)全管道的幾個(gè)步驟的執(zhí)行，包括對(duì)候選回答運(yùn)行自然語(yǔ)言處理，確定候選回答是否包含不同的高相關(guān)特征，為候選回答檢索支持證據(jù)以及為候選回答的支持證據(jù)評(píng)分。
[0045]在步驟505，QA應(yīng)用程序112可以識(shí)別出事例中問(wèn)題的語(yǔ)境。在步驟510，QA應(yīng)用程序112開(kāi)始為事例中的每個(gè)問(wèn)題執(zhí)行包括步驟515-560的循環(huán)。在步驟515, QA應(yīng)用程序112為與存儲(chǔ)在特征貯存115中的多個(gè)問(wèn)題有關(guān)的問(wèn)題計(jì)算相似度分值。所述相似度分值可以基于任意數(shù)量的因素，包括問(wèn)題中的標(biāo)準(zhǔn)化概念與存儲(chǔ)在與問(wèn)題種類(lèi)/類(lèi)型有關(guān)的特征貯存115中的概念的比較。在步驟520，QA應(yīng)用程序112確定所計(jì)算的相似度分值是否超過(guò)了相似度閾值。所述相似度閾值可以是任意范圍的值，并且可以是系統(tǒng)缺省或用戶(hù)定義的閾值。如果相似度分值超過(guò)閾值，指示所述問(wèn)題非常相似，則QA應(yīng)用程序112前進(jìn)到步驟525。否則，QA應(yīng)用程序112前進(jìn)到步驟560。在步驟525，QA應(yīng)用程序112從與事例類(lèi)型有關(guān)的特征貯存115識(shí)別出高度相關(guān)的特征。此外，在步驟525，QA應(yīng)用程序112還可以檢索已經(jīng)為問(wèn)題生成的候選回答。
[0046]在步驟530，QA應(yīng)用程序112為當(dāng)前問(wèn)題的每個(gè)候選回答執(zhí)行包含步驟535-555的循環(huán)。在步驟535，QA應(yīng)用程序112確定候選回答是否包含在針對(duì)那類(lèi)問(wèn)題的特征貯存115中被識(shí)別為高度相關(guān)的每個(gè)特征。如果候選回答包含所述特征，則可以要求進(jìn)一步處理那個(gè)候選回答，并且QA應(yīng)用程序112前進(jìn)到步驟555。雖然沒(méi)有描述，QA應(yīng)用程序112可以對(duì)包含所述特征的候選回答執(zhí)行完全管道。如果候選回答不包含所述特征，則QA應(yīng)用程序112前進(jìn)到步驟540，其中，QA應(yīng)用程序112可以在不處理候選回答的情況下生成問(wèn)題的響應(yīng)，從而通過(guò)不執(zhí)行不包含高度相關(guān)特征的候選回答的不必要處理來(lái)節(jié)省系統(tǒng)資源。在步驟545，QA應(yīng)用程序112確定在系統(tǒng)資源充分的時(shí)候是否實(shí)現(xiàn)并行處理。在步驟545，QA應(yīng)用程序112確定針對(duì)由部分管道生成的響應(yīng)的置信度分值是否超過(guò)置信度閾值，以及是否存在充足資源。置信度閾值可以與參照?qǐng)D4討論的置信度閾值有關(guān)，因?yàn)樗诓糠止艿赖膱?zhí)行傳達(dá)了關(guān)于在回答中是否將有可能的變化的置信度的程度。如果存在充足的資源并且已經(jīng)超過(guò)了置信度閾值，則QA應(yīng)用程序112前進(jìn)到步驟550。否則，QA應(yīng)用程序112前進(jìn)到步驟555。在步驟550，QA應(yīng)用程序112與部分管道并行地運(yùn)行完全管道，以便使用候選回答生成附加響應(yīng)。然后，QA應(yīng)用程序112可以比較所述響應(yīng)，以確定哪個(gè)具有更大的置信度分值，并且向問(wèn)問(wèn)題的用戶(hù)報(bào)告它的發(fā)現(xiàn)，或者可以簡(jiǎn)單地給出具有更大置信度分值的響應(yīng)。在步驟555，QA應(yīng)用程序112確定是否有更多的候選回答待分析。如果有更多候選回答待分析，則QA應(yīng)用程序112返回到步驟530。否則，QA應(yīng)用程序112前進(jìn)到步驟560。在步驟560，QA應(yīng)用程序112確定在事例中是否有更多的問(wèn)題。如果有更多的問(wèn)題，則QA應(yīng)用程序112返回到步驟510。否則，方法500結(jié)束。
[0047]圖6是根據(jù)這里所公開(kāi)的一個(gè)實(shí)施例的示出深度問(wèn)題回答系統(tǒng)的組件的框圖。在一個(gè)實(shí)施例中，深度問(wèn)題回答系統(tǒng)是QA應(yīng)用程序112。如圖所示，QA應(yīng)用程序112包含問(wèn)題分類(lèi)器和特征映射組件601、部分和并行管道執(zhí)行組件602以及智能證據(jù)通知組件603。問(wèn)題分類(lèi)器和特征映射組件601在訓(xùn)練階段期間可以基于類(lèi)型分類(lèi)問(wèn)題，并且識(shí)別出在生成對(duì)訓(xùn)練事例中的問(wèn)題的正確響應(yīng)中最高度相關(guān)的特征。一旦識(shí)別出，則可以將所述特征存儲(chǔ)在諸如特征貯存115的特征貯存中。當(dāng)收到后續(xù)事例時(shí)，部分和并行管道執(zhí)行組件602可以訪問(wèn)在特征貯存115中定義的依存關(guān)系，以減少對(duì)不具有被識(shí)別為與回答特定類(lèi)型問(wèn)題高度相關(guān)的特征的候選回答的處理。智能證據(jù)通知組件603可以識(shí)別出相關(guān)類(lèi)型的證據(jù)，并且監(jiān)視此類(lèi)證據(jù)以確定它是否變化。所述證據(jù)可以是存在的或者是不存在的。一旦檢測(cè)到變化，則智能證據(jù)通知組件603可以預(yù)測(cè)證據(jù)中的變化是否對(duì)使用被改變的證據(jù)生成的響應(yīng)的置信度有影響。在此情形中，智能證據(jù)通知組件603可以重新處理問(wèn)題以確定是否回答已經(jīng)變化，并且可以進(jìn)一步將結(jié)果通知給感興趣的各方。
[0048]各個(gè)圖中的流程圖和框圖示出根據(jù)本發(fā)明各種實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的結(jié)構(gòu)、功能和操作。就這一點(diǎn)而言，流程圖或框圖中的每一個(gè)方框可以表示包含用于實(shí)現(xiàn)特定邏輯功能的一個(gè)或多個(gè)可執(zhí)行指令的模塊、片段或者部分代碼。也應(yīng)當(dāng)注意到，在一些可替換實(shí)現(xiàn)中，在方框中標(biāo)注的功能可以不按照?qǐng)D中標(biāo)注的順序出現(xiàn)。例如，依次示出的兩個(gè)方框?qū)嶋H上可以大體上同時(shí)執(zhí)行，或者有時(shí)可以按相反順序執(zhí)行，這取決于所包含的功能。也應(yīng)當(dāng)注意到，通過(guò)執(zhí)行特定功能或動(dòng)作的基于專(zhuān)用硬件的系統(tǒng)或者專(zhuān)用硬件和計(jì)算機(jī)指令的組合，能夠?qū)崿F(xiàn)框圖和/或流程圖圖示的每個(gè)方框以及框圖和/或流程圖圖示中的方框組合。
[0049]雖然上述是針對(duì)本發(fā)明的實(shí)施例，但是在不脫離由以下權(quán)利要求書(shū)所確定的基本范圍的情況下，可以設(shè)計(jì)本發(fā)明的其它和進(jìn)一步實(shí)施例。
【權(quán)利要求】
1.一種在深度問(wèn)題回答系統(tǒng)中識(shí)別相關(guān)特征的方法，包括: 分類(lèi)由深度問(wèn)題回答系統(tǒng)接收的第一事例；以及 在訓(xùn)練深度問(wèn)題回答系統(tǒng)回答第一事例時(shí): 識(shí)別第一事例中的第一特征； 計(jì)算第一事例和第二事例的相似度分值；以及 一旦確定相似度分值超過(guò)指定的相似度閾值，則在生成對(duì)第二事例的正確響應(yīng)的過(guò)程中將第一特征識(shí)別為相關(guān)。
2.如權(quán)利要求1所述的方法，進(jìn)一步包括: 響應(yīng)于深度問(wèn)題回答系統(tǒng)接收到第二事例: 分類(lèi)第二事例； 計(jì)算第一事例和第二事例的相似度分值；以及 一旦確定相似度分值超過(guò)指定的相似度閾值，則在生成對(duì)第二事例的正確響應(yīng)的過(guò)程中將第一特征識(shí)別為相關(guān)。
3.如權(quán)利要求2所述的方法，其中，相似度分值是基于至少以下之一:(i)第一事例的分類(lèi)和第二事例的分類(lèi)；以及(ii)第一事例的語(yǔ)境和第二事例的語(yǔ)境。
4.如權(quán)利要求2所述的方法，其中，第一事例和第二事例的分類(lèi)是基于至少以下之一:(i )向深度問(wèn)題回答系統(tǒng)提交各個(gè)事例的用戶(hù)的屬性；(ii )各個(gè)事例中的問(wèn)題的內(nèi)容；以及(iii)各個(gè)事例中的問(wèn)題類(lèi)型。`
5.如權(quán)利要求4所述的方法，其中，用戶(hù)的屬性從以下當(dāng)中選擇:(i)用戶(hù)的職分、(ii)用戶(hù)的隸屬、(iii)用戶(hù)的專(zhuān)長(zhǎng)、以及(iv)用戶(hù)的預(yù)先定義的偏好組。
6.如權(quán)利要求1所述的方法，進(jìn)一步包括: 存儲(chǔ)第一特征與第一事例之間的關(guān)系，其中，所述關(guān)系指示第一特征在回答第一事例中是相關(guān)的。
7.如權(quán)利要求1所述的方法，其中，第一特征分值是基于由深度問(wèn)題回答系統(tǒng)使用第一特征檢索出的許多相關(guān)條目的支持證據(jù)。
8.如權(quán)利要求1所述的方法，其中，第一事例包含向深度問(wèn)題回答系統(tǒng)提交的至少一個(gè)問(wèn)題，其中，第一特征包含至少以下之一:至少一個(gè)問(wèn)題的(i)類(lèi)型、(ii)主題、(iii)變量、以及(iv)語(yǔ)境。
9.一種在深度問(wèn)題回答系統(tǒng)中識(shí)別相關(guān)特征的系統(tǒng)，所述操作包括: 模塊，用于分類(lèi)深度問(wèn)題回答系統(tǒng)接收的第一事例；以及 模塊，在訓(xùn)練深度問(wèn)題回答系統(tǒng)回答第一事例時(shí)，用于 識(shí)別第一事例中的第一特征； 通過(guò)一個(gè)或多個(gè)計(jì)算機(jī)處理器的操作為第一特征計(jì)算第一特征分值，其中，第一特征分值指示在生成對(duì)第一事例的正確響應(yīng)過(guò)程中第一特征的相關(guān)性；以及 一旦確定第一特征分值超過(guò)相關(guān)性閾值，則在回答被分類(lèi)的第一事例過(guò)程中將第一特征識(shí)別為相關(guān)。
10.如權(quán)利要求9所述的系統(tǒng)，進(jìn)一步包括: 模塊，響應(yīng)于深度問(wèn)題回答系統(tǒng)接收到第二事例，用于 分類(lèi)第二事例；計(jì)算第一事例和第二事例的相似度分值；以及 一旦確定相似度分值超過(guò)指定的相似度閾值，則在生成對(duì)第二事例的正確響應(yīng)過(guò)程中將第一特征識(shí)別為相關(guān)。
11.如權(quán)利要求10所述的系統(tǒng)，其中，相似度分值是基于至少以下之一:(i)第一事例的分類(lèi)和第二事例的分類(lèi)、以及(ii)第一事例的語(yǔ)境和第二事例的語(yǔ)境。
12.如權(quán)利要求10所述的系統(tǒng)，其中，第一事例和第二事例的分類(lèi)是基于至少以下之一:(i)向深度問(wèn)題回答系統(tǒng)提交各個(gè)事例的用戶(hù)的屬性、(ii)各個(gè)事例中的問(wèn)題內(nèi)容、以及(i i i )各個(gè)事例中的問(wèn)題類(lèi)型。
13.如權(quán)利要求12所述的系統(tǒng)，其中，用戶(hù)的屬性從以下當(dāng)中選擇:(i)用戶(hù)的職分、(ii)用戶(hù)的隸屬、(iii)用戶(hù)的專(zhuān)長(zhǎng)、以及(iv)用戶(hù)的預(yù)先定義的偏好組。
14.如權(quán)利要求9所述的系統(tǒng)，進(jìn)一步包括: 存儲(chǔ)第一特征與第一事例之間的關(guān)系，其中，所述關(guān)系指示在回答第一事例的過(guò)程中第一特征是相關(guān)的。
15.如權(quán)利要求9所述的系統(tǒng)，其中，第一特征分值是基于深度問(wèn)題回答系統(tǒng)使用第一特征檢索出的許多相關(guān)條目的支持證據(jù)。
16.如權(quán)利要求9所述的系統(tǒng)，其中，第一事例包含向深度問(wèn)題回答系統(tǒng)提交的至少一個(gè)問(wèn)題，其中，第一特征包含至少以下之一:至少一個(gè)問(wèn)題的(i)類(lèi)型、(ii)主題、(iii)變量、以及(iv)語(yǔ)境。
17.一種減少深度問(wèn)題回答系統(tǒng)生成對(duì)第一事例的響應(yīng)所需要的處理量的方法，包括: 確定第一事例相對(duì)于第二事例的相似度分值超過(guò)相似度閾值； 識(shí)別出具有超過(guò)相關(guān)性閾值的第一相關(guān)性分值的第二事例的第一特征； 為不具有第一特征的第一事例識(shí)別出第一候選回答；以及 在生成對(duì)第一事例的響應(yīng)過(guò)程中抑制分析第一候選回答，從而減少深度問(wèn)題回答系統(tǒng)的處理量。
18.如權(quán)利要求17所述的方法，進(jìn)一步包括: 一旦確定第二候選回答具有第一特征，則在生成對(duì)第一事例的響應(yīng)過(guò)程中分析第二候選回答。
19.如權(quán)利要求17所述的方法，其中，抑制分析第一候選回答包括: 抑制執(zhí)行對(duì)第一候選回答的自然語(yǔ)言處理； 抑制確定第一候選回答是否具有第二特征，其中，深度問(wèn)題回答系統(tǒng)已經(jīng)識(shí)別出第二特征具有超過(guò)相關(guān)性閾值的第二相關(guān)性分值； 抑制檢索針對(duì)第一候選回答的支持證據(jù)；以及 抑制對(duì)針對(duì)第一候選回答的支持證據(jù)評(píng)分。
20.如權(quán)利要求17所述的方法，其中，所述相關(guān)性分值指示第一特征在生成對(duì)第二事例的正確響應(yīng)過(guò)程中是相關(guān)的。
21.如權(quán)利要求17所述的方法，進(jìn)一步包括: 一旦確定:(i)深度問(wèn)題回答系統(tǒng)的資源利用率沒(méi)有超過(guò)利用率閾值，以及(ii)通過(guò)抑制分析第一候選回答所生成的第一響應(yīng)的置信度分值超過(guò)置信度閾值，則生成對(duì)所述事例的第二響應(yīng)，其中，在生成對(duì)事例的第二響應(yīng)過(guò)程中分析第一候選回答。
22.如權(quán)利要求17所述的方法，其中，將第二事例的第一特征識(shí)別為具有超過(guò)相關(guān)性閾值的第一相關(guān)性分值是基于第二事例對(duì)第一特征的已存儲(chǔ)的依賴(lài)關(guān)系。
23.如權(quán)利要求17所述的方法，其中，第一事例包括向深度問(wèn)題回答系統(tǒng)提交的至少一個(gè)問(wèn)題。
24.如權(quán)利要求23所述的方法，其中，第一特征包括至少以下之一:至少一個(gè)問(wèn)題的(i)類(lèi)型、(ii)主題、(iii)變量、以及(iv)語(yǔ)境。
25.一種減少通過(guò)深度問(wèn)題回答系統(tǒng)生成對(duì)第一事例的響應(yīng)所需要的處理量的系統(tǒng)，包括: 模塊，用于確定第一事例相對(duì)于第二事例的相似度分值超過(guò)相似度閾值； 模塊，用于識(shí)別出具有超過(guò)相關(guān)性閾值的第一相關(guān)性分值的第二事例的第一特征；模塊，用于識(shí)別出針對(duì)不具有第一特征的第一事例的第一候選回答；以及模塊，用于在生成對(duì)第一事例的響應(yīng)過(guò)程中抑制分析第一候選回答，從而減少深度問(wèn)題回答系統(tǒng)的處理量。
26.如權(quán)利要求25所述的系統(tǒng)，所述操作進(jìn)一步包括: 響應(yīng)于深度問(wèn)題回答系統(tǒng)接收到第二事例: 分類(lèi)第二事例； 計(jì)算第一事例和第二事例的相似度分值；以及` 一旦確定相似度分值超過(guò)指定的相似度閾值，則在生成對(duì)第二事例的正確響應(yīng)過(guò)程中將第一特征識(shí)別為相關(guān)。
27.如權(quán)利要求25所述的系統(tǒng)，所述操作進(jìn)一步包括: 一旦確定第二候選回答具有第一特征，則在生成對(duì)第一事例的響應(yīng)過(guò)程中分析第二候選回答。
28.如權(quán)利要求25所述的系統(tǒng)，其中，抑制不析第一候選回答包括: 抑制執(zhí)行對(duì)第一候選回答的自然語(yǔ)言處理； 抑制確定第一候選回答是否具有第二特征，其中，深度問(wèn)題回答系統(tǒng)已經(jīng)識(shí)別出第二特征具有超過(guò)相關(guān)性閾值的第二相關(guān)性分值； 抑制檢索針對(duì)第一候選回答的支持證據(jù)；以及 抑制對(duì)針對(duì)第一候選回答的支持證據(jù)評(píng)分。
29.如權(quán)利要求25所述的系統(tǒng)，其中，相關(guān)性分值指示第一特征在生成對(duì)第二事例的正確響應(yīng)過(guò)程中是相關(guān)的。
30.如權(quán)利要求25所述的系統(tǒng)，其中，將第二事例的第一特征識(shí)別為具有超過(guò)相關(guān)性閾值的第一相關(guān)性分值是基于第二事例對(duì)第一特征的已存儲(chǔ)的依賴(lài)關(guān)系。
31.如權(quán)利要求25所述的系統(tǒng)，其中，第一事例包括向深度問(wèn)題回答系統(tǒng)提交的至少一個(gè)問(wèn)題。
32.如權(quán)利要求31所述的系統(tǒng)，其中，第一特征包括至少以下之一:至少一個(gè)問(wèn)題的(i)類(lèi)型、(ii)主題、(iii)變量、以及(iv)語(yǔ)境。
33.一種識(shí)別深度問(wèn)題回答系統(tǒng)回答問(wèn)題所使用的證據(jù)中的變化的方法，包括: 識(shí)別出與特征有關(guān)的第一證據(jù)，其中，深度問(wèn)題回答系統(tǒng)已經(jīng)將所述特征識(shí)別為與回答多類(lèi)問(wèn)題中的第一類(lèi)問(wèn)題相關(guān)；以及 響應(yīng)于(i)檢測(cè)到第一證據(jù)中的變化，和(ii)確定為第一類(lèi)問(wèn)題的第一問(wèn)題所生成的第一響應(yīng)的置信度分值超過(guò)置信度閾值，基于被改變的第一證據(jù)為第一問(wèn)題生成被更新的響應(yīng)。
34.如權(quán)利要求33所述的方法，所述方法進(jìn)一步包括: 通知用戶(hù)第一證據(jù)中的變化，其中，一旦用戶(hù)同意則生成被更新的響應(yīng)。
35.如權(quán)利要求33所述的方法，其中，被更新的響應(yīng)是基于至少以下之一:(i)處理第一類(lèi)型的第二問(wèn)題；以及(ii )重新處理第一問(wèn)題。
36.如權(quán)利要求33所述的方法，其中，通過(guò)以下之一生成第二問(wèn)題:(i)深度問(wèn)題回答系統(tǒng)、以及(ii)用戶(hù)。
37.如權(quán)利要求33所述的方法，其中，第一證據(jù)是不可用的，其中，所述第一證據(jù)中的變化包括第一證據(jù)的可用性。
38.如權(quán)利要求33所述的方法，其中，第一證據(jù)是可用的，其中，所述第一證據(jù)中的變化包括第一證據(jù)的內(nèi)容中的變化。
39.如權(quán)利要求33所述的方法，進(jìn)一步包括監(jiān)視第一證據(jù)以檢測(cè)變化。
40.如權(quán)利要求39所述的方法，其中，一旦確定第一證據(jù)的相關(guān)性分值超過(guò)相關(guān)性閾值，則監(jiān)視第一證據(jù)，其中，第一證據(jù)包括至少以下之一的內(nèi)容:(i)文件、(ii)變量、(iii)論文以及(iv)網(wǎng)頁(yè)，以及其中，第一問(wèn)題`是包括至少第一問(wèn)題的第一事例的一部分。
41.一種識(shí)別深度問(wèn)題回答系統(tǒng)回答問(wèn)題所使用的證據(jù)中的變化的系統(tǒng)，包括: 模塊，用于識(shí)別出與特征有關(guān)的第一證據(jù)，其中，深度問(wèn)題回答系統(tǒng)已經(jīng)將所述特征識(shí)另IJ為與回答多類(lèi)問(wèn)題中的第一類(lèi)問(wèn)題相關(guān)；以及 模塊，響應(yīng)于(i)檢測(cè)到第一證據(jù)中的變化，和(ii)確定為第一類(lèi)問(wèn)題的第一問(wèn)題所生成的第一響應(yīng)的置信度分值超過(guò)置信度閾值，基于被改變的第一證據(jù)，為第一問(wèn)題生成被更新的響應(yīng)。
42.如權(quán)利要求41所述的系統(tǒng)，所述操作進(jìn)一步包括: 模塊，用于通知用戶(hù)第一證據(jù)中的變化，其中，一旦用戶(hù)同意則生成被更新的響應(yīng)。
43.如權(quán)利要求41所述的系統(tǒng)，其中，被更新的響應(yīng)是基于至少以下之一:(i)處理第一類(lèi)型的第二問(wèn)題；以及(ii )重新處理第一問(wèn)題。
44.如權(quán)利要求43所述的系統(tǒng)，其中，通過(guò)以下之一生成第二問(wèn)題:(i)深度問(wèn)題回答系統(tǒng)、以及(ii)用戶(hù)。
45.如權(quán)利要求41所述的系統(tǒng)，其中，第一證據(jù)是不可用的，其中，所述第一證據(jù)中的變化包括第一證據(jù)的可用性。
46.如權(quán)利要求41所述的系統(tǒng)，其中，第一證據(jù)是可用的，其中，所述第一證據(jù)中的變化包括第一證據(jù)的內(nèi)容中的變化。
47.如權(quán)利要求41所述的系統(tǒng)，進(jìn)一步包括監(jiān)視第一證據(jù)以檢測(cè)變化。
48.如權(quán)利要求47所述的系統(tǒng),其中，一旦確定第一證據(jù)的相關(guān)性分值超過(guò)相關(guān)性閾值，則監(jiān)視第一證據(jù)，其中，第一證據(jù)包括至少以下之一的內(nèi)容:(i)文件、(ii)變量、(iii)論文以及(iv)網(wǎng)頁(yè)，以及其中，第一問(wèn)題是包含至少第一問(wèn)題的第一事例的一部分。
【文檔編號(hào)】G06F17/30GK103870528SQ201310629168
【公開(kāi)日】2014年6月18日 申請(qǐng)日期:2013年11月29日 優(yōu)先權(quán)日:2012年12月17日
【發(fā)明者】A.T.克拉克, M.G.梅格里安, J.E.皮特里, R.J.史蒂文斯 申請(qǐng)人:國(guó)際商業(yè)機(jī)器公司