專利名稱：用于自動(dòng)回答自然語言問題的方法和計(jì)算機(jī)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于自動(dòng)回答自然語言問題的計(jì)算機(jī)系統(tǒng)和/或用于將例如自然語 言問題等工作詞條分配給例如研究者等代理的計(jì)算機(jī)系統(tǒng)。
背景技術(shù)：
支持?jǐn)?shù)據(jù)的移動(dòng)設(shè)備(主要但非排他地為移動(dòng)電話)的廣泛應(yīng)用產(chǎn)生了在移動(dòng)中 訪問信息的需求。傳統(tǒng)的互聯(lián)網(wǎng)搜索解決方案不能有效地解決這一需求。傳統(tǒng)的互聯(lián)網(wǎng)搜索解決方案依賴于允許用戶有效地進(jìn)行如下重復(fù)的程序1.輸入搜索詞條(通常包括一個(gè)或多個(gè)關(guān)鍵詞)。a.這將產(chǎn)生一系列搜索結(jié)果，通常首先按照“最相關(guān)”進(jìn)行排序。b.每個(gè)結(jié)果包括到帶有一些概括信息的完整結(jié)果的鏈接。2.用戶檢查這些檢索結(jié)果，查看其中是否包含他們所需要的信息。a.有時(shí)可以根據(jù)單獨(dú)針對(duì)每個(gè)結(jié)果的概括信息，來作這樣的決定。b.有時(shí)用戶打開一個(gè)或多個(gè)完整結(jié)果以檢查完整的內(nèi)容。3.如果沒有一個(gè)匹配包含需要的信息，用戶可以a.查看結(jié)果的其他部分。b.改進(jìn)搜索詞條，并從上述步驟1重新開始。從技術(shù)上看，移動(dòng)設(shè)備有很多局限性 慢，延時(shí)長(zhǎng)，以及網(wǎng)絡(luò)連接斷斷續(xù)續(xù)。 顯示器小(即在分辨率和物理尺寸兩方面)。 文字輸入慢且笨拙。 軟件(互聯(lián)網(wǎng)瀏覽器，文件閱讀器/編輯器)相比于桌上計(jì)算機(jī)上的同等軟件 其功能性大大下降。這些局限性在如下方面降低了上述搜索的效率 上述重復(fù)過程的每個(gè)步驟用時(shí)更長(zhǎng)，大大降低其效率。這是因?yàn)椹栁淖州斎肼馕吨斎胨阉髟~條用時(shí)更長(zhǎng)。〇長(zhǎng)延時(shí)連接意味著從輸入搜索詞條到看到結(jié)果的時(shí)間更長(zhǎng)。〇連接慢意味著打開完整結(jié)果用時(shí)更長(zhǎng)。〇連接不可靠導(dǎo)致重復(fù)過程的一個(gè)步驟失敗的可能性。 對(duì)于搜索引擎可用的信息源中很多沒有針對(duì)移動(dòng)設(shè)備進(jìn)行優(yōu)化，這意味著〇信息可能無法正確顯示。〇顯示的信息的量可能過多，導(dǎo)致“見樹不見林”。〇可能需要很長(zhǎng)的時(shí)間加載消息(進(jìn)一步降低了重復(fù)過程的效率)。出了上述技術(shù)原因之外，傳統(tǒng)的互聯(lián)網(wǎng)搜索不適用于移動(dòng)應(yīng)用，還有很多實(shí)踐/ 社會(huì)學(xué)方面的原因 不同于可能只是簡(jiǎn)單瀏覽的桌上計(jì)算機(jī)用戶，移動(dòng)用戶通常具有更關(guān)注的問題——他們想要得到針對(duì)具體問題的具體答案。搜索結(jié)果通常不能很好的解決這一點(diǎn)。〇答案可能在所有完整結(jié)果的一個(gè)中的某處出現(xiàn)，但其通常會(huì)被其他不太相關(guān)的 (從移動(dòng)用戶的觀點(diǎn)出發(fā))上下文包圍。〇回答該問題的信息可能會(huì)出現(xiàn)，但是其措辭不是作為對(duì)該問題的回答。〇可能需要將幾個(gè)結(jié)果組合來綜合成對(duì)該問題的回答(例如對(duì)于“埃菲爾鐵塔和 自由女神像那個(gè)更高”這個(gè)問題的搜索結(jié)果，可能包括含有其中一個(gè)的高度的結(jié)果，和含有 另一個(gè)的高度的結(jié)果，但是沒有直接比較這兩個(gè)高度的結(jié)果)。 移動(dòng)用戶通?？臻e時(shí)間很少，更多其他的事情占據(jù)了他們的時(shí)間。特別是他們 不可能有足夠的時(shí)間進(jìn)行上述的重復(fù)過程(即便沒有移動(dòng)技術(shù)的局限性造成的無效率)。由于所有這些原因，已知的搜索技術(shù)對(duì)于移動(dòng)用戶的信息訪問需求來說不是合 適的解決方案。而且，通常，計(jì)算機(jī)和不能準(zhǔn)確地回答不受限制的自然語言問題，盡管 這是一個(gè)活躍的研究領(lǐng)域(例如，在年度文本檢索會(huì)議(Text Retrieval Conference TREC)競(jìng)賽中競(jìng)爭(zhēng)的各個(gè)解決方案中所描述的=http://trec.nist· rov/,以及商業(yè)服 務(wù) Powersethttp //www, powerset. com/-禾口“真 知”(true knowledRe) http / / www. trueknowledRe. com/)。申請(qǐng)人:認(rèn)識(shí)到需要一種改進(jìn)的移動(dòng)搜索方法。此外，由于計(jì)算機(jī)還不能準(zhǔn)確地回答不受限制的自然語言問題，這些問題通常被 分配在很多個(gè)研究該問題并給出答案的研究者(代理)中間。將工作詞條分配到代理的傳 統(tǒng)方法有如下問題代理對(duì)工作詞條的能力被無效率地匹配(例如，循環(huán)制，其中工作詞條 按順序分配給代理)，或易受對(duì)策影響(例如，不同價(jià)格，其中不受歡迎的工作詞條與更高 的價(jià)格相關(guān)聯(lián)，且我們依賴于市場(chǎng)力量來保證所有的工作詞條都被及時(shí)處理)

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個(gè)方面，提出了一種用于自動(dòng)回答自然語言問題的計(jì)算機(jī)系統(tǒng)， 該系統(tǒng)包括用來接收所述自然語言問題的輸入端；用來記錄鏈接的問題和相應(yīng)答案對(duì)的 數(shù)據(jù)存儲(chǔ)器；用來比較接收的自然語言問題和所述鏈接的問題和答案對(duì)的匹配器；以及如 果沒有找到匹配，則將所述接收的自然語言問題轉(zhuǎn)給研究者的輸出端。該計(jì)算機(jī)系統(tǒng)可進(jìn)一步包括將問題和相應(yīng)答案的對(duì)鏈接到分組中的系統(tǒng)，使得能 夠產(chǎn)生針對(duì)每個(gè)問題和答案的對(duì)的分組的典型答案，并在所述數(shù)據(jù)存儲(chǔ)器中存儲(chǔ)所述典型 答案；其中所述匹配器將所述接收的自然語言問題和所述數(shù)據(jù)存儲(chǔ)器中具有相關(guān)聯(lián)的典型 答案的問題進(jìn)行比較，并響應(yīng)于所述匹配，輸出針對(duì)所述問題的所述相關(guān)聯(lián)的典型答案。因此根據(jù)本發(fā)明的另一方面，提出了一種用于自動(dòng)回答自然語言問題的計(jì)算機(jī)系 統(tǒng)，該系統(tǒng)包括用來接收所述自然語言問題的輸入端；用來將所述問題呈現(xiàn)給研究者，并 輸入針對(duì)所呈現(xiàn)的問題的答案的研究者用戶界面；以及用來記錄問題和相應(yīng)答案的對(duì)的數(shù) 據(jù)存儲(chǔ)器。該系統(tǒng)進(jìn)一步包括將問題和相應(yīng)答案對(duì)鏈接到分組中的系統(tǒng)，使得能夠產(chǎn)生鏈 接的問題和答案對(duì)的每個(gè)分組的典型答案，并將所述典型答案存儲(chǔ)在所述數(shù)據(jù)存儲(chǔ)器中； 以及將接收的自然語言問題與所述數(shù)據(jù)存儲(chǔ)器中具有相關(guān)聯(lián)的典型答案的問題相匹配，并 響應(yīng)于所述匹配，輸出針對(duì)所述自然語言問題的所述典型答案的系統(tǒng)。此外，該匹配器可輸出所有與所述接收的自然語言問題相匹配的鏈接的問題和答案對(duì)，且該系統(tǒng)可進(jìn)一步包括一輸入端，用以接收請(qǐng)求以將特定自然語言問題發(fā)送到研究 者，其中所述輸出端響應(yīng)于所述請(qǐng)求，將所述特定自然語言問題發(fā)送給研究者。因此，根據(jù)本發(fā)明的另一方面，提出了一種用于自動(dòng)回答自然語言問題的計(jì)算機(jī) 系統(tǒng)，該系統(tǒng)包括用來接收所述自然語言問題的輸入端；用以記錄鏈接的問題和相應(yīng)答 案對(duì)的數(shù)據(jù)存儲(chǔ)器；匹配器，用以對(duì)比接收的自然語言問題和所述數(shù)據(jù)存儲(chǔ)器中的鏈接的 問題和答案對(duì)，并輸出所有與所述接收的自然語言問題相匹配的所述鏈接的問題和答案 對(duì)；以及用來接收請(qǐng)求以將特定自然語言問題發(fā)送給研究者的輸入端；用來將所述特定自 然語言問題發(fā)送給研究者的輸出端；其中所述數(shù)據(jù)存儲(chǔ)器用以接收來自所述研究者的針對(duì) 所述特定自然語言問題的答案，在所述數(shù)據(jù)存儲(chǔ)器中存儲(chǔ)所述問題和接收的答案作為鏈接 對(duì)，并輸出所述問題和接收的答案。換言之，在兩種情況中，計(jì)算機(jī)系統(tǒng)自動(dòng)回答自然語言問題的子集，其中已經(jīng)存儲(chǔ) 了相似的問題/答案對(duì)。在一個(gè)實(shí)施例中，將這些問題的子集與典型答案相關(guān)聯(lián)。如果沒 有存儲(chǔ)匹配的問題/答案對(duì)，研究者可以提供答案，該答案被添加到數(shù)據(jù)庫中，以增加可完 全自動(dòng)回答的問題的子集。齊普夫定律(Zipfs Law)指出，在自然語言表達(dá)的文集中，任何詞語的頻率與其在 頻率表中的排序大致成反比。除了詞語頻率之外，齊普夫定律對(duì)于很多其他自然語言現(xiàn)象 都是(大致)成立的。特別是，對(duì)于例如我們這里關(guān)心的人們提出的有關(guān)系統(tǒng)的問題，齊普 夫定律(大致)成立。齊普夫定律的結(jié)論是相對(duì)小的問題集合占了提出的問題的總數(shù)的相對(duì)大部分。這 些問題以微妙的不同形式被反復(fù)提出。這些常見的問題的例子可包括 先有雞還是先有蛋？·明天的天氣預(yù)報(bào)是什么？ 貓王(Elvis Presley)是何時(shí)去世的？ 時(shí)鐘何時(shí)返回？因此通過自動(dòng)回答這些被頻繁提問的問題，可以對(duì)自動(dòng)回答的問題的數(shù)量產(chǎn)生特 別大的影響。系統(tǒng)可適用的問題的子集是那些針對(duì)他們的答案非時(shí)間敏感的問題(即昨天對(duì) 該問題的正確答案今天仍然是正確答案)。因此，該系統(tǒng)不能處理“明天的天氣預(yù)報(bào)是什么” 這樣的問題。然而，該系統(tǒng)能夠處理“先有雞還是先有蛋？ ”以及“貓王(Elvis Presley)是 何時(shí)去世的？ ”這樣的問題。也可擴(kuò)展該系統(tǒng)以處理稍微時(shí)間敏感的問題，例如“時(shí)鐘何時(shí) 返回？”(對(duì)于該問題的答案確實(shí)隨時(shí)間變化，但是在長(zhǎng)時(shí)期內(nèi)保持恒定)。該系統(tǒng)可確定系統(tǒng)所接收的問題是否是時(shí)間依賴的，例如利用自動(dòng)代理。該系統(tǒng) 可進(jìn)一步包括詢問實(shí)時(shí)數(shù)據(jù)饋送以產(chǎn)生針對(duì)時(shí)間依賴問題的答案的裝置。該詢問裝置可以 是第二自動(dòng)代理或可以結(jié)合在第一自動(dòng)代理中?？衫米匀徽Z言解析系統(tǒng)來確定問題是否為時(shí)間依賴的，并可利用鏈接的問題和 答案對(duì)的所述數(shù)據(jù)庫訓(xùn)練該自然語言解析系統(tǒng)。可訓(xùn)練該自然語言解析系統(tǒng)來辨別移動(dòng)用 戶通常使用的簡(jiǎn)潔且風(fēng)格化的文本語言。該鏈接問題和相應(yīng)答案對(duì)的系統(tǒng)可構(gòu)建所述問題和相應(yīng)答案對(duì)的分離的定向圖， 并且可建立所述圖的發(fā)送閉包來識(shí)別將由所述典型答案回答的所述問題和相應(yīng)答案對(duì)的候選分組。這樣，該系統(tǒng)自動(dòng)識(shí)別了可為其產(chǎn)生典型答案的問題/答案對(duì)。該鏈接問題和相應(yīng)答案對(duì)的系統(tǒng)可進(jìn)一步包括調(diào)解器用戶界面，以將鏈接的問題 和相應(yīng)答案對(duì)的分組呈現(xiàn)給調(diào)解器用于查看。該調(diào)解器用戶界面使得調(diào)解器能夠從所述分 組中的鏈接的問題和答案對(duì)的所述答案中識(shí)別所述典型答案。所述典型答案可以目前的格 式重復(fù)利用所述答案之一，可組合分組中的兩個(gè)或更多個(gè)答案，或修改分組中的答案以包 含額外的信息。偶爾地，可以通過搜索(scratch)產(chǎn)生典型答案。一旦產(chǎn)生了典型答案，將 所述典型答案存儲(chǔ)在所述數(shù)據(jù)存儲(chǔ)器中，與鏈接的問題和答案對(duì)的所述相應(yīng)分組相關(guān)聯(lián)。該調(diào)解器用戶界面可進(jìn)一步使得所述調(diào)解器能夠確定鏈接的所述問題和答案對(duì) 的每個(gè)所述分組中的每個(gè)問題是否由與所述分組相關(guān)聯(lián)的所述典型答案回答。該鏈接問題 和相應(yīng)答案對(duì)的系統(tǒng)可存儲(chǔ)問題是否被確認(rèn)，并可保留所述分組中的具有相關(guān)聯(lián)的典型答 案的問題，這些問題將不由所述分組中的所述典型答案回答，并標(biāo)記所述不由所述典型答 案回答的所述問題。用來構(gòu)建每個(gè)鏈接的問題和答案對(duì)的來源的記錄也可存儲(chǔ)在所述數(shù)據(jù)存儲(chǔ)器中。 如果所述典型答案是通過修改分組中的答案以包括額外信息來產(chǎn)生的，這可能特別有用， 因?yàn)橐薷牡拇鸢傅膩碓纯赡芴峁┧璧念~外信息。相似地，如果所述典型答案是通過研 究者搜索產(chǎn)生的，分組中針對(duì)該問題的答案的來源可能有用。根據(jù)本發(fā)明的另一方面，提供了一種自動(dòng)回答自然語言問題的方法，該方法包括 處理自然語言問題和相應(yīng)答案對(duì)的數(shù)據(jù)存儲(chǔ)器；輸入所述自然語言問題；將所述自然語言 問題與所存儲(chǔ)的自然語言問題相匹配，輸出所有來自所述匹配步驟的匹配結(jié)果，以及如果 沒有找到匹配結(jié)果，將特定自然語言問題發(fā)送給研究者。該方法可包括將所述自然語言問題分組，并針對(duì)所述分組的問題產(chǎn)生典型答案， 或接收請(qǐng)求以將所述特定自然語言問題發(fā)送到研究者，并響應(yīng)于所述請(qǐng)求發(fā)送所述特定自 然語言問題。根據(jù)本發(fā)明的另一方面，提出了一種自動(dòng)回答自然語言問題的方法，該方法包括 利用計(jì)算機(jī)系統(tǒng)處理自然語言問題和相應(yīng)答案的數(shù)據(jù)存儲(chǔ)器，以將所述自然語言問題分 組，以及針對(duì)所述分組的問題產(chǎn)生典型答案；以及利用所述典型答案自動(dòng)回答自然語言問 題。根據(jù)本發(fā)明的另一方面，提出了一種自動(dòng)回答自然語言問題的方法，該方法包括 處理將自然語言問題和相應(yīng)答案對(duì)鏈接到分組的數(shù)據(jù)存儲(chǔ)器，并針對(duì)鏈接的問題和答案的 每個(gè)分組產(chǎn)生典型答案；輸入所述自然語言問題；將所述自然語言問題與所存儲(chǔ)的自然語 言問題相匹配，并在發(fā)現(xiàn)匹配時(shí)利用所述典型答案自動(dòng)地回答所述自然語言問題?？赏ㄟ^構(gòu)建所述問題和相應(yīng)答案對(duì)的分離的定向圖來處理自然語言問題和相應(yīng) 答案的數(shù)據(jù)存儲(chǔ)器?？山⑺鰣D的發(fā)送閉包來識(shí)別由所述典型答案回答的所述問題和相 應(yīng)答案對(duì)的分組。產(chǎn)生每個(gè)所述典型答案可包括將鏈接的問題和相應(yīng)答案對(duì)的分組-輸入到調(diào)解 器，用來查看和接收來自所述調(diào)解器的所述典型答案。該分組可通過調(diào)解器用戶界面輸入， 該調(diào)解器用戶界面可使得調(diào)解器能夠識(shí)別所述典型答案，如上文所述。可確認(rèn)問題分組中的每個(gè)問題來確保所述典型答案正確地回答了每個(gè)所述問題。 確認(rèn)可包括將每個(gè)問題和典型答案輸入到所述調(diào)解器用于查看，從所述調(diào)解器接收每個(gè)問題是否由所述典型答案回答的信息，并存儲(chǔ)所述信息。如果沒有匹配的存儲(chǔ)的自然語言問題，可將所述自然語言問題輸出給研究者。然 后該方法可包括接收來自所述研究者的答案，將該答案發(fā)送給提問者，更新所述數(shù)據(jù)存儲(chǔ) 器以在所述數(shù)據(jù)存儲(chǔ)器中包含所述問題和接收的答案作為鏈接對(duì)。來自所述研究者的接收的答案可重新使用來自存儲(chǔ)在數(shù)據(jù)存儲(chǔ)器中的鏈接的問 題和答案對(duì)的答案。在這種情況下，該方法進(jìn)一步包括將輸入的自然語言問題與數(shù)據(jù)存儲(chǔ) 器中具有被重復(fù)利用的答案的問題分組，并產(chǎn)生針對(duì)所述分組的輸入問題和重新使用的問 題的典型答案。用來構(gòu)建每個(gè)問題和答案對(duì)的來源的記錄也可存儲(chǔ)在所述數(shù)據(jù)存儲(chǔ)器中。該來源 可顯示給具有匹配結(jié)果的用戶或研究者。這樣的優(yōu)點(diǎn)是，如果沒有匹配結(jié)果直接回答用戶 的問題，該用戶可以打開可能包含提供答案的必要信息的原始來源。此外，如果研究者能夠 重新使用存儲(chǔ)在數(shù)據(jù)庫中的答案的一部分，這將非常有用，因?yàn)橛脕順?gòu)建該存儲(chǔ)的答案的 來源可能構(gòu)成研究所述輸入問題的很好的起點(diǎn)。根據(jù)本發(fā)明的另一方面，提出了一種自動(dòng)回答自然語言問題的方法，該方法處理 鏈接的自然語言問題和相應(yīng)答案對(duì)的數(shù)據(jù)存儲(chǔ)器；輸入所述自然語言問題；將所述自然語 言問題匹配到所存儲(chǔ)的鏈接的自然語言問題和相應(yīng)答案對(duì)；輸出所有與接收的自然語言問 題相匹配的鏈接的自然語言問題和相應(yīng)答案對(duì)；如果在所述輸出步驟之后接收到將所述特 定自然語言問題發(fā)送到研究者的請(qǐng)求，則將特定自然語言問題發(fā)送給研究者；接收來自所 述研究者的針對(duì)所述特定自然語言問題的答案，更新所述數(shù)據(jù)存儲(chǔ)器以在所述數(shù)據(jù)存儲(chǔ)器 中包含所述問題和接收的答案作為鏈接對(duì)，并輸出所述問題和接收的答案。每個(gè)方法可包括確定系統(tǒng)接收的問題是否是時(shí)間依賴的，并且可進(jìn)一步包括詢問 實(shí)時(shí)數(shù)據(jù)饋送以產(chǎn)生針對(duì)時(shí)間依賴問題的答案。該確定可利用自然語言解析系統(tǒng)，可利用 鏈接的問題和答案對(duì)的所述數(shù)據(jù)庫來訓(xùn)練該自然語言解析系統(tǒng)。根據(jù)本發(fā)明的另一方面，提供了一種用于自動(dòng)回答自然語言問題的計(jì)算機(jī)系統(tǒng)， 該系統(tǒng)包括接收所述自然語言問題的輸入端；確定所述輸入的自然語言問題是否為時(shí)間 依賴的裝置；詢問裝置，用以從實(shí)時(shí)數(shù)據(jù)饋送中提取針對(duì)時(shí)間依賴問題的答案；發(fā)送所述 提取的答案的輸出端；接收請(qǐng)求以將特定自然語言問題發(fā)送給研究者的輸入端；將所述特 定自然語言問題發(fā)送給研究者的輸出端；其中所述數(shù)據(jù)存儲(chǔ)器用于接收來自所述研究者的 針對(duì)所述特定自然語言問題的答案，并輸出所述接收的答案。該系統(tǒng)可進(jìn)一步包括記錄鏈接的問題和相應(yīng)答案對(duì)的數(shù)據(jù)存儲(chǔ)器；以及匹配器， 用以比較所述接收的自然語言問題和所述數(shù)據(jù)存儲(chǔ)器中的所述鏈接的問題和答案對(duì)，并輸 出所有與所述接收的自然語言問題相匹配的鏈接的問題和答案對(duì)。根據(jù)本發(fā)明的另一方面，提出了一種自動(dòng)回答自然語言問題的方法，該方法包括: 輸入所述自然語言問題；確定所述輸入的問題是否為時(shí)間依賴的；從實(shí)時(shí)數(shù)據(jù)饋送中提取 針對(duì)時(shí)間依賴問題的答案；輸出所述提取的答案；如果在所述輸出步驟之后，接收到將所 述特定自然語言問題發(fā)送給研究者的請(qǐng)求，則將特定自然語言問題發(fā)送給研究者；接收來 自所述研究者的針對(duì)所述特定自然語言問題的答案，更新所述數(shù)據(jù)存儲(chǔ)器以在所述數(shù)據(jù)存 儲(chǔ)器中包含所述問題和接收的答案作為鏈接對(duì)，并輸出所述接收的答案。上述任意計(jì)算機(jī)系統(tǒng)和/或方法可進(jìn)一步適用于將待回答的自然語言問題(即工作詞條)公平地分配給研究者(即代理)。因此該系統(tǒng)可進(jìn)一步包括服務(wù)器，用于給每個(gè)所 述自然語言問題分配不受歡迎程度(unpopularity)分?jǐn)?shù)；多個(gè)研究者工作站，每個(gè)具有研 究者用戶界面，以及將所述服務(wù)器連接到所述多個(gè)研究者工作站的通信網(wǎng)絡(luò)；其中每個(gè)研 究者用戶界面將多個(gè)所述自然語言問題呈現(xiàn)給研究者，并且其中所述服務(wù)器基于由所述研 究者選擇的每個(gè)自然語言問題的不受歡迎程度分?jǐn)?shù)，為每個(gè)研究者分配一個(gè)值。根據(jù)本發(fā)明的另一方面，提出了一種用于分配由代理處理的工作詞條的計(jì)算機(jī)系 統(tǒng)，該系統(tǒng)包括接收所述工作詞條的輸入端；存儲(chǔ)所述工作詞條的數(shù)據(jù)存儲(chǔ)器；給每個(gè)所 述工作詞條分配不受歡迎程度分?jǐn)?shù)的服務(wù)器；多個(gè)代理工作站，每個(gè)具有代理用戶界面，以 及將所述服務(wù)器連接到所述多個(gè)代理工作站的通信網(wǎng)絡(luò)；其中每個(gè)代理用戶界面將來自所 述數(shù)據(jù)存儲(chǔ)器的多個(gè)所述工作詞條呈現(xiàn)給代理，以及其中所述服務(wù)器基于由所述代理選擇 的每個(gè)自然語言問題的不受歡迎程度分?jǐn)?shù)，為每個(gè)代理分配一個(gè)值。根據(jù)本發(fā)明的另一發(fā)明，提出了一種將工作詞條分配給代理的方法，該方法包括 將所述工作詞條輸入給服務(wù)器；在所述服務(wù)器上的數(shù)據(jù)存儲(chǔ)器中存儲(chǔ)所述工作詞條；配置 所述服務(wù)器以為每個(gè)所述工作詞條分配不受歡迎程度分?jǐn)?shù)；通過通信網(wǎng)絡(luò)將所述服務(wù)器連 接到多個(gè)代理工作站，每個(gè)代理工作站具有代理用戶界面；將多個(gè)所述工作詞條呈現(xiàn)給代 理用戶界面上的代理；并且配置所述服務(wù)器以基于由所述代理選擇的每個(gè)自然語言問題的 不受歡迎程度分?jǐn)?shù)給每個(gè)代理分配一個(gè)值。在每個(gè)方面中，工作詞條可以是由研究者形式的代理來回答的自然語言問題。因 此，該代理用戶界面可以是研究者用戶界面。該研究者用戶界面可顯示每個(gè)呈現(xiàn)的問題的不受歡迎程度分?jǐn)?shù)的指示和/或研 究者的值的指示。所述不受歡迎程度分?jǐn)?shù)和/或值的指示可以圖表或數(shù)字來呈現(xiàn)。該研究者用戶界面可將所有未回答的自然語言問題或其子集呈現(xiàn)給研究者。呈現(xiàn) 的問題的子集可以通過考慮以下部分或全部因素來確定 所述不受歡迎程度分?jǐn)?shù) 所述研究者的其他屬性(例如，身份，過去表現(xiàn)，對(duì)問題類型先前表達(dá)的偏好，等等。 未回答的問題已經(jīng)存儲(chǔ)在數(shù)據(jù)存儲(chǔ)器中的時(shí)間長(zhǎng)度 未回答的問題的其他屬性(例如，類型，預(yù)期的完成時(shí)間，等等)。根據(jù)本發(fā)明的另一方面，提出了一種用于將多個(gè)問題顯示給研究者的研究者用戶 界面，所述研究者用戶界面包括指示每個(gè)顯示的問題的不受歡迎程度分?jǐn)?shù)的顯示器，臨近 每個(gè)問題以供研究者選擇所述問題的按鈕，以及指示每個(gè)研究者的值的顯示器，每個(gè)研究 者的值是基于由所述研究者選擇的每個(gè)自然語言問題的不受歡迎程度分?jǐn)?shù)。該研究者用戶界面可以圖表顯示，例如圖標(biāo)、數(shù)字顯示、百分比和/或比率來顯示 不受歡迎程度分?jǐn)?shù)和/或每個(gè)研究者的值。服務(wù)器通常為每個(gè)問題分配為零的初始不受歡 迎程度分?jǐn)?shù)，但是如果合適(例如該問題屬于已知的不受歡迎的類型)，則可給問題分配更 高的初始不受歡迎程度。該系統(tǒng)可后續(xù)地通過跟蹤到何時(shí)問題被呈現(xiàn)給研究者而沒有回 答，來增加每個(gè)問題的不受歡迎程度值。不受歡迎程度值增加的量可非常依賴于各種因素， 包括(但不限于) 問題類型(一定類型的問題的不受歡迎程度可能比其他的高或少)
每個(gè)問題在呈現(xiàn)給研究者的問題列表中的位置和/或其相對(duì)于被選擇的問題 的位置。例如，被選擇的問題以上的問題的不受歡迎程度分?jǐn)?shù)可能提高一個(gè)單位，但是該被 選擇的問題以下的問題的不受歡迎程度分?jǐn)?shù)不變。服務(wù)器可在特定時(shí)間框內(nèi)根據(jù)由該研究者選擇的每個(gè)問題的不受歡迎程度分?jǐn)?shù) 的時(shí)間加權(quán)組合來計(jì)算所述值。該特定時(shí)間框可按分鐘，小時(shí)或天來計(jì)算。可根據(jù)時(shí)間衰 落函數(shù)來結(jié)合所述不受歡迎程度分?jǐn)?shù)。該時(shí)間衰落函數(shù)可以是階梯函數(shù)、線性衰落函數(shù)，或 更復(fù)雜的時(shí)間衰落函數(shù)，例如橢圓函數(shù)或指數(shù)函數(shù)。當(dāng)每個(gè)研究者開始工作時(shí)，服務(wù)器可為每個(gè)研究者分配為零的初始值。這意味著 每個(gè)研究者隨著其開始工作有可能降到閾值以下，該閾值由所有研究者的情況確定。因此 需采取措施以確保研究者不被處罰直到他們有機(jī)會(huì)將他們的值提高到合適的水平。在這些 情況下，該系統(tǒng)可針對(duì)這樣的研究者利用修正的時(shí)間衰落函數(shù)。此外，該系統(tǒng)可基于最近的 平均不受歡迎程度的問題的選擇來分配初始值。如果只有幾個(gè)問題具有非零的不受歡迎程度分?jǐn)?shù)(例如，由于可獲得的問題很 少，或因?yàn)樵趩栴}有機(jī)會(huì)變成不受歡迎之前，研究者盡職盡責(zé)地選擇問題)，這幾個(gè)問題可 能具有很大的影響。因此該系統(tǒng)可能具有“最小累積不受歡迎程度”閾值，在這個(gè)閾值以 下，服務(wù)器確定沒有足夠的數(shù)據(jù)用來在研究者用戶界面上呈現(xiàn)任何有用的關(guān)于不受歡迎程 度分?jǐn)?shù)和研究者值的信息。該最小累計(jì)不受歡迎程度閾值可以是最近，例如最近一小時(shí)內(nèi) 在數(shù)據(jù)存儲(chǔ)器中存儲(chǔ)的問題的所有不受歡迎程度分?jǐn)?shù)的相加。換言之，如果存在很少的具 有非零的受歡迎程度分?jǐn)?shù)的問題，分配工作詞條的系統(tǒng)臨時(shí)禁用，并只在代理用戶界面上 呈現(xiàn)工作詞條，而不呈現(xiàn)值或分?jǐn)?shù)。不過，在相加的分?jǐn)?shù)在閾值以下的同時(shí)，服務(wù)器繼續(xù)計(jì) 算代理值和工作詞條不受歡迎程度分?jǐn)?shù)，并且一旦相加的分?jǐn)?shù)超出所述閾值，則重新啟動(dòng) 該系統(tǒng)。在實(shí)踐中，簡(jiǎn)單的計(jì)算和顯示研究者的值似乎足夠確保問題被公平地分配。極少 需要系統(tǒng)限制呈現(xiàn)給研究者的問題，因?yàn)槊總€(gè)研究者通常確保他們的值保持為可接受。因 此，在一般情況下，在確定將哪個(gè)問題呈現(xiàn)給研究者時(shí)，不考慮研究者的值(當(dāng)前水平)。然 而，服務(wù)器也可以確定研究者的水平相對(duì)于所有研究者的平均值是否落到可接受的閾值之 下，并限制呈現(xiàn)給該研究者的問題(例如，僅呈現(xiàn)可增加研究者的值的問題)，直到研究者 的值上升到可接受的閾值之上。因此本發(fā)明的至少一方面提供了一種自動(dòng)軟件系統(tǒng)和方法，其使得問題(或者稱 為工作詞條)能夠客觀地，透明地且公平地在研究者(或者稱為代理)之間分配。該系統(tǒng) 可以成為“校平器(leveller)”。即便問題的到來不可預(yù)知和/或問題的大小、難度、吸引 力變化，該系統(tǒng)也能公平地分配問題。該系統(tǒng)確保問題被及時(shí)地處理，因?yàn)椴幌Ｍぷ髟~條 保留在隊(duì)列里過長(zhǎng)時(shí)間。通過計(jì)算服務(wù)器上的值和不受歡迎程度分?jǐn)?shù)，該計(jì)算可實(shí)時(shí)進(jìn)行， 而不會(huì)使工作詞條分配變慢。此外，該系統(tǒng)使代理能夠獨(dú)立地并且按其自己最感興趣的方 式操作。每個(gè)代理具有獨(dú)特的能力和偏好(因此對(duì)于一個(gè)代理來說沒有興趣的問題，可能 對(duì)于另一個(gè)來說有興趣)。與已知的系統(tǒng)相反，根據(jù)本發(fā)明的系統(tǒng)為代理提供了選擇度(從而，在可能的時(shí) 候，問題與代理的能力相匹配)，同時(shí)確保不受歡迎的詞條一定得到及時(shí)的處理，并公平地 在代理之間分配。因此該系統(tǒng)自動(dòng)地跟蹤不受歡迎的工作詞條，并確保每個(gè)代理“公平分享”不受歡迎的工作詞條。根據(jù)本發(fā)明的另一方面，提供了一種用于回答由用戶提交的自然語言問題的計(jì)算 機(jī)系統(tǒng)，包括如上文所述的用于將問題分配給所述研究者的計(jì)算機(jī)系統(tǒng)，和將所述計(jì)算機(jī) 系統(tǒng)連接到所述用戶以將答案發(fā)送給所述用戶的通信網(wǎng)絡(luò)。上文所述的系統(tǒng)通常響應(yīng)于提問者(或用戶)所提的問題而操作，并獨(dú)立于用于 將問題發(fā)送給系統(tǒng)的精確發(fā)送器?？赡艿陌l(fā)送器包括，但不限于短消信服務(wù)(SMQ，電子郵 件(e-mail)和語音消息(通過語音-文本技術(shù)或人工抄寫將語音消息轉(zhuǎn)換為文本)。通過 同類的發(fā)送器將后續(xù)的答案發(fā)送給提問者。注意，一個(gè)問題的答案不必通過相同的發(fā)送器 發(fā)送。本發(fā)明進(jìn)一步提供了處理器控制代碼，用以實(shí)現(xiàn)上述方法，特別是提供于例如磁 盤、CD或DVD-ROM、、例如只讀存儲(chǔ)器(固件)的編程存儲(chǔ)器等數(shù)據(jù)載體上，或提供于例 如光或電信號(hào)載體等數(shù)據(jù)載體上。用于實(shí)現(xiàn)本發(fā)明的實(shí)施例的代碼(和/或數(shù)據(jù))可 包括例如C語言等常規(guī)編程語言中的源、目標(biāo)或可執(zhí)行代碼，或匯編代碼，用于設(shè)置或控 制 ASIC (Application Specific Integrated Circuit 專用集成電路)或 FPGE (Field Programmable Gate Array現(xiàn)場(chǎng)可編程門陣列)的代碼，或用于硬件描述語言的代碼，例如 Verilog (商標(biāo))或 VHDL (Very highspeed integrated circuit Hardware Description Language超高速集成電路硬件描述語言)。本領(lǐng)域技術(shù)人員應(yīng)該理解，所述代碼和/或數(shù) 據(jù)可分布在互相通信的多個(gè)耦合的部件中。


圖1是顯示第一手動(dòng)問答過程的流程圖；圖2是顯示圖1的過程的修改，其中重新使用了先前答案；圖3a是分離的定向圖，其中每個(gè)結(jié)點(diǎn)代表問題/答案對(duì)，其上標(biāo)注了結(jié)點(diǎn)B的發(fā) 送閉包；圖北是顯示調(diào)解器如何將典型答案與問題相關(guān)聯(lián)的流程圖；圖4是顯示來自圖1到圖3的自動(dòng)問答過程的流程圖；圖5是用于圖3的過程的整體系統(tǒng)架構(gòu)的示意圖；圖6是在問答過程中用于研究者的示例性用戶界面；圖7是用于查看問題分組的用戶界面；圖8是用于將問題分組關(guān)聯(lián)到典型答案的用戶界面；圖9是針對(duì)典型答案來確認(rèn)問題分組成員的用戶界面；圖IOa是顯示可能情況下用于自動(dòng)回答問題的可選過程的流程圖；圖IOb是用于圖IOa的過程的整體系統(tǒng)架構(gòu)的示意圖；圖11是用于在圖IOa的過程中用來輸入問題的移動(dòng)設(shè)備用戶界面的示意性圖 示；圖12是用于在圖IOa的過程中用來呈現(xiàn)各個(gè)問題和答案對(duì)的移動(dòng)設(shè)備用戶界面 的示意性圖示；圖13是顯示在可能的情況下用于自動(dòng)回答問題的可選過程的流程圖；圖14是用于圖13所示的過程的整體系統(tǒng)架構(gòu)的示意圖15是用于另一實(shí)施例的整體系統(tǒng)架構(gòu)的示意圖；圖16是工作詞條的不受歡迎程度隨時(shí)間演變的示例；圖17a，17b和17c顯示了階梯、線性和橢圓時(shí)間衰落函數(shù)；以及圖18是顯示代理的當(dāng)前閾值和工作詞條的不受歡迎程度的圖表指示的用戶界面 的示例。
具體實(shí)施例方式圖1到圖9顯示了一個(gè)用于自動(dòng)回答自然語言問題的計(jì)算機(jī)系統(tǒng)是如何操作以響 應(yīng)提問者(或用戶)所提出的問題。該系統(tǒng)獨(dú)立于用于將這些問題發(fā)送給該系統(tǒng)的精確發(fā) 送器?？赡艿陌l(fā)送器包括，但不限于短消信服務(wù)(SMS)，電子郵件(e-mail)和語音消息(通 過語音-文本技術(shù)或人工抄寫將語音消息轉(zhuǎn)換為文本)。通過同類的發(fā)送器將后續(xù)的答案 發(fā)送給提問者。注意，問題的答案不必通過相同的發(fā)送器發(fā)送。圖1顯示了用于自動(dòng)回答問題的數(shù)據(jù)庫的形成的初始階段。開始，問題完全由人 工研究者回答，但是要維護(hù)所有問題/答案對(duì)的數(shù)據(jù)庫。在步驟S100，用戶提出了問題，該 問題被發(fā)送到系統(tǒng)。在步驟S102，嘗試將該問題與關(guān)聯(lián)了典型答案的問題相匹配。關(guān)于該 匹配步驟的更多信息參見關(guān)于圖4的描述。在圖1所描述的初始階段中，沒有發(fā)現(xiàn)匹配，在 步驟S104，問題被發(fā)送給研究者。在步驟S106，研究者搜索所有問題/答案對(duì)的數(shù)據(jù)庫。該 搜索可以是自動(dòng)的(即可為研究者提供可能的匹配的列表，該列表來自自動(dòng)產(chǎn)生的源自輸 入的問題的搜索詞條)，可以是手動(dòng)的(即研究者利用手動(dòng)產(chǎn)生的搜索詞條自己搜索數(shù)據(jù) 庫)，或者可以是兩者的結(jié)合。該系統(tǒng)獨(dú)立于用于搜索該數(shù)據(jù)庫的精密機(jī)械。該算法包括， 但不限于，例如簡(jiǎn)單的“詞袋法”搜索，或詞頻-逆向文件頻率(TF-IDF)搜索。利用S102步驟中的搜索，由于數(shù)據(jù)庫處于形成的早期階段，沒有找匹配。因此，在 步驟S108，研究者例如利用教科書、互聯(lián)網(wǎng)或其他類似的資源來搜索針對(duì)該問題的答案，并 在SllO寫出答案。在步驟S112，在數(shù)據(jù)庫中記錄該問題/答案對(duì)。如圖6中更詳細(xì)地描述 的，用于構(gòu)建該答案的資源的記錄也在步驟S221保留。用于構(gòu)建特定的問題/答案對(duì)的資 源可能形成用于研究類似問題的很好的起點(diǎn)。該答案在步驟S114被發(fā)送，并在步驟S116 由提問者(用戶)接收，在步驟S118該系統(tǒng)結(jié)束。圖2示出了圖1所示的系統(tǒng)的變體，其中同樣的步驟的編號(hào)相同。如圖1所示，在 步驟S106，研究者搜索所有問題/答案對(duì)的數(shù)據(jù)庫，找到了匹配。因此，由步驟S120代替研 究步驟S108，在步驟S120中重新使用找到的答案。如步驟SlM所示，答案可以完全照原 樣重新使用，或在發(fā)送給提問者之前進(jìn)行修改。例如，如果在數(shù)據(jù)庫中存在如下問題/答案 對(duì)Q 詹姆斯迪恩是何時(shí)去世的？A 詹姆斯迪恩是在1955年9月30日的車禍中去世的，當(dāng)時(shí)他駕駛在加利福尼亞 州喬萊姆的美國466號(hào)高速公路上，一輛汽車進(jìn)入他的車道。在步驟S1M，在處理問題“詹姆斯迪恩去世時(shí)駕駛的是什么車”時(shí)，研究者可重新 使用該答案，將該答案修改成(斜體字為修改)詹姆斯迪恩是在1955年9月30日的車禍中去世的，當(dāng)時(shí)他駕駛一輛 疾在加利福尼亞州喬萊姆的美國466高速公路上，一輛汽車進(jìn)入他的車道。如步驟S122所示，無論何時(shí)研究者選擇重新使用先前的答案時(shí)，他們選擇這樣作 的事件記錄被保留下來。這增加了先前的問題/答案對(duì)和新的問題/答案對(duì)之間的關(guān)系。 隨著時(shí)間過去，這些關(guān)系建立起分離的定向圖，如圖3a所示，其中圖中的每個(gè)結(jié)點(diǎn)(A，B, C 等等)是問題/答案對(duì)，且每個(gè)弧形(arc)指示先前答案的重新使用，例如答案J在問題/ 答案對(duì)0和N中被重新使用。從這張圖中，自動(dòng)得到一組“問題分組”，其中每個(gè)問題分組是一組從上述圖的發(fā) 送閉包(transitive closure)形成的問題/答案對(duì)。圖的發(fā)送閉包C(G)是包括邊沿(u， ν)的圖，只要有從u到ν的定向路徑。針對(duì)節(jié)點(diǎn)B的發(fā)送閉包被加亮。這是一個(gè)完全自動(dòng) 化的步驟?？梢噪S著新的問題/答案對(duì)被添加到數(shù)據(jù)庫而異步或適時(shí)地產(chǎn)生問題分組。問題 /答案對(duì)的分離的定向分組的形成是能夠產(chǎn)生典型答案的技術(shù)效果。如圖北所示，一旦在步驟S130產(chǎn)生了問題分組，則將問題分組呈現(xiàn)給調(diào)節(jié)器12， 在步驟S132調(diào)節(jié)器可將每個(gè)分組與“典型答案”相關(guān)聯(lián)。例如問題分組可以是Q 詹姆斯迪恩是何時(shí)去世的？(When did James Dean die ？)Α:詹姆斯迪恩是在1955年9月30日的車禍中去世的，當(dāng)時(shí)他駕駛在加利福尼亞 州喬萊姆的美國466高速公路上，一輛汽車進(jìn)入他的車道。Q 詹姆斯迪恩是在何處去世的？A 詹姆斯迪恩是在1955年9月30日的車禍中去世的，當(dāng)時(shí)他駕駛在加利福尼亞 州喬萊姆的美國466高速公路上，一輛汽車進(jìn)入他的車道。Q 詹姆斯迪恩去世時(shí)駕駛的是什么車？詹姆斯迪恩是在1955年9月30日的車禍中去世的，當(dāng)時(shí)他駕駛一輛保時(shí)捷550 斯派得在加利福尼亞州喬萊姆的美國466高速公路上，一輛汽車進(jìn)入他的車道。Q 詹姆斯迪恩是何時(shí)去世的？(Wen did James Dean die ？)Α:詹姆斯迪恩是在1955年9月30日的車禍中去世的，當(dāng)時(shí)他駕駛在加利福尼亞 州喬萊姆的美國466高速公路上，一輛汽車進(jìn)入他的車道。Q 詹姆斯迪恩·布拉德菲爾德是何時(shí)去世的？A 詹姆斯迪恩·布拉德菲爾德是著名的威爾士搖滾樂隊(duì)瘋狂街頭傳教士(Manic Street Preachers)的主吉他手和主唱。他仍在世。該分組可與以下示例性典型答案關(guān)聯(lián)，即提供了具有交疊度的答案中的所有細(xì)節(jié) 的答案詹姆斯迪恩是在1955年9月30日的車禍中去世的，當(dāng)時(shí)他駕駛一輛保時(shí)捷550 斯派得在加利福尼亞州喬萊姆的美國466高速公路上，一輛汽車進(jìn)入他的車道。這種情況下，典型答案是通過選擇針對(duì)第三個(gè)列出的問題/答案對(duì)的答案來產(chǎn)生 的。此外，可以組合來自該分組的幾個(gè)答案，或通過搜索來產(chǎn)生新的典型答案。通過將問題分組與典型答案相關(guān)聯(lián)，在步驟S134，調(diào)節(jié)器12針對(duì)分組的每個(gè)成員 決定它是否應(yīng)該利用該典型答案來回答。如果答案為是，在步驟S136將該決定記錄在數(shù)據(jù) 庫中，建立從問題到典型答案的映射。如果答案為否，在步驟S138也將該決定記錄在數(shù)據(jù)庫中。在上述示例中，以下問題應(yīng)被映射到該典型答案詹姆斯迪恩是何時(shí)去世的？(When did James Dean die ？)詹姆斯迪恩是在何處去世的？詹姆斯迪恩去世時(shí)駕駛的是什么車？詹姆斯迪恩是何時(shí)去世的？(Wen did James Dean die ？)而以下問題不應(yīng)被映射到該典型答案詹姆斯迪恩·布拉德菲爾德是何時(shí)去世的？圖北的調(diào)節(jié)器適用于確保時(shí)間敏感性低的問題被識(shí)別出來并被自動(dòng)回答。例如 包括 今年的復(fù)活節(jié)是哪一天？ ·世界上最快的汽車是哪一種？這可以通過將終止日期(或類似于“生存時(shí)間”的等效機(jī)制)與典型答案相關(guān)聯(lián) 而實(shí)現(xiàn)。一旦過了這個(gè)時(shí)期，將不再自動(dòng)回答與該典型答案相關(guān)聯(lián)的問題，直到調(diào)節(jié)器重新 確認(rèn)該典型答案。這可能包括簡(jiǎn)單地重新設(shè)定終止日期，改變典型答案，改變將哪些問題標(biāo) 記為由典型答案正確地回答了，或以上任意組合。如圖1和2所示，當(dāng)新的問題到來時(shí)，將其與映射到典型答案的所有問題進(jìn)行匹 配。在圖1和2中，沒有找到匹配，則需要人的參與來回答這個(gè)問題。然而，如圖4所示，如 果該問題匹配，在步驟SU6自動(dòng)發(fā)送相應(yīng)的典型答案。不需要人的參與。因此。儲(chǔ)存的典 型答案自動(dòng)響應(yīng)自然語言問題，具有提高效率的優(yōu)點(diǎn)，以及利用典型答案使得對(duì)提問的響 應(yīng)更快的效益。該系統(tǒng)獨(dú)立于所利用的精確匹配算法。可選擇的包括簡(jiǎn)單的基于關(guān)鍵詞的 搜索，TF-IDF http //en. wikipedia. orR/wiki/Tf-idf,或更多基于信息恢復(fù) http:// en. wikipedia. orR/wiki/information retrieval技術(shù)的成熟方法。最簡(jiǎn)單的是字至丨J字 匹配，但是可利用更多成熟算法，包括但不限于，不區(qū)分大小寫的匹配，等效字符隊(duì)列替代 (例如“和”與“&”)或基于自然語言處理(NLP)的匹配算法，NLP源自語法分析和/或輸入 的語義及儲(chǔ)存的鏈接的問題和答案對(duì)。隨著時(shí)間的推移，新的問題/答案對(duì)將被添加到問題分組(例如“詹姆斯迪恩去世 的日期是什么？)。這些新的問題將被發(fā)送給調(diào)解器，如參考圖3a和北所述。如果新的 問題映射到典型答案，則認(rèn)為這些問題被確認(rèn)。接下來將自動(dòng)地回答這些被確認(rèn)了的問題 (如果合適，及如果不依賴于日期)。不管利用何種匹配算法，不會(huì)令調(diào)解器重新確認(rèn)與先前確認(rèn)過的問題匹配的問 題，或與那些被標(biāo)記為不適于典型答案的問題匹配的問題。隨著時(shí)間的推移，該系統(tǒng)將產(chǎn)生 越來越大的可被自動(dòng)回答的問題的文集，以及伴隨著針對(duì)這些問題的越來越大的答案的文集。圖5顯示了實(shí)施了圖1到4所述的方法的整體系統(tǒng)架構(gòu)。提問者20將問題22 (本 例中利用移動(dòng)電話網(wǎng)絡(luò))發(fā)送到系統(tǒng)對(duì)。該問題22被發(fā)送到匹配器M，該匹配器將該輸 入的問題與儲(chǔ)存在數(shù)據(jù)庫30中的關(guān)聯(lián)了典型答案的問題進(jìn)行匹配。如果有匹配的問題，將 答案34 (本例中為典型答案)直接從數(shù)據(jù)庫30發(fā)送給提問者20，如上文參考圖4所述。
如果沒有匹配的問題，將輸入的問題22添加到未決問題沈的隊(duì)列，將該隊(duì)列發(fā)送 到研究者28 (如圖所示利用計(jì)算機(jī)網(wǎng)絡(luò))。該研究者觀開始搜索問題/答案對(duì)的數(shù)據(jù)庫 30，并且利用該搜索的結(jié)果產(chǎn)生答案32，如上文參考圖1和2所述。將由研究者觀產(chǎn)生的 答案32發(fā)送到數(shù)據(jù)庫30，且將答案34 (本例中為研究者產(chǎn)生的答案)從數(shù)據(jù)庫30發(fā)送到 提問者20。圖6是供研究者在回答問題期間使用的示例性的用戶界面。輸入問題被顯示在界 面的頂部。對(duì)問題/答案對(duì)的數(shù)據(jù)庫搜索的結(jié)果顯示在下面，且每個(gè)搜索結(jié)果具有相關(guān)聯(lián) 的“重新使用”按鈕40，如果顯示的答案適于輸入的問題，研究者可選擇該按鈕。如圖6所 示，搜索得到的問題和答案對(duì)不會(huì)以他們當(dāng)前的格式被重新使用來回答輸入的問題。然而， 可以利用針對(duì)第一個(gè)問題/答案對(duì)的修改格式的答案，其包含一些額外信息。因此，圖1所 述的過程適用于研究者必須進(jìn)行額外的搜索來找到針對(duì)輸入問題的答案，例如通過將搜索 詞條輸入手動(dòng)搜索對(duì)話框42并選擇相關(guān)聯(lián)的搜索按鈕44。搜索過程被簡(jiǎn)化了，因?yàn)槌舜鸢傅奈谋?，用來?gòu)建該答案的資源的記錄在圖1 和2的步驟S112中也被保留了。用來構(gòu)建特定問題/答案對(duì)的資源可構(gòu)成用于研究當(dāng)前 問題的好的起點(diǎn)。例如，包含詹姆斯迪恩何時(shí)及何地去世的細(xì)節(jié)的頁面很可能也包括他去 世時(shí)駕駛什么車的信息。這是重新使用先前答案的另一個(gè)重要優(yōu)點(diǎn)。一旦研究者找到了回 答該問題所需的額外信息，研究者將答案輸入到位于輸入問題下方的對(duì)話框46中，將該信 息的資源的細(xì)節(jié)添加到對(duì)話框47中，并點(diǎn)擊相關(guān)聯(lián)的發(fā)送按鈕48。圖7是供用戶，提別是調(diào)解器使用的用戶界面，用來查看問題分組。用戶界面顯示 分組的大小(問題的數(shù)量)以及每個(gè)分組的第一個(gè)個(gè)問題。調(diào)解器通過選擇相關(guān)聯(lián)的“查 看”按鈕50來查看每個(gè)問題分組中的所有問題。點(diǎn)擊“關(guān)聯(lián)”按鈕52將用戶轉(zhuǎn)換到界面 (例如圖8所示)使得用戶能夠?qū)⒚總€(gè)分組與典型答案相關(guān)聯(lián)。圖8是使調(diào)解器能夠?qū)⑿碌膯栴}分組關(guān)聯(lián)到典型答案的用戶界面。該用戶界面在 界面的頂部顯示新的問題分組中的第一個(gè)問題。在該問題之下，可能顯示來自每個(gè)已知問 題分組的示例性或普遍性的問題及其相應(yīng)的典型答案。如果問題分組不包含普遍性問題， 則利用對(duì)該問題分組的描述，例如關(guān)于詹姆斯迪恩的死亡的問題。如果已知典型答案其中 之一提供了針對(duì)新問題分組中的第一個(gè)問題的答案，則調(diào)解器通過簡(jiǎn)單地選擇每個(gè)已知問 題分組附近的“關(guān)聯(lián)”按鈕M將新問題分組關(guān)聯(lián)到已知的問題分組。如果沒有已知的典型 答案適用于該分組，也不能提供足夠的信息來回答分組中的第一個(gè)列出的問題，則用戶選 擇“產(chǎn)生新的典型答案”按鈕。如圖北所示，一旦將問題分組與典型答案相關(guān)聯(lián)，調(diào)解器針對(duì)該典型答案確認(rèn)該 分組中的每個(gè)問題。圖9顯示了使調(diào)解器能夠針對(duì)典型答案確認(rèn)問題分組成員的用戶界 面。在本例中，問題分組的題目是“關(guān)于詹姆斯迪恩的死亡的問題”，在界面的頂端顯示了典 型答案。在該分組的每個(gè)問題之下，列出了相關(guān)聯(lián)的“是”和“否”按鈕。如果由典型答案來 回答該問題，調(diào)解器選擇相關(guān)聯(lián)的“是”按鈕56，從而確認(rèn)該問題(如圖北中的步驟S136)。 如果不由典型答案回答該問題，調(diào)解器選擇相關(guān)聯(lián)的“否”按鈕58，從而將該問題標(biāo)記為不 能用典型答案自動(dòng)回答的問題之一(如圖北中的步驟S138)。該問題/答案對(duì)保留在分組 中。圖IOa到12顯示了用于回答自然語言問題的可選的混合手動(dòng)/自動(dòng)問答系統(tǒng)是如何操作以響應(yīng)提問者(或用戶)提出的問題。如上文所述，該系統(tǒng)獨(dú)立于用于將這些問 題發(fā)送到系統(tǒng)的精確發(fā)送器。在圖IOa的步驟S200中，用戶(或提問者)提出問題，在步驟S201該問題被系統(tǒng) 接收。在步驟S202，嘗試將該問題與儲(chǔ)存在系統(tǒng)中的問題/答案對(duì)相匹配。在步驟S204， 匹配器識(shí)別的所有的匹配被返回到用戶，并在步驟S206由用戶查看。如果問題/答案匹配 列表提供了提問者所需的答案，則不需人工參與，該過程在S208結(jié)束。然而，在形成數(shù)據(jù)庫 的初始階段，可能找不到匹配。此外，返回的匹配可能不適于用戶。例如一些類型的問題依 賴于“當(dāng)前信息”，例如“明天的天氣預(yù)報(bào)是什么？ ”。盡管很可能該問題已經(jīng)被提問過，且返 回很多匹配的問題/答案對(duì)，但這些答案不太可能正確。因此，在步驟S210，用戶選擇將問 題發(fā)送給研究者的選項(xiàng)。在步驟S212，系統(tǒng)接收到將問題發(fā)送給研究者的請(qǐng)求，并將其添加到用于研究者 的未決問題隊(duì)列。然后由系統(tǒng)將問題發(fā)送給研究者，且在步驟S214研究者例如利用教科 書、互聯(lián)網(wǎng)或其他類似資源來研究針對(duì)該問題的答案，并在步驟S216寫下答案。在步驟 S218，在數(shù)據(jù)庫中記錄該問題/答案對(duì)。用于構(gòu)建該答案的資源的記錄也可以被保留。用 于構(gòu)建特定的問題/答案對(duì)的資源可能構(gòu)成重新研究類似問題的很好的起點(diǎn)。在步驟S220 該問題/答案對(duì)被發(fā)送給數(shù)據(jù)庫，并在步驟S222由提問者接收，在步驟S2M該系統(tǒng)結(jié)束。圖IOb顯示了實(shí)現(xiàn)了圖IOa所示的方法的整體系統(tǒng)架構(gòu)。提問者220發(fā)送問題 (本例中利用移動(dòng)電話網(wǎng)絡(luò))到該系統(tǒng)。將該問題被發(fā)送到匹配器224，該匹配器將輸入的 問題針對(duì)儲(chǔ)存在數(shù)據(jù)庫230中的問題/答案對(duì)進(jìn)行匹配。如果有任何匹配的問題/答案對(duì)， 將該匹配的問題/答案對(duì)直接從數(shù)據(jù)庫230發(fā)送到提問者220。如上文所述，有許多可能的匹配算法。例如，該數(shù)據(jù)庫可包括以下鏈接的問題/答 案對(duì)Q 皇后樂隊(duì)的主唱是因何去世的？A 弗雷迪 梅庫里(Freddie Mercury)，皇后樂隊(duì)主唱，死于由艾滋病引起的支氣 管肺炎。該鏈接的問題/答案對(duì)與輸入的問題“弗雷迪·梅庫里是因何去世的？ ”相匹配。 然而，如果問題只和問題比較，那么這兩個(gè)問題之間不存在匹配。如果沒有匹配結(jié)果能夠回答用戶的問題，或者沒有返回匹配對(duì)，用戶可以利用“詢 問研究者”選項(xiàng)。該問題被添加到服務(wù)器上的未決問題序列226，供上文所述的人工研究者 240審查。在研究者構(gòu)建了針對(duì)該問題的答案后，將新的問題/答案對(duì)添加到數(shù)據(jù)庫230，并 將答案發(fā)送給用戶的移動(dòng)設(shè)備。很多發(fā)送器都可用來將該答案發(fā)送給用戶的移動(dòng)設(shè)備，但 是事實(shí)上人工研究者會(huì)花些時(shí)間來構(gòu)建該答案，這意味著例如SMS的異步機(jī)制最為合適。圖11是用戶將問題輸入到對(duì)話框300的示例性用戶界面。該界面可以實(shí)現(xiàn)為安 裝在移動(dòng)設(shè)備上的應(yīng)用程序，通過移動(dòng)網(wǎng)頁或任何其他機(jī)制。輸入之后，用戶點(diǎn)擊按鈕“發(fā) 送” 310發(fā)送該問題，該問題被發(fā)送給服務(wù)器。圖12示出了顯示匹配結(jié)果界面的示例。界面的頂端顯示了提問者提出的問題，在 該原始問題之下顯示了由匹配器返回的問題/答案對(duì)列表312。如果這些問題/答案對(duì)沒 有合適的，-用戶可點(diǎn)擊“提問研究者”按鈕314以將該問題發(fā)送到上文所述的未決問題隊(duì) 列。
利用參考圖1到9所述的系統(tǒng)，隨著時(shí)間的推移，該系統(tǒng)將產(chǎn)生越來越大的可自動(dòng) 返回提問者的問題/答案對(duì)的文集。而且，通過自動(dòng)回答這些頻繁提問的問題，可對(duì)自動(dòng)回 答的問題的數(shù)量起到很大的影響。如上文所述，圖IOa到12所示的系統(tǒng)所適用的問題的子 集是那些其答案非時(shí)間敏感的問題(即昨天針對(duì)這些問題的正確答案在今天仍然是正確 答案)。圖13和14描繪了本發(fā)明的適用于自動(dòng)處理這些時(shí)間依賴問題的實(shí)施例。可通過 產(chǎn)生大量的“自動(dòng)代理”來處理時(shí)間依賴的問題的子集，該“自動(dòng)代理”解決普通的問題類 型。這些代理利用自然語言解析(NLP)技術(shù)從問題來從問題中提取相關(guān)的詢問數(shù)據(jù)，然后 詢問實(shí)施數(shù)據(jù)饋送以產(chǎn)生最新的答案。示例可包括關(guān)于天氣、金融市場(chǎng)、比賽結(jié)果等等的問 題。對(duì)于特定的問題，現(xiàn)有的自然語言解析系統(tǒng)通常產(chǎn)生多個(gè)不同的解析——解釋問 題的不同方式，這些方式與自然語言規(guī)則一致。然后根據(jù)哪個(gè)更可能來將這些解析排序。現(xiàn) 有的問題的文集可用來訓(xùn)練這些自動(dòng)代理來根據(jù)真實(shí)用戶的實(shí)際使用模式對(duì)這些解析進(jìn) 行排序，來增加它們的準(zhǔn)確性。此外，可獲得新的解析來處理從更傳統(tǒng)的應(yīng)用變化得到的真 實(shí)文字語言的情況(移動(dòng)用戶通常利用更信息化的語言，包括非常簡(jiǎn)潔和風(fēng)格化的“縮寫 詞(txtspk) ”http://en. wikipedia. org/wiki/SMS_language)。圖13示出了該過程，圖14示出了整體系統(tǒng)架構(gòu)的示意圖。在圖13中，在步驟 S400，用戶(或提問者)提出了一個(gè)問題，該問題在步驟S401被該系統(tǒng)接收。在步驟S402， 該系統(tǒng)確定該問題是否為時(shí)間依賴的。如果該問題不是時(shí)間依賴的，在步驟S404嘗試將該 問題與儲(chǔ)存在系統(tǒng)中的問題/答案對(duì)進(jìn)行匹配。如果系統(tǒng)確定該問題是時(shí)間依賴的，在步 驟S409，系統(tǒng)中的自動(dòng)代理向適當(dāng)?shù)膶?shí)時(shí)饋送發(fā)送詢問以獲得這樣的信息，并在步驟S410 產(chǎn)生相應(yīng)的答案。在步驟S406，將所有的結(jié)果返回給用戶，并在步驟S408由用戶查看這些 結(jié)果。在上述實(shí)施例中，如果問題/答案匹配列表提供了提問者所需的答案，則不需要 人工參與，且整個(gè)自動(dòng)過程結(jié)束。然而，如果答案不正確，用戶可選擇將問題發(fā)送給研究者 的選項(xiàng)，且研究者如上文所述提供答案，這樣該系統(tǒng)就變成了混合手動(dòng)/自動(dòng)系統(tǒng)。簡(jiǎn)言 之，在圖13中省略了求助于研究者的步驟。在圖14中，提問者220將問題發(fā)送到系統(tǒng)(本例中利用移動(dòng)電話網(wǎng)絡(luò))。該問題 被發(fā)送給第一自動(dòng)代理412以確定該問題是否為時(shí)間依賴的。如果該問題是時(shí)間依賴的， 第一自動(dòng)代理將該問題發(fā)送給第二自動(dòng)代理414，如果該問題不是時(shí)間依賴的，則將該問題 發(fā)送給上文所述的匹配器224。應(yīng)理解可以由單個(gè)實(shí)體來提供第一和第二自動(dòng)代理的功能。 可通過匹配器2M或第二自動(dòng)代理414將合適的答案饋送給提問者。如果沒有匹配結(jié)果能夠回答用戶的問題，或者時(shí)間依賴的答案不正確，用戶可利 用如上文所述的“提問研究者”選項(xiàng)。因此，圖13所示的系統(tǒng)可適用于在服務(wù)器中包含未 決問題隊(duì)列，供人工研究者審查，如上文參考圖IOb所述。此外，圖13和14的實(shí)施例可適 用于圖1到9所述的系統(tǒng)，其中產(chǎn)生典型答案。換言之，在檢查是否儲(chǔ)存了典型答案之前， 該系統(tǒng)可檢查問題是否是時(shí)間依賴的。如果問題不是時(shí)間依賴的，系統(tǒng)將嘗試尋找合適的 典型答案。如果找不到典型答案，該系統(tǒng)將如參考圖1到9所述的那樣繼續(xù)運(yùn)行。圖15顯示了包含服務(wù)器510的計(jì)算機(jī)系統(tǒng)，該服務(wù)器包括數(shù)據(jù)庫512，用于存儲(chǔ)提交到系統(tǒng)的所有工作詞條，例如自然語言問題。將這些待處理的工作詞條儲(chǔ)存在未決工 作詞條514的文件夾中，完成的工作詞條存儲(chǔ)在完成工作詞條516的文件夾中。多個(gè)研究 者518(代理)通過單獨(dú)的個(gè)人電腦或工作站520以及通信網(wǎng)絡(luò)，例如互聯(lián)網(wǎng)之類，與服務(wù) 器510通信。每個(gè)研究者執(zhí)行以下步驟1、如箭頭A所示，每個(gè)研究者518查看未決工作詞條514的列表(或其子集)。2、每個(gè)研究者518從該列表中選擇工作詞條(此時(shí)其不能被任何其他代理獲得)。3、每個(gè)研究者518處理他自己選擇的工作詞條，且完成時(shí)，將答案發(fā)送給完成工 作詞條516的列表，如箭頭B所示。4、然后該研究者返回步驟1重新開始該過程。圖16示出了工作詞條不受歡迎程度隨著事件而進(jìn)展的示例，其中利用了由服務(wù) 器實(shí)施的簡(jiǎn)單算法。在第一階段，將六個(gè)未決工作詞條中的三個(gè)呈現(xiàn)給代理。最初所有的 工作詞條的不受歡迎程度值為0。代理選擇工作詞條C。根據(jù)該算法，所選擇的詞條以上的 所有詞條的不受歡迎程度增加1，即工作詞條A和B的不受歡迎程度增加到1。所選擇的工 作詞條以下的工作詞條的不受歡迎程度保持0不變。在第二階段，將五個(gè)未決工作詞條中的四個(gè)呈現(xiàn)給代理。所呈現(xiàn)的工作詞條(D到 F)中的三個(gè)的不受歡迎程度分?jǐn)?shù)為0，一個(gè)工作詞條(A)的分?jǐn)?shù)為1。工作詞條B沒有呈 現(xiàn)，因?yàn)橐呀?jīng)被其他代理選擇。代理選擇工作詞條E。再次應(yīng)用該算法，在所選擇的詞條之 上的所有工作詞條的不受歡迎程度增加1，即工作詞條A的不受歡迎程度分?jǐn)?shù)增加到2，工 作詞條D的不受歡迎程度分?jǐn)?shù)增加到1。所選擇的工作詞條之下的工作詞條的不受歡迎程 度保持0不變。服務(wù)器還根據(jù)代理過去選擇的工作詞條的不受歡迎程度分?jǐn)?shù)的時(shí)間加權(quán)組合，來 計(jì)算該代理的個(gè)人不受歡迎程度分?jǐn)?shù)。根據(jù)時(shí)間衰落函數(shù)來合成該分?jǐn)?shù)。圖16a到16c示 出了各種可利用的不同的時(shí)間衰落函數(shù) 圖16a示出了階梯函數(shù)(例如最近過去1小時(shí)內(nèi)選擇的工作詞條同等計(jì)算，之 前選擇的工作詞條不計(jì)算)。 圖16b顯示了線性衰落函數(shù)(例如最近過去的60分鐘內(nèi)選擇的工作詞條與 l-t/60加權(quán)組合，其中t表示時(shí)間)。 圖16c示出了橢圓衰落函數(shù)。圖16a到16c所示的衰落函數(shù)列表并非是窮盡的。也可利用其他衰落函數(shù)，例如 其他復(fù)雜的衰落函數(shù)例如指數(shù)衰落函數(shù)等等。從回答的問題列表計(jì)算代理的不受歡迎程度分?jǐn)?shù)的示例如下代理處理工作詞條A (不受歡迎程度10)，從15分鐘之前到現(xiàn)在。工作詞條B(不受歡迎程度0)，從30分鐘之前到15分鐘之前。工作詞條C (不受歡迎程度5)，從45分鐘之前到30分鐘之前。工作詞條D (不受歡迎程度0)，從50分鐘之前到45分鐘之前。工作詞條E (不受歡迎程度20)，從60分鐘之前到50分鐘之前。工作詞條F (不受歡迎程度10)，從70分鐘之前到60分鐘之前。代理的值(總不受歡迎程度)
利用線性時(shí)間衰落函數(shù)l-t/60，代理的總不受歡迎程度值可計(jì)算如下Σ (^-^fl-^rV
items*t<60V ^ZU J其中(t1; t2)是時(shí)間間隔，在此時(shí)間間隔期間處理工作詞條，U是該工作詞條的不 受歡迎程度。所以，對(duì)于上述工作歷史記錄(50-45( 1-1^10 + (60-50(1 —
Vv 120 J120 j= 131. 25+0+28. 125+0+16. 667= 176.042代理的當(dāng)前水平是其當(dāng)前不受歡迎程度分?jǐn)?shù)與所有當(dāng)前工作的代理的不受歡迎 程度分?jǐn)?shù)的平均值的比。因此，如果所有工作的代理的平均水平是124. 065，那么該代理的 當(dāng)前水平是1.42 1，即142%。圖18示出了代理的值(水平)以百分?jǐn)?shù)顯示的用戶界面。該水平可以多種其他 的數(shù)字方式顯示，包括(但不限于) 用數(shù)字(例如“您的當(dāng)前水平是23. 6，對(duì)比的平均水平是12. 4”)。 用比率(例如“您的當(dāng)前水平是1. 2 1”)。 用歸一化的百分比，其中50%代表“平均”水平(例如“您的當(dāng)前水平是34%”)。 用圖(例如當(dāng)“交通燈”顯示綠色時(shí)指示水平在平均水平及以上，黃色指示低于 平均水平，紅色指示遠(yuǎn)低于平均水平)。圖18也示出了用圖顯示的工作詞條不受歡迎程度，其中“微笑面孔”圖標(biāo)用以指 示選擇該工作詞條將增加代理的水平，“大笑面孔”圖標(biāo)用以指示選擇該工作詞條將大大增 加代理的水平，沒有面孔則指示該工作詞條的不受歡迎程度水平為0。此外，該工作詞條不受歡迎程度值還可以多種不同方式顯示，包括(但不限于) 用數(shù)字(例如“不受歡迎程度5”) 用它們將對(duì)代理的水平起到的影響(例如“選擇該詞條可將您的水平增加到 12. 2”)毫無疑問，本領(lǐng)域技術(shù)人員可獲得很多其他有效的選擇。應(yīng)理解本發(fā)明不限于上 述實(shí)施例，還包括對(duì)于本領(lǐng)域技術(shù)人員來說顯而易見的修改，它們也處于所附的權(quán)利要求 書的實(shí)質(zhì)和范圍中。
權(quán)利要求
1.一種用于自動(dòng)回答自然語言問題的計(jì)算機(jī)系統(tǒng)，該系統(tǒng)包括接收所述自然語言問題的輸入端，；記錄鏈接的問題和相應(yīng)答案對(duì)的數(shù)據(jù)存儲(chǔ)器；用于比較接收的自然語言問題和鏈接的問題和答案對(duì)的匹配器；用于在沒有找到匹配時(shí)將所述接收的自然語言問題發(fā)送給研究者的輸出端。
2.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)系統(tǒng)，進(jìn)一步包括將問題和相應(yīng)答案對(duì)鏈接到分組中的系統(tǒng)，用來產(chǎn)生針對(duì)問題和答案對(duì)的每個(gè)分組的 典型答案，并將所述典型答案存儲(chǔ)在所述數(shù)據(jù)存儲(chǔ)器中；其中所述匹配器比較所述接收的 自然語言問題和所述數(shù)據(jù)存儲(chǔ)器中具有相關(guān)聯(lián)的典型答案的問題，并響應(yīng)于所述匹配，輸 出針對(duì)所述問題的所述相關(guān)聯(lián)的典型答案。
3.根據(jù)權(quán)利要求2所述的計(jì)算機(jī)系統(tǒng)，其中鏈接問題和相應(yīng)答案對(duì)的所述系統(tǒng)用于構(gòu) 建所述問題和相應(yīng)答案對(duì)的分離的定向圖。
4.根據(jù)權(quán)利要求2或3所述的計(jì)算機(jī)系統(tǒng)，其中鏈接問題和相應(yīng)答案對(duì)的所述系統(tǒng) 包括調(diào)解器用戶界面，該調(diào)解器用戶界面用于將所述問題和相應(yīng)答案對(duì)的分組呈現(xiàn)給調(diào)解 器，用于查看以產(chǎn)生所述典型答案，并且該調(diào)解器用戶界面用于將所述典型答案輸入到所 述數(shù)據(jù)存儲(chǔ)器以存儲(chǔ)與所述問題和相應(yīng)答案對(duì)的分組相關(guān)聯(lián)的所述典型答案。
5.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)系統(tǒng)，其中所述匹配器用于輸出與所述接收的自然語 言問題相匹配的所有鏈接的問題和答案對(duì)。
6.根據(jù)權(quán)利要求5所述的計(jì)算機(jī)系統(tǒng)，進(jìn)一步包括接收請(qǐng)求以將特定自然語言問題發(fā) 送給研究者的輸入端，其中所述輸出端響應(yīng)于所述請(qǐng)求將所述特定自然語言問題發(fā)送給研 究者。
7.根據(jù)前述任意一項(xiàng)權(quán)利要求中所述的計(jì)算機(jī)系統(tǒng)，進(jìn)一步包括研究者用戶界面，該 研究者用戶界面將所述問題呈現(xiàn)給研究者，并為研究者呈現(xiàn)輸入對(duì)話框以輸入針對(duì)呈現(xiàn)的 問題的答案。
8.根據(jù)前述任意一項(xiàng)權(quán)利要求中所述的計(jì)算機(jī)系統(tǒng)，其中所述數(shù)據(jù)存儲(chǔ)器存儲(chǔ)用于產(chǎn) 生每個(gè)鏈接的問題和答案對(duì)的資源的記錄，以及其中所述系統(tǒng)能夠輸出帶有所述鏈接的問 題和答案對(duì)的所述記錄。
9.根據(jù)前述任意權(quán)利要求中所述的計(jì)算機(jī)系統(tǒng)，該計(jì)算機(jī)系統(tǒng)用于確定該系統(tǒng)接收的 問題是否為時(shí)間依賴的。
10.根據(jù)權(quán)利要求9所述的計(jì)算機(jī)系統(tǒng)，進(jìn)一步包括詢問實(shí)時(shí)數(shù)據(jù)饋送以產(chǎn)生針對(duì)時(shí) 間依賴問題的答案的裝置。
11.根據(jù)權(quán)利要求9或10所述的計(jì)算機(jī)系統(tǒng)，其中利用自然語言解析系統(tǒng)來確定問題 是否為時(shí)間依賴的。
12.根據(jù)前述任意權(quán)利要求中所述的計(jì)算機(jī)系統(tǒng)，進(jìn)一步適用于將待回答的自然語言 問題分配給研究者，該系統(tǒng)進(jìn)一步包括用于為每一個(gè)所述自然語言問題分配不受歡迎程度分?jǐn)?shù)的服務(wù)器；多個(gè)研究者工作站，每個(gè)研究者工作站具有研究者用戶界面；以及將所述服務(wù)器連接到所述多個(gè)研究者工作站的通信網(wǎng)絡(luò)；其中每個(gè)研究者用戶界面向研究者呈現(xiàn)多個(gè)所述自然語言問題，以及其中所述服務(wù)器基于由所述研究者選擇的每個(gè)自然語言問題的不受歡迎程度分?jǐn)?shù)為每個(gè)研究者分配一個(gè)值。
13.根據(jù)權(quán)利要求12所述的計(jì)算機(jī)系統(tǒng)，其中所述研究者用戶界面顯示每個(gè)呈現(xiàn)的工 作詞條的不受歡迎程度分?jǐn)?shù)的指示。
14.根據(jù)前述任意權(quán)利要求中所述的計(jì)算機(jī)系統(tǒng)，其中服務(wù)器用于為每個(gè)自然語言問 題分配為零的初始不受歡迎程度分?jǐn)?shù)，并后續(xù)通過跟蹤自然語言問題何時(shí)呈現(xiàn)給研究者且 沒被回答而增加每個(gè)自然語言問題的不受歡迎程度分?jǐn)?shù)。
15.根據(jù)權(quán)利要求14所述的計(jì)算機(jī)系統(tǒng)，其中通過確定每個(gè)自然語言問題在呈現(xiàn)給研 究者的工作詞條列表中相對(duì)于所述研究者所選擇的自然語言問題的位置，來增加每個(gè)自然 語言問題的不受歡迎程度分?jǐn)?shù)。
16.根據(jù)權(quán)利要求12到15中任意一項(xiàng)所述的計(jì)算機(jī)系統(tǒng)，其中所述服務(wù)器用于根據(jù)特 定時(shí)間框內(nèi)由所述研究者選擇的每個(gè)自然語言問題的不受歡迎程度分?jǐn)?shù)的時(shí)間加權(quán)組合， 來計(jì)算每個(gè)研究者的所述值。
17.根據(jù)權(quán)利要求16所述的計(jì)算機(jī)系統(tǒng)，其中所述服務(wù)器利用修正的時(shí)間衰落函數(shù)， 根據(jù)每個(gè)工作詞條的不受歡迎程度分?jǐn)?shù)的時(shí)間加權(quán)組合來計(jì)算所述值。
18.一種用于自動(dòng)回答自然語言問題的計(jì)算機(jī)系統(tǒng)，該系統(tǒng)包括用于接收所述自然語言問題的輸入端；研究者用戶界面，用于將所述問題呈現(xiàn)給研究者，并輸入針對(duì)呈現(xiàn)的問題的答案；以及用于記錄問題和相應(yīng)答案對(duì)的數(shù)據(jù)存儲(chǔ)器；以及進(jìn)一步包括將問題和相應(yīng)答案對(duì)鏈接到分組中的系統(tǒng)，用于產(chǎn)生針對(duì)問題和答案對(duì)的每個(gè)分組的 典型答案，并將所述典型答案存儲(chǔ)在所述數(shù)據(jù)存儲(chǔ)器中；以及將所述接收的自然語言問題與所述數(shù)據(jù)存儲(chǔ)器中的具有相關(guān)聯(lián)的典型答案的問題相 匹配，并響應(yīng)于所述匹配輸出針對(duì)所述問題的所述相關(guān)聯(lián)的典型答案的系統(tǒng)。
19.根據(jù)權(quán)利要求18所述的計(jì)算機(jī)系統(tǒng)，其中所述鏈接問題和相應(yīng)答案對(duì)的系統(tǒng)用于 構(gòu)建所述問題和相應(yīng)答案對(duì)的分離的定向圖。
20.根據(jù)權(quán)利要求19所述的計(jì)算機(jī)系統(tǒng)，其中所述鏈接問題和相應(yīng)答案對(duì)的系統(tǒng)用于 建立所述圖的發(fā)送閉包以識(shí)別將由所述典型答案回答的問題和相應(yīng)答案對(duì)的所述分組。
21.根據(jù)權(quán)利要求18到20中任意一項(xiàng)所述的計(jì)算機(jī)系統(tǒng)，其中所述鏈接問題和相應(yīng)答 案對(duì)的系統(tǒng)包括調(diào)解器用戶界面，該調(diào)解器用戶界面用于將問題和相應(yīng)答案對(duì)的所述分組 呈現(xiàn)給調(diào)解器，用于查看以產(chǎn)生所述典型答案，并且該調(diào)解器用戶界面用于將所述典型答 案輸入到所述數(shù)據(jù)存儲(chǔ)器以存儲(chǔ)與問題和相應(yīng)答案對(duì)的所述分組相關(guān)聯(lián)的所述典型答案。
22.根據(jù)權(quán)利要求21所述的計(jì)算機(jī)系統(tǒng)，其中所述調(diào)節(jié)器用戶界面用于使調(diào)解器能夠 從所述分組的所述答案中產(chǎn)生所述典型答案。
23.根據(jù)權(quán)利要求21或22所述的計(jì)算機(jī)系統(tǒng)，其中所述調(diào)解器用戶界面進(jìn)一步用于使 所述調(diào)解器能夠確認(rèn)問題和答案對(duì)的每個(gè)所述分組中的每個(gè)問題是否由與所述分組相關(guān) 聯(lián)的所述典型答案回答。
24.一種用于自動(dòng)回答自然語言問題的計(jì)算機(jī)系統(tǒng)，該系統(tǒng)包括用于接收所述自然語言問題的輸入端；用于記錄鏈接的問題和相應(yīng)答案對(duì)的數(shù)據(jù)存儲(chǔ)器；匹配器，用于比較所接收的自然語言問題和所述數(shù)據(jù)存儲(chǔ)器中的所述鏈接的問題和答 案對(duì)，并輸出所有與所述接收的自然語言問題相匹配的所述鏈接的問題和答案對(duì)； 接收請(qǐng)求來將特定自然語言問題發(fā)送給研究者的輸入端； 將所述特定自然語言問題發(fā)送給研究者的輸出端；其中所述數(shù)據(jù)存儲(chǔ)器用于接收來自所述研究者的針對(duì)所述特定自然語言問題的答案， 并在所述數(shù)據(jù)存儲(chǔ)器中存儲(chǔ)所述問題和接收的答案作為鏈接對(duì)，并輸出所述接收的答案。
25.如前述任意權(quán)利要求所述的計(jì)算機(jī)系統(tǒng)，用于確定該系統(tǒng)接收的問題是否為時(shí)間 依賴的，并可進(jìn)一步包括詢問實(shí)時(shí)數(shù)據(jù)饋送以產(chǎn)生針對(duì)時(shí)間依賴的問題的答案的裝置。
26.根據(jù)權(quán)利要求25所述的計(jì)算機(jī)系統(tǒng)，其中利用自然語言解析系統(tǒng)確定問題是否為 時(shí)間依賴的。
27.根據(jù)權(quán)利要求25或沈所述的計(jì)算機(jī)系統(tǒng)，其中利用問題和答案對(duì)的所述數(shù)據(jù)庫來 訓(xùn)練所述自然語言解析系統(tǒng)。
28.一種自動(dòng)回答自然語言問題的方法，該方法包括 處理自然語言問題和相應(yīng)答案對(duì)的數(shù)據(jù)存儲(chǔ)器； 輸入所述自然語言問題；將所述自然語言問題與所存儲(chǔ)的自然語言問題相匹配；輸出來自匹配步驟的所有匹配；以及如果沒有找到匹配，將特定自然語言問題發(fā)送給研究者；
29.根據(jù)權(quán)利要求觀所述的方法，進(jìn)一步包括將所述自然語言問題分組，并產(chǎn)生針對(duì) 所述分組的問題的典型答案。
30.根據(jù)權(quán)利要求觀所述的方法，進(jìn)一步包括接收請(qǐng)求以將所述特定自然語言問題發(fā) 送給研究者，并響應(yīng)于所述請(qǐng)求來發(fā)送所述特定自然語言問題。
31.一種自動(dòng)回答自然語言問題的方法，該方法包括處理自然語言問題和相應(yīng)答案對(duì)的數(shù)據(jù)存儲(chǔ)器，以將所述自然語言問題分組，并產(chǎn)生 針對(duì)所述分組的問題的典型答案； 輸入所述自然語言問題；將所述自然語言問題與所存儲(chǔ)的自然語言問題相匹配；以及 當(dāng)找到匹配時(shí)，利用所述典型答案自動(dòng)回答所述自然語言問題。
32.根據(jù)權(quán)利要求31所述的方法，其中處理所述數(shù)據(jù)存儲(chǔ)器包括構(gòu)建鏈接的問題和相 應(yīng)答案對(duì)的分離的定向圖。
33.根據(jù)權(quán)利要求32所述的方法，包括建立所述圖的發(fā)送閉包以識(shí)別由所述典型答案 回答的問題的每個(gè)所述分組。
34.根據(jù)權(quán)利要求四或31到33中任意一項(xiàng)所述的方法，包括通過如下方式產(chǎn)生每個(gè) 所述典型答案將鏈接的問題和相應(yīng)答案對(duì)的分組輸入到調(diào)解器用于查看，以及 接收來自所述調(diào)解器的所述典型答案。
35.根據(jù)權(quán)利要求34所述的方法，包括將每個(gè)問題和典型答案輸入到所述調(diào)解器用于查看，接收來自所述調(diào)解器的信息，該信息為每個(gè)問題是否將由所述典型答案回答，以及存儲(chǔ)所述信息。
36.根據(jù)權(quán)利要求四或31到35所述的方法，包括如果沒有匹配的存儲(chǔ)的自然語言問題，則將所述自然語言問題輸出給研究者， 接收來自所述研究者的答案， 將該答案發(fā)送給提問者，以及更新所述數(shù)據(jù)存儲(chǔ)器以在所述數(shù)據(jù)存儲(chǔ)器中包含所述問題和接收的答案作為鏈接對(duì)。
37.根據(jù)權(quán)利要求36所述的方法，其中接收的來自所述研究者的答案重新使用了來自 存儲(chǔ)在數(shù)據(jù)存儲(chǔ)器中的問題和相應(yīng)答案對(duì)的答案，且該方法進(jìn)一步包括將輸入的自然語言 問題與數(shù)據(jù)存儲(chǔ)器中的具有被重新使用的答案的問題分組，并產(chǎn)生針對(duì)分組的輸入的問題 和重新使用的問題的典型答案。
38.一種自動(dòng)回答自然語言問題的方法，該方法包括 處理鏈接的自然語言問題和相應(yīng)答案對(duì)的數(shù)據(jù)存儲(chǔ)器； 輸入所述自然語言問題；將所述自然語言問題與所存儲(chǔ)的鏈接的自然語言問題和相應(yīng)答案對(duì)相匹配； 輸出所有與所接收的自然語言問題相匹配的鏈接的自然語言問題和相應(yīng)答案對(duì)； 如果在所述輸出步驟之后接收到將特定自然語言問題發(fā)送給研究者的請(qǐng)求，則將該特 定自然語言問題發(fā)送給研究者；接收來自所述研究者的針對(duì)所述特定自然語言問題的答案；更新所述數(shù)據(jù)存儲(chǔ)器以在所述數(shù)據(jù)存儲(chǔ)器中包含所述問題和接收的答案作為鏈接對(duì);以及輸出所述接收的答案。
39.根據(jù)權(quán)利要求觀到38中任意一項(xiàng)所述的方法，包括確定所述系統(tǒng)接收的問題是否 是時(shí)間依賴的。
40.根據(jù)權(quán)利要求39所述的方法，進(jìn)一步包括詢問實(shí)時(shí)數(shù)據(jù)饋送以產(chǎn)生針對(duì)時(shí)間依賴 問題的答案。
41.根據(jù)權(quán)利要求39或40所述的方法，包括利用自然語言解析系統(tǒng)來確定問題是否是 時(shí)間依賴的。
42.根據(jù)權(quán)利要求39到41中任意一項(xiàng)所述的方法，包括利用鏈接的問題和答案對(duì)的所 述數(shù)據(jù)庫來訓(xùn)練所述自然語言解析系統(tǒng)。
43.一種用于自動(dòng)回答自然語言問題的計(jì)算機(jī)系統(tǒng)，該系統(tǒng)包括 接收所述自然語言問題的輸入端；確定輸入的自然語言問題是否為時(shí)間依賴的裝置；用于從實(shí)時(shí)數(shù)據(jù)饋送中提取針對(duì)時(shí)間依賴問題的答案的詢問裝置；發(fā)送所提取的答案的輸出端；接收將特定自然語言問題發(fā)送給研究者的請(qǐng)求的輸入端； 將所述特定自然語言問題發(fā)送給研究者的輸出端； 接收來自所述研究者的答案的輸入端；以及 將所接收的答案發(fā)送給提問者的輸出端。
44.一種自動(dòng)回答自然語言問題的方法，該方法包括輸入所述自然語言問題； 確定所述輸入的問題是否是時(shí)間依賴的； 從實(shí)時(shí)數(shù)據(jù)饋送中提取針對(duì)時(shí)間依賴問題的答案； 輸出所述提取的答案；如果在所述輸出步驟之后接收到將特定自然語言問題發(fā)送給研究者的請(qǐng)求，則將所述 特定自然語言問題發(fā)送給研究者；接收來自所述研究者的針對(duì)所述特定自然語言問題的答案，以及 輸出所述接收的答案。
45.一種用于將待回答的工作詞條分配給代理的計(jì)算機(jī)系統(tǒng)，該系統(tǒng)包括 接收所述工作詞條的輸入端；存儲(chǔ)所述工作詞條的數(shù)據(jù)存儲(chǔ)器； 為每個(gè)所述工作詞條分配不受歡迎程度分?jǐn)?shù)的服務(wù)器； 多個(gè)代理工作站，每個(gè)代理工作站具有代理用戶界面，以及 將所述服務(wù)器連接到所述多個(gè)代理工作站的通信網(wǎng)絡(luò)；其中每個(gè)代理用戶界面將來自所述數(shù)據(jù)存儲(chǔ)器的多個(gè)所述工作詞條呈現(xiàn)給代理，并且 其中所述服務(wù)器基于由所述代理選擇的每個(gè)工作詞條的不受歡迎程度分?jǐn)?shù)為每個(gè)代理分 配一個(gè)值。
46.根據(jù)權(quán)利要求45所述的計(jì)算機(jī)系統(tǒng)，其中所述代理用戶界面顯示每個(gè)呈現(xiàn)的工作 詞條的不受歡迎程度分?jǐn)?shù)的指示。
47.根據(jù)權(quán)利要求46所述的計(jì)算機(jī)系統(tǒng)，其中每個(gè)呈現(xiàn)的工作詞條的所述不受歡迎程 度分?jǐn)?shù)的指示顯示為圖標(biāo)，并且為在每個(gè)工作詞條的附近提供選擇按鈕用來讓每個(gè)代理選 擇所述工作詞條。
48.根據(jù)權(quán)利要求44到47中任意一項(xiàng)所述的計(jì)算機(jī)系統(tǒng)，其中所述服務(wù)器用于為每個(gè) 工作詞條分配為零的初始不受歡迎程度分?jǐn)?shù)，并通過跟蹤工作詞條何時(shí)被呈現(xiàn)給代理而沒 有回答來后續(xù)地增加每個(gè)工作詞條的不受歡迎程度分?jǐn)?shù)。
49.根據(jù)權(quán)利要求48所述的計(jì)算機(jī)系統(tǒng)，其中通過確定每個(gè)工作詞條在呈現(xiàn)給代理的 工作詞條的列表中相對(duì)于由所述代理選擇的工作詞條的位置，來增加每個(gè)工作詞條的不受 歡迎程度分?jǐn)?shù)。
50.根據(jù)權(quán)利要求44到49中任意一項(xiàng)權(quán)利要求所述的計(jì)算機(jī)系統(tǒng)，其中所述代理用戶 界面顯示代理的值的指示。
51.根據(jù)權(quán)利要求44到50中任意一項(xiàng)所述的計(jì)算機(jī)系統(tǒng)，其中所述服務(wù)器用于根據(jù)在 特定時(shí)間框內(nèi)由代理選擇的每個(gè)工作詞條的不受歡迎程度分?jǐn)?shù)的時(shí)間加權(quán)組合，來計(jì)算每 個(gè)代理的所述值。
52.根據(jù)權(quán)利要求51所述的計(jì)算機(jī)系統(tǒng)，其中根據(jù)時(shí)間衰落函數(shù)來組合所述不受歡迎 程度分?jǐn)?shù)，其中所述時(shí)間衰落函數(shù)選自包括階梯函數(shù)、線性衰落函數(shù)、橢圓時(shí)間衰落函數(shù)和 指數(shù)時(shí)間衰落函數(shù)的分組。
53.根據(jù)權(quán)利要求51或52所述的計(jì)算機(jī)系統(tǒng)，其中服務(wù)器為每個(gè)代理分配初始值零。
54.根據(jù)權(quán)利要求53所述的計(jì)算機(jī)系統(tǒng)，其中服務(wù)器利用修正的時(shí)間衰落函數(shù)根據(jù)每 個(gè)工作詞條的不受歡迎程度分?jǐn)?shù)的時(shí)間加權(quán)組合來計(jì)算所述值。
55.根據(jù)權(quán)利要求44到M中任意一項(xiàng)所述的計(jì)算機(jī)系統(tǒng)，其中代理用戶界面為代理呈 現(xiàn)所述工作詞條的子集。
56.根據(jù)權(quán)利要求55所述的計(jì)算機(jī)系統(tǒng)，其中該系統(tǒng)用于確定所述代理的值何時(shí)下降 到低于可接受的閾值，并呈現(xiàn)具有能夠增加代理的值的不受歡迎程度分?jǐn)?shù)的工作詞條的子集。
57.一種將工作詞條分配給代理的方法，該方法包括 將所述工作詞條輸入到服務(wù)器；將所述工作詞條存儲(chǔ)在所述服務(wù)器上的數(shù)據(jù)存儲(chǔ)器中； 配置所述服務(wù)器以為每個(gè)所述工作詞條分配不受歡迎程度分?jǐn)?shù)； 通過通信網(wǎng)絡(luò)，將所述服務(wù)器連接到多個(gè)代理工作站，每個(gè)代理工作站具有代理用戶 界面；在代理用戶界面上為代理呈現(xiàn)多個(gè)所述工作詞條；以及配置所述服務(wù)器以基于由所述代理選擇的每個(gè)工作詞條的不受歡迎程度分?jǐn)?shù)為每個(gè) 代理分配一個(gè)值。
58.根據(jù)權(quán)利要求57所述的方法，包括為每個(gè)工作詞條分配為零的初始不受歡迎程度 分?jǐn)?shù)，并后續(xù)地通過跟蹤何時(shí)工作詞條被呈現(xiàn)給代理而沒有被回答來增加每個(gè)工作詞條的 不受歡迎程度分?jǐn)?shù)。
59.根據(jù)權(quán)利要求58所述的方法，包括通過確定每個(gè)工作詞條在呈現(xiàn)給代理的工作詞 條的列表中相對(duì)于由所述代理選擇的工作詞條的位置，來增加所述不受歡迎程度分?jǐn)?shù)。
60.根據(jù)權(quán)利要求57到59中任意一項(xiàng)所述的方法，包括根據(jù)在特定時(shí)間框內(nèi)由所述代 理選擇的每個(gè)工作詞條的不受歡迎程度分?jǐn)?shù)的時(shí)間加權(quán)組合來計(jì)算每個(gè)代理的所述值。
61.根據(jù)權(quán)利要求60所述的方法，包括根據(jù)時(shí)間衰落函數(shù)組合所述不受歡迎程度分?jǐn)?shù)。
62.根據(jù)權(quán)利要求57到61中任意一項(xiàng)所述的方法，包括為每個(gè)代理分配初始值零。
63.根據(jù)權(quán)利要求62所述的方法，包括利用修正的時(shí)間衰落函數(shù)來根據(jù)每個(gè)工作詞條 的不受歡迎程度分?jǐn)?shù)的時(shí)間加權(quán)組合計(jì)算每個(gè)代理的所述值。
64.根據(jù)權(quán)利要求57到63中任意一項(xiàng)所述的方法，包括確定所述代理的所述值何時(shí)下 降到低于閾值，并在所述代理用戶界面上只將具有能增加代理的值的不受歡迎程度分?jǐn)?shù)的 工作詞條呈現(xiàn)給所述代理。
65.一種載有計(jì)算機(jī)程序代碼的載體，該計(jì)算機(jī)程序代碼在運(yùn)行時(shí)，執(zhí)行權(quán)利要求觀 到42,44和57到64所述的方法。
66.根據(jù)權(quán)利要求1到27和43中任意一項(xiàng)權(quán)利要求所述的計(jì)算機(jī)系統(tǒng)，其中所述數(shù)據(jù) 存儲(chǔ)器存儲(chǔ)資源的記錄，該資源用于產(chǎn)生每個(gè)鏈接的問題和答案對(duì)，以及所述系統(tǒng)用于輸 出具有鏈接的對(duì)的所述記錄。
67.一種代理用戶界面，用于將多個(gè)工作詞條顯示給代理，所述代理用戶界面包括指示 每個(gè)顯示的工作詞條的不受歡迎程度分?jǐn)?shù)的顯示器，臨近每個(gè)工作詞條供代理選擇所述工 作詞條的按鈕，以及指示基于由所述代理選擇的每個(gè)工作詞條的不受歡迎程度分?jǐn)?shù)的每個(gè) 代理的值的顯示器。
68.根據(jù)權(quán)利要求67所述的代理用戶界面，其中不受歡迎程度分?jǐn)?shù)的顯示選自包括例如圖標(biāo)的圖顯示、數(shù)字顯示、百分?jǐn)?shù)和比率組成的分組。
69.根據(jù)權(quán)利要求67或68所述的代理用戶界面，其中代理的值的顯示選自包括例如圖 標(biāo)的圖顯示、數(shù)字顯示、百分?jǐn)?shù)和比率組成的分組。
全文摘要
一種用于自動(dòng)回答自然語言問題的計(jì)算機(jī)系統(tǒng)和方法。該系統(tǒng)包括接收所述自然語言問題的輸入端；記錄鏈接的問題和相應(yīng)答案對(duì)的數(shù)據(jù)存儲(chǔ)器；用于比較接收的自然語言問題和所述鏈接的問題和答案對(duì)的匹配器；以及用于在沒有找到匹配時(shí)將所述接收的自然語言問題發(fā)送給研究者的輸出端。該系統(tǒng)可進(jìn)一步包括將問題和相應(yīng)答案對(duì)連接到分組的系統(tǒng)，用來產(chǎn)生針對(duì)問題和答案對(duì)的每個(gè)分組的典型答案，并將所述典型答案存儲(chǔ)在所述數(shù)據(jù)存儲(chǔ)器中；其中所述匹配器比較所述接收的自然語言問題和所述數(shù)據(jù)存儲(chǔ)器中具有相關(guān)聯(lián)的典型答案的問題，并響應(yīng)于所述匹配，輸出針對(duì)所述問題的所述相關(guān)聯(lián)的典型答案。此外，所述匹配器可用于輸出所有與所述接收的自然語言問題相匹配的鏈接的問題和答案對(duì)。所述系統(tǒng)可進(jìn)一步適用于通過為每個(gè)所述自然語言問題分配不受歡迎程度分?jǐn)?shù)，來將待回答的自然語言問題分配給研究者。
文檔編號(hào)G06F17/30GK102099803SQ200880118529
公開日2011年6月15日 申請(qǐng)日期2008年10月22日 優(yōu)先權(quán)日2007年10月23日
發(fā)明者D·賓客斯, D·格, F·張, M·雅各布斯, P·布徹, T·羅伯特 申請(qǐng)人:瑞5優(yōu)特有限公司