本發(fā)明一般地涉及遠(yuǎn)程臨場(chǎng)機(jī)器人，更具體地說，涉及用于產(chǎn)生遠(yuǎn)程臨場(chǎng)機(jī)器人的控制信號(hào)的方法、遠(yuǎn)程臨場(chǎng)系統(tǒng)和計(jì)算機(jī)程序。

背景技術(shù)：

針對(duì)用于人際交流(例如，遠(yuǎn)程講座中的演講者—聽眾交流)的遠(yuǎn)程臨場(chǎng)系統(tǒng)而言，可以利用配備云臺(tái)電動(dòng)機(jī)、顯示器和攝像機(jī)的遠(yuǎn)程臨場(chǎng)機(jī)器人將一個(gè)參與者(例如，演講者、發(fā)言者)物理地呈現(xiàn)給另一參與者(例如，學(xué)生、聽眾)。遠(yuǎn)程臨場(chǎng)機(jī)器人的主要作用不僅包括將有關(guān)另一參與者的信息提供給所述一個(gè)參與者，而且還通過遠(yuǎn)程臨場(chǎng)機(jī)器人所增強(qiáng)的社交臨場(chǎng)感為另一參與者提供一致性。位于一個(gè)地點(diǎn)的操作者可以遙控遠(yuǎn)程臨場(chǎng)機(jī)器人移動(dòng)其頭部；機(jī)器人可以移動(dòng)具有攝像機(jī)的臉部來將位于另一地點(diǎn)的機(jī)器人周圍的信息提供給操作者。遠(yuǎn)程臨場(chǎng)機(jī)器人通過模擬操作者的移動(dòng)來表達(dá)操作者的行為，從而將操作者(他/她)的意圖、特征和周圍環(huán)境傳遞給另一參與者。

通過使用諸如鍵盤之類的輸入設(shè)備和控制設(shè)備控制遠(yuǎn)程臨場(chǎng)機(jī)器人給操作者帶來了認(rèn)知負(fù)擔(dān)，從而導(dǎo)致在執(zhí)行認(rèn)知復(fù)雜的任務(wù)(例如，演講、操作指示等)期間出現(xiàn)性能劣化。如果操作者過分關(guān)注他/她的表現(xiàn)，可能會(huì)忘記控制，或者，如果他/她專注于控制機(jī)器人的操作，則可能無法將注意力集中在他/她的表現(xiàn)上。

另外，提供了一種通過使用配備陀螺傳感器的HMD(頭戴式顯示器)來控制的機(jī)器人，HMD將操作者的移動(dòng)復(fù)制給遠(yuǎn)程機(jī)器人。但是，穿戴此類傳感設(shè)備可能給操作者帶來負(fù)擔(dān)。被HMD覆蓋的臉部導(dǎo)致僵硬的臉部表情，從而使得呈現(xiàn)給聽眾的親和力下降。另外還需要考慮操作者的無意移動(dòng)(例如，向旁邊觀望)會(huì)導(dǎo)致機(jī)器人出現(xiàn)不適當(dāng)行為。

技術(shù)實(shí)現(xiàn)要素：

技術(shù)問題

需要這樣的方法、遠(yuǎn)程臨場(chǎng)系統(tǒng)和關(guān)聯(lián)的計(jì)算機(jī)程序：即，這些方法、遠(yuǎn)程臨場(chǎng)系統(tǒng)和計(jì)算機(jī)程序在無需任何干擾操作者自然表情的附加設(shè)備且不會(huì)給操作者帶來太多認(rèn)知負(fù)擔(dān)的情況下，產(chǎn)生遠(yuǎn)程臨場(chǎng)機(jī)器人的控制信號(hào)，并且能夠基于操作者的移動(dòng)，通過遠(yuǎn)程臨場(chǎng)機(jī)器人表示操作者的自然具身性(embodiment)。

問題的解決方案

根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供一種由計(jì)算設(shè)備基于操作者的移動(dòng)產(chǎn)生用于遠(yuǎn)程臨場(chǎng)機(jī)器人的控制信號(hào)的計(jì)算機(jī)實(shí)現(xiàn)的方法。所述方法包括基于獲取所述操作者的至少一部分的圖像的攝像機(jī)，計(jì)算所述操作者的所述至少一部分所在的方向。所述方法還包括計(jì)算所述操作者的所述至少一部分所指向的方位。所述方法還包括基于所述方向并結(jié)合所述方位，產(chǎn)生所述遠(yuǎn)程臨場(chǎng)機(jī)器人的一個(gè)或多個(gè)運(yùn)動(dòng)參數(shù)作為所述控制信號(hào)，其中所述方向和所述方位被不同地反映到所述一個(gè)或多個(gè)運(yùn)動(dòng)參數(shù)。

根據(jù)本發(fā)明的另一方面，提供一種遠(yuǎn)程臨場(chǎng)系統(tǒng)，其包括基于操作者的移動(dòng)產(chǎn)生用于遠(yuǎn)程臨場(chǎng)機(jī)器人的控制信號(hào)的計(jì)算設(shè)備。所述計(jì)算設(shè)備包括方向計(jì)算器，其被配置為基于獲取所述操作者的至少一部分的圖像的攝像機(jī)，計(jì)算所述操作者的所述至少一部分所在的方向。所述計(jì)算設(shè)備還包括方位計(jì)算器，其被配置為計(jì)算所述操作者的所述至少一部分所指向的方位。所述計(jì)算設(shè)備進(jìn)一步包括產(chǎn)生器，其被配置為基于所述方向并結(jié)合所述方位，產(chǎn)生所述遠(yuǎn)程臨場(chǎng)機(jī)器人的一個(gè)或多個(gè)運(yùn)動(dòng)參數(shù)作為所述控制信號(hào)，其中所述方向和所述方位被不同地反映到所述一個(gè)或多個(gè)運(yùn)動(dòng)參數(shù)。

此處還描述和要求保護(hù)與本發(fā)明的一個(gè)或多個(gè)方面相關(guān)的計(jì)算機(jī)程序。

通過本發(fā)明的技術(shù)實(shí)現(xiàn)附加特征和優(yōu)點(diǎn)。在此詳細(xì)地描述本發(fā)明的其它實(shí)施例和方面并且它們被視為所要求保護(hù)的本發(fā)明的一部分。

附圖說明

圖1示出根據(jù)本發(fā)明的一個(gè)示例性實(shí)施例的用于遠(yuǎn)程講座的遠(yuǎn)程臨場(chǎng)系統(tǒng)的示意圖；

圖2示出根據(jù)本發(fā)明的所述示例性實(shí)施例的包括計(jì)算設(shè)備的遠(yuǎn)程臨場(chǎng)機(jī)器人的硬件配置；

圖3示出根據(jù)本發(fā)明的所述示例性實(shí)施例的遠(yuǎn)程臨場(chǎng)系統(tǒng)的框圖；

圖4A描述根據(jù)本發(fā)明的所述示例性實(shí)施例的操作者的有意移動(dòng)和無意移動(dòng)的角度；

圖4B描述根據(jù)本發(fā)明的所述示例性實(shí)施例的用于由計(jì)算設(shè)備檢測(cè)操作者的臉部方向的臉部跟蹤處理；

圖4C描述根據(jù)本發(fā)明的所述示例性實(shí)施例的用于由計(jì)算設(shè)備估計(jì)操作者的臉部方位的估計(jì)處理；

圖5是示出根據(jù)本發(fā)明的所述示例性實(shí)施例的用于基于操作者的移動(dòng)控制遠(yuǎn)程臨場(chǎng)機(jī)器人的處理的流程圖；

圖6A描述根據(jù)本發(fā)明的所述示例性實(shí)施例的遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人的運(yùn)動(dòng)參數(shù)；

圖6B描述根據(jù)本發(fā)明的另一示例性實(shí)施例的遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人的運(yùn)動(dòng)參數(shù)；

圖7A示出根據(jù)本發(fā)明的一個(gè)特定優(yōu)選實(shí)施例的由操作者的有意移動(dòng)實(shí)現(xiàn)的遠(yuǎn)程臨場(chǎng)機(jī)器人的移動(dòng)；

圖7B示出根據(jù)本發(fā)明的所述特定優(yōu)選實(shí)施例的由操作者的無意移動(dòng)實(shí)現(xiàn)的遠(yuǎn)程臨場(chǎng)機(jī)器人的移動(dòng)。

具體實(shí)施方式

現(xiàn)在將使用特定實(shí)施例描述本發(fā)明，下面描述的實(shí)施例被理解為僅參考實(shí)例，并非旨在限制本發(fā)明的范圍。

根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例涉及用于由計(jì)算設(shè)備基于操作者的移動(dòng)產(chǎn)生遠(yuǎn)程臨場(chǎng)機(jī)器人的控制信號(hào)的方法、遠(yuǎn)程臨場(chǎng)系統(tǒng)和計(jì)算機(jī)程序。

現(xiàn)在參考一系列圖1-7，其中示出根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例的用于產(chǎn)生遠(yuǎn)程臨場(chǎng)系統(tǒng)中的遠(yuǎn)程臨場(chǎng)機(jī)器人的控制信號(hào)的遠(yuǎn)程臨場(chǎng)系統(tǒng)和方法。

參考圖1，其中示出根據(jù)本發(fā)明的一個(gè)示例性實(shí)施例的用于遠(yuǎn)程講座的遠(yuǎn)程臨場(chǎng)系統(tǒng)100的示意圖。存在兩個(gè)主要地點(diǎn)，包括演講者(例如，講師)130所在的演講者地點(diǎn)110和聽眾(例如，學(xué)生)170所在的聽眾地點(diǎn)150。在每個(gè)地點(diǎn)110、150中，設(shè)置遠(yuǎn)程臨場(chǎng)機(jī)器人120、160以增強(qiáng)演講者130與聽眾170之間交流的社交臨場(chǎng)感。遠(yuǎn)程臨場(chǎng)機(jī)器人120、160經(jīng)由網(wǎng)絡(luò)102連接來相互通信。網(wǎng)絡(luò)102可以包括但不限于局域網(wǎng)(LAN)、一般廣域網(wǎng)(WAN)、公共網(wǎng)絡(luò)(例如，因特網(wǎng)、蜂窩網(wǎng)絡(luò))等。

如圖1所示，每個(gè)遠(yuǎn)程臨場(chǎng)機(jī)器人120、160具有身體122、162和頭部124、164。每個(gè)頭部124、164具有配備顯示器166(未示出機(jī)器人120的顯示器)和攝像機(jī)168(未示出機(jī)器人120的攝像機(jī))的臉部。在所描述的實(shí)施例中，頭部124、164可通過致動(dòng)器沿兩個(gè)軸線移動(dòng)，從而使得頭部124、164以及臉部可以獨(dú)立地相對(duì)于身體122、162掃視和俯仰。但這只是本發(fā)明的一個(gè)或多個(gè)實(shí)施例的可能設(shè)計(jì)的一個(gè)實(shí)例。在其它實(shí)施例中，頭部可以沿一個(gè)軸線或兩個(gè)以上的軸線移動(dòng)，顯示器(或臉部)和攝像機(jī)(或眼睛)可以沿一個(gè)或多個(gè)軸線單獨(dú)移動(dòng)。

在遠(yuǎn)程臨場(chǎng)系統(tǒng)100中，遠(yuǎn)程臨場(chǎng)機(jī)器人120、160可以相互地將一個(gè)參與者物理呈現(xiàn)給其他參與者(多個(gè))。位于演講者地點(diǎn)110的遠(yuǎn)程臨場(chǎng)機(jī)器人120的攝像機(jī)所拍攝的視圖經(jīng)由網(wǎng)絡(luò)102被發(fā)送到位于聽眾地點(diǎn)150的遠(yuǎn)程臨場(chǎng)機(jī)器人160，以通過顯示器166顯示演講者地點(diǎn)110的視圖(例如，演講者130的臉部)，并且反之亦然。在主模式下操作的遠(yuǎn)程臨場(chǎng)機(jī)器人(例如，演講者地點(diǎn)110的機(jī)器人120)能夠通過攝像機(jī)檢測(cè)并跟蹤演講者的臉部，并且通過顯示器，從伙伴機(jī)器人(在從模式下操作的遠(yuǎn)程臨場(chǎng)機(jī)器人(例如，聽眾地點(diǎn)150的機(jī)器人160))的視角在聽眾地點(diǎn)150顯示圖像。在從模式下操作的遠(yuǎn)程臨場(chǎng)機(jī)器人(例如，機(jī)器人160)能夠通過顯示器166顯示演講者的臉部，并且隨著演講者130的臉部的移動(dòng)掃視和俯仰頭部164。

現(xiàn)在參考圖2，其中示出遠(yuǎn)程臨場(chǎng)機(jī)器人10(與圖1所示的每個(gè)遠(yuǎn)程臨場(chǎng)機(jī)器人120、160對(duì)應(yīng))的硬件配置的示意圖。圖2所示的遠(yuǎn)程臨場(chǎng)機(jī)器人10只是適當(dāng)?shù)倪h(yuǎn)程臨場(chǎng)機(jī)器人的一個(gè)例子，并非旨在暗示對(duì)此處描述的本發(fā)明實(shí)施例的使用范圍或功能的任何限制?？偠灾?，遠(yuǎn)程臨場(chǎng)機(jī)器人10能夠?qū)崿F(xiàn)和/或執(zhí)行下面列出的任一功能。

遠(yuǎn)程臨場(chǎng)機(jī)器人10的組件可以包括但不限于處理器(處理單元)12以及通過總線30與處理器12相連的存儲(chǔ)器14，總線30將包括存儲(chǔ)器14的各種系統(tǒng)組件連接到處理器12?？偩€30表示幾類總線結(jié)構(gòu)中的一種或多種，包括存儲(chǔ)器總線或者存儲(chǔ)器控制器、外圍總線、圖形加速端口、處理器或者使用多種總線架構(gòu)中的任意總線架構(gòu)的局域總線。

遠(yuǎn)程臨場(chǎng)機(jī)器人10一般包括多種計(jì)算機(jī)可讀介質(zhì)。此類介質(zhì)可以是能夠由遠(yuǎn)程臨場(chǎng)機(jī)器人10訪問的任何可用介質(zhì)，它包括易失性和非易失性介質(zhì)、可移動(dòng)和不可移動(dòng)介質(zhì)。

存儲(chǔ)器114可以包括采取易失性存儲(chǔ)器(例如，隨機(jī)存取存儲(chǔ)器(RAM))形式的計(jì)算機(jī)可讀介質(zhì)。遠(yuǎn)程臨場(chǎng)機(jī)器人10可以進(jìn)一步包括其它可移動(dòng)/不可移動(dòng)、易失性/非易失性存儲(chǔ)介質(zhì)。僅作為例子，可以設(shè)置存儲(chǔ)設(shè)備16以針對(duì)不可移動(dòng)的非易失性磁介質(zhì)執(zhí)行讀取操作。如下面將進(jìn)一步示出和描述的，存儲(chǔ)設(shè)備16可以包括至少一個(gè)程序產(chǎn)品，該程序產(chǎn)品具有一組(例如至少一個(gè))程序模塊，這些程序模塊被配置為執(zhí)行本發(fā)明各實(shí)施例的功能。

具有一組(至少一個(gè))程序模塊的程序/實(shí)用工具，可以存儲(chǔ)在存儲(chǔ)設(shè)備16中，這樣的程序模塊包括但不限于操作系統(tǒng)、一個(gè)或者多個(gè)應(yīng)用程序、其它程序模塊以及程序數(shù)據(jù)，這些操作系統(tǒng)、一個(gè)或多個(gè)應(yīng)用程序、其它程序模塊以及程序數(shù)據(jù)中的每一個(gè)或某種組合中可能包括網(wǎng)絡(luò)環(huán)境的實(shí)現(xiàn)。程序模塊通常執(zhí)行此處描述的發(fā)明實(shí)施例中的功能和/或方法。

遠(yuǎn)程臨場(chǎng)機(jī)器人10還可以包括一個(gè)或多個(gè)外部設(shè)備，例如顯示器20、攝像機(jī)22、驅(qū)動(dòng)云臺(tái)致動(dòng)器26、28的致動(dòng)器驅(qū)動(dòng)器24、以及使得遠(yuǎn)程臨場(chǎng)機(jī)器人10能與一個(gè)或多個(gè)其它遠(yuǎn)程臨場(chǎng)機(jī)器人或計(jì)算設(shè)備進(jìn)行通信的網(wǎng)絡(luò)適配器18。遠(yuǎn)程臨場(chǎng)機(jī)器人10可以通過網(wǎng)絡(luò)適配器18與網(wǎng)絡(luò)102(例如LAN、WAN和/或公共網(wǎng)絡(luò)(例如因特網(wǎng)))通信。如圖所示，網(wǎng)絡(luò)適配器18經(jīng)由總線30與遠(yuǎn)程臨場(chǎng)機(jī)器人10的其它組件通信。

如圖2所示，遠(yuǎn)程臨場(chǎng)機(jī)器人10以包括機(jī)器人機(jī)構(gòu)24、26、28、顯示器20、攝像機(jī)22和用于控制機(jī)器人機(jī)構(gòu)、顯示器20和攝像機(jī)22的計(jì)算設(shè)備中的全部的單個(gè)裝置的形式進(jìn)行描述。但是，在其它實(shí)施例中，遠(yuǎn)程臨場(chǎng)機(jī)器人10的各組件能夠以多種形式單獨(dú)提供，并且經(jīng)由接口或網(wǎng)絡(luò)(例如，組成遠(yuǎn)程臨場(chǎng)機(jī)器人10的通用串行總線(USB)、通信、通信以及其它計(jì)算機(jī)總線和電源連接器)耦合。

在一個(gè)特定實(shí)施例中，提供處理器、存儲(chǔ)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)適配器、顯示器和攝像機(jī)作為計(jì)算機(jī)系統(tǒng)，并且提供包括致動(dòng)器驅(qū)動(dòng)器、致動(dòng)器和其它機(jī)構(gòu)的機(jī)器人機(jī)構(gòu)作為計(jì)算機(jī)系統(tǒng)的外部設(shè)備或配件。在所述特定實(shí)施例中，計(jì)算機(jī)系統(tǒng)可通過多種通用或?qū)Ｓ糜?jì)算系統(tǒng)環(huán)境或配置執(zhí)行操作。公知的適合用于遠(yuǎn)程臨場(chǎng)機(jī)器人10的計(jì)算系統(tǒng)、環(huán)境和/或配置的例子包括但不限于平板計(jì)算機(jī)系統(tǒng)、智能電話、移動(dòng)設(shè)備、個(gè)人計(jì)算機(jī)系統(tǒng)、手持式或膝上型設(shè)備、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、機(jī)頂盒、單板計(jì)算機(jī)系統(tǒng)、計(jì)算棒、可編程消費(fèi)電子產(chǎn)品、網(wǎng)絡(luò)PC、微型計(jì)算機(jī)系統(tǒng)等等。應(yīng)該理解，盡管未示出，但是其它硬件和/或軟件組件也可以結(jié)合遠(yuǎn)程臨場(chǎng)機(jī)器人10使用。

再次參考圖1，在遠(yuǎn)程臨場(chǎng)系統(tǒng)100中，演講者130可以通過在演講者地點(diǎn)110中配備的遠(yuǎn)程臨場(chǎng)機(jī)器人120的前方移動(dòng)他的身體部位(例如，臉部、頭部和身體)來遠(yuǎn)程控制在聽眾地點(diǎn)150中配備的遠(yuǎn)程臨場(chǎng)機(jī)器人160。

一般而言，演講者130不希望在認(rèn)知復(fù)雜的任務(wù)期間執(zhí)行特定于某個(gè)操作的動(dòng)作(例如，按下鍵盤中的按鍵，操控控制器設(shè)備中的桿和按鈕)，并且不希望穿戴任何附屬設(shè)備(例如，HMD)來感測(cè)可能干擾演講者130的自然臉部表情的演講者130的移動(dòng)。另外還應(yīng)考慮由演講者130的無意移動(dòng)(例如，側(cè)頭觀看文件)導(dǎo)致的不適當(dāng)行為。無意移動(dòng)的呈現(xiàn)可能顯著影響演講者130的社交臨場(chǎng)感。但是，沒有已知的技術(shù)能夠在遠(yuǎn)程臨場(chǎng)系統(tǒng)中自然地協(xié)調(diào)遠(yuǎn)程臨場(chǎng)機(jī)器人的自然操作的有意移動(dòng)與所呈現(xiàn)的無意移動(dòng)。

因此，需要這樣的方法、關(guān)聯(lián)的遠(yuǎn)程臨場(chǎng)系統(tǒng)和計(jì)算機(jī)程序：即，這些方法、遠(yuǎn)程臨場(chǎng)系統(tǒng)和計(jì)算機(jī)程序在無需任何干擾操作者的自然臉部表情的附加設(shè)備且不會(huì)給操作者帶來太多認(rèn)知負(fù)擔(dān)的情況下，產(chǎn)生遠(yuǎn)程臨場(chǎng)機(jī)器人的控制信號(hào)或控制遠(yuǎn)程臨場(chǎng)機(jī)器人，并且能夠基于操作者的移動(dòng)，通過遠(yuǎn)程臨場(chǎng)機(jī)器人表示操作者(例如，遠(yuǎn)程講座中的演講者)的自然具身性。

在根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例中，用于產(chǎn)生位于一個(gè)地點(diǎn)(例如，聽眾地點(diǎn)150)的遠(yuǎn)程臨場(chǎng)機(jī)器人的控制信號(hào)(從而控制遠(yuǎn)程臨場(chǎng)機(jī)器人)的新穎處理由計(jì)算設(shè)備基于位于另一地點(diǎn)(例如，演講者地點(diǎn)110)的操作者的移動(dòng)來執(zhí)行，其中操作者的有意和無意移動(dòng)基于獲取該操作者的圖像(例如該操作者的臉部)的攝像機(jī)的工作而被有差別地檢測(cè)。該計(jì)算設(shè)備可以被包括在位于一個(gè)地點(diǎn)的遠(yuǎn)程臨場(chǎng)機(jī)器人或位于另一地點(diǎn)的遠(yuǎn)程臨場(chǎng)機(jī)器人中，也可以與這些遠(yuǎn)程臨場(chǎng)機(jī)器人相連。

在該新穎處理期間，計(jì)算設(shè)備基于攝像機(jī)計(jì)算操作者的臉部所在的方向，其中該方向指示操作者的有意移動(dòng)。計(jì)算設(shè)備進(jìn)一步計(jì)算操作者的臉部所指向的方位，其中該方位指示操作者的無意移動(dòng)。然后，計(jì)算設(shè)備基于方向與方位的組合，產(chǎn)生遠(yuǎn)程臨場(chǎng)機(jī)器人的一個(gè)或多個(gè)運(yùn)動(dòng)參數(shù)，以便控制位于一個(gè)地點(diǎn)的遠(yuǎn)程臨場(chǎng)機(jī)器人的動(dòng)作。該方向和方位被不同地反映到遠(yuǎn)程臨場(chǎng)機(jī)器人的一個(gè)或多個(gè)運(yùn)動(dòng)參數(shù)。這樣，操作者針對(duì)遠(yuǎn)程臨場(chǎng)機(jī)器人的操作性和展示性移動(dòng)被自然地協(xié)調(diào)。

現(xiàn)在參考圖3和圖4，將更詳細(xì)地描述根據(jù)本發(fā)明的示例性實(shí)施例的用于控制遠(yuǎn)程臨場(chǎng)機(jī)器人的遠(yuǎn)程臨場(chǎng)系統(tǒng)。圖3示出遠(yuǎn)程臨場(chǎng)系統(tǒng)的框圖。如圖3所示，遠(yuǎn)程臨場(chǎng)系統(tǒng)100的框圖200包括以主模式操作的本地遠(yuǎn)程臨場(chǎng)機(jī)器人(例如，圖1所示的遠(yuǎn)程臨場(chǎng)機(jī)器人120)的框圖210和以從模式操作的遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人(例如，圖1所示的遠(yuǎn)程臨場(chǎng)機(jī)器人160)的框圖250。在所描述的實(shí)施例中，計(jì)算設(shè)備230被嵌入本地遠(yuǎn)程臨場(chǎng)機(jī)器人210中。但是，在其它實(shí)施例中，計(jì)算設(shè)備230可以被嵌入遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人250中，或者被連接到遠(yuǎn)程臨場(chǎng)機(jī)器人210、250中的任一者。

本地遠(yuǎn)程臨場(chǎng)機(jī)器人210可以包括：獲取操作者的臉部圖像的攝像機(jī)212；更改至少攝像機(jī)212的方位的致動(dòng)器214；臉部跟蹤器216、臉部方位估計(jì)器218；運(yùn)動(dòng)參數(shù)產(chǎn)生器220；以及通信224。

臉部跟蹤器216和臉部方位估計(jì)器218被配置為分別計(jì)算操作者的有意移動(dòng)和無意移動(dòng)的角度。圖4A描繪操作者的有意移動(dòng)和無意移動(dòng)的角度。

臉部跟蹤器216被配置為，通過調(diào)整攝像機(jī)212的掃視和俯仰角度，在攝像機(jī)212的視圖中心跟蹤操作者OP的臉部，這兩個(gè)角度是致動(dòng)攝像機(jī)212的致動(dòng)器214的參數(shù)。圖4B描述用于檢測(cè)操作者OP的臉部方向的臉部跟蹤處理。如圖4B所示，臉部跟蹤器216嘗試通過圖像分析識(shí)別視圖中的人臉，以便在視圖中檢測(cè)操作者的臉部位置F，并且基于當(dāng)前掃視和俯仰角度以及所檢測(cè)到的操作者臉部F在視圖中的位置調(diào)整掃視和俯仰角度，以便通過諸如反饋技術(shù)之類的任何已知技術(shù)在視圖的中心(被示出為十字形虛線)處捕捉操作者的臉部F。

臉部跟蹤器216能夠計(jì)算方向t1，其中操作者OP的臉部基于攝像機(jī)212所獲得的圖像，相對(duì)于本地遠(yuǎn)程臨場(chǎng)機(jī)器人210的身體進(jìn)行定位。方向t1由與機(jī)器人的身體RB的方向所成的角度(更精確地說，可以包括水平角度和垂直角度)來定義。方向t1的角度可以簡(jiǎn)單地基于當(dāng)前對(duì)致動(dòng)器214設(shè)定的掃視和俯仰角度來計(jì)算。備選地，方向t1的角度可以基于所檢測(cè)到的操作者臉部F在視圖中的位置以及當(dāng)前掃視和俯仰角度來計(jì)算。方向t1的角度指示操作者的有意移動(dòng)。臉部跟蹤器216在所描述的實(shí)施例中構(gòu)成方向計(jì)算器。

在一個(gè)特定實(shí)施例中，方向t1可以在攝像機(jī)212的給定視角A下，通過以下公式計(jì)算：

公式1

其中x表示所檢測(cè)到的臉部F的中心位置(以像素表示)，w表示視圖中的像素?cái)?shù)量。在上述公式中，“tan”表示正切函數(shù)，“atan”表示正切函數(shù)的反函數(shù)。更精確地說，可以在水平軸線和垂直軸線兩者上計(jì)算方向t1。

在所描述的實(shí)施例中，臉部跟蹤器216在攝像機(jī)212的視圖中心跟蹤操作者OP的臉部以計(jì)算方向t1。該配置可以增加操作范圍。但是，在其它實(shí)施例中，攝像機(jī)212的視圖可以被固定。在其它實(shí)施例中，方向t1的角度能夠基于操作者的臉部F在視圖中的檢測(cè)位置被直接計(jì)算，不需要移動(dòng)掃視和俯仰角度。

臉部方位估計(jì)器218被配置為通過分析攝像機(jī)212所獲得的圖像來估計(jì)操作者的臉部的方位。圖4C描述用于估計(jì)操作者的臉部方位的估計(jì)處理。圖像可以是帶有或不帶有距離信息的二進(jìn)制圖像、灰度圖像或彩色圖像，具體取決于攝像機(jī)22的功能。臉部方位估計(jì)器218可以識(shí)別圖像中突出的臉部特征(例如，鼻子、眼睛和嘴唇)以查找這些臉部特征的位置，然后基于找到的臉部特征的位置，通過使用任何已知的臉部方位估計(jì)技術(shù)來計(jì)算臉部方位。

臉部方位估計(jì)器218能夠基于攝像機(jī)212所獲得的圖像計(jì)算操作者的臉部所指向的方位t2。臉部方位t2由與法線方向(在該方向上，操作者的臉部正好面對(duì)機(jī)器人的顯示器)所成的角度(更精確地說，可以包括水平角度和垂直角度)來定義。方位t2的角度指示操作者的無意移動(dòng)。臉部方位估計(jì)器218在所描述的實(shí)施例中構(gòu)成方位計(jì)算器。

在一個(gè)特定實(shí)施例中，方位t2可以在假設(shè)人臉大小的情況下，通過以下公式計(jì)算：

公式2

其中x表示所檢測(cè)到的鼻子的位置，l表示所檢測(cè)到的臉部區(qū)域的中心位置，r表示從頸椎到鼻子的深度。在上述公式中，“abs”表示絕對(duì)函數(shù)，“asin”表示正弦函數(shù)的反函數(shù)。但是，這只是本發(fā)明的一個(gè)或多個(gè)實(shí)施例中的一個(gè)可能實(shí)現(xiàn)的例子。當(dāng)基于圖像計(jì)算方位時(shí)，能夠使用多種臉部特征。在其它實(shí)施例中，眼睛或嘴(而非鼻子)的中心位置能夠被用于計(jì)算變量r，x。

在進(jìn)一步的其它特定實(shí)施例中，能夠通過使用附著在操作者頭部的微型陀螺傳感器直接計(jì)算方位t2。

在所描述的實(shí)施例中，方位t2是操作者的臉部方位；但是，這只是在本發(fā)明的一個(gè)或多個(gè)實(shí)施例中可用的可能方位的一個(gè)實(shí)例。在其它實(shí)施例中，能夠使用通過利用任何已知的凝視方位估計(jì)技術(shù)測(cè)量的操作者的凝視方位來替代臉部方位或者將該凝視方位與臉部方位結(jié)合使用。

運(yùn)動(dòng)參數(shù)產(chǎn)生器220基于方向t1和方位t2判定遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人250如何移動(dòng)。運(yùn)動(dòng)參數(shù)產(chǎn)生器220被配置為基于方向t1并且結(jié)合方位t2產(chǎn)生遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人250的一個(gè)或多個(gè)運(yùn)動(dòng)參數(shù)作為控制信號(hào)，其中方向t1和方位t2被不同地反映到一個(gè)或多個(gè)運(yùn)動(dòng)參數(shù)。一個(gè)或多個(gè)運(yùn)動(dòng)參數(shù)可以包括所描述的實(shí)施例中的掃視和俯仰角度中的至少一個(gè)。

運(yùn)動(dòng)參數(shù)產(chǎn)生器220可以包括意圖判定器222，其被配置為基于方向t1和方位t2中的至少一者判定操作者是否將注意力集中在顯示器上。在一個(gè)特定實(shí)施例中，指示操作者的無意移動(dòng)的方位t2能夠被優(yōu)選地用于判定操作者是否將注意力集中在顯示器上。運(yùn)動(dòng)參數(shù)產(chǎn)生器220可以根據(jù)意圖判定器222的結(jié)果將不同的權(quán)重賦予方向t1和方位t2。

在一個(gè)優(yōu)選實(shí)施例中，在操作者將注意力集中在顯示器上的情況下，運(yùn)動(dòng)參數(shù)產(chǎn)生器220將較重的權(quán)重設(shè)定給方向t1，將較輕的權(quán)重設(shè)定給方位t2。如果操作者將注意力集中在本地遠(yuǎn)程臨場(chǎng)機(jī)器人210的顯示器上，則認(rèn)為臉部位置的變化為有意移動(dòng)。因此，可以強(qiáng)調(diào)方向t1的變化。另一方面，在操作者將注意力集中在顯示器以外的情況下，運(yùn)動(dòng)參數(shù)產(chǎn)生器220將較輕的權(quán)重設(shè)定給方向t1，將較重的權(quán)重設(shè)定給方位t2。如果操作者將注意力集中在顯示器以外(例如，集中在文件上)，則認(rèn)為臉部位置的變化為無意移動(dòng)。操作者可能移動(dòng)他/她的頭部來觀看文件。因此，能夠抑制方向t1的變化。下面將更詳細(xì)地描述運(yùn)動(dòng)參數(shù)產(chǎn)生的過程。

通信224被配置為將所產(chǎn)生的運(yùn)動(dòng)參數(shù)提交給遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人250，以便控制遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人250的移動(dòng)。

遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人250可以包括：攝像機(jī)252，其被配置為收集遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人250周圍的信息；顯示器254，其被配置為將操作者的臉部顯示給聽眾；以及致動(dòng)器256，其被配置為沿至少一個(gè)軸線致動(dòng)攝像機(jī)252和顯示器254中的至少一者。當(dāng)遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人250從本地遠(yuǎn)程臨場(chǎng)機(jī)器人210接收運(yùn)動(dòng)參數(shù)時(shí)，遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人250基于所接收的運(yùn)動(dòng)參數(shù)為致動(dòng)器256設(shè)定參數(shù)?？梢酝ㄟ^攝像機(jī)252移動(dòng)頭部，并且相應(yīng)地移動(dòng)其臉部，從而將遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人250周圍的信息提供給位于本地遠(yuǎn)程臨場(chǎng)機(jī)器人210前方的操作者。同時(shí)，遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人250基于操作者的移動(dòng)表現(xiàn)操作者的行為，以便將他/她的意圖傳達(dá)給聽眾。

如圖3所示，遠(yuǎn)程臨場(chǎng)系統(tǒng)200包括一個(gè)或多個(gè)模塊以提供多種特征和功能。這些模塊可以通過硬件、可以在硬件上執(zhí)行的軟件或固件，或者它們的組合實(shí)現(xiàn)。另外，給出這些模塊只是為了舉例，并非旨在暗示任何限制。備選實(shí)施例可以包括比圖3所示的模塊更多或更少的模塊，或者以不同的方式組織模塊。另外應(yīng)該理解，在某些實(shí)施例中，某些模塊的功能可以被劃分為多個(gè)模塊，或者相反地，若干模塊的功能可以被組合成單個(gè)或更少的模塊。

現(xiàn)在參考圖5和圖6，將描述根據(jù)本發(fā)明的示例性實(shí)施例的用于基于遠(yuǎn)程臨場(chǎng)系統(tǒng)中的操作者的移動(dòng)來控制遠(yuǎn)程臨場(chǎng)機(jī)器人的處理(與方法對(duì)應(yīng))。

圖5是示出用于基于操作者的移動(dòng)控制遠(yuǎn)程臨場(chǎng)機(jī)器人的處理的流程圖。如圖5所示，響應(yīng)于本地遠(yuǎn)程臨場(chǎng)機(jī)器人210啟動(dòng)并且作為伙伴機(jī)器人建立與遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人250的會(huì)話，處理從步驟S100開始。需要指出，圖5所示的處理由圖3所示的計(jì)算設(shè)備230執(zhí)行。

在步驟S101，計(jì)算設(shè)備230通過攝像機(jī)212獲得臉部圖像，以及在必要時(shí)獲得被設(shè)定給致動(dòng)器214的當(dāng)前掃視和俯仰角度。

在步驟S102，計(jì)算設(shè)備230基于當(dāng)前掃視和俯仰角度以及臉部圖像(在必要時(shí))，通過臉部跟蹤器216計(jì)算臉部相對(duì)于本地遠(yuǎn)程臨場(chǎng)機(jī)器人210的身體所在的方向作為操作者的有意移動(dòng)的角度?？梢院?jiǎn)單地從當(dāng)前掃視和俯仰角度、基于當(dāng)前掃視和俯仰角度并結(jié)合所檢測(cè)到的操作者臉部在圖像中的位置、或僅基于所檢測(cè)到的操作者臉部在圖像中的位置來計(jì)算方向t1的角度。

在步驟S103，計(jì)算設(shè)備103基于臉部圖像，通過臉部方位估計(jì)器218計(jì)算操作者的臉部相對(duì)于法線方位(在該方位上，臉部剛好正對(duì)顯示器)的方位作為操作者的無意移動(dòng)的角度。

在步驟S104，計(jì)算設(shè)備230基于方向t1和方位t2中的至少一者，通過意圖判定器222判定操作者是否將注意力集中在顯示器上。在一個(gè)優(yōu)選實(shí)施例中，指示操作者的無意移動(dòng)的方位t2能夠被用于判定操作者的注意力是否集中在顯示器上。在一個(gè)特定實(shí)施例中，操作者對(duì)顯示器的非意向程度可通過t2/K估計(jì)，其中K表示歸一化常數(shù)。相比之下，操作者對(duì)顯示器的意向程度可通過1-t2/K估計(jì)。

如果計(jì)算設(shè)備230在步驟S104判定操作者的注意力集中在顯示器上，處理分支到步驟S105。在所述特定實(shí)施例中，如果非意向程度t2/K小于閾值，則計(jì)算設(shè)備230判定操作者的注意力集中在顯示器上。在步驟S105，計(jì)算設(shè)備230通過運(yùn)動(dòng)參數(shù)產(chǎn)生器220，對(duì)有意移動(dòng)的角度t1設(shè)定較重的權(quán)重，對(duì)無意移動(dòng)的角度t2設(shè)定較輕的權(quán)重。

另一方面，如果計(jì)算設(shè)備230在步驟S104判定操作者的注意力集中在顯示器以外，處理分支到步驟S106。在步驟S106，計(jì)算設(shè)備230通過運(yùn)動(dòng)參數(shù)產(chǎn)生器220，對(duì)有意移動(dòng)的角度t1設(shè)定較輕的權(quán)重，對(duì)無意移動(dòng)的角度t2設(shè)定較重的權(quán)重。

在步驟S107，計(jì)算設(shè)備230基于有意移動(dòng)的角度t1和無意移動(dòng)的角度t2(具有在步驟S105或S106設(shè)定的權(quán)重)，由運(yùn)動(dòng)參數(shù)產(chǎn)生器220產(chǎn)生遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人250的運(yùn)動(dòng)參數(shù)。

圖6A描述根據(jù)所述示例性實(shí)施例的遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人250的運(yùn)動(dòng)參數(shù)。圖6A示出遠(yuǎn)端遠(yuǎn)程機(jī)器人250，在該機(jī)器人中，攝像機(jī)和顯示器可以在掃視和俯仰致動(dòng)器的作用下沿兩個(gè)軸線同時(shí)移動(dòng)。

在與圖6A所示的遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人250相關(guān)的一個(gè)特定實(shí)施例中，步驟S104到S107能夠通過計(jì)算遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人250的頭部的角度(準(zhǔn)確地說，可以包括掃視和俯仰角度)T來完成，T通過以下公式確定：

公式3

其中t1表示方向，t2表示方位，M、N和K分別表示預(yù)定常數(shù)。用于方向的常數(shù)M可以微調(diào)，以便操作者能夠通過小幅移動(dòng)來掃視聽眾地點(diǎn)。用于方位的常數(shù)N可以微調(diào)，以便調(diào)整無意移動(dòng)的呈現(xiàn)。方向t1和方位t2以不同的方式被反映到運(yùn)動(dòng)參數(shù)T。

t2/K表示操作者的非意向程度，而(1-t2/K)表示操作者的意向程度。非意向程度t2/K和意向程度1-t2/K可以通過相反的方式變化。非意向程度t2/K隨著意向程度1-t2/K的減少而增加，并且反之亦然。如果非意向程度t2/K超過閾值(0.5)，則非意向程度t2/K將較重的權(quán)重賦予方位t2，將較輕的權(quán)重賦予方向t1。

在一個(gè)特定優(yōu)選實(shí)施例中，如果常數(shù)M被設(shè)定為正值，則常數(shù)N被設(shè)定為負(fù)值，以便方向t1和方位t2通過相反的方式被反映到遠(yuǎn)程臨場(chǎng)機(jī)器人250的移動(dòng)。

圖7A示出根據(jù)本發(fā)明的所述特定優(yōu)選實(shí)施例的由操作者的有意移動(dòng)實(shí)現(xiàn)的遠(yuǎn)程臨場(chǎng)機(jī)器人的移動(dòng)。另一方面，圖7B示出由操作者的無意移動(dòng)實(shí)現(xiàn)的遠(yuǎn)程臨場(chǎng)機(jī)器人的其它移動(dòng)。

如圖7A所示，當(dāng)演講者130有意將他/她的臉部位置朝向位于演講者地點(diǎn)110中的本地遠(yuǎn)程臨場(chǎng)機(jī)器人120的顯示器時(shí)，本地遠(yuǎn)程臨場(chǎng)機(jī)器人120跟隨操作者的臉部，并且遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人160通過與演講者的動(dòng)作點(diǎn)對(duì)稱的方式旋轉(zhuǎn)其頭部。當(dāng)演講者移動(dòng)到他/她的右手側(cè)時(shí)，遠(yuǎn)端機(jī)器人160旋轉(zhuǎn)其頭部以收集其左手側(cè)的信息。

相比之下，當(dāng)演講者130將他/她的臉部方位更改為遠(yuǎn)離法線方位(在該方位上，臉部正好面對(duì)位于演講者地點(diǎn)110中的本地遠(yuǎn)程臨場(chǎng)機(jī)器人120的顯示器，如圖7B所示)時(shí)，遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人160通過相反的方式(與演講者的運(yùn)動(dòng)同步的方式)旋轉(zhuǎn)其頭部。當(dāng)演講者將他/她的頭部移動(dòng)到左手側(cè)時(shí)，遠(yuǎn)端機(jī)器人160旋轉(zhuǎn)其頭部以收集其左手側(cè)的信息。

現(xiàn)在返回參考圖5，在步驟S108，計(jì)算設(shè)備230通過通信224將所產(chǎn)生的運(yùn)動(dòng)參數(shù)作為控制信號(hào)提交給遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人。

在步驟S109，計(jì)算設(shè)備230判定控制是否結(jié)束。如果計(jì)算設(shè)備230在步驟S109判定控制未結(jié)束，則處理環(huán)回步驟S101。另一方面，如果計(jì)算設(shè)備230在步驟S109判定控制結(jié)束，則處理分支到步驟S110以結(jié)束處理。當(dāng)遠(yuǎn)程臨場(chǎng)機(jī)器人210關(guān)機(jī)或者斷開與伙伴機(jī)器人的連接時(shí)，計(jì)算設(shè)備230可以判定控制已經(jīng)結(jié)束。

在所描述的實(shí)施例中，步驟被描述為按照?qǐng)D5所示的順序執(zhí)行。但是，在其它實(shí)施例中，圖5所示的任何步驟都可以按照多種順序執(zhí)行。特別是，S102和S103的步驟可以按照相反的順序或者并行地執(zhí)行。

根據(jù)圖5所示的新穎處理，操作者的自然具身性可以由遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人在無需任何干擾操作者的自然臉部表情的附加設(shè)備(例如，HMD)，以及不給操作者帶來太多認(rèn)知負(fù)擔(dān)的情況下，基于操作者的移動(dòng)進(jìn)行表現(xiàn)。操作者可以在沒有任何明確動(dòng)作的情況下切換其(他/她的)要被提交的操作移動(dòng)和無意移動(dòng)，以將操作與操作者的意圖和表現(xiàn)相協(xié)調(diào)，以便在缺乏操作者意圖的情況下增強(qiáng)社交臨場(chǎng)感并不給操作者帶來任何認(rèn)知負(fù)擔(dān)。

此處描述的遠(yuǎn)程臨場(chǎng)機(jī)器人可以被用作遠(yuǎn)程講座、研討會(huì)或協(xié)同工作中的操作者的化身。遠(yuǎn)程臨場(chǎng)機(jī)器人的硬件配置能夠被簡(jiǎn)化以降低遠(yuǎn)程臨場(chǎng)機(jī)器人的制造和操作(例如，安裝、維護(hù)等)成本。

備選實(shí)施例

在本發(fā)明的一個(gè)或多個(gè)其它實(shí)施例中，遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人的運(yùn)動(dòng)參數(shù)可以包括以下至少一者：即，遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人的一部分(例如，頭部、臉部、眼睛等)的一個(gè)或多個(gè)角度、安裝在遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人中的攝像機(jī)的一個(gè)或多個(gè)角度、安裝在遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人中的顯示器的一個(gè)或多個(gè)角度、以及安裝在遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人中的一組攝像機(jī)和顯示器的一個(gè)或多個(gè)角度。

現(xiàn)在參考圖6B，將描述根據(jù)本發(fā)明的其它示例性實(shí)施例的遠(yuǎn)程臨場(chǎng)機(jī)器人，其中攝像機(jī)和顯示器在每個(gè)掃視和俯仰致動(dòng)器的作用下沿兩個(gè)軸線中的每個(gè)軸線單獨(dú)移動(dòng)。

在圖6B所示的特定實(shí)施例中，遠(yuǎn)程臨場(chǎng)機(jī)器人的一個(gè)或多個(gè)運(yùn)動(dòng)參數(shù)包括多個(gè)參數(shù)，每個(gè)參數(shù)與遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人的不同部分(例如，臉部或顯示器以及眼睛或攝像機(jī))對(duì)應(yīng)。在該實(shí)施例中，能夠由關(guān)于方向t1和方位t2的不同函數(shù)來確定每個(gè)參數(shù)。

在與圖6B所示的遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人相關(guān)的一個(gè)特定實(shí)施例中，圖5所示的步驟S104到S107可以通過計(jì)算顯示器的角度T_d和攝像機(jī)的角度T_c來完成，這兩個(gè)角度中的每一者通過以下公式確定：

公式4

其中t1表示方向，t2表示方位，M_d、M_c、N_d、N_c、K_d和K_c分別表示預(yù)定常數(shù)。

根據(jù)所述其它實(shí)施例，操作者的自然具身性可以由遠(yuǎn)端遠(yuǎn)程臨場(chǎng)機(jī)器人基于操作者的移動(dòng)被更精細(xì)地表現(xiàn)，其中能夠單獨(dú)地控制顯示器的移動(dòng)和攝像機(jī)的移動(dòng)。

計(jì)算機(jī)程序?qū)崿F(xiàn)

本發(fā)明可以是系統(tǒng)、方法和/或計(jì)算機(jī)程序產(chǎn)品。計(jì)算機(jī)程序產(chǎn)品可以包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上載有用于使處理器實(shí)現(xiàn)本發(fā)明的各個(gè)方面的計(jì)算機(jī)可讀程序指令。

計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是可以保持和存儲(chǔ)由指令執(zhí)行設(shè)備使用的指令的有形設(shè)備。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)例如可以是――但不限于――電存儲(chǔ)設(shè)備、磁存儲(chǔ)設(shè)備、光存儲(chǔ)設(shè)備、電磁存儲(chǔ)設(shè)備、半導(dǎo)體存儲(chǔ)設(shè)備或者上述的任意合適的組合。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的更具體的例子(非窮舉的列表)包括：便攜式計(jì)算機(jī)盤、硬盤、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可擦式可編程只讀存儲(chǔ)器(EPROM或閃存)、靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)、便攜式壓縮盤只讀存儲(chǔ)器(CD-ROM)、數(shù)字多功能盤(DVD)、記憶棒、軟盤、機(jī)械編碼設(shè)備、例如其上存儲(chǔ)有指令的打孔卡或凹槽內(nèi)凸起結(jié)構(gòu)、以及上述的任意合適的組合。這里所使用的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)不被解釋為瞬時(shí)信號(hào)本身，諸如無線電波或者其他自由傳播的電磁波、通過波導(dǎo)或其他傳輸媒介傳播的電磁波(例如，通過光纖電纜的光脈沖)、或者通過電線傳輸?shù)碾娦盘?hào)。

這里所描述的計(jì)算機(jī)可讀程序指令可以從計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)下載到各個(gè)計(jì)算/處理設(shè)備，或者通過網(wǎng)絡(luò)、例如因特網(wǎng)、局域網(wǎng)、廣域網(wǎng)和/或無線網(wǎng)下載到外部計(jì)算機(jī)或外部存儲(chǔ)設(shè)備。網(wǎng)絡(luò)可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火墻、交換機(jī)、網(wǎng)關(guān)計(jì)算機(jī)和/或邊緣服務(wù)器。每個(gè)計(jì)算/處理設(shè)備中的網(wǎng)絡(luò)適配卡或者網(wǎng)絡(luò)接口從網(wǎng)絡(luò)接收計(jì)算機(jī)可讀程序指令，并轉(zhuǎn)發(fā)該計(jì)算機(jī)可讀程序指令，以供存儲(chǔ)在各個(gè)計(jì)算/處理設(shè)備中的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中。

用于執(zhí)行本發(fā)明操作的計(jì)算機(jī)程序指令可以是匯編指令、指令集架構(gòu)(ISA)指令、機(jī)器指令、機(jī)器相關(guān)指令、微代碼、固件指令、狀態(tài)設(shè)置數(shù)據(jù)、或者以一種或多種編程語(yǔ)言的任意組合編寫的源代碼或目標(biāo)代碼，所述編程語(yǔ)言包括面向?qū)ο蟮木幊陶Z(yǔ)言—諸如Smalltalk、C++等，以及常規(guī)的過程式編程語(yǔ)言—諸如“C”語(yǔ)言或類似的編程語(yǔ)言。計(jì)算機(jī)可讀程序指令可以完全地在用戶計(jì)算機(jī)上執(zhí)行、部分地在用戶計(jì)算機(jī)上執(zhí)行、作為一個(gè)獨(dú)立的軟件包執(zhí)行、部分在用戶計(jì)算機(jī)上部分在遠(yuǎn)程計(jì)算機(jī)上執(zhí)行、或者完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計(jì)算機(jī)的情形中，遠(yuǎn)程計(jì)算機(jī)可以通過任意種類的網(wǎng)絡(luò)—包括局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)—連接到用戶計(jì)算機(jī)，或者，可以連接到外部計(jì)算機(jī)(例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接)。在一些實(shí)施例中，通過利用計(jì)算機(jī)可讀程序指令的狀態(tài)信息來個(gè)性化定制電子電路，例如可編程邏輯電路、現(xiàn)場(chǎng)可編程門陣列(FPGA)或可編程邏輯陣列(PLA)，該電子電路可以執(zhí)行計(jì)算機(jī)可讀程序指令，從而實(shí)現(xiàn)本發(fā)明的各個(gè)方面。

這里參照根據(jù)本發(fā)明實(shí)施例的方法、裝置(系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或框圖描述了本發(fā)明的各個(gè)方面。應(yīng)當(dāng)理解，流程圖和/或框圖的每個(gè)方框以及流程圖和/或框圖中各方框的組合，都可以由計(jì)算機(jī)可讀程序指令實(shí)現(xiàn)。

這些計(jì)算機(jī)可讀程序指令可以提供給通用計(jì)算機(jī)、專用計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器，從而生產(chǎn)出一種機(jī)器，使得這些指令在通過計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器執(zhí)行時(shí)，產(chǎn)生了實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的裝置。也可以把這些計(jì)算機(jī)可讀程序指令存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，這些指令使得計(jì)算機(jī)、可編程數(shù)據(jù)處理裝置和/或其他設(shè)備以特定方式工作，從而，存儲(chǔ)有指令的計(jì)算機(jī)可讀介質(zhì)則包括一個(gè)制造品，其包括實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的各個(gè)方面的指令。

也可以把計(jì)算機(jī)可讀程序指令加載到計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其它設(shè)備上，使得在計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置或其它設(shè)備上執(zhí)行一系列操作步驟，以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的過程，從而使得在計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其它設(shè)備上執(zhí)行的指令實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作。

附圖中的流程圖和框圖顯示了根據(jù)本發(fā)明的多個(gè)實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上，流程圖或框圖中的每個(gè)方框可以代表一個(gè)模塊、程序段或指令的一部分，所述模塊、程序段或指令的一部分包含一個(gè)或多個(gè)用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。在有些作為替換的實(shí)現(xiàn)中，方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如，兩個(gè)連續(xù)的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時(shí)也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或動(dòng)作的專用的基于硬件的系統(tǒng)來實(shí)現(xiàn)，或者可以用專用硬件與計(jì)算機(jī)指令的組合來實(shí)現(xiàn)

此處使用的術(shù)語(yǔ)只是為了描述特定的實(shí)施例并且并非旨在作為本發(fā)明的限制。如在此使用的，單數(shù)形式“一”、“一個(gè)”和“該”旨在同樣包括復(fù)數(shù)形式，除非上下文明確地另有所指。還將理解，當(dāng)在此說明書中使用時(shí)，術(shù)語(yǔ)“包括”和/或“包含”指定存在聲明的特征、整數(shù)、步驟、操作、元素和/或組件，但是并不排除存在或增加一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元素、組件和/或它們的組合。

以下權(quán)利要求中的對(duì)應(yīng)結(jié)構(gòu)、材料、動(dòng)作以及所有功能性限定的裝置或步驟的等同替換，旨在包括任何用于與在權(quán)利要求中具體指出的其它單元相組合地執(zhí)行該功能的結(jié)構(gòu)、材料或操作。所給出的對(duì)本發(fā)明的一個(gè)或多個(gè)方面的描述是示例性和描述性的，并非窮盡性的，并且也不限于所公開的發(fā)明形式。

在不偏離所描述的實(shí)施例的范圍和精神的情況下，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說許多修改和變化都是顯而易見的。本文中所用術(shù)語(yǔ)的選擇，旨在最好地解釋各實(shí)施例的原理、實(shí)際應(yīng)用或?qū)κ袌?chǎng)中的技術(shù)的技術(shù)改進(jìn)，或者使本技術(shù)領(lǐng)域的其它普通技術(shù)人員能理解本文披露的各實(shí)施例。