借助手勢控制來控制機(jī)器人系統(tǒng)的控制裝置和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及控制具有至少一個(gè)機(jī)器人手臂的機(jī)器人系統(tǒng)的控制裝置，在機(jī)器人手 臂上安裝有具有末端執(zhí)行器的外科器械，以及涉及借助手勢控制來控制這樣的機(jī)器人系統(tǒng) 的方法。
【背景技術(shù)】
[0002] 目前，對人體的外科手術(shù)越來越多地以微創(chuàng)法在手術(shù)機(jī)械手的輔助下進(jìn)行。根據(jù) 手術(shù)類型，手術(shù)機(jī)械手可以裝備不同的外科器械例如內(nèi)窺鏡、切割刀具、鑷鉗或縫合工具。 在外科手術(shù)中，這些工具借助一個(gè)或多個(gè)機(jī)械手經(jīng)閘門被插入患者身體。在外科手術(shù)過程 中，外科器械由外科醫(yī)生通過機(jī)器人系統(tǒng)的輸入裝置例如手勢控制用圖像處理系統(tǒng)來控 制。
[0003] 對于外科手術(shù)應(yīng)用，采用了各種不同的器械，例如內(nèi)窺鏡、腹腔鏡器械、切割器械、 夾取工具、拿持工具、接合工具或縫合器械以及其它手術(shù)工具。在外科器械或手術(shù)工具的遠(yuǎn) 端上有真正的末端執(zhí)行器例如解剖刀、剪、針、刮刀、銼刀、夾鉗、照相機(jī)等。該末端執(zhí)行器例 如可以借助繩索驅(qū)動機(jī)構(gòu)或借助集成在器械柄桿中的操縱部件來操作。
[0004] 在具有手勢控制用輸入裝置的機(jī)器人系統(tǒng)中，使用者可通過人工控制設(shè)定來控制 該外科器械及其末端執(zhí)行器。在此情況下，機(jī)器人系統(tǒng)的輸入裝置包括照相機(jī)，其在預(yù)定的 圖像采集區(qū)域內(nèi)拍攝使用者所做出的手勢。照相機(jī)所拍下的圖像數(shù)據(jù)被圖像處理單元(軟 件)處理并被轉(zhuǎn)化為用于機(jī)器人系統(tǒng)的被控部件的相應(yīng)控制指令。在已知的手勢控制中，使 用者一般可以規(guī)定動態(tài)手勢如運(yùn)動或靜態(tài)手勢如舉手，用于控制機(jī)器人系統(tǒng)的某個(gè)部件。 所述被控部件一般在屏幕上被顯示給使用者，從而他能觀察機(jī)器人系統(tǒng)對控制設(shè)定的反 應(yīng)。
[0005] US 6 424 885 B1公開了一種用于微創(chuàng)手術(shù)的機(jī)器人系統(tǒng)，其包括用以控制該外 科器械的多個(gè)手動輸入裝置。與所述控制相關(guān)地出現(xiàn)以下問題:輸入裝置的取向應(yīng)當(dāng)與外 科器械的末端執(zhí)行器的取向一致。為此，在US 6,424,885 A中采用了被稱為"映射"的方法。 如圖1所示，輸入裝置1包括兩個(gè)鉸接固定在主體2上的肢節(jié)4、5,其可以借助手的手指收合 或張開。在肢節(jié)4、5手動操作時(shí)，使顯示于右側(cè)的被控末端執(zhí)行器6的工作件9、10相應(yīng)運(yùn)動。 輸入裝置1的位置由點(diǎn)P1來確定。輸入裝置1的取向由縱軸3來確定，該縱軸延伸經(jīng)過兩個(gè)肢 節(jié)4、5之間的點(diǎn)P1和主體2。與此相似，末端執(zhí)行器6的取向通過在工作件9和10之間延伸的 軸8來規(guī)定。借助前述的"映射"方法，輸入裝置1的取向可以與末端執(zhí)行器的取向一致，從而 兩個(gè)軸3和8在相同方向上延伸。
[0006] 但是，US 6 424 885 B1所述的"映射"方法只適用于將輸入裝置1的取向與末端執(zhí) 行器的取向校準(zhǔn)。但它不適用于將手的取向、位置和/或張角與末端執(zhí)行器的取向、位置和/ 或張角校準(zhǔn)。

【發(fā)明內(nèi)容】

[0007] 因此，本發(fā)明的任務(wù)是提供一種包括手勢控制裝置的機(jī)器人系統(tǒng)，其中，使用者能 簡單快速地使其手的狀態(tài)適應(yīng)于被控物體的狀態(tài)。
[0008] 通過如獨(dú)立權(quán)利要求所述的特征來完成本發(fā)明的任務(wù)。由從屬權(quán)利要求得到本發(fā) 明的其它實(shí)施方式。
[0009] 本發(fā)明提出一種用于控制機(jī)器人系統(tǒng)的控制裝置，包括用于手勢控制的圖像采集 系統(tǒng)，其記錄、分析至少一只手的控制設(shè)定并將其轉(zhuǎn)換為用于機(jī)器人系統(tǒng)的一個(gè)或多個(gè)部 件的相應(yīng)控制指令。本發(fā)明的控制裝置包括控制單元，其確定外科器械的末端執(zhí)行器的取 向和/或位置和/或張角作為一個(gè)或多個(gè)第一參數(shù)以及手的取向和/或位置和/或張角作為 一個(gè)或多個(gè)第二參數(shù)，且在其中一個(gè)或多個(gè)第一參數(shù)不同于各自相應(yīng)的第二參數(shù)的情況下 阻止該末端執(zhí)行器的手勢控制功能，且在至少一個(gè)第二參數(shù)與各自相應(yīng)的第一參數(shù)(或由 其決定的理想?yún)?shù))一致的情況下準(zhǔn)許該末端執(zhí)行器的手勢控制。即，根據(jù)本發(fā)明，需要使 手的取向、位置或張角首先匹配于待控器械或其末端執(zhí)行器的取向、位置和/或張角，即進(jìn) 行校準(zhǔn)。在這樣的校準(zhǔn)之后，外科器械或其末端執(zhí)行器即可手動控制。
[0010] 手勢控制功能的啟動可以自動進(jìn)行。但它也可以在滿足附加條件(如使用者再次 確認(rèn)手勢控制功能)時(shí)被激活。在此情況下，只有當(dāng)手和末端執(zhí)行器之間的校準(zhǔn)以及使用者 的附加操作已發(fā)生時(shí)才可以進(jìn)行手勢控制。
[0011] 根據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施方式，手勢控制裝置如下配置："進(jìn)行控制的手的取 向、位置和張角"這些狀態(tài)之中的至少兩者與"該末端執(zhí)行器的相應(yīng)狀態(tài)"必須一致，以便激 活手勢控制。
[0012] 為了要求使用者執(zhí)行校準(zhǔn)，本發(fā)明的控制裝置最好如此設(shè)計(jì):在手的至少其中一 個(gè)狀態(tài)不同于末端執(zhí)行器的對應(yīng)狀態(tài)的情況下，向使用者發(fā)出信號。該信號例如可以是光 學(xué)信號、聲音信號或觸覺信號。利用該信號促使該使用者使手的取向和/或位置和/或張角 匹配于末端執(zhí)行器的相應(yīng)狀態(tài)。
[0013] 在至少其中一個(gè)狀態(tài)一致的情況下，最好向使用者發(fā)出一個(gè)信號，該信號向使用 者表明校準(zhǔn)成功。因此，例如可以借助光學(xué)信號向使用者指明成功校準(zhǔn)。
[0014] 為了使手和末端執(zhí)行器之間的校準(zhǔn)變得簡單，例如可以在屏幕上顯現(xiàn)一個(gè)虛擬元 件，其取向和/或位置和/或張角對應(yīng)于手的取向、位置或張角。該虛擬元件例如可以是被控 末端執(zhí)行器的"重現(xiàn)"。在剪刀的情況下，例如該圖像可以是外科手術(shù)剪的圖像，或者在解剖 刀情況下顯示解剖刀的圖像。
[0015] 另外，可以顯示另一個(gè)基準(zhǔn)元件，其顯示被控末端執(zhí)行器的取向和/或位置和/或 張角并且作為"理想設(shè)定"，用于使用者來實(shí)現(xiàn)手和末端執(zhí)行器之間的校準(zhǔn)。因此，使用者能 簡單直觀地使手的取向和/或位置和/或張角匹配于基準(zhǔn)元件的理想設(shè)定。他此時(shí)能在屏幕 上跟蹤校準(zhǔn)過程。
[0016] 為了確定手的取向、位置或張角，原則上存在許多可能性。根據(jù)本發(fā)明的一個(gè)實(shí)施 方式，例如可以如下確定手的位置:在手或相應(yīng)胳膊上通過圖像采集系統(tǒng)識別一個(gè)表征點(diǎn)， 且該點(diǎn)被規(guī)定作為用于手位置的參考點(diǎn)。圖像采集系統(tǒng)例如可以確定手腕點(diǎn)、指尖上的一 點(diǎn)或者節(jié)骨上的一點(diǎn)作為參考點(diǎn)。該點(diǎn)的位置由控制單元最好在圖像采集系統(tǒng)的坐標(biāo)系內(nèi) 來確定。
[0017] 手的取向例如可以通過一個(gè)矢量來規(guī)定，該矢量的方向在圖像采集系統(tǒng)的坐標(biāo)系 中被求出。該矢μ例如可以在手5?和食指尖之間的直線上，或者在手5?和姆指尖之間的直 線上。但它例如也可以位于一條線上，該線在拇指和食指之間延伸向手腕。原則上，可以確 定任何矢量，其隨后被規(guī)定作為手取向的參考。取向矢量或?qū)?yīng)線條的識別最好通過圖像 采集系統(tǒng)自動進(jìn)行。手的取向最好在圖像采集系統(tǒng)的坐標(biāo)系內(nèi)被確定。
[0018] 手的張角例如可被如下確定:在圖像采集系統(tǒng)的坐標(biāo)系內(nèi)確定兩個(gè)矢量和矢量之 間的角度。第一矢量例如可以從手腕上的一個(gè)點(diǎn)指向拇指方向，第二矢量從手腕上的點(diǎn)指 向食指尖方向。所述矢量或?qū)?yīng)的線條能通過圖像采集系統(tǒng)來自動確定。
[0019] 根據(jù)本發(fā)明的用于機(jī)器人系統(tǒng)的控制裝置還可以包括手動輔助件，其用于引導(dǎo)使 用者的手運(yùn)動。根據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施方式，該輔助件的運(yùn)動自由度與外科器械的被 控末端執(zhí)行器一樣多。在夾鉗情況下（其兩個(gè)對置的夾鉗爪可以繞一個(gè)軸分合轉(zhuǎn)動），該輔 助件最好恰好只有一個(gè)自由度。但它也可以具有更多或更少的自由度。
[0020] 手動輔助件的形狀最好對應(yīng)于被控末端執(zhí)行器的形狀。在外科手術(shù)剪或夾鉗情況 下，該輔助件例如可以具有兩個(gè)分支，它們通過鉸接機(jī)構(gòu)相互連接且因而能來回運(yùn)動。
[0021] 根據(jù)本發(fā)明的一個(gè)實(shí)施方式，例如該輔助件的取向、位置和/或張角可以通過圖像 采集系統(tǒng)來采集。如此得到的信息隨后可以被用作用于該手的取向、位置和/或張角的基準(zhǔn) 參數(shù)。因?yàn)樵撌謩虞o助件具有清楚限定的元件，故該輔助件的和進(jìn)而該手的取向、位置和/ 或張角可以被很簡單精確地確定。該方法因此帶來了采集手上的點(diǎn)的優(yōu)點(diǎn)。在該輔助件上 或許可以設(shè)置標(biāo)志以進(jìn)一步簡化所述識別。
[0022]根據(jù)本發(fā)明，可以通過該控制功能來確定在手上的或輔助件上的多個(gè)點(diǎn)，正如確 定兩手的取向、位置和張角所需要的那樣。如果為了手勢控制功能采用輔助件，則也可以確 定輔助件上的點(diǎn)。例如可以確定位于指尖或輔助件的肢節(jié)末端上的其它點(diǎn)。
[0023] 這些點(diǎn)也隨后可被用于確定矢量。例如可以如此定義該矢量：它必須延伸經(jīng)過兩 個(gè)點(diǎn)?；蛘?，在手和/或輔助件上的三個(gè)點(diǎn)可以被用于限定一個(gè)虛擬平面，該矢量必須位于 該平面內(nèi)。
[0024] 另外，位于該