一種具有3d攝像組件的電子設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] 本實用新型涉及計算機技術(shù)，尤其涉及一種具有3D攝像組件的電子設(shè)備。
【背景技術(shù)】
[0002] 隨著移動計算設(shè)備從筆記本電腦到手機、平板電腦的演化，移動計算設(shè)備的操控 方式也經(jīng)歷了從鍵盤、鼠標到手機按鍵、手寫板，再到觸摸屏、虛擬鍵盤的進化，可以看到， 移動設(shè)備的操控方式是朝著越來越直觀、簡便，并且符合人的自然習(xí)慣的方向進化的。
[0003] 目前在移動計算設(shè)備上廣泛使用的基于觸摸屏的操控方式，技術(shù)上是將一塊透明 的觸摸感應(yīng)屏和顯示屏貼合在一起，觸摸感應(yīng)屏實質(zhì)上是一個定位裝置，能夠捕捉到屏幕 上的觸摸動作并獲取其位置，同時結(jié)合時間軸信息，將動作識別其為點觸、長觸、滑動等動 作之一。進而將位置和動作信息作為指令傳遞給移動計算設(shè)備，移動計算設(shè)備基于該指令 做出相應(yīng)的操作反應(yīng)。由于觸摸感應(yīng)屏與顯示屏是疊加在一起的，因此帶給使用者"所點即 所想"的使用感受，相比鼠標、觸控板等定位設(shè)備需要通過光標反饋位置的輸入方式，屏幕 觸控方式帶來更好的使用體驗。
[0004] 屏幕觸控方式相比鍵盤加鼠標的方式，更加符合人的直觀反應(yīng)、更容易學(xué)習(xí)，但是 屏幕觸控方式畢竟只捕捉到了人體手指的動作，在一些需要更多使用者本體信息輸入的場 合，比如運動游戲、模擬訓(xùn)練、復(fù)雜操控、遠距離操控等，屏幕觸控方式就顯示出其捕獲人體 信息過于單一的局限性了。從人機交互的角度，更多的使用者信息的獲取，將能夠傳達更豐 富、更精準的使用者操作意圖，因此必然能夠帶來更便利的操控方法和更好的使用體驗。然 而，目前的人機交互技術(shù)中的手勢識別處理所采用的算法較為復(fù)雜、耗費時間且識別精度 低的問題。 【實用新型內(nèi)容】
[0005] 在下文中給出了關(guān)于本實用新型的簡要概述，以便提供關(guān)于本實用新型的某些方 面的基本理解。應(yīng)當理解，這個概述并不是關(guān)于本實用新型的窮舉性概述。它并不是意圖確 定本實用新型的關(guān)鍵或重要部分，也不是意圖限定本實用新型的范圍。其目的僅僅是以簡 化的形式給出某些概念，以此作為稍后論述的更詳細描述的前序。
[0006] 鑒于此，本實用新型提供了一種具有3D攝像組件的電子設(shè)備，以至少解決現(xiàn)有的 人機交互技術(shù)中的手勢識別處理所采用的算法較為復(fù)雜、耗費時間且識別精度低的問題。
[0007] 根據(jù)本實用新型的一個方面，提供了一種具有3D攝像組件的電子設(shè)備，該電子設(shè) 備包括:3D攝像單元、輪廓檢測單元、特征點序列確定單元、動作識別單元、手勢識別單元、 指令確定單元和執(zhí)行單元，所述3D攝像單元連接所述輪廓檢測單元，所述輪廓檢測單元連 接所述特征點序列確定單元，所述特征點序列確定單元連接所述動作識別單元，所述動作 識別單元連接所述手勢識別單元，所述手勢識別單元連接所述指令確定單元，所述指令確 定單元連接所述執(zhí)行單元;其中，所述3D攝像單元捕獲含有深度信息的使用者手部的待測 圖像序列;所述輪廓檢測單元根據(jù)圖像深度信息和圖像顏色信息，在所述待測圖像序列的 每幀圖像中檢測出所述使用者的手部輪廓;所述特征點序列確定單元針對所述使用者的每 只手，利用預(yù)設(shè)的手部結(jié)構(gòu)模板，在所述待測圖像序列的每幀圖像中確定該只手的待測特 征點序列;所述動作識別單元針對所述使用者的每只手，在多個預(yù)設(shè)特征點序列中確定該 只手的待測特征點序列的匹配序列，以根據(jù)所述匹配序列確定該只手的動作名稱和位置； 所述手勢識別單元在預(yù)設(shè)手勢表中選擇與所述使用者雙手的動作名稱和位置相匹配的手 勢，作為已識別手勢;所述指令確定單元根據(jù)預(yù)設(shè)操作指令表，確定與所述已識別手勢對應(yīng) 的操作指令;所述執(zhí)行單元對與確定的操作指令相關(guān)的設(shè)備進行與該操作指令對應(yīng)的操 作。
[0008] 進一步地，特征點序列確定單元包括:模板存儲子單元，用于存儲預(yù)設(shè)的手部結(jié)構(gòu) 模板;模板匹配子單元，用于針對使用者的每只手，利用預(yù)設(shè)的手部結(jié)構(gòu)模板，在待測圖像 序列的每幀圖像的手部輪廓中確定該只手的預(yù)定數(shù)目個特征點；序列生成子單元，用于針 對使用者的每只手，利用該只手在待測圖像序列的各幀圖像中對應(yīng)的預(yù)定數(shù)目個特征點， 獲得該只手的待測特征點序列。
[0009] 進一步地，3D攝像單元包括兩個3D攝像頭。
[0010] 進一步地，模板匹配子單元包括:定位基點確定模塊，其用于針對待測圖像序列的 每幀圖像，根據(jù)該圖像中的輪廓線的曲率找到該輪廓線中的指尖點和指根關(guān)節(jié)點，以將指 尖點作為定位基點;縮放基準確定模塊，其用于針對定位基點確定模塊處理后的每幀圖像， 基于該幀圖像中已找到的定位基點，匹配每個單指的指根關(guān)節(jié)點，得到各單指的長度來作 為尺度縮放的基準;縮放及形變模塊，其用于針對縮放基準確定模塊處理后的每幀圖像，基 于已找到的指尖點和指根關(guān)節(jié)點的位置以及各單指的長度來對相應(yīng)的手部結(jié)構(gòu)模板進行 縮放和形變，通過匹配得到每只手的各指關(guān)節(jié)特征點和手腕中點特征點；其中，模板存儲子 單元存儲的手部結(jié)構(gòu)模板包括左手結(jié)構(gòu)模板和右手結(jié)構(gòu)模板，左手結(jié)構(gòu)模板和右手結(jié)構(gòu)模 板各自包括:各手指的指尖特征點、各指關(guān)節(jié)特征點、各指根關(guān)節(jié)特征點、手腕中點特征點 以及各特征點之間的拓撲關(guān)系。
[0011] 進一步地，動作識別單元包括:分割子單元，用于針對每只手的待測特征點序列， 根據(jù)預(yù)定時間窗將該待測特征點序列分割為多個子序列，并獲得每個子序列對應(yīng)的平均位 置;匹配序列確定子單元，用于針對每只手對應(yīng)的每個子序列，將該子序列與多個預(yù)設(shè)特征 點序列中的每一個分別進行匹配，在多個預(yù)設(shè)特征點序列中選擇與該子序列的匹配程度高 于預(yù)設(shè)的匹配閾值、并且最大的預(yù)設(shè)特征點序列，作為該子序列的匹配序列；關(guān)聯(lián)子單元， 用于將每個子序列對應(yīng)的平均位置與該子序列的匹配序列對應(yīng)的動作名稱相關(guān)聯(lián);動作名 稱確定子單元，用于針對每只手，將該只手對應(yīng)的各子序列的匹配序列作為該只手對應(yīng)的 多個匹配序列，并將該多個匹配序列各自對應(yīng)的動作名稱作為該只手的多個動作名稱。
[0012] 進一步地，手勢識別單元包括:手勢表存儲子單元，用于存儲如下映射列表來作為 預(yù)設(shè)手勢表:該映射列表中的每個映射的左端是一組動作名稱對及每個動作名稱對的位 置;該映射列表中的每個映射的右端是一個手勢;手勢表匹配子單元，用于將預(yù)設(shè)手勢表中 的每個映射的左端與使用者雙手的動作名稱和位置進行匹配，其中，動作名稱的匹配執(zhí)行 嚴格匹配，而位置則是通過使用者雙手各自的平均位置計算得到相對位置信息，進而計算 該相對位置信息與映射左端的位置之間的相似度來實現(xiàn)的。
[0013] 進一步地，具有3D攝像組件的電子設(shè)備還包括:實時顯示單元，用于基于使用者每 只手的位置在設(shè)備的屏幕上顯示使用者手部的模擬圖形。
[0014]進一步地，電子設(shè)備為以下之一:手機、多媒體播放設(shè)備、臺式機、筆記本電腦以及 平板電腦。
[0015] 上述根據(jù)本實用新型實施例的具有3D攝像組件的電子設(shè)備，先識別單手動作、再 通過雙手動作識別手勢，進而根據(jù)已識別手勢來執(zhí)行對應(yīng)操作，在人機交互過程中能夠準 確識別使用者的手勢，識別精度較高，而且識別速度較快。
[0016] 此外，由于本實用新型實施例采用深度攝像頭獲取使用者的人體動作作為操作移 動計算設(shè)備的輸入操控指令，因此能夠令使用者使用更加直觀、便利的自然動作實現(xiàn)對移 動計算設(shè)備的非接觸式操控，為移動計算設(shè)備在諸如運動游戲、模擬訓(xùn)練、復(fù)雜操控、遠距 離操控等領(lǐng)域中的應(yīng)用提供更加便捷精準的輸入、控制。
[0017] 本實用新型的上述具有3D攝像組件的電子設(shè)備采用層次化設(shè)計算法，算法復(fù)雜度 低，便于實現(xiàn)。
[0018] 此外，應(yīng)用本實用新型的上述具有3D攝像組件的電子設(shè)備，當需要改變（例如修 改、增加或減少等)對動作和/或手勢的定義時，可以僅通過調(diào)整模板（即，通過修改預(yù)設(shè)特 征點序列對應(yīng)的動作名稱來改變動作的定義，通過增加或減少預(yù)設(shè)特征點序列及其對應(yīng)動 作名稱來增、減動作）以及預(yù)設(shè)手勢表（即，通過修改預(yù)設(shè)手勢表中手勢對應(yīng)的多個動作來 改變手勢的定義，通過增加或減少預(yù)設(shè)手勢表中的手勢及其對應(yīng)動作來增、減手勢），而不 需改變算法或者重新訓(xùn)練分類器，大大提高了算法的適應(yīng)性。