專利名稱：手語識別系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種移動通信系統(tǒng)及方法，特別是關(guān)于一種應用于移動通信設備的手 語識別系統(tǒng)及方法。
背景技術(shù)：
移動通信設備(例如手機)是現(xiàn)代生活中必不可少的通信工具，人們可以通過撥 打電話或發(fā)送短信息進行相互溝通。當聾 人士想使用通信工具與對方通信時，他們通話 時可能采用手語進行進行交流；或者，當移動通信的一方不懂得對方的語言時，例如漢語使 用者不懂得俄語，他們通話時也可能采用手語進行交流。然而，一般的移動通信設備不具有 手語識別功能，從而使得聾啞人士或者不同語種人士無法利用移動通信設備進行有效地通 信，給他們在信息交流上帶來不便。

發(fā)明內(nèi)容
鑒于以上內(nèi)容，有必要提供一種手語識別系統(tǒng)，能夠?qū)Σ煌氖终Z進行識別，從而 方便聾 人士或者不同語種人士利用移動通信設備進行有效地通信。此外，還有必要提供一種手語識別方法，能夠?qū)Σ煌氖终Z進行識別，從而方便聾 現(xiàn)人士或者不同語種人士利用移動通信設備進行有效地通信。一種手語識別系統(tǒng)，應用于移動通信設備。該移動通信設備通過網(wǎng)絡與服務器連 接。所述的移動通信設備包括攝像單元、輸入單元、顯示單元以及手語識別單元。該手語識 別單元包括界面產(chǎn)生模塊，用于產(chǎn)生一個操作手語識別功能的主菜單界面，并將該主菜單 界面顯示在顯示單元上；影像處理模塊，用于當使用者選擇主菜單界面的錄像按鈕時，控制 攝像單元攝取目標人物的人體影像，根據(jù)人體特征從人體影像中抽取手語數(shù)據(jù)，將抽取的 手語數(shù)據(jù)與移動通信設備的預設語言進行壓縮并打包成手語數(shù)據(jù)包，將該手語數(shù)據(jù)包通過 網(wǎng)絡發(fā)送給服務器進行手語解析并產(chǎn)生使用者可識別的手語識別信息；文本處理模塊，用 于當使用者選擇主菜單界面的文本輸入按鈕時，將使用者從輸入單元輸入的文本、接收方 的使用語言以及接收方號碼進行壓縮并打包成文本數(shù)據(jù)包，將該文本數(shù)據(jù)包通過網(wǎng)絡發(fā)送 給服務器進行文本解析并產(chǎn)生接收方可識別的手語影像。一種手語識別方法，通過使用移動通信設備進行手語識別。該移動通信設備通過 網(wǎng)絡與服務器連接，所述的移動通信設備包括攝像單元、輸入單元以及顯示單元。該方法 包括步驟產(chǎn)生一個用于操作手語識別功能的主菜單界面，并將該主菜單界面顯示在顯示 單元上；當移動通信設備的使用者選擇主菜單界面的錄像按鈕時，執(zhí)行步驟(al)至步驟 (a5) :(al)控制攝像單元攝取目標人物的人體影像；(U)根據(jù)人體特征從人體影像中抽取 手語數(shù)據(jù)；(a!3)將抽取的手語數(shù)據(jù)與移動通信設備的預設語言信息進行壓縮并打包成手 語數(shù)據(jù)包；(a4)將手語數(shù)據(jù)包通過網(wǎng)絡發(fā)送給服務器進行手語解析并產(chǎn)生使用者可識別 的手語識別信息；(a5)接收服務器產(chǎn)生的手語識別信息，并將手語識別信息顯示在顯示單 元上；當移動通信設備的使用者選擇主菜單界面的文本輸入按鈕時，執(zhí)行步驟(bl)至步驟(b3) :(bl)將使用者從輸入單元輸入的文本、接收方的使用語言以及接收方號碼進行壓縮 并打包成文本數(shù)據(jù)包；( )將該文本數(shù)據(jù)包通過網(wǎng)絡發(fā)送給服務器進行文本解析并產(chǎn)生 接收方可識別的手語影像；(b!3)將該手語影像按照接收方號碼發(fā)送到接收方的接收終端 上。 相較于現(xiàn)有技術(shù)，本發(fā)明所述的手語識別系統(tǒng)及方法，通過移動通信設備對不同 的手語進行識別，從而方便聾啞人士或者不同語種人士利用該移動通信設備進行有效地通


圖1是本發(fā)明手語識別系統(tǒng)較佳實施例的架構(gòu)圖。
圖2是本發(fā)明手語識別方法較佳實施例的流程圖。
圖3是主菜單界面的示意圖。
圖4是子菜單界面的示意圖。
主要元件符號說明
移動通信設備1
手語識別單元10
界面產(chǎn)生模塊101
影像處理模塊102
文本處理模塊103
攝像單元11
顯示單元12
輸入單元13
服務器2
手語分析單元21
文本分析單元22
數(shù)據(jù)庫3
網(wǎng)絡具體實施例方式如圖1所示，是本發(fā)明手語識別系統(tǒng)較佳實施例的架構(gòu)圖。在本實施例中，所述 的手語識別系統(tǒng)應用于移動通信設備1，該移動通信設備1通過網(wǎng)絡4與服務器2連接，該 服務器2連接有數(shù)據(jù)庫3。該數(shù)據(jù)庫3用于存儲識別手語的手語事件標準以及文本解析標 準。所述的手語事件標準一般包括通用手語標準以及聾啞手語標準。例如，通用手語標準 包括正常人士用手勢表示數(shù)字0-9對應的手語，聾啞手語標準包括聾啞人士用手勢表示數(shù) 字0-9對應的手語。此外，所述的手語事件標準還可以為使用者自定義暗號事件，亦即使用 者可以定義人體肢體的某一個動作或姿勢作為事件暗號，例如雙手抱頭表示“急救120”，以 及彎腰表示“火警119”等。所述的移動通信設備1包括手語識別單元10、攝像單元11、顯示單元12以及輸入 單元13。所述的手語識別單元10包括界面產(chǎn)生模塊101、影像處理模塊102以及文本處理模塊103。所述的服務器2包括手語分析單元21以及文本分析單元22。所述的界面產(chǎn)生模塊101用于產(chǎn)生一個操作手語識別功能的主菜單界面110以及 子菜單界面120，并將該主菜單界面110以及子菜單界面120顯示在顯示單元12上。參考 圖3所示，主菜單界面110包括錄像按鈕111、文本輸入按鈕112以及界面退出按鈕113。本 實施例中，當使用者選擇錄像按鈕111時，則手語識別單元10啟用影像處理模塊102進行 影像手語識別；當使用者選擇文本輸入按鈕112時，則手語識別單元10啟用文本處理模塊 103進行文本手語識別。參考圖4所示，子菜單界面120包括文本輸入框121、語言選擇按 鈕122、號碼輸入按鈕123、文本解析按鈕124以及界面返回按鈕125。文本輸入框121用 于供用戶通過輸入單元13輸入文本以及接收方號碼。語言選擇按鈕122用于選擇接收方 的使用語言，例如漢語、英語、法語、德語以及俄語等國際語言。文本解析按鈕1 用于將輸 入文本、接收方號碼以及接收方的使用語言發(fā)送給服務器3進行文本解析。界面返回按鈕 125用于從子菜單界面120返回主菜單界面110。所述的影像處理模塊102用于控制攝像單元11攝取目標人物的人體影像，根據(jù)人 體特征從人體影像中抽取手語數(shù)據(jù)。所述的手語數(shù)據(jù)包括手形、手勢、頭部、嘴巴、肩膀以及 面部表情等人體肢體語言數(shù)據(jù)。影像處理模塊102還用于將抽取的手語數(shù)據(jù)與移動通信設 備1的預設語言信息進行壓縮并打包成一個手語數(shù)據(jù)包，以及將該手語數(shù)據(jù)包通過網(wǎng)絡4 發(fā)送給服務器2進行手語解析。所述的預設語言是使用者在使用移動通信設備1時設置的 使用語言，例如漢語、英語、法語、德語以及俄語等國際語言。所述的文本處理模塊103用于將從文本輸入框121輸入的文本、接收方的使用語 言以及接收方號碼進行壓縮并打包成一個文本數(shù)據(jù)包，以及將該文本數(shù)據(jù)包通過網(wǎng)絡4發(fā) 送給服務器2進行文本解析。所述的手語分析單元21當服務器報2接收到移動通信設備1發(fā)送過來的手語數(shù) 據(jù)包時，根據(jù)存儲在數(shù)據(jù)庫3中的手語事件標準解析手語數(shù)據(jù)包，并產(chǎn)生手語解析結(jié)果。該 手語分析單元21還用于根據(jù)移動通信設備1的預設語言將手語解析結(jié)果描述為使用者可 識別的手語識別信息，以及將手語識別信息通過網(wǎng)絡4發(fā)送給移動通信設備1。例如，使用 者在使用移動通信設備1時設置的語言為漢語，手語分析單元21將手語解析結(jié)果用漢語描 述成移動通信設備1的使用者可識別的手語識別信息，使用者通過該手語識別信息即可了 解目標人物的手語或肢體語言。所述的文本分析單元22用于當服務器報2接收到移動通信設備1發(fā)送過來的文 本數(shù)據(jù)包時，根據(jù)存儲在數(shù)據(jù)庫3中的文本解析標準和接收方的使用語言解析文本數(shù)據(jù) 包，并產(chǎn)生文本解析結(jié)果。該文本分析單元22根據(jù)文本解析結(jié)果產(chǎn)生接收方可識別的手語 影像，將該手語影像按照接收方號碼發(fā)送到接收方的接收終端上。由此，接收方可通過觀看 接收終端的手語影像即可了解移動通信設備1的使用者所輸入的文本意思，從而完成使用 者與接收方之間的相互溝通。如圖2所示，是本發(fā)明手語識別方法較佳實施例的流程圖。步驟S201，移動通信 設備1初始化手語識別單元10，該手語識別單元10包括界面產(chǎn)生模塊101、影像處理模塊 102以及文本處理模塊103。界面產(chǎn)生模塊101產(chǎn)生一個操作手語識別功能的主菜單界面 110，并將該主菜單界面110顯示在顯示單元20上。參考圖3所示，主菜單界面110包括錄 像按鈕111、文本輸入按鈕112以及界面退出按鈕113。
步驟S202，手語識別單元10判斷使用者啟用的是影像手語識別功能還是文本手 語識別功能。在本實施例中，如果使用者選擇錄像按鈕111，則手語識別單元10啟用影像處 理模塊102進行影像手語識別；如果使用者選擇文本輸入按鈕112，則手語識別單元10啟 用文本處理模塊103進行文本文本識別。步驟S203，當移動通信設備1的使用者選擇錄像按鈕111時，影像處理模塊102控 制攝像單元11攝取目標人物的人體影像。步驟S204，影像處理模塊102根據(jù)人體特征從人 體影像中抽取手語數(shù)據(jù)。所述的手語數(shù)據(jù)包括手形、手勢、頭部、嘴巴、肩膀以及面部表情等 人體肢體語言數(shù)據(jù)。步驟S205，影像處理模塊102將抽取的手語數(shù)據(jù)與移動通信設備1的 預設語言信息進行壓縮并打包成一個手語數(shù)據(jù)包。所述的預設語言是使用者在使用移動通 信設備1時設置的使用語言，例如漢語、英語、法語、德語以及俄語等國際語言。如果使用者 在使用移動通信設備1時設置的語言為漢語，則影像處理模塊102將手語數(shù)據(jù)與漢語信息 進行壓縮并打包成手語數(shù)據(jù)包。步驟S206，影像處理模塊102將該手語數(shù)據(jù)包通過網(wǎng)絡4發(fā)送給服務器2。步驟 S207,當服務器2接收到移動通信設備1發(fā)送過來的手語數(shù)據(jù)包時，手語分析單元21根據(jù) 存儲在數(shù)據(jù)庫3中的手語事件標準解析接收到的手語數(shù)據(jù)包，并產(chǎn)生手語解析結(jié)果。本實 施例中，所述的手語事件標準一般包括通用手語標準以及聾啞手語標準。其中，通用手語標 準包括正常人士用手勢表示數(shù)字0-9對應的手語，聾啞手語標準包括聾啞人士用手勢表示 數(shù)字0-9對應的手語。此外，所述的手語事件標準還可以為一種使用者自定義暗號事件，亦 即使用者可以定義人體肢體的某一個動作或姿勢作為事件暗號，例如雙手抱頭表示“急救 120”，以及彎腰表示“火警119”等。步驟S208，手語分析單元21根據(jù)移動通信設備1的預設語言將手語解析結(jié)果描述 為使用者可識別的手語識別信息。例如，使用者在使用移動通信設備1時設置的預設語言 為漢語，手語分析單元21將手語解析結(jié)果用漢語描述成移動通信設備1的使用者可識別的 手語識別信息。步驟S209，手語分析單元21將該手語識別信息通過網(wǎng)絡4發(fā)送給移動通信 設備1，顯示單元12顯示該手語識別信息，該移動通信設備1的使用者即可了解目標人物的 手語或肢體語言。在上述步驟S202中，當移動通信設備1的使用者選擇主菜單界面110中的文本 輸入按鈕112時，步驟S210，界面產(chǎn)生模塊101產(chǎn)生一個操作文本識別功能的子菜單界面 120，并將該子菜單界面120顯示在顯示單元20上。參考圖4所示，子菜單界面120包括文 本輸入框121、語言選擇按鈕122、號碼輸入按鈕123、文本解析按鈕124以及界面返回按鈕 125。步驟S211，使用者通過輸入單元13在文本輸入框121中輸入文本以及接收方號 碼，并通過語言選擇按鈕122選擇接收方的使用語言。步驟S212，文本處理模塊103將輸入 文本、使用語言以及接收方號碼進行壓縮并打包成一個文本數(shù)據(jù)包。步驟S213，文本處理模 塊103將該文本數(shù)據(jù)包通過網(wǎng)絡4發(fā)送給服務器2。步驟S214，當服務器2接收到移動通 信設備1發(fā)送過來的文本數(shù)據(jù)包時，文本分析單元22根據(jù)存儲在數(shù)據(jù)庫3中的文本解析標 準和使用語言解析接收到的文本數(shù)據(jù)包，并產(chǎn)生文本解析結(jié)果。步驟S215，文本分析單元 21根據(jù)文本解析結(jié)果產(chǎn)生接收方可識別的手語影像。步驟S216，文本分析單元21將該手 語影像按照接收方號碼發(fā)送到接收方的接收終端上。因此，接收方可通過接收終端觀看手語影像即可了解移動通信設備1的使用者所輸入的文本意思，從而完成使用者與接收方之 間的相互溝通。
權(quán)利要求
1.一種手語識別系統(tǒng)，應用于移動通信設備，該移動通信設備通過網(wǎng)絡與服務器連接， 所述的移動通信設備包括攝像單元、輸入單元以及顯示單元，其特征在于，所述的手語識別 系統(tǒng)包括界面產(chǎn)生模塊，用于產(chǎn)生一個操作手語識別功能的主菜單界面，并將該主菜單界面顯 示在顯示單元上，該主菜單界面包括一個錄像按鈕和一個文本輸入按鈕；影像處理模塊，用于當移動通信設備的使用者選擇錄像按鈕時，控制攝像單元攝取目 標人物的人體影像，根據(jù)人體特征從人體影像中抽取手語數(shù)據(jù)，將抽取的手語數(shù)據(jù)與移動 通信設備的預設語言進行壓縮并打包成手語數(shù)據(jù)包，將該手語數(shù)據(jù)包通過網(wǎng)絡發(fā)送給服務 器進行手語解析并產(chǎn)生移動通信設備的使用者可識別的手語識別信息；文本處理模塊，用于當移動通信設備的使用者選擇文本輸入按鈕時，將使用者從輸入 單元輸入的文本、接收方的使用語言以及接收方號碼進行壓縮并打包成文本數(shù)據(jù)包，將該 文本數(shù)據(jù)包通過網(wǎng)絡發(fā)送給服務器進行文本解析并產(chǎn)生接收方可識別的手語影像。
2.如權(quán)利要求1所述的手語識別系統(tǒng)，其特征在于，所述的服務器連接有數(shù)據(jù)庫，該數(shù) 據(jù)庫用于存儲手語事件標準以及文本解析標準，該手語事件標準包括通用手語標準以及聾 啞手語標準。
3.如權(quán)利要求2所述的手語識別系統(tǒng)，其特征在于，所述的服務器包括手語分析單元， 用于當服務器接收到手語數(shù)據(jù)包時，根據(jù)所述的手語事件標準解析手語數(shù)據(jù)包并產(chǎn)生手語 解析結(jié)果，根據(jù)移動通信設備的預設語言將手語解析結(jié)果描述為使用者可識別的手語識別 信息，以及將手語識別信息通過網(wǎng)絡發(fā)送給移動通信設備。
4.如權(quán)利要求2所述的手語識別系統(tǒng)，其特征在于，所述的服務器包括文本分析單元， 用于當服務器接收到文本數(shù)據(jù)包時，根據(jù)所述的文本解析標準和接收方的使用語言解析文 本數(shù)據(jù)包并產(chǎn)生文本解析結(jié)果，根據(jù)生文本解析結(jié)果產(chǎn)生接收方可識別的手語影像，將該 手語影像按照接收方號碼發(fā)送到接收方的接收終端上。
5.如權(quán)利要求1所述的手語識別系統(tǒng)，其特征在于，所述的界面產(chǎn)生模塊還用于當使 用者選擇主菜單界面的文本輸入按鈕時產(chǎn)生一個子菜單界面，該子菜單界面包括文本輸入 框、語言選擇按鈕、號碼輸入按鈕、文本解析按鈕以及界面返回按鈕。
6.一種手語識別方法，通過使用移動通信設備進行手語識別，該移動通信設備通過網(wǎng) 絡與服務器連接，所述的移動通信設備包括攝像單元、輸入單元以及顯示單元，其特征在 于，該方法包括步驟產(chǎn)生一個用于操作手語識別功能的主菜單界面，并將該主菜單界面顯示在顯示單元 上，該主菜單界面包括一個錄像按鈕和一個文本輸入按鈕；當移動通信設備的使用者選擇錄像按鈕時，執(zhí)行步驟(al)至步驟(a5) (al)控制攝像單元攝取目標人物的人體影像； (a2)根據(jù)人體特征從人體影像中抽取手語數(shù)據(jù)；(a3)將抽取的手語數(shù)據(jù)與移動通信設備的預設語言進行壓縮并打包成手語數(shù)據(jù)包； (a4)將手語數(shù)據(jù)包通過網(wǎng)絡發(fā)送給服務器進行手語解析并產(chǎn)生使用者可識別的手語 識別信息；(a5)接收服務器產(chǎn)生的手語識別信息，并將手語識別信息顯示在顯示單元上； 當移動通信設備的使用者選擇文本輸入按鈕時，執(zhí)行步驟(bl)至步驟(b3)(bl)將使用者從輸入單元輸入的文本、接收方的使用語言以及接收方號碼進行壓縮并 打包成文本數(shù)據(jù)包；(b2)將該文本數(shù)據(jù)包通過網(wǎng)絡發(fā)送給服務器進行文本解析并產(chǎn)生接收方可識別的手 語影像；(b3)將該手語影像按照接收方號碼發(fā)送到接收方的接收終端上。
7.如權(quán)利要求6所述的手語識別方法，其特征在于，所述的服務器連接有數(shù)據(jù)庫，該數(shù) 據(jù)庫用于存儲手語事件標準以及文本解析標準，該手語事件標準包括通用手語標準以及聾 啞手語標準。
8.如權(quán)利要求7所述的手語識別方法，其特征在于，所述的步驟(a4)包括如下步驟 當服務器接收到手語數(shù)據(jù)包時，根據(jù)所述的手語事件標準解析手語數(shù)據(jù)包并產(chǎn)生手語解析結(jié)果；根據(jù)移動通信設備的預設語言將手語解析結(jié)果描述為移動通信設備的使用者可識別 的手語識別信息；將手語識別信息通過網(wǎng)絡發(fā)送給該移動通信設備。
9.如權(quán)利要求7所述的手語識別方法，其特征在于，所述的步驟(b2)包括如下步驟 當服務器報接收到文本數(shù)據(jù)包時，根據(jù)所述的文本解析標準和接收方的使用語言解析文本數(shù)據(jù)包并產(chǎn)生文本解析結(jié)果；根據(jù)文本解析結(jié)果產(chǎn)生接收方可識別的手語影像。
10.如權(quán)利要求6所述的手語識別方法，其特征在于，該方法還包括如下步驟當使用者選擇主菜單界面的文本輸入按鈕時產(chǎn)生一個子菜單界面，該子菜單界面包括 文本輸入框、語言選擇按鈕、號碼輸入按鈕、文本解析按鈕以及界面返回按鈕。
全文摘要
一種手語識別系統(tǒng)，應用于移動通信設備。該移動通信設備包括攝像單元、輸入單元和顯示單元。該手語識別系統(tǒng)包括界面產(chǎn)生模塊、影像處理模塊和文本處理模塊。影像處理模塊通過控制攝像單元攝取目標人物的人體影像，根據(jù)人體特征從人體影像中抽取手語數(shù)據(jù)，并將手語數(shù)據(jù)通過網(wǎng)絡發(fā)送給服務器進行手語解析并產(chǎn)生使用者可識別的手語識別信息。文本處理模塊將使用者輸入的文本、接收方使用語言和接收方號碼進行壓縮并打包成文本數(shù)據(jù)包，將文本數(shù)據(jù)包通過網(wǎng)絡發(fā)送給服務器進行文本解析并產(chǎn)生接收方可識別的手語影像。實施本發(fā)明，能夠?qū)Σ煌终Z進行識別，方便聾啞人士或者不同語種人士利用移動通信設備進行有效地通信。
文檔編號H04M1/247GK102104670SQ200910311739
公開日2011年6月22日 申請日期2009年12月17日 優(yōu)先權(quán)日2009年12月17日
發(fā)明者林永釧 申請人:奇美通訊股份有限公司, 深圳富泰宏精密工業(yè)有限公司