專利名稱：：一個基于多媒介用戶交互的電子繪畫創(chuàng)作的方法
技術領域：
：本發(fā)明涉及電子繪畫創(chuàng)作的方法的人機交互技術，尤其涉及一個基于多媒介用戶交互的電子繪畫創(chuàng)作的方法。
背景技術：
：繪畫是很多人喜聞樂見的藝術形式，但是有很多具有豐富的想象力和理解力的人都不具備熟練的繪畫能力，為了能夠最大程度的幫助用戶把想到的內(nèi)容用繪畫的形式表現(xiàn)出來，我們發(fā)明了這個通過語音、手勢和表演來進行繪畫的系統(tǒng)。到目前為止，主流的在電腦上繪畫的方式是通過電子畫筆在畫布上繪畫，這種繪畫方式對繪畫的技巧要求很高，對于大多數(shù)喜歡畫畫卻又不精通繪畫技巧的用戶來說有一定難度。因此，我們發(fā)明了這種可以通過語音，手勢或者表演來進行繪畫的方式，使得用戶可以通過多種途徑來繪畫，從而更好的表現(xiàn)想要繪畫的內(nèi)容。這項發(fā)明的貢獻在于提出了是一種新型的基于對用戶的語音、手勢和表演的識別，以及眼球跟蹤的多媒體人機交互技術。在對媒體人機交互技術方面，最早提出多樣化人機交互方式的是在二十多年前，Richard(RichardA.B.1980."Put-That-There":VoiceandGestureattheGraphicsInterface)開發(fā)了一個"Put-That-There"的系統(tǒng)，在該系統(tǒng)中，用戶可以通過手勢和語音命令將二維圖形對象放到一個很大的屏幕上；早期的基于手勢的用戶界面是B池metal(K.B6hm,W.Hiibner，andK.V膽nanen.Given:Gesturedriveninteractionsinvirtualenvironments;atoolkitapproachto3Dinteractions.InInterfacestoRealandVirtualWorlds,1992)為虛擬現(xiàn)實程序開發(fā)的，在他們的系統(tǒng)中將手勢與預先定義好的符號信息對應起來，通過手勢來激活系統(tǒng)中的命令。人手跟蹤是手勢界面中非常重要的一種方法，最早的沒有使用數(shù)字化手套而是使用計算機視覺技術來進行人手跟蹤的系統(tǒng)是Krueger開發(fā)的聲音位置(VOICEPLACE)系統(tǒng)(Krueger,M.VIDEOPLACEandtheInterfaceoftheFuture.InTheArtofHumanComputerInterfaceDesign.AddisonWesley,MenloPark,CA.pp.417-422.1991)，在他們的系統(tǒng)中，手的輪廓線用來生產(chǎn)二維圖畫。在我們的系統(tǒng)中我們同樣使用了手的輪廓線作為圖片搜索的輸入。除了基于手勢的用戶界面，另外的非傳統(tǒng)的人機交互方法是基于語音的用戶界面和基于眼球跟蹤的用戶界面。在(RichardA.B.Eyesattheinterface.ConferenceonHumanFactorsinComputingSystems,pp.360-362.1982)所提出的系統(tǒng)中，第一次使用了眼球跟蹤的方法使得用戶能夠通過眼球跟蹤選擇圖片。在本發(fā)明中，我們同樣使用了眼球跟蹤的方法來實現(xiàn)圖片的選擇和圖像分割元素的選擇。語音識別的研究工作開始于50年代，迄今為止，在WindowsXP中所包含的語音識別功能，特別是與OfficeXP的軟件合用時，能夠顯著增強諸如游戲、數(shù)據(jù)輸入或者文字編輯領域的計算功能；IBM也推出了語音識別輸入系統(tǒng)，也有一系列的商用的和開源的語音識別軟件，都從某種程度上改變了用戶和計算機的交互方式。語音識別己經(jīng)是一項相對成熟的技術；電腦對人的手勢和表演的識別也是今年來研究的熱點，在計算機視覺領域，有很多科學家致力于通過攝像頭獲取用戶的手勢和其他肢體語言，然后分析其意義的研究。眼球跟蹤技術是一項有趣而且有很多實際應用價值的研究，事實上，在網(wǎng)絡上已經(jīng)有很多開源的追蹤用戶眼球的項目，可以實現(xiàn)通過攝像頭觀察用戶眼球的活動，并且定位用戶的目光注視著屏幕的哪個區(qū)域。因此，本發(fā)明采用了已有的語音識別技術、手勢和表演的識別技術和眼球跟蹤技術，主要貢獻在于提出了一種新型的，能夠更好的幫助用戶進行繪畫創(chuàng)作的多媒體繪畫系統(tǒng)，同時本發(fā)明也考慮了兒童和殘疾人的需求。
發(fā)明內(nèi)容本發(fā)明的目的是克服現(xiàn)有技術的不足，提供一個基于多媒介用戶交互的電子繪畫創(chuàng)作的方法?；诙嗝浇橛脩艚换サ碾娮永L畫創(chuàng)作的方法包括如下步驟1)使用繪圖軟件繪制的元素和從圖片中提取的繪畫元素組成繪畫的內(nèi)容；2)用戶通過語音、靜態(tài)姿勢、動態(tài)肢體表演或者素描繪畫的方法，從圖片素材庫中搜索候選圖片集；3)用戶通過語音、靜態(tài)手勢或眼球跟蹤選取候選圖片集中的一幅圖片；4)自動對用戶選取的圖片進行分割，提取圖片中的元素，通過識別用戶的語音、靜態(tài)手勢或眼球跟蹤從分割結果中選取用戶需要的元素；5)用戶通過靜態(tài)手勢和語音調(diào)整每個繪畫元素的大小和位置，使繪畫作品美觀和更具有藝術性。所述的用戶通過語音、靜態(tài)姿勢、動態(tài)肢體表演或者素描繪畫的方法，從圖片素材庫中搜索候選圖片集步驟(1)用戶通過麥克風，說出搜索對象的名稱、包含名稱的簡短的句子或模仿繪畫對象的聲音，系統(tǒng)會根據(jù)用戶說出的內(nèi)容確定用戶要搜索的對象名稱，然后從圖片素材庫中搜索候選圖片集；(2)用戶通過靜態(tài)姿勢模仿想要繪畫的對象的樣子，通過攝像頭捕捉到用戶的模仿效果，并且分析和提取用戶靜態(tài)姿勢的形狀特征，并且根據(jù)提取出來的形狀特征從圖片素材庫中搜索候選圖片集；(3)用戶通過動態(tài)肢體表演模仿想要繪畫的對象的樣子，通過攝像頭捕捉到用戶的肢體表演，并且分析和提取用戶表演的動態(tài)特征，并且根據(jù)提取出來的特征從圖片素材庫中搜索候選圖片集；(4)用戶可以使用繪圖軟件繪制素描，然后根據(jù)素描在圖片素材庫中搜索候選圖片集；(5)用戶在紙上繪制素描，通過攝像頭捕捉到該素描，然后將該素描在圖片素材庫中搜索候選圖片集。所述的用戶通過語音、靜態(tài)手勢或眼球跟蹤選取候選圖片集中的一幅圖片-(1)候選圖片集中的圖片會被分頁顯示，每一頁的每一幅圖片都有一個編號，用戶通過麥克風說出選擇的圖片的編號；(2)用戶通過用手指指向候選圖片集中的一幅圖片，通過攝像頭捕捉到用戶的靜態(tài)手勢，分析用戶的手勢指向屏幕的哪個區(qū)域，確定用戶想要選取哪一幅圖片；(3)通過攝像頭追蹤用戶的眼球運動，通過統(tǒng)計用戶的目光停留在屏幕上哪個區(qū)域的時間最長來確定用戶想要選取的圖片。所述的自動對用戶選取的圖片進行分割，提取圖片中的元素，通過識別用戶的語音、靜態(tài)手勢或眼球跟蹤從分割結果中選取用戶需要的元素步驟-(1)使用圖像分割算法對選中的圖片進行分割，提取圖片中的元素，并對提取出來的每一個元素進行編號；(2)用戶通過麥克風說出元素的編號；(3)用戶用手指指向從圖像中提取出來的一個元素，攝像頭會捕捉到用戶的手勢，并且分析用戶的手勢指向屏幕中的哪個區(qū)域，確定用戶想要選取哪一個分割元素；(4)通過攝像頭追蹤用戶的眼球運動，通過統(tǒng)計用戶的目光停留在屏幕上哪個區(qū)域的時間最長來確定用戶想要選取的分割元素。所述的用戶通過靜態(tài)手勢和語音調(diào)整每個繪畫元素的大小和位置，使繪畫作品美觀和更具有藝術性步驟(1)對于用戶繪制的一幅繪畫作品中的每一個繪畫元素，包括用戶用繪圖軟件繪制的和從圖片中提取出來的，用戶用靜態(tài)手勢或者語音選定一個或者多個繪畫元素；(2)用戶使用手勢或語音，對一個或者多個被選定的繪畫元素進行調(diào)整大小、角度和位置的操作。目前主流的電子繪圖軟件都是通過電子畫筆或者鼠標、鍵盤的操作來完成的，需要掌握了熟練的繪畫技巧才能繪制出美觀的圖畫，但是大部分用戶都沒有熟練的繪圖技巧，對于兒童、殘疾人、老年人來說，熟練掌握和開展傳統(tǒng)的繪畫作業(yè)更非易事。為了幫助所有的用戶方便的畫出想要繪制的內(nèi)容，本發(fā)明提出了一種通過語音、靜態(tài)姿勢或者動態(tài)表演進行電子繪畫的人機交互界面，使得用戶能夠通過多種途徑來表達想要繪畫的內(nèi)容，可以將注意力集中在繪畫上，而不是集中在學習電子繪圖軟件的操作上；與使用電子畫筆相比，說話和表演是人類更加自然的交流方式，這也使得繪畫過程更加自然和輕松，因此，通過使用我們的發(fā)明所提出的系統(tǒng)進行繪畫，即使完全沒有繪畫技巧的人也能快速便捷地繪制出美觀和具有藝術感的圖畫。圖l(a)是圖片素材庫中的一幅圖片；圖1(b)是從圖片(a)中提取出來的繪畫元素；圖2是本發(fā)明的系統(tǒng)架構圖3是本發(fā)明的工作流程圖4是用戶說"嘟嘟"時，從圖片素材庫中搜索到的圖片候選集；圖5是用戶說"給我一只貓"時從圖片素材庫中搜索到的圖片候選集，以及用戶的目光在每個區(qū)域內(nèi)停留的時間統(tǒng)計；圖6是圖片分割結果，在圖中標記出了每個分割元素的序號。具體實施例方式基于多媒介用戶交互的電子繪畫創(chuàng)作的方法包括如下步驟1)使用繪圖軟件繪制的元素和從圖片中提取的繪畫元素組成繪畫的內(nèi)容；用戶在使用本發(fā)明畫畫的過程中，可以使用任何繪圖軟件繪制出繪畫元素，也可以從圖片中提取出一個有意義的對象，作為一個繪畫元素；用戶在使用我們的系統(tǒng)畫畫的過程中，可以使用任何繪圖軟件繪制出繪畫元素，也可以從圖片中提取出一個有意義的對象，作為一個繪畫元素，例如，圖1所示，圖1中的(a)是從圖片素材庫中找到的一幅圖片，(b)是從圖片(a)中提取出來的一個繪畫元素，一只蝴蝶；2)用戶通過語音、靜態(tài)姿勢、動態(tài)肢體表演或者素描繪畫的方法，從圖片素材庫中搜索候選圖片集；3)用戶通過語音、靜態(tài)手勢或眼球跟蹤選取候選圖片集中的一幅圖片；4)自動對用戶選取的圖片進行分割，提取圖片中的元素，通過識別用戶的語音、靜態(tài)手勢或眼球跟蹤從分割結果中選取用戶需要的元素；5)用戶通過靜態(tài)手勢和語音調(diào)整每個繪畫元素的大小和位置，使繪畫作品美觀和更具有藝術性。所述的用戶通過語音、靜態(tài)姿勢、動態(tài)肢體表演或者素描繪畫的方法，從圖片素材庫中搜索候選圖片集的步驟-(1)用戶通過麥克風，說出搜索對象的名稱、包含名稱的簡短的句子或模仿繪畫對象的聲音，系統(tǒng)會根據(jù)用戶說出的內(nèi)容確定用戶要搜索的對象名稱，然后從圖片素材庫中搜索候選圖片集；根據(jù)語音從圖片素材庫中搜索候選圖片集圖片與當前主流的，根據(jù)關鍵字來搜索圖片的方式不同，本發(fā)明通過識別用戶的語音，包括詞語，例如，"汽車"，或者簡短的句子，例如，"給我一輛汽車"，或者模仿繪畫對象的聲音，例如，"嘟嘟"，系統(tǒng)都會從素材庫中搜索出所有關于汽車的圖片，組成候選圖片集，圖4所示的是候選圖片集中的第一頁。通過使用語音識別和機器學習的技術，將語音轉(zhuǎn)換成搜索關鍵字的方法實現(xiàn)。本發(fā)明中使用了WindowsXP中集成的語音識別軟件，使用別的軟件提供的語音識別方法也視作本發(fā)明的變形。對于詞語的識別，直接由用戶的語音轉(zhuǎn)化成搜索引擎的輸入關鍵字，對于從用戶說的短句中提取關鍵字的方法，我們先通過語音識別軟件將語音轉(zhuǎn)換成文本，隨后采用了《圖形化界面中的語音和手勢》(RichardA.B.1980."Put畫That畫There":VoiceandGestureattheGraphicsInterface)中對提出的對從短句中提取關鍵字的方法，使用別的文獻中提供的方法也視作本發(fā)明的變形。提供根據(jù)用戶模仿繪畫對象的聲音這個功能主要是為兒童設計的，兒童的詞匯量非常有限，而且大部分是擬聲詞，因此我們使用了機器學習的方法來完成從擬聲詞到搜索文本的映射。(2)用戶通過靜態(tài)姿勢模仿想要繪畫的對象的樣子，通過攝像頭捕捉到用戶的模仿效果，并且分析和提取用戶靜態(tài)姿勢的形狀特征，并且根據(jù)提取出來的形狀特征從圖片素材庫中搜索候選圖片集；對于通過攝像頭獲取的、用戶靜態(tài)姿勢的圖片的形狀特征的提取和匹配，本發(fā)明采用了《一個智能的基于顏色、形狀、和空間關系的圖像搜索系統(tǒng)》(T.K.Shin,J.Y.Huang,C.S.Wang,J.C.Hung，andC.H.Kao.Anintelligentcontent-basedimageretrievalsystembasedoncolor,shapeandspatialrelations.TheProceedingsoftheNationalScienceCouncil,25(4):232-243，September2001)中提出的提取和匹配圖片中對象的方法，使用其他文獻中提出的方法也視為本發(fā)明的變形。(3)用戶通過動態(tài)肢體表演模仿想要繪畫的對象的樣子，通過攝像頭捕捉到用戶的肢體表演，并且分析和提取用戶表演的動態(tài)特征，并且根據(jù)提取出來的特征從圖片素材庫中搜索候選圖片集；對于提取和匹配用戶表演時的運動軌跡，本發(fā)明中采用了《基于運動軌跡的視頻搜索》(C.W.Su，H.YM.Liao，H.R.Tyan,C.AV.Lin,D.Y.Chen,andK.C.Fan.Motionflow-basedvideoretrieval.IEEETransactionsonMultimedia,9(9):1193—1201，Oct.2007)中提出的提取和比較一段視頻中主要運動物體的運動軌跡的方法，這是因為通過攝像頭獲取的用戶的動態(tài)手勢和表演也可以視為一段視頻，使用其他文獻中提出的方法也視作本發(fā)明的變形。(4)用戶可以使用繪圖軟件繪制素描，然后根據(jù)素描在圖片素材庫中搜索候選圖片集；搜索的過程是，比較圖片素材庫的圖片的輪廓信息和用戶繪制的特征素描，如果二者相同則認為圖片素材庫中的圖片是符合條件的搜索結果，通過該搜索過程找到的所有圖片組成候選圖片集。對于根據(jù)素描搜索圖片，本發(fā)明采用了(http:〃labs.systemone.at/retrievr)中使用的搜索方法，使用其他網(wǎng)站或者文獻中提出的方法也視作本發(fā)明的變形。(5)用戶在紙上繪制素描，通過攝像頭捕捉到該素描，然后將該素描在圖片素材庫中搜索候選圖片集。搜索的過程是，比較圖片素材庫的圖片的輪廓信息和用戶繪制的特征素描，如果二者相同則認為圖片素材庫中的圖片是符合條件的搜索結果，通過該搜索過程找到的所有圖片組成候選圖片集。對于用戶在紙上繪制素描并通過攝像頭獲取的方法，本發(fā)明中使用了《虛擬面板使用普通的紙張實現(xiàn)虛擬鼠標，鍵盤和三維控制器》(ZhangZ.,WuY.,ShanY.,&Shafer,S.VisualPanel:VirtualMouse,Keyboard,and3DControllerwithanOrdinaryPieceofPaper.InProceedingsofACMWorkshoponPerceptiveUserInterfaces(PUI).2001)中提出的通過攝像頭獲取在紙上繪制的素描的方法，使用其他文獻中提出的方法也視為本發(fā)明的變形。所述的用戶通過語音、靜態(tài)手勢或眼球跟蹤選取候選圖片集中的一幅圖片步驟(1)候選圖片集中的圖片會被分頁顯示，每一頁的每一幅圖片都有一個編號，用戶通過麥克風說出選擇的圖片的編號；發(fā)明中使用的語音識別模塊會將語音信號轉(zhuǎn)換成文本，進而確定被選取的圖片是哪一幅。語音識別過程采用了WindowsXP集成的語音識別引擎，使用其他語音識別軟件也視作本發(fā)明的變形。(2)用戶通過用手指指向候選圖片集中的一幅圖片，通過攝像頭捕捉到用戶的靜態(tài)手勢，分析用戶的手勢指向屏幕的哪個區(qū)域，確定用戶想要選取哪一幅圖片；對于用戶手勢的識別采用了《圖形化界面中的語音和手勢》(RichardA.B.1980."Put-That-There":VoiceandGestureattheGraphicsInterface)中對提出的對用戶手勢識別的方法，使用其他文獻中提出的方法將視作本發(fā)明的變形。(3)通過攝像頭追蹤用戶的眼球運動，通過統(tǒng)計用戶的目光停留在屏幕上哪個區(qū)域的時間最長來確定用戶想要選取的圖片。發(fā)明使用了眼球跟蹤技術，能夠通過攝像頭跟蹤用戶眼球的活動，因此可以統(tǒng)計用戶的目光停留在屏幕的哪個區(qū)域的時間最長，該區(qū)域內(nèi)的圖片就是用戶選中的圖片。圖5是用戶說"給我一只貓"時搜索結果集的第一頁，圖5中的紅點標記出了用戶的目光落在屏幕上的位置，從圖5可以看出，用戶的目光在第8副圖片的次數(shù)最多，因此第8幅圖片是用戶通過眼球追蹤選中的圖片。對用戶眼球的追蹤采用了(http:〃www.inference.phy.cam.ac.uk/opengazer/)提供的辦法，使用其他軟件或者文獻中提出的方法視作本發(fā)明的變形。所述的自動對用戶選取的圖片進行分割，提取圖片中的元素，通過識別用戶的語音、靜態(tài)手勢或眼球跟蹤從分割結果中選取用戶需要的元素步驟(1)使用圖像分割算法對選中的圖片進行分割，提取圖片中的元素，并對提取出來的每一個元素進行編號；如圖6所示，圖6中的圖片被分割成9個實體，分別用紅色的方框標記出來，并且自動標號。本發(fā)明采用了《基于圖形的圖像分害慎法》(PedroF.F.，DanielRH.EffectiveGraph-basedimagesegmentation)提出的分割圖像的辦法，使用其他文獻中提出的圖像分割算法視作本發(fā)明的變形；(2)用戶通過麥克風說出元素的編號；語音識別模塊將語音信號轉(zhuǎn)換成文本，進而確定被選取的圖片分割元素是哪一個，語音識別過程采用了WindowsXP集成的語音識別引擎，使用其他語音識別軟件也視作本發(fā)明的變形。(3)用戶用手指指向從圖像中提取出來的一個元素，攝像頭會捕捉到用戶的手勢，并且分析用戶的手勢指向屏幕中的哪個區(qū)域，確定用戶想要選取哪一個分割元素；對于用戶手勢的識別采用了《圖形化界面中的語音和手勢》(RichardA.B.1980."Put-That-There":VoiceandGestureattheGraphicsInterface)中對提出的對用戶手勢識別的方法，使用其他文獻中提出的方法將視作本發(fā)明的變形。(4)通過攝像頭追蹤用戶的眼球運動，通過統(tǒng)計用戶的目光停留在屏幕上哪個區(qū)域的時間最長來確定用戶想要選取的分割元素。采用了眼球跟蹤技術，能夠通過攝像頭跟蹤用戶眼球的活動，因此可以統(tǒng)計用戶的目光停留在屏幕的哪個區(qū)域的時間最長，該區(qū)域內(nèi)的分割元素就是用戶想要選取的分割元素。對用戶眼球的追蹤采用了(http:〃www.inference.phy.cam.ac.uk/opengazer/)提供的辦法，使用其他軟件或者文獻中提出的方法視作本發(fā)明的變形。所述的用戶通過靜態(tài)手勢和語音調(diào)整每個繪畫元素的大小和位置，使繪畫作品美觀和更具有藝術性步驟(1)對于用戶繪制的一幅繪畫作品中的每一個繪畫元素，包括用戶用繪圖軟件繪制的和從圖片中提取出來的，用戶用靜態(tài)手勢或者語音選定一個或者多個繪畫元素；對于一幅繪畫作品中的每一個繪畫元素，包括用戶用繪圖軟件繪制出來的和從圖片中提取出來的，系統(tǒng)會根據(jù)添加繪畫元素的順序進行編號；用戶可以通過靜態(tài)手勢，即用手指指向一個繪畫元素來選取它，攝像頭會捕捉到用戶的手勢，并且分析用戶的手指指向屏幕中的哪個區(qū)域，從而確定用戶想要選取哪一個繪畫元素，重復該動作可以選取多個繪畫元素。對于用戶手勢的識別采用了《圖形化界面中的語音和手勢》(RichardA,B.1980."Put-That-There":VoiceandGestureattheGraphicsInterface)中對提出的對用戶手勢識別的方法，使用其他文獻中提出的方法將視作本發(fā)明的變形；語音，即說出一個繪畫元素的編號，系統(tǒng)中集成的語音識別模塊會將語音信號轉(zhuǎn)換成文本，進而確定被選取的繪畫元素是哪一個；重復本步驟可以選的多個繪畫元素。使用語音選定繪畫元素是通過用戶說出繪畫元素的編號，語音識別軟件會將語音信號轉(zhuǎn)換成文本，進而確定被選取的繪畫元素是哪一個，語音識別過程采用了WindowsXP集成的語音識別引擎，使用其他語音識別軟件也視作本發(fā)明的變形。(2)用戶使用手勢或語音，對一個或者多個被選定的繪畫元素進行調(diào)整大小、角度和位置的操作。對于繪畫元素的操作，本發(fā)明采用了《圖形化界面中的語音和手勢》(RichardA.B.1980."Put-That-There":VoiceandGestureattheGraphicsInterface)中設計的對圖形對象的操作和操作方法，使用其他文獻中設計的操作命令和操作方法也視為本發(fā)明的變形。實施例本發(fā)明提出的使用語音、靜態(tài)手勢或者動態(tài)肢體表演進行的基于多媒介用戶交互的電子繪畫創(chuàng)作的方法，結合附圖機器詳細的實施如下本發(fā)明的實施環(huán)境的標準配置如下表所示。<table>tableseeoriginaldocumentpage12</column></row><table>除了能夠正常運行，并且支持攝像頭和麥克風的電腦之外，系統(tǒng)還需要配置麥克風和攝像頭，手寫板不是必須的配置，但是手寫板會為用戶手繪圖案帶來方便；其中麥克風用來獲取用戶的語音，攝像頭用來捕捉用戶的手勢和表演，以及進行眼球跟蹤；本發(fā)明的系統(tǒng)架構圖如圖2所示。系統(tǒng)中包括8個模塊，語音識別模塊用來識別用戶的語音，將其轉(zhuǎn)化為文字信息；靜態(tài)姿勢和動態(tài)表演識別模塊將用來識別用戶的肢體語言的意義；眼球跟蹤模塊用來捕捉用戶眼球的活動，并且定位用戶的目光停留在屏幕的什么位置；搜索引擎模塊處理根據(jù)文本，或者物體形狀，或者素描，或者運動軌跡，從網(wǎng)絡或者數(shù)據(jù)庫中搜索圖片的功能；圖片選擇模塊將搜索引擎搜索到的候選圖片集列舉出來，供用戶選擇圖片；用戶喜好模塊會根據(jù)用戶選擇的圖片來統(tǒng)計用戶喜歡的圖片的風格，并將用戶的喜好反饋給搜索引擎，使得搜索引擎下次搜索圖片時會對候選圖片集中的圖片進行過濾；圖像分割模塊會將一幅圖片中的具有不同意義的部分分割開來，并且進行編號；圖像分割結果選擇模塊會提供一個讓用戶選擇分割對象的界面。本發(fā)明的工作流程圖如圖3所示，用戶需要先創(chuàng)建一幅畫布，即打開一個工作區(qū)，在工作區(qū)中可以創(chuàng)建一幅新的圖片或者打開已有的圖片進行新的創(chuàng)作；隨后用戶可以選擇用繪圖軟件繪畫或者從圖片中提取繪畫元素的方法繪畫；如果中繪圖軟件繪畫，則直接使用電腦系統(tǒng)中提供的任何繪圖軟件進行操作即可，如果選擇從圖片中提起繪畫元素，則可以使用語音、靜態(tài)姿勢或者動態(tài)肢體表演從圖片素材庫中搜索候選圖片集，隨后通過語音、靜態(tài)手勢或者眼球跟蹤從候選圖片集中選出符合用戶要求的圖片，接下來，系統(tǒng)會對選中的圖片進行自動分割，之后，用戶可以通過語音、手勢或者眼球跟蹤從分割元素中選出用戶需要的繪畫元素；隨后，系統(tǒng)會自動將選中的繪畫元素放到畫布中，用戶可以通過語音和靜態(tài)手勢選中當前畫布中的一個或者多個繪畫元素，并且通過語音和靜態(tài)手勢調(diào)整每個被選中的繪畫元素的大小、方向和位置，隨后可以繼續(xù)添加繪畫對象，重復上述步驟，直到結束繪畫。權利要求1.一個基于多媒介用戶交互的電子繪畫創(chuàng)作的方法，其特征在于包括如下步驟1)使用繪圖軟件繪制的元素和從圖片中提取的繪畫元素組成繪畫的內(nèi)容；2)用戶通過語音、靜態(tài)姿勢、動態(tài)肢體表演或者素描繪畫的方法，從圖片素材庫中搜索候選圖片集；3)用戶通過語音、靜態(tài)手勢或眼球跟蹤選取候選圖片集中的一幅圖片；4)自動對用戶選取的圖片進行分割，提取圖片中的元素，通過識別用戶的語音、靜態(tài)手勢或眼球跟蹤從分割結果中選取用戶需要的元素；5)用戶通過靜態(tài)手勢和語音調(diào)整每個繪畫元素的大小和位置，使繪畫作品美觀和更具有藝術性。2.根據(jù)權利要求1所述的一個基于多媒介用戶交互的電子繪畫創(chuàng)作的方法，其特征在于所述的用戶通過語音、靜態(tài)姿勢、動態(tài)肢體表演或者素描繪畫的方法，從圖片素材庫中搜索候選圖片集步驟(1)用戶通過麥克風，說出搜索對象的名稱、包含名稱的簡短的句子或模仿繪畫對象的聲音，系統(tǒng)會根據(jù)用戶說出的內(nèi)容確定用戶要搜索的對象名稱，然后從圖片素材庫中搜索候選圖片集；(2)用戶通過靜態(tài)姿勢模仿想要繪畫的對象的樣子，通過攝像頭捕捉到用戶的模仿效果，并且分析和提取用戶靜態(tài)姿勢的形狀特征，并且根據(jù)提取出來的形狀特征從圖片素材庫中搜索候選圖片集；(3)用戶通過動態(tài)肢體表演模仿想要繪畫的對象的樣子，通過攝像頭捕捉到用戶的肢體表演，并且分析和提取用戶表演的動態(tài)特征，并且根據(jù)提取出來的特征從圖片素材庫中搜索候選圖片集；(4)用戶可以使用繪圖軟件繪制素描，然后根據(jù)素描在圖片素材庫中搜索候選圖片集；(5)用戶在紙上繪制素描，通過攝像頭捕捉到該素描，然后將該素描在圖片素材庫中搜索候選圖片集。3.根據(jù)權利要求1所述的一個基于多媒介用戶交互的電子繪畫創(chuàng)作的方法，其特征在于所述的用戶通過語音、靜態(tài)手勢或眼球跟蹤選取候選圖片集中的一幅圖片步驟(1)候選圖片集中的圖片會被分頁顯示，每一頁的每一幅圖片都有一個編號，用戶通過麥克風說出選擇的圖片的編號；(2)用戶通過用手指指向候選圖片集中的一幅圖片，通過攝像頭捕捉到用戶的靜態(tài)手勢，分析用戶的手勢指向屏幕的哪個區(qū)域，確定用戶想要選取哪一幅圖片；(3)通過攝像頭追蹤用戶的眼球運動，通過統(tǒng)計用戶的目光停留在屏幕上哪個區(qū)域的時間最長來確定用戶想要選取的圖片。4.根據(jù)權利要求1所述的一個基于多媒介用戶交互的電子繪畫創(chuàng)作的方法，其特征在于所述的自動對用戶選取的圖片進行分割，提取圖片中的元素，通過識別用戶的語音、靜態(tài)手勢或眼球跟蹤從分割結果中選取用戶需要的元素步驟:(1)使用圖像分割算法對選中的圖片進行分割，提取圖片中的元素，并對提取出來的每一個元素進行編號；(2)用戶通過麥克風說出元素的編號；(3)用戶用手指指向從圖像中提取出來的一個元素，攝像頭會捕捉到用戶的手勢，并且分析用戶的手勢指向屏幕中的哪個區(qū)域，確定用戶想要選取哪一個分割元素；(4)通過攝像頭追蹤用戶的眼球運動，通過統(tǒng)計用戶的目光停留在屏幕上哪個區(qū)域的時間最長來確定用戶想要選取的分割元素。5.根據(jù)權利要求1所述的一個基于多媒介用戶交互的電子繪畫創(chuàng)作的方法，其特征在于所述的用戶通過靜態(tài)手勢和語音調(diào)整每個繪畫元素的大小和位置，使繪畫作品美觀和更具有藝術性步驟-(1)對于用戶繪制的一幅繪畫作品中的每一個繪畫元素，包括用戶用繪圖軟件繪制的和從圖片中提取出來的，用戶用靜態(tài)手勢或者語音選定一個或者多個繪畫元素；(2)用戶使用手勢或語音，對一個或者多個被選定的繪畫元素進行調(diào)整大小、角度和位置的操作。全文摘要本發(fā)明公開了一個基于多媒介用戶交互的電子繪畫創(chuàng)作的方法，方法包括(1)繪畫內(nèi)容由使用電子畫筆繪制的筆劃和從圖片中提取的繪畫元素組成；(2)用戶通過語音、靜態(tài)姿勢或者動態(tài)肢體表演從圖片素材庫中搜索候選圖片集；(3)用戶通過語音、靜態(tài)手勢或者眼球跟蹤從候選圖片集中選取圖片；(4)自動對用戶選取的圖片進行分割，將圖片中有意義的元素提取出來，通過識別用戶的語音、靜態(tài)手勢，或者眼球跟蹤從分割結果中選取用戶需要的繪圖元素畫；(5)用戶通過靜態(tài)手勢或者語音調(diào)整每個繪畫元素的大小，角度和位置，使繪畫作品美觀。本發(fā)明公開的基于用戶的語音、靜態(tài)姿勢或者動態(tài)肢體表演的電子繪畫方式使得繪圖過程更加人性化。文檔編號G06F3/01GK101382836SQ20081012079公開日2009年3月11日申請日期2008年9月5日優(yōu)先權日2008年9月5日發(fā)明者劉智滿,徐頌華,楊文霞,潘云鶴申請人:浙江大學