專利名稱：擴(kuò)增實(shí)境的方法、系統(tǒng)及移動裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明有關(guān)于一種擴(kuò)增實(shí)境(augmented reality)的方法及系統(tǒng),且特別是有關(guān)于一種可支援立體視覺(Stereo Vision)以進(jìn)行擴(kuò)增實(shí)境的方法、系統(tǒng)及移動裝置。
背景技術(shù)：
現(xiàn)有技術(shù)中經(jīng)常使用一特定圖騰，此種方式需事先建立對應(yīng)此一圖騰的平面/立體影像，并以該圖騰作為一基準(zhǔn)來估算和整合此平面/立體影像和環(huán)境影像之間的相對位置和尺寸。舉例來說，圖1是顯示一擴(kuò)增實(shí)境熒幕截圖，在圖中有一在網(wǎng)絡(luò)攝像機(jī)前，手中持有一特定圖騰100的使用者，其可在電腦熒幕中看見手上出現(xiàn)一 3D虛擬的棒球運(yùn)動員102，此是依該圖騰的位置和對應(yīng)此圖騰所事先建立的立體影像及其尺寸，將對應(yīng)圖騰的立體影像和使用者本身所在的環(huán)境影像進(jìn)行整合后顯示，這種方法在使用上并不便利。此外，現(xiàn)有技術(shù)中采用一對照物件來進(jìn)行尺寸計(jì)算處理。例如在拍攝環(huán)境影像時(shí)同時(shí)拍攝一具有寸的物件(例如具有IOcmX IOcmX IOcm的立體方塊)，或是具有標(biāo)準(zhǔn)刻度的尺規(guī)，即可依據(jù)寸物件或是標(biāo)準(zhǔn)刻度尺規(guī)來估算環(huán)境影像的尺寸，再依據(jù)事先建立的立體影像的尺寸，就可進(jìn)行適當(dāng)?shù)恼稀Ｈ欢朔N方式的缺點(diǎn)是，使用者必須隨身攜帶寸物件或標(biāo)準(zhǔn)刻度尺規(guī)，并且置于環(huán)境中一并拍攝，相當(dāng)不便利。此外，寸物件或標(biāo)準(zhǔn)刻度尺規(guī)若欲便于攜帶則不宜過大，和環(huán)境尺寸差距大易產(chǎn)生高誤差，若要將寸物件或標(biāo)準(zhǔn)刻度加大，更加不易隨身攜帶，且占據(jù)環(huán)境影像甚大區(qū)域亦相當(dāng)不美觀。因此，需要一種擴(kuò)增實(shí)境的方法與系統(tǒng)，無需使用任何圖騰及對照物件，即可估算出目標(biāo)物件和環(huán)境影像之間的相對尺寸及位置，并完成擴(kuò)增實(shí)境的效果。

發(fā)明內(nèi)容
本發(fā)明提供一種擴(kuò)增實(shí)境的方法、系統(tǒng)及移動裝置。本發(fā)明提出一種擴(kuò)增實(shí)境的方法，包括:分別對一目標(biāo)及一環(huán)境擷取一 3D目標(biāo)影像及一 3D環(huán)境影像，其中該3D目標(biāo)影像及該3D環(huán)境影像為具有深度值的3D影像；擷取該3D目標(biāo)影像中的一前景物件影像；依據(jù)該3D環(huán)境影像中一指定深度值，估算該前景物件影像于該3D環(huán)境影像中對應(yīng)該指定深度值的一顯示尺寸；以及依據(jù)該顯示尺寸將該前景物件影像加入該3D環(huán)境影像并產(chǎn)生一擴(kuò)增實(shí)境影像。本發(fā)明提出一種用于擴(kuò)增實(shí)境的系統(tǒng)，包括:一影像擷取單元，用以分別對一目標(biāo)及一環(huán)境，擷取一 3D目標(biāo)影像及一 3D環(huán)境影像，其中該3D目標(biāo)影像及該3D環(huán)境影像是具有深度值的3D影像；一儲存單元，耦接于該影像擷取單元，用以儲存該3D目標(biāo)影像及該3D環(huán)境影像；以及一處理單元，耦接于該儲存單元，包括:一前景擷取單元，用以擷取該3D目標(biāo)影像中的一前景物件影像；一計(jì)算單元，用以依據(jù)該3D環(huán)境影像中一指定深度值，估算該前景物件影像于該3D環(huán)境影像中對應(yīng)該指定深度值的一顯示尺寸；以及一擴(kuò)增實(shí)境單元，用以依據(jù)該顯示尺寸，將該前景物件影像加入該3D環(huán)境影像并產(chǎn)生一擴(kuò)增實(shí)境影像。本發(fā)明又提出一種擴(kuò)增實(shí)境的移動裝置，包括:一影像擷取單元，用以分別對一目標(biāo)及一環(huán)境擷取一 3D目標(biāo)影像及一 3D環(huán)境影像，其中該3D目標(biāo)影像及該3D環(huán)境影像為具有深度值的3D影像；一儲存單元，耦接于該影像擷取單元，用以儲存該3D目標(biāo)影像及該3D環(huán)境影像；一處理單元，耦接于該儲存單元，包括:一前景擷取單元，用以擷取該3D目標(biāo)影像中的一前景物件影像；一計(jì)算單元，用以依據(jù)該3D環(huán)境影像中一指定深度值，估算該前景物件影像于該3D環(huán)境影像中對應(yīng)該指定深度值的一顯示尺寸；以及一擴(kuò)增實(shí)境單元，用以依據(jù)該顯示尺寸將該前景物件影像加入該3D環(huán)境影像并產(chǎn)生一擴(kuò)增實(shí)境影像；以及一顯示單元，耦接于該處理單元，用以顯示該擴(kuò)增實(shí)境影像。利用擴(kuò)增實(shí)境的方法、系統(tǒng)及移動裝置，無需使用任何圖騰及對照物件，即可估算出目標(biāo)物件和環(huán)境影像之間的相對尺寸及位置，并完成擴(kuò)增實(shí)境的效果。


圖1是顯示一擴(kuò)增實(shí)境熒幕截圖。圖2A是顯示根據(jù)本發(fā)明第一實(shí)施例擴(kuò)增實(shí)境系統(tǒng)的示意圖。圖2B是顯示根據(jù)本發(fā)明第二實(shí)施例擴(kuò)增實(shí)境系統(tǒng)的示意圖。圖3A是顯示根據(jù)本發(fā)明第一實(shí)施例用于擴(kuò)增實(shí)境系統(tǒng)的擴(kuò)增實(shí)境方法流程圖。圖3B是顯示根據(jù)本發(fā)明第二實(shí)施例用于擴(kuò)增實(shí)境系統(tǒng)的擴(kuò)增實(shí)境方法流程圖。圖4A是顯示影像擷取單元擷取一 3D目標(biāo)影像。圖4B是顯示影像擷取單元擷取一 3D環(huán)境影像。圖4C是顯示前景擷取單元擷取一前景物件影像。圖4D是顯示計(jì)算單元顯示前景物件影像的實(shí)際尺寸數(shù)據(jù)。圖5A、圖5B是顯示根據(jù)本發(fā)明一實(shí)施例所述的操作接口示意圖。圖6A、圖6B是顯示根據(jù)本發(fā)明一實(shí)施例所述的操作接口示意圖。圖6C、圖6D是顯示根據(jù)本發(fā)明一實(shí)施例所述的操作接口深度值順序示意圖。圖7A、圖7B是顯示根據(jù)本發(fā)明一實(shí)施例所述的操作接口示意圖。圖8A、圖8B是顯示根據(jù)本發(fā)明一實(shí)施例所述的操作接口示意圖。圖9A、圖9B是顯示根據(jù)本發(fā)明一實(shí)施例所述的操作接口示意圖。附圖標(biāo)號:100 特定圖騰；102 3D虛擬的棒球運(yùn)動員；200 擴(kuò)增實(shí)境系統(tǒng)；210 影像擷取單元；220 儲存單元；230 處理單元；231 深度值計(jì)算單元；232 前景擷取單元；233 計(jì)算單元；234 擴(kuò)增實(shí)境單元；240 顯示單元；S301 S304 步驟
S401 S406 步驟500 控制列；501 前景物件影像；502 深度值；503 虛線區(qū)域；504 深度值；505 虛線區(qū)域；601 指定區(qū)域；602 虛線區(qū)域；701 觸控點(diǎn)的位置；702 觸控點(diǎn)的位置。
具體實(shí)施例方式為使本發(fā)明的上述和其他目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉出較佳實(shí)施例，并配合所附附圖，作詳細(xì)說明如下。圖2A是顯示根據(jù)本發(fā)明第一實(shí)施例所述的用于擴(kuò)增實(shí)境系統(tǒng)200的示意圖。擴(kuò)增實(shí)境系統(tǒng)200主要包括影像擷取單元210、儲存單元220和處理單元230。其中處理單元230更包括前景擷取單元232、計(jì)算單元233以及擴(kuò)增實(shí)境單元234。影像擷取單元210主要是用來分別對一目標(biāo)及一環(huán)境來擷取一 3D目標(biāo)影像及一3D環(huán)境影像，其中該3D目標(biāo)影像及該3D環(huán)境影像是具有深度值的3D影像。影像擷取單元210可以是任何市售的可擷取3D影像的裝置或設(shè)備，例如具二個(gè)鏡頭的雙眼攝像機(jī)/照相機(jī)、單一鏡頭可連續(xù)拍攝二張照片的攝像機(jī)/照相機(jī)、激光立體攝像機(jī)/照相機(jī)(具有激光量測深度值的攝像裝置)、紅外線立體攝像機(jī)/照相機(jī)(具有紅外線量測深度值的攝像裝置)等。儲存單元220耦接于影像擷取單元210，儲存所擷取的3D目標(biāo)影像及3D環(huán)境影像。儲存單元220可以是任何市售的用于儲存信息的裝置或產(chǎn)品，例如硬盤、各式存儲器、CD、DVD 等。處理單元230耦接于儲存單元220，其可包括前景擷取單元232、計(jì)算單元233和擴(kuò)增實(shí)境單元234。前景擷取單元232可擷取3D目標(biāo)影像中的一前景物件影像，例如利用影像分群技術(shù)將3D目標(biāo)影像分成多個(gè)物件群組，經(jīng)由一操作接口顯示3D目標(biāo)影像并提供給使用者，從多個(gè)物件群組中選擇一物件群組作為前景物件影像，或是分析3D目標(biāo)影像，依據(jù)深度值和影像分群技術(shù)，將3D目標(biāo)影像分成多個(gè)物件群組，然后將深度值較低(也就是距離影像擷取單元210較近)的物件群組取出作為前景物件影像。其中，影像分群技術(shù)可以采用一般現(xiàn)有技術(shù)，例如K平均演算法(K-means)、模糊分類演算法(Fuzzy C_means)、階層式分群法(Hierarchical clustering)、混和高斯模型(Mixture of Gaussians)或其他技術(shù)，在此不再詳述。計(jì)算單元233依據(jù)3D環(huán)境影像中一指定深度值，估算前景物件影像于3D環(huán)境影像中對應(yīng)指定深度值的一顯示尺寸。指定深度值可以經(jīng)由多種方式來指定，詳細(xì)技術(shù)說明如后。擴(kuò)增實(shí)境單元234則依據(jù)所估算出來的顯示尺寸，將前景物件影像加入3D環(huán)境影像，然后產(chǎn)生擴(kuò)增實(shí)境影像。
更進(jìn)一步時(shí)，擴(kuò)增實(shí)境單元234更包括一操作接口，用于3D環(huán)境影像中來指定前述的指定深度值。此操作接口可以和前面的用以選擇物件的操作接口整合成同一個(gè)，也可以是分別獨(dú)立的不同操作接口。在第一實(shí)施例中，影像擷取單元210、儲存單元220和處理單元230可以同時(shí)設(shè)置在一電子裝置中(例如電腦、筆記本電腦、平板電腦、移動電話等)，也可分別設(shè)置在不同的電子裝置再經(jīng)由通訊網(wǎng)絡(luò)、串列方式(如RS232)或是總線等進(jìn)行耦接。圖2B是顯示根據(jù)本發(fā)明第二實(shí)施例所述的用于擴(kuò)增實(shí)境系統(tǒng)200的示意圖。擴(kuò)增實(shí)境系統(tǒng)200包括影像擷取單元210、儲存單元220、處理單元230及顯示單元240。其中處理單元230更包括深度值計(jì)算單元231、前景擷取單元232、計(jì)算單元233以及擴(kuò)增實(shí)境單元234。和第一實(shí)施例中相同名稱的元件，其功能亦如前所述，在此不再贅述。圖2B和圖2A的主要差異在于處理單元230更包括有深度值計(jì)算單元231及顯示單元240。在第二實(shí)施例中，影像擷取單元210是采用雙眼攝像機(jī)，可對目標(biāo)拍攝并分別產(chǎn)生對應(yīng)的左影像和右影像，也可對環(huán)境拍攝并分別產(chǎn)生對應(yīng)的左影像和右影像。目標(biāo)的左影像和右影像以及環(huán)境的左影像和右影像，也都可以儲存在儲存單元220中，且該處理單元230的深度值計(jì)算單元231對目標(biāo)的左影像及右影像計(jì)算，以產(chǎn)生該3D目標(biāo)影像的深度值，并對環(huán)境的左影像及右影像計(jì)算，以產(chǎn)生該3D環(huán)境影像的深度值。雙眼攝像機(jī)的3D成像技術(shù)亦屬于現(xiàn)有技術(shù)，在此不再贅述。顯示單元240耦接于處理單元230，用以顯示擴(kuò)增實(shí)境影像，其可為一般市售可得的顯示器，例如CRT熒幕、液晶熒幕、觸控?zé)赡?、等離子熒幕、LED熒幕等。圖3A是顯示根據(jù)本發(fā)明第一實(shí)施例所述的用于擴(kuò)增實(shí)境系統(tǒng)的擴(kuò)增實(shí)境方法流程圖，并配合參考圖2A。首先，在步驟S301中，影像擷取單元210分別對一目標(biāo)及一環(huán)境擷取一 3D目標(biāo)影像及一 3D環(huán)境影像，其中3D目標(biāo)影像及3D環(huán)境影像為具有深度值的3D影像。在步驟S302中，前景擷取單元232擷取3D目標(biāo)影像中的前景物件影像。在步驟S303中，計(jì)算單元233產(chǎn)生3D環(huán)境影像中一指定深度值，并估算前景物件影像于3D環(huán)境影像中對應(yīng)指定深度值的一顯示尺寸。在步驟S304中，擴(kuò)增實(shí)境單元234依據(jù)顯示尺寸將前景物件影像加入3D環(huán)境影像并產(chǎn)生一擴(kuò)增實(shí)境影像。技術(shù)細(xì)節(jié)如前所述，不再贅述。圖3B是顯示根據(jù)本發(fā)明第二實(shí)施例的擴(kuò)增實(shí)境方法流程圖，并配合參考圖2B。在步驟S401中，影像擷取單元210分別對一目標(biāo)及一環(huán)境，擷取一 3D目標(biāo)影像及一 3D環(huán)境影像。在步驟S402中，影像擷取單元210擷取影像后，將3D目標(biāo)影像及3D環(huán)境影像儲存至儲存單元220中。值得注意的是，在此實(shí)施例中，影像擷取單元所擷取的已是3D影像，SP不需深度值計(jì)算單元231計(jì)算影像深度值。在另一實(shí)施例中，影像擷取單元210若為雙眼攝像機(jī)所拍攝出一物件的左影像及右影像，深度值計(jì)算單元231則會通過此物件的左右影像計(jì)算其多個(gè)物件影像深度值。在步驟S403中，前景擷取單元232通過多個(gè)目標(biāo)影像深度值擷取3D目標(biāo)影像中的前景物件影像。在步驟S404中，計(jì)算單元233產(chǎn)生3D環(huán)境影像中一指定深度值，并估算前景物件影像于該3D環(huán)境影像中對應(yīng)指定深度值的一顯示尺寸。在步驟S405中，擴(kuò)增實(shí)境單元234依據(jù)該顯示尺寸將前景物件影像加入3D環(huán)境影像并產(chǎn)生一擴(kuò)增實(shí)境影像。最后，在步驟S406中，顯示單元240顯示此擴(kuò)增實(shí)境影像。在第三實(shí)施例中，擴(kuò)增實(shí)境系統(tǒng)200可應(yīng)用于一支援立體視覺(Stereo Vision)的移動裝置中，使用者可直接使用移動裝置來拍攝目標(biāo)影像和環(huán)境影像，然后將目標(biāo)影像擴(kuò)增于到環(huán)境影像中。其架構(gòu)大致如圖2A，移動裝置包括影像擷取單元210、儲存單元220、處理單元230及顯示單元240。其中處理單元230更包括前景擷取單元232、計(jì)算單元233和擴(kuò)增實(shí)境單元234。在另一實(shí)施例中，移動裝置更可包含有一通訊單元以和遠(yuǎn)端的擴(kuò)增實(shí)境服務(wù)系統(tǒng)(圖中未顯示)連線，計(jì)算單元233則是設(shè)置在擴(kuò)增實(shí)境服務(wù)系統(tǒng)中。在另一實(shí)施例中，移動裝置更可包含一感測器(圖中未顯示)。在此實(shí)施例中，移動裝置采用一雙眼攝像機(jī)，可為使用雙眼鏡頭模擬人眼視覺的相機(jī)，其可對一目標(biāo)或一環(huán)境擷取一 3D目標(biāo)影像及3D環(huán)境影像，如圖4A及圖4B所示。圖4A是顯示影像擷取單元擷取一 3D目標(biāo)影像，圖4B是顯示影像擷取單元擷取一 3D環(huán)境影像。其中，該3D目標(biāo)影像為具有深度值的3D目標(biāo)影像，且該3D環(huán)境影像為具有深度值的的3D環(huán)境影像。影像擷取單元210將所擷取的3D影像存入儲存單元220中。在另一實(shí)施例中，若影像擷取單元210為一雙眼攝像機(jī)，即擷取一物件的左影像及右影像，再將所擷取的左、右影像存入儲存單元220中。深度值計(jì)算單元23 I利用相異點(diǎn)分析(Dissmilarity Analysis)與立體視覺分析(Stereo Vision Analysis)分別計(jì)算此物件的左、右影像的其多個(gè)物件影像深度值。深度值計(jì)算單元23 I可以設(shè)置在移動裝裝置的處理單元中，也可以設(shè)置在遠(yuǎn)端的擴(kuò)增實(shí)境服務(wù)系統(tǒng)中，移動裝置經(jīng)由通訊連接將所拍攝到的物件的左、右影像傳送到遠(yuǎn)端的擴(kuò)增實(shí)境服務(wù)系統(tǒng)計(jì)算物件影像深度值，再街接收計(jì)算所得的物件影像深度值，以產(chǎn)生3D影像并存入儲存單元220中。在第三實(shí)施例中，前景擷取單元232依據(jù)3D目標(biāo)影像中的深度值進(jìn)行前景背景分害I]，如圖4C所示。圖4C是顯示前景擷取單元擷取一前景物件影像，F(xiàn)區(qū)域?yàn)樯疃戎底顪\的前景物件，B區(qū)域?yàn)樯疃戎递^深的背景環(huán)境。計(jì)算單元233產(chǎn)生該3D環(huán)境影像中的一指定深度值，并估算該前景物件影像于各種深度值的一顯示尺寸。本發(fā)明各實(shí)施例中的計(jì)算單元233，更進(jìn)一步時(shí)可提供一參考尺規(guī)以供估算前景物件的顯示尺寸，此參考尺規(guī)是以計(jì)算單元233從影像擷取單元其所擷取的影像(3D目標(biāo)影像及3D環(huán)境影像)計(jì)算而得的對照表，使多個(gè)深度值可對照得到所對應(yīng)的實(shí)際尺寸及其顯示尺寸。而參考尺規(guī)是依據(jù)該前景物件影像于3D目標(biāo)影像中的深度值、顯示尺寸及參考尺規(guī)，計(jì)算前景物件影像的實(shí)際尺寸，再依據(jù)該前景物件影像的實(shí)際尺寸、參考尺規(guī)及指定深度值，估算前景物件的顯示尺寸。更進(jìn)一步地，計(jì)算單元233還可于影像中顯示物件的真實(shí)尺寸數(shù)據(jù)，圖4D是顯示計(jì)算單元233顯示前景物件影像的實(shí)際尺寸數(shù)據(jù)，如圖4D所示，實(shí)線標(biāo)示前景物件影像的物件高度為34.5公分(cm)，虛線標(biāo)示前景物件影像的物件寬度為55公分(cm) ο本發(fā)明各實(shí)施例中的擴(kuò)增實(shí)境單元234，更可包括一操作接口，用以于3D環(huán)境影像中指定該指定深度值。其中該操作接口更包括用以選取前景物件影像，并將前景物件影像置放于3D環(huán)境影像中的指定深度值以完成擴(kuò)增實(shí)境影像。操作接口可分為幾種不同類型，下方將提出不同實(shí)施例以說明不同的操作接口。圖5A、圖5B是顯示根據(jù)本發(fā)明一實(shí)施例所述的操作接口示意圖。如圖5A、圖5B所示，使用者通過一控制列(control bar) 500以選取該3D環(huán)境影像的一深度值作為指定深度值。在圖5A、圖5B中，使用者可通過控制列500選取不同的深度值，而前景物件影像會自動縮放為在該深度值的正確尺寸，并即時(shí)于顯示熒幕上顯示出符合該深度值的區(qū)域，例如，在圖5A中，使用者選取控制列500中一深度值502，于熒幕中即顯示符合該深度值502的虛線區(qū)域503。在圖5B中，使用者選取控制列500中另一深度值504，于熒幕中即顯示符合該深度值504的虛線區(qū)域505。最后，再由使用者移動前景物件影像至欲擺放的深度值上。圖6A、圖6B是顯示根據(jù)本發(fā)明一實(shí)施例所述的操作接口的示意圖。如圖6A所示取該前景物件影像后，在該3D環(huán)境影像多個(gè)區(qū)域中選取一區(qū)域作為指定區(qū)域，3D環(huán)境影像分為多個(gè)區(qū)域，使用者于選取一欲擺放前景物件影像的指定區(qū)域601，即在顯示熒幕上顯示與指定區(qū)域601相同深度值的區(qū)域(虛線區(qū)域602)。在圖6B中，前景物件影像會自動縮放為在該深度值的正確尺寸，再由使用者移動前景物件影像至指定區(qū)域601中的一位置。圖6C、圖6D是顯示根據(jù)本發(fā)明一實(shí)施例所述的操作接口的深度值順序示意圖。如圖6C、圖6D所示，3D環(huán)境影像中多個(gè)區(qū)域具有順序，圖中深度值順序由深至淺，可分為七個(gè)區(qū)域(數(shù)字I 7)。而擴(kuò)增實(shí)境系統(tǒng)200可通過感測器偵測使用者所輸入的一感測信號，當(dāng)接收到感測信號時(shí)，操作接口依照該順序，從該3D環(huán)境影像多個(gè)區(qū)域中選取該指定區(qū)域。圖7A、圖7B是顯示根據(jù)本發(fā)明一實(shí)施例所述的操作接口示意圖。該3D環(huán)境影像包含多個(gè)環(huán)境物件，使用者選取該前景物件影像后，拖曳該前景物件影像至該3D環(huán)境影像中多個(gè)環(huán)境物件中一環(huán)境物件的一位置。如圖7A、圖7B所示，依據(jù)使用者觸控點(diǎn)的位置701或702比對前景物件影像于該位置的正確尺寸，即時(shí)顯示前景物件影像所欲擺放位置相同深度值的區(qū)域，并自動縮放前景物件影像的尺寸大小。圖8A、圖SB是顯示根據(jù)本發(fā)明一實(shí)施例所述的操作接口示意圖。該操作接口為一3D操作接口，如圖8A、圖8B所示，使用者可通過3D操作接口來變更3D目標(biāo)影像和3D環(huán)境影像的顯示，然后經(jīng)由一感觸裝置或一操縱裝置供選取該指定深度值。在一實(shí)施例中，感觸裝置可為判斷使用者觸控的力道大小、碰觸時(shí)間長短等方法，改變3D目標(biāo)影像和3D環(huán)境影像的立體顯示變化。在另一實(shí)施例中，操縱裝置為外接搖桿等裝置。圖9A、圖9B是顯示根據(jù)本發(fā)明一實(shí)施例所述的操作接口示意圖。如圖9A、圖9B所示，使用者可使用按鍵、虛擬鍵盤、拖曳、感應(yīng)器(例如，陀螺儀)或立體操縱裝置等方式來操控前景物件的旋轉(zhuǎn)角度。因此，通過本發(fā)明的擴(kuò)增實(shí)境的方法與系統(tǒng)，無需任何圖騰及對應(yīng)的尺規(guī)，即可估算出影像的實(shí)際尺寸并即時(shí)于顯示熒幕上顯示以完成擴(kuò)增實(shí)境的效果。擴(kuò)增實(shí)境的方法可經(jīng)由擴(kuò)增實(shí)境的系統(tǒng)及移動裝置來進(jìn)行實(shí)作，擴(kuò)增實(shí)境的系統(tǒng)及移動裝置中各單元可應(yīng)用具特定邏輯電路的獨(dú)特硬件裝置或具特定功能的設(shè)備來實(shí)作，如將計(jì)算機(jī)程序和處理器或芯片整合成獨(dú)特硬件。更進(jìn)一步者，擴(kuò)增實(shí)境的方法亦可經(jīng)由一般用途處理器/計(jì)算機(jī)/服務(wù)器與其它硬件來進(jìn)行實(shí)作，使一般用途處理器/計(jì)算機(jī)/服務(wù)器讀取儲存計(jì)算機(jī)程序的記錄媒體后執(zhí)行擴(kuò)增實(shí)境的方法。當(dāng)計(jì)算機(jī)程序被一般用途處理器/計(jì)算機(jī)/服務(wù)器載入且執(zhí)行時(shí)，此一般用途處理器/計(jì)算機(jī)/服務(wù)器成為用以參與本發(fā)明系統(tǒng)及移動裝置的單元，類似于應(yīng)用具特定邏輯電路的獨(dú)特硬件裝置，以執(zhí)行本發(fā)明方法的操作步驟。雖然本發(fā)明已以較佳實(shí)施例揭露如上，然其并非用以限定本發(fā)明，任何本領(lǐng)域的技術(shù)人員，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可做些許更動與潤飾，因此本發(fā)明的保護(hù)范圍當(dāng)以權(quán)利要求所界定范圍為準(zhǔn)。
權(quán)利要求
1.一種擴(kuò)增實(shí)境的方法，其特征在于，所述擴(kuò)增實(shí)境的方法包括: 分別對一目標(biāo)及一環(huán)境擷取一 3D目標(biāo)影像及一 3D環(huán)境影像，其中所述3D目標(biāo)影像及所述3D環(huán)境影像為具有深度值的3D影像； 擷取所述3D目標(biāo)影像中的一前景物件影像； 依據(jù)所述3D環(huán)境影像中一指定深度值，估算所述前景物件影像于所述3D環(huán)境影像中對應(yīng)所述指定深度值的一顯示尺寸；以及 依據(jù)所述顯示尺寸將所述前景物件影像加入所述3D環(huán)境影像并產(chǎn)生一擴(kuò)增實(shí)境影像。
2.如權(quán)利要求1所述的擴(kuò)增實(shí)境的方法，其特征在于，估算所述前景物件影像于所述3D環(huán)境影像中對應(yīng)所述指定深度值的所述顯示尺寸的步驟，是提供一參考尺規(guī)以供估算所述前景物件的所述顯示尺寸，所述參考尺規(guī)為擷取所述3D目標(biāo)影像及所述3D環(huán)境影像的一影像擷取單元其所擷取的影像中，多個(gè)深度值所分別對應(yīng)的實(shí)際尺寸及其顯示尺寸。
3.如權(quán)利要求2所述的擴(kuò)增實(shí)境的方法，其特征在于，依據(jù)所述參考尺規(guī)以供估算所述前景物件的所述顯示尺寸，是依據(jù)所述前景物件影像于所述3D目標(biāo)影像中的深度值、顯示尺寸及所述參考尺規(guī)，計(jì)算所述前景物件影像的實(shí)際尺寸，再依據(jù)所述前景物件影像的實(shí)際尺寸、所述參考尺規(guī)以及所述指定深度值，估算所述前景物件的所述顯示尺寸。
4.如權(quán)利要求1所述的擴(kuò)增實(shí)境的方法，其特征在于，所述方法更包括提供一操作接口，以于所述3D環(huán)境影像中指定所述指定深度值。
5.如權(quán)利要求4所述的擴(kuò)增實(shí)境的方法，其特征在于，所述操作接口更包括用以從所述3D目標(biāo)影像中擷取所述前景物件影像，并將所述前景物件影像置放于所述3D環(huán)境影像中所述指定深度值。
6.如權(quán)利要求4所述的擴(kuò)增實(shí)境的方法，其特征在于，所述操作接口為一控制列以于所述3D環(huán)境影像指定所述指定深度值。
7.如權(quán)利要求4所述的擴(kuò)增實(shí)境的方法，其特征在于，所述3D環(huán)境影像分為多個(gè)區(qū)域，而所述操作接口更包括用以選取所述前景物件影像，且在所述3D環(huán)境影像多個(gè)區(qū)域中選取一指定區(qū)域，以將所述前景物件影像置入至所述指定區(qū)域中一位置。
8.如權(quán)利要求7所述的擴(kuò)增實(shí)境的方法，其特征在于，所述3D環(huán)境影像包含多個(gè)環(huán)境物件，而所述操作接口更包括用以選取所述前景物件影像，且拖曳所述前景物件影像至所述3D環(huán)境影像中多個(gè)環(huán) 境物件中一環(huán)境物件的一位置。
9.如權(quán)利要求1所述的擴(kuò)增實(shí)境的方法，其特征在于，所述3D環(huán)境影像分為多個(gè)區(qū)域且具有一順序，所述方法更包括經(jīng)由一感測器偵測一感測信號，當(dāng)接收到所述感測信號時(shí)，依所述順序從所述3D環(huán)境影像多個(gè)區(qū)域中選取一指定區(qū)域，以將所述前景物件影像置入至所述指定區(qū)域中一位置。
10.一種用于擴(kuò)增實(shí)境的系統(tǒng)，其特征在于，所述用于擴(kuò)增實(shí)境的系統(tǒng)包括: 一影像擷取單元，用以分別對一目標(biāo)及一環(huán)境擷取一 3D目標(biāo)影像及一 3D環(huán)境影像，其中所述3D目標(biāo)影像及所述3D環(huán)境影像是具有深度值的3D影像； 一儲存單元，耦接于所述影像擷取單元，用以儲存所述3D目標(biāo)影像及所述3D環(huán)境影像；以及 一處理單元，耦接于所述儲存單元，包括:一前景擷取單元，用以擷取所述3D目標(biāo)影像中的一前景物件影像； 一計(jì)算單元，用以依據(jù)所述3D環(huán)境影像中一指定深度值，估算所述前景物件影像于所述3D環(huán)境影像中對應(yīng)所述指定深度值的一顯示尺寸；以及 一擴(kuò)增實(shí)境單元，用以依據(jù)所述顯示尺寸將所述前景物件影像加入所述3D環(huán)境影像并產(chǎn)生一擴(kuò)增實(shí)境影像。
11.如權(quán)利要求10所述的擴(kuò)增實(shí)境的系統(tǒng)，其特征在于，所述計(jì)算單元更提供一參考尺規(guī)以供估算所述前景物件的所述顯示尺寸，所述參考尺規(guī)為所述影像擷取單元所擷取的影像中，多個(gè)深度值所分別對應(yīng)的實(shí)際尺寸及其顯示尺寸。
12.如權(quán)利要求11所述的擴(kuò)增實(shí)境的系統(tǒng)，其特征在于，依據(jù)所述參考尺規(guī)以供估算所述前景物件的所述顯示尺寸，是依據(jù)所述前景物件影像于所述3D目標(biāo)影像中的深度值、顯示尺寸及所述參考尺規(guī)，計(jì)算所述前景物件影像的實(shí)際尺寸，再依據(jù)所述前景物件影像的實(shí)際尺寸、所述參考尺規(guī)以及所述指定深度值，估算所述前景物件的所述顯示尺寸。
13.如權(quán)利要求10所述的擴(kuò)增實(shí)境的系統(tǒng)，其特征在于，所述擴(kuò)增實(shí)境單元更包括一操作接口，用以于所述3D環(huán)境影像中指定所述指定深度值。
14.如權(quán)利要求13所述的擴(kuò)增實(shí)境的系統(tǒng)，其特征在于，所述操作接口更包括用以從所述3D目標(biāo)影像中擷取所述前景物件影像，并將所述前景物件影像置放于所述3D環(huán)境影像中所述指定深度值。
15.如權(quán)利要求13所述的擴(kuò)增實(shí)境的系統(tǒng)，其特征在于，所述操作接口為一控制列以于選取所述3D環(huán)境影像指定所述指定深度值。
16.如權(quán)利要求13所述的擴(kuò)增實(shí)境的系統(tǒng)，其特征在于，所述3D環(huán)境影像分為多個(gè)區(qū)域，而所述操作接口是于選取所述前景物件影像后，在所述3D環(huán)境影像多個(gè)區(qū)域中選取一指定區(qū)域，以將所述前景物件影像移動至所述指定區(qū)域中一位置。
17.如權(quán)利要求13所述的擴(kuò)增實(shí)境的系統(tǒng)，其特征在于，所述3D環(huán)境影像包含多個(gè)環(huán)境物件，而所述操作接口更包括用以選取所述前景物件影像，且拖曳所述前景物件影像至所述3D環(huán)境影像中多個(gè)環(huán)境物件中一環(huán)境物件的一位置。
18.如權(quán)利要求10所述的擴(kuò)增實(shí)境的系統(tǒng)，其特征在于，所述影像擷取單元為雙眼攝像機(jī)，以對所述目標(biāo)拍攝分別產(chǎn)生對應(yīng)所述目標(biāo)的一左影像和一右影像，以及對所述環(huán)境拍攝分別產(chǎn)生對應(yīng)所述環(huán)境的一左影像和一右影像，且所述處理單元更包括: 一深度值計(jì)算單元，用以對所述目標(biāo)的左影像及右影像計(jì)算以產(chǎn)生所述3D目標(biāo)影像的深度值，以及對所述環(huán)境的左影像及右影像計(jì)算以產(chǎn)生所述3D環(huán)境影像的深度值。
19.一種擴(kuò)增實(shí)境的移動裝置，其特征在于，所述擴(kuò)增實(shí)境的移動裝置包括: 一影像擷取單元，用以分別對一目標(biāo)及一環(huán)境擷取一 3D目標(biāo)影像及一 3D環(huán)境影像，其中所述3D目標(biāo)影像及所述3D環(huán)境影像為具有深度值的3D影像； 一儲存單元，耦接于所述影像擷取單元，用以儲存所述3D目標(biāo)影像及所述3D環(huán)境影像； 一處理單元，耦接于所述儲存單元，包括: 一前景擷取單元，用以擷取所述3D目標(biāo)影像中的一前景物件影像； 一計(jì)算單元，用以依據(jù)所述3D環(huán)境影像中一指定深度值，估算所述前景物件影像于所述3D環(huán)境影像中對應(yīng)所述指定深度值的一顯示尺寸；以及一擴(kuò)增實(shí)境單元，用以依據(jù)所述顯示尺寸將所述前景物件影像加入所述3D環(huán)境影像并產(chǎn)生一擴(kuò)增實(shí)境影像；以及 一顯示單元，耦接于所述處理單元，用以顯示所述擴(kuò)增實(shí)境影像。
20.如權(quán)利要求19所述的擴(kuò)增實(shí)境的移動裝置，其特征在于，所述3D環(huán)境影像分為多個(gè)區(qū)域且具有一順序，且所述移動裝置更包括: 一感測器，耦接于所述處理單 元，用以偵測一感測信號傳送到所述處理單元； 其中，當(dāng)所述處理單元接收到所述感測信號時(shí)，所述操作接口依所述順序從所述3D環(huán)境影像多個(gè)區(qū)域中選取一指定區(qū)域，以將所述前景物件影像置入至所述指定區(qū)域中一位置。
全文摘要
本發(fā)明提供一種擴(kuò)增實(shí)境的方法、系統(tǒng)及移動裝置。該擴(kuò)增實(shí)境的方法包括分別對一目標(biāo)及一環(huán)境擷取一3D目標(biāo)影像及一3D環(huán)境影像，其中該3D目標(biāo)影像及該3D環(huán)境影像為具有深度值的3D影像；擷取該3D目標(biāo)影像中的一前景物件影像；依據(jù)該3D環(huán)境影像中一指定深度值，估算該前景物件影像于該3D環(huán)境影像中對應(yīng)該指定深度值的一顯示尺寸；以及依據(jù)該顯示尺寸將該前景物件影像加入該3D環(huán)境影像并產(chǎn)生一擴(kuò)增實(shí)境影像。
文檔編號H04N5/232GK103139463SQ201110414029
公開日2013年6月5日 申請日期2011年12月13日 優(yōu)先權(quán)日2011年11月29日
發(fā)明者李克駿, 吳業(yè)寬, 邱建中, 邱璟明 申請人:財(cái)團(tuán)法人資訊工業(yè)策進(jìn)會