基于arm和雙目視覺的溫室作物數(shù)字化成像方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)字化成像技術(shù)領(lǐng)域，尤其是涉及一種基于ARM和雙目視覺的溫室作 物數(shù)字化成像方法。
【背景技術(shù)】
[0002] 溫室作物數(shù)字化成像的目的在于獲取及測(cè)量數(shù)字圖像以及三維點(diǎn)云中作物植株 (或器官）的形態(tài)和特征，并進(jìn)行分析處理。其意義在于不僅有利于將極為復(fù)雜而又周期很 長(zhǎng)的生命科學(xué)研宄放在定量的時(shí)空坐標(biāo)系統(tǒng)中進(jìn)行分析，縮短研宄周期，還可以直接得到 定量的作物長(zhǎng)勢(shì)觀測(cè)結(jié)果。溫室作物數(shù)字化成像方法的研宄，可以為現(xiàn)代溫室環(huán)境控制系 統(tǒng)提供視覺依據(jù)，也可以為機(jī)器人采摘系統(tǒng)提供可靠的信息來源。
[0003] 當(dāng)前，作物的數(shù)字化研宄方法分為二維數(shù)字化成像與分析方法和三維數(shù)字化成像 與掃描方法。二維數(shù)字化成像與圖像處理技術(shù)雖然成本低廉、實(shí)現(xiàn)方便，但是算法設(shè)計(jì)具有 局限性，而且損失了植株的形態(tài)深度信息，缺乏真實(shí)性。三維數(shù)字化成像與掃描方法是一種 快速發(fā)展中的先進(jìn)技術(shù)，廣泛應(yīng)用于目標(biāo)檢測(cè)與跟蹤、虛擬現(xiàn)實(shí)、無損表面缺陷檢測(cè)、植物 生態(tài)學(xué)與農(nóng)業(yè)工程等重要領(lǐng)域。雙目立體視覺技術(shù)因其實(shí)現(xiàn)簡(jiǎn)單、價(jià)格低廉、能獲得真實(shí)的 植株立體點(diǎn)云數(shù)據(jù)而得到了廣泛的關(guān)注和快速的發(fā)展。
[0004] 雙目立體視覺技術(shù)主要分為四個(gè)模塊：攝像機(jī)標(biāo)定，立體校正，立體匹配，三維重 建。其中立體匹配是其中最重要的一步。現(xiàn)階段，立體匹配算法可以分為局部算法和全局 算法。通常來講，局部算法計(jì)算方法速度快，但視差精度低，而全局算法視差計(jì)算精度高，但 算法復(fù)雜度大，難于實(shí)施。一種精度較高的經(jīng)典局部匹配算法是Yoon在2006年提出的自 適應(yīng)權(quán)重立體匹配算法。該算法通過利用顏色相似度和空間臨近度為匹配窗口像素分配合 理的權(quán)重值，提高了視差的精度，但該算法難于解決低紋理和重復(fù)紋理區(qū)域的像素匹配。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于ARM和雙 目視覺的溫室作物數(shù)字化成像方法，該方法提高了自適應(yīng)權(quán)重立體匹配算法在低紋理區(qū) 域、重復(fù)紋理區(qū)域、實(shí)際作物區(qū)域的匹配精度，在上位機(jī)上實(shí)時(shí)獲得了較精確的作物三維點(diǎn) 云信息，反映作物長(zhǎng)勢(shì)情況并為溫室環(huán)境的自動(dòng)控制提供控制依據(jù)。
[0006] 本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：
[0007] -種基于ARM和雙目視覺的溫室作物數(shù)字化成像方法，包括：
[0008] 步驟Sl:采用棋盤標(biāo)定法標(biāo)定雙目攝像機(jī)，雙目攝像機(jī)采集溫室作物左右圖像；
[0009] 步驟S2:ARM嵌入式平臺(tái)立體校正步驟Sl的溫室作物左右圖像后采用改進(jìn)的自適 應(yīng)權(quán)重立體匹配算法進(jìn)行匹配，獲得初始視差圖，對(duì)初始視差圖進(jìn)行視差優(yōu)化獲得完整視 差圖；
[0010] 步驟S3 :上位機(jī)根據(jù)步驟S2的完整視差圖利用三角測(cè)距原理獲取溫室作物的三 維點(diǎn)云，并根據(jù)步驟Sl的溫室作物左右圖像在三維點(diǎn)云上渲染色彩后顯示并存儲(chǔ)。
[0011] 所述棋盤標(biāo)定法中至少采集20對(duì)不同姿態(tài)的棋盤圖像進(jìn)行標(biāo)定。
[0012] 所述改進(jìn)的自適應(yīng)權(quán)重立體匹配算法包括以下步驟：
[0013] 1)根據(jù)公式（1)、⑵計(jì)算左右圖像中對(duì)應(yīng)像素點(diǎn)之間的初始匹配代價(jià)e(q，qd):
【主權(quán)項(xiàng)】
1. 一種基于ARM和雙目視覺的溫室作物數(shù)字化成像方法，其特征在于，包括： 步驟S1 ;采用棋盤標(biāo)定法標(biāo)定雙目攝像機(jī)，雙目攝像機(jī)采集溫室作物左右圖像； 步驟S2 ;ARM嵌入式平臺(tái)立體校正步驟S1的溫室作物左右圖像后采用改進(jìn)的自適應(yīng) 權(quán)重立體匹配算法進(jìn)行匹配，獲得初始視差圖，對(duì)初始視差圖進(jìn)行視差優(yōu)化獲得完整視差 圖； 步驟S3 ;上位機(jī)根據(jù)步驟S2的完整視差圖利用=角測(cè)距原理獲取溫室作物的=維點(diǎn) 云，并根據(jù)步驟S1的溫室作物左右圖像在S維點(diǎn)云上擅染色彩后顯示并存儲(chǔ)。
2. 根據(jù)權(quán)利要求1所述的基于ARM和雙目視覺的溫室作物數(shù)字化成像方法，其特征在 于，所述棋盤標(biāo)定法中至少采集20對(duì)不同姿態(tài)的棋盤圖像進(jìn)行標(biāo)定。
3. 根據(jù)權(quán)利要求1所述的基于ARM和雙目視覺的溫室作物數(shù)字化成像方法，其特征在 于，所述改進(jìn)的自適應(yīng)權(quán)重立體匹配算法包括W下步驟： 1)根據(jù)公式（1)、（2)計(jì)算左右圖像中對(duì)應(yīng)像素點(diǎn)之間的初始匹配代價(jià)e(q，qd):
其中，q代表左圖參考窗口中的像素點(diǎn)，參考窗口為在左圖中W左圖的待匹配像素點(diǎn)P為中屯、構(gòu)造的一個(gè)窗口，Qd代表q在右圖目標(biāo)窗口中的視差為d的像素點(diǎn)，目標(biāo)窗口為在右 圖中W右圖的候選匹配像素點(diǎn)Pd為中屯、構(gòu)造的一個(gè)窗口，r、g、b分別代表圖像像素點(diǎn)的紅、 綠、藍(lán)S個(gè)顏色分量，ewMu,(q，Qd)是q和Qd進(jìn)行Census變換后的海明距離，CG(r，g，b)， I。代表像素點(diǎn)在r、g、b該S個(gè)通道中的亮度值，Aad為AD匹配代價(jià)控制參數(shù)，AccMu,為Census變換代價(jià)控制參數(shù)； 。根據(jù)公式（3)得到P與q之間的權(quán)重《(P，q):
G)其中，丫。和丫P分別為 顏色相似度參數(shù)和空間鄰近度參數(shù)，ACp。代表P與q在LAB顏色空間內(nèi)的歐幾里得距離， 滿足公式（4);
其中，L、a、b是L油顏色空間中的=個(gè)顏色通道，L通道表示亮度信息，a通道表示紅 綠方向顏色變化，b通道表示黃藍(lán)方向顏色變化，X、y分別是像素點(diǎn)在圖像平面上的橫坐標(biāo) 和縱坐標(biāo)； 3)根據(jù)不相似度函數(shù)E(p，Pd)得到P和處于同一極線上的不同Pd之間的不相似度值，P和Pd之間的E(P，Pd)滿足公式化） (6) 其中，Np代表Wp為中屯、的參考窗口，代表WPd為中屯、的目標(biāo)窗口，w(p，q)代表p和q之間的權(quán)重，w(Pd，Qd)代表Pd和q之間的權(quán)重； 4)根據(jù)公式（7)選擇不相似度最小的值所對(duì)應(yīng)的視差值作為P的視差值dp,進(jìn)而獲得 初始視差圖：
(7) 其中argminW表示使不相似度函數(shù)取最小值時(shí)的自變量值，Sd表示視差d的取值范 圍。
4. 根據(jù)權(quán)利要求3所述的基于ARM和雙目視覺的溫室作物數(shù)字化成像方法，其特征在 于，所述步驟201中AAD取值為10,ACCMU,取值為30。
5. 根據(jù)權(quán)利要求3所述的基于ARM和雙目視覺的溫室作物數(shù)字化成像方法，其特征在 于，所述步驟202中丫。取值為13, 丫P取值為31。
6. 根據(jù)權(quán)利要求1所述的基于ARM和雙目視覺的溫室作物數(shù)字化成像方法，其特征在 于，所述步驟S2中得到的視差圖存儲(chǔ)在ARM嵌入式平臺(tái)的內(nèi)存中。
7. 根據(jù)權(quán)利要求1所述的基于ARM和雙目視覺的溫室作物數(shù)字化成像方法，其特征在 于，所述步驟S2中利用ARM嵌入式平臺(tái)的硬件編碼器對(duì)完整視差圖進(jìn)行編碼，將其封裝成 RTP包，通過UDP傳輸層協(xié)議和IP網(wǎng)絡(luò)層協(xié)議將完整視差圖像發(fā)送到上位機(jī)。
8. 根據(jù)權(quán)利要求7所述的基于ARM和雙目視覺的溫室作物數(shù)字化成像方法，其特征在 于，所述上位機(jī)接收到RTP包數(shù)據(jù)信息后，調(diào)用FFmpeg解碼函數(shù)進(jìn)行解碼，解碼后得到一帖 YUV420格式的圖像，再調(diào)用FFmpeg視頻格式轉(zhuǎn)換函數(shù)進(jìn)行YUV420到BGR24的顏色空間轉(zhuǎn) 換。
9. 根據(jù)權(quán)利要求1所述的基于ARM和雙目視覺的溫室作物數(shù)字化成像方法，其特征在 于，所述步驟S2中立體校正包括消除雙目攝像機(jī)的崎變誤差并使步驟S1的溫室作物左右 圖像的對(duì)極線處于同一水平線。
10. 根據(jù)權(quán)利要求1所述的基于ARM和雙目視覺的溫室作物數(shù)字化成像方法，其特征在 于，所述步驟S3中S角測(cè)距原理滿足公式巧）：
(8) 其中，化Y，Z)是立維坐標(biāo)，（x，y)是圖像坐標(biāo)，f是攝像機(jī)焦距，立維坐標(biāo)中的Z是深 度距離，即物體到攝像機(jī)的距離，d是視差，b是基線距離，即雙目攝像機(jī)中兩個(gè)攝像機(jī)的間 距。
【專利摘要】本發(fā)明涉及一種基于ARM和雙目視覺的溫室作物數(shù)字化成像方法，包括：步驟S1：采用棋盤標(biāo)定法標(biāo)定雙目攝像機(jī)，雙目攝像機(jī)采集溫室作物左右圖像；步驟S2：ARM嵌入式平臺(tái)立體校正步驟S1的溫室作物左右圖像后采用改進(jìn)的自適應(yīng)權(quán)重立體匹配算法進(jìn)行匹配，獲得初始視差圖，對(duì)初始視差圖進(jìn)行視差優(yōu)化獲得完整視差圖；步驟S3：上位機(jī)根據(jù)步驟S2的完整視差圖利用三角測(cè)距原理獲取溫室作物的三維點(diǎn)云，并根據(jù)步驟S1的溫室作物左右圖像在三維點(diǎn)云上渲染色彩后顯示并存儲(chǔ)。與現(xiàn)有技術(shù)相比，本發(fā)明可以獲取溫室作物的實(shí)時(shí)三維彩色點(diǎn)云信息，反映作物長(zhǎng)勢(shì)情況并為溫室環(huán)境的自動(dòng)控制提供基于視覺的控制依據(jù)，具有數(shù)據(jù)精準(zhǔn)度高、成本低等優(yōu)點(diǎn)。
【IPC分類】G06T7-00
【公開號(hào)】CN104794713
【申請(qǐng)?zhí)枴緾N201510178900
【發(fā)明人】徐立鴻, 李大威, 張鵬, 林超峰, 劉志超, 王曉輝, 羅之韻
【申請(qǐng)人】同濟(jì)大學(xué)
【公開日】2015年7月22日
【申請(qǐng)日】2015年4月15日