對來自多攝像機(jī)系統(tǒng)的視頻的亮度和顏色匹配的制作方法
【專利摘要】公開了用于調(diào)整多攝像機(jī)系統(tǒng)中的顏色和亮度的系統(tǒng)和方法。系統(tǒng)使用具有重疊視場、安裝在車輛四側(cè)的四個攝像機(jī)。針對其中來自后置和側(cè)方攝像機(jī)的視場的圖像重疊的區(qū)域確定顏色誤差。針對每個側(cè)方攝像機(jī)確定并且應(yīng)用顏色增益因數(shù)（使用后置攝像機(jī)作為“主”）以匹配來自側(cè)方攝像機(jī)和后置攝像機(jī)的視頻輸出的顏色。然后使用增益因數(shù)基于來自側(cè)視攝像機(jī)的經(jīng)匹配的視頻輸出來調(diào)整用于前視攝像機(jī)的增益，其中使用側(cè)方攝像機(jī)作為對于前置攝像機(jī)“從”的“主”。以該方式，后置攝像機(jī)間接地用作前置攝像機(jī)的主并且所有攝像機(jī)最終與后置攝像機(jī)顏色匹配。
【專利說明】對來自多攝像機(jī)系統(tǒng)的視頻的亮度和顏色匹配
[0001] 相關(guān)申請 本申請要求于2014年2月11日提交的美國臨時申請No.61/938,439的權(quán)益，其全部內(nèi)容 通過引用結(jié)合在此。
【背景技術(shù)】
[0002] 本發(fā)明設(shè)及用于匹配車輛中的多攝像機(jī)環(huán)繞視圖系統(tǒng)中的攝像機(jī)的系統(tǒng)和方法。

【發(fā)明內(nèi)容】

[0003] 在一個實施例中，本發(fā)明提供用于車輛的環(huán)繞視圖系統(tǒng)。該系統(tǒng)包括全部部署于 車輛上的第一攝像機(jī)、第二攝像機(jī)、第=攝像機(jī)和控制器。第一攝像機(jī)定位于車輛上，用W 捕捉包括第一關(guān)注區(qū)的第一視頻圖像。第二攝像機(jī)定位于車輛上，用W捕捉包括第二關(guān)注 區(qū)的第二視頻圖像。第二攝像機(jī)定位為使得第一關(guān)注區(qū)與第二關(guān)注區(qū)至少部分重疊。第= 攝像機(jī)定位于車輛上，用W捕捉包括第=關(guān)注區(qū)的第=視頻圖像。第=攝像機(jī)定位為使得 第=關(guān)注區(qū)與第二關(guān)注區(qū)至少部分重疊?？刂破鹘邮盏谝灰曨l圖像和第二視頻圖像，并且 確定第一重疊區(qū)，所述第一重疊區(qū)包括第一視頻圖像的其中第一關(guān)注區(qū)與第二關(guān)注區(qū)重疊 的部分?？刂破魅缓蟠_定第二攝像機(jī)的第一顏色誤差，所述第一顏色誤差是第一重疊區(qū)內(nèi) 第一視頻圖像與第二視頻圖像之間的顏色差異的指示?？刂破魅缓蠡诘谝活伾`差，確 定用于第二攝像機(jī)的第一顏色增益因數(shù)，并且應(yīng)用第一顏色增益因數(shù)來生成用于第二攝像 機(jī)的第一調(diào)整后的視頻輸入流，W減小第一顏色誤差?？刂破魅缓髲牡诙z像機(jī)接收包括 調(diào)整后的第二關(guān)注區(qū)的調(diào)整后的第二視頻圖像W及第=視頻圖像?？刂破魅缓蟠_定第二重 疊區(qū)，所述第二重疊區(qū)包括第=視頻圖像的其中第=關(guān)注區(qū)與調(diào)整后的第二關(guān)注區(qū)重疊的 部分?？刂破魅缓蟠_定第=攝像機(jī)的第二顏色誤差，所述第二顏色誤差是第二重疊區(qū)內(nèi)第 =視頻圖像與調(diào)整后的第二視頻圖像之間的第二顏色差異的指示?？刂破魅缓蠡诘诙?色誤差，確定用于第=攝像機(jī)的第二顏色增益因數(shù)，并且應(yīng)用第二顏色增益因數(shù)來生成用 于第=攝像機(jī)的第二調(diào)整后的視頻輸入流，W減小第二顏色誤差。
[0004] 在另一實施例中，本發(fā)明提供了一種用于糾正多攝像機(jī)系統(tǒng)中的顏色的方法。該 方法包括從定位于車輛上的第一攝像機(jī)接收包括第一關(guān)注區(qū)的第一視頻圖像；W及從定位 于車輛上的第二攝像機(jī)接收包括第二關(guān)注區(qū)的第二視頻圖像，其中第二攝像機(jī)定位為使得 第一關(guān)注區(qū)與第二關(guān)注區(qū)至少部分重疊。該方法還包括通過控制器確定第一重疊區(qū)，所述 第一重疊區(qū)包括第一視頻圖像的其中第一關(guān)注區(qū)與第二關(guān)注區(qū)重疊的部分。該方法還包括 通過控制器確定第二攝像機(jī)的第一顏色誤差，所述第一顏色誤差是第一重疊區(qū)內(nèi)第一視頻 圖像與第二視頻圖像之間的顏色差異的指示。該方法還包括通過控制器基于第一顏色誤 差，確定用于第二攝像機(jī)的第一顏色增益因數(shù)，并且應(yīng)用第一顏色增益因數(shù)來生成用于第 二攝像機(jī)的第一調(diào)整后的視頻輸入流，W減小第一顏色誤差。該方法還包括從第二攝像機(jī) 接收包括調(diào)整后的第二關(guān)注區(qū)的調(diào)整后的第二視頻圖像，并且從定位于車輛上的第=攝像 機(jī)接收與第=關(guān)注區(qū)相對應(yīng)的第=視頻圖像，第=攝像機(jī)定位為使得第=關(guān)注區(qū)與調(diào)整后 的第二關(guān)注區(qū)至少部分重疊。該方法還包括通過控制器確定第二重疊區(qū)，所述第二重疊區(qū) 包括第=視頻圖像的其中第=關(guān)注區(qū)與調(diào)整后的第二關(guān)注區(qū)重疊的部分。該方法還包括通 過控制器確定第=攝像機(jī)的第二顏色誤差，所述第二顏色誤差是第二重疊區(qū)內(nèi)第=視頻圖 像與調(diào)整后的第二視頻圖像之間的第二顏色差異的指示。該方法還包括通過控制器基于第 二顏色誤差，確定用于第=攝像機(jī)的第二顏色增益因數(shù)；W及應(yīng)用第二顏色增益因數(shù)來生 成用于第=攝像機(jī)的第二調(diào)整后的視頻輸入流，W減小第二顏色誤差。
[0005] 在一些實施例中，控制器將重復(fù)確定第一顏色誤差和確定用于由紅色、綠色和藍(lán) 色組成的顏色組中的每一個的第一顏色增益因數(shù)W產(chǎn)生第一紅色增益因數(shù)、第一綠色增益 因數(shù)W及第一藍(lán)色增益因數(shù)的步驟；W及應(yīng)用第一紅色增益因數(shù)、第一綠色增益因數(shù)W及 第一藍(lán)色增益因數(shù)來生成用于第二攝像機(jī)的第一調(diào)整后的視頻輸入流，運(yùn)減小第一顏色誤 差。
[0006] 在一些實施例中，控制器將重復(fù)確定第二顏色誤差和確定用于由紅色、綠色和藍(lán) 色組成的顏色組中的每一個的第二顏色增益因數(shù)W產(chǎn)生第二紅色增益因數(shù)、第二綠色增益 因數(shù)W及第二藍(lán)色增益因數(shù)的步驟，W及應(yīng)用第二紅色增益因數(shù)、第二綠色增益因數(shù)W及 第二藍(lán)色增益因數(shù)來生成用于第=攝像機(jī)的第二調(diào)整后的視頻輸入流，運(yùn)減小第二顏色誤 差。
[0007] 在一些實施例中，控制器調(diào)整第一顏色增益因數(shù)和第二顏色增益因數(shù)，使得它們 小于最大闊值并且大于最小闊值。
[0008] 在一些實施例中，一個增益因數(shù)的最小闊值和最大闊值基于其他增益因數(shù)的值。
[0009] 在一些實施例中，控制器改變用于第一和第二調(diào)整后的視頻流的多個YCbCr至RGB 顏色空間轉(zhuǎn)換系數(shù)。
[0010] 在本發(fā)明的一些實施例中，控制器基于平均亮度，將亮度增益應(yīng)用于第一攝像機(jī)。
[0011] 通過考慮【具體實施方式】和附圖，本發(fā)明的其他方面將變得清楚。
【附圖說明】
[0012] 圖1為具有多攝像機(jī)環(huán)繞視圖系統(tǒng)的車輛的俯視圖。
[0013] 圖2為圖1的多攝像機(jī)環(huán)繞視圖系統(tǒng)的示意圖示。
[0014] 圖3為通過圖2的多攝像機(jī)環(huán)繞視圖系統(tǒng)生成并且顯示的用戶界面，其示出車輛的 俯視圖W及相應(yīng)的后視圖像。
[0015] 圖4A為具有帶重疊視場的多個攝像機(jī)的車輛的俯視圖。
[0016] 圖4B為圖4A的車輛的前置攝像機(jī)的關(guān)注區(qū)的俯視圖。
[0017] 圖4C為圖4A的車輛的左側(cè)攝像機(jī)的關(guān)注區(qū)的俯視圖。
[0018] 圖4D為圖4A的車輛的后置攝像機(jī)的關(guān)注區(qū)的俯視圖。
[0019] 圖4E為圖4A的車輛的右側(cè)攝像機(jī)的關(guān)注區(qū)的俯視圖。
[0020] 圖5為用于匹配來自圖1的攝像機(jī)的視頻圖像的顏色和亮度的方法的流程圖。
[0021] 圖6為通過圖1的系統(tǒng)生成和顯示的顯示圖像，其示出SUV車輛的正3D虛擬透視圖。
【具體實施方式】
[0022] 在詳細(xì)解釋本發(fā)明的任何實施例之前，應(yīng)理解本發(fā)明不被限制在其到W下描述中 闡述或者在W下附圖中圖示的構(gòu)造細(xì)節(jié)W及組件布置的應(yīng)用中。本發(fā)明能夠有其他實施例 并且能夠W各種方式實踐或?qū)嵭小?br>[0023] 而且，應(yīng)理解，在此使用的措辭和術(shù)語僅為描述目的且不應(yīng)認(rèn)為是限制性的。"包 括"、"包含"或"具有"及其變型在此的使用意在囊括其后列出的項目及其等同物W及附加 項目。術(shù)語"安裝"、"連接"和"禪合"被寬泛使用并且既囊括直接又囊括間接的安裝、連接和 禪合。另外，"連接"和"禪合"不局限于物理或機(jī)械連接或禪合，并且可W包括無論是直接還 是間接的電連接或禪合。而且，可W使用包括有線連接、無線連接等的任意已知手段來執(zhí)行 電子通信和通知。
[0024] 還應(yīng)注意，多個基于硬件和軟件的裝置W及多個不同結(jié)構(gòu)組件可W被利用來實施 本發(fā)明。還應(yīng)注意，多個基于硬件和軟件的裝置W及多個不同結(jié)構(gòu)組件可W用于實施本發(fā) 明。另外，應(yīng)理解，本發(fā)明的實施例可W包括硬件、軟件和電子組件或模塊，為了討論目的， 它們可W圖示和描述為好像大部分組件僅W硬件來實施。然而，本領(lǐng)域的普通技術(shù)人員并 且基于閱讀本【具體實施方式】將認(rèn)識到，在至少一個實施例中，本發(fā)明的基于電子的方面可 W W由一個或多個處理器可執(zhí)行的軟件(例如，存儲在非暫態(tài)計算機(jī)可讀介質(zhì)上)來實施。 運(yùn)樣，應(yīng)注意，多個基于硬件和軟件的裝置W及多個不同結(jié)構(gòu)組件可W被利用來實施本發(fā) 明。例如，在說明書中描述的"控制單元"和"控制器"可W包括諸如一個或多個處理器的標(biāo) 準(zhǔn)處理組件、包括非暫態(tài)計算機(jī)可讀介質(zhì)的一個或多個存儲器模塊、一個或多個輸入/輸出 接口，W及連接組件的各種連接(例如，系統(tǒng)總線）。
[0025] 在配備有多個攝像機(jī)的車輛中，針對用戶顯示可視信息。如果視頻圖像W有效方 式編譯并且合適地呈現(xiàn)，則車輛的操縱被改進(jìn)。然而，歸因于攝像機(jī)的差異W及環(huán)境條件的 變化，由相似配置的攝像機(jī)提供的視頻圖像可能顯示不同的亮度和顏色。在顯示彼此相鄰 的視頻圖像時，例如在圖像拼接在一起W創(chuàng)建單個全景或環(huán)繞視圖時，即使是圖像亮度和 顏色的微小變化也會非常明顯。所顯示的視頻圖像可能對用戶造成分神并且限制了顯示的 有效性。
[0026] 圖1圖示配備有多攝像機(jī)系統(tǒng)10的車輛12。多攝像機(jī)系統(tǒng)10包括定位為具有車輛 后方的視場的后置攝像機(jī)14、定位為具有在車輛左側(cè)的視場的左側(cè)攝像機(jī)16、定位為具有 在車輛右側(cè)的視場的右側(cè)攝像機(jī)18、W及定位為具有在車輛前方的視場的前置攝像機(jī)20。 取決于所使用的每個攝像機(jī)和透鏡的排布，每個攝像機(jī)的視場可W高達(dá)180。
[0027] 圖2圖示多攝像機(jī)系統(tǒng)10的各種互連組件。系統(tǒng)包括具有處理單元26(例如，微處 理器、專用集成電路等）、非暫態(tài)計算機(jī)可讀存儲器28W及輸入/輸出接口 30的控制器22。計 算機(jī)可讀存儲器28存儲圖像數(shù)據(jù)W及在由處理單元執(zhí)行時提供下述系統(tǒng)功能性的計算機(jī) 可執(zhí)行指令。計算機(jī)可讀存儲器28可W包括隨機(jī)存取存儲器（"RAM")和/或只讀存儲器 ("ROM")。輸入/輸出接口 30發(fā)送W及接收來自控制器22外部的裝置的信息?？刂破?2(例 如，通過一個或多個有線和/或無線連接)接收來自攝像機(jī)14、16、18、20的圖像數(shù)據(jù)、處理圖 像數(shù)據(jù)并且將視頻顯示圖像傳輸至定位在車輛內(nèi)部中的顯示器24?？刂破?2還可W使用輸 入/輸出接口 30與包括在車輛12中的其他控制器和裝置通信，所述其他控制器和裝置諸如 向車輛12的駕駛者提供其他信息的控制臺或儀表板控制器。
[00%]控制器22向從攝像機(jī)14、16、18、20接收的圖像數(shù)據(jù)應(yīng)用一個或多個圖像處理例 程，W生成一個或多個顯示圖像。例如，圖3示出由控制器22基于從攝像機(jī)14、16、18、20接收 的圖像數(shù)據(jù)生成的一對圖像。如上文所提到的，每個攝像機(jī)14、16、18、20定位于車輛上^具 有與兩個相鄰攝像機(jī)的視場部分重疊的不同視場。圖3的右側(cè)的圖像顯示給車輛12的駕駛 者W示出車輛緊后方的區(qū)域。該圖像通常在車輛處于倒檔時顯示并且用于在向后移動車輛 時輔助車輛駕駛者。
[0029] 控制器22還配置為處理從攝像機(jī)14、16、18、20接收的圖像數(shù)據(jù)并且將它們拼接在 一起W創(chuàng)建如在圖3的左側(cè)圖像中所示的車輛12的在其周圍的仿真俯視圖（環(huán)繞視圖）。圖3 的兩個圖像可W同時在顯示器上示出（例如，如圖3中所示的并排），或者可W取決于例如駕 駛者的偏好而被分開示出。
[0030] 如上文所提到的，對于具有"拼接的"攝像機(jī)圖像的多攝像機(jī)環(huán)繞視圖應(yīng)用，匹配 顏色和亮度對于相鄰攝像機(jī)來說具有大的重要性。不論所拼接圖像的一致性，未匹配的攝 像機(jī)將減損環(huán)繞視圖同質(zhì)性。攝像機(jī)14、16、18、20合乎期望地具有"自由運(yùn)行（free- running)"攝像機(jī)視頻源并且視頻流通過控制器22匹配。因為攝像機(jī)14、16、18、20是自由運(yùn) 行攝像機(jī)，所W它們必須配置為提供優(yōu)化圖像。針對內(nèi)部自動白平衡(AWB)和自動曝光(AE) 配置攝像機(jī)14、16、18、20允許攝像機(jī)最大化視頻流的有限數(shù)據(jù)帶寬。
[0031] 圖4A-4E進(jìn)一步圖示來自攝像機(jī)14、16、18、20中的每一個的圖像數(shù)據(jù)通過其被拼 接在一起并且然后用于執(zhí)行優(yōu)化的顏色匹配的機(jī)制。圖4A示出車輛的俯視圖一一由控制器 22生成并且顯示給車輛的駕駛者的圖像。如上文所提到的，每個攝像機(jī)14、16、18、22定位于 車輛上具有不同視場。每個相應(yīng)攝像機(jī)的視場包括地面的一部分。來自每個相應(yīng)攝像機(jī)的 圖像數(shù)據(jù)由控制器22處理W在攝像機(jī)的視場內(nèi)生成地面的至少一部分的仿真俯視圖。該地 面部分在此稱為每個相應(yīng)攝像機(jī)的"關(guān)注區(qū)"。
[0032] 圖4B示出前置車輛攝像機(jī)20的關(guān)注區(qū)32-一該關(guān)注區(qū)32與在前置攝像機(jī)20的視 場內(nèi)的地面的至少一部分相對應(yīng)。類似地，圖4C示出左側(cè)攝像機(jī)16的關(guān)注區(qū)34,圖4D示出后 置車輛攝像機(jī)14的關(guān)注區(qū)36W及圖4E示出右側(cè)攝像機(jī)18的關(guān)注區(qū)38。如上文所提到的，攝 像機(jī)14、16、18、20定位為使得每個攝像機(jī)的視場與兩個相鄰攝像機(jī)的視場重疊。結(jié)果，各個 關(guān)注區(qū)也將重疊。例如，圖4A-4E中標(biāo)識為區(qū)域40的區(qū)域包括在后方車輛關(guān)注區(qū)36和左側(cè)關(guān) 注區(qū)34兩者中。類似地，區(qū)域42包括在后方車輛關(guān)注區(qū)36和右側(cè)關(guān)注區(qū)38兩者中，區(qū)域44包 括在前方車輛關(guān)注區(qū)32和左側(cè)關(guān)注區(qū)34兩者中，W及區(qū)域46包括在前方車輛關(guān)注區(qū)32和右 側(cè)關(guān)注區(qū)38兩者中?？刂破?2將每個相應(yīng)的關(guān)注區(qū)的運(yùn)些經(jīng)處理的俯視圖組合并且插入車 輛的仿真圖像，W生成車輛及其周邊的仿真俯視圖，諸如圖3和4A中所示。
[0033] 圖像數(shù)據(jù)的曝光和白平衡限于關(guān)注區(qū)，從而允許相鄰攝像機(jī)更接近地匹配，運(yùn)是 因為關(guān)注區(qū)看起來非常相似。然而，該途徑可能導(dǎo)致顏色或亮度失配。例如，道路中屯、的黃 線可能對觀看道路的該部分的攝像機(jī)的顏色或曝光具有顯著影響。為了解決運(yùn)些顏色或亮 度變化，系統(tǒng)10利用相鄰關(guān)注區(qū)的重疊部分內(nèi)的區(qū)域(例如，區(qū)域40、42、44和46)來執(zhí)行顏 色匹配。
[0034] 圖5圖示一個運(yùn)樣的顏色匹配例程的示例，其調(diào)整其中來自兩個攝像機(jī)的視頻圖 像被組合W創(chuàng)建仿真俯視環(huán)繞圖像的重疊部分40、42、44、46中的個體顏色分量誤差。系統(tǒng) 10的控制器22對用于車輛的環(huán)繞視圖系統(tǒng)中的多個攝像機(jī)的亮度和顏色進(jìn)行匹配。在操作 中，控制器指明一個攝像機(jī)作為"主"（在步驟52處）。在該示例中，后視攝像機(jī)14被指明為 "主"，雖然可W替代地選擇另一攝像機(jī)。該方法通過比較每個關(guān)注區(qū)中的重疊區(qū)域(例如， 圖4A至4E的區(qū)域40、42、44、46 )而將其他攝像機(jī)16、18、20的亮度和顏色與主攝像機(jī)14的亮 度和顏色進(jìn)行匹配。
[0035] 亮度和顏色匹配在兩個階段中發(fā)生。在第一階段中，側(cè)視攝像機(jī)16、18的每一個基 于來自后視攝像機(jī)14的視頻圖像被個體調(diào)整。使用RGB顏色模型，視頻圖像中的像素包括= 個顏色分量一一紅色(R)、綠色(G)和藍(lán)色(B)。由后方關(guān)注區(qū)36和左側(cè)關(guān)注區(qū)34共享的區(qū)域 (即，區(qū)域40)被分析W針對每個RGB顏色分量確定在來自后置攝像機(jī)14的圖像數(shù)據(jù)與來自 左側(cè)攝像機(jī)16的圖像數(shù)據(jù)之間的顏色誤差CserrrXserrg和Csem(步驟54處）。在后置攝像 機(jī)充當(dāng)用于兩個側(cè)方攝像機(jī)的"主"的情況下，針對兩個側(cè)方的關(guān)注區(qū)34、38并發(fā)地執(zhí)行該 誤差計算。
[0036] W下等式用于確定每個側(cè)方攝像機(jī)的個體顏色誤差：
(1) 其中，€輿煤游為側(cè)方攝像機(jī)1?；8顏色誤差（即，"從"顏色誤差），為來自主攝像 機(jī)的重疊區(qū)的平均RGB顏色值，W及C凍\復(fù)9^為來自從攝像機(jī)的重疊區(qū)的平均RGB顏色值。
[0037] 接下來，控制器使用顏色誤差來確定顏色增益因數(shù)，針對側(cè)方攝像機(jī)16、18的每個 計算C總!如、〇燕《鳴擬及Csgai%(每個顏色分量一個）（在步驟56處）。控制器22使用 W下等式來確定用于側(cè)方攝像機(jī)的增益因數(shù)：
(2) 其中，C濃si%泰為從攝像機(jī)增益因數(shù)、C&g化為來自前次迭代的增益因數(shù)(初始 化為1)、C；餅T磅：》為顏色誤差(如在步驟54中計算的）W及沒P為增益縮放因數(shù)?？刂破?2 迭代地執(zhí)行該確定，每次使用來自前次迭代的C與巧蛛。隨著增益被調(diào)整，顏色誤差將最終 逼近零并且將不必進(jìn)行進(jìn)一步調(diào)整。
[0038] 為了防止不穩(wěn)定操作，控制器22使用W下等式將用于每個攝像機(jī)的增益因數(shù)限制 為定義的最大或最小值(在步驟58處）：
其中，巧海1??!滿蘇為允許的最大增益因數(shù)，CiAfllJMIN為允許的最小增益因數(shù)， 段為步驟56中確定的增益因數(shù)W及€&g姐為將應(yīng)用于攝像機(jī)圖像數(shù)據(jù)的 增益因數(shù)。
[0039] 在針對每個側(cè)方攝像機(jī)的每個顏色分量確定合適的增益因數(shù)之后，控制器22將增 益因數(shù)應(yīng)用于來自側(cè)方攝像機(jī)16、18的視頻輸入流，從而調(diào)整由側(cè)方攝像機(jī)16、18捕捉的圖 像的RGB顏色等級，W匹配后置攝像機(jī)14圖像的顏色(在步驟60處）。通過改變YCbCr到RGB顏 色空間轉(zhuǎn)換系數(shù)，將運(yùn)些增益因數(shù)應(yīng)用于個體視頻輸入流。來自攝像機(jī)14、16、18、20的進(jìn)入 視頻圖像通過Y Xb和化值來表示?？刂破?2可W使用W下等式W使用所計算的增益因數(shù)將 (6) YCb化流轉(zhuǎn)換為用于每個像素的RGB值。全部視頻流顏色變換運(yùn)算如下所示。[0040]
(7) . .... ...... (8) RGB值具有從0值255的范圍。如果W上轉(zhuǎn)換等式產(chǎn)生該范圍W外的值，則運(yùn)些值被如下 調(diào)整：
(9) (10) (11) -，并且聲誠^是控制器22將 在顏色變換運(yùn)算中使用的，或Va拓的實際值。
[0041] 在針對每個側(cè)方攝像機(jī)確定并且應(yīng)用增益因數(shù)之后（使用后置車輛攝像機(jī)作為 "主"），系統(tǒng)前進(jìn)至第二階段，其中基于來自側(cè)視攝像機(jī)16、18的調(diào)整后的視頻圖像，使用增 益因數(shù)來調(diào)整用于前視攝像機(jī)20的增益(在步驟62處）。在側(cè)方攝像機(jī)之一用作"主"并且前 置攝像機(jī)為"從"的情況下，控制器22使用上述相同方法來執(zhí)行該調(diào)整。W該方式，后置攝像 機(jī)14間接地用作前置攝像機(jī)20的主，并且前置攝像機(jī)20最終與后置攝像機(jī)14顏色匹配。然 而，運(yùn)花費(fèi)額外的時鐘周期或帖用于改變到側(cè)方攝像機(jī)16、18增益設(shè)定(基于后置攝像機(jī)調(diào) 色盤(color palate))W影響前置攝像機(jī)20增益設(shè)定。
[0042] 使用該方法不改變指明為主攝像機(jī)的攝像機(jī)的增益設(shè)定。該增益因數(shù)總是應(yīng)用于 缺省的顏色空間系數(shù)。在調(diào)整其他攝像機(jī)之前，系統(tǒng)10的其他配置調(diào)整主攝像機(jī)的顏色。
[0043] 應(yīng)注意，在主攝像機(jī)利用內(nèi)部AE/AWBW歸一化視頻場景使得圖像具有雙峰直方圖 時，結(jié)果可能導(dǎo)致環(huán)繞視圖變暗。由于主后視攝像機(jī)控制剩余攝像機(jī)的亮度，所W用作控制 設(shè)置點(diǎn)的平均RGB值可能變暗并且趨向于導(dǎo)致總體較暗的圖像。如果方法50被啟用，則歸因 于關(guān)注區(qū)中較暗的后視攝像機(jī)14視頻圖像而將使側(cè)視攝像機(jī)16、18更暗。
[0044] 在那些情形中，通過選擇"較好"的攝像機(jī)主或通過基于全部車輛安裝的攝像機(jī)的 平均亮度來將亮度增益應(yīng)用于主后視攝像機(jī)，可W改進(jìn)結(jié)果。由控制器22進(jìn)行的該處理使 用于多攝像機(jī)系統(tǒng)的增益最小化并且維持系統(tǒng)盡可能地接近標(biāo)稱。
[0045] 在大多數(shù)當(dāng)兩個相鄰攝像機(jī)正看向地平面的情形中，可W合適地假設(shè)兩個攝像機(jī) 視頻圖像非常相似。然而，存在當(dāng)一個攝像機(jī)觀看其他攝像機(jī)未觀看的對象時的情形。運(yùn)可 能導(dǎo)致不合適的增益計算。運(yùn)類場景的解決方案是或者基于其他增益來限制增益(例如，確 保紅色增益不遠(yuǎn)大于藍(lán)色或綠色增益），或者通過使控制器22智能地調(diào)整關(guān)注區(qū)的重疊部 分。
[0046] 雖然W上討論的示例執(zhí)行顏色匹配W生成仿真俯視圖，但是運(yùn)些技術(shù)也可W在使 用來自多個攝像機(jī)的圖像數(shù)據(jù)生成其他仿真透視圖像時應(yīng)用。例如，一些系統(tǒng)配置為利用 多個級聯(lián)的攝像機(jī)視圖W生成諸如圖中6所示的3D透視圖像。在生成3D透視時，確定關(guān)注區(qū) 的重疊部分更加復(fù)雜并且因此匹配攝像機(jī)要求仔細(xì)。在3D透視中，阿爾法混合命令掩碼確 定用于重疊區(qū)的條件。在本發(fā)明的模擬環(huán)繞視圖系統(tǒng)中，阿爾法混合命令掩碼可W確定重 疊區(qū)并且利用重疊區(qū)W控制攝像機(jī)的亮度和顏色。然而，該布置可能遭受歸因于關(guān)注區(qū)的 差異導(dǎo)致的不準(zhǔn)確性，關(guān)注區(qū)的差異歸因于不同的攝像機(jī)透視。
[0047]用于攝像機(jī)顏色匹配的另一可能途徑是利用模擬正向施加反向校正(AFAIR)靈活 性。AFAIR模塊可W創(chuàng)建多個級聯(lián)的攝像機(jī)視圖，其有可能并發(fā)地生成3D透視和頂視透視。 當(dāng)運(yùn)發(fā)生時，頂透視圖在可觀看范圍W外被生成和緩沖，并且用于W與標(biāo)準(zhǔn)頂視匹配中完 全相同的方式執(zhí)行攝像機(jī)匹配。該布置簡化了算法，運(yùn)是因為對于任何視圖不存在需要的 改變。
[004引在一些配置中，系統(tǒng)10利用NTSC視頻流或者PAL視頻流，并且調(diào)整個體RGB顏色分 量誤差或個體YCb化分量誤差。
[0049]因此，除其他W外，本發(fā)明的實施例還提供了用于匹配用于車輛的模擬多攝像機(jī) 環(huán)繞視圖系統(tǒng)中的攝像機(jī)的系統(tǒng)和方法。本發(fā)明的各種特征和優(yōu)點(diǎn)在所附權(quán)利要求中闡 述。
【主權(quán)項】
1. 一種用于車輛的環(huán)繞視圖系統(tǒng)，所述系統(tǒng)包括： 第一攝像機(jī)，定位于所述車輛上，用以捕捉包括第一關(guān)注區(qū)的第一視頻圖像； 第二攝像機(jī)，定位于所述車輛上，用以捕捉包括第二關(guān)注區(qū)的第二視頻圖像，所述第二 攝像機(jī)定位為使得所述第一關(guān)注區(qū)與所述第二關(guān)注區(qū)至少部分重疊； 第三攝像機(jī)，定位于所述車輛上，用以捕捉包括第三關(guān)注區(qū)的第三視頻圖像，所述第三 攝像機(jī)定位為使得所述第三關(guān)注區(qū)與所述第二關(guān)注區(qū)至少部分重疊； 控制器，配置為 接收所述第一視頻圖像； 接收所述第二視頻圖像； 確定第一重疊區(qū)，所述第一重疊區(qū)包括所述第一視頻圖像的其中所述第一關(guān)注區(qū)與所 述第二關(guān)注區(qū)重疊的部分； 確定所述第二攝像機(jī)的第一顏色誤差，所述第一顏色誤差是所述第一重疊區(qū)內(nèi)所述第 一視頻圖像與所述第二視頻圖像之間的顏色差異的指示； 基于所述第一顏色誤差，確定用于所述第二攝像機(jī)的第一顏色增益因數(shù)； 通過應(yīng)用所述第一顏色增益因數(shù)來生成用于所述第二攝像機(jī)的第一調(diào)整后的視頻輸 入流，以減小所述第一顏色誤差； 從所述第二攝像機(jī)接收包括調(diào)整后的第二關(guān)注區(qū)的調(diào)整后的第二視頻圖像； 接收所述第三視頻圖像； 確定第二重疊區(qū)，所述第二重疊區(qū)包括所述第三視頻圖像的其中所述第三關(guān)注區(qū)與所 述調(diào)整后的第二關(guān)注區(qū)重疊的部分； 確定所述第三攝像機(jī)的第二顏色誤差，所述第二顏色誤差是所述第二重疊區(qū)內(nèi)所述第 三視頻圖像與所述調(diào)整后的第二視頻圖像之間的第二顏色差異的指示； 基于所述第二顏色誤差，確定用于所述第三攝像機(jī)的第二顏色增益因數(shù)；以及 使用所述第二顏色增益因數(shù)來生成用于所述第三攝像機(jī)的第二調(diào)整后的視頻輸入流， 以減小所述第二顏色誤差。2. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述控制器還配置為 重復(fù)確定第一顏色誤差和確定用于由紅色、綠色和藍(lán)色組成的顏色組中的每一個的第 一顏色增益因數(shù)以產(chǎn)生第一紅色增益因數(shù)、第一綠色增益因數(shù)以及第一藍(lán)色增益因數(shù)的步 驟；以及 通過應(yīng)用所述第一紅色增益因數(shù)、所述第一綠色增益因數(shù)以及所述第一藍(lán)色增益因數(shù) 來生成用于所述第二攝像機(jī)的第一調(diào)整后的視頻輸入流，以減小所述第一顏色誤差。3. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述控制器還配置為 重復(fù)確定第二顏色誤差和確定用于由紅色、綠色和藍(lán)色組成的顏色組中的每一個的第 二顏色增益因數(shù)以產(chǎn)生第二紅色增益因數(shù)、第二綠色增益因數(shù)以及第二藍(lán)色增益因數(shù)的步 驟；以及 通過應(yīng)用所述第二紅色增益因數(shù)、所述第二綠色增益因數(shù)以及所述第二藍(lán)色增益因數(shù) 來生成用于所述第三攝像機(jī)的第二調(diào)整后的視頻輸入流，以減小所述第二顏色誤差。4. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述控制器還配置為調(diào)整所述第一顏色增益因數(shù) 和所述第二顏色增益因數(shù)，使得它們小于最大閾值并且大于最小閾值。5. 根據(jù)權(quán)利要求4所述的系統(tǒng)，其中，一個增益因數(shù)的最小閾值和最大閾值基于其他增 益因數(shù)的值。6. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述控制器還配置為改變用于第一和第二調(diào)整后 的視頻流的多個YCbC r至RGB顏色空間轉(zhuǎn)換系數(shù)。7. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述控制器還配置為基于平均亮度，將亮度增益 應(yīng)用于所述第一攝像機(jī)。8. -種用于糾正多攝像機(jī)系統(tǒng)中的顏色的方法，所述方法包括： 從定位于車輛上的第一攝像機(jī)接收包括第一關(guān)注區(qū)的第一視頻圖像； 從定位于所述車輛上的第二攝像機(jī)接收包括第二關(guān)注區(qū)的第二視頻圖像，所述第二攝 像機(jī)定位為使得所述第一關(guān)注區(qū)與所述第二關(guān)注區(qū)至少部分重疊； 通過控制器確定第一重疊區(qū)，所述第一重疊區(qū)包括所述第一視頻圖像的其中所述第一 關(guān)注區(qū)與所述第二關(guān)注區(qū)重疊的部分； 通過所述控制器確定用于第二攝像機(jī)的第一顏色誤差，所述第一顏色誤差是所述第一 重疊區(qū)內(nèi)所述第一視頻圖像與所述第二視頻圖像之間的顏色差異的指示； 通過所述控制器基于所述第一顏色誤差，確定用于所述第二攝像機(jī)的第一顏色增益因 數(shù)； 通過應(yīng)用所述第一顏色增益因數(shù)來生成用于所述第二攝像機(jī)的第一調(diào)整后的視頻輸 入流，以減小所述第一顏色誤差； 從所述第二攝像機(jī)接收包括調(diào)整后的第二關(guān)注區(qū)的調(diào)整后的第二視頻圖像； 從定位于所述車輛上的第三攝像機(jī)接收與第三關(guān)注區(qū)相對應(yīng)的第三視頻圖像，所述第 三攝像機(jī)定位為使得所述第三關(guān)注區(qū)與所述調(diào)整后的第二關(guān)注區(qū)至少部分重疊； 通過所述控制器確定第二重疊區(qū)，所述第二重疊區(qū)包括所述第三視頻圖像的其中所述 第三關(guān)注區(qū)與所述調(diào)整后的第二關(guān)注區(qū)重疊的部分； 通過所述控制器確定用于第三攝像機(jī)的第二顏色誤差，所述第二顏色誤差是所述第二 重疊區(qū)內(nèi)所述第三視頻圖像與所述調(diào)整后的第二視頻圖像之間的第二顏色差異的指示； 通過所述控制器基于所述第二顏色誤差，確定用于所述第三攝像機(jī)的第二顏色增益因 數(shù)；以及 通過應(yīng)用所述第二顏色增益因數(shù)來生成用于所述第三攝像機(jī)的第二調(diào)整后的視頻輸 入流，以減小所述第二顏色誤差。9. 根據(jù)權(quán)利要求8所述的方法，還包括： 重復(fù)確定第一顏色誤差和確定用于由紅色、綠色和藍(lán)色組成的顏色組中的每一個的第 一顏色增益因數(shù)以產(chǎn)生第一紅色增益因數(shù)、第一綠色增益因數(shù)以及第一藍(lán)色增益因數(shù)的步 驟；以及 通過應(yīng)用所述第一紅色增益因數(shù)、所述第一綠色增益因數(shù)以及所述第一藍(lán)色增益因數(shù) 來生成用于所述第二攝像機(jī)的第一調(diào)整后的視頻輸入流，以減小所述第一顏色誤差。10. 根據(jù)權(quán)利要求8所述的方法，還包括： 重復(fù)確定第二顏色誤差和確定用于由紅色、綠色和藍(lán)色組成的顏色組中的每一個的第 二顏色增益因數(shù)以產(chǎn)生第二紅色增益因數(shù)、第二綠色增益因數(shù)以及第二藍(lán)色增益因數(shù)的步 驟；以及 通過應(yīng)用所述第二紅色增益因數(shù)、所述第二綠色增益因數(shù)以及所述第二藍(lán)色增益因數(shù) 來生成用于所述第三攝像機(jī)的第二調(diào)整后的視頻輸入流，以減小所述第二顏色誤差。11. 根據(jù)權(quán)利要求8所述的方法，還包括通過所述控制器調(diào)整所述第一顏色增益因數(shù)和 所述第二顏色增益因數(shù)，使得它們小于最大閾值并且大于最小閾值。12. 根據(jù)權(quán)利要求11所述的方法，其中，一個增益因數(shù)的最小閾值和最大閾值基于其他 增益因數(shù)的值。13. 根據(jù)權(quán)利要求8所述的方法，還包括通過所述控制器改變用于第一和第二調(diào)整后的 視頻流的多個YCbC r至RGB顏色空間轉(zhuǎn)換系數(shù)。14. 根據(jù)權(quán)利要求8所述的方法，還包括基于平均亮度，將亮度增益應(yīng)用于所述第一攝 像機(jī)。
【文檔編號】H04N5/232GK105981367SQ201580007923
【公開日】2016年9月28日
【申請日】2015年2月10日
【發(fā)明人】G.西皮特科夫斯基
【申請人】羅伯特·博世有限公司