實現(xiàn)全景相機的多個攝像頭同時拍攝的方法及全景相機的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于全景相機領(lǐng)域，特別涉及一種實現(xiàn)全景相機的多個攝像頭同時拍攝的方法及全景相機。
【背景技術(shù)】
[0002]傳統(tǒng)的全景攝影使用一個相機朝不同角度依次拍攝多張照片然后拼接成全景圖像，這樣的缺點是如果拍攝過程中被攝物體移動，就會出現(xiàn)明顯的拼接錯誤。近來出現(xiàn)了集成了多個攝像模組的專用全景設(shè)備，拍攝時多個攝像模組同時成像，從而可以避免以上問題。
[0003]為了保證圖像質(zhì)量，在全景合成之前需要對各攝像模組輸出的拜耳(Bayer)格式數(shù)據(jù)進行逆馬賽克變換(Demosaicing)和降噪。這部分算法非常消耗計算資源，如果在通用CPU內(nèi)用軟件實現(xiàn)，將嚴重影響性能。目前智能手機和數(shù)碼相機的逆馬賽克變換和降噪大都是用獨立的圖像信號處理(Image signal processing，ISP)芯片或者移動SoC內(nèi)嵌的ISP模塊處理的，比起使用通用CPU大大提高了性能。然而每個移動SoC只能連接一片ISP或者只內(nèi)嵌一個ISP模塊，無法處理全景相機大量攝像頭的同時輸出數(shù)據(jù)。
[0004]目前一種方案是為每個攝像頭各自配一個ISP芯片和處理器，或者各自配一個內(nèi)嵌ISP模塊和處理器的移動SoC，各攝像頭的輸出數(shù)據(jù)分別由各自的ISP進行逆馬賽克變換和降噪處理并在處理器控制下存儲，等拍攝完成導(dǎo)出處理后的圖像數(shù)據(jù)在電腦上完成拼接。一種方式是把所有攝像頭，ISP芯片(模塊)和處理器放在一個硬件里，如TE720，另一種只是把多個單獨的相機(每個相機有獨立的攝像頭，ISP及處理器)固定在一起，如將6個GoPro固定在一起拍攝全景的裝置。
[0005]由于每個攝像頭各自配一個ISP芯片和處理器，或者各自配一個內(nèi)嵌ISP模塊的移動SoC，硬件成本較高，功耗較大;又由于各處理器彼此獨立，實現(xiàn)在機器內(nèi)拼接比較困難，基本都是將數(shù)據(jù)導(dǎo)出在電腦或服務(wù)器拼接。
[0006]中國專利CN201420237546.4，實用新型名稱為《一種接口共享的全景數(shù)字圖像傳感器》公開了多個攝像頭連接一片F(xiàn)PGA或CPLD，CPLD/FPGA通過時分復(fù)用的方式從攝像頭讀取數(shù)據(jù)，并以非標準的格式將數(shù)據(jù)輸出。對于M個攝像頭，CPLD/FPGA分配M個時隙，讓CPLD/FPGA上的8位并行數(shù)據(jù)接口分時傳輸各CMOS傳感器的數(shù)據(jù)，每個時隙寬度為像素時鐘信號周期的1/(2M)，每個時隙傳輸一個字節(jié)YUV格式的圖像數(shù)據(jù)。
[0007]由于該方案CPLD/FPGA讀取攝像頭數(shù)據(jù)的時隙寬度為像素時鐘信號周期的I/(2M)，即CPLD/FPGA的讀取頻率要比攝像頭的像素時鐘頻率高很多倍，如果攝像頭數(shù)目多且攝像頭像素數(shù)高，對FPGA的主頻要求極高，大大提高了成本;其次，該方案輸出的非標準的格式的數(shù)據(jù)并不被一般的ISP芯片或者內(nèi)嵌的ISP模塊兼容。

【發(fā)明內(nèi)容】

[0008]本發(fā)明提供一種能夠?qū)崿F(xiàn)全景相機的多個攝像頭同時拍攝的方法及全景相機，用于解決現(xiàn)有技術(shù)中全景相機實現(xiàn)多個攝像頭同時拍攝時，對硬件要求高，所需硬件多，成本高的問題。
[0009]本發(fā)明提供的一種實現(xiàn)全景相機的多個攝像頭同時拍攝的方法，包括，
[0010]多個攝像頭同時采集多個方向上的圖像數(shù)據(jù)；
[0011]將采集的圖像數(shù)據(jù)存儲于內(nèi)存中；
[0012]按序讀取內(nèi)存中的圖像數(shù)據(jù)，將讀取的圖像數(shù)據(jù)模擬成單一攝像頭輸出數(shù)據(jù)格式發(fā)送至同一圖像信號處理器處理。
[0013]本發(fā)明另提供一種能夠?qū)崿F(xiàn)多個攝像頭同時拍攝的全景相機，包括，
[0014]多個攝像頭、內(nèi)存、控制器及一個圖像信號處理器，
[0015]所述攝像頭用于同時采集多個方向上的圖像數(shù)據(jù)；
[0016]所述控制器連接所述攝像頭、所述內(nèi)存及所述圖像信號處理器，用于將采集的圖像數(shù)據(jù)存儲于內(nèi)存中，按序讀取內(nèi)存中的圖像數(shù)據(jù)，將讀取的圖像數(shù)據(jù)模擬成單一攝像頭輸出數(shù)據(jù)格式發(fā)送至所述圖像信號處理器處理。
[0017]本發(fā)明的技術(shù)方案中控制多個攝像頭同時采集各方向上的圖像數(shù)據(jù)，將各攝像頭采集到的圖像數(shù)據(jù)存儲于內(nèi)存中，按序讀取內(nèi)存中的圖像數(shù)據(jù)，將讀取的圖像數(shù)據(jù)發(fā)送至同一圖像信號處理器處理。本發(fā)明能夠在較低的硬件成本下實現(xiàn)多個攝像頭同時成像，避免由被攝物體移動導(dǎo)致的拼接錯誤，同時只需要一個圖像信號處理器，并且對圖像信號處理器的時鐘頻率要求不高，比起現(xiàn)有技術(shù)大大降低了成本。使用一個控制器也有利于在全景相機內(nèi)完成拼接。
【附圖說明】
[0018]為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0019]圖1為本發(fā)明一實施例的實現(xiàn)全景相機的多個攝像頭同時拍攝的方法流程圖；
[0020]圖2為本發(fā)明一實施例的能夠?qū)崿F(xiàn)多個攝像頭同時拍攝的全景相機結(jié)構(gòu)圖；
[0021]圖3為本發(fā)明另一實施例的能夠?qū)崿F(xiàn)多個攝像頭同時拍攝的全景相機結(jié)構(gòu)圖；
[0022]圖4為本發(fā)明又一實施例的能夠?qū)崿F(xiàn)多個攝像頭同時拍攝的全景相機結(jié)構(gòu)圖。
【具體實施方式】
[0023]為了使本發(fā)明的技術(shù)特點及效果更加明顯，下面結(jié)合附圖對本發(fā)明的技術(shù)方案做進一步說明，本發(fā)明也可有其他不同的具體實例來加以說明或?qū)嵤魏伪绢I(lǐng)域技術(shù)人員在權(quán)利要求范圍內(nèi)做的等同變換均屬于本發(fā)明的保護范疇。
[0024]如圖1所示，圖1為本發(fā)明一實施例的實現(xiàn)全景相機的多個攝像頭同時拍攝的方法流程圖。
[0025]本實施例提供的方法能夠使多個攝像頭同時生成的圖像數(shù)據(jù)發(fā)送至同一圖像處理器處理，圖像處理器接收到的各攝像頭拍攝的數(shù)據(jù)如同一個單獨的攝像頭連續(xù)發(fā)送的多幀數(shù)據(jù)，處理方式也與連接單個攝像頭一樣。
[0026]具體的，實現(xiàn)全景相機的多個攝像頭同時拍攝的方法包括:
[0027]步驟101:多個攝像頭同時采集多個方向上的圖像數(shù)據(jù);其中，圖像數(shù)據(jù)為攝像頭獲取的原始數(shù)據(jù)。
[0028]步驟102:將采集的圖像數(shù)據(jù)存儲于內(nèi)存中；
[0029]本發(fā)明一實施例中，通過FPGA將采集的圖像數(shù)據(jù)存儲于與FPGA相連的內(nèi)存中，當全景相機的多個攝像頭輸出的數(shù)據(jù)格式不方便被FPGA接收時，可在FPGA和每個攝像頭之間插入橋接芯片進行格式轉(zhuǎn)換，如可通過MIPI與DVP的橋接芯片將攝像頭輸出的MIPI格式數(shù)據(jù)轉(zhuǎn)換為DVP格式，以方便被FPGA接收。
[0030]步驟103:按序讀取內(nèi)存中的圖像數(shù)據(jù)，如先從攝像頭I開始，讀取完攝像頭I的圖像數(shù)據(jù)后，讀取攝像頭2的圖像數(shù)據(jù)，一直到讀取完所有攝像頭的圖像數(shù)據(jù)，將讀取的圖像數(shù)據(jù)模擬成單一攝像頭輸出數(shù)據(jù)格式發(fā)送至同一圖像信號處理器處理，模擬成單一攝像頭輸出數(shù)據(jù)格式可以為DVP、MIP1、HISPI等。圖像信號處理器接收到的多個攝像頭各自拍攝的一幀數(shù)據(jù)的數(shù)據(jù)格式就如同一個單獨的攝像頭連續(xù)發(fā)送的多幀數(shù)據(jù)，圖像信號處理器對接收到的圖像數(shù)據(jù)做逆馬賽克變換和降噪處理，與圖像信號處理器相連的應(yīng)用處理芯片將逆馬賽克變換和降噪處理后的多幀數(shù)據(jù)拆開成多個攝像頭輸出的圖像數(shù)據(jù)，并進行后續(xù)的拼接操作。
[0031 ] 詳細的說，內(nèi)存為同步動態(tài)隨機存儲器(Synchronous Dynamic Random AccessMemory，SDRAM)，內(nèi)存中可存儲多個時刻獲取的原始數(shù)據(jù)，每一時刻的原始數(shù)據(jù)分配一個區(qū)域，其中，每一時刻的原始數(shù)據(jù)由所有攝像頭輸出的單幀圖像數(shù)據(jù)構(gòu)成，每個攝像頭的單幀圖像數(shù)據(jù)又被分配一個子區(qū)域。
[0032]攝像頭以逐行輸出圖像數(shù)據(jù)的方式發(fā)送數(shù)據(jù)，攝像頭發(fā)送圖像數(shù)據(jù)的同時還發(fā)送同步信號，如幀同步信號(VSYNC)，使能信號(HREF)，像素時鐘(PCLK)，分別用于標識單幀數(shù)據(jù)的開始，標識新一行的開始及標識攝像頭輸出數(shù)據(jù)的時間。
[0033]進一步的，按序讀取內(nèi)存中的圖像數(shù)據(jù)時，還讀取攝像頭圖像數(shù)據(jù)對應(yīng)的同步信號。
[0034]本發(fā)明一實施例中，