支持實(shí)時(shí)全輻射紅外熱像視頻流全景拼接的紅外熱像系統(tǒng)的制作方法
【專(zhuān)利摘要】一種支持實(shí)時(shí)全輻射紅外熱像視頻流全景拼接的紅外熱像系統(tǒng)。該系統(tǒng)可針對(duì)紅外熱像視頻流進(jìn)行實(shí)時(shí)的全景拼接。該系統(tǒng)的組成可以有兩種架構(gòu)模式：一、基于云臺(tái)預(yù)置位或角度的全景拼接系統(tǒng)；二、基于多紅外攝像頭的全景拼接系統(tǒng)。其中模式一中的系統(tǒng)包括單臺(tái)熱像儀，云臺(tái)及服務(wù)器，模式二的系統(tǒng)包括多臺(tái)熱像儀及服務(wù)器。本系統(tǒng)通過(guò)獲取實(shí)時(shí)的待拼接為全景圖的不同位置的熱像圖，經(jīng)過(guò)自動(dòng)拼接算法或手動(dòng)拼接的方式拼接為紅外實(shí)時(shí)全景圖。針對(duì)該紅外實(shí)時(shí)全景圖可獲取點(diǎn)、線(xiàn)、矩形、橢圓及不規(guī)則圖形的溫度數(shù)據(jù)信息。生成的紅外全景圖可以進(jìn)行自動(dòng)融合，以消除不同熱線(xiàn)圖之間明顯的邊界。本系統(tǒng)提供了一種對(duì)于較寬場(chǎng)景下進(jìn)行紅外視頻實(shí)時(shí)分析的技術(shù)。
【專(zhuān)利說(shuō)明】支持實(shí)時(shí)全輻射紅外熱像視頻流全景拼接的紅外熱像系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及紅外熱像系統(tǒng)的圖像拼接應(yīng)用領(lǐng)域，特別是涉及一種支持實(shí)時(shí)全輻射紅外熱像視頻流全景拼接的紅外熱像系統(tǒng)。
【背景技術(shù)】
[0002]圖像拼接技術(shù)實(shí)質(zhì)上就是對(duì)真實(shí)空間取得多幅圖像，通過(guò)處理這些圖像序列的重疊部分并進(jìn)行配準(zhǔn)融合后，使得各圖像序列的信息都包含在完整的、寬視角場(chǎng)景的全景圖中。通過(guò)圖像拼接技術(shù)可以最大限度的壓縮信息存儲(chǔ)量，減少冗余信息，從而使得到的全景圖所包含的信息更加有效。全景圖像的拼接是目前流行的圖像拼接技術(shù)的應(yīng)用領(lǐng)域，隨著拼接技術(shù)的發(fā)展，全景圖的應(yīng)用也越來(lái)越廣泛，其中比較典型的應(yīng)用流域有醫(yī)學(xué)領(lǐng)域、環(huán)境監(jiān)測(cè)及視頻監(jiān)控系統(tǒng)等。
[0003]如今可見(jiàn)光圖像的全景拼接技術(shù)已日趨成熟，研究紅外全景拼接系統(tǒng)已經(jīng)成為時(shí)下的熱點(diǎn)。紅外全景系統(tǒng)相對(duì)于可見(jiàn)光全景系統(tǒng)具有的優(yōu)勢(shì)包括提高了目標(biāo)感知能力和搜索跟蹤的速率，確保探測(cè)目標(biāo)的準(zhǔn)確度，并且能夠識(shí)別夜間或惡劣環(huán)境條件下的多角度目標(biāo)。

【發(fā)明內(nèi)容】

[0004]為了實(shí)現(xiàn)在完整的寬視角場(chǎng)景中顯示紅外視頻，并在該場(chǎng)景下實(shí)時(shí)獲取溫度數(shù)據(jù)信息，進(jìn)行溫度歷史曲線(xiàn)跟蹤及溫度分布圖分析，本發(fā)明提出一種支持實(shí)時(shí)全輻射紅外熱像視頻流全景拼接的紅外熱像系統(tǒng)。
[0005]為實(shí)現(xiàn)上述目的，一種支持實(shí)時(shí)全輻射紅外熱像視頻流全景拼接的紅外熱像系統(tǒng)，包括兩種架構(gòu)模式:一、基于云臺(tái)預(yù)置位或角度的紅外全景拼接系統(tǒng)；二、基于多紅外熱像儀的紅外全景拼接系統(tǒng)。其中模式一中的系統(tǒng)包括單臺(tái)熱像儀，云臺(tái)及服務(wù)器，模式二的系統(tǒng)包括多臺(tái)熱像儀及服務(wù)器。本系統(tǒng)通過(guò)獲取實(shí)時(shí)的待拼接為全景圖的不同位置的熱像圖，經(jīng)過(guò)自動(dòng)拼接算法或手動(dòng)拼接的方式拼接為紅外實(shí)時(shí)全景圖。針對(duì)該紅外實(shí)時(shí)全景圖可獲取點(diǎn)、線(xiàn)、矩形、橢圓及不規(guī)則圖形的溫度數(shù)據(jù)信息，進(jìn)行溫度歷史曲線(xiàn)跟蹤及溫度分布圖分析。其中模式一當(dāng)熱像儀從一個(gè)預(yù)置位/角度移動(dòng)到另一個(gè)預(yù)置位/角度的過(guò)程中，全景畫(huà)面可以被鎖定，以使該全景圖中不會(huì)出現(xiàn)運(yùn)動(dòng)的畫(huà)面。生成的紅外全景圖可以進(jìn)行自動(dòng)融合，以消除不同熱線(xiàn)圖之間明顯的邊界。本系統(tǒng)提供了一種對(duì)于較寬場(chǎng)景下進(jìn)行紅外視頻實(shí)時(shí)分析的技術(shù)。
[0006]根據(jù)本發(fā)明的實(shí)施例，其中模式一中所述的基于云臺(tái)預(yù)置位或角度的全景拼接系統(tǒng)，通過(guò)服務(wù)器設(shè)定云臺(tái)不同的預(yù)置位或角度來(lái)獲取不同預(yù)置位或角度的熱像圖，其中該熱像儀通過(guò)專(zhuān)用接插底座中間件與云臺(tái)連接。通過(guò)自動(dòng)拼接算法或手動(dòng)拼接方式將獲取到的帶拼接的熱像圖拼接為紅外全景圖。
[0007]根據(jù)本發(fā)明的實(shí)施例，其中模式二中所述的基于多紅外熱像儀的紅外全景拼接系統(tǒng)，通過(guò)服務(wù)器同一時(shí)間截取多個(gè)紅外熱像儀的實(shí)時(shí)圖像來(lái)獲取不同位置或角度的熱像圖，其中多個(gè)熱像儀的放置須有重合區(qū)域。通過(guò)自動(dòng)拼接算法或手動(dòng)拼接方式將獲取到的帶拼接的熱像圖拼接為紅外全景圖。
[0008]根據(jù)本發(fā)明的實(shí)施例，其中所述自動(dòng)拼接算法或手動(dòng)拼接方式中的自動(dòng)拼接算法是通過(guò)SIFT特征提取算法提取待拼接的紅外圖像的特征向量并實(shí)施特征匹配，從而計(jì)算帶拼接的紅外圖像的相對(duì)位置并實(shí)施圖像拼接；手動(dòng)拼接方式是將不同位置或角度獲得的紅外圖像放置在全景圖框內(nèi)，通過(guò)人眼將圖像移動(dòng)到合適的位置以獲得帶拼接的紅外圖像的相對(duì)位置并實(shí)施圖像拼接。實(shí)施兩種拼接方式后都將進(jìn)行自動(dòng)融合從而生成紅外全景圖，以消除全景圖中明顯的邊界。
[0009]根據(jù)本發(fā)明的實(shí)施例，其中所述基于云臺(tái)預(yù)置位或角度的全景拼接系統(tǒng)，其更新紅外熱像圖的流程是:
(1)對(duì)拼接后的全景圖進(jìn)行剪裁，保存拼接配置，包括紅外圖像的相對(duì)位置及旋轉(zhuǎn)角
度；
(2)服務(wù)器根據(jù)保存的拼接配置得到預(yù)置位或角度信息制定云臺(tái)的巡航規(guī)則；
(3)與云臺(tái)連接的紅外熱像儀沿著已制定的巡航預(yù)置位或角度實(shí)時(shí)更新該紅外熱像圖。
[0010]根據(jù)本發(fā)明的實(shí)施例，其中云臺(tái)與服務(wù)器之間通過(guò)網(wǎng)口或串口進(jìn)行通訊，紅外熱像儀與服務(wù)器之間的通過(guò)網(wǎng)口進(jìn)行通訊。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0011]圖1為本發(fā)明架構(gòu)模式一的結(jié)構(gòu)框圖 圖2為本發(fā)明架構(gòu)模式二的結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0012]為了使本發(fā)明的實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面結(jié)合實(shí)施例和例圖，對(duì)本發(fā)明的實(shí)施例做進(jìn)一步詳細(xì)地說(shuō)明。再次，本發(fā)明的示意性實(shí)施例及其說(shuō)明僅用于解釋本發(fā)明，但并不作為對(duì)本發(fā)明的限定。
[0013]本發(fā)明的支持實(shí)時(shí)全輻射紅外熱像視頻流全景拼接的紅外熱像系統(tǒng)，其中模式一中的系統(tǒng)包括單臺(tái)紅外熱像儀，云臺(tái)及服務(wù)器，模式二的系統(tǒng)包括多臺(tái)紅外熱像儀及服務(wù)器。如圖1所示為本發(fā)明所采用的架構(gòu)模式一的結(jié)構(gòu)框圖；其中該系統(tǒng)的紅外熱像儀包括紅外攝像頭和網(wǎng)口，與服務(wù)器的視頻采集模塊連接，用于傳輸視頻或圖像數(shù)據(jù)信息和溫度數(shù)據(jù)信息；該系統(tǒng)的云臺(tái)通過(guò)網(wǎng)口或串口與服務(wù)器的控制模塊連接，用于執(zhí)行控制模塊發(fā)送的控制命令，并且與該紅外熱像儀通過(guò)專(zhuān)用接插底座中間件連接；該系統(tǒng)的服務(wù)器包括:視頻采集模塊用于獲取紅外熱像儀傳輸?shù)囊曨l或圖像數(shù)據(jù)信息和溫度數(shù)據(jù)信息；圖像拼接模塊用于對(duì)視頻采集模塊獲取的圖像實(shí)施手動(dòng)方式或自動(dòng)拼接算法的全景拼接；控制模塊用于通過(guò)下發(fā)設(shè)定云臺(tái)的預(yù)置位或角度的控制命令給云臺(tái)，從而使云臺(tái)執(zhí)行控制命令；顯示模塊用于顯示圖像拼接模塊已經(jīng)拼接完成的紅外全景圖；數(shù)據(jù)分析模塊用于針對(duì)該紅外實(shí)時(shí)全景圖可獲取點(diǎn)、線(xiàn)、矩形、橢圓及不規(guī)則圖形的溫度數(shù)據(jù)信息，進(jìn)行溫度歷史曲線(xiàn)跟蹤及溫度分布圖分析。
[0014]如圖2所示為本發(fā)明所采用的架構(gòu)模式二的結(jié)構(gòu)框圖，其中該系統(tǒng)包括三個(gè)紅外熱像儀，但本發(fā)明對(duì)紅外熱像儀的個(gè)數(shù)不進(jìn)行限定；分別與服務(wù)器的視頻采集模塊連接，用于傳輸視頻或圖像數(shù)據(jù)信息和溫度數(shù)據(jù)信息；該系統(tǒng)的服務(wù)器包括:視頻采集模塊用于獲取該系統(tǒng)中三個(gè)紅外熱像儀傳輸?shù)囊曨l或圖像數(shù)據(jù)信息和溫度數(shù)據(jù)信息；圖像拼接模塊、顯不模塊與數(shù)據(jù)分析模塊同架構(gòu)模式一中服務(wù)器的模塊功能一致。
[0015]其中該系統(tǒng)的圖像拼接模塊中包含溫度數(shù)據(jù)的用于拼接的紅外圖像，所保存的溫度數(shù)據(jù)包含紅外圖像內(nèi)所有點(diǎn)的溫度數(shù)據(jù)信息。其中該系統(tǒng)的數(shù)據(jù)分析模塊通過(guò)在顯示模塊中劃出需要的點(diǎn)、線(xiàn)、矩形、橢圓或不規(guī)則圖形，即可取得該點(diǎn)、線(xiàn)或圖形的溫度數(shù)據(jù)信息；通過(guò)以存儲(chǔ)顯示模塊顯示的紅外全景圖像為歷史圖像數(shù)據(jù)，進(jìn)行溫度歷史曲線(xiàn)分析，可以得到ROI (感興趣區(qū)域)的溫度歷史曲線(xiàn)，且可存儲(chǔ)為包含溫度數(shù)據(jù)的JPEG格式或其他格式；
根據(jù)本發(fā)明的一個(gè)實(shí)施例，在模式一中，當(dāng)服務(wù)器通過(guò)控制系統(tǒng)控制云臺(tái)轉(zhuǎn)到預(yù)置位I時(shí)記錄云臺(tái)預(yù)置位或角度并保存；當(dāng)服務(wù)器通過(guò)控制系統(tǒng)控制云臺(tái)轉(zhuǎn)到預(yù)置位2時(shí)記錄云臺(tái)預(yù)置位或角度并保存；當(dāng)服務(wù)器通過(guò)控制系統(tǒng)控制云臺(tái)轉(zhuǎn)到預(yù)置位3時(shí)記錄云臺(tái)預(yù)置位或角度并保存；服務(wù)器根據(jù)已經(jīng)記錄的云臺(tái)預(yù)置位或角度制定巡航規(guī)則，視頻采集模塊會(huì)在巡航到達(dá)預(yù)置位或特定角度時(shí)發(fā)送紅外圖像至圖像拼接模塊，依次實(shí)時(shí)更新在圖像拼接模塊中待拼接的紅外圖像。當(dāng)熱像儀從一個(gè)預(yù)置位/角度移動(dòng)到另一個(gè)預(yù)置位/角度的過(guò)程中，全景畫(huà)面被鎖定，以使該全景圖中不會(huì)出現(xiàn)運(yùn)動(dòng)的畫(huà)面，更新后的不同預(yù)置位上的熱像圖自行進(jìn)行融合，消除不同熱像圖之間明顯的邊界。
[0016]根據(jù)本發(fā)明的一個(gè)實(shí)施例，在模式二中，服務(wù)器通過(guò)視頻采集模塊采集三個(gè)紅外熱像儀的實(shí)時(shí)紅外圖像，實(shí)時(shí)更新的熱像圖自行進(jìn)行融合，得到實(shí)時(shí)的一幅紅外全景拼接效果圖。
[0017]本發(fā)明通過(guò)提出了一種支持實(shí)時(shí)全輻射紅外熱像視頻流全景拼接的紅外熱像系統(tǒng)，使得使用人員可以對(duì)不能在同一視角下觀(guān)測(cè)的目標(biāo)在較寬的視角內(nèi)進(jìn)行實(shí)時(shí)監(jiān)控，并可以對(duì)融合后的紅外全景圖進(jìn)行點(diǎn)、線(xiàn)或區(qū)域的溫度分析、歷史溫度曲線(xiàn)和溫度分布圖的分析，為使用人員對(duì)較大范圍觀(guān)測(cè)目標(biāo)提供了一套有效的解決方案。
【權(quán)利要求】
1.一種支持實(shí)時(shí)全輻射紅外熱像視頻流全景拼接的紅外熱像系統(tǒng)，包括兩種架構(gòu)模式:一、基于云臺(tái)預(yù)置位或角度的紅外全景拼接系統(tǒng)；二、基于多紅外熱像儀的紅外全景拼接系統(tǒng)；其中模式一中的系統(tǒng)包括單臺(tái)熱像儀，云臺(tái)及服務(wù)器，模式二的系統(tǒng)包括多臺(tái)熱像儀及服務(wù)器；本系統(tǒng)通過(guò)獲取實(shí)時(shí)的待拼接為全景圖的不同位置的熱像圖，經(jīng)過(guò)自動(dòng)拼接算法或手動(dòng)拼接的方式拼接為紅外實(shí)時(shí)全景圖；針對(duì)該紅外實(shí)時(shí)全景圖可獲取點(diǎn)、線(xiàn)、矩形、橢圓及不規(guī)則圖形的溫度數(shù)據(jù)信息，進(jìn)行溫度歷史曲線(xiàn)跟蹤及溫度分布圖分析；其中模式一當(dāng)熱像儀從一個(gè)預(yù)置位/角度移動(dòng)到另一個(gè)預(yù)置位/角度的過(guò)程中，全景畫(huà)面可以被鎖定，以使該全景圖中不會(huì)出現(xiàn)運(yùn)動(dòng)的畫(huà)面；生成的紅外全景圖可以進(jìn)行自動(dòng)融合，以消除不同熱線(xiàn)圖之間明顯的邊界。
2.根據(jù)權(quán)利要求1所述的支持實(shí)時(shí)全輻射紅外熱像視頻流全景拼接的紅外熱像系統(tǒng)，模式一與模式二可以組合使用，即多臺(tái)熱像儀通過(guò)與云臺(tái)連接，設(shè)置多個(gè)預(yù)置位或角度，通過(guò)自動(dòng)拼接算法或手動(dòng)拼接方式將獲取到的帶溫度的熱像圖拼接為紅外全景圖。
3.根據(jù)權(quán)利要求1所述的支持實(shí)時(shí)全輻射紅外熱像視頻流全景拼接的紅外熱像系統(tǒng)，其中模式一中所述的基于云臺(tái)預(yù)置位或角度的全景拼接系統(tǒng)，通過(guò)服務(wù)器設(shè)定云臺(tái)不同的預(yù)置位或角度來(lái)獲取不同預(yù)置位或角度的熱像圖，其中該熱像儀通過(guò)專(zhuān)用接插底座中間件與云臺(tái)連接；通過(guò)自動(dòng)拼接算法或手動(dòng)拼接方式將獲取到的帶溫度的熱像圖拼接為紅外全景圖。
4.根據(jù)權(quán)利要求1所述的支持實(shí)時(shí)全輻射紅外熱像視頻流全景拼接的紅外熱像系統(tǒng)，其中模式二中所述的基于多紅外熱像儀的紅外全景拼接系統(tǒng)，通過(guò)服務(wù)器同一時(shí)間截取多個(gè)紅外熱像儀的實(shí)時(shí)圖像來(lái)獲取不同位置或角度的熱像圖，其中多個(gè)熱像儀的放置須有重合區(qū)域；通過(guò)自動(dòng)拼接算法或手動(dòng)拼接方式將獲取到的帶拼接的熱像圖拼接為紅外全景圖。
5.根據(jù)權(quán)利要求1所述的支持實(shí)時(shí)全輻射紅外熱像視頻流全景拼接的紅外熱像系統(tǒng)，其中所述自動(dòng)拼接算法或手動(dòng)拼接方式中的自動(dòng)拼接算法是通過(guò)SIFT特征提取算法提取待拼接的紅外圖像的特征向量并實(shí)施特征匹配，從而計(jì)算帶拼接的紅外圖像的相對(duì)位置并實(shí)施圖像拼接；手動(dòng)拼接方式是將不同位置或角度獲得的紅外圖像放置在全景圖框內(nèi)，通過(guò)人眼將圖像移動(dòng)到合適的位置以獲得帶拼接的紅外圖像的相對(duì)位置并實(shí)施圖像拼接，實(shí)施兩種拼接方式后都將進(jìn)行自動(dòng)融合從而生成紅外全景圖，以消除全景圖中明顯的邊界。
6.根據(jù)權(quán)利要求2所述的支持實(shí)時(shí)全輻射紅外熱像視頻流全景拼接的紅外熱像系統(tǒng)，其中所述基于云臺(tái)預(yù)置位或角度的全景拼接系統(tǒng)，其更新紅外熱像圖的流程是: (1)對(duì)拼接后的全景圖進(jìn)行剪裁，保存拼接配置，包括紅外圖像的相對(duì)位置及旋轉(zhuǎn)角度； (2)服務(wù)器根據(jù)保存的拼接配置得到預(yù)置位或角度信息制定云臺(tái)的巡航規(guī)則； (3)與云臺(tái)連接的紅外熱像儀沿著已制定的巡航預(yù)置位或角度實(shí)時(shí)更新該紅外熱像圖。
7.根據(jù)權(quán)利要求1所述的支持實(shí)時(shí)全輻射紅外熱像視頻流全景拼接的紅外熱像系統(tǒng)，其中云臺(tái)與服務(wù)器之間通過(guò)網(wǎng)口或串口進(jìn)行通訊，紅外熱像儀與服務(wù)器之間的通過(guò)網(wǎng)口進(jìn)行通訊。
8.根據(jù)權(quán)利要求1所述的支持實(shí)時(shí)全輻射紅外熱像視頻流全景拼接的紅外熱像系統(tǒng)，該系統(tǒng)亦可用于不包含輻射紅外視頻流的全景拼接，拼接的模式、算法、流程均與以上各點(diǎn)相 同。
【文檔編號(hào)】H04N5/33GK103793901SQ201410037284
【公開(kāi)日】2014年5月14日 申請(qǐng)日期:2014年1月26日 優(yōu)先權(quán)日:2014年1月26日
【發(fā)明者】趙紀(jì)民, 許毅 申請(qǐng)人:上海熱像機(jī)電科技有限公司