專利名稱：用于選擇性圖像捕獲、傳輸和重構(gòu)的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及視頻和數(shù)據(jù)通信，并且特別涉及在要求低帶寬和低功 率中任一個或同時兩個的應(yīng)用中捕獲、傳輸和重構(gòu)高分辨率視頻數(shù)據(jù)。
背景技術(shù)：
在通信信道上的高分辨率視頻圖像的傳輸要求大量信道帶寬。所述大 帶寬要求是由于為傳送高分辨率視頻數(shù)據(jù)所需的高數(shù)據(jù)率，特別是由于許
多應(yīng)用所需的視頻圖《象信息內(nèi)^L從640 x 480(NTSC )增加到1920 x 1080 (HDTV)和更高.數(shù)字視頻照相機現(xiàn)在可以捕獲比HDTV大四倍的圖像。 所述大帶寬要求是必要的，除非例如壓縮的技術(shù)被應(yīng)用于所述視頻數(shù)據(jù)。 傳送視頻數(shù)據(jù)信號的問題在下述情形中被進一步增加，其中可用信道帶寬 在所述視頻數(shù)據(jù)的捕獲、傳輸和重構(gòu)的各個階段不同、或其中可用信道帶 寬可以隨時間改變。對于便攜式成像應(yīng)用，功率消耗是主要問題.視頻成 像系統(tǒng)中的功率消耗主要取決于所處理的視頻像素數(shù)據(jù)的量，并且應(yīng)用于 成像鏈的所有部分，即捕獲、壓縮、傳輸和重構(gòu).因此，減少帶寬和功率 要求仍然是視頻通信領(lǐng)域中的重要目的。
一種用于減小視頻傳輸中的帶寬要求的通用方法是使用圖像壓縮.壓 縮技術(shù)典型地通過針對給定應(yīng)用和圖像內(nèi)容的本質(zhì)所選定的壓縮比以及得 到的圖像質(zhì)量來壓縮整個圖像。壓縮方法可以適于響應(yīng)于圖像方面的改變， 然而，這些方法不能被認為是例如由人類觀測者的視覺系統(tǒng)實施的視頻圖 像的智能處理，
在所^A類視覺系統(tǒng)中，大量感光器被集中到眼睛的有凹區(qū)域，隨著 眼睛在圖像中的各個感興趣區(qū)域之間快速移動，僅固定點附近的小圖像區(qū)
6域被人類視覺系統(tǒng)處理以包含高分辨率圖像信息。壓縮技術(shù)處理整個圖像， 即使僅小的感興趣區(qū)域需要包含高分辨率視覺數(shù)據(jù)。在一些系統(tǒng)中，嘗試 通過創(chuàng)建整個視場中的圖像的放大部分來增強圖像內(nèi)容。然而，所述放大
區(qū)域必須阻隔相鄰、未放大的背景區(qū)域。對于監(jiān)視(surveillance)應(yīng)用， 放大區(qū)域的使用降低了狀況感知，并且對于其它成像應(yīng)用，放大區(qū)域的使 用降低了導(dǎo)航能力.
已作出努力來創(chuàng)建有凹(foveated)顯示和支撐系統(tǒng)來降低數(shù)據(jù)速率。 這些系統(tǒng)顯示感興趣區(qū)域中的更多圖像信息內(nèi)容，其中，所述感興趣區(qū)域 的位置通過用戶佩戴的眼球跟蹤設(shè)備設(shè)定。典型地，過濾器被應(yīng)用于視頻 數(shù)據(jù)以定義所述感興趣區(qū)域，在所述感興趣區(qū)域中，對于距所述感興趣區(qū) 域中心較遠的像素數(shù)據(jù)，圖像質(zhì)量逐漸下降，
總體上，為創(chuàng)建有凹顯示的努力對于許多應(yīng)用仍然未令人滿意.如果 圖像捕獲設(shè)備和顯示器之間的距離大到足以導(dǎo)致大于幾毫秒的信號時延， 則包含眼球跟蹤設(shè)備的系統(tǒng)的使用是非常受限的.B鋒跟蹤設(shè)備傾向于是 笨重、昂貴的，并且要求高性能的刻度。
分配可用帶寬，'或適于可用J寬4:變。這些;統(tǒng)不提供對視頻數(shù)據(jù)"各 部分的分辨率的獨立控制，即空間采樣、時間采樣、壓縮和顏色位深度 (bit-depth).最后，這些系統(tǒng)中沒有任何一個包含提供使用數(shù)字視頻數(shù) 據(jù)的部分幀打包、編碼或加密的、適于在網(wǎng)絡(luò)上的無線傳輸或者有線傳輸 的緩存視頻數(shù)據(jù).對于監(jiān)視應(yīng)用，通過用于監(jiān)視和跟蹤目標的用戶或其它 軟件控制來具有多個感興趣區(qū)域的無縫圖像呈現(xiàn)是很重要的。
因此，需要一種要求相對較少帶寬和功率的視頻通信系統(tǒng)。所述系統(tǒng) 將需要能夠提供對視頻數(shù)據(jù)的各部分的分辨率的獨立控制，即空間采樣、 時間釆樣、壓縮和顏色位深。
對優(yōu)化視頻成像系統(tǒng)中的帶寬利用的需求已存在了 一段時間.早期工 作集中在視頻應(yīng)用中為高效使用帶寬的空間和時間采樣(例如，屬于 Brown的美國專利4，004，084 )以及圖4象分割(例如，屬于Brown的美國專利4,494,144)。另一方法處理其中在用戶視覺系統(tǒng)固定點附近提供更多 圖像信息內(nèi)容的有凹顯示。例子有屬于Yamaashi的美國專利5,621,429 和美國專利5,880,728、屬于Hazra的美國專利6,178,204、屬于Geisler的 美國專利6,252,989。然而，該方法使用固定、自動信號處理來最小4匕強制 約束中的帶寬要求。

發(fā)明內(nèi)容
在本發(fā)明的一方面中， 一種視頻處理系統(tǒng)和方法祐/^開，其用于捕獲、 傳輸和重構(gòu)視頻圖像，以及為減少帶寬和功率要求的目的，除所述圖像數(shù) 據(jù)外還傳輸捕獲和控制參數(shù).在本發(fā)明的一方面中，視頻圖^^L場中的多 個感興趣區(qū)域可以被用戶或軟件監(jiān)視應(yīng)用定義和控制。所述感興趣區(qū)域在 不遮蔽相鄰背景圖像部分的情況下被無縫地呈現(xiàn)在顯示器上，其類似于有 凹顯示。
在本發(fā)明的另 一方面中， 一種用于視頻傳輸?shù)膸挿峙浞椒ê拖到y(tǒng)被 公開；所述帶寬分配技術(shù)使用具有不同圖像質(zhì)量的不同帶寬處理和傳輸視 頻圖像的不同區(qū)域，
在本發(fā)明的另一方面中，帶寬分配由例如空間采樣、時間采樣或顏色 位深度降低的一個或更多采樣方法控制。
在本發(fā)明的另一方面中，帶寬分配通過特別包括類似于JPEG 2000標 準的基于子波(wavelet)壓縮的壓縮方法來控制。
在本發(fā)明的另 一方面中，系統(tǒng)各處的圖像處理模塊使用允許算法或處 理參數(shù)被實時改變的可重配置邏輯電路。圖像處理模塊可以被連接到一起， 以便并行并且相互合作地處理視頻圖像.在本發(fā)明的又一方面中，用于捕
的各部分的多個圖像處理模塊之間的數(shù)據(jù)和控制通信信道。對于所述配置， 為抑制邊界效應(yīng)，邊界圖像數(shù)據(jù)在相鄰模塊間被共享。
在本發(fā)明的另 一方面中，包含在圖像處理模塊中的所述可重配置邏輯 電路包括現(xiàn)場可編程門陣列(FPGA)，其中，該現(xiàn)場可編程門陣列的功 8能可以或者編程地或者通過用戶輸入來實時地修改以實施各種圖像處理任 務(wù)。


圖l是示出了不同感興趣區(qū)域的示例性圖像。
圖2是示出了對圖像的各個部分的不同帶寬要求的示例性圖像。
圖3示出了用于本發(fā)明的示例性實施例中的圖像處理的說明性系統(tǒng).
圖4示出了本發(fā)明的示例性實施例中的說明性圖像處理網(wǎng)絡(luò)。
圖5示出了本發(fā)明的示例性實施例中的示例性輸入輸出模塊，
圖6示出了本發(fā)明的示例性實施例中的圖像處理模塊。
圖7是視頻處理系統(tǒng)的示例性實施例的框圖，其中，所述視頻處理系
統(tǒng)用來用于監(jiān)視應(yīng)用的視頻圖像的選擇性捕獲、傳輸和重構(gòu)。
圖8示出了具有用戶界面的示例性實施例，其中，所述用戶接口除所
述視頻圖像外還將任務(wù)欄繪制在顯示屏幕上，
具體實施例方式
圖1是示出了不同感興趣區(qū)域的示例性圖像,示例性圖像10示出了具 有兩個感興趣區(qū)域的典型海洋前景，其中，所述兩個感興趣區(qū)域是圖像IO 中所示的兩艘船的控制塔。區(qū)域12是向觀察者示出了感興趣區(qū)域的固定窗 口.區(qū)域14是漫游(roving)窗口型感興趣區(qū)域.該漫游窗口是可移動和 靈活的，因為其可以被調(diào)整大小和改變.典型地，觀察者可能希望區(qū)域12 和區(qū)域14是可以以比背景區(qū)域16更高的分辨率來觀察的，因為它們是本 圖示中的感興趣區(qū)域。因此，當(dāng)圖像的不同區(qū)域可以具有不同分辨率和幀 率時，分配所有可用帶寬用來以單一最高可能分辨率傳輸整個圖像將是浪 費的。
圖2是示出了對圖像的各個部分的不同帶寬要求的示例性圖像。圖像 18包括區(qū)域20，該區(qū)域是圖像18的背景；區(qū)域22是固定窗口區(qū)域；以 及區(qū)域24是漫游窗口.在本例中，圖像18的整體分辨率是1920 x 1200
9像素，具有24位深度、30幀每秒(fps)的視頻采樣速率、IOO像素每英 寸(ppi),以及該圖像在1.66Gb/s帶寬上傳輸。
在本例中，總體視頻分辨率和帶寬被如接下來描述的那樣分配。固定 窗口區(qū)域22具有640x480像素的分辨率、24位、15 fps、 100 ppi、釆用 110Mb/s;以及，漫游窗口區(qū)域24為157x 157像素、30 fps、 100 ppi和 17.7Mb/s。因此，相比于為15 fps的固定窗口區(qū)域22和為30 fps的漫游 窗口區(qū)域24，該圖像的背景區(qū)域以較慢的2 fps速率被釆樣。因此，相比 于為110 Mb/s的固定窗口區(qū)域22和要求17.7 Mb/s的漫游窗口區(qū)域24， 所述背景區(qū)域要求較低的27.7 Mb/s帶寬。帶寬的最優(yōu)使用可以通過將可 用帶寬的較大部分專用于感興趣區(qū)域以及將可用帶寬的較小部分用于非感 興趣區(qū)域來達到，由此，可用帶寬可以在不同感興趣區(qū)域之間被最優(yōu)地分 配，以及，帶寬的總需求可以通過將較高帶寬分配給所述感興趣區(qū)域以及 將較低帶寬分配給其它區(qū)域來減少.
上面描述的系統(tǒng)可以在示例性實施例中被實現(xiàn)為通過對圖像的不同部 分使用不同分辨率和幀率來提供最優(yōu)帶寬利用。有凹顯示器可以顯示圖像， 其中，感興趣區(qū)域以與非感興趣區(qū)域不同的分辨率被示出.示例性感興趣 區(qū)域被認為屬于兩種類型 一種是漫游窗口，以及另一種是固定窗口 (見 圖1、 2和3)。
圖3示出了根據(jù)本發(fā)明的示例性實施例的一種用于圖像處理的系統(tǒng)。 系統(tǒng)26是被用于捕獲、傳輸和重構(gòu)圖像的模塊化系統(tǒng).系統(tǒng)26使能了智 能圖像處理和傳輸，其使能了具有高狀況感知度、相對最小帶寬要求的非 常高質(zhì)量的視頻應(yīng)用(例如監(jiān)視).
作為示例，兩個位置安排被示出，其中，位置A是圖像捕獲位置，以 及位置B是圖像重構(gòu)位置。所述成像/通信鏈的傳輸和接收方都包含使得以 半雙工或全雙工模式運轉(zhuǎn)成為可能的相同硬件模塊，以及，所述系統(tǒng)可以 包括用于雙向通信的反向信道。為提供配置靈活性，每個模塊可以包括一 個或更多現(xiàn)場可編程門陣列(FPGA)集成電路(IC)。所述才莫塊內(nèi)的FPGA 可以被用于定制針對每個應(yīng)用的固件，因為它們是可重編程和可重配置的硬件部件。
照相機28捕獲視頻圖像30，其中，該視頻圖像30在輸入接口 30上 傳輸?shù)捷斎氩拍獕K(IM) 32。所述輸入接口 30可以是多系統(tǒng)照相機接口、 數(shù)字視頻接口 (DVI)、高清晰度串行數(shù)字接口 (HD-SDI) 、 IEEE 1394 或CAMERA LINK原始照相機鏈路中的一個或更多。本領(lǐng)域的技術(shù)人員 將理解，上面列出的輸入接口 30中的輸入的類型僅是說明性的，并且任何 其它照相機接口可以被用于所述輸入接口 30中。
所述輸入模塊32接收由照相機28捕獲的視頻，所述輸入模塊32可以 將輸入視頻圖像轉(zhuǎn)換為適于貫穿所述多模塊系統(tǒng)的實際傳輸?shù)母袷?物理 上具有XILINX AURORA協(xié)議或例如INFINIBAND和光纖信道 (Fibrechannel)的其它協(xié)議的RACKET-IO).所述輸入模塊32可以進 一步實施對于背景和感興趣區(qū)域的圖像采樣和過濾。所述采樣和過濾可以 包括空間、時間和位深度采樣。
所述輸入模塊32可以處理各種輸入視頻信號，并且將其轉(zhuǎn)換為其它數(shù) 字計算杌格式。例如，所述輸入模塊32可以將DVI-IN、 HD-SDI 、 IEEE 1394 或原始Camera Link視頻數(shù)據(jù)轉(zhuǎn)換為DVI或ROCKET-IO格式。兼容 AURORA(來自XILINIX )INFINIBAND標準或光纖信道(Fibrechannd) 標準的協(xié)議和硬件可以被用于將所述輸入模塊32與其它聯(lián)網(wǎng)或圖像處理 裝置相接合。另外，作為模塊化部分，所述輸入模塊32可以被用于需要由 該輸入模塊32提供的所述轉(zhuǎn)換和/或采樣設(shè)施的其它視頻應(yīng)用中.
由于系統(tǒng)26是模塊化的，IPEM 36模塊可以通過連接點38a-d來與其 它圖像處理模塊接合，以便創(chuàng)建并行圖像處理網(wǎng)絡(luò)。IPEM36包括處理邏 輯和其它可重配置邏輯單元。IPEM36可以實施多個圖像處理任務(wù)。例如， IPEM36可以被配置為實施視頻壓縮、運動檢測、目標檢測和對象跟蹤。 由于IPEM 36包括可以用FPGA來實現(xiàn)的可重配置系統(tǒng)邏輯，其可以被 配置或重配置為實施各種圖像處理任務(wù)。為抑制邊界效應(yīng)，邊界圖像數(shù)據(jù) 被在相鄰模塊間共享.
鏈路40將IPEM 36模塊連接到網(wǎng)絡(luò)接口 Tx模塊42。該鏈路40可以
ii是運行高速I/O協(xié)議(例如ROCKET I/O)的高速鏈路。所述網(wǎng)絡(luò)接口 Tx模塊42將數(shù)據(jù)從所述高速I/0格式轉(zhuǎn)換為網(wǎng)絡(luò)協(xié)議。例如，網(wǎng),口 Tx模塊42可以將使用ROCKET I/O格式傳輸?shù)囊曨l數(shù)據(jù)轉(zhuǎn)換為以太網(wǎng)格 式。所述被轉(zhuǎn)換的數(shù)據(jù)在網(wǎng)絡(luò)鏈路46上被傳輸?shù)浇邮瘴恢肂，其中，該接 收位置B可能距傳輸位置A有很長距離。
在所述接收位置B，網(wǎng)#口 Rx模塊48將所接收的視頻數(shù)據(jù)從網(wǎng)絡(luò) 傳輸格式轉(zhuǎn)換為高速格式。例如，網(wǎng)絡(luò)接口 Rx模塊48可以將以太網(wǎng)格式 數(shù)據(jù)轉(zhuǎn)換為ROCKET I/O格式。圖像處理解碼器模塊(IPDM) 52將所述 格式化的視頻數(shù)據(jù)轉(zhuǎn)換為適于顯示或進一步處理的視頻數(shù)據(jù)。例如，IPDM 52可以將已壓縮圖像數(shù)據(jù)轉(zhuǎn)換為未壓縮圖像數(shù)據(jù)，或?qū)⒕幋a視頻數(shù)據(jù)變?yōu)?解碼視頻數(shù)據(jù)。IPDM 52可以使用連接點54a-c與其它IPDM 52模塊聯(lián)網(wǎng) 以構(gòu)成并行處理網(wǎng)絡(luò).
鏈路56將IPDM 52連接到生成輸出信號的輸出模塊58。所述輸出模 塊58可以與示例性顯示終端60接合，其中，所述顯示終端60可以包括輸 出設(shè)備和例如鍵盤或鼠標的輸入設(shè)備。所述輸出模塊58可以生成多種格式 的視頻，例如DVI和DPVL格式，
所述系統(tǒng)26是模塊化的，并且因此可以對于傳輸方位置A和接收方 位置B使用類似模塊.例如，IPEM 36和IPDM 52是可重編程的，并且 因此可以被編程為實施編碼或解碼。系統(tǒng)26中的所有所述模塊可以被遠程 重編程。例如，接收方的終端或設(shè)備可以遠程重編程其輸入模塊，并且通 過網(wǎng)絡(luò)遠程改變例如照相機、輸入模塊32和IPEM 36模塊的輸入方設(shè)備 的機能。因此，所述接收模塊可以被遠離所述照相機和輸入模塊放置。
模塊性使能了模塊到模塊通信.另夕卜，在不重新設(shè)計該系統(tǒng)的情況下， 系統(tǒng)容量可以被增強或修改以適應(yīng)不同類型的圖像(例如大型圖像)，因 為模塊化部件可以在模塊到模塊接口被添加或移除.因此，在配置該系統(tǒng) 時所述系統(tǒng)26的模塊性和可重編程性的特征提供了成本節(jié)約和靈活性，
由照相機28捕獲的圖像的所述漫游窗口 、固定窗口和背景區(qū)域在顯示 器60上顯示給用戶。所述用戶接收這樣的視頻，其中，該視頻的漫游窗口和固定窗口區(qū)域被以相比于該視頻圖像的背景更高的圖像質(zhì)量示出在所述 顯示器上，以便創(chuàng)建有凹顯示。所述感興趣區(qū)域內(nèi)的更高圖像質(zhì)量的各方 面可以包括更高空間分辨率、更高時間采樣、更高顏色位深度或更高質(zhì)量 壓縮。所述用戶使用例如鼠標和鍵盤的顯示終端60附件選擇所述漫游窗口 和固定窗口的位置和尺寸。這些位置和尺寸被傳送到IPEM 36。該IPEM 36 控制圖像中不同感興趣區(qū)域的幀率，并且通過集成不同感興趣區(qū)域的視頻 圖像來建立連貫的視頻圖像.當(dāng)所述圖像數(shù)據(jù)在網(wǎng)絡(luò)鏈路46上傳輸時，帶 寬被最優(yōu)地利用，因為不同圖像區(qū)域被取決于其是固定窗口、漫游窗口還 是背景而以可變的幀率進行傳輸。所述系統(tǒng)的用戶可以獨立地控制整個系統(tǒng)。例如，用戶可以實時控制 空間采樣、時間釆樣、顏色位深度和壓縮質(zhì)量。另外，用戶可以控制感興 趣區(qū)域和背景連同其大小、位置、分辨率、質(zhì)量、幀率并且因此還控制其 帶寬利用。其它視頻捕獲和視頻處理參數(shù)也可以通過向所述圖像傳輸系統(tǒng) 的部件發(fā)送控制信號來控制。在本發(fā)明的不同示例性實施例中，用于IOM32、 IPEM36和網(wǎng)^ 口 Tx模塊42 (所述圖像處理過程的傳輸方)對所述視頻處理的控制和修 改的控制信號可以被從外部軟件、硬件設(shè)備或通過經(jīng)由耦合到輸出模塊58 的輸入設(shè)備提供的用戶輸入來發(fā)送。在至少一個示例性實施例中，所述控 制信號可以在所述網(wǎng)絡(luò)鏈路46上或通過除了用于鏈接所述圖像處理過程 的傳輸和接收方的網(wǎng)絡(luò)鏈路46之外的專用控制鏈路(未示出)來傳送。在本發(fā)明的至少一個實施例中，用于正則方陣RGB像素的空間采樣 方案的示例將是西洋跳棋棋盤圖案，其中，該圖案的周期性可以被選為所 捕獲的圖像的固有分辨率的倍數(shù)，為了將所傳輸?shù)南袼氐臄?shù)量減少兩倍， 對于西洋跳棋棋盤的空間采樣圖案將對于圖像的每行中每三個^^素采樣一 個像素，其中，每行中的第一個樣本對于交替的行偏移一個像素.為了更 大的減少比率，將在每行中對于每四個、五個或更多個像素采樣一個像素。 典型地，對于圖像的背景部分的空間釆樣將被設(shè)為二倍或更大倍數(shù)的減少比率，而對于感興趣區(qū)域，空間采樣將包含以照相機的固有分辨率捕獲的 圖像的該部分中的所有像素。所采樣的背景圖像的質(zhì)量則可以例如通過用 于使所采樣的像素數(shù)據(jù)變得平滑的高斯濾波算法的應(yīng)用來改進。簡單時間采樣方案的例子是，每兩幀釆樣一幀，用以將所傳輸數(shù)據(jù)速 率減少兩倍。更大的減少比率可以通過每三幀、四幀或更多幀采樣一幀來 達到。對于緩慢移動的目標，慢至每秒幾幀的幀率可以是可接受的。然而，對于快速移動的目標，高至該系統(tǒng)將允許的、典型為每秒30幀或每秒60 幀的幀率可以是需要的，標準壓縮技術(shù)可以被獨立地應(yīng)用于視頻圖像的感興趣區(qū)域和背景部 分。特別適于對不同輸出成分的選擇性傳輸?shù)幕谧硬?wavelet)的壓縮 技術(shù)的例子如JPEG-2000.如之前所討論的，視頻數(shù)據(jù)和帶寬的大量減少 通過對視頻圖像的背景部分的空間和時間采樣和有凹來達到，而不需要同 樣應(yīng)用壓縮.于是，可以單獨對感興趣區(qū)域應(yīng)用壓縮，對視頻圖像的各個 部分的壓縮的應(yīng)用的選擇才艮據(jù)該視頻成《象應(yīng)用的本質(zhì)、跟蹤移動的要求和 目標的空間細節(jié)以及系統(tǒng)帶寬的可用性來指定.本領(lǐng)域的技術(shù)人員將理解，上面列出的用戶控制是說明性的，以及， 取決于應(yīng)用需求，系統(tǒng)可以被配置為提供用于操縱所述系統(tǒng)的操作參數(shù)的 任意類型的用戶控制.多個感興趣區(qū)域(見圖l和2)可以經(jīng)由模塊32和IPEM36而定義 (以及經(jīng)由來自輸出58的用戶輸入而控制).例如，在涉及監(jiān)視應(yīng)用的示 例性實施例中，這些感興趣區(qū)域可以由用戶設(shè)置為場中的固定位置，或者 經(jīng)由輸入設(shè)備實時地移動.可選地，感興趣區(qū)域的大小和位置可以由軟件 應(yīng)用自動設(shè)置。例如，所述軟件應(yīng)用可以分析視頻數(shù)據(jù)以識別和跟蹤滿足 特定準則的目標，其中，所述準則可以被預(yù)定或可以由用戶選擇。在例如 高分辨率視頻會議的另一設(shè)置中，所述系統(tǒng)可以被以半或全雙工模式重新 配置為同時雙向發(fā)送多個感興趣區(qū)域。自動控制感興趣區(qū)域的軟件不需要 處理完整幀分辨率。在顯示系統(tǒng)60生成的圖像是合并了感興趣區(qū)域的無縫圖像，其中，所述感興趣區(qū)域相比于該視頻的其它區(qū)域具有更高分辨率和/或幀率。因此， 所述系統(tǒng)的用戶接收到所述感興趣區(qū)域的增強視圖。另外，由于感興趣區(qū) 域和其它區(qū)域之間受控的帶寬分配，帶寬的最優(yōu)使用成為可能。在系統(tǒng)26中所使用的模塊是可重配置的，其具有或者從每個模塊中的 本地存儲或者通過網(wǎng)絡(luò)下載的新配置。用于建立輸入模塊32、 IPEM36、 網(wǎng)^口 Tx模塊42、網(wǎng)^口 Rx模塊48、 IPDM52和輸出模塊(OM) 58的模塊可以使用FPGA來構(gòu)造，以提供可重配置性.例如，可編程FPGA 可以凈皮重配置為適于對于帶寬控制、圖像質(zhì)量或應(yīng)用的變化需求。如果應(yīng)用要求例如詳細壓縮、帶寬控制和圖像分析的各種參數(shù)重配置， 則IPEM 36和IPDM 52中的FPGA可以被重編程。例如，之前在一個光 鐠帶中捕獲視頻的應(yīng)用可能需要處理另 一光謙帶中的視頻。在所述情況下， IPEM 36中的FPGA的操作可以通過將其重配置為處理對于所述新光鐠帶 的壓縮、帶寬控制、圖像分析等而被修改為處理所述新光語帶。因此，重 配置系統(tǒng)26的模塊中的FPGA的能力使得該系統(tǒng)26適于大范圍的應(yīng)用.在本發(fā)明的至少一個實施例中，至少一個示例性實施例中的數(shù)字、模 塊化視頻處理和通信系統(tǒng)結(jié)合了有凹顯示方法和傳統(tǒng)壓縮，以便減少對視 頻圖像傳輸?shù)膸捫枨?所述系統(tǒng)允許在視頻圖像中多個感興趣區(qū)域之間 進行或者用戶指示或者自動化的帶寬分配控制.所述系統(tǒng)打包用于無線傳 輸或在網(wǎng)絡(luò)上傳輸?shù)囊曨l信號，并且包括具有可重配置邏輯的圖像處理電對各個邏輯;力能的重編程。':此，捕獲:4::編碼、打包:-:和重構(gòu)的所有單元可以被實時地重配置.所述系統(tǒng)是模塊化的，其包含圖像處理 模塊之間的通信信道,允許用于對大型視頻圖像的并行處理的可縮放擴展。圖4示出了本發(fā)明的示例性實施例中的圖像處理網(wǎng)絡(luò)。圖像處理系統(tǒng) 62是上面在圖3的上下文中描述的系統(tǒng)的聯(lián)網(wǎng)版本。該系統(tǒng)的輸入方從不 同視頻照相機信號接收在高清晰度串行數(shù)字接口 (HD-SDI)、 IEEE 1394、 數(shù)字視頻輸入(DVI-D)和/或CAMERALINK上傳輸?shù)剿膫€互連的輸入 模塊32a-32d的4x高清晰度電視(HDTV)輸入。所述輸入模塊的每個被15IPEM 36a和36b使用連接點38a來互連。IPEM 36c和36d使用連接 點38b來互連。IPEM 36b和36c被連接到網(wǎng)絡(luò)接口 Tx模塊42，其中， 該網(wǎng)絡(luò)接口 Tx模塊42被連接到網(wǎng)絡(luò)鏈路46。該網(wǎng)絡(luò)鏈路46將視頻數(shù)據(jù) 傳輸?shù)骄W(wǎng)絡(luò)接口 Tx模塊48。四個IPDM 58a-58d使用連接點54a和54b 來互連。IPDM58a-58d的每個被連接到對應(yīng)的輸出模塊58a-d。所述網(wǎng)絡(luò) 系統(tǒng)62使用互連的IPEM 36a-36d和互連的IPDM 52a-52d來創(chuàng)建用于處 理本例中的4x HDTV輸入的圖像處理單元的并行網(wǎng)絡(luò).每個HDTV輸入 具有典型1920 x 1080的分辨率，并且因此四個所述輸入提供了非常高的分 辨率，這將要求按比例提高所述圖像處理系統(tǒng)。作為替代，由于該系統(tǒng)的 模塊化本質(zhì)，可以互連圖像處理單元以提供為處理4x HDTV視頻輸入所 需的按比例提高的能力。圖5示出了本發(fā)明的示例性實施例中的輸入-輸出模塊64。輸入模塊 32被作為說明示出，并且同一模塊可以被配置為輸出模塊58。該輸入模塊 32包括可重配置系統(tǒng)邏輯、隨M取存儲器(RAM) 、 1/0單元、1/0控 制器、用于處理視頻數(shù)據(jù)的運動協(xié)處理器和去隔行掃描器。所述數(shù)據(jù)輸入 是以來自輸入接口 32的視頻信號的形式，其中，所述視頻信號是例如數(shù)字 視頻輸入(DVI)信號、高清晰度串行數(shù)字接口 (HD-SDI)信號、IEEE 1394 信號和視頻照相機信號的任意格式。來自輸出接口64的已處理輸出也可以 是例如數(shù)字視頻輸入(DVI)信號、高清晰度串行數(shù)字接口 (HD-SDI)信 號、IEEE 1394信號和視頻照相機信號的任意格式。所述輸入模塊32和輸 出模塊58都可以具有控制輸入，所述控制輸入可以接收用于重編程該模塊 內(nèi)的FPGA并且實時改變其功能的控制信號.圖6示出了本發(fā)明的示例性實施例中的圖像處理模塊36。在系統(tǒng)部分 66中，IPEM 36和IPDM 52實施圖像處理。IPEM 36和IPDM 52都可以 使用如下面描述的公共可重配置圖像處理模塊來建立。IPEM 36和IPDM 52都可以具有控制輸入，所述控制輸入可以接收用于重編程該模塊內(nèi)的 FPGA并且實時改變其功能的控制信號。重配置的能力通過^f吏用FPGA電路單元而在所述圖像處理模塊36中被提供。處理器(未示出)被包括在圖像處理模塊36中，以便實施例如有損或 無損壓縮、圖像分析、特征檢測和對象跟蹤的圖像處理任務(wù)。例如， JPEG-2000壓縮可以被用于壓縮視頻圖像數(shù)據(jù)的一個或更多部分。因此， 使用可重配置圖像處理模塊提供構(gòu)建IPEM 36和IPDM 52 二者的靈活性， 以及還提供成本優(yōu)勢。圖7示出了用于視頻監(jiān)視數(shù)據(jù)在網(wǎng)絡(luò)上的傳輸?shù)谋景l(fā)明的示例性實施 例。計算機68和70被放置在所述系統(tǒng)的遠程捕獲和本地接收方。遠程站 點計算機系統(tǒng)68包括這樣的硬件，所述硬件用于視頻捕獲，并且如果必要， 用于向較低分辨率進行向下轉(zhuǎn)換，其與處理視頻數(shù)據(jù)的軟件應(yīng)用(未示出) 兼容。所述軟件應(yīng)用定位和跟蹤目標、設(shè)置感興趣區(qū)域，并且用描述所捕 獲的視頻場景的特征的元數(shù)據(jù)標記所述視頻數(shù)據(jù)。合適的視頻數(shù)據(jù)樣本被 本地存儲，用于存檔或其它分析目的，在所述本地站點，本地站點客戶計 算機70被用于在顯示器60上提供所述視頻數(shù)據(jù)以及用戶控制信息。圖8示出了本發(fā)明的示例性實施例中、其中除視頻圖像外任務(wù)欄74 被繪制在顯示屏幕上的用戶接口；其中，所述任務(wù)欄包含關(guān)于帶寬吞吐量 的信息，以及用于感興趣區(qū)域的帶寬分配的參數(shù)和用于圖像捕獲和照相機 控制的參數(shù)的選擇。所述用戶控制信息被包含在任務(wù)欄中，其與視頻數(shù)據(jù) 并置并且位于屏幕的底部.色度鍵方法可以被用在接收IOM模塊58中(見 圖3).以用用戶控制數(shù)據(jù)覆蓋視頻數(shù)據(jù).很少出現(xiàn)的顏色被選擇，以致其 將不太可能出現(xiàn)在圖像數(shù)據(jù)中.在至少一個實施例中，所i^戶計算機將 除任務(wù)欄數(shù)據(jù)之外的所有像素數(shù)據(jù)設(shè)為全紫紅色(magenta) (R=255， G=0， B=255)。所述接收IOM單元將除了被以監(jiān)視數(shù)據(jù)代替的全紫紅色像素數(shù) 據(jù)之外的所有客戶計算機像素數(shù)據(jù)傳遞給顯示器.所述任務(wù)欄控制信息包括對所述多個感興趣區(qū)域、照相機傾斜、搖攝、 焦點和縮放控制以及其它照相機圖像捕獲參數(shù)的控制.對于感興趣區(qū)域的 所述用戶控制可以覆蓋遠程站點上對于感興趣區(qū)域的自動軟件控制。同樣， 用戶可以捕獲視頻數(shù)據(jù)的單幀快照。通過跟蹤球或其它點擊設(shè)備的使用，17本地站點用戶具有對管理感興趣區(qū)域的參數(shù)(即位置、大小、空間和時間 釆樣)的完全控制。盡管已參考本發(fā)明示例性實施例特別示出和描述了本發(fā)明，但本領(lǐng)域的技術(shù)人員將理解，在不脫離如由權(quán)利要求所限定的本發(fā)明的精神和范圍 的情況下，可以在其中作出形式和細節(jié)上的各種改變。
權(quán)利要求
1.一種視頻處理系統(tǒng)，用于生成具有有不同分辨率的部分的有凹視頻顯示，所述系統(tǒng)包括網(wǎng)絡(luò)信道，用于傳送包括至少第一和第二視頻部分的視頻圖像，其中，所述第一視頻部分的分辨率高于所述第二視頻部分的分辨率；視頻傳輸系統(tǒng)，用于處理接收自圖像捕獲設(shè)備的視頻圖像，并且通過將所述網(wǎng)絡(luò)信道帶寬的較大部分分配給所述第一視頻部分、以及將較小帶寬部分分配給所述第二視頻部分而將所述已處理的視頻圖像在所述網(wǎng)絡(luò)信道上傳輸；視頻接收系統(tǒng)，其用于接收來自所述視頻傳輸系統(tǒng)的視頻圖像，重構(gòu)所述視頻圖像，以及無縫地組合不同分辨率的所述第一和第二視頻部分，以在顯示設(shè)備上形成輸出視頻圖像；以及控制單元，用于將一個或更多視頻控制參數(shù)發(fā)送到所述視頻傳輸系統(tǒng)以控制所述視頻圖像的捕獲和處理。
2. 根據(jù)權(quán)利要求l所述的視頻處理系統(tǒng)，其中，所述網(wǎng)^ft道、所述 視頻傳輸系統(tǒng)、所述視頻接收系統(tǒng)以及所述控制單元包括可以被動態(tài)重配 置以改變所述視頻處理系統(tǒng)的功能的部件.
3. 根據(jù)權(quán)利要求l所述的系統(tǒng)，進一步包括附加網(wǎng)絡(luò)信道，用于將所 述視頻控制參數(shù)從所述控制單元發(fā)送到所述視頻傳輸系統(tǒng)。
4. 根據(jù)權(quán)利要求l所述的系統(tǒng)，其中，所述視頻控制參數(shù)包括用于控 制視頻圖像的捕獲的視頻捕獲參數(shù)和用于控制所述視頻傳輸系統(tǒng)對視頻圖 像的處理的視頻處理參數(shù)，
5. 根據(jù)權(quán)利要求l所述的系統(tǒng)，其中，所述視頻控制參數(shù)通過軟件應(yīng) 用、硬件設(shè)備或用戶來獲得.
6. 根據(jù)權(quán)利要求l所述的系統(tǒng)，其中，所述視頻控制參數(shù)包括預(yù)定視 頻參數(shù)或用戶定義視頻參數(shù)。
7. 根據(jù)權(quán)利要求l所述的系統(tǒng)，其中，所述視頻控制參數(shù)指定所述第一和第二視頻部分的各自的大小和位置，其中，所述第一和第二視頻部分 是感興趣區(qū)域，并且所述視頻部分的大小和位置由用戶指定。
8. 根據(jù)權(quán)利要求l所述的系統(tǒng)，其中，所述視頻傳輸系統(tǒng)控制所述網(wǎng) 絡(luò)信道的帶寬分配以及所述視頻圖像的圖像質(zhì)量。
9. 根據(jù)權(quán)利要求l所述的系統(tǒng)，其中，所述視頻傳輸系統(tǒng)實施對所述 視頻圖像的空間釆樣、時間采樣和位深度處理。
10. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述視頻傳輸系統(tǒng)實施對所 述視頻圖像的壓縮，以及所述視頻接收系統(tǒng)實施對所述視頻圖像的解壓縮，
11. 根據(jù)權(quán)利要求10所述的視頻處理系統(tǒng)，進一步包括可以被動態(tài)重 配置以改變系統(tǒng)功能的部件模塊。
12. —種數(shù)字、模塊化視頻數(shù)據(jù)處理系統(tǒng)，用于在網(wǎng)絡(luò)上對視頻圖像 數(shù)據(jù)的捕獲、傳輸、接收和重構(gòu)，所述系統(tǒng)包括用于采樣和打包獲得自圖像捕獲設(shè)備的視頻圖像的輸入圖像處理模塊；用于在傳輸之前壓縮接收自所述輸入圖像處理模塊的視頻圖像的第一 圖像處理模塊；用于轉(zhuǎn)換所述視頻圖像的數(shù)據(jù)以匹配一個或更多網(wǎng)絡(luò)協(xié)議的網(wǎng)絡(luò)傳輸 模塊和網(wǎng)^^收模塊，以及用于耦合所述網(wǎng)絡(luò)傳輸模塊的第一通信信道， 其中，所述網(wǎng)^"輸模塊被耦合到所述第一圖像處理模塊和所述網(wǎng)絡(luò)接收 模塊；用于解壓縮接收自所述網(wǎng)^收模塊的已壓縮視頻圖像的第二圖像處理模塊；用于處理、拆包和重構(gòu)所述視頻圖像數(shù)據(jù)的輸出圖像處理模塊；以及 耦合在所述網(wǎng)絡(luò)接收和傳輸模塊之間的第二通信信道，用于通過用戶 或軟件指令選擇性控制所述視頻圖像中的一個或更多感興趣區(qū)域，以及用 于傳送用于所述視頻圖像的傳輸和顯示的用戶定義圖像捕獲和視頻處理參 數(shù)。
13. 根據(jù)權(quán)利要求12所述的視頻處理系統(tǒng)，進一步包括可以被動態(tài)重配置以改變系統(tǒng)功能的部件模塊。
14. 根據(jù)權(quán)利要求12所述的視頻處理系統(tǒng)，進一步包括多個數(shù)字數(shù)據(jù) 通信信道，所述信道用于將一個或更多附加圖像處理模塊耦合到所述第一 和第二圖像處理模塊，以用于圖像處理的模塊化縮放和提供對所述視頻圖 像的各部分的并行處理。
15. 根據(jù)權(quán)利要求12所述的視頻處理系統(tǒng)，其中，所述輸入圖像處理 模塊接收和處理數(shù)字視頻輸入信號、高清晰度串行數(shù)字接口信號、IEEE 1394信號和Camera Link視頻照相機信號中的至少一個。
16. 根據(jù)權(quán)利要求12所述的視頻處理系統(tǒng)，其中，所述輸出模塊圖像 處理生成數(shù)字視頻輸入信號、高清晰度串行數(shù)字接口信號、IEEE 1394信 號和Camera Link視頻照相機信號中的至少一個。
17. 根據(jù)權(quán)利要求12所述的視頻處理系統(tǒng)，其中，所述第一圖像處理 模塊實施對所述視頻圖像的空間采樣、時間采樣、位深度處理和壓縮中的 至少一個。
18. 根據(jù)權(quán)利要求12所述的視頻處理系統(tǒng)，其中，所述笫一圖像處理 模塊控制對于所述第一通信信道的帶寬分配以及所處理的視頻圖像的圖像 質(zhì)量。
19. 根據(jù)權(quán)利要求12所述的視頻處理系統(tǒng)，其中，所述第一圖像處理 模塊通過將所述第 一通信信道的帶寬的較大部分分配給所述感興趣區(qū)域來 以比所述視頻圖像中的背景區(qū)域更高的分辨率傳輸所述視頻圖像中的感興 趣區(qū)域中的至少一個.
20. 根據(jù)權(quán)利要求12所述的視頻處理系統(tǒng)，其中，所述視頻圖像中的 感興趣區(qū)域的大小和位置由用戶指定.
21. —種用于傳送視頻圖像以創(chuàng)建有凹顯示的方法，所述方法包括以 下步驟處理使用圖像捕獲設(shè)備捕獲的一個或更多視頻圖像； 在網(wǎng)絡(luò)信道上以高于所述視頻圖像的第二區(qū)域的分辨率傳輸所述視頻 圖像的至少一個第一區(qū)域；重構(gòu)接收自所述網(wǎng)絡(luò)信道的視頻圖像，以便創(chuàng)建以高于所述第二區(qū)域的分辨率示出所述第一區(qū)域的無縫輸出圖像；以及通過外部控制信號輸入控制所述感興趣區(qū)域的大小和位置。
22. 根據(jù)權(quán)利要求21所述的方法，進一步包括動態(tài)重配置所述^L頻圖 像的捕獲、處理和傳輸，
23. 根據(jù)權(quán)利要求21所述的方法，進一步包括在顯示設(shè)備上顯示所述 輸出圖像。
24. 才艮據(jù)權(quán)利要求21所述的方法，其中，用于控制感興趣區(qū)域的大小 和位置的所述外部控制信號由軟件應(yīng)用、硬件設(shè)備和用戶中的至少一個提 供。
25. 根據(jù)權(quán)利要求21所述的方法，進一步包括 當(dāng)在所述網(wǎng)絡(luò)信道上進行傳輸之前壓縮所述視頻圖像；以及 解壓縮接收自在所述網(wǎng)絡(luò)信道上的傳輸?shù)囊曨l圖像。
26. 根據(jù)權(quán)利要求21的所述方法，進一步包括控制所述網(wǎng)絡(luò)信道的帶 寬在所述視頻圖像的所述第 一和第二區(qū)域之間的分配.
全文摘要
一種視頻處理系統(tǒng)(26)被提供，用于生成具有不同分辨率的部分的有凹視頻顯示。所述系統(tǒng)(26)使用網(wǎng)絡(luò)信道(46)來傳送具有不同分辨率的視頻部分的視頻圖像，并且包括用于處理和在所述網(wǎng)絡(luò)信道(46)上傳輸所接收的視頻圖像的視頻傳輸系統(tǒng)(32、36、42)。所述系統(tǒng)將所述視頻信道的帶寬的較大部分分配給具有較高分辨率的視頻部分。另外，所述系統(tǒng)(26)包括視頻接收系統(tǒng)(48、52、58)，用于接收和無縫組合不同分辨率的第一和第二視頻部分，以便在控制系統(tǒng)(60)的顯示設(shè)備上形成輸出視頻圖像。所述控制系統(tǒng)(60)可以被操作以生成一個或更多視頻傳輸控制參數(shù)，所述視頻傳輸控制參數(shù)被經(jīng)由模塊(58)輸入到所述系統(tǒng)(26)，并且被發(fā)送到所述視頻傳輸系統(tǒng)模塊(32、36、42)中的一個或更多，以便控制所述視頻圖像的捕獲、傳輸和處理。
文檔編號G06K9/36GK101632090SQ200680004114
公開日2010年1月20日 申請日期2006年1月24日 優(yōu)先權(quán)日2005年2月8日
發(fā)明者A·P·蘭澤塔, K·C·霍, K·施洛伊彭, M·P·馬斯特羅, P·F·格瑞爾, R·I·考夫曼, R·里奇韋, S·E·米爾曼, S·T·伯曼, S·賴特 申請人:國際商業(yè)機器公司