用于生成合并的數(shù)字視頻序列的方法、設(shè)備和系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及視頻處理設(shè)備，包括：存儲器，存儲描繪同一場景的第一和第二數(shù)字視頻序列，第一數(shù)字視頻序列的像素密度比第二數(shù)字視頻序列高，使用視頻壓縮算法對至少第一數(shù)字視頻序列編碼；縮放器，縮放第二數(shù)字視頻序列以獲得像素密度與第一視頻序列相同的第二數(shù)字視頻序列的放大版本；解碼器，對第一數(shù)字視頻序列的幀解碼；忽略塊識別器，在對第一數(shù)字視頻序列的經(jīng)編碼的幀解碼時(shí)，在第一數(shù)字視頻序列的幀中識別至少一個(gè)忽略塊的位置和至少一個(gè)非忽略塊的位置；塊提取器，基于識別出的至少一個(gè)忽略塊和非忽略塊的位置，分別從第二和第一數(shù)字視頻序列的幀提取對應(yīng)的像素塊；及合并單元，將所提取的像素塊合并，從而生成合并的視頻序列的幀。
【專利說明】用于生成合并的數(shù)字視頻序列的方法、設(shè)備和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于生成合并的數(shù)字視頻序列的幀的方法、視頻處理設(shè)備和系統(tǒng)。

【背景技術(shù)】
[0002]現(xiàn)今，監(jiān)控設(shè)備，尤其是視頻記錄設(shè)備被廣泛用于監(jiān)控不同的處所，例如房屋、路段、地鐵站或生產(chǎn)工廠。通過記錄監(jiān)控視頻序列，有關(guān)事件(例如犯罪、事故或生產(chǎn)故障)的信息可以通過回放監(jiān)控視頻序列來再現(xiàn)(recapitulate)。一種類型的視頻記錄設(shè)備是被布置為捕捉數(shù)字視頻序列并通過網(wǎng)絡(luò)(例如互聯(lián)網(wǎng))發(fā)送數(shù)字視頻序列的數(shù)字監(jiān)控?cái)z像機(jī)。這種數(shù)字監(jiān)控?cái)z像機(jī)通常被設(shè)定為根據(jù)以下內(nèi)容進(jìn)行操作。攝像機(jī)的組件(包括鏡頭和圖像傳感器)捕捉可以被描述為不同波長的光的圖像，并且將其變換成電信號。然后將這些信號從模擬格式轉(zhuǎn)換為數(shù)字格式。此后，在通過網(wǎng)絡(luò)發(fā)送之前對數(shù)字格式信號進(jìn)行數(shù)字圖像處理。
[0003]現(xiàn)今的趨勢是，攝像機(jī)都配備有具備越來越高的圖像分辨率的越來越好的圖像傳感器。這導(dǎo)致通過網(wǎng)絡(luò)發(fā)送的監(jiān)控?cái)?shù)字視頻序列數(shù)據(jù)的量增大。此外，需存儲的監(jiān)控?cái)?shù)字視頻序列數(shù)據(jù)的量也增加。因此,監(jiān)控?cái)?shù)字視頻序列數(shù)據(jù)的比特率增加。為了減少監(jiān)控?cái)?shù)字視頻序列數(shù)據(jù)的比特率，通常使用諸如IS0/MPEG或ITU-H.26X系列的視頻編碼標(biāo)準(zhǔn)等視頻編碼技術(shù)來壓縮監(jiān)控?cái)?shù)字視頻序列數(shù)據(jù)。
[0004]在現(xiàn)代數(shù)字視頻編碼系統(tǒng)中，使用兩種主要模式來壓縮視頻幀序列中的視頻幀:幀內(nèi)模式(INTRA-mode)和幀間模式(INTER-mode)。在幀內(nèi)模式中，通過利用在單個(gè)幀的給定信道中像素的空間冗余，經(jīng)由預(yù)測、變換和熵編碼來對亮度和色度信道進(jìn)行編碼。幀間模式利用單獨(dú)的幀之間的時(shí)間冗余，通過為所選擇的塊對從一個(gè)幀到另一幀的像素的運(yùn)動進(jìn)行編碼，而依靠從一個(gè)(或多個(gè))先前已解碼的幀來預(yù)測幀的一些部分的運(yùn)動補(bǔ)償預(yù)測技術(shù)。在幀間模式中，亮度和色度信道不具有任何運(yùn)動預(yù)測。當(dāng)使用幀間模式進(jìn)行編碼時(shí)，通常使用運(yùn)動檢測算法來檢測兩個(gè)幀之間的運(yùn)動。
[0005]在US8208555中公開了一種用于與僅使用編碼相比進(jìn)一步減少視頻數(shù)據(jù)的比特率的方法。圖像捕捉模塊被用于捕捉待顯示區(qū)域的場景并輸出圖像數(shù)據(jù)。圖像處理器根據(jù)第一和第二切割區(qū)以及第一和第二收縮率值來轉(zhuǎn)換圖像數(shù)據(jù)，并輸出第一和第二子圖像。第一切割區(qū)包括第二切割區(qū)，并且第一收縮率值大于第二收縮率值。圖像編碼器根據(jù)第一和第二編碼信息對第一和第二子圖像進(jìn)行編碼，并輸出第一和第二數(shù)字視頻序列。網(wǎng)絡(luò)傳輸模塊被用于將第一和第二數(shù)字視頻序列傳輸?shù)浇邮掌?。在接收器處，兩個(gè)數(shù)字視頻序列被解碼并被重構(gòu)為原始圖像數(shù)據(jù)。
[0006]根據(jù)US8208555的方法在以兩個(gè)圖像流的形式從發(fā)送設(shè)備到接收器傳輸圖像數(shù)據(jù)的過程中和存儲圖像數(shù)據(jù)的過程中均提供了減少的圖像數(shù)據(jù)的比特率。然而，這種減少比特率的方法的缺點(diǎn)是，為了回放所捕捉的場景，與僅對單個(gè)經(jīng)編碼的數(shù)字視頻序列進(jìn)行解碼相比，需要相對較大的處理能力以對兩個(gè)數(shù)字視頻序列進(jìn)行解碼并由解碼后的兩個(gè)數(shù)字視頻序列重構(gòu)圖像數(shù)據(jù)。
[0007]因此，鑒于上述情況，需要一種方法來減少監(jiān)控?cái)?shù)字視頻序列數(shù)據(jù)的比特率，而不需要使用相對較大的處理能力來回放所存儲的視頻數(shù)據(jù)。


【發(fā)明內(nèi)容】

[0008]鑒于上述情況，本發(fā)明的一個(gè)目的是能夠減少數(shù)字視頻序列的比特率，并且同時(shí)提供對視頻記錄中的編碼可靠性的檢查。
[0009]特別地，根據(jù)本發(fā)明的第一方案，提供了一種用于生成合并的數(shù)字視頻序列的幀的方法。所述方法包括以下步驟:提供第一數(shù)字視頻序列的幀和第二數(shù)字視頻序列的幀，第一和第二數(shù)字視頻序列的幀描繪同一場景，第一數(shù)字視頻序列的幀具有比第二數(shù)字視頻序列更高的像素密度，其中使用視頻壓縮算法對至少第一數(shù)字視頻序列的幀進(jìn)行編碼；使用縮放器對第二數(shù)字視頻序列的幀進(jìn)行縮放，從而獲得具有與第一視頻序列的幀相同的像素密度的第二數(shù)字視頻序列的經(jīng)放大的幀；在使用解碼器對第一數(shù)字視頻序列的經(jīng)編碼的幀進(jìn)行解碼的同時(shí)，使用忽略塊識別器在第一數(shù)字視頻序列的幀中識別至少一個(gè)忽略塊的位置和至少一個(gè)非忽略塊的位置；使用塊提取器并基于在第一數(shù)字視頻序列的幀中識別出的至少一個(gè)忽略塊的位置，從第二數(shù)字視頻序列的幀中提取至少一個(gè)對應(yīng)的像素塊；使用塊提取器并基于在第一數(shù)字視頻序列的幀中識別出的至少一個(gè)非忽略塊的位置，從第一數(shù)字視頻序列的幀中提取至少一個(gè)對應(yīng)的像素塊；以及使用合并單元將從第二數(shù)字視頻序列的幀中提取的像素塊和從第一數(shù)字視頻序列的幀中提取的像素塊合并，從而生成合并的視頻序列的幀。
[0010]詞語“同一場景”應(yīng)被理解為第一數(shù)據(jù)流中的場景和第二數(shù)據(jù)流中的場景相同。然而，第一和第二數(shù)據(jù)流之間的幀速率可以不同。因此，第一和第二數(shù)字視頻序列在空間上和時(shí)間上相似。
[0011]詞語“幀”應(yīng)被解釋為構(gòu)成完整的視頻序列的許多靜止(或幾乎靜止)的圖像之
O
[0012]詞語“像素”應(yīng)被解釋為數(shù)字圖像中的最小可尋址單元。
[0013]詞語“像素密度”應(yīng)被解釋為描繪特定場景的圖像的像素的數(shù)目。
[0014]詞語“塊”應(yīng)被解釋為一組像素。通常，塊大小為4X4、8X8或16X16像素。然而，對于本發(fā)明也可以使用其它塊大小。
[0015]詞語“忽略塊”應(yīng)被解釋為在不發(fā)送殘差或運(yùn)動矢量的情況下被編碼的塊。編碼器將僅記錄其為忽略塊。解碼器將從已解碼的其它塊推導(dǎo)出忽略塊的運(yùn)動矢量。
[0016]在合并的數(shù)字視頻序列中，因?yàn)榈谝粩?shù)字視頻序列的忽略塊被替換為來自第二數(shù)字視頻序列的圖像信息，所以可確保不會遺漏相關(guān)的信息。此外，同時(shí)，在合并的數(shù)字視頻序列中為被認(rèn)為相關(guān)的場景的區(qū)域保持高水平的細(xì)節(jié)。這是因?yàn)閺木哂懈咚降募?xì)節(jié)的第一數(shù)字視頻序列取出了被認(rèn)為相關(guān)的場景的區(qū)域(由于其高分辨率)。通常，被認(rèn)為相關(guān)的場景的區(qū)域是包含運(yùn)動、特定類型的物體(例如臉、汽車等)、或被認(rèn)為對圖像的終端瀏覽者相關(guān)的其它信息的區(qū)域。此外，合并的數(shù)字視頻序列具有相對較低的比特率。
[0017]該方法還可以包括使用濾波器對第二數(shù)字視頻序列的經(jīng)縮放的幀進(jìn)行濾波。通過對第二數(shù)字視頻序列的經(jīng)縮放的幀進(jìn)行濾波，可減少和/或平滑由于縮放導(dǎo)致的邊緣，有助于生成看起來更好的合并的數(shù)字視頻序列的幀。
[0018]可以使用視頻壓縮算法對第二數(shù)字視頻序列的幀進(jìn)行編碼，其中所述方法還包括使用解碼器對所述第二數(shù)字視頻序列的幀進(jìn)行解碼。通過對第二數(shù)字視頻序列進(jìn)行解碼，可以減少第二數(shù)字視頻序列的比特率。
[0019]第一數(shù)字視頻序列的幀可以是幀間幀。
[0020]視頻壓縮算法可以是ITU-H.26X、ISO-MPEG, WMV、0n2或WebM兼容的。
[0021]所述方法還可以包括在存儲器中存儲合并的視頻序列的幀。通過將合并的視頻序列存儲在存儲器中，合并的數(shù)字視頻序列可以供以后用于分析、查看等。
[0022]所述方法還可以包括回放合并的視頻序列的幀。
[0023]根據(jù)本發(fā)明的第二方案，提供了一種計(jì)算機(jī)可讀記錄介質(zhì)，具有記錄在其上的程序，所述程序用于在具有處理能力的設(shè)備上被執(zhí)行時(shí)實(shí)現(xiàn)上述方法。
[0024]當(dāng)適用時(shí)，上面提到的特征也適用于此第二方案。為了避免不必要的重復(fù)，可參照上述內(nèi)容。
[0025]根據(jù)本發(fā)明的第三方案，提供了一種視頻處理設(shè)備，被布置為執(zhí)行記錄在上述計(jì)算機(jī)可讀記錄介質(zhì)上的程序。
[0026]根據(jù)本發(fā)明的第四方案，提供一種用于生成合并的數(shù)字視頻序列的視頻處理設(shè)備。所述視頻處理設(shè)備包括:存儲器，被布置為存儲描繪同一場景的第一和第二數(shù)字視頻序列，第一數(shù)字視頻序列的幀具有比第二數(shù)字視頻序列更高的像素密度，其中使用視頻壓縮算法對至少第一數(shù)字視頻序列的幀編碼；縮放器，被布置為對第二數(shù)字視頻序列的幀進(jìn)行縮放，從而獲得具有與第一視頻序列相同的像素密度的第二數(shù)字視頻序列的放大版本；解碼器，被布置為對第一數(shù)字視頻序列的幀進(jìn)行解碼；忽略塊識別器，被布置為在使用解碼器對第一數(shù)字視頻序列的經(jīng)編碼的幀進(jìn)行解碼的同時(shí)，在第一數(shù)字視頻序列的幀中識別至少一個(gè)忽略塊的位置和至少一個(gè)非忽略塊的位置；塊提取器，被布置為基于在第一數(shù)字視頻序列的幀中識別出的至少一個(gè)忽略塊的位置，從第二數(shù)字視頻序列的幀中提取至少一個(gè)對應(yīng)的像素塊，并且基于在第一數(shù)字視頻序列的幀中識別出的至少一個(gè)非忽略塊的位置，從第一數(shù)字視頻序列的幀中提取至少一個(gè)對應(yīng)的像素塊；以及合并單元，被布置為將從第二數(shù)字視頻序列的幀中提取的像素塊和從第一數(shù)字視頻序列的幀中提取的像素塊合并，從而生成合并的視頻序列的幀。
[0027]當(dāng)適用時(shí)，上面提到的特征也適用于此第四方案。為了避免不必要的重復(fù)，可參照上述內(nèi)容。
[0028]此外，所述視頻處理設(shè)備還可包括:分析單元，被布置為分析第一數(shù)字視頻序列的幀，以識別被認(rèn)為相關(guān)的像素塊。
[0029]所述視頻處理設(shè)備還可以包括:掩碼生成器，被布置為輸出掩碼，所述掩碼指示第一數(shù)字視頻序列的幀中相關(guān)的像素塊。
[0030]所述視頻處理設(shè)備還可以包括:編碼單元，被布置為使用指示相關(guān)的像素塊的掩碼，將第一數(shù)字視頻序列的幀編碼成第一視頻序列的編碼版本中的幀，其中使用忽略塊對由于不相關(guān)而屏蔽掉的像素塊進(jìn)行編碼。
[0031]所述視頻處理設(shè)備還可以包括:圖像傳感器，被布置為捕捉場景的視頻序列；以及圖像處理器，被布置為通過圖像傳感器將所述場景的視頻序列處理為描繪同一場景的第一和第二數(shù)字視頻序列。
[0032]根據(jù)本發(fā)明的第五方案，提供了一種用于生成合并的數(shù)字視頻序列的幀的系統(tǒng)。所述系統(tǒng)包括:數(shù)字網(wǎng)絡(luò)攝像機(jī)，其包括:圖像傳感器，被布置為捕捉場景的視頻序列；圖像處理器，被布置為通過圖像傳感器將所述場景的視頻序列處理為描繪同一場景的第一和第二數(shù)字視頻序列，第一數(shù)字視頻序列具有比第二數(shù)字視頻序列更高的像素密度；分析單元，被布置為分析第一數(shù)字視頻序列的幀，以識別被認(rèn)為相關(guān)的像素塊；掩碼生成器，被配置為輸出掩碼，所述掩碼指示第一數(shù)字視頻序列的幀中相關(guān)的像素塊；編碼單元，被布置為使用指示相關(guān)的像素塊的掩碼，將第一數(shù)字視頻序列的幀編碼成第一視頻序列的編碼版本中的幀，其中使用忽略塊對由于不相關(guān)而屏蔽掉的像素塊進(jìn)行編碼；以及以太網(wǎng)接口，被布置為通過數(shù)字網(wǎng)絡(luò)傳輸?shù)诙?shù)字視頻序列和經(jīng)編碼的第一數(shù)字視頻序列；以及視頻處理設(shè)備，其包括:以太網(wǎng)接口，被布置為從數(shù)字網(wǎng)絡(luò)接收第二數(shù)字視頻序列和經(jīng)編碼的第一數(shù)字視頻序列；縮放器，被布置為對第二數(shù)字視頻序列的幀進(jìn)行縮放，從而獲得具有與第一視頻序列相同的像素密度的第二數(shù)字視頻序列的放大版本；解碼器，被布置為對第一數(shù)字視頻序列的幀進(jìn)行解碼；忽略塊識別器，被布置為在使用解碼器對第一數(shù)字視頻序列的經(jīng)編碼的幀進(jìn)行解碼的同時(shí)，在第一數(shù)字視頻序列的幀中識別至少一個(gè)忽略塊的位置和至少一個(gè)非忽略塊的位置；塊提取器，被布置為基于在第一數(shù)字視頻序列的幀中識別出的至少一個(gè)忽略塊的位置，從第二數(shù)字視頻序列的幀中提取至少一個(gè)對應(yīng)的像素塊，并且基于在第一數(shù)字視頻序列的幀中識別出的至少一個(gè)非忽略塊的位置，從第一數(shù)字視頻序列的幀中提取至少一個(gè)對應(yīng)的像素塊；以及合并單元，被布置為將從第二數(shù)字視頻序列的幀中提取的像素塊和從第一數(shù)字視頻序列的幀中提取的像素塊合并，從而生成合并的視頻序列的幀。
[0033]當(dāng)適用時(shí)，上面提到的特征也適用于此第五方案。為了避免不必要的重復(fù)，可參照上述內(nèi)容。
[0034]應(yīng)指出的是，本發(fā)明涉及記載在權(quán)利要求書中的特征的所有可能的組合。

【專利附圖】

【附圖說明】
[0035]現(xiàn)在將參照示出本發(fā)明的實(shí)施例的附圖，更詳細(xì)地描述本發(fā)明的這些和其它方案。附圖不應(yīng)被認(rèn)為將本發(fā)明限制于具體實(shí)施例；相反，它們被用于說明和理解本發(fā)明。
[0036]圖1是被布置為提供描繪同一場景的第一和第二數(shù)字視頻序列的數(shù)字網(wǎng)絡(luò)攝像機(jī)的示意圖。
[0037]圖2是根據(jù)本發(fā)明，被布置為將由圖1所示的攝像機(jī)捕捉到的第一和第二數(shù)字視頻序列合并成合并的數(shù)字視頻序列的客戶端的示意圖。
[0038]圖3是根據(jù)本發(fā)明，被布置為提供描繪同一場景的第一和第二數(shù)字視頻序列并將它們合并成合并的數(shù)字視頻序列的數(shù)字網(wǎng)絡(luò)攝像機(jī)的示意圖。
[0039]圖4是根據(jù)本發(fā)明，被布置為提供描繪同一場景的第一和第二數(shù)字視頻序列并將它們合并成合并的數(shù)字視頻序列的視頻編碼器設(shè)備的示意圖。
[0040]圖5是根據(jù)本發(fā)明用于生成合并的數(shù)字視頻序列的系統(tǒng)的示意圖。
[0041]圖6是根據(jù)本發(fā)明用于生成合并的數(shù)字視頻序列的替代系統(tǒng)的示意圖。
[0042]圖7是根據(jù)本發(fā)明用于生成合并的數(shù)字視頻序列的方法的實(shí)施例的框圖。

【具體實(shí)施方式】
[0043]在下面的描述中，為了說明的目的，列舉特定的術(shù)語以提供對本發(fā)明的充分理解。然而，對本領(lǐng)域技術(shù)人員顯而易見的，這些特定的細(xì)節(jié)不是實(shí)踐本發(fā)明所必需的。例如，已參照IS0/MPEG系列(MPEG-1，MPEG-2, MPEG-4)的視頻編碼標(biāo)準(zhǔn)和ITU-H.26X系列(H.261,H.263及擴(kuò)展，H.264和HEVC，即將推出的h.265標(biāo)準(zhǔn))的視頻建議描述本發(fā)明。然而，相同的技術(shù)可以很容易地應(yīng)用于其它類型的視頻編碼標(biāo)準(zhǔn)，例如屬于WMV系列的微軟(Microsoft)編解碼器、0n2 編解碼器(例如 VP6，VP6-E，VP6-S，VP7 和 VP8)或 WebM。
[0044]通常，待編碼的幀被分割成被單獨(dú)壓縮和編碼的最小編碼單元(塊，宏塊等)。在幀間模式中，每個(gè)塊被分配一個(gè)或多個(gè)運(yùn)動矢量。通過根據(jù)一組運(yùn)動矢量移位來自過去和/或未來的(多個(gè))幀來構(gòu)建幀的預(yù)測。最后，通過變換編碼，以與幀內(nèi)模式類似的方式對待編碼的幀及其運(yùn)動補(bǔ)償預(yù)測之間的差(被稱為殘留信號)進(jìn)行熵編碼。
[0045]此外，在幀間模式中，可以使用忽略塊(skip block)。對忽略塊進(jìn)行編碼，且不發(fā)送殘差或運(yùn)動矢量。編碼器僅記錄其為忽略塊。解碼器將從已解碼的其它塊推導(dǎo)忽略塊的圖像信息。根據(jù)本發(fā)明，優(yōu)選地，從數(shù)字視頻數(shù)據(jù)的相同幀的塊或前一幀的塊推導(dǎo)忽略塊的圖像信息。
[0046]根據(jù)幀內(nèi)模式編碼的視頻幀不參照任何過去幀或未來幀，被稱為1-幀。根據(jù)幀間模式編碼的視頻幀本身是參照作為幀內(nèi)幀(INTRA-frame)或幀間幀(INTER-frame)的過去幀或未來幀進(jìn)行編碼的單向預(yù)測幀(被稱為P-幀)，或是參照兩個(gè)或更多個(gè)過去參照幀或未來參照幀進(jìn)行編碼的雙向預(yù)測幀(被稱為B-幀)。P-幀和B-幀均可以包括對不在早期幀中的新數(shù)據(jù)進(jìn)行編碼的1-塊，但它們通常很罕見。
[0047]幀內(nèi)幀包括:場景變化幀，放置在對應(yīng)于場景變化的新幀群的開始處，其中沒有可用的時(shí)間冗余；或刷新幀，放置在有一些可用的時(shí)間冗余的其它位置處。通常以規(guī)則或不規(guī)則的間隔插入1-幀，以使新流編碼器具有刷新點(diǎn)，或作為傳輸錯誤的恢復(fù)點(diǎn)。
[0048]現(xiàn)在將參照附圖在下文中更充分地描述本發(fā)明，其中示出本發(fā)明的當(dāng)前優(yōu)選實(shí)施例。然而，本發(fā)明可以以許多不同的形式實(shí)施，并且不應(yīng)被解釋為限于本文所列舉的實(shí)施例；相反，為充分性和完整性起見提供這些實(shí)施例，并且這些實(shí)施例向本領(lǐng)域技術(shù)人員全面地傳達(dá)了本發(fā)明的范圍。
[0049]本發(fā)明解決了減少由諸如網(wǎng)絡(luò)數(shù)字視頻攝像機(jī)等監(jiān)控設(shè)備捕捉的監(jiān)控視頻數(shù)據(jù)的比特率的問題，并同時(shí)提供對視頻記錄中的編碼的可靠性的檢查。這通過將描繪同一場景的第一和第二數(shù)字視頻序列合并成合并的數(shù)字視頻序列來實(shí)現(xiàn)，下面將更詳細(xì)地討論。
[0050]圖1示出被布置為提供描繪同一場景的第一和第二數(shù)字視頻序列的數(shù)字網(wǎng)絡(luò)攝像機(jī)110。數(shù)字網(wǎng)絡(luò)攝像機(jī)110被布置為捕捉和處理(并且還可能存儲)視頻數(shù)據(jù)。數(shù)字網(wǎng)絡(luò)攝像機(jī)I1包括殼體112、鏡頭114、圖像傳感器116、圖像處理單元118、包括掩碼生成器121的分析單元120、編碼單元122、存儲器124、CPU126和以太網(wǎng)接口 128。圖像處理單元118、分析單元120和/或編碼單元122中的任何一個(gè)可以被實(shí)施為硬件和/或軟件。
[0051]數(shù)字網(wǎng)絡(luò)攝像機(jī)110被布置為經(jīng)由以太網(wǎng)接口 128連接到諸如互聯(lián)網(wǎng)或局域網(wǎng)(LAN)等數(shù)字網(wǎng)絡(luò)。到數(shù)字網(wǎng)絡(luò)的連接可以是有線的或無線的。因此，以太網(wǎng)接口 128可以是適用于lO/lOO/lOOOMbps數(shù)據(jù)流量的網(wǎng)絡(luò)端口，如以太網(wǎng)端口、被布置為接收模塊化連接器(例如RJ45連接器)的模塊化端口。通常，這樣的RJ45連接器端口被布置為容置網(wǎng)絡(luò)電纜，如雙絞線電纜(例如，cat5，cat5e或cat6)?？商娲?，網(wǎng)絡(luò)端口的I/O器件可以是使用移動互聯(lián)網(wǎng)通訊標(biāo)準(zhǔn)(即1G, 2G, 2.5G, 2.75G, 3G, 3.5G, 3.75G, 3.9G, 4G)或使用WiFi的無線I/O器件。
[0052]數(shù)字網(wǎng)絡(luò)攝像機(jī)110的攝像機(jī)組件(即鏡頭114和圖像傳感器116)被布置為捕捉原始圖像，其中每個(gè)原始圖像可以被描述為不同波長的光，且每個(gè)原始圖像來自不同的物體和物體的部分。然后，將這些原始圖像從模擬格式轉(zhuǎn)換成數(shù)字格式，并傳送到圖像處理單元118中。
[0053]圖像處理單元118被布置為將相同的原始圖像處理為至少兩個(gè)數(shù)字視頻序列。
[0054]可替代地，攝像機(jī)可以包括兩組單獨(dú)的鏡頭和圖像傳感器(未示出)，其中每組被布置為生成監(jiān)控同一場景的單獨(dú)的原始圖像。由圖像處理單元將單獨(dú)的原始圖像進(jìn)一步處理成至少兩個(gè)數(shù)字視頻序列。
[0055]根據(jù)另一替代方案，攝像機(jī)可以包括一個(gè)鏡頭、分束器和兩個(gè)圖像傳感器(未示出)，其中分束器被布置為在兩個(gè)不同的圖像傳感器上對同一場景單獨(dú)成像，生成單獨(dú)的原始圖像。由圖像處理單元將單獨(dú)的原始圖像進(jìn)一步處理成至少兩個(gè)數(shù)字視頻序列。
[0056]根據(jù)又一替代方案，攝像機(jī)包括兩個(gè)圖像處理單元(未示出)。第一圖像處理單元被布置為提供第一數(shù)字視頻序列，并且第二圖像處理單元被布置為提供第二數(shù)字視頻序列。
[0057]因此，圖像處理單元118被布置為提供描繪同一場景的第一和第二數(shù)字視頻序列，即，第一和第二數(shù)字視頻序列在空間上和時(shí)間上相似(similar)。第一和第二視頻序列可以具有不同的巾貞率。使用時(shí)間戮或巾貞編號來同步具有不同巾貞率的兩個(gè)視頻序列。例如，一個(gè)視頻序列中的幀是另一個(gè)視頻序列的幀率的分?jǐn)?shù)(fract1n)，例如具有1:2的比例。并行記錄第二數(shù)字視頻序列與第一數(shù)字視頻序列。圖像處理單元118被布置為將第一數(shù)字視頻序列生成為具有比第二數(shù)字視頻序列更高的像素密度。因此，第二數(shù)字視頻序列的比特率比第一數(shù)字視頻序列的比特率低得多。根據(jù)本發(fā)明的一個(gè)實(shí)施例，圖像處理單元118被布置為提供具有與圖像傳感器116大致相同的像素密度的第一數(shù)字視頻序列以及像素密度為圖像傳感器116的像素密度的分?jǐn)?shù)的第二數(shù)字視頻序列。例如，第二數(shù)字視頻序列的像素密度可以在每個(gè)方向上被劃分為四份。換句話說，圖像傳感器116被布置為捕捉原始圖像，并且圖像處理單元118被布置為處理原始圖像以獲得兩個(gè)對應(yīng)的圖像序列；具有第一像素密度的第一圖像序列和具有第二像素密度的第二圖像序列，第一數(shù)字視頻序列具有比第二數(shù)字視頻序列更高的像素密度。
[0058]分析單元120被布置為分析第一數(shù)字視頻序列的幀，以識別被認(rèn)為相關(guān)的像素塊。通常，被認(rèn)為相關(guān)的像素塊是包含運(yùn)動、特定類型物體(例如臉、汽車等)、或被認(rèn)為對于圖像的終端瀏覽者相關(guān)的其它信息的像素塊。分析單元120還包括掩碼生成器121，掩碼生成器121被布置為輸出指示相關(guān)的像素塊的掩碼(mask)，例如二進(jìn)制掩碼。應(yīng)當(dāng)指出的是，對于第一數(shù)字視頻序列的不同圖像，掩碼可以不同。在不同的實(shí)施例中，分析單元還可以使用來自第二數(shù)字視頻序列的信息，使用基于金字塔的算法來分析圖像，該算法使用低分辨率版本來加快分析算法。
[0059]編碼單元122被布置為使用諸如IS0/MPEG或ITU_H.26X系列的視頻編碼標(biāo)準(zhǔn)等視頻編碼技術(shù)對數(shù)字視頻序列進(jìn)行編碼。
[0060]編碼單元122被布置為使用指示相關(guān)的像素塊的掩碼將第一數(shù)字視頻序列的幀編碼成第一視頻序列的編碼版本中的幀。使用忽略塊對由于不相關(guān)而屏蔽掉的像素塊進(jìn)行編碼。
[0061]為了減少第一數(shù)字視頻序列的比特率，同時(shí)保持高像素密度，比正常編碼期間更頻繁地使用忽略塊。忽略塊被用于避免對不相關(guān)的圖像部分編碼。通常不被認(rèn)為相關(guān)的部分的例子是不包含運(yùn)動的圖像部分和/或?qū)儆诒尘暗膱D像部分，該背景通常是場景的靜態(tài)部分。因此，通過使用不同的濾波器和算法處理初始數(shù)字視頻序列中的圖像來得到第一數(shù)字視頻序列，以找到第一視頻序列中對用戶相關(guān)的進(jìn)而應(yīng)被編碼的部分。不同的濾波器或算法均基于檢測運(yùn)動，但有不同的復(fù)雜度。用戶可以配置在場景中被認(rèn)為相關(guān)的部分。因此，取決于所使用的濾波器或算法和/或由用戶做出的設(shè)定，編碼單元122被布置為以不同的編碼模式被設(shè)定。例如，編碼單元122可以被設(shè)定為使得在第一視頻序列中對臉而不是貓進(jìn)行編碼。因此，由視頻運(yùn)動檢測算法和/或?yàn)V波器控制使用忽略塊。優(yōu)選地，視頻運(yùn)動檢測算法基于時(shí)空視頻分析?？梢允褂玫囊曨l運(yùn)動檢測算法和濾波器的一些例子為:
[0062]基于“變化檢測”的算法。根據(jù)這個(gè)算法，逐個(gè)像素地將圖像與先前圖像比較，以便找到圖像和先前圖像之間的像素變化。
[0063]基于“運(yùn)動檢測”的算法。根據(jù)這個(gè)算法，將圖像與先前圖像比較，從例如光照變化中濾出“真正的”運(yùn)動。這可以例如通過應(yīng)用時(shí)空視頻分析來執(zhí)行；例如，Almbladh在US8, 121，424中描述了用于時(shí)空視頻分析的方法。
[0064]基于“物體運(yùn)動檢測”和“物體分類”的算法。根據(jù)這個(gè)算法，分析檢測到的運(yùn)動以檢測移動的被跟蹤物體，從而檢測出曾運(yùn)動但暫時(shí)靜止的物體。因此，根據(jù)這個(gè)算法，例如，物體可以被分析和分類為，例如“人”、“車輛”、“汽車”、“動物”、“臉”等。為了對物體分類，可以使用V1la和Jones在US7，099，510中描述的方法。
[0065]上述不同的濾波器和算法通常建立在彼此之上以逐步實(shí)現(xiàn)更高程度的復(fù)雜度。
[0066]優(yōu)選地，所使用的視頻運(yùn)動檢測算法被布置為從光線的變化以及由于攝像機(jī)振動引起的全局變化、由于例如熱和搖曳的樹葉、灌木等引起的大氣運(yùn)動中分離出真實(shí)運(yùn)動。然而，通過將視頻運(yùn)動檢測算法設(shè)定為只檢測超過一定水平的運(yùn)動，最有可能的是，具有低于設(shè)定運(yùn)動水平的運(yùn)動的場景內(nèi)的區(qū)域不會被更新，并定格(freeze)在第一數(shù)字視頻序列中。因此，不被識別為具有真實(shí)運(yùn)動區(qū)域的區(qū)域(作為不相關(guān)的區(qū)域的例子)比被識別為具有真實(shí)運(yùn)動區(qū)域的區(qū)域，被以更低的刷新率進(jìn)行更新(頻繁使用忽略塊對這些區(qū)域的塊進(jìn)行編碼)。被識別為具有真實(shí)運(yùn)動區(qū)域的區(qū)域在不使用忽略塊的情況下(因此，以全幀速率和質(zhì)量)被編碼。以一定的間隔插入正常的I幀以利于以后的視頻搜索和/或以更新可用于劃分背景(通常為場景的靜態(tài)部分)中的圖像和描繪場景中運(yùn)動的前景的場景的背景模型。當(dāng)檢測到新的運(yùn)動(例如新的運(yùn)動物體進(jìn)入場景)時(shí)，還可以插入自適應(yīng)的I幀。
[0067]編碼單元122還被布置為將第二數(shù)字視頻序列編碼成第二視頻序列的編碼版本。優(yōu)選地，不使用用于識別相關(guān)區(qū)域的掩碼，即，不使用比正常時(shí)更多的忽略塊，來對第二數(shù)字視頻序列進(jìn)行編碼?？商娲?，分析單元120被布置為分析第二數(shù)字視頻序列的圖像，以識別被認(rèn)為相關(guān)的像素塊并且輸出指示相關(guān)的像素塊的掩碼，例如二進(jìn)制掩碼。然而，如果這樣，則當(dāng)分析第二數(shù)字視頻序列的圖像時(shí)，對于用戶不認(rèn)為是相關(guān)的并且因而用忽略塊進(jìn)行編碼的部分使用相對更高的閾值。例如，如果將物體運(yùn)動檢測和目標(biāo)分類應(yīng)用于第一視頻序列，則可以替代地將基本的變化檢測應(yīng)用到第二數(shù)字視頻序列(而不對全局變化進(jìn)行濾波等)。通過不使用忽略塊或者至少使用比第一視頻序列更高的忽略塊的閾值，在對第二數(shù)字視頻序列進(jìn)行編碼時(shí)，確保不遺漏第二數(shù)字視頻序列中的相關(guān)的區(qū)域?？梢砸耘c第一視頻流不同的質(zhì)量設(shè)定值(量化值)或比特率目標(biāo)對第二流進(jìn)行編碼。
[0068]第一數(shù)字視頻序列的編碼版本和第二數(shù)字視頻序列的編碼版本可以經(jīng)由以太網(wǎng)接口 128通過數(shù)字網(wǎng)絡(luò)直接傳輸?？商娲兀谝粩?shù)字視頻序列的編碼版本和第二數(shù)字視頻序列的編碼版本可以存儲在存儲器124中用于以后經(jīng)由以太網(wǎng)接口 128通過數(shù)字網(wǎng)絡(luò)傳輸?shù)谝缓偷诙?shù)字視頻序列的編碼版本。存儲器124可以是任何類型的易失性或非易失性存儲器。此外，存儲器124可以包括多個(gè)存儲器構(gòu)件。多個(gè)存儲器構(gòu)件中的至少一個(gè)可以用作緩沖存儲器。
[0069]在圖2中，示出被布置為接收和合并第一和第二視頻序列的編碼版本的客戶端210?？蛻舳丝梢岳缡且曨l管理服務(wù)器?？蛻舳?10包括編碼器單元222、存儲器224、CPU226、以太網(wǎng)接口 228、包括忽略塊識別器232的解碼器230、包括濾波器235的縮放器234、像素識別器236、塊提取器237、合并單元238和顯示器接口 240。編碼器單元222、包括忽略塊識別器232的解碼器230、包括濾波器235的縮放器234、像素識別器236、塊提取器237和/或合并單元238中的任何一個(gè)可以被實(shí)施為硬件和/或軟件。
[0070]像素識別器236、塊提取器237和合并單元238可以一同被實(shí)現(xiàn)為多路轉(zhuǎn)換器。在這種情況下，兩個(gè)視頻序列中的圖像的分辨率和掩碼需要相同。通常，掩碼具有比視頻序列更低的分辨率(因?yàn)槠涮幚硐袼貕K)?？s放器可用于縮放視頻序列以及掩碼，從而可以為此使用多路轉(zhuǎn)換器。
[0071]替代方案是將像素識別器236、塊提取器237和合并單元238實(shí)施為單獨(dú)的單元，并且在這種情況下，合并單元238可以被實(shí)施為多路轉(zhuǎn)換器。
[0072]客戶端210的存儲器224可與數(shù)字?jǐn)z像機(jī)110的存儲器124相當(dāng)；因此，為了避免不必要的重復(fù)，可參照上文的描述。
[0073]經(jīng)由以太網(wǎng)接口 228接收描繪同一場景的第一和第二數(shù)字視頻序列的編碼版本?？蛻舳?10的以太網(wǎng)接口 228可與數(shù)字視頻攝像機(jī)110的以太網(wǎng)接口 128相當(dāng)，因此，為了避免過度的重復(fù)，可參照上文的描述。
[0074]解碼器230被布置為對第一和第二數(shù)字視頻序列的編碼版本進(jìn)行解碼。
[0075]在對第一數(shù)字視頻序列的編碼版本的幀進(jìn)行解碼的同時(shí)，忽略塊識別器232被布置為識別第一數(shù)字視頻序列的編碼版本的幀的忽略塊。通過識別第一數(shù)字視頻序列中幀的忽略塊，可以生成在第一數(shù)字視頻序列的幀中識別相關(guān)的區(qū)域的掩碼，例如二進(jìn)制掩碼。相關(guān)的區(qū)域?yàn)椴话雎詨K的區(qū)域。
[0076]縮放器234被布置為放大(upscale)解碼后的第二數(shù)字視頻序列的幀，以便獲得具有與第一視頻序列的幀相同的像素密度的經(jīng)放大的第二數(shù)字視頻序列的幀?？s放器234被布置為放大第二數(shù)字視頻序列的全部幀以適配(fit)于第一視頻序列的幀。通常，通過內(nèi)插已知的像素值來計(jì)算第二數(shù)字視頻序列的幀的新的像素值?？梢杂貌煌膹?fù)雜度來執(zhí)行內(nèi)插，一個(gè)簡單的方法是應(yīng)用線性內(nèi)插。
[0077]濾波器235被布置為對經(jīng)放大的第二數(shù)字視頻序列的幀進(jìn)行濾波以去除放大偽影(artifact)。將濾波器應(yīng)用于整個(gè)經(jīng)放大的圖像。通常，通過應(yīng)用本領(lǐng)域中已知的邊緣檢測、模糊化和銳化算法的混合，使用濾波器以平滑來自放大的邊緣。
[0078]像素識別器236被布置為分析第一數(shù)字視頻序列中幀的掩碼，以識別不被認(rèn)為相關(guān)的像素塊的位置。像素識別器236還被布置為識別第二數(shù)字視頻序列的經(jīng)放大的、經(jīng)濾波的和在對應(yīng)時(shí)間中的幀的像素塊，其中識別出的第二數(shù)字視頻序列的經(jīng)放大的、經(jīng)濾波的和在對應(yīng)時(shí)間中的幀的像素塊，對應(yīng)于在第一數(shù)字視頻序列的幀中被識別出的不被認(rèn)為相關(guān)的像素塊。因此，在第一視頻序列的幀中，被識別出的不被認(rèn)為相關(guān)的像素塊的位置被用于從第二數(shù)字視頻序列的經(jīng)濾波的、經(jīng)放大的和在對應(yīng)時(shí)間中的幀中提取對應(yīng)的像素塊。從第二數(shù)字視頻序列中提取像素塊由塊提取器237執(zhí)行。
[0079]像素識別器236還被布置為分析第一數(shù)字視頻序列中幀的掩碼，以識別被認(rèn)為相關(guān)的像素塊的位置。因此，在第一視頻序列的幀中，識別出的被認(rèn)為相關(guān)的像素塊的位置被用于從第一視頻序列中提取對應(yīng)的像素塊。從第一數(shù)字視頻序列中提取像素塊由塊提取器237執(zhí)行。
[0080]合并單元238還被布置為合并從第一數(shù)字視頻序列提取的像素塊與從第二數(shù)字視頻序列的經(jīng)濾波的、經(jīng)放大的和在對應(yīng)時(shí)間中的幀提取的像素塊，以獲得合并的視頻序列的合并幀。如上所述，合并單元238可以被實(shí)施為多路轉(zhuǎn)換器。來自第一數(shù)字視頻序列和來自第二數(shù)字視頻序列的經(jīng)放大的、經(jīng)濾波的和在對應(yīng)時(shí)間中的幀，以及用于將第一數(shù)字視頻序列的幀的忽略塊識別作為控制將圖像幀的哪個(gè)部分合并的控制信號的掩碼，被用作多路復(fù)用器的輸入。
[0081]在合并之后，可以應(yīng)用第二濾波器(未示出)以進(jìn)一步平滑已合并的圖像部分周圍的邊緣。
[0082]合并的數(shù)字視頻序列也可以借助于編碼器單元222進(jìn)行編碼。
[0083]可以使用顯示器接口 240將合并的數(shù)字視頻序列傳輸?shù)斤@示器。顯示器接口 240可以例如是HDMI接口?？商娲?，合并的數(shù)字視頻序列可以經(jīng)由以太網(wǎng)接口 228通過數(shù)字網(wǎng)絡(luò)傳輸。此外，可替代地，合并的數(shù)字視頻序列可以被存儲在存儲器224中用于以后使用顯示器接口 240傳輸?shù)斤@示器，或者用于以后經(jīng)由以太網(wǎng)接口 228通過數(shù)字網(wǎng)絡(luò)傳輸。
[0084]在合并的數(shù)字視頻序列中，因?yàn)榈谝粩?shù)字視頻序列的忽略塊被替換為來自第二數(shù)字視頻序列的圖像信息，所以可確保不會遺漏關(guān)于相關(guān)的區(qū)域的信息。此外，如果用視頻編碼器進(jìn)行編碼，則合并的數(shù)字視頻序列具有相對低的比特率。
[0085]圖3示出被布置為提供描繪同一場景的第一和第二數(shù)字視頻序列并將它們合并成合并的數(shù)字視頻序列的數(shù)字網(wǎng)絡(luò)攝像機(jī)310。數(shù)字網(wǎng)絡(luò)攝像機(jī)310被布置為捕捉和處理(并且還可能存儲)視頻數(shù)據(jù)。數(shù)字網(wǎng)絡(luò)攝像機(jī)310包括殼體312、鏡頭314、圖像傳感器316、圖像處理單元318、包括掩碼生成器321的分析單元320、編碼單元322、存儲器324、CPU326、以太網(wǎng)接口 328、包括忽略塊識別器332的解碼器330、包括濾波器335的縮放器334、像素識別器336、塊提取器337、合并單元338和顯示器接口 340。圖像處理單元318、分析單元320、編碼單元322、包括忽略塊識別器332的解碼器330、包括濾波器335的縮放器334、像素識別器336、塊提取器337和/或合并單元338中的任何一個(gè)可以被實(shí)施為硬件和/或軟件。
[0086]數(shù)字網(wǎng)絡(luò)攝像機(jī)310的組件的操作非常類似于上面給出的數(shù)字網(wǎng)絡(luò)攝像機(jī)110和客戶端210的對應(yīng)組件的操作，因此，為了避免不必要的重復(fù)，可參照上述描述。
[0087]根據(jù)數(shù)字網(wǎng)絡(luò)攝像機(jī)310的一個(gè)實(shí)施例，數(shù)字網(wǎng)絡(luò)攝像機(jī)310被布置為根據(jù)以下進(jìn)行操作:
[0088]圖像傳感器316捕捉原始圖像；
[0089]圖像處理單元318被布置為處理原始圖像以獲得兩個(gè)對應(yīng)的圖像序列；具有第一像素密度的第一圖像序列和具有第二像素密度的第二圖像序列，第一數(shù)字視頻序列具有比第二數(shù)字視頻序列更高的像素密度；
[0090]分析單元320分析第一數(shù)字視頻序列的圖像，以識別被認(rèn)為相關(guān)的像素塊，并且使用掩碼生成器321輸出指示相關(guān)的像素塊的掩碼，例如二進(jìn)制掩碼；
[0091]編碼單元322被布置為使用指示相關(guān)的像素塊的掩碼，將第一數(shù)字視頻序列的圖像編碼成第一視頻序列的編碼版本中的幀。使用忽略塊對由于不相關(guān)而屏蔽掉的像素塊進(jìn)行編碼；
[0092]編碼單元322還被布置為將第二數(shù)字視頻序列編碼成第二視頻序列的編碼版本；
[0093]第一數(shù)字視頻序列的編碼版本和第二數(shù)字視頻序列的編碼版本被存儲在存儲器324 上；
[0094]解碼器330對第一和第二數(shù)字視頻序列的編碼版本進(jìn)行解碼；
[0095]在對第一數(shù)字視頻序列的編碼版本的幀進(jìn)行解碼的同時(shí)，忽略塊識別器232識別第一數(shù)字視頻序列的編碼版本的幀的忽略塊。通過識別第一數(shù)字視頻序列中幀的忽略塊，生成在第一數(shù)字視頻序列的幀中識別相關(guān)的區(qū)域的掩碼，例如二進(jìn)制掩碼。相關(guān)的區(qū)域?yàn)椴话雎詨K的區(qū)域；
[0096]縮放器234放大解碼后的第二數(shù)字視頻序列的幀，以便獲得具有與第一視頻序列的幀相同的像素密度的經(jīng)放大的第二數(shù)字視頻序列的幀；
[0097]濾波器335過濾經(jīng)放大的第二數(shù)字視頻序列的幀以去除放大偽影；
[0098]像素識別器336分析第一數(shù)字視頻序列中幀的掩碼，以識別不被認(rèn)為相關(guān)的像素塊的位置；
[0099]塊提取器337使用識別出的不被認(rèn)為相關(guān)的像素塊的位置來從第二數(shù)字視頻序列的經(jīng)濾波的、經(jīng)放大的和在對應(yīng)時(shí)間中的幀中提取對應(yīng)的塊；
[0100]像素識別器336分析第一數(shù)字視頻序列中幀的掩碼，以識別被認(rèn)為相關(guān)的像素塊的位置；
[0101]塊提取器337使用識別出的被認(rèn)為相關(guān)的像素塊的位置來從第一數(shù)字視頻序列中的幀中提取對應(yīng)的像素塊；
[0102]合并單元338還合并從第一數(shù)字視頻序列提取的像素塊與從第二數(shù)字視頻序列的經(jīng)濾波的、經(jīng)放大的和在對應(yīng)時(shí)間中的幀中提取的像素塊，以獲得合并幀；
[0103]以與上述類似的方式處理第一和第二數(shù)字視頻序列的隨后的原始幀，用于生成用于產(chǎn)生合并的數(shù)字視頻序列的隨后的合并幀；
[0104]可以使用顯示器接口 240將合并的數(shù)字視頻序列傳輸?shù)斤@示器?？商娲兀喜⒌臄?shù)字視頻序列可以由編碼單元322編碼，并且之后經(jīng)由以太網(wǎng)接口 228通過數(shù)字網(wǎng)絡(luò)傳輸，或被存儲在存儲器324中供以后使用。
[0105]客戶端210、數(shù)字網(wǎng)絡(luò)攝像機(jī)310是根據(jù)本發(fā)明用于生成合并的數(shù)字視頻序列的幀的視頻處理設(shè)備的例子。根據(jù)本發(fā)明用于生成合并的數(shù)字視頻序列的幀的視頻處理設(shè)備的另一例子是圖4所示的視頻編碼器設(shè)備410。視頻編碼器設(shè)備410包括模擬視頻輸入411、殼體412、視頻數(shù)字化儀413、圖像處理器418、包括掩碼生成器421的分析單元420、編碼單元422、存儲器424、CPU426、以太網(wǎng)接口 428、包括忽略塊識別器432的解碼器430、包括濾波器435的縮放器434、像素識別器436、塊提取器437、合并單元438和顯示器接口440。視頻數(shù)字化儀413、圖像處理器418、分析單元420、編碼單元422、包括忽略塊識別器432的解碼器430、包括濾波器435的縮放器434、像素識別器436、塊提取器437和/或合并單元438中的任何一個(gè)可以被實(shí)施為硬件和/或軟件。
[0106]視頻編碼器設(shè)備410的組件的操作非常類似于上文給出的數(shù)字網(wǎng)絡(luò)攝像機(jī)310的對應(yīng)組件的操作；因此，為了避免不必要的重復(fù)，可參照上文的描述。
[0107]模擬視頻輸入411被布置為從模擬視頻記錄設(shè)備(未示出)接收模擬視頻序列。
[0108]視頻數(shù)字化儀413被布置為將模擬視頻序列數(shù)字化為數(shù)字視頻序列，這樣的數(shù)字化儀是本領(lǐng)域技術(shù)人員所熟知的。
[0109]視頻編碼器設(shè)備410的操作非常類似于上文給出的數(shù)字網(wǎng)絡(luò)攝像機(jī)310的操作；因此，為了避免不必要的重復(fù)，可參照上文的描述。
[0110]在圖5中，示出了根據(jù)本發(fā)明用于生成合并的數(shù)字視頻序列的幀的系統(tǒng)500。系統(tǒng)500包括被布置為生成描繪同一場景的第一和第二數(shù)字視頻序列的至少一個(gè)數(shù)字網(wǎng)絡(luò)攝像機(jī)110，和被布置為將第一和第二數(shù)字視頻序列合并成合并的數(shù)字視頻序列的客戶端210。數(shù)字網(wǎng)絡(luò)攝像機(jī)110作為如上所述的數(shù)字網(wǎng)絡(luò)攝像機(jī)110工作?？蛻魴C(jī)210作為如上所述的客戶端210工作。至少一個(gè)數(shù)字網(wǎng)絡(luò)攝像機(jī)110和客戶端210經(jīng)由數(shù)字網(wǎng)絡(luò)502相互連接。因此，系統(tǒng)500可以包括多個(gè)數(shù)字網(wǎng)絡(luò)攝像機(jī)110。客戶端210還經(jīng)由顯示器接口連接到顯示器510，第一、第二和/或合并的數(shù)字視頻序列的解碼版本可以被發(fā)送到顯示器510用于顯示。
[0111]在圖6中，示出了根據(jù)本發(fā)明用于生成合并的數(shù)字視頻序列的幀的替代系統(tǒng)600。系統(tǒng)600包括被布置為生成同一場景的第一和第二數(shù)字視頻序列的至少一個(gè)數(shù)字網(wǎng)絡(luò)攝像機(jī)110，和被布置為將第一和第二數(shù)字視頻序列合并成合并的數(shù)字視頻序列的數(shù)字網(wǎng)絡(luò)攝像機(jī)310。數(shù)字網(wǎng)絡(luò)攝像機(jī)110作為如上所述的數(shù)字網(wǎng)絡(luò)攝像機(jī)110工作。數(shù)字網(wǎng)絡(luò)攝像機(jī)310作為如上所述的數(shù)字網(wǎng)絡(luò)攝像機(jī)310工作。至少一個(gè)數(shù)字網(wǎng)絡(luò)攝像機(jī)110和數(shù)字網(wǎng)絡(luò)攝像機(jī)310經(jīng)由數(shù)字網(wǎng)絡(luò)602相互連接。
[0112]圖7示出根據(jù)本發(fā)明用于生成合并的數(shù)字視頻序列的幀的方法的實(shí)施例。所述方法包括:
[0113]步驟700，提供第一數(shù)字視頻序列的幀和第二數(shù)字視頻序列的幀，第一和第二數(shù)字視頻序列的幀描繪同一場景，第一數(shù)字視頻序列的幀比第二數(shù)字視頻序列的幀具有更高的像素密度，其中使用視頻壓縮算法對至少第一數(shù)字視頻序列的幀進(jìn)行編碼；
[0114]步驟702，縮放第二數(shù)字視頻序列的幀，從而獲得具有與第一視頻序列的幀相同的像素密度的經(jīng)放大的第二數(shù)字視頻序列的幀；
[0115]步驟704，在對第一數(shù)字視頻序列的經(jīng)編碼幀解碼的同時(shí)，在第一數(shù)字視頻序列的幀中識別至少一個(gè)忽略塊的位置和至少一個(gè)非忽略塊的位置；
[0116]步驟706，基于在第一數(shù)字視頻序列的幀中識別出的至少一個(gè)忽略塊的位置，從第二數(shù)字視頻序列的幀中提取至少一個(gè)對應(yīng)的像素塊；
[0117]步驟708，基于在第一數(shù)字視頻序列的幀中識別出的至少一個(gè)非忽略塊的位置，從第一數(shù)字視頻序列的幀中提取至少一個(gè)對應(yīng)的像素塊；以及
[0118]步驟710，合并從第二數(shù)字視頻序列的幀中提取的像素塊與從第一數(shù)字視頻序列的幀中提取的像素塊，從而生成合并的視頻序列的幀。
[0119]本領(lǐng)域技術(shù)人員可意識到，本發(fā)明絕非限制于上述優(yōu)選實(shí)施例。與此相反，在所附權(quán)利要求書的范圍內(nèi)可以有許多修改和變化。
[0120]例如，可以意識到，用于存儲合并的數(shù)字視頻序列的存儲單元可以遠(yuǎn)離視頻處理設(shè)備設(shè)置。
[0121]此外，可以意識到，本發(fā)明并不局限于使用兩個(gè)數(shù)字視頻序列:因此，可以根據(jù)本發(fā)明合并任何數(shù)量的數(shù)字視頻序列。雖然，如上所述結(jié)合監(jiān)控視頻數(shù)據(jù)討論本發(fā)明，但是合并描繪同一場景的兩個(gè)數(shù)字視頻序列的方法可以應(yīng)用于其它類型的視頻數(shù)據(jù)的實(shí)現(xiàn)方式。因此，另外，通過研究附圖、本公開內(nèi)容和所附的權(quán)利要求書，本領(lǐng)域技術(shù)人員在實(shí)踐所要求保護(hù)的發(fā)明時(shí)可以理解和實(shí)現(xiàn)所公開的實(shí)施例的變型。此外，在附圖和說明書中，已經(jīng)公開了本發(fā)明的優(yōu)選實(shí)施例和示例，并且雖然使用了特定術(shù)語，但是僅以通用的和描述性的意義使用這些特定術(shù)語，而不是為了限制在下面的權(quán)利要求書中列舉的本發(fā)明的范圍。在權(quán)利要求中，詞語“包括”不排除其它元件或步驟，并且不定冠詞“一”(a)或“一個(gè)”(an)不排除多個(gè)的情況。
【權(quán)利要求】
1.一種用于生成合并的數(shù)字視頻序列的幀的方法，包括: 使用圖像處理器(118 ；318 ^418)獲取第一數(shù)字視頻序列； 使用分析單元(120 ；320 ^420)分析所述第一數(shù)字視頻序列的幀，以識別被認(rèn)為相關(guān)的像素塊； 使用掩碼生成器(121 ；321 ^421)生成掩碼，所述掩碼指示所述第一數(shù)字視頻序列的幀的相關(guān)的像素塊； 使用編碼單元(122 ；322 ；422〉，利用視頻壓縮算法，使用所述掩碼將所述第一數(shù)字視頻序列的幀編碼成第一視頻序列的編碼版本中的幀，其中使用忽略塊對由于不相關(guān)而屏蔽掉的像素塊進(jìn)行編碼； 使用解碼器(230 ；330 ^430)對所述第一數(shù)字視頻序列的經(jīng)編碼的幀進(jìn)行解碼； 使用所述圖像處理器(118 ；318 ^418)獲取第二數(shù)字視頻序列，其中所述第一數(shù)字視頻序列和所述第二數(shù)字視頻序列在空間上和時(shí)間上類似地描繪同一場景，所述第一數(shù)字視頻序列的幀具有比所述第二數(shù)字視頻序列的幀更多數(shù)量的像素； 使用縮放器(234 ；334 ^434)對所述第二數(shù)字視頻序列的幀進(jìn)行縮放，從而獲得具有與所述第一視頻序列的幀相同的像素?cái)?shù)量的所述第二數(shù)字視頻序列的經(jīng)放大的幀； 在對所述第一數(shù)字視頻序列的經(jīng)編碼的幀進(jìn)行解碼的同時(shí)，使用忽略塊識別器(232 ；332 ^432)在所述第一數(shù)字視頻序列的幀中識別至少一個(gè)忽略塊的位置和至少一個(gè)非忽略塊的位置； 使用塊提取器(237 ；337 ；437〉，并基于在所述第一數(shù)字視頻序列的幀中識別出的所述至少一個(gè)忽略塊的位置，從所述第二數(shù)字視頻序列的經(jīng)放大的幀中提取至少一個(gè)對應(yīng)的像素塊； 使用所述塊提取器(237 ；337 ；437〉，并基于在所述第一數(shù)字視頻序列的幀中識別出的所述至少一個(gè)非忽略塊的位置，從所述第一數(shù)字視頻序列的幀中提取至少一個(gè)對應(yīng)的像素塊；以及 使用合并單元(238 ；338 ；438〉，將從所述第二數(shù)字視頻序列的幀中提取的像素塊和從所述第一數(shù)字視頻序列的幀中提取的像素塊合并，從而生成合并的視頻序列的幀。
2.根據(jù)權(quán)利要求1所述的方法，還包括: 使用濾波器(235 ；335 ^435)對所述第二數(shù)字視頻序列的經(jīng)縮放的幀進(jìn)行濾波。
3.根據(jù)權(quán)利要求1所述的方法，其中使用視頻壓縮算法對所述第二數(shù)字視頻序列的幀進(jìn)行編碼，其中所述方法還包括: 使用所述解碼器(230 ；330:430)對所述第二數(shù)字視頻序列的幀進(jìn)行解碼。
4.根據(jù)權(quán)利要求1所述的方法，其中所述第一數(shù)字視頻序列的經(jīng)編碼的幀是幀間幀。
5.根據(jù)權(quán)利要求1所述的方法，其中所述視頻壓縮算法是26乂、180-1^26,0打2或16碰兼容的。
6.根據(jù)權(quán)利要求1所述的方法，還包括: 在存儲器(224:324:424)中存儲所述合并的視頻序列的幀。
7.根據(jù)權(quán)利要求1所述的方法，還包括: 回放所述合并的視頻序列的幀。
8.一種計(jì)算機(jī)可讀記錄介質(zhì)，具有記錄在其上的程序，所述程序用于在具有處理能力的設(shè)備上被執(zhí)行時(shí)實(shí)施根據(jù)權(quán)利要求1所述的方法。
9.一種視頻處理設(shè)備(310 010),被布置為執(zhí)行記錄在根據(jù)權(quán)利要求8所述的計(jì)算機(jī)可讀記錄介質(zhì)上的程序。
10.一種用于生成合并的數(shù)字視頻序列的系統(tǒng)，所述系統(tǒng)包括: 圖像處理器(118 ；318 ；418〉，被布置為獲取第一數(shù)字視頻序列； 分析單元(120 ；320 ；420〉，被布置為分析所述第一數(shù)字視頻序列的幀，以識別被認(rèn)為相關(guān)的像素塊； 掩碼生成器(121,321 ；421〉，被布置為輸出掩碼，所述掩碼指示所述第一數(shù)字視頻序列的幀中的相關(guān)的像素塊； 編碼單元(122 ；322 ；422〉，被布置為使用指示相關(guān)的像素塊的所述掩碼將所述第一數(shù)字視頻序列的幀編碼成第一視頻序列的編碼版本中的幀，其中使用忽略塊對由于不相關(guān)而屏蔽掉的像素塊進(jìn)行編碼； 所述圖像處理器(118 ；318 ^418)還被布置為獲取第二數(shù)字視頻序列，其中所述第一數(shù)字視頻序列和所述第二數(shù)字視頻序列在空間上和時(shí)間上類似地描繪同一場景，所述第一數(shù)字視頻序列的幀具有比所述第二數(shù)字視頻序列的幀更多數(shù)量的像素； 所述系統(tǒng)還包括:縮放器(234 ；334 ；43幻，被布置為對所述第二數(shù)字視頻序列的幀進(jìn)行縮放，從而獲得所述第二數(shù)字視頻序列的經(jīng)放大的幀，所述第二數(shù)字視頻序列的經(jīng)放大的幀具有與所述第一視頻序列的幀相同的像素?cái)?shù)量； 所述系統(tǒng)還包括:解碼器(230 ；330 030),被布置為對所述第一數(shù)字視頻序列的經(jīng)編碼的幀進(jìn)行解碼； 所述系統(tǒng)還包括:忽略塊識別器(232 ；332 ；432〉，被布置為在使用所述解碼器(230 ；330 ^430)對所述第一數(shù)字視頻序列的經(jīng)編碼的幀進(jìn)行解碼的同時(shí)，在所述第一數(shù)字視頻序列的幀中識別至少一個(gè)忽略塊的位置和至少一個(gè)非忽略塊的位置； 所述系統(tǒng)還包括:塊提取器(237 ；337 ；437〉，被布置為基于在所述第一數(shù)字視頻序列的幀中識別出的所述至少一個(gè)忽略塊的位置，從所述第二數(shù)字視頻序列的經(jīng)放大的幀中提取至少一個(gè)對應(yīng)的像素塊，并且基于在所述第一數(shù)字視頻序列的幀中識別出的所述至少一個(gè)非忽略塊的位置，從所述第一數(shù)字視頻序列的幀中提取至少一個(gè)對應(yīng)的像素塊；以及合并單元(238 ；338:438),被布置為將從所述第二數(shù)字視頻序列的幀中提取的像素塊和從所述第一數(shù)字視頻序列的幀中提取的像素塊合并，從而生成合并的視頻序列的幀。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，還包括: 圖像傳感器(116:316)，被布置為捕捉場景的視頻序列；并且其中所述圖像處理器(118 ^318)被布置為將通過所述圖像傳感器(116 ^316)捕捉的場景的視頻序列處理為描繪同一場景的第一數(shù)字視頻序列和第二數(shù)字視頻序列。
12.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述系統(tǒng)被包括在數(shù)字?jǐn)z像機(jī)(310)中。
【文檔編號】G06T3/40GK104349074SQ201410342453
【公開日】2015年2月11日 申請日期:2014年7月18日 優(yōu)先權(quán)日:2013年7月31日
【發(fā)明者】S·路德伯格 申請人:安訊士有限公司