視頻處理裝置、視頻處理系統(tǒng)和視頻處理方法
【專利摘要】一種視頻處理裝置包括圖像捕獲裝置和與該圖像捕獲裝置連接的處理裝置。圖像捕獲裝置包括：圖像獲得單元，其獲得幀圖像；幀圖像發(fā)送單元，其發(fā)送幀圖像到處理裝置；變換參數(shù)設(shè)置單元，其在圖像捕獲裝置中設(shè)置從處理裝置接收的變換參數(shù)；圖像變換單元，其使用如此設(shè)置的變換參數(shù)對(duì)幀圖像應(yīng)用圖像變換；以及變換的幀圖像發(fā)送單元，其發(fā)送變換的幀圖像到處理裝置。該處理裝置包括：變換參數(shù)計(jì)算單元，其使用從圖像捕獲裝置接收的幀圖像計(jì)算用于圖像變換的變換參數(shù)；以及變換參數(shù)發(fā)送單元，其發(fā)送變換參數(shù)到圖像捕獲裝置。
【專利說明】視頻處理裝置、視頻處理系統(tǒng)和視頻處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及將圖像變換應(yīng)用于由相機(jī)拍攝的視頻的技術(shù)，并且特別涉及進(jìn)行圖像變換的視頻處理裝置、視頻處理系統(tǒng)和視頻處理方法。
【背景技術(shù)】
[0002]包括在電話會(huì)議系統(tǒng)中的電視終端等具有用于拍攝會(huì)議中的場(chǎng)景的相機(jī)(圖像捕獲裝置)。該相機(jī)不僅可以用于拍攝會(huì)議中的場(chǎng)景，而且用于捕獲手稿、圖畫和白板，使得可以與對(duì)等方共享這種信息。對(duì)于這種應(yīng)用期望的是圖像變換處理，例如用于聚焦在拍攝圖像中的部分區(qū)域上并且顯示該區(qū)域的放大圖像(數(shù)字縮放)，或者用于校正從斜角度拍攝的手稿、圖畫或者白板的圖像，從而使得能夠使圖像看來仿佛該圖像是直接從正面拍攝的(透視校正)。關(guān)于這個(gè)問題，已知用于數(shù)字相機(jī)的諸如數(shù)字縮放和透視校正之類的圖像變換處理技術(shù)(例如，日本專利申請(qǐng)?zhí)亻_第2004-72181和日本專利申請(qǐng)?zhí)亻_第2008-60827)。
[0003]然而，在傳統(tǒng)圖像變換處理技術(shù)中，當(dāng)數(shù)字縮放或者透視校正要實(shí)時(shí)應(yīng)用于順序幀圖像(諸如視頻或者動(dòng)畫之類)時(shí)，一直難于實(shí)現(xiàn)具有諸如具備該處理所要求的每個(gè)功能的圖像信號(hào)處理器(ISP)的硬件的圖像捕獲裝置。例如，關(guān)于透視校正進(jìn)行解釋，為了進(jìn)行用于從拍攝圖像自動(dòng)檢測(cè)與作為被攝體的手稿、圖畫和白板對(duì)應(yīng)的區(qū)域(具有四邊形形狀)的處理，不得不獲取整個(gè)圖像。因此，該處理變得相對(duì)復(fù)雜，并且此外要求長的處理時(shí)間。由此，為了向視頻或者動(dòng)畫應(yīng)用處理，使用ISP的硬件實(shí)現(xiàn)方式已經(jīng)變得困難或者不可能。
[0004]已經(jīng)作出本發(fā)明，使得能夠使用圖像捕獲裝置中的ISP等對(duì)順序幀圖像諸如視頻和動(dòng)畫實(shí)時(shí)進(jìn)行圖像變換，并且加速和效率化圖像變換。
[0005]具體地，本發(fā)明的目的是提供可以加速和效率化圖像變換的視頻處理裝置、視頻處理系統(tǒng)、電話會(huì)議系統(tǒng)、遠(yuǎn)程監(jiān)視系統(tǒng)、視頻處理方法和圖像捕獲裝置。

【發(fā)明內(nèi)容】

[0006]根據(jù)一個(gè)實(shí)施例，提供一種視頻處理裝置，包括圖像捕獲裝置和與該圖像捕獲裝置連接的處理裝置。圖像捕獲裝置包括:圖像獲得單元，其獲得幀圖像；幀圖像發(fā)送單元，其發(fā)送幀圖像到處理裝置；變換參數(shù)設(shè)置單元，其在圖像捕獲裝置中設(shè)置從處理裝置接收的變換參數(shù)；圖像變換單元，其使用如此設(shè)置的變換參數(shù)對(duì)幀圖像應(yīng)用圖像變換；以及變換的幀圖像發(fā)送單元，其發(fā)送變換的幀圖像到處理裝置。該處理裝置包括:變換參數(shù)計(jì)算單元，其使用從圖像捕獲裝置接收的幀圖像計(jì)算用于圖像變換的變換參數(shù)；以及變換參數(shù)發(fā)送單元，其發(fā)送變換參數(shù)到圖像捕獲裝置。
[0007]根據(jù)另一個(gè)實(shí)施例，提供一種視頻處理系統(tǒng)，包括:圖像捕獲裝置和通過網(wǎng)絡(luò)與該圖像捕獲裝置連接的處理裝置。該圖像捕獲裝置包括:圖像獲得單元，其獲得幀圖像；幀圖像發(fā)送單元，其通過網(wǎng)絡(luò)發(fā)送幀圖像到處理裝置；變換參數(shù)設(shè)置單元，其在圖像捕獲裝置中設(shè)置通過網(wǎng)絡(luò)從處理裝置接收的變換參數(shù)；圖像變換單元，其使用如此設(shè)置的變換參數(shù)對(duì)幀圖像應(yīng)用圖像變換；以及變換的幀圖像發(fā)送單元，其通過網(wǎng)絡(luò)發(fā)送變換的幀圖像到處理裝置。該處理裝置包括:變換參數(shù)計(jì)算單元，其使用通過網(wǎng)絡(luò)從圖像捕獲裝置接收的幀圖像計(jì)算用于圖像變換的變換參數(shù)；以及變換參數(shù)發(fā)送單元，其通過網(wǎng)絡(luò)發(fā)送變換參數(shù)到圖像捕獲裝置。
[0008]根據(jù)另一個(gè)實(shí)施例，提供一種使用圖像捕獲裝置和與該圖像捕獲裝置連接的處理裝置來處理幀圖像的視頻處理方法。該視頻處理方法包括:通過圖像捕獲裝置獲得幀圖像，并且發(fā)送幀圖像到處理裝置；通過處理裝置使用從圖像捕獲裝置接收的幀圖像來計(jì)算用于圖像變換的變換參數(shù)，并且發(fā)送該變換參數(shù)到圖像捕獲裝置，以及通過圖像捕獲裝置在圖像捕獲裝置中設(shè)置從處理裝置接收的變換參數(shù)，使用如此設(shè)置的變換參數(shù)對(duì)幀圖像應(yīng)用圖像變換，并且發(fā)送變換的幀圖像到處理裝置。
【專利附圖】

【附圖說明】
[0009]圖1是透視校正的概念示意圖；
[0010]圖2是用于解釋透視變換的示意圖；
[0011]圖3是用于解釋如何計(jì)算變換參數(shù)的示意圖；
[0012]圖4是根據(jù)本發(fā)明的第一實(shí)施例的視頻處理裝置的結(jié)構(gòu)的示意圖；
[0013]圖5是根據(jù)第一實(shí)施例的視頻處理裝置的功能框圖；
[0014]圖6是根據(jù)第一實(shí)施例的視頻處理裝置的處理流程圖；
[0015]圖7是數(shù)字縮放的概念示意圖；
[0016]圖8是用于解釋數(shù)字縮放的逆處理的示意圖；
[0017]圖9是用于解釋如何計(jì)算數(shù)字縮放的變換參數(shù)的示意圖；
[0018]圖10是根據(jù)本發(fā)明的第二實(shí)施例的視頻處理裝置的結(jié)構(gòu)的示意圖；
[0019]圖11是根據(jù)第二實(shí)施例的視頻處理裝置的功能框圖；
[0020]圖12是根據(jù)第二實(shí)施例的視頻處理裝置的處理流程圖；
[0021]圖13是用于解釋要縮放的區(qū)域和狀態(tài)轉(zhuǎn)移的示意圖；
[0022]圖14是根據(jù)本發(fā)明的第三實(shí)施例的視頻處理系統(tǒng)的結(jié)構(gòu)的示意圖；
[0023]圖15是根據(jù)第三實(shí)施例的視頻處理系統(tǒng)的功能框圖；
[0024]圖16是根據(jù)本發(fā)明的第四實(shí)施例的視頻處理系統(tǒng)的結(jié)構(gòu)的示意圖；
[0025]圖17是根據(jù)第四實(shí)施例的視頻處理系統(tǒng)的功能框圖；
[0026]圖18是根據(jù)本發(fā)明的第五實(shí)施例的電話會(huì)議系統(tǒng)的結(jié)構(gòu)的示意圖；以及
[0027]圖19是根據(jù)本發(fā)明的第六實(shí)施例的遠(yuǎn)程監(jiān)視系統(tǒng)的結(jié)構(gòu)的示意圖。
【具體實(shí)施方式】
[0028]現(xiàn)在將參考附圖解釋本發(fā)明的實(shí)施例。
[0029]在下面的實(shí)施例中，將透視校正和數(shù)字縮放解釋為圖像變換。然而，應(yīng)該無需說，本發(fā)明還可應(yīng)用于除了這些之外的各種圖像變換。
[0030]根據(jù)第一實(shí)施例的視頻處理裝置包括圖像捕獲裝置和與該圖像捕獲裝置連接的處理裝置。當(dāng)作為圖像變換的透視校正要應(yīng)用于由圖像捕獲裝置拍攝的幀圖像并且要輸出變換的幀圖像時(shí)，與圖像捕獲裝置連接的處理裝置用于進(jìn)行被攝體區(qū)域的自動(dòng)檢測(cè)和變換參數(shù)的計(jì)算(這二者都要求相對(duì)復(fù)雜的處理)，并且發(fā)送變換參數(shù)到圖像捕獲裝置。圖像捕獲裝置然后使用變換參數(shù)進(jìn)行作為圖像變換處理的透視校正(其是相對(duì)簡單的處理)，并且發(fā)送變換的幀圖像到處理裝置。另外，對(duì)于從圖像捕獲裝置向處理裝置發(fā)送幀圖像以供計(jì)算變換參數(shù)和從圖像捕獲裝置向處理裝置發(fā)送變換的幀圖像使用不同傳輸速率。
[0031]首先，將參考圖1到3解釋透視校正。
[0032]圖1是透視校正的概念示意圖。在該圖中，圖示在左側(cè)上的是作為從斜角度拍攝的被攝體的白板的幀圖像的示例，并且圖示在右側(cè)上的是作為應(yīng)用了透視校正的幀圖像的變換的幀圖像的示例。透視校正是如下處理:即使作為被攝體的白板是從斜角度成像的，也生成看上去仿佛圖像是直接從正前方拍攝的圖像，。
[0033]圖2是用于解釋透視變換(透視校正的逆處理)的示意圖。透視變換是從變換的幀圖像中的像素(x，y)到幀圖像上的像素(x’，y’)的坐標(biāo)變換。變換等式可以使用矩陣表達(dá)為:
【權(quán)利要求】
1.一種視頻處理裝置，包括: 圖像捕獲裝置和與該圖像捕獲裝置連接的處理裝置，其中 圖像捕獲裝置包括: 圖像獲得單元，其獲得幀圖像； 幀圖像發(fā)送單元，其發(fā)送幀圖像到處理裝置； 變換參數(shù)設(shè)置單元，其在圖像捕獲裝置中設(shè)置從處理裝置接收的變換參數(shù)； 圖像變換單元，其使用如此設(shè)置的變換參數(shù)對(duì)幀圖像應(yīng)用圖像變換；以及 變換的幀圖像發(fā)送單元，其發(fā)送變換的幀圖像到處理裝置，以及 處理裝置包括: 變換參數(shù)計(jì)算單元，其使用從圖像捕獲裝置接收的幀圖像計(jì)算用于圖像變換的變換參數(shù)；以及 變換參數(shù)發(fā)送單元，其發(fā)送變換參數(shù)到圖像捕獲裝置。
2.如權(quán)利要求1所述的視頻處理裝置，其中，包括在圖像捕獲裝置中的幀圖像發(fā)送單元和變換的幀圖像發(fā)送單元使用不同的傳輸速率。
3.如權(quán)利要求1或者2所述的視頻處理裝置，其中 包括在圖像捕獲裝置中的圖像變換單元對(duì)幀圖像應(yīng)用透視校正，并且包括在處理裝置中的變換參數(shù)計(jì)算單元從幀圖像檢測(cè)被攝體區(qū)域，并且計(jì)算用于透視校正的變換參數(shù)。
4.如權(quán)利要求3所述的視頻處理裝置，其中， 包括在圖像捕獲裝置中的幀圖像發(fā)送單元以固定間隔發(fā)送幀圖像到處理裝置，以及包括在處理裝置中的變換參數(shù)計(jì)算單元使用以固定間隔從圖像捕獲裝置接收的幀圖像，重新計(jì)算用于透視校正的變換參數(shù)。
5.如權(quán)利要求3所述的視頻處理裝置，其中 包括在圖像捕獲裝置中的幀圖像發(fā)送單元僅當(dāng)接收到用戶指令時(shí)，才發(fā)送幀圖像到處理裝置，以及 當(dāng)從圖像捕獲單元接收到幀圖像時(shí)，包括在處理裝置中的變換參數(shù)計(jì)算單元使用該幀圖像重新計(jì)算用于透視校正的變換參數(shù)。
6.如權(quán)利要求1或2所述的視頻處理裝置，其中 處理裝置還包括縮放指令接收單元，其從用戶接收用于幀圖像的縮放指令， 包括在處理裝置中的變換參數(shù)計(jì)算單元計(jì)算用于數(shù)字縮放的變換參數(shù)，用于使得由用戶指定的幀圖像區(qū)域能夠全部顯示在圖像中，以及 包括在圖像捕獲裝置中的圖像變換單元對(duì)幀圖像應(yīng)用數(shù)字縮放。
7.如權(quán)利要求6所述的視頻處理裝置，其中，包括在圖像捕獲裝置中幀圖像發(fā)送單元僅當(dāng)從用戶接收到縮放指令時(shí)，才發(fā)送幀圖像到處理裝置。
8.—種視頻處理系統(tǒng),包括: 圖像捕獲裝置和通過網(wǎng)絡(luò)與該圖像捕獲裝置連接的處理裝置，其中 圖像捕獲裝置包括: 圖像獲得單元，其獲得幀圖像； 幀圖像發(fā)送單元，其通過網(wǎng)絡(luò)發(fā)送幀圖像到處理裝置；變換參數(shù)設(shè)置單元，其在圖像捕獲裝置中設(shè)置通過網(wǎng)絡(luò)從處理裝置接收的變換參數(shù)； 圖像變換單元，其使用如此設(shè)置的變換參數(shù)對(duì)幀圖像應(yīng)用圖像變換；以及 變換的幀圖像發(fā)送單元，其通過網(wǎng)絡(luò)發(fā)送變換的幀圖像到處理裝置，以及 處理裝置包括: 變換參數(shù)計(jì)算單元，其使用通過網(wǎng)絡(luò)從圖像捕獲裝置接收的幀圖像計(jì)算用于圖像變換的變換參數(shù)；以及 變換參數(shù)發(fā)送單元，其通過網(wǎng)絡(luò)發(fā)送變換參數(shù)到圖像捕獲裝置。
9.如權(quán)利要求8所述的視頻處理系統(tǒng)，其中，包括在圖像捕獲裝置中的幀圖像發(fā)送單元和變換的幀圖像發(fā)送單元使用不同的傳輸速率。
10.如權(quán)利要求8或者9所述的視頻處理系統(tǒng)，其中 包括在圖像捕獲裝置中的圖像變換單元對(duì)幀圖像應(yīng)用透視校正，并且包括在處理裝置中的變換參數(shù)計(jì)算單元從幀圖像檢測(cè)被攝體區(qū)域，并且計(jì)算用于透視校正的變換參數(shù)。
11.如權(quán)利要求 10所述的視頻處理系統(tǒng)，其中， 包括在圖像捕獲裝置中的幀圖像發(fā)送單元以固定間隔通過網(wǎng)絡(luò)發(fā)送幀圖像到處理裝置，以及 包括在處理裝置中的變換參數(shù)計(jì)算單元使用以固定間隔通過網(wǎng)絡(luò)從圖像捕獲裝置接收的幀圖像，重新計(jì)算用于透視校正的變換參數(shù)。
12.如權(quán)利要求10所述的視頻處理系統(tǒng)，其中 包括在圖像捕獲裝置中的幀圖像發(fā)送單元僅當(dāng)接收到用戶指令時(shí)，才通過網(wǎng)絡(luò)發(fā)送幀圖像到處理裝置，以及 當(dāng)從圖像捕獲單元接收到幀圖像時(shí)，包括在處理裝置中的變換參數(shù)計(jì)算單元使用幀圖像重新計(jì)算用于透視校正的變換參數(shù)。
13.如權(quán)利要求8或9所述的視頻處理系統(tǒng)，其中 處理裝置還包括縮放指令接收單元，其從用戶接收用于幀圖像的縮放指令， 包括在處理裝置中的變換參數(shù)計(jì)算單元計(jì)算用于數(shù)字縮放的變換參數(shù)，用于使得由用戶指定的幀圖像區(qū)域能夠全部顯示在圖像中，以及 包括在圖像捕獲裝置中的圖像變換單元對(duì)幀圖像應(yīng)用數(shù)字縮放。
14.如權(quán)利要求13所述的視頻處理系統(tǒng)，其中，包括在圖像捕獲裝置中的幀圖像發(fā)送單元僅當(dāng)從用戶接收到縮放指令時(shí)，才通過網(wǎng)絡(luò)發(fā)送幀圖像到處理裝置。
15.一種使用圖像捕獲裝置和與該圖像捕獲裝置連接的處理裝置來處理幀圖像的視頻處理方法,該視頻處理方法包括: 通過圖像捕獲裝置獲得幀圖像，并且發(fā)送幀圖像到處理裝置； 通過處理裝置使用從圖像捕獲裝置接收的幀圖像來計(jì)算用于圖像變換的變換參數(shù)，并且發(fā)送該變換參數(shù)到圖像捕獲裝置，以及 通過圖像捕獲裝置在圖像捕獲裝置中設(shè)置從處理裝置接收的變換參數(shù)，使用如此設(shè)置的變換參數(shù)對(duì)幀圖像應(yīng)用圖像變換，并且發(fā)送變換的幀圖像到處理裝置。
【文檔編號(hào)】H04N5/225GK103430531SQ201280011861
【公開日】2013年12月4日 申請(qǐng)日期:2012年3月7日 優(yōu)先權(quán)日:2011年3月7日
【發(fā)明者】石井真樹, 浪江健史 申請(qǐng)人:株式會(huì)社理光