專利名稱：通信裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及進(jìn)行影像通信的通信裝置。
背景技術(shù)：
近年來，隨著通信技術(shù)的發(fā)展和網(wǎng)絡(luò)的寬帶化，可普遍進(jìn)行電視會(huì)議系統(tǒng)、電視電話系統(tǒng)等影像通信。例如，在電視會(huì)議系統(tǒng)中，通過實(shí)時(shí)相互發(fā)送用攝像機(jī)等拍攝的影像，位于不同場(chǎng)所的用戶在相互看對(duì)方的樣子等會(huì)議狀況的同時(shí)進(jìn)行議論。在這樣的電視會(huì)議系統(tǒng)中，將在會(huì)議中使用的資料數(shù)據(jù)預(yù)先作為文件傳送，或者另外用攝像機(jī)拍攝資料，并作為影像(動(dòng)態(tài)圖像)或圖像(靜止圖像)發(fā)送。此外，在電視電話系統(tǒng)中還有將文件多級(jí)發(fā)送的技術(shù)。
但是，例如，即使存在不需要傳送資料等文件數(shù)據(jù)的對(duì)方的情況下，也統(tǒng)一進(jìn)行文件數(shù)據(jù)的傳送，網(wǎng)絡(luò)增加了負(fù)載。此外，例如想使對(duì)方僅閱覽內(nèi)容的情況下，或者想給對(duì)方發(fā)布數(shù)據(jù)等情況下，存在有不能根據(jù)用途進(jìn)行數(shù)據(jù)傳送的問題。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述問題點(diǎn)而作出的，目的在于提供一種在進(jìn)行影像傳送的同時(shí)，可靈活應(yīng)對(duì)文件數(shù)據(jù)的傳送的通信裝置。
本發(fā)明的發(fā)送影像一側(cè)的通信裝置，其特征在于，包括通信部，通過網(wǎng)絡(luò)進(jìn)行通信；合成部，從上述通信部發(fā)送在影像上合成了文件數(shù)據(jù)的圖像的合成影像；存儲(chǔ)部，將上述合成影像中的上述文件數(shù)據(jù)的圖像的位置信息與上述文件數(shù)據(jù)對(duì)應(yīng)起來存儲(chǔ)；數(shù)據(jù)傳送部，根據(jù)上述通信部接收到的位置信息，從上述存儲(chǔ)部確定上述文件數(shù)據(jù)，將所確定的上述文件數(shù)據(jù)從上述通信部發(fā)送?；蛘撸涮卣髟谟?，包括通信部，通過網(wǎng)絡(luò)進(jìn)行通信；合成部，從上述通信部發(fā)送在影像上合成了文件數(shù)據(jù)的圖像的合成影像；數(shù)據(jù)傳送部，將管理信息從上述通信部發(fā)送，并根據(jù)由上述通信部接收到的數(shù)據(jù)傳送的請(qǐng)求，將文件數(shù)據(jù)從上述通信部發(fā)送，所述管理信息是將上述合成影像中的上述文件數(shù)據(jù)的圖像的位置信息與上述文件數(shù)據(jù)對(duì)應(yīng)起來的。
此外，本發(fā)明的接收影像的一側(cè)的通信裝置，其特征在于，包括通信部，通過網(wǎng)絡(luò)進(jìn)行通信；顯示部，顯示在上述通信部接收到的影像上合成了文件數(shù)據(jù)的圖像的合成影像；指定部，可由用戶指定所顯示的合成影像中的位置；數(shù)據(jù)取得部，利用上述通信部發(fā)送表示在上述指定部由用戶指定的上述合成影像中的位置的位置信息，使上述通信部接收對(duì)應(yīng)的文件數(shù)據(jù)。或者，其特征在于，包括通信部，通過網(wǎng)絡(luò)進(jìn)行通信；顯示部，顯示將在上述通信部接收到的影像上合成了文件數(shù)據(jù)的圖像的合成影像；指定部，可由用戶指定所顯示的合成影像中的文件數(shù)據(jù)的圖像的位置；數(shù)據(jù)取得部，按照管理信息，根據(jù)表示在上述指定部由用戶指定的上述合成影像中的位置的位置信息確定文件數(shù)據(jù)，并利用上述通信部向發(fā)送源請(qǐng)求傳送該文件數(shù)據(jù)，并使上述通信部接收該文件數(shù)據(jù)，所述管理信息是將在上述通信部接收到的上述合成影像中的上述文件數(shù)據(jù)的圖像的位置信息和上述文件數(shù)據(jù)對(duì)應(yīng)起來的。
而且，在發(fā)送側(cè)和通信側(cè)的通信裝置之間進(jìn)行數(shù)據(jù)的傳送時(shí)，能夠利用與發(fā)送合成影像的通信連接不同的通信連接進(jìn)行。
根據(jù)本發(fā)明，通過在接收側(cè)的通信裝置由用戶指定與影像合成的文件數(shù)據(jù)的圖像，該指定的位置信息被發(fā)送到發(fā)送側(cè)的通信裝置，對(duì)應(yīng)的文件數(shù)據(jù)被發(fā)送到接收側(cè)的通信裝置。這樣，數(shù)據(jù)的傳送僅在從接收側(cè)的通信裝置發(fā)出了請(qǐng)求時(shí)進(jìn)行，所以能夠進(jìn)行對(duì)應(yīng)于用戶請(qǐng)求的靈活的文件數(shù)據(jù)傳送。此外，由于只在需要時(shí)傳送文件數(shù)據(jù)，所以具有能夠減輕網(wǎng)絡(luò)的負(fù)載的效果。
從接下來的參考附圖對(duì)本發(fā)明優(yōu)選實(shí)施例的詳細(xì)描述中，本發(fā)明的其它特征、要素、過程、步驟、特性以及優(yōu)點(diǎn)會(huì)變得更明顯。


圖1是表示本發(fā)明的第一實(shí)施方式的框圖。
圖2是表示本發(fā)明的第一實(shí)施方式的發(fā)送側(cè)通信裝置1的影像發(fā)送時(shí)的處理一例的流程圖。
圖3是本發(fā)明的第一實(shí)施方式的發(fā)送側(cè)通信裝置1的影像發(fā)送時(shí)的處理一例的說明圖。
圖4是管理信息的一例的說明圖。
圖5是表示本發(fā)明的第一實(shí)施方式的接收側(cè)通信裝置2的影像接收時(shí)的處理一例的流程圖。
圖6是在本發(fā)明的第一實(shí)施方式的接收側(cè)通信裝置2上顯示的影像的一例的說明圖。
圖7是表示接收本發(fā)明的第一實(shí)施方式的發(fā)送側(cè)通信裝置1的文件取得請(qǐng)求指令時(shí)的處理一例的流程圖。
圖8是表示發(fā)送本發(fā)明的第一實(shí)施方式的接收側(cè)通信裝置2的文件取得請(qǐng)求指令后的處理一例的流程圖。
圖9是本發(fā)明的第一實(shí)施方式的發(fā)送側(cè)通信裝置1和接收側(cè)通信裝置2之間的通信概要的說明圖。
圖10是表示本發(fā)明的第二實(shí)施方式的框圖。
圖11是表示本發(fā)明的第二實(shí)施方式的發(fā)送側(cè)通信裝置1的影像發(fā)送時(shí)的處理一例的流程圖。
圖12是表示本發(fā)明的第二實(shí)施方式的接收側(cè)通信裝置2的影像接收時(shí)的處理一例的流程圖。
圖13是表示接收本發(fā)明的第二實(shí)施方式的發(fā)送側(cè)通信裝置1的文件取得請(qǐng)求指令時(shí)的處理一例的流程圖。
圖14是表示本發(fā)明的第二實(shí)施方式的發(fā)送側(cè)通信裝置1和接收側(cè)通信裝置2之間的通信概要的說明圖。
具體實(shí)施例方式
(第一實(shí)施方式)圖1是表示本發(fā)明的第一實(shí)施方式的框圖。圖中，1是發(fā)送側(cè)通信裝置，2是接收側(cè)通信裝置，3是數(shù)據(jù)交換網(wǎng)絡(luò)，11是通信部，12是攝像部，13是合成部，14是存儲(chǔ)部，15是文件數(shù)據(jù)，16是管理信息，17是數(shù)據(jù)傳送部，21是通信部，22是顯示部，23是指示部，24是數(shù)據(jù)取得部，25是存儲(chǔ)部。圖1所示的例中，發(fā)送側(cè)通信裝置1和接收側(cè)通信裝置2通過數(shù)據(jù)交換網(wǎng)絡(luò)3可通信地連接著。此外，在數(shù)據(jù)交換網(wǎng)絡(luò)3上還可以連接其它各種通信裝置，例如可以存在多個(gè)發(fā)送側(cè)通信裝置1，也可以存在多個(gè)接收側(cè)通信裝置2。
在該例中，發(fā)送側(cè)通信裝置1包括通信部11、攝像部12、合成部13、存儲(chǔ)部14、數(shù)據(jù)傳送部17等。通信部11通過數(shù)據(jù)交換網(wǎng)絡(luò)3進(jìn)行與接收側(cè)通信裝置2等的通信。此外，如后所述，從該通信部11進(jìn)行合成影像的發(fā)送和數(shù)據(jù)的傳送，分別利用各個(gè)通信連接進(jìn)行這些傳送。
攝像部12拍攝發(fā)送的影像。此外，發(fā)送的影像可以不用該攝像部12拍攝，也可以使用預(yù)先準(zhǔn)備的影像數(shù)據(jù)。
合成部13制作在發(fā)送的影像上合成了關(guān)聯(lián)的數(shù)據(jù)的圖像的合成影像，從通信部11發(fā)送。數(shù)據(jù)作為文件15被存儲(chǔ)在存儲(chǔ)部14中。在合成時(shí)，將數(shù)據(jù)的圖像在合成影像中的位置信息和合成的數(shù)據(jù)或文件15對(duì)應(yīng)起來存儲(chǔ)在存儲(chǔ)部14中，作為管理信息16。
存儲(chǔ)部14存儲(chǔ)需要由發(fā)送側(cè)通信裝置1事先存儲(chǔ)的各種信息。特別是存儲(chǔ)存儲(chǔ)了與影像合成的數(shù)據(jù)的文件15；將由合成部13同影像合成的數(shù)據(jù)的圖像在合成影像中的位置信息、和數(shù)據(jù)或文件15對(duì)應(yīng)起來的管理信息16等。
數(shù)據(jù)傳送部17在由通信部11接收到來自接收側(cè)通信裝置2的數(shù)據(jù)傳送的請(qǐng)求時(shí)，根據(jù)發(fā)送來的位置信息，確定在存儲(chǔ)部14中存儲(chǔ)著的管理信息16中建立了對(duì)應(yīng)的數(shù)據(jù)或文件15，將已確定的數(shù)據(jù)或已確定的文件15中的數(shù)據(jù)從通信部11發(fā)送給接收側(cè)通信裝置2。
在該例中，接收側(cè)通信裝置2包括通信部21、顯示部22、指定部23、數(shù)據(jù)取得部24、存儲(chǔ)部25等。通信部21通過數(shù)據(jù)交換網(wǎng)絡(luò)3進(jìn)行與發(fā)送側(cè)通信裝置1等的通信。例如，能夠進(jìn)行從發(fā)送側(cè)通信裝置1接收合成影像、或者發(fā)送數(shù)據(jù)的傳送請(qǐng)求來接收數(shù)據(jù)等的通信。這些通信可以利用各個(gè)通信連接進(jìn)行。
顯示部22在接收側(cè)通信裝置2中可以顯示提示給用戶的各種信息。作為顯示的信息，可以顯示例如由通信部21接收到的、在影像上合成了數(shù)據(jù)的圖像的合成影像。
指定部23在接收側(cè)通信裝置2中接受用戶進(jìn)行的各種指定。作為指定中的一個(gè)，在用戶指定了顯示于顯示部22上的合成影像中的1點(diǎn)或區(qū)域時(shí)，接受該被指定的位置信息。
數(shù)據(jù)取得部24經(jīng)由通信部21，向發(fā)送側(cè)通信裝置1請(qǐng)求數(shù)據(jù)的傳送，該數(shù)據(jù)包含用于確定由用戶在指定部23指定的合成影像中的位置信息、還有確定此時(shí)顯示在顯示部22上的合成影像的例如幀號(hào)等，使通信部21接收對(duì)應(yīng)的數(shù)據(jù)。
存儲(chǔ)部25存儲(chǔ)需要由接收側(cè)通信裝置2保存的各種信息。例如，根據(jù)需要存儲(chǔ)接收到的合成影像，或者在接收到由數(shù)據(jù)取得部24請(qǐng)求的數(shù)據(jù)時(shí)，可以存儲(chǔ)該數(shù)據(jù)。
接著，說明本發(fā)明的第一實(shí)施方式的動(dòng)作一例。圖2是表示本發(fā)明的第一實(shí)施方式的發(fā)送側(cè)通信裝置1的影像發(fā)送時(shí)的處理一例的流程圖，圖3是相同的影像發(fā)送時(shí)的處理一例的說明圖。首先，在S31判斷是否存在與影像分別發(fā)送的文件15(文件數(shù)據(jù))，若沒有數(shù)據(jù)傳送的必要，則在S38將影像從通信部11向接收側(cè)通信裝置2發(fā)送。
當(dāng)存在發(fā)送的文件15的情況下，在S32讀入文件15，在S33將文件15的內(nèi)容圖像化。圖3(A)表示文件15為多頁(yè)的數(shù)據(jù)的情況。在S33進(jìn)行圖像化時(shí)，將各頁(yè)進(jìn)行圖像化，或者僅對(duì)文件15的代表頁(yè)(例如第1頁(yè))進(jìn)行圖像化，也可以將他們適當(dāng)切換。
在S34，制作用于將在S33制作的1個(gè)或多個(gè)圖像綜合起來與影像合成的索引圖像(圖3(B))。此時(shí)，計(jì)算索引圖像中的各圖像的位置信息。例如，在圖3(B)中，計(jì)算用黑圈表示的位置信息。
在S35由合成部13對(duì)發(fā)送的影像和在S34制作的索引圖像進(jìn)行合成(圖3(C))。由此，影像和文件15的內(nèi)容被合成。在合成時(shí)，知道影像中的索引圖像的位置信息，所以在S36根據(jù)影像中的索引圖像的位置信息，將在S34算出的各圖像的位置信息再次計(jì)算為影像中的位置信息。圖3(D)中，示出了對(duì)合成到影像中的1個(gè)圖像再次計(jì)算影像中的位置信息，其結(jié)果，四角的位置信息為(x1，y1)、(x2，y1)、(x1，y2)、(x2，y2)的情況。
在S37中，根據(jù)在S36再次計(jì)算的圖像的位置信息制作管理信息16，存儲(chǔ)到存儲(chǔ)部14中。圖4是管理信息的一例的說明圖。圖4所示的管理信息16的一例中，將合成了索引圖像的影像中的幀號(hào)、成為存在于索引圖像中的圖像的基本的文件名和頁(yè)號(hào)、再加上在S36再次計(jì)算的圖像的位置信息對(duì)應(yīng)起來。一般可認(rèn)為影像是將多個(gè)幀圖像按時(shí)間序列排列而成的，即使在1個(gè)影像中改變時(shí)間來合成了包含不同圖像的索引圖像的情況下，也可以根據(jù)確定幀圖像的幀號(hào)進(jìn)行區(qū)分，由此能夠識(shí)別各圖像。當(dāng)然，也可以代替幀號(hào)而是與從影像開頭算起的時(shí)間建立對(duì)應(yīng)等，通過其他方法來進(jìn)行影像的確定，或者若在1個(gè)影像中只能合成相同的索引圖像，則不需要幀號(hào)等信息。此外，在不以頁(yè)單位而是用文件單位制作索引圖像中的圖像的情況下，也不需要頁(yè)欄。當(dāng)然，也可以與除此之外的各種信息對(duì)應(yīng)起來。
在S38中，將在S35合成了影像和索引圖像的合成影像，從通信部11向接收側(cè)通信裝置2發(fā)送。這樣，可將文件15的內(nèi)容的圖像和影像進(jìn)行合成，向接收側(cè)通信裝置2發(fā)送。
圖5是表示本發(fā)明的第一實(shí)施方式的接收側(cè)通信裝置2的影像接收時(shí)的處理一例的流程圖，圖6是同樣顯示的影像的一例的說明圖。在S41中，等待到由通信部21接收影像的新的幀后，在S42將接收到的新的幀顯示在顯示部22，并再現(xiàn)影像。例如如圖6所示，將合成了索引圖像的影像顯示在顯示部22。
接收側(cè)通信裝置2的用戶若參照被再現(xiàn)的影像，就認(rèn)為也參照了作為索引圖像顯示的圖像。在需要該圖像化的信息的情況下，通過由指定部23指定圖像，能夠請(qǐng)求與所指定的圖像對(duì)應(yīng)的數(shù)據(jù)的取得。在圖6中，示出用箭頭指定了上方圖像的例子。
在S43中，判斷用戶是否對(duì)指定部23進(jìn)行了指示。若沒有進(jìn)行指示，則返回S41繼續(xù)影像的再現(xiàn)。在用戶進(jìn)行了指示的情況下，數(shù)據(jù)取得部24在S44取得當(dāng)前顯示中的影像的幀號(hào)，并在S45取得用戶指定的影像中的位置信息。之后在S46，根據(jù)幀號(hào)和用戶所指定的位置信息，制作文件取得請(qǐng)求指令，在S47將文件取得請(qǐng)求指令從通信部21發(fā)送給發(fā)送側(cè)通信裝置1。之后返回S41，繼續(xù)影像的再現(xiàn)，并且，并行進(jìn)行對(duì)發(fā)送的文件取得請(qǐng)求指令的響應(yīng)處理。
此外，在未使用幀號(hào)的情況下，例如正在接收的影像中合成的索引圖像沒有被變更的情況下，不需要S44的處理，此外，在S45，根據(jù)用戶指定的位置信息，制作文件取得請(qǐng)求指令即可。
圖7是表示接收本發(fā)明的第一實(shí)施方式的發(fā)送側(cè)通信裝置1的文件取得請(qǐng)求指令時(shí)的處理一例的流程圖。在S51，判斷是否從接收側(cè)通信裝置2接收了文件取得請(qǐng)求指令，并等待到接收到文件取得請(qǐng)求指令為止。
若接收到文件取得請(qǐng)求指令，則在S52根據(jù)接收到的文件取得請(qǐng)求指令，取得幀號(hào)和表示用戶指定的位置的位置信息。此外，在不使用幀號(hào)的情況下，也可以不取得幀號(hào)。
在S53，從存儲(chǔ)部14讀取管理信息16，在S54根據(jù)在S52取得的幀號(hào)和位置信息，取得對(duì)應(yīng)的文件的信息(圖4所示的管理信息的例中，是文件名和頁(yè)的信息)。
在S55，判斷是否取得了對(duì)應(yīng)的文件的信息。在不存在對(duì)應(yīng)的文件的信息時(shí)，在S59，從通信部11向接收側(cè)通信裝置2發(fā)送進(jìn)行否定響應(yīng)的響應(yīng)指令，結(jié)束接收文件取得請(qǐng)求指令時(shí)的處理。
在取得了對(duì)應(yīng)的文件的信息的情況下，在S56從通信部11向接收側(cè)通信裝置2發(fā)送進(jìn)行肯定響應(yīng)的響應(yīng)指令，在S57確立用于傳送文件的新的通信連接，在S58將存儲(chǔ)在存儲(chǔ)部14的對(duì)應(yīng)的文件15(文件15的相應(yīng)頁(yè))向接收側(cè)通信裝置2傳送。由此，結(jié)束接收文件取得請(qǐng)求指令時(shí)的處理。
圖8是表示發(fā)送本發(fā)明的第一實(shí)施方式的接收側(cè)通信裝置2的文件取得請(qǐng)求指令后的處理一例的流程圖。在圖4的S47發(fā)送了文件取得請(qǐng)求指令之后，在S61等待來自發(fā)送側(cè)通信裝置1的響應(yīng)指令。若從發(fā)送側(cè)通信裝置1接收到響應(yīng)指令，則在S62檢查接收到的響應(yīng)指令是肯定響應(yīng)還是否定響應(yīng)。在接收到的響應(yīng)指令是否定響應(yīng)的情況下，在S65進(jìn)行例如將表示不存在相應(yīng)的文件的消息顯示在顯示部22等的錯(cuò)誤時(shí)的處理，并結(jié)束該處理。
在接收到的響應(yīng)指令為肯定響應(yīng)的情況下，在S63確立用于接收文件的傳送的新的通信連接，在S64接受文件(或者文件的頁(yè))的傳送。將接收到的文件(或者頁(yè))存儲(chǔ)到存儲(chǔ)部25中，并結(jié)束處理。對(duì)于存儲(chǔ)在存儲(chǔ)部25中的文件或文件的頁(yè)，用戶另行進(jìn)行訪問而參照內(nèi)容即可?；蛘?，也可以將接收到的文件或文件的頁(yè)自動(dòng)顯示在顯示部22。
圖9是本發(fā)明的第一實(shí)施方式的發(fā)送側(cè)通信裝置1和接收側(cè)通信裝置2之間的通信概要的說明圖。根據(jù)圖2、圖7說明了發(fā)送側(cè)通信裝置1的動(dòng)作一例，此外根據(jù)圖5、圖8說明了接收側(cè)通信裝置2的動(dòng)作一例。在此，基于兩者的通信，說明這些動(dòng)作的關(guān)系。
在該例中，在(71)從發(fā)送側(cè)通信裝置1向接收側(cè)通信裝置2發(fā)送請(qǐng)求通信連接開始的指令(例如，INVITE指令)，在(72)從接收側(cè)通信裝置2向發(fā)送側(cè)通信裝置1發(fā)送表示接收到該指令的意思的指令(例如OK指令)，如(73)所示地開始通信連接。當(dāng)然，也可以從接收側(cè)通信裝置2向發(fā)送側(cè)通信裝置1請(qǐng)求通信連接的開始。該例中，作為媒體會(huì)話，確立了影像用的RTP連接。
發(fā)送側(cè)通信裝置1利用已開始的通信連接傳送影像。在該例中，在影像傳送開始時(shí)僅傳送影像(74)，在中途合成影像和索引圖像進(jìn)行傳送(75)。這樣，索引圖像根據(jù)需要和影像進(jìn)行合成即可，或者，合成的索引圖像也可以在任意時(shí)刻進(jìn)行變更。即使進(jìn)行與這樣的索引圖像的合成，僅通過改變傳送的影像內(nèi)容，就可以利用相同的通信連接進(jìn)行通信。在接收到影像的接收側(cè)通信裝置2中，按照?qǐng)D5所示的動(dòng)作的一例，將影像顯示在顯示部22，或者，還可以將影像保存在存儲(chǔ)部25。
在接收側(cè)通信裝置2，由用戶指定了被顯示的影像中的索引圖像的位置情況下，在(81)將該指定的位置信息、幀號(hào)等作為文件取得請(qǐng)求指令(例如INVITE指令)向發(fā)送側(cè)通信裝置1發(fā)送。在此，例如圖6所示，在顯示有合成了索引圖像的影像時(shí)，在文件或文件頁(yè)的圖像上，由用戶指定對(duì)該文件或文件頁(yè)的傳送。根據(jù)來自該用戶的指定，進(jìn)行圖5的S43之后的處理，從接收側(cè)通信裝置2向發(fā)送側(cè)通信裝置1發(fā)送(81)所示的文件取得請(qǐng)求指令。
對(duì)于該文件取得請(qǐng)求指令，發(fā)送側(cè)通信裝置1進(jìn)行圖7所示的處理。根據(jù)接收到的文件取得請(qǐng)求指令取出位置信息、幀號(hào)等，根據(jù)管理信息16檢查是否有對(duì)應(yīng)的文件或頁(yè)的信息。若有對(duì)應(yīng)的文件或頁(yè)的信息，則在(82)將表示接收到文件取得請(qǐng)求指令的意思的指令(例如OK指令)返回給接收側(cè)通信裝置2，在(83)確立新的通信連接。該通信連接是與在(73)確立的用于傳送影像的通信連接分開而另行設(shè)置的。因此，(81)以后的通信能夠與利用了在(73)確立的通信連接的影像傳送并行地進(jìn)行。在該例中，作為媒體會(huì)話確立了文件傳送用的TCP會(huì)話。當(dāng)然，也可以確立作為其上位協(xié)議的FTP或HTTP的連接。
此外，若沒有對(duì)應(yīng)的文件或頁(yè)的信息，將錯(cuò)誤的指令發(fā)送給接收側(cè)通信裝置2，結(jié)束對(duì)接收到的文件取得請(qǐng)求指令的處理。此外，按照?qǐng)D8所示的動(dòng)作一例，接收側(cè)通信裝置2還接收錯(cuò)誤的指令并進(jìn)行錯(cuò)誤處理。
如果確立了新的通信連接，就利用該通信連接，傳送在文件取得請(qǐng)求指令中指定的位置信息、或與幀號(hào)對(duì)應(yīng)的文件、或頁(yè)的信息(84)。接收側(cè)通信裝置2按照?qǐng)D8所示的動(dòng)作一例，接收文件或頁(yè)的信息，保存到存儲(chǔ)部25等。
如果傳送結(jié)束，切斷在該文件或頁(yè)的信息的傳送中使用的通信連接(85)。通信連接的切斷也可以通過例如BYE指令等進(jìn)行。此外，傳送影像的通信連接繼續(xù)保持該狀態(tài)，所以并不是通過該通信連接的切斷來結(jié)束正在顯示的影像的再現(xiàn)。
此外，在合成了索引圖像的影像中的多個(gè)文件或頁(yè)被用戶指定的情況下，也可以將這些位置信息作為文件取得請(qǐng)求指令，一并從接收側(cè)通信裝置2向發(fā)送側(cè)通信裝置1發(fā)送。該情況下，發(fā)送側(cè)通信裝置1對(duì)被指定的各文件或頁(yè)確立對(duì)應(yīng)的通信連接，能夠并行地傳送文件或頁(yè)的信息。當(dāng)然，也可以確立數(shù)據(jù)傳送用的1個(gè)通信連接，用它來依次傳送文件或頁(yè)的信息。
這樣，發(fā)送側(cè)通信裝置1根據(jù)需要合成索引圖像和影像來發(fā)送，接收側(cè)通信裝置2在觀看接收到的影像的同時(shí)，根據(jù)需要指示數(shù)據(jù)的取得，由此能夠接收對(duì)應(yīng)的數(shù)據(jù)(文件或文件的頁(yè))。這樣，文件或文件中的頁(yè)的數(shù)據(jù)僅在產(chǎn)生傳送的必要時(shí)進(jìn)行傳送，所以能夠減輕數(shù)據(jù)交換網(wǎng)絡(luò)3的負(fù)載。此外，在接收側(cè)通信裝置2中，用戶只傳送認(rèn)為必要的數(shù)據(jù)，所以消除了因不必要的數(shù)據(jù)傳送而造成的數(shù)據(jù)存儲(chǔ)，能夠容易進(jìn)行數(shù)據(jù)的管理。再者，在發(fā)送側(cè)通信裝置1，也能夠在需要數(shù)據(jù)時(shí)將該需要的數(shù)據(jù)提示給接收側(cè)通信裝置2。
此外，例如在發(fā)送側(cè)通信裝置1將影像發(fā)送給多個(gè)接收側(cè)通信裝置2的情況下，根據(jù)發(fā)送目的地來選擇并發(fā)送合成了索引圖像的影像和未進(jìn)行合成的影像，或者在合成索引圖像來發(fā)送的情況下，也能夠合成對(duì)應(yīng)于發(fā)送目的地的索引圖像來發(fā)送。由此，發(fā)送側(cè)通信裝置1能夠按照發(fā)送目的地來控制能否發(fā)送數(shù)據(jù)或者哪個(gè)數(shù)據(jù)可以發(fā)送。此外，在如此地向多個(gè)接收側(cè)通信裝置2發(fā)送影像的情況下，能夠在與各個(gè)接收側(cè)通信裝置2之間確立各自的通信連接進(jìn)行通信。此外，在數(shù)據(jù)的傳送時(shí)，與傳送的接收側(cè)通信裝置2之間還確立其它的通信連接的動(dòng)作，與上述相同。
(第二實(shí)施方式)圖10是表示本發(fā)明的第二實(shí)施方式的框圖。圖中，在與圖1相同的部分附加相同的標(biāo)記，并省略重復(fù)的說明。26是管理信息。在上述的第一實(shí)施方式中，發(fā)送側(cè)通信裝置1存儲(chǔ)將合成影像中的數(shù)據(jù)的圖像的位置信息、和合成后的數(shù)據(jù)或文件15對(duì)應(yīng)起來的管理信息，但是在該第二實(shí)施方式中，示出了將管理信息發(fā)送給接收側(cè)通信裝置2，接收側(cè)通信裝置2將其作為管理信息26保存在存儲(chǔ)部25中的例子。
發(fā)送側(cè)通信裝置1的合成部13制作將關(guān)聯(lián)的數(shù)據(jù)的圖像合成在發(fā)送的影像上的合成影像并從通信部11發(fā)送，并且，在制作合成影像時(shí)，制作將合成影像中的數(shù)據(jù)的圖像的位置信息和合成后的數(shù)據(jù)或文件15對(duì)應(yīng)起來的管理信息，將該管理信息也從通信部11向接收側(cè)通信裝置2發(fā)送。管理信息的傳送方法是任意的。此外，也可以任意進(jìn)行將管理信息存儲(chǔ)在存儲(chǔ)部14中的動(dòng)作。
在通信部11接收到來自接收側(cè)通信裝置2的數(shù)據(jù)傳送的請(qǐng)求時(shí)，數(shù)據(jù)傳送部17根據(jù)確定發(fā)送來的數(shù)據(jù)的信息，從通信部11向接收側(cè)通信裝置2發(fā)送存儲(chǔ)在存儲(chǔ)部14的對(duì)應(yīng)的數(shù)據(jù)。
接收側(cè)通信裝置2的通信部21從發(fā)送側(cè)通信裝置1接收到合成影像時(shí)，從發(fā)送側(cè)通信裝置1接收該合成影像的管理信息26，并存儲(chǔ)到存儲(chǔ)部25。
數(shù)據(jù)取得部24根據(jù)在指定部23由用戶指定的合成影像中的位置信息，參考存儲(chǔ)在存儲(chǔ)部25的管理信息26，取得對(duì)應(yīng)的數(shù)據(jù)的信息，并將該數(shù)據(jù)的信息從通信部21向發(fā)送側(cè)通信裝置1發(fā)送，請(qǐng)求數(shù)據(jù)的傳送。并且，使通信部21接收針對(duì)該請(qǐng)求從發(fā)送側(cè)通信裝置1發(fā)送來的數(shù)據(jù)。
接著，說明本發(fā)明的第二實(shí)施方式的動(dòng)作一例。圖11是表示本發(fā)明的第二實(shí)施方式的發(fā)送側(cè)通信裝置1的影像發(fā)送時(shí)的處理一例的流程圖。此外，在進(jìn)行與圖2同樣的處理的部分標(biāo)注相同的標(biāo)記，S31～S38的處理與上述的第一實(shí)施方式大致相同。此外，在S37制作的管理信息根據(jù)需要存儲(chǔ)在存儲(chǔ)部14中就可以。作為管理信息，如上述的圖4所示，可以由至少包含位置信息、確定文件或頁(yè)等的數(shù)據(jù)的信息的各種信息構(gòu)成。
在S101中，制作傳送在S37制作的管理信息的指令，在S102，從通信部11向接收側(cè)通信裝置2發(fā)送該指令。這樣，例如能夠?qū)⑽募?5的內(nèi)容等數(shù)據(jù)的圖像與影像合成并發(fā)送給接收側(cè)通信裝置2，并且向接收側(cè)通信裝置2發(fā)送將該圖像的影像中的位置信息和數(shù)據(jù)對(duì)應(yīng)起來的管理信息。
圖12是表示本發(fā)明的第二實(shí)施方式的接收側(cè)通信裝置2的影像接收時(shí)的處理一例的流程圖。此外，在進(jìn)行與圖5相同處理的部分標(biāo)注相同的標(biāo)記，S41～S45的處理與上述的第一實(shí)施方式大致相同。在S41中，判斷為沒有接收影像的新的幀的情況下，進(jìn)一步在S114判斷是否接收到管理信息26，并據(jù)此，等待至接收到影像的新的幀或管理信息26。在S114判斷為接收到管理信息26的情況下，在S115將接收到的管理信息26存儲(chǔ)到存儲(chǔ)部25。
在S41判斷為接收到影像的新的幀的情況下，與第一實(shí)施方式同樣，在顯示部22顯示接收到的幀。若參照了該顯示的用戶指定影像中的位置，則在S44取得再現(xiàn)中的幀號(hào)，在S45取得被指定的位置信息。在該第二實(shí)施方式中，在S111取出存儲(chǔ)在存儲(chǔ)部25的管理信息26，從該管理信息取得與在S43、S44取得的幀號(hào)和位置信息對(duì)應(yīng)的數(shù)據(jù)的信息，例如文件名或其中的頁(yè)號(hào)等。根據(jù)該取得的數(shù)據(jù)的信息，在S112制作請(qǐng)求數(shù)據(jù)傳送的指令(在此是文件取得請(qǐng)求指令)，在S113，從通信部21向發(fā)送側(cè)通信裝置1發(fā)送該文件取得請(qǐng)求指令。此外，在沒有使用幀號(hào)的情況下，或者在同被合成在影像中的索引圖像的更新一起發(fā)送來新的管理信息的情況下，若利用最新的管理信息，則不需要取得幀號(hào)。
圖13是表示接收本發(fā)明的第二實(shí)施方式的發(fā)送側(cè)通信裝置1的接收文件取得請(qǐng)求指令時(shí)的處理一例的流程圖。此外，在進(jìn)行與圖7相同的處理的部分標(biāo)注相同的標(biāo)記，省略重復(fù)的說明。若在S51判斷為從接收側(cè)通信裝置2接收到文件取得請(qǐng)求指令，則在S121，根據(jù)接收到的文件取得請(qǐng)求指令，取得文件名或頁(yè)號(hào)等數(shù)據(jù)的信息。在S122，判斷是否存在被請(qǐng)求的數(shù)據(jù)，若不存在，則在S59進(jìn)行從通信部11向接收側(cè)通信裝置2發(fā)送進(jìn)行否定響應(yīng)的響應(yīng)指令的錯(cuò)誤處理等，并結(jié)束接收文件取得請(qǐng)求指令時(shí)的處理。
若取得了所請(qǐng)求的文件15或其頁(yè)等數(shù)據(jù)，則與上述第一實(shí)施方式的情況同樣，在S56從通信部11向接收側(cè)通信裝置2發(fā)送進(jìn)行肯定響應(yīng)的響應(yīng)指令，并在S57確立新的通信連接。然后，利用該新的通信連接，在S58向接收側(cè)通信裝置2傳送被請(qǐng)求的數(shù)據(jù)。由此，結(jié)束接收文件取得請(qǐng)求指令時(shí)的處理。
此外，本發(fā)明的第二實(shí)施方式的接收側(cè)通信裝置2的文件取得請(qǐng)求指令發(fā)送后的處理，與上述的圖8所示的第一實(shí)施方式的處理相同，所以在此省略詳細(xì)說明。簡(jiǎn)單來說，如果從發(fā)送側(cè)通信裝置1接收到響應(yīng)指令，則確立新的通信連接，利用該通信連接接收數(shù)據(jù)。
圖14是本發(fā)明的第二實(shí)施方式的發(fā)送側(cè)通信裝置1和接收側(cè)通信裝置2的通信概要的說明圖。利用圖11、圖13說明第二實(shí)施方式的發(fā)送側(cè)通信裝置1的動(dòng)作一例，此外利用圖12(和圖8)說明第二實(shí)施方式的接收側(cè)通信裝置2的動(dòng)作一例。在此，基于兩者的通信，說明它們的動(dòng)作關(guān)系。從開始進(jìn)行(71)～(75)的通信后到傳送影像(合成影像)為止的通信，與上述的第一實(shí)施方式相同。
在該第二實(shí)施方式中，在(75)傳送合成了索引圖像的合成影像的情況下，在(131)，從發(fā)送側(cè)通信裝置1向接收側(cè)通信裝置2，發(fā)送該合成影像中的數(shù)據(jù)的圖像的位置信息和數(shù)據(jù)的信息對(duì)應(yīng)起來的管理信息。管理信息例如可以用MESSAGE指令等傳送?；蛘咭部梢源_立別的通信連接進(jìn)行傳送。在接收側(cè)通信裝置2中，在圖12的S115將接收到的管理信息存儲(chǔ)在存儲(chǔ)部25。
在接收側(cè)通信裝置2中，在用戶指定了被顯示的影像中的位置的情況下，通過圖12的S44之后的處理，從管理信息取得數(shù)據(jù)的信息，并在(81)將其作為文件取得請(qǐng)求指令(例如INVITE指令等)發(fā)送給發(fā)送側(cè)通信裝置1。
發(fā)送側(cè)通信裝置1針對(duì)該文件取得請(qǐng)求指令進(jìn)行圖13所示的處理。根據(jù)接收到的文件取得請(qǐng)求指令，取得數(shù)據(jù)的信息，檢查是否存在對(duì)應(yīng)的文件或頁(yè)等數(shù)據(jù)。若存在數(shù)據(jù)，則在(82)向接收側(cè)通信裝置2返回表示接收到文件取得請(qǐng)求指令的意思的指令(例如OK指令)，在(83)確立新的通信連接，并使用該新的通信連接，向接收側(cè)通信裝置2傳送被請(qǐng)求的數(shù)據(jù)(84)。在該例中，新的通信連接作為媒體會(huì)話而確立了文件傳送用的TCP連接。當(dāng)然，也可以確立作為其上位協(xié)議的FTP或HTTP的連接。接收側(cè)通信裝置2按照?qǐng)D8所示的動(dòng)作一例，接收文件或頁(yè)的信息，保存在存儲(chǔ)器25等。
如果傳送結(jié)束，切斷在數(shù)據(jù)傳送中使用的通信連接(85)。通信連接的切斷可以通過例如BYE指令等進(jìn)行。此外，傳送了影像的通信連接繼續(xù)保持該狀態(tài)，所以并不是通過該通信連接的切斷而結(jié)束所顯示的影像的再現(xiàn)。
這樣，在該第二實(shí)施方式中也與上述的第一實(shí)施方式同樣，發(fā)送側(cè)通信裝置1根據(jù)需要合成索引圖像和影像進(jìn)行發(fā)送，接收側(cè)通信裝置2在觀看接收到的影像的同時(shí)，根據(jù)需要指示數(shù)據(jù)的取得，由此能夠接收對(duì)應(yīng)的數(shù)據(jù)(文件或文件的頁(yè))。因此，能夠享受與上述的第一實(shí)施方式相同的優(yōu)點(diǎn)。此外，在該第二實(shí)施方式中，也可以與第一實(shí)施方式同樣地進(jìn)行各種變形。
上述的第一實(shí)施方式、第二實(shí)施方式中的通信的概要中，對(duì)影像(合成影像)和數(shù)據(jù)使用了不同的通信連接，但是，可以利用例如TCP、UDP，進(jìn)一步其上位的通信協(xié)議(HTTP、FTP、RTP等)來實(shí)現(xiàn)它們。
如上所述的本發(fā)明的第一實(shí)施方式、第二實(shí)施方式及其變形等的系統(tǒng)，能夠應(yīng)用于例如電視會(huì)議系統(tǒng)等中。例如，將拍攝了會(huì)議的狀況、講話者等的特定人物等的影像發(fā)送到各會(huì)議場(chǎng)所，來進(jìn)行會(huì)議。在該會(huì)議過程中需要資料時(shí)，或者到了提供資料的適當(dāng)時(shí)間時(shí)，發(fā)送把資料的圖像和影像合成的合成影像。此時(shí)，在第二實(shí)施方式中，還發(fā)送管理信息。當(dāng)然，也可以不向各會(huì)議場(chǎng)所發(fā)送合成影像，也可以將按每個(gè)會(huì)議場(chǎng)所合成的不同圖像發(fā)送給每個(gè)會(huì)議場(chǎng)所，使每個(gè)會(huì)議場(chǎng)所的資料不同。在參照影像的各會(huì)議場(chǎng)所中，參考影像中顯示的資料的圖像，若需要?jiǎng)t通過指示該圖像，接收對(duì)應(yīng)的資料的傳送。
這樣，不需要像以前那樣預(yù)先發(fā)送全部資料、或者在會(huì)議中拍攝資料進(jìn)行發(fā)送等的時(shí)間，發(fā)送側(cè)在需要時(shí)向需要的會(huì)議場(chǎng)所提示資料的存在，在各會(huì)議場(chǎng)所僅接收需要的資料。
當(dāng)然，本發(fā)明不限于電視會(huì)議系統(tǒng)，還可以應(yīng)用于伴隨各種影像發(fā)送的用途中。
以上，利用優(yōu)選實(shí)施方式說明了本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來說，顯然能夠通過很多方式做出各種變形，并且可以做出不同于上述特定的實(shí)施方式的實(shí)施例。因此，想要用附加的權(quán)利要求來覆蓋落入本發(fā)明的精神和范圍之內(nèi)的所有的本發(fā)明的變形。
權(quán)利要求
1.一種通信裝置，其特征在于，包括通信部，通過網(wǎng)絡(luò)進(jìn)行通信；合成部，從上述通信部發(fā)送將文件數(shù)據(jù)的圖像合成在影像上的合成影像；存儲(chǔ)部，將上述文件數(shù)據(jù)的圖像在上述合成影像中的位置信息與上述文件數(shù)據(jù)對(duì)應(yīng)起來存儲(chǔ)；數(shù)據(jù)傳送部，根據(jù)上述通信部接收到的位置信息，從上述存儲(chǔ)部確定上述文件數(shù)據(jù)，將被確定的上述文件數(shù)據(jù)從上述通信部發(fā)送。
2.如權(quán)利要求1所述的通信裝置，其特征在于，上述通信部用與發(fā)送上述合成影像的通信連接不同的通信連接，發(fā)送上述文件數(shù)據(jù)。
3.如權(quán)利要求1所述的通信裝置，其特征在于，上述通信部接收多個(gè)位置信息，上述數(shù)據(jù)傳送部將根據(jù)上述多個(gè)位置信息確定的多個(gè)文件數(shù)據(jù)從上述通信部發(fā)送。
4.一種通信裝置，其特征在于，包括通信部，通過網(wǎng)絡(luò)進(jìn)行通信；合成部，從上述通信部發(fā)送將文件數(shù)據(jù)的圖像合成在影像上的合成影像；數(shù)據(jù)傳送部，從上述通信部發(fā)送將上述文件數(shù)據(jù)的圖像在上述合成影像中的位置信息和上述文件數(shù)據(jù)對(duì)應(yīng)起來的管理信息，并且，按照由上述通信部接收到的數(shù)據(jù)傳送的請(qǐng)求，從上述通信部發(fā)送文件數(shù)據(jù)。
5.如權(quán)利要求4所述的通信裝置，其特征在于，上述通信部用與發(fā)送上述合成影像的通信連接不同的通信連接，發(fā)送上述文件數(shù)據(jù)。
6.一種通信裝置，其特征在于，包括通信部，通過網(wǎng)絡(luò)進(jìn)行通信；顯示部，顯示由上述通信部接收的、將文件數(shù)據(jù)的圖像合成在影像上的合成影像；指定部，可由用戶指定被顯示的合成影像中的位置；數(shù)據(jù)取得部，利用上述通信部發(fā)送表示在上述指定部由用戶指定的上述合成影像中的位置的位置信息，使上述通信部接收對(duì)應(yīng)的文件數(shù)據(jù)。
7.如權(quán)利要求6所述的通信裝置，其特征在于，上述通信部用與接收上述合成影像的通信連接不同的通信連接，接收上述文件數(shù)據(jù)。
8.如權(quán)利要求6所述的通信裝置，其特征在于，上述數(shù)據(jù)取得部利用上述通信部發(fā)送多個(gè)位置信息，使上述通信部接收對(duì)應(yīng)的多個(gè)文件數(shù)據(jù)。
9.一種通信裝置，其特征在于，包括通信部，通過網(wǎng)絡(luò)進(jìn)行通信；顯示部，顯示由上述通信部接收的、將文件數(shù)據(jù)的圖像合成在影像上的合成影像；指定部，可由用戶指定被顯示的合成影像中的文件數(shù)據(jù)的圖像的位置；數(shù)據(jù)取得部，按照將由上述通信部接收的上述文件數(shù)據(jù)的圖像在上述合成影像中的位置和上述文件數(shù)據(jù)對(duì)應(yīng)起來的管理信息，根據(jù)表示在上述指定部由用戶指定的上述合成影像中的位置的位置信息來確定文件數(shù)據(jù)，并利用上述通信部向發(fā)送源請(qǐng)求傳送該文件數(shù)據(jù)，使上述通信部接收該文件數(shù)據(jù)。
10.如權(quán)利要求9所述的通信裝置，其特征在于，上述通信部用與接收上述合成影像的通信連接不同的通信連接，接收上述文件數(shù)據(jù)。
全文摘要
提供一種通信裝置，在進(jìn)行影像數(shù)據(jù)的傳送的同時(shí)，可以靈活地應(yīng)對(duì)文件數(shù)據(jù)的傳送。在發(fā)送側(cè)通信裝置中，將文件數(shù)據(jù)的內(nèi)容圖像化，在合成部同影像數(shù)據(jù)合成后，作為合成影像數(shù)據(jù)從通信部發(fā)送給接收側(cè)通信裝置。在存儲(chǔ)部存儲(chǔ)將合成時(shí)被合成在影像中的圖像的位置信息和對(duì)應(yīng)的文件數(shù)據(jù)對(duì)應(yīng)起來的管理信息。在接收側(cè)通信裝置中，在顯示部顯示接受到的合成影像。當(dāng)用戶用指定部指定了被合成在影像中的圖像時(shí)，數(shù)據(jù)取得部向發(fā)送側(cè)通信裝置發(fā)送包含被指定的影像中的位置信息的文件取得請(qǐng)求指令。發(fā)送側(cè)通信裝置根據(jù)文件取得請(qǐng)求指令，取出位置信息，從管理信息取出應(yīng)發(fā)送的文件數(shù)據(jù)，利用與影像不同的別的通信連接傳送給接收側(cè)通信裝置。
文檔編號(hào)H04L12/18GK101051919SQ200710091980
公開日2007年10月10日 申請(qǐng)日期2007年3月30日 優(yōu)先權(quán)日2006年4月3日
發(fā)明者谷本好史 申請(qǐng)人:村田機(jī)械株式會(huì)社