用于使用設(shè)備來處理畫面的方法和裝置的制造方法
【專利說明】用于使用設(shè)備來處理畫面的方法和裝置
[0001]對(duì)相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求于2014年10月15日向韓國知識(shí)產(chǎn)權(quán)局提交的被分配序列號(hào)10-2014-0139071的韓國專利申請(qǐng)的優(yōu)先權(quán)，其全部公開通過引用合并于此。
技術(shù)領(lǐng)域
[0003]本公開涉及用于處理聯(lián)接在設(shè)備之間的畫面的方法和裝置。
【背景技術(shù)】
[0004]通常，移動(dòng)設(shè)備是尺寸足夠小到適合在口袋中并包括具有觸摸輸入功能的顯示屏幕或小尺寸鍵盤的計(jì)算設(shè)備。然而，這樣的移動(dòng)設(shè)備的屏幕通常小于向其提供的內(nèi)容的尺寸，因此應(yīng)附加顯示窗口或應(yīng)執(zhí)行屏幕滾動(dòng)。頭戴式顯示(HMD)設(shè)備應(yīng)被理解為被設(shè)計(jì)用于用戶在將HMD設(shè)備像眼鏡那樣佩戴在其頭部上時(shí)觀看虛擬圖像的各種圖像顯示設(shè)備。HMD設(shè)備不僅能夠向用戶提供簡(jiǎn)單的顯示功能，而且能夠向用戶提供具有作為顯示功能與增強(qiáng)現(xiàn)實(shí)技術(shù)、N畫面技術(shù)等的組合的各種便利功能。然而，HMD設(shè)備的用戶可能間接地嘗試控制在HMD設(shè)備的眼鏡上顯示的虛擬圖像，例如通過朝向虛擬圖像做手勢(shì)、做出語音輸入、或觸摸眼鏡的臂，而不物理地觸摸虛擬圖像。因此，難以準(zhǔn)確地控制虛擬圖像。
[0005]將上述信息僅呈現(xiàn)為背景信息，以幫助理解本公開。尚未確定并且尚未斷定是否可以將上述內(nèi)容應(yīng)用為關(guān)于本公開的現(xiàn)有技術(shù)。

【發(fā)明內(nèi)容】

[0006]本公開的方面用于解決至少上述問題和/或確定以及提供至少下述優(yōu)點(diǎn)。因此，本公開的一個(gè)方面是提供一種用于通過使用設(shè)備來處理聯(lián)接到實(shí)際畫面的附加畫面的方法和裝置。
[0007]依據(jù)本公開的一個(gè)方面，提供了一種由第二設(shè)備執(zhí)行的處理第一設(shè)備上的畫面的方法。該方法包括:根據(jù)關(guān)于第一設(shè)備的畫面顯示請(qǐng)求在第二設(shè)備處獲得在第一設(shè)備上顯示的顯示畫面和與顯示畫面相關(guān)的信息；在第二設(shè)備處基于第一設(shè)備上的顯示畫面和與顯示畫面相關(guān)的信息來確定附加畫面；以及在所述第一設(shè)備上的顯示畫面附近顯示附加畫面。
[0008]與顯示畫面相關(guān)的信息可以包括以下中的至少一個(gè):第一設(shè)備的形狀信息、要在第一設(shè)備上的顯示畫面附近顯示的附加畫面的位置、附加畫面的大小、與附加畫面相關(guān)的內(nèi)容信息和使用相機(jī)捕捉的第一設(shè)備的狀態(tài)信息。
[0009]第一設(shè)備的狀態(tài)信息可以包括第一設(shè)備的畫面的位置和角度。
[0010]第一設(shè)備的狀態(tài)信息可以使用相機(jī)來定期更新。
[0011]顯示附加畫面可以包括:捕捉第一設(shè)備的圖像；基于所捕捉的第一設(shè)備的圖像來確定第一設(shè)備的畫面的位置和方向；以及基于第一設(shè)備的畫面的位置和方向在第一設(shè)備的畫面的預(yù)定位置顯示附加畫面。
[0012]確定第一設(shè)備的畫面的位置和方向可以包括:從第一設(shè)備接收第一設(shè)備的形狀信息；從第一設(shè)備的形狀信息中提取特征點(diǎn)；以及將第一設(shè)備的圖像的特征點(diǎn)與第一設(shè)備的形狀信息的特征點(diǎn)進(jìn)行比較，以確定第一設(shè)備的畫面的位置和方向。
[0013]該方法可以進(jìn)一步包括:根據(jù)在第一和第二設(shè)備上執(zhí)行的用戶輸入來控制第一設(shè)備上的顯示畫面和附加畫面被相互聯(lián)接。
[0014]控制第一設(shè)備上的顯示畫面和附加畫面被相互聯(lián)接可以包括:根據(jù)在相應(yīng)第一和第二設(shè)備上執(zhí)行的用戶輸入來控制第一設(shè)備上的顯示畫面和第二設(shè)備上的附加畫面被相互聯(lián)接。
[0015]控制第一設(shè)備上的顯示畫面和附加畫面被相互聯(lián)接可以包括:根據(jù)從第一設(shè)備接收的用戶輸入來識(shí)別用于結(jié)束附加畫面的命令；以及通過將用于結(jié)束附加畫面的命令傳送到第二設(shè)備來結(jié)束附加畫面。
[0016]控制第一設(shè)備上的顯示畫面和附加畫面被相互聯(lián)接可以包括:通過使用相機(jī)來識(shí)別在第二設(shè)備上的附加畫面上的用戶輸入；以及當(dāng)識(shí)別出用戶輸入時(shí)，結(jié)束附加畫面并且將指示附加畫面的結(jié)束的信息傳送到第一設(shè)備。
[0017]依據(jù)本公開的另一方面，提供了一種由第二設(shè)備執(zhí)行的通過使用包括對(duì)象的第一設(shè)備來處理畫面的方法。該方法包括:在第二設(shè)備處通過從第一設(shè)備接收與對(duì)象相關(guān)的信息來識(shí)別對(duì)象，并將指示識(shí)別對(duì)象的結(jié)果的信息傳送到第一設(shè)備；在第二設(shè)備處根據(jù)關(guān)于第一設(shè)備的附加畫面顯示請(qǐng)求來獲得關(guān)于與所識(shí)別的對(duì)象相關(guān)的顯示畫面的信息；在第二設(shè)備處基于關(guān)于與對(duì)象相關(guān)的顯示畫面的信息來確定要在對(duì)象上的預(yù)定位置顯示的附加畫面；以及在對(duì)象上的預(yù)定位置上顯示附加畫面。
[0018]該方法可以進(jìn)一步包括:從第一設(shè)備獲得關(guān)于在對(duì)象的預(yù)定位置上設(shè)置的顯示區(qū)域的信息。
[0019]關(guān)于與對(duì)象相關(guān)的顯示畫面的信息可以包括:對(duì)象的形狀信息、要在對(duì)象上顯示的附加畫面的位置和方向、附加畫面的大小、與附加畫面相關(guān)的內(nèi)容信息以及使用相機(jī)捕捉的對(duì)象的狀態(tài)信息。
[0020]對(duì)象的狀態(tài)信息可以包括對(duì)象的位置和角度。
[0021 ] 對(duì)象的狀態(tài)信息可以使用相機(jī)來定期更新。
[0022]顯示附加畫面可以包括:提供使用相機(jī)來捕捉對(duì)象的圖像；從所捕捉的對(duì)象的圖像來提取對(duì)象的位置和角度；以及基于對(duì)象的位置和角度來確定要顯示附加畫面的位置和方向。
[0023]提取關(guān)于對(duì)象的位置和角度可以包括:從第一設(shè)備接收對(duì)象的形狀信息；從對(duì)象的形狀信息提取特征點(diǎn)；以及將對(duì)象的形狀信息的特征點(diǎn)與所捕捉的對(duì)象的圖像的特征點(diǎn)進(jìn)行比較，以提取關(guān)于對(duì)象的位置和角度的信息。
[0024]根據(jù)本公開的又一方面，提供了一種由第二設(shè)備執(zhí)行的通過使用第一設(shè)備來處理附加畫面的方法。該方法包括:在第二設(shè)備處根據(jù)關(guān)于第一設(shè)備的畫面顯示請(qǐng)求來獲得關(guān)于附加畫面的信息和第一設(shè)備的狀態(tài)信息；在第二設(shè)備處基于關(guān)于附加畫面的信息和第一設(shè)備的狀態(tài)信息來確定要顯示附加畫面的位置；在所確定的位置顯示附加畫面；以及根據(jù)與附加畫面相關(guān)的用戶輸入來控制第一和第二設(shè)備被相互聯(lián)接。
[0025]根據(jù)本公開的又一方面，提供了一種由第一設(shè)備執(zhí)行的處理第二設(shè)備上的畫面的方法。該方法包括:在第一設(shè)備處根據(jù)畫面顯示請(qǐng)求來將顯示畫面和與顯示畫面相關(guān)的信息傳送到第二設(shè)備；在第一設(shè)備處從第二設(shè)備接收關(guān)于在第二設(shè)備上顯示的附加信息的控制信息；以及在第一設(shè)備處根據(jù)控制信息來更新與顯示畫面相關(guān)的信息。
[0026]與顯示畫面相關(guān)的信息可以包括要在設(shè)備的顯示畫面附近顯示的附加畫面的位置、附加畫面的大小和與附加畫面相關(guān)的內(nèi)容信息。
[0027]依據(jù)本公開的又一方面，提供了一種用于通過使用設(shè)備來處理畫面的裝置。該裝置包括:顯示單元，被配置為顯示圖像；通信單元，被配置為根據(jù)關(guān)于設(shè)備的畫面顯示請(qǐng)求來接收設(shè)備上的顯示畫面和與顯示畫面相關(guān)的信息；以及控制單元，被配置為基于與由通信單元獲得的顯示畫面相關(guān)的信息來獲得附加畫面，在顯示單元上顯示附加畫面，使得在設(shè)備的顯示畫面附近顯示附加畫面，并且根據(jù)用戶輸入來控制設(shè)備的顯示畫面和附加畫面被相互聯(lián)接。
[0028]控制單元可以通過使用相機(jī)來對(duì)設(shè)備的形狀進(jìn)行拍照，基于設(shè)備的形狀來從狀態(tài)信息中提取設(shè)備的畫面的位置和角度，以及基于設(shè)備的畫面的位置和角度來確定要顯示附加畫面的區(qū)域。
[0029]控制單元可以根據(jù)在設(shè)備上執(zhí)行的用戶輸入和與附加畫面相關(guān)的用戶輸入來控制設(shè)備上的顯示畫面和附加畫面被相互聯(lián)接。
[0030]控制單元可以通過相機(jī)來識(shí)別附加畫面上的用戶輸入，在用戶輸入指令結(jié)束附加畫面時(shí)結(jié)束附加畫面，以及將通知附加畫面的結(jié)束的信息傳送給設(shè)備。
[0031]依據(jù)本公開的又一方面，提供了一種非瞬時(shí)計(jì)算機(jī)可讀記錄介質(zhì)。該記錄介質(zhì)上記錄有包括用于執(zhí)行由第二設(shè)備執(zhí)行的處理第一設(shè)備上的畫面的方法的指令的至少一個(gè)程序。該方法包括:根據(jù)關(guān)于第一設(shè)備的畫面顯示請(qǐng)求在第二設(shè)備處獲得在第一設(shè)備上顯示的顯示畫面和與顯示畫面相關(guān)的信息；在第二設(shè)備處基于與顯示畫面相關(guān)的信息來確定附加畫面；以及在所述第一設(shè)備上的顯示畫面附近顯示附加畫面。
[0032]從以下結(jié)合附圖的公開本公開的各個(gè)實(shí)施例的詳細(xì)描述，本公開的其他方面、優(yōu)點(diǎn)和突出特征對(duì)于本領(lǐng)域技術(shù)人員將變得顯而易見。
【附圖說明】
[0033]從下面結(jié)合附圖進(jìn)行的詳細(xì)描述，本公開的某些實(shí)施例的上述和其他方面、特征和優(yōu)點(diǎn)將變得更明顯，其中:
[0034]圖1是根據(jù)本公開的實(shí)施例的被配置為在第一設(shè)備和第二設(shè)備之間處理畫面的系統(tǒng)的框圖；
[0035]圖2是根據(jù)本公開的實(shí)施例的被配置為在第一設(shè)備和第二設(shè)備之間處理畫面的系統(tǒng)的框圖；
[0036]圖3是根據(jù)本公開的實(shí)施例的被配置為在第一設(shè)備和第二設(shè)備之間處理畫面的系統(tǒng)的框圖；
[0037]圖4是根據(jù)本公開的實(shí)施例的被配置為在第一設(shè)備和第二設(shè)備之間處理畫面的系統(tǒng)的框圖；
[0038]圖5是圖示根據(jù)本公開的實(shí)施例的其中第二設(shè)備處理要聯(lián)接到第一設(shè)備的畫面的附加畫面的情況的圖；
[0039]圖6是圖示根據(jù)本公開的實(shí)施例的其中第二設(shè)備在對(duì)象周圍顯示虛擬圖像類型的附加畫面的情況的圖；
[0040]圖7是圖示根據(jù)本公開的實(shí)施例的其中第二設(shè)備顯示要聯(lián)接到對(duì)象的附加畫面的情況的圖；
[0041]圖8是根據(jù)本公開的實(shí)施例的由第二設(shè)備執(zhí)行的處理聯(lián)接到在第一設(shè)備上顯示的畫面的畫面的方法的流程圖；
[0042]圖9是根據(jù)本公開的實(shí)施例的由第二設(shè)備執(zhí)行的處理聯(lián)接到在第一設(shè)備上顯示的畫面的畫面的方法的流程圖；
[0043]圖10是根據(jù)本公開的實(shí)施例的由第一設(shè)備執(zhí)行的處理在第二設(shè)備上顯示的畫面的方法的流程圖；
[0044]圖11是根據(jù)本公開的實(shí)施例的由第二設(shè)備執(zhí)行的通過使用在其上沒有顯示畫面的第一設(shè)備來處理畫面的方法的流程圖；
[0045]圖12是根據(jù)本公開的實(shí)施例的由第二設(shè)備執(zhí)行的通過使用附加地包括對(duì)象的第一設(shè)備來處理畫面的方法的流程圖；
[0046]圖13是根據(jù)本公開的實(shí)施例的由第二設(shè)備執(zhí)行的顯示要聯(lián)接到在第一設(shè)備上顯示的畫面的附加畫面的方法的流程圖；
[0047]圖14是根據(jù)本公開的實(shí)施例的由第二設(shè)備執(zhí)行的顯示要聯(lián)接到在包括對(duì)象的第一設(shè)備上顯示的畫面的畫面的方法的流程圖；
[0048]圖15是根據(jù)本公開的實(shí)施例的由第二設(shè)備執(zhí)行的控制附加畫面的方法的流程圖；
[0049]圖16是根據(jù)本公開的實(shí)施例的由第一設(shè)備執(zhí)行的控制結(jié)束附加畫面的方法的流程圖；
[0050]圖17是根據(jù)本公開的實(shí)施例的由第二設(shè)備執(zhí)行的控制要在第一設(shè)備上顯示的附加畫面的方法的流程圖；
[0051]圖18A和圖18B是圖示根據(jù)本公開的實(shí)施例的由第二設(shè)備執(zhí)行的在第一設(shè)備上的顯示畫面附近顯示虛擬圖像類型的附加畫面以及控制附加畫面的方法的圖；
[0052]圖19A和圖19B是圖示根據(jù)本公開的實(shí)施例的由第二設(shè)備執(zhí)行的在第一設(shè)備上的顯示畫面附近顯示虛擬圖像類型的附加畫面以及控制附加畫面的方法的圖；
[0053]圖20是圖示根據(jù)本公開的實(shí)施例的由第二設(shè)備執(zhí)行的在第一設(shè)備上的顯示畫面周圍顯示三維(3D)圖像類型的附加畫面以及控制附加畫面的方法的圖；
[0054]圖21是根據(jù)本公開的實(shí)施例的第一設(shè)備的框圖；
[0055]圖22是根據(jù)本公開的實(shí)施例的第二設(shè)備的外部；以及
[0056]圖23和圖24是根據(jù)本公開的各種實(shí)施例的第二設(shè)備的框圖。
[0057]在整個(gè)附圖中，相同的參考數(shù)字將被理解為指代相同的部分、組件和結(jié)構(gòu)。
【具體實(shí)施方式】
[0058]提供下面參考附圖的描述，以幫助完全理解由權(quán)利要求及其等同物限定的本公開的各個(gè)實(shí)施例。其包括各種特定細(xì)節(jié)，以幫助理解，但這些應(yīng)被認(rèn)為僅是示范性的。因此，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到在不背離本公開的范圍和精神的情況下可以對(duì)在此描述的各個(gè)實(shí)施例進(jìn)行變化和修改。此外，為了清楚和簡(jiǎn)潔，可能省略已知功能和結(jié)構(gòu)的描述。
[0059]下面的描述和權(quán)利要求中使用的詞語和詞不限于書面含義，而是僅由發(fā)明人用來使得能夠清楚并一致地理解本公開。因此，對(duì)于本領(lǐng)域技術(shù)人員顯而易見的是，提供本公開的各個(gè)實(shí)施例的下面描述僅用于說明的目的，并且不用于限制由所附的權(quán)利要求及其結(jié)構(gòu)等同物限定的本公開的目的。
[0060]應(yīng)理解，單數(shù)形式“一”、“一個(gè)”和“該”包括單數(shù)指代，除非上下文明確另外指示并非如此。因此，例如，對(duì)“一個(gè)組件表面”的指代包括對(duì)這樣的表面中的一個(gè)或多個(gè)的指代。
[0061]應(yīng)理解，盡管在此可能使用術(shù)語“第一”、“第二”、“第三”等來描述各種元件、組件、區(qū)域、層和/或部分，但是這些元件、組件、區(qū)域、層和/或部分不應(yīng)被這些術(shù)語限制。這些術(shù)語僅用于將一個(gè)元件、組件、區(qū)域、層或部分與另一個(gè)區(qū)域、層或部分進(jìn)行區(qū)分。
[0062]在本公開中使用的特定術(shù)語不旨在限制本公開的范圍，并且僅用于更好地理解(便于理解)本公開的各個(gè)實(shí)施例。在本公開中，如果可能