用于穩(wěn)定顯示場(chǎng)景輸出的技術(shù)的制作方法
【專利說明】用于穩(wěn)定顯示場(chǎng)景輸出的技術(shù)
[0001]背景
[0002]能夠顯示各種文本和圖形信息(包括圖像、文本和視頻回放)的計(jì)算設(shè)備(包括移動(dòng)設(shè)備、便攜式設(shè)備等等)變得非常流行。例如，許多用戶可能喜歡使用計(jì)算設(shè)備來向他們的朋友放映家庭電影，從因特網(wǎng)播放流送視頻或觀看直接下載到他們的計(jì)算設(shè)備的其他視頻。然而，這些計(jì)算設(shè)備一般具有小屏幕尺寸和有限的電池壽命。
[0003]盡管這些及其他固有限制，用戶通常要求這樣的計(jì)算設(shè)備能夠以高質(zhì)量形式顯示內(nèi)容而不會(huì)損害電池壽命。如此，當(dāng)用戶正在觀看信息或顯示場(chǎng)景時(shí)，由計(jì)算設(shè)備或用戶的運(yùn)動(dòng)所導(dǎo)致的搖晃的或抖動(dòng)的輸出一般是不希望的。
[0004]附圖簡(jiǎn)述
[0005]本發(fā)明的各實(shí)施例作為示例而非限制在各個(gè)附圖中示出，在附圖中類似的參考編號(hào)指代類似的元件。
[0006]圖1示出了計(jì)算系統(tǒng)的示例性實(shí)施例。
[0007]圖2示出了在視頻輸出過程中用于幀穩(wěn)定的第一邏輯流程圖的實(shí)施例。
[0008]圖3A-3D示出了在一個(gè)方向上幀調(diào)整的實(shí)施例。
[0009]圖4A-4D示出了在多個(gè)方向上幀調(diào)整的實(shí)施例。
[0010]圖5A-?示出了基于特征運(yùn)動(dòng)的在一個(gè)方向上的幀調(diào)整的實(shí)施例。
[0011]圖6A-6D示出了基于特征運(yùn)動(dòng)的在多個(gè)方向上的幀調(diào)整的實(shí)施例。
[0012]圖7A-7D示出了基于設(shè)備移動(dòng)的在一個(gè)方向上的幀調(diào)整的實(shí)施例。
[0013]圖8A-8D示出了基于設(shè)備移動(dòng)的在多個(gè)方向上的幀調(diào)整的實(shí)施例。
[0014]圖9示出了計(jì)算設(shè)備和設(shè)備運(yùn)動(dòng)檢測(cè)的實(shí)施例。
[0015]圖10示出了計(jì)算設(shè)備和特征運(yùn)動(dòng)檢測(cè)的實(shí)施例。
[0016]圖11示出了計(jì)算設(shè)備和設(shè)備和特征運(yùn)動(dòng)檢測(cè)的實(shí)施例。
[0017]圖12示出了在視頻輸出過程中用于幀穩(wěn)定的第二邏輯流程圖的實(shí)施例。
[0018]圖13示出了計(jì)算設(shè)備的實(shí)施例。
[0019]圖14示出了第一計(jì)算架構(gòu)的實(shí)施例。
[0020]圖15示出了計(jì)算設(shè)備的實(shí)施例。
【具體實(shí)施方式】
[0021]各實(shí)施例一般涉及對(duì)于顯示設(shè)備上的顯示場(chǎng)景的輸出進(jìn)行幀調(diào)整，以補(bǔ)償計(jì)算設(shè)備、計(jì)算設(shè)備的用戶、用戶的特征、或其組合的運(yùn)動(dòng)?？赡苡啥喾N理由導(dǎo)致計(jì)算設(shè)備、用戶等等的運(yùn)動(dòng)。例如，計(jì)算設(shè)備可能安裝在小汽車的擋風(fēng)玻璃上，并可能由于小汽車的移動(dòng)和彈起而移動(dòng)。在另一個(gè)示例中，用戶可能通過握住設(shè)備并移動(dòng)他的或她的手臂，移動(dòng)計(jì)算設(shè)備。在另一個(gè)示例中，計(jì)算設(shè)備可能固定于諸如踏車之類的對(duì)象上，然而，用戶可能在踏車上移動(dòng)。在某些實(shí)施例中，計(jì)算設(shè)備和用戶兩者都可能移動(dòng)。例如，用戶可能握住計(jì)算設(shè)備，移動(dòng)他的或她的手臂，沿著街道散步。
[0022]在所有這些示例中，輸出可能由于計(jì)算設(shè)備、用戶、用戶的眼睛等等的運(yùn)動(dòng)，顯得搖晃、抖動(dòng)、無法觀看。如此，各實(shí)施例涉及調(diào)整輸出的顯示場(chǎng)景幀，以補(bǔ)償上文所描述的運(yùn)動(dòng)中的任何一種。此外，顯示場(chǎng)景可以包括任何類型的輸出，諸如視頻輸出流、文本輸出、圖像輸出、圖形輸出、網(wǎng)頁輸出等等。各實(shí)施例不僅限于此，顯示場(chǎng)景可以輸出可以顯示在顯示設(shè)備上的任何類型的信息。
[0023]進(jìn)一步，此處所描述的各種技術(shù)涉及當(dāng)呈現(xiàn)在計(jì)算設(shè)備的顯示組件上時(shí)調(diào)整顯示場(chǎng)景幀的位置或尺寸。位置和尺寸可以在任何方向上調(diào)整，并可以基于計(jì)算設(shè)備、用戶、用戶的眼睛等等的檢測(cè)到的運(yùn)動(dòng)。例如，計(jì)算設(shè)備可以包括檢測(cè)并捕捉用戶和用戶眼睛的移動(dòng)的圖像信息的相機(jī)組件。相機(jī)組件可以捕捉圖像信息，并向計(jì)算設(shè)備的一個(gè)或多個(gè)其他組件發(fā)送信息，供進(jìn)一步處理。在各實(shí)施例中，可以對(duì)圖像信息應(yīng)用一個(gè)或多個(gè)圖像穩(wěn)定和特征跟蹤算法，以確定用戶的運(yùn)動(dòng)(無論是計(jì)算設(shè)備的運(yùn)動(dòng)還是用戶的運(yùn)動(dòng)引起的)，確定用戶眼睛的焦點(diǎn)并跟蹤用戶眼睛的移動(dòng)。如下面比較詳細(xì)地討論的，此圖像運(yùn)動(dòng)信息可以被用來調(diào)整一個(gè)或多個(gè)幀的位置或尺寸，以補(bǔ)償運(yùn)動(dòng)。然而，單獨(dú)地利用圖像穩(wěn)定和特征跟蹤算法來處理圖像信息可能是處理密集的，并使用太多電池電量。
[0024]如此，各實(shí)施例還可以包括檢測(cè)計(jì)算設(shè)備的運(yùn)動(dòng)的運(yùn)動(dòng)傳感器組件。例如，運(yùn)動(dòng)傳感器組件可以是可以檢測(cè)設(shè)備在任何方向上的運(yùn)動(dòng)的慣性傳感器，諸如加速度計(jì)。此運(yùn)動(dòng)信息可以直接用于調(diào)整顯示場(chǎng)景幀的位置或尺寸。此外，當(dāng)處理圖像信息時(shí)，運(yùn)動(dòng)信息還可以被用作一個(gè)或多個(gè)圖像穩(wěn)定和特征跟蹤算法的運(yùn)動(dòng)估計(jì)和起始點(diǎn)。通過使用運(yùn)動(dòng)估計(jì)作為起始點(diǎn)，由于處理圖像信息的較少迭代，可以實(shí)現(xiàn)顯著的功率和電池節(jié)省。通過下列描述，各種細(xì)節(jié)將變得顯而易見。
[0025]一般參考此處所使用的符號(hào)和命名法，可以以按照在計(jì)算機(jī)或計(jì)算機(jī)網(wǎng)絡(luò)上執(zhí)行的程序過程來呈現(xiàn)隨后的詳細(xì)描述。這些過程描述和表示法被所屬領(lǐng)域的技術(shù)人員用于最有效地將他們的工作實(shí)質(zhì)傳遞給本領(lǐng)域技術(shù)人員。
[0026]過程在本文中一般是指導(dǎo)致所希望結(jié)果的自洽的操作序列。這些操作是那些需要對(duì)物理量進(jìn)行物理操縱的那些操作。盡管不是必要的，但通常這些量采用能夠被存儲(chǔ)、傳輸、組合、比較以及以其它方式操縱的電和/或磁或光信號(hào)的形式。已經(jīng)證明有時(shí)，主要是由于通用的原因，將這些信號(hào)稱為位、值、元素、符號(hào)、字符、項(xiàng)、數(shù)字等等比較方便。然而，值得注意的是，所有那些和/或類似的項(xiàng)將與適當(dāng)?shù)奈锢砹筷P(guān)聯(lián)，而且僅僅是應(yīng)用于這些量的方便的標(biāo)記。
[0027]進(jìn)一步地，操縱常常以諸如添加或比較(通常與由人類操作員執(zhí)行的智力操作相關(guān)聯(lián))之類的術(shù)語來引用。然而，在大多數(shù)情況下，在構(gòu)成一個(gè)或多個(gè)實(shí)施例的一部分的本文所述操作中的任何一種操作中，這樣的人類操作員的能力不是必須的，或不是需要的。相反，操作是機(jī)器操作。用于執(zhí)行各實(shí)施例的操作的有用機(jī)器包括通用數(shù)字計(jì)算機(jī)或類似的設(shè)備。
[0028]各實(shí)施例還涉及用于執(zhí)行這些操作的設(shè)備或系統(tǒng)。可以為所需的用途專門地構(gòu)建此設(shè)備，或者該設(shè)備也可以包括由存儲(chǔ)在計(jì)算機(jī)中的計(jì)算機(jī)程序有選擇地激活和/或重新配置的通用計(jì)算機(jī)。此處所呈現(xiàn)的過程不固有地涉及特定計(jì)算機(jī)或其他設(shè)備。各種通用機(jī)器可以與根據(jù)此處的教導(dǎo)編寫的程序一起使用，或者構(gòu)建更加專用的設(shè)備來執(zhí)行所需的方法步驟也是比較方便的。根據(jù)給定的描述，會(huì)呈現(xiàn)這些機(jī)器中的各種機(jī)器的所需結(jié)構(gòu)。
[0029]圖1示出了計(jì)算系統(tǒng)100的一般總覽，包括用于自適應(yīng)地穩(wěn)定顯示設(shè)備上諸如視頻輸出流之類的輸出的計(jì)算設(shè)備105。更具體而言，圖1示出了計(jì)算設(shè)備105，包括相機(jī)組件102、跟蹤組件104、運(yùn)動(dòng)傳感器組件106、運(yùn)動(dòng)補(bǔ)償組件108和顯示組件110。在各實(shí)施例中，相機(jī)組件102可以接收或檢測(cè)圖像信息120，運(yùn)動(dòng)傳感器組件106可以接收或檢測(cè)運(yùn)動(dòng)信息130。雖然圖1示出了數(shù)量有限的組件，但是，各實(shí)施例可以具有任意數(shù)量的用于視頻流輸出的幀穩(wěn)定的組件。進(jìn)一步，各種組件可以以軟件、硬件或其組合來實(shí)現(xiàn)。
[0030]在各實(shí)施例中，相機(jī)組件102可以包括捕捉、接收或檢測(cè)圖像信息(諸如圖像信息120)的相機(jī)電路。相機(jī)組件102可以是任何類型的相機(jī)，包括能夠捕捉圖像信息的靜態(tài)照片相機(jī)和/或視頻相機(jī)。在某些實(shí)施例中，相機(jī)組件102可以檢測(cè)用戶的臉和面部特征，諸如用戶的眼睛、鼻子、嘴、耳朵等等，圖像信息可以包括面部信息。相機(jī)組件102可以處理包括面部信息的圖像信息，并可以將它發(fā)送到計(jì)算設(shè)備105的其他組件，用于進(jìn)一步處理。例如，可以將圖像信息從相機(jī)組件102發(fā)送到跟蹤組件104，供進(jìn)一步處理。
[0031]跟蹤組件104可以接收?qǐng)D像信息120，并對(duì)圖像信息應(yīng)用任意數(shù)量的圖像穩(wěn)定算法和特征跟蹤算法，以確定計(jì)算設(shè)備102、用戶或兩者的運(yùn)動(dòng)，并跟蹤用戶的一個(gè)或多個(gè)特征。例如，跟蹤組件104可以應(yīng)用參數(shù)塊匹配法算法、光流估計(jì)算法、線性區(qū)域匹配算法、灰編碼的位平面匹配算法、點(diǎn)到線對(duì)應(yīng)算法、特征跟蹤算法、金字塔算法、塊匹配法算法或任何其他類型的圖像穩(wěn)定或特征跟蹤算法，以確定運(yùn)動(dòng)和特征軌跡。
[0032]在某些實(shí)施例中，跟蹤組件104可以只基于由相機(jī)組件102接收到的圖像信息120，來確定運(yùn)動(dòng)。然而，在相同或其他實(shí)施例中，跟蹤組件104可以使用來自運(yùn)動(dòng)傳感器組件106的運(yùn)動(dòng)信息，用作到圖像穩(wěn)定或特征跟蹤算法的輸入，以減少計(jì)算系統(tǒng)100計(jì)算運(yùn)動(dòng)所使用的處理量和能量。更具體而言，當(dāng)處理圖像信息以確定運(yùn)動(dòng)時(shí)，運(yùn)動(dòng)傳感器組件106可以被用作算法開始的運(yùn)動(dòng)估計(jì)。通過使用此運(yùn)動(dòng)信息作為起始點(diǎn)，算法可以縮小確定計(jì)算設(shè)備105、用戶或兩者的運(yùn)動(dòng)所需的迭代數(shù)量。
[0033]除確定計(jì)算設(shè)備和/或用戶的運(yùn)動(dòng)之外，跟蹤組件104還可以接收?qǐng)D像信息，并可以應(yīng)用特征跟蹤算法以跟蹤和確定用戶的一個(gè)或多個(gè)特征(諸如用戶的眼睛)的運(yùn)動(dòng)。另夕卜，特征跟蹤還可以被用來確定計(jì)算設(shè)備和用戶在任何方向上的運(yùn)動(dòng)。更具體而言，跟蹤組件104可以檢測(cè)表示計(jì)算設(shè)備、用戶或兩者已經(jīng)移動(dòng)的用戶眼睛移位。用戶眼睛移位可能由用戶試圖將焦點(diǎn)維持在計(jì)算設(shè)備105的顯示組件上的顯示場(chǎng)景幀中的特定點(diǎn)或?qū)ο笊纤鶎?dǎo)致。在一個(gè)示例中，用戶眼睛在一個(gè)方向上的移位可能表示計(jì)算設(shè)備105相對(duì)于用戶在相反的方向上移動(dòng)。在此示例中，用戶或設(shè)備中的任一項(xiàng)可能已經(jīng)實(shí)際移動(dòng)，并且只有用戶和設(shè)備之間的相對(duì)運(yùn)動(dòng)可以基于用戶眼睛的特征跟蹤而被確定。進(jìn)一步，用戶眼睛的移位可能表示計(jì)算設(shè)備105和用戶兩者相對(duì)于彼此移動(dòng)。在此示例中，計(jì)算設(shè)備105和用戶可能在相同方向或在相反的方向上移動(dòng)，檢測(cè)到的眼睛移位可能反映這兩種運(yùn)動(dòng)。
[0034]跟蹤組件104還可以能夠確定用戶的眼睛何時(shí)聚焦于顯示場(chǎng)景幀的一個(gè)區(qū)域或根本不聚焦于顯示場(chǎng)景幀。例如，跟蹤組件104可以確定用戶何時(shí)聚焦于幀中的特定點(diǎn)，諸如幀中的對(duì)象或人或幀中的特定文本段。此外，跟蹤組件104還可能能夠檢測(cè)用戶何時(shí)正在看幀之外的東西，并且不聚焦于計(jì)算設(shè)備105的顯示組件上的信息。跟蹤組件104可以將包括跟蹤信息的圖像運(yùn)動(dòng)信息傳遞到計(jì)算系統(tǒng)100的一個(gè)或多個(gè)組件。圖像運(yùn)動(dòng)信息可以被用來確定對(duì)一個(gè)或多個(gè)幀的調(diào)整，以及用戶是否聚焦于顯示場(chǎng)景。
[0035]在某些實(shí)施例中，計(jì)算設(shè)備105可以包括確定計(jì)算設(shè)備105的運(yùn)動(dòng)的運(yùn)動(dòng)傳感器組件106。運(yùn)動(dòng)傳感器組件106可以是檢測(cè)計(jì)算設(shè)備105的運(yùn)動(dòng)的任何硬件、軟件和/或邏輯。運(yùn)動(dòng)傳感器組件106可以是檢測(cè)計(jì)算設(shè)備105的運(yùn)動(dòng)的一個(gè)或多個(gè)傳感器，包括加速度計(jì)、陀螺儀、水銀開關(guān)、微鐘擺、慣性傳感器或任何其他類型的檢測(cè)運(yùn)動(dòng)的傳感器。
[0036]在各實(shí)施例中，運(yùn)動(dòng)傳感器組件106可以被用作確定計(jì)算設(shè)備105的運(yùn)動(dòng)的獨(dú)立組件，或可以與相機(jī)組件102 —起使用，以確定計(jì)算設(shè)備105和/或用戶的運(yùn)動(dòng)。運(yùn)動(dòng)傳感器組件106可以檢測(cè)計(jì)算設(shè)備105在任何方向上的空間運(yùn)動(dòng)，并可以將運(yùn)動(dòng)信息傳遞到其他組件，諸如跟蹤組件104，以在處理圖像信息時(shí)用作運(yùn)動(dòng)估計(jì)，并傳遞到運(yùn)動(dòng)補(bǔ)償組件108，以調(diào)整幀，用于在顯示組件110上向用戶呈現(xiàn)。
[0037]計(jì)算設(shè)備105還可以包括基于檢測(cè)到的運(yùn)動(dòng)和特征跟蹤，調(diào)整輸出(諸如視頻輸出流)的一個(gè)或多個(gè)幀的運(yùn)動(dòng)補(bǔ)償組件108。更具體而言，運(yùn)動(dòng)補(bǔ)償組件108可以基于計(jì)算設(shè)備105、用戶或兩者的運(yùn)動(dòng)，調(diào)整顯示組件內(nèi)的顯示場(chǎng)景的一個(gè)或多個(gè)幀的位置和/或尺寸。進(jìn)一步，可