自適應(yīng)視頻處理的制作方法
【專利摘要】本發(fā)明公開了一種自適應(yīng)視頻處理方法和裝置，該自適應(yīng)視頻處理方法和裝置可通過解碼流水線和/或編碼流水線來實(shí)現(xiàn)。該自適應(yīng)視頻處理方法在處理視頻內(nèi)容并針對環(huán)境設(shè)置或環(huán)境中的目標(biāo)顯示面板對其進(jìn)行再現(xiàn)時(shí)可將包括視頻內(nèi)容、顯示特征和環(huán)境條件的信息考慮在內(nèi)。該自適應(yīng)視頻處理方法可使用該信息來調(diào)整如被應(yīng)用于視頻數(shù)據(jù)的一個(gè)或多個(gè)視頻處理功能，以根據(jù)周圍環(huán)境或查看條件針對目標(biāo)顯示面板來對適用于顯示面板的視頻進(jìn)行再現(xiàn)。
【專利說明】
自適應(yīng)視頻處理
技術(shù)領(lǐng)域
[0001 ]本公開整體涉及數(shù)字視頻或圖像處理和顯示。
【背景技術(shù)】
[0002] 包括但不限于個(gè)人計(jì)算機(jī)系統(tǒng)、臺式計(jì)算機(jī)系統(tǒng)、膝上型電腦和筆記本式計(jì)算機(jī)、 平板電腦或平板設(shè)備、數(shù)碼相機(jī)、數(shù)字視頻錄像機(jī)、和移動電話或智能電話的各種設(shè)備可包 括可實(shí)施一種或多種視頻處理方法的軟件和/或硬件。例如，設(shè)備可包括可根據(jù)一種或多種 視頻處理方法來接收和處理來自一個(gè)或多個(gè)源的數(shù)字視頻輸入并輸出經(jīng)處理的視頻幀的 裝置(例如集成電路(1C)，諸如片上系統(tǒng)(S0C)、或1C的子系統(tǒng)）。又如，可在設(shè)備上實(shí)施可根 據(jù)一種或多種視頻處理方法來接收和處理來自一個(gè)或多個(gè)源的數(shù)字視頻輸入并將經(jīng)處理 的視頻幀輸出至一個(gè)或多個(gè)目的地的軟件程序。
[0003] 例如，視頻編碼器可被實(shí)現(xiàn)為其中數(shù)字視頻輸入根據(jù)視頻編碼方法被編碼或轉(zhuǎn)換 為另一種格式例如壓縮視頻格式(諸如H. 264/高級視頻編碼(AVC)格式或H. 265高效視頻編 碼(HEVC)格式)的裝置或另選的軟件程序。又如，視頻解碼器可被實(shí)現(xiàn)為其中壓縮視頻格式 (諸如AVC或HEVC)的視頻被接收并根據(jù)視頻解碼方法被解碼或轉(zhuǎn)換為另一(解壓縮)格式例 如顯示設(shè)備所使用的顯示格式的裝置或另選的軟件程序。H.264/AVC標(biāo)準(zhǔn)被ITU-T公布于標(biāo) 題為"ITU-T Recommendation Η.264:Advanced video coding for generic audiovisual services" 的文檔中。H. 265/HEVC標(biāo)準(zhǔn)被ITU-T公布于標(biāo)題為 "ITU-T Recommendation H.265:High Efficiency Video Coding"的文檔中。
[0004] 在許多系統(tǒng)中，裝置或軟件程序可實(shí)現(xiàn)視頻編碼器部件和視頻解碼器部件兩者； 諸如裝置或程序通常被稱為編解碼器。需注意，編解碼器可對視頻流中的視覺/圖像數(shù)據(jù)和 音頻/聲音數(shù)據(jù)兩者進(jìn)行編碼/解碼。
[0005] 常規(guī)地，在數(shù)字圖像和視頻處理中，數(shù)字圖像（例如，視頻圖像或靜態(tài)圖像)被捕 捉、再現(xiàn)并顯示在有限的動態(tài)范圍內(nèi)，其被稱為標(biāo)準(zhǔn)動態(tài)范圍（SDR)成像。此外，常規(guī)地使用 相對較窄的色域?qū)D像進(jìn)行再現(xiàn)以用于顯示，其被稱為標(biāo)準(zhǔn)色域(SCG)成像。擴(kuò)展或高動態(tài) 范圍（HDR)成像是指在電子圖像(例如，被顯示在顯示屏或顯示設(shè)備上的）中產(chǎn)生比使用標(biāo) 準(zhǔn)數(shù)字成像技術(shù)和工藝(被稱為標(biāo)準(zhǔn)動態(tài)范圍成像或SDR成像)所獲取的更大范圍亮度的技 術(shù)和工藝。許多新的設(shè)備諸如圖像傳感器和顯示器支持HDR成像以及廣色域(WCG)成像。這 些設(shè)備可被稱為支持HDR的設(shè)備或被簡稱為HDR設(shè)備。

【發(fā)明內(nèi)容】

[0006] 本公開描述了用于數(shù)字圖像內(nèi)容例如視頻幀或視頻流的自適應(yīng)處理、再現(xiàn)和顯示 的方法和裝置的各種實(shí)施方案，其描述了可自適應(yīng)地再現(xiàn)視頻數(shù)據(jù)以用于顯示給目標(biāo)顯示 面板的視頻處理方法和裝置的實(shí)施方案。自適應(yīng)視頻處理方法在處理視頻內(nèi)容并針對環(huán)境 設(shè)置或環(huán)境中的目標(biāo)顯示面板對其進(jìn)行再現(xiàn)時(shí)可將各種信息考慮在內(nèi)，該各種信息包括但 不限于視頻內(nèi)容、顯示特征和環(huán)境條件，該環(huán)境條件包括但不限于環(huán)境照明和查看者相對 于顯示面板的位置。自適應(yīng)視頻處理方法可使用該信息來調(diào)整如被應(yīng)用于視頻數(shù)據(jù)的一種 或多種視頻處理功能(例如，噪聲/偽影消減、縮放、銳化、色調(diào)映射、色域映射、幀率轉(zhuǎn)換、白 點(diǎn)校正和/或黑點(diǎn)校正、色彩平衡等），以根據(jù)周圍環(huán)境或查看條件針對目標(biāo)顯示面板來對 適用于顯示面板的視頻進(jìn)行再現(xiàn)。
[0007] 在一些實(shí)施方案中，針對目標(biāo)顯示面板的自適應(yīng)視頻處理可在與目標(biāo)顯示面板相 關(guān)聯(lián)的解碼/顯示模塊或流水線中實(shí)現(xiàn)或通過其實(shí)現(xiàn)。這些實(shí)施方案可被稱為顯示器側(cè)自 適應(yīng)視頻處理系統(tǒng)。在至少一些實(shí)施方案中，解碼/顯示流水線可接收經(jīng)編碼的視頻流并對 用于目標(biāo)顯示面板的該經(jīng)編碼的視頻流進(jìn)行解碼?？煞治鼋?jīng)解碼的視頻內(nèi)容以確定視頻的 幀內(nèi)和/或幀間特征，例如亮度特征(例如，動態(tài)范圍寬度）、色彩特征(例如，色彩范圍）、幀 間運(yùn)動、鏡面高光、對比度、亮區(qū)和暗區(qū)等?？色@取用于目標(biāo)顯示面板的一個(gè)或多個(gè)顯示特 征。顯示特征可包括但不限于以下各項(xiàng)中的一者或多者;所測量的響應(yīng)、顯示格式、顯示動 態(tài)范圍、位深度、一個(gè)或多個(gè)背光水平、白點(diǎn)、黑光泄漏、反射率、局部對比增強(qiáng)或映射、當(dāng)前 顯示控件設(shè)置等?？色@取有關(guān)目標(biāo)顯示面板的當(dāng)前環(huán)境的信息。例如，包括顯示面板的設(shè)備 可包括可用于從周圍環(huán)境采集數(shù)據(jù)(例如，光照、查看者位置等）的一個(gè)或多個(gè)前向傳感器 和/或后向傳感器;所采集的數(shù)據(jù)可被分析以確定一個(gè)或多個(gè)環(huán)境指標(biāo)。然后解碼/顯示流 水線根據(jù)內(nèi)容特征、顯示特征和當(dāng)前環(huán)境信息來處理經(jīng)解碼的視頻，以生成適用于目標(biāo)顯 示面板和當(dāng)前環(huán)境的視頻。
[0008] 在一些實(shí)施方案中，針對目標(biāo)顯示面板的自適應(yīng)視頻處理可在服務(wù)器/編碼流水 線中實(shí)現(xiàn)或通過服務(wù)器/編碼流水線實(shí)現(xiàn)。這些實(shí)施方案可被稱為服務(wù)器側(cè)自適應(yīng)視頻處 理系統(tǒng)。在至少一些實(shí)施方案中，服務(wù)器/編碼流水線可獲取用于目標(biāo)顯示面板的視頻內(nèi) 容。目標(biāo)顯示面板可支持高動態(tài)范圍(HDR)和廣色域(WCG)成像。服務(wù)器/編碼流水線可獲取 或確定輸入視頻內(nèi)容的一個(gè)或多個(gè)特征。服務(wù)器/編碼流水線可獲取目標(biāo)顯示面板的顯示 信息和/或環(huán)境信息，例如從目標(biāo)顯示面板在其上實(shí)現(xiàn)的示例性系統(tǒng)獲取。顯示信息可指示 顯示特征，該顯示特征可包括但不限于以下各項(xiàng)中的一者或多者:所測量的響應(yīng)、格式、分 辨率、尺寸、動態(tài)范圍、位深度、一個(gè)或多個(gè)背光水平、白點(diǎn)、黑光泄漏、反射率、局部對比增 強(qiáng)或映射、當(dāng)前顯示控件設(shè)置等。環(huán)境信息可包括但不限于各種環(huán)境光照指標(biāo)和查看者指 標(biāo)諸如查看者相對于目標(biāo)顯示面板的位置。
[0009] 服務(wù)器/編碼流水線可根據(jù)色域映射技術(shù)來將視頻內(nèi)容映射到目標(biāo)顯示面板的色 域。色域映射技術(shù)可根據(jù)所獲取的信息而被選擇、修改或調(diào)整。例如，可根據(jù)顯示信息來將 源數(shù)據(jù)的色域映射到目標(biāo)顯示面板的位深度和色域。又如，在色域映射技術(shù)中所使用的曲 線、傳遞函數(shù)和/或查找表可基于一個(gè)或多個(gè)指標(biāo)(包括但不限于由環(huán)境信息所指示的顯示 面板處的當(dāng)前環(huán)境光照指標(biāo))來修改或調(diào)整。
[0010] 服務(wù)器/編碼流水線可根據(jù)色調(diào)映射技術(shù)來將視頻內(nèi)容映射到目標(biāo)顯示面板的動 態(tài)范圍。色調(diào)映射技術(shù)可根據(jù)所獲取的信息來調(diào)整。例如，可根據(jù)顯示信息來將源數(shù)據(jù)的動 態(tài)范圍映射到目標(biāo)顯示面板的位深度。又如，在色調(diào)映射技術(shù)中所使用的色調(diào)曲線和/或傳 遞函數(shù)可基于一個(gè)或多個(gè)指標(biāo)(包括但不限于由環(huán)境信息所指示的顯示面板處的當(dāng)前環(huán)境 光照指標(biāo))來修改或調(diào)整。在一些實(shí)施方案中，代替全局色調(diào)曲線或除此之外，還可將視頻 幀細(xì)分為多個(gè)區(qū)域，并且可至少部分地基于顯示信息和/或環(huán)境信息來動態(tài)地選擇針對每 個(gè)區(qū)域的局部色調(diào)曲線。
[0011] 服務(wù)器/編碼流水線可對視頻內(nèi)容進(jìn)行編碼并將經(jīng)編碼的視頻內(nèi)容傳輸至與目標(biāo) 顯示面板相關(guān)聯(lián)的解碼/顯示流水線。該解碼/顯示流水線對視頻內(nèi)容進(jìn)行解碼并顯示。由 于到由目標(biāo)顯示面板所支持的動態(tài)范圍和色域的顯示面板特有的色調(diào)和色域映射在服務(wù) 器/編碼側(cè)執(zhí)行，因此解碼/顯示流水線可無需任何更改或修改來支持HDR和/或WCG成像。
[0012] 一些實(shí)施方案可包括顯示器亮度調(diào)整裝置和方法，顯示器的平均亮度可經(jīng)由這些 裝置和方法使用非線性函數(shù)按比例增加或減小。在施加非線性函數(shù)來降低亮度的情況下， 輸出信號的對比度可不被降低，使得動態(tài)范圍和高光區(qū)得以保持。例如響應(yīng)于由一個(gè)或多 個(gè)傳感器所檢測到的環(huán)境光線水平，非線性亮度調(diào)整可自動執(zhí)行，但這也可響應(yīng)于對亮度 控制旋鈕或滑塊的用戶調(diào)整而被執(zhí)行。非線性亮度調(diào)整可全局地執(zhí)行，或者另選地可對圖 像或顯示面板的局部區(qū)域執(zhí)行。非線性函數(shù)可為分段線性函數(shù)或?yàn)槟硞€(gè)其他非線性函數(shù)。
【附圖說明】
[0013] 圖1示出了根據(jù)一些實(shí)施方案的視頻回放系統(tǒng)中的自適應(yīng)視頻處理。
[0014] 圖2示出了根據(jù)一些實(shí)施方案的示例性解碼/顯示流水線中的自適應(yīng)視頻處理。 [0015]圖3示出了根據(jù)一些實(shí)施方案的執(zhí)行自適應(yīng)視頻處理的示例性解碼/顯示流水線。 [0016]圖4示出了根據(jù)一些實(shí)施方案的執(zhí)行自適應(yīng)視頻處理的示例性顯示管和顯示后 端。
[0017] 圖5示出了根據(jù)一些實(shí)施方案的用于解碼/顯示流水線中的自適應(yīng)視頻處理的方 法的流程圖。
[0018] 圖6A和6B示出了相對于示例性顯示面板的人類感知范圍。
[0019]圖7圖形化地示出了根據(jù)一些實(shí)施方案的感知色彩管理。
[0020]圖8示出了根據(jù)一些實(shí)施方案的在SDR輸入視頻中執(zhí)行SDR到HDR轉(zhuǎn)換以生成適用 于HDR顯示的顯示視頻內(nèi)容的示例性解碼/顯示流水線。
[0021]圖9為根據(jù)一些實(shí)施方案的用于執(zhí)行SDR到HDR轉(zhuǎn)換視頻以生成適用于HDR顯示的 顯示視頻內(nèi)容的方法的流程圖。
[0022]圖10示出了根據(jù)一些實(shí)施方案的其中服務(wù)器側(cè)編碼流水線生成適用于目標(biāo)顯示 面板的輸出視頻數(shù)據(jù)的示例性視頻回放系統(tǒng)。
[0023]圖11示出了根據(jù)一些實(shí)施方案的其中服務(wù)器側(cè)編碼流水線生成適用于目標(biāo)顯示 面板的輸出視頻數(shù)據(jù)的視頻回放方法的流程圖。
[0024] 圖12示出了縮放系數(shù)為0.5的亮度(亮度)調(diào)整的輸入輸出關(guān)系。
[0025] 圖13示出了根據(jù)至少一些實(shí)施方案的非線性亮度調(diào)整函數(shù)的輸入輸出關(guān)系。
[0026] 圖14為根據(jù)至少一些實(shí)施方案的非線性亮度調(diào)整方法的流程圖。
[0027] 圖15為可被配置為實(shí)現(xiàn)本文所述系統(tǒng)和方法的各方面的片上系統(tǒng)(S0C)的一個(gè)實(shí) 施方案的框圖。
[0028]圖16為可包括一個(gè)或多個(gè)S0C的系統(tǒng)的一個(gè)實(shí)施方案的框圖。
[0029] 圖17示出了根據(jù)一些實(shí)施方案的可被配置為實(shí)現(xiàn)本文所述系統(tǒng)和方法的各方面 的示例性計(jì)算機(jī)系統(tǒng)。
[0030] 圖18示出了根據(jù)一些實(shí)施方案的便攜式多功能設(shè)備的框圖。
[0031] 圖19示出了根據(jù)一些實(shí)施方案的便攜式多功能設(shè)備。
[0032] 盡管本發(fā)明易受各種修改形式和替代形式的影響，但附圖中以舉例的方式示出了 其具體實(shí)施方案并將在本文詳細(xì)描述。然而，應(yīng)當(dāng)理解，附圖和對其的詳細(xì)描述并不是要將 本發(fā)明限制到所公開的具體形式，而相反，本發(fā)明旨在涵蓋落入到本發(fā)明的實(shí)質(zhì)和范圍內(nèi) 的所有修改形式、等同形式和替代形式。如在整個(gè)專利申請中所使用的那樣，以允許的意義 (即，意味著具有可能性)而不是強(qiáng)制的意義（即，意味著必須)來使用"可以"一詞。類似地， 字詞"包括"（"include"，"including"，和"includes"）意味著包括但不限于。
[0033] 各種單元、電路或其他部件可被描述為"被配置為"執(zhí)行一項(xiàng)或多項(xiàng)任務(wù)。在此類 上下文中，"被配置為"是通常意味著"具有"在操作期間執(zhí)行一項(xiàng)或多項(xiàng)任務(wù)的"電路"的結(jié) 構(gòu)的寬泛表述。如此，即使在單元/電路/部件當(dāng)前未接通時(shí)，單元/電路/部件也可被配置為 執(zhí)行該任務(wù)。通常，形成與"被配置為"對應(yīng)的結(jié)構(gòu)的電路可包括硬件電路。類似地，為了描 述中方便，可將各種單元/電路/部件描述為執(zhí)行一項(xiàng)或多項(xiàng)任務(wù)。此類描述應(yīng)當(dāng)被解釋成 包括短語"被配置為"。表述被配置為執(zhí)行一項(xiàng)或多項(xiàng)任務(wù)的單元/電路/部件明確地旨在對 該單元/電路/部件不援引35U.S.C.§112,第六段的解釋。
【具體實(shí)施方式】
[0034]本公開描述了用于數(shù)字圖像內(nèi)容例如視頻幀或視頻流的自適應(yīng)處理、再現(xiàn)和顯示 的方法和裝置的各種實(shí)施方案。描述了可自適應(yīng)地再現(xiàn)視頻數(shù)據(jù)以用于顯示給目標(biāo)顯示面 板的視頻處理方法和裝置的實(shí)施方案。自適應(yīng)視頻處理方法在處理視頻內(nèi)容并針對環(huán)境設(shè) 置或環(huán)境中的目標(biāo)顯示面板對其進(jìn)行再現(xiàn)時(shí)可將各種信息考慮在內(nèi)，該各種信息包括但不 限于視頻內(nèi)容、顯示特征和環(huán)境條件，該環(huán)境條件包括但不限于環(huán)境照明和查看者相對于 顯示面板的位置。自適應(yīng)視頻處理方法可使用該信息來調(diào)整如被應(yīng)用于視頻數(shù)據(jù)的一個(gè)或 多個(gè)視頻處理功能(例如，噪聲/偽影消減、縮放、銳化、色調(diào)映射、色域映射、幀率轉(zhuǎn)換、白點(diǎn) 校正和/或黑點(diǎn)校正、色彩平衡等），以根據(jù)周圍環(huán)境或查看條件針對目標(biāo)顯示面板來對適 用于顯示面板的視頻進(jìn)行再現(xiàn)。
[0035]常規(guī)地，已設(shè)計(jì)出針對標(biāo)準(zhǔn)動態(tài)范圍（SDR)成像的視頻處理算法。隨著高動態(tài)范圍 (HDR)成像技術(shù)、系統(tǒng)和顯示器的出現(xiàn)，針對HDR成像的視頻處理技術(shù)的需求已出現(xiàn)。對于 HDR視頻處理，可存在需要不同于使用SDR視頻處理來完成的某些事情。例如，相比于SDR視 頻，HDR視頻可需要更有力的降噪，這可具有更易看見的抖動并且可需要不同銳度和細(xì)節(jié)增 強(qiáng)。因此，本文所述的自適應(yīng)視頻處理方法和裝置的實(shí)施方案可實(shí)現(xiàn)針對HDR成像的視頻處 理技術(shù)。此外，實(shí)施方案還可支持廣色域(WCG)成像。
[0036]通常定義的動態(tài)范圍為諸如像聲音和光之類的信號中的可改變量的最大可能值 和最小可能值之間的比率。在數(shù)字圖像處理中，高動態(tài)范圍（HDR)圖像是使用HDR成像技術(shù) 產(chǎn)生的圖像，該HDR成像技術(shù)產(chǎn)生比使用標(biāo)準(zhǔn)數(shù)字成像技術(shù)所獲取的更大范圍亮度。例如， HDR圖像可包括比常規(guī)圖像處理中所使用的（通常，每個(gè)通道8位，例如針對色彩/色度和針 對亮度的8位)每個(gè)通道的更多個(gè)位(例如，每個(gè)亮度和色度通道10、12、14或更多個(gè)位），或 者針對亮度(亮度通道)的更多個(gè)位。使用標(biāo)準(zhǔn)數(shù)字成像技術(shù)所產(chǎn)生的圖像可被稱為具有標(biāo) 準(zhǔn)動態(tài)范圍（SDR)，并且通常使用每個(gè)通道8位。通常定義的色調(diào)映射是將一組色調(diào)圖像值 (例如，來自HDR圖像數(shù)據(jù)的亮度值)映射到另一組色調(diào)圖像值(例如，到SDR圖像數(shù)據(jù)）的技 術(shù)。色調(diào)映射可用于例如粗略估算HDR圖像在具有更有限動態(tài)范圍的介質(zhì)（例如，SDR)中的 外觀。色調(diào)映射通?？杀粦?yīng)用于亮度圖像數(shù)據(jù)。
[0037]在如本文所述的視頻處理方法和裝置的一些實(shí)施方案中，全局色調(diào)映射(GTM)技 術(shù)可用于將視頻內(nèi)容從一個(gè)動態(tài)范圍轉(zhuǎn)換到另一個(gè)動態(tài)范圍。在GTM技術(shù)中，全局色調(diào)曲線 可針對一個(gè)或多個(gè)視頻幀來指定或確定并且用于將視頻內(nèi)容從一個(gè)動態(tài)范圍轉(zhuǎn)換到另一 個(gè)動態(tài)范圍。在一些實(shí)施方案中，代替GTM技術(shù)或除此之外，局部色調(diào)映射(LTM)技術(shù)可用于 將視頻內(nèi)容從一個(gè)動態(tài)范圍轉(zhuǎn)換到另一個(gè)動態(tài)范圍。在LTM技術(shù)中，圖像或幀被分為多個(gè)區(qū) 域，其中針對每個(gè)區(qū)域來指定或確定色調(diào)曲線。
[0038]通常定義的色域是指色彩的特定子集，例如可在給定情況下諸如在給定色彩空間 (例如，RGB色彩空間）內(nèi)準(zhǔn)確表示或由顯示設(shè)備準(zhǔn)確表示的色彩的子集。色域還可涉及在圖 像內(nèi)存在的整組色彩。色域映射技術(shù)可用于例如將在一個(gè)色彩空間中所表示的色彩轉(zhuǎn)換為 再另一色彩空間中所使用的色域。色域映射技術(shù)(也可被稱為色彩或色度映射)可被應(yīng)用于 圖像數(shù)據(jù)(通常被應(yīng)用于色度圖像數(shù)據(jù)），并且在一些情況下可縮窄或縮減圖像的色域，或 者另選地可用于在色調(diào)映射期間或之后修正或調(diào)整圖像的色域或范圍。
[0039]在光度學(xué)中，亮度的SI單位是坎每平方米(cd/m2)。坎是發(fā)光強(qiáng)度的SI單位。相同 單位的非SI術(shù)語是"NIT"。勒克斯(lux)是用于測量每單位面積的光通量(流明）的照度和發(fā) 光度的SI單位。勒克斯等于一流明每平方米。流明是光通量的SI導(dǎo)出單位，并且是由光源發(fā) 出的可見光的度量。
[0040] 自適應(yīng)視頻處理系統(tǒng)
[0041 ]圖1示出了根據(jù)一些實(shí)施方案的示例性視頻回放系統(tǒng)中的自適應(yīng)視頻處理。自適 應(yīng)視頻處理方法和裝置的實(shí)施方案例如可在包括服務(wù)器/編碼模塊或流水線110和解碼/顯 示模塊或流水線130的視頻回訪系統(tǒng)中實(shí)現(xiàn)。服務(wù)器/編碼流水線110和解碼/顯示流水線 130可在相同的設(shè)備中實(shí)現(xiàn)，或者可在不同的設(shè)備中實(shí)現(xiàn)。服務(wù)器/編碼流水線110可在包括 至少一個(gè)視頻源100諸如一個(gè)或多個(gè)攝像機(jī)的設(shè)備或系統(tǒng)中實(shí)現(xiàn)。解碼/顯示流水線130可 在包括目標(biāo)顯示面板140并定位在周圍環(huán)境190中的設(shè)備或系統(tǒng)120中實(shí)現(xiàn)。一個(gè)或多個(gè)人 類查看者180可位于周圍環(huán)境190中。系統(tǒng)120可包括或可實(shí)施用于顯示面板140的一個(gè)或多 個(gè)控件160,例如亮度和對比度控件。系統(tǒng)120還可包括一個(gè)或多個(gè)傳感器150,諸如光傳感 器或相機(jī)。周圍環(huán)境190例如可以是房屋中的房間（臥室、私室等）、室外設(shè)置、辦公樓中的辦 公室或會議室，或者一般來說，具有顯示面板140的系統(tǒng)120可存在于其中的任何環(huán)境。周圍 環(huán)境190可包括一個(gè)或多個(gè)光源192,諸如電燈或吊燈、其他人工光源、窗戶和室外環(huán)境中的 陽光。需注意，系統(tǒng)120和/或顯示面板可在周圍環(huán)境190內(nèi)移動或重新定位，或者從一個(gè)周 圍環(huán)境190(例如，房間)移動到另一個(gè)周圍環(huán)境(例如，另一房間或室外環(huán)境）。
[0042]在至少一些實(shí)施方案中，服務(wù)器/編碼流水線110可從視頻源100(例如，來自包括 服務(wù)器/編碼流水線110的設(shè)備或系統(tǒng)上的攝像機(jī))接收輸入視頻，根據(jù)視頻編碼方法將輸 入視頻轉(zhuǎn)換為另一格式例如壓縮視頻格式(諸如H. 264/高級視頻編碼(AVC)格式或H. 265高 效視頻編碼(HEVC)格式），并且將經(jīng)編碼的視頻流式傳輸112至解碼/顯示流水線130。解碼/ 顯示流水線130可接收經(jīng)編碼的視頻流112并對其進(jìn)行解碼以生成顯示視頻132以用于顯示 在顯示面板140上。在一些實(shí)施方案中，描述編碼的元數(shù)據(jù)114也可由服務(wù)器/編碼流水線 110提供至解碼/顯示流水線130。例如，元數(shù)據(jù)可包括用于描述對視頻內(nèi)容所執(zhí)行的色域映 射和/或色調(diào)映射操作的信息。在一些實(shí)施方案中，元數(shù)據(jù)114可被解碼/顯示流水線130用 于處理輸入視頻流112，以生成輸出顯示視頻132內(nèi)容。
[0043]圖1所示的視頻回放系統(tǒng)可實(shí)現(xiàn)如本文所述的一個(gè)或多個(gè)自適應(yīng)視頻處理方法和 裝置，其在處理視頻內(nèi)容并針對目標(biāo)顯示面板140對該環(huán)境設(shè)置或環(huán)境190中的該視頻內(nèi)容 進(jìn)行再現(xiàn)時(shí)可將各種信息考慮在內(nèi)，包括但不限于視頻內(nèi)容、顯示信息142(例如，顯示面板 140特征、控制輸入162、背光水平等）和環(huán)境信息152(例如，環(huán)境光照192、查看者180位置 等）。自適應(yīng)視頻處理方法和裝置可使用從傳感器150、顯示面板140或從其他來源獲取的信 息來調(diào)整一個(gè)或多個(gè)視頻處理功能（例如，噪聲/偽影消減、縮放、銳化、色調(diào)映射、色域映 射、幀率轉(zhuǎn)換、白點(diǎn)校正和/或黑點(diǎn)校正、色彩平衡等），這些視頻處理功能被應(yīng)用于視頻數(shù) 據(jù)，以針對目標(biāo)顯示面板140對適用于顯示面板140的特征和環(huán)境190中的周圍查看條件的 視頻進(jìn)行再現(xiàn)。
[0044] 在一些實(shí)施方案中，針對目標(biāo)顯示面板140的自適應(yīng)視頻處理可在解碼/顯示流水 線130中實(shí)現(xiàn)或通過該解碼/顯示流水線130實(shí)現(xiàn)。這些實(shí)施方案可被稱為顯示器側(cè)自適應(yīng) 視頻處理系統(tǒng)。在一些實(shí)施方案中，針對目標(biāo)顯示面板140的自適應(yīng)視頻處理可在服務(wù)器/ 編碼流水線110中實(shí)現(xiàn)或通過該服務(wù)器/編碼流水線110實(shí)現(xiàn)。這些實(shí)施方案可被稱為服務(wù) 器側(cè)自適應(yīng)視頻處理系統(tǒng)。在一些實(shí)施方案中，一些自適應(yīng)視頻處理功能可在將經(jīng)編碼的 視頻流式傳輸至解碼/顯示流水線130之前由服務(wù)器/編碼流水線110來執(zhí)行，其中附加自適 應(yīng)視頻處理由解碼/顯示流水線130來執(zhí)行。
[0045] 包括但不限于本文所述的服務(wù)器/編碼流水線110部件和解碼/顯示流水線130部 件的自適應(yīng)視頻處理方法和裝置的實(shí)施方案可例如在包括一個(gè)或多個(gè)圖像捕獲設(shè)備和/或 一個(gè)或多個(gè)顯示設(shè)備的設(shè)備或系統(tǒng)中實(shí)現(xiàn)。
[0046]圖像捕獲設(shè)備可以是包括能夠捕獲數(shù)字圖像或視頻的光學(xué)傳感器或感光器的任 何設(shè)備。圖像捕獲設(shè)備可包括但不限于攝像機(jī)和靜態(tài)圖像相機(jī)，以及可捕獲視頻和單一圖 像的圖像捕獲設(shè)備。圖像捕獲設(shè)備可以是獨(dú)立的設(shè)備或者可以是集成到其他設(shè)備(包括但 不限于智能電話、手機(jī)、PDA、平板電腦或平板設(shè)備、多功能設(shè)備、計(jì)算設(shè)備、膝上型計(jì)算機(jī)、 筆記本電腦、上網(wǎng)本、臺式計(jì)算機(jī)等）中的相機(jī)。需注意，圖像捕獲設(shè)備可包括適用于小型設(shè) 備諸如手機(jī)、PDA和平板設(shè)備的小外形相機(jī)。圖15到19示出了可包括如本文所述的圖像捕獲 設(shè)備或相機(jī)的設(shè)備的非限制性不例。
[0047]顯示器或顯示設(shè)備可包括顯示屏或面板，這些顯示屏或面板集成到其他設(shè)備中， 該其他設(shè)備包括但不限于智能電話、手機(jī)、PDA、平板電腦或平板設(shè)備、多功能設(shè)備、計(jì)算設(shè) 備、膝上型計(jì)算機(jī)、筆記本電腦、上網(wǎng)本、臺式計(jì)算機(jī)等。顯示設(shè)備還可包括視頻監(jiān)視器、投 影儀，或者一般來說，可顯示或投射數(shù)字圖像和/或數(shù)字視頻的任何設(shè)備。顯示器或顯示設(shè) 備可使用LCD(液晶顯示器)技術(shù)、LH)(發(fā)光聚合物顯示器)技術(shù)、或LED(發(fā)光二極管)技術(shù)， 盡管也可使用其他顯示技術(shù)。
[0048]自適應(yīng)視頻處理方法和裝置的實(shí)施方案通常被描述為支持對HDR視頻數(shù)據(jù)進(jìn)行捕 獲、處理、編碼、分配并顯示給支持HDR的顯示設(shè)備。此外，實(shí)施方案還可支持廣色域(WCG)成 像。然而，本文所述的自適應(yīng)視頻處理方法和裝置的實(shí)施方案還可應(yīng)用于不支持HDR成像的 顯示設(shè)備。此外，一些實(shí)施方案可支持將標(biāo)準(zhǔn)動態(tài)范圍（SDR)視頻數(shù)據(jù)顯示給支持HDR的顯 示設(shè)備和不支持HDR成像的顯示設(shè)備中的一者或兩者。
[0049]自適應(yīng)視頻處理方法和裝置的實(shí)施方案在本文中通常被描述為處理視頻幀或序 列。然而，代替視頻幀或序列以及其他數(shù)字圖像或除此之外，實(shí)施方案還可應(yīng)用于處理單一 圖像或靜態(tài)圖像。因此，在本文中使用"視頻"、"視頻幀"、"幀"等時(shí)，應(yīng)當(dāng)理解，這些術(shù)語一 般來說是指數(shù)字圖像。
[0050] 圖15到19示出了自適應(yīng)視頻處理方法和裝置的實(shí)施方案可于其中實(shí)現(xiàn)的設(shè)備的 非限制性示例。包括圖像捕獲設(shè)備和/或顯示設(shè)備的設(shè)備或系統(tǒng)可包括實(shí)現(xiàn)處理本文所述 視頻數(shù)據(jù)的功能的至少一部分的硬件和/或軟件。在一些實(shí)施方案中，本文所述功能的一部 分可在一個(gè)設(shè)備上實(shí)現(xiàn)，而其他部分可在另一設(shè)備上實(shí)現(xiàn)。例如，在一些實(shí)施方案中，包括 圖像捕獲設(shè)備的設(shè)備可實(shí)現(xiàn)對經(jīng)由感光器捕獲的圖像或視頻進(jìn)行處理和壓縮(即，編碼）的 傳感器流水線，而包括顯示面板或顯示屏的另一設(shè)備可實(shí)現(xiàn)對經(jīng)壓縮的圖像進(jìn)行接收和處 理（即，解碼）以用于顯示給顯示面板或顯示屏的顯示流水線。在一些實(shí)施方案中，本文所述 的功能中的至少一些功能可由可用于設(shè)備中的片上系統(tǒng)(S0C)的一個(gè)或多個(gè)部件或模塊來 實(shí)現(xiàn)，這些設(shè)備包括但不限于多功能設(shè)備、智能電話、平板電腦或平板設(shè)備和其他便攜式計(jì) 算設(shè)備諸如膝上型電腦、筆記本電腦和上網(wǎng)本等。圖15示出了示例性S0C，并且圖16示出了 實(shí)現(xiàn)S0C的示例性設(shè)備。圖17示出了可實(shí)現(xiàn)本文所述方法和裝置的示例性計(jì)算機(jī)系統(tǒng)。圖18 和19示出了可實(shí)現(xiàn)本文所述的方法和裝置的示例性多功能設(shè)備。
[0051] 顯示器側(cè)自適應(yīng)視頻處理
[0052] 再次參見圖1，在一些實(shí)施方案中，針對目標(biāo)顯示面板140的自適應(yīng)視頻處理可在 解碼/顯示流水線130中實(shí)現(xiàn)或通過該解碼/顯示流水線130實(shí)現(xiàn)。這些實(shí)施方案可被稱為顯 示器側(cè)自適應(yīng)視頻處理系統(tǒng)。解碼/顯示流水線130可例如在包括目標(biāo)顯示面板140并定位 在周圍環(huán)境190中的設(shè)備或系統(tǒng)120中實(shí)現(xiàn)。
[0053]圖5示出了根據(jù)一些實(shí)施方案的用于解碼/顯示流水線中的顯示器側(cè)自適應(yīng)視頻 處理的方法的流程圖。如在圖5的500處所指出的，解碼/顯示流水線可針對目標(biāo)顯示面板對 經(jīng)編碼的視頻流進(jìn)行接收和解碼。例如，來自服務(wù)器/編碼流水線的經(jīng)編碼的HDR視頻數(shù)據(jù) 可由解碼/顯示流水線接收；目標(biāo)顯示面板可以是支持HDR的顯示設(shè)備。例如可根據(jù)壓縮視 頻如H.264/AVC或H.265/HEVC格式來對視頻數(shù)據(jù)進(jìn)行編碼。解碼/顯示流水線的解碼器部件 可對經(jīng)編碼的視頻進(jìn)行解碼以生成經(jīng)解碼的HDR視頻內(nèi)容。
[0054]如在圖5的502處所指出的，可確定經(jīng)解碼的視頻內(nèi)容的一個(gè)或多個(gè)特征。例如，在 一些實(shí)施方案中，可分析經(jīng)解碼的視頻內(nèi)容以確定視頻的幀內(nèi)和/或幀間特征，例如亮度特 征(例如，動態(tài)范圍）、色彩特征(例如，色彩范圍）、幀間運(yùn)動、鏡面高光、對比度、亮區(qū)和暗區(qū) 等。
[0055]如在圖5的504處所指出的，可獲取于目標(biāo)顯示面板的一個(gè)或多個(gè)顯示特征。顯示 特征可包括但不限于以下各項(xiàng)中的一者或多者:所測量的響應(yīng)、顯示格式、顯示動態(tài)范圍、 位深度、一個(gè)或多個(gè)背光水平、白點(diǎn)、黑光泄漏、反射率、局部對比增強(qiáng)或映射、當(dāng)前顯示控 件設(shè)置等。
[0056]如在圖5的506處所指出的，可獲取環(huán)境信息。例如，在一些實(shí)施方案中，包括顯示 面板的設(shè)備可包括可用于從周圍環(huán)境采集數(shù)據(jù)的一個(gè)或多個(gè)前向傳感器和/或后向傳感器 (例如，相機(jī)、光傳感器等）；所采集的數(shù)據(jù)可被分析以確定一個(gè)或多個(gè)環(huán)境指標(biāo)。環(huán)境指標(biāo) 可包括但不限于各種環(huán)境光照指標(biāo)和查看者指標(biāo)諸如查看者相對于顯示面板的位置、顯示 面板的尺寸和距顯示面板的距離。環(huán)境光照指標(biāo)例如可包括有關(guān)入射到顯示面板的光、來 自顯示面板的反射光水平的指標(biāo)，以及查看者/用戶面對的視野(或背景）的指標(biāo)(例如，亮 度、色彩、白點(diǎn)等）。
[0057]如在圖5的508處所指出的，解碼/顯示流水線可根據(jù)內(nèi)容特征、顯示特征和當(dāng)前環(huán) 境信息來處理經(jīng)解碼的視頻，以生成適用于顯示面板和當(dāng)前環(huán)境的視頻。在一些實(shí)施方案 中，基于內(nèi)容特征、顯示特征和環(huán)境指標(biāo)，可調(diào)整解碼/顯示流水線的一個(gè)或多個(gè)視頻處理 功能(例如，噪聲/偽影消減、縮放和銳化、幀率轉(zhuǎn)換、顯示管理、色域和色調(diào)映射等），以使經(jīng) 解碼的HDR視頻內(nèi)容適用于顯示在目標(biāo)顯示面板上。如在圖5的510處所指出的，經(jīng)處理的視 頻可被顯示給目標(biāo)顯示面板。
[0058]盡管在圖5中未示出，但在一些實(shí)施方案中，解碼/顯示流水線可包括使其他數(shù)字 信息諸如文本與流式視頻內(nèi)容復(fù)合的復(fù)合部件。在一些實(shí)施方案中，解碼/顯示流水線可將 輸入視頻轉(zhuǎn)換為線性色彩空間（例如，線性RGB或YCC色彩空間），以用于在圖5的元件508之 前復(fù)合。然后可根據(jù)內(nèi)容特征、顯示特征和當(dāng)前環(huán)境信息來處理復(fù)合部件的輸出，以生成適 用于顯示面板和當(dāng)前環(huán)境的視頻。
[0059]參考圖1到圖4對圖5的元件進(jìn)行更加詳細(xì)的描述。
[0060] 再次參見圖1，在顯示器側(cè)自適應(yīng)視頻處理系統(tǒng)的實(shí)施方案中，解碼/顯示流水線 130可獲取經(jīng)編碼的視頻流112、顯示信息142A和環(huán)境信息152A并將以下各項(xiàng)中的一者或多 者考慮在內(nèi)，包括但不限于視頻內(nèi)容、顯示面板特征、查看者180相對于目標(biāo)顯示面板的位 置、環(huán)境光照192和在執(zhí)行HDR視頻處理時(shí)顯示面板140處的其他周圍環(huán)境190條件?？稍诮?碼/顯示流水線130處從服務(wù)器/編碼流水線110接收經(jīng)編碼的HDR視頻數(shù)據(jù)112并進(jìn)行解碼。 在一些實(shí)施方案中，可分析經(jīng)解碼的視頻數(shù)據(jù)以確定例如亮度特征(例如，動態(tài)范圍）、色彩 特征(例如，色彩范圍）、幀間運(yùn)動、鏡面高光、對比度、亮區(qū)和暗區(qū)等?；趯σ曨l內(nèi)容的分 析，可調(diào)整解碼/顯示流水線130的一個(gè)或多個(gè)視頻處理功能(例如，噪聲/偽影消減、縮放和 銳化、幀率轉(zhuǎn)換、顯示管理等），以使視頻內(nèi)容適用于顯示在目標(biāo)顯示面板140上。在一些實(shí) 施方案中，還可考慮目標(biāo)顯示面板140的一個(gè)或多個(gè)顯示特征(例如，顯示格式、動態(tài)范圍、 位深度、背光水平、白點(diǎn)、當(dāng)前控件160設(shè)置等），從而調(diào)整視頻處理功能。
[0061] 在一些實(shí)施方案中，替代性地或除此之外，還可根據(jù)對由位于目標(biāo)顯示面板140處 或其附近的一個(gè)或多個(gè)傳感器150(例如，相機(jī)、光傳感器等)所檢測到的顯示面板的一個(gè)或 多個(gè)當(dāng)前環(huán)境條件的分析來動態(tài)地調(diào)整視頻處理功能以使顯示視頻動態(tài)地適用于當(dāng)前環(huán) 境190。在一些實(shí)施方案中，可至少部分地基于由一個(gè)或多個(gè)傳感器150所檢測到的一個(gè)或 多個(gè)查看者180特征諸如相對于顯示面板140的位置、距離和查看角度來調(diào)整視頻處理功 能。在一些實(shí)施方案中，可經(jīng)由一個(gè)或多個(gè)傳感器150來獲取有關(guān)顯示面板140的環(huán)境190的 信息152A諸如環(huán)境光線192水平，并且可至少部分地基于所獲取的環(huán)境信息152A來調(diào)整視 頻處理功能以使顯示視頻適用于周圍環(huán)境190。
[0062]在一些實(shí)施方案中，可獲取并使用其他信息來調(diào)整解碼/顯示流水線130中的視頻 處理，以使顯示視頻以查看者的想法或查看意圖為目標(biāo)，其可被稱為查看模式。例如，在一 些實(shí)施方案中，可使用光照、位置、當(dāng)日時(shí)間、生物識別和/或其他數(shù)據(jù)來自動確定視頻的查 看模式。所確定的查看模式繼而可用于調(diào)整視頻處理功能中的一種或多種視頻處理功能， 以使顯示視頻適用于查看模式。查看模式的范圍可從平靜或輕松查看模式到影片或動態(tài)查 看模式。在一些實(shí)施方案中，替代性地或除此之外，還可使用用戶輸入(例如，經(jīng)由顯示面板 控件、遙控器、智能電話應(yīng)用程序等)來確定或調(diào)整查看模式。
[0063] 在一些實(shí)施方案中，除了執(zhí)行上述解碼/顯示流水線130中的顯示器側(cè)自適應(yīng)視頻 處理之外，還可將由系統(tǒng)120所采集的至少一些環(huán)境信息152B和/或顯示信息142B向上流式 傳輸至視頻回放系統(tǒng)中的服務(wù)器/編碼流水線110。服務(wù)器/編碼流水線110繼而可將包括但 不限于顯示面板140特征、查看者180相對于目標(biāo)顯示面板的位置、環(huán)境光照192和在對從來 源100獲取的視頻內(nèi)容進(jìn)行處理和編碼時(shí)顯示面板140處的其他周圍環(huán)境190條件中的一者 或多者考慮在內(nèi)，以生成經(jīng)編碼的視頻流112。例如，在一些實(shí)施方案中，解碼/顯示流水線 130可用于實(shí)時(shí)流式傳輸、錄制或視頻捕獲環(huán)境，并且系統(tǒng)120可將一個(gè)或多個(gè)顯示器側(cè)指 標(biāo)142B和152B饋送回到服務(wù)器/編碼流水線110,使得流水線110可在處理來自來源100的輸 入視頻內(nèi)容時(shí)相應(yīng)地調(diào)整或調(diào)整一個(gè)或多個(gè)編碼功能，以生成經(jīng)編碼的視頻流112。
[0064]圖2到4示出了可實(shí)現(xiàn)本文所述的自適應(yīng)視頻處理方法的示例性顯示器側(cè)部件和 流水線。
[0065]圖2為圖形化地示出了根據(jù)一些實(shí)施方案的示例性解碼/顯示流水線處理中的自 適應(yīng)視頻處理方法的應(yīng)用程序的框圖。需注意，圖2示出了高功能水平的示例性解碼/顯示 流水線210,其并非旨在進(jìn)行限制。在該示例中，流水線210實(shí)現(xiàn)噪聲偽影消減212、縮放和銳 化214、幀率轉(zhuǎn)換216和顯示管理218功能。流水線210處理輸入視頻200以生成顯示視頻232 作為輸出。如圖2所示，包括視頻200內(nèi)容的特征、顯示面板240特征和環(huán)境條件(包括但不限 于查看者位置和環(huán)境光照）的信息可被輸入到流水線210的一個(gè)或多個(gè)階段并在該一個(gè)或 多個(gè)階段處使用，以在當(dāng)前環(huán)境條件下自適應(yīng)地再現(xiàn)視頻內(nèi)容，以用于顯示到目標(biāo)顯示面 板240。在至少一些實(shí)施方案中，解碼/顯示流水線210可被配置為處理HDR視頻200輸入，以 生成用于目標(biāo)顯示面板240的HDR顯示視頻232。然而，替代性地或除此之外，解碼/顯示流水 線210還可被配置為處理SDR視頻200輸入，以生成SDR顯示輸出232。
[0066] 對于HDR視頻處理，可存在需要不同于利用標(biāo)準(zhǔn)（SDR)視頻來完成的某些事情。通 常，對于更明亮的圖像，陰影區(qū)或暗區(qū)中的噪聲變得更易看見。因此，在HDR視頻處理中，可 能需要解碼/顯示流水線210執(zhí)行更有力的噪聲/偽影消減212。此外，對于更明亮的圖像和 yi ' dong，在HDR視頻幀中可能存在更多的抖動，這可能導(dǎo)致人眼難以追蹤的模糊外觀。因 此，對于解碼/顯示流水線210中的HDR視頻處理，可能需要以與在SDR視頻處理中不同的方 式執(zhí)行縮放和銳化214以及幀率轉(zhuǎn)換216。
[0067] 常規(guī)地，視頻處理流水線已經(jīng)由到各種控件或用戶界面(UI)元件的用戶輸入而受 到控制，并且在再現(xiàn)用于顯示的視頻時(shí)，并不動態(tài)地自適應(yīng)于指標(biāo)諸如視頻內(nèi)容、顯示特 征、人眼查看距離和角度以及環(huán)境光照條件。如圖2所示，解碼/顯示流水線210的實(shí)施方案 可利用從輸入視頻200內(nèi)容、顯示面板240和環(huán)境(包括但不限于查看者位置和環(huán)境條件諸 如環(huán)境光照)采集或生成的指標(biāo)來使視頻內(nèi)容動態(tài)地適應(yīng)于在不同查看環(huán)境和條件中j'x 顯示。此外，可使用指標(biāo)來優(yōu)化視頻處理功能或模塊中的HDR視頻處理，這些視頻處理功能 或模塊包括但不限于噪聲/偽影消減212、縮放和銳化214、幀率轉(zhuǎn)換216和顯示管理218功能 或模塊。
[0068]參考圖2,輸入視頻200數(shù)據(jù)可被饋送到內(nèi)容特征220塊或模塊。模塊220可分析視 頻內(nèi)容以確定例如動態(tài)范圍有多寬、幀間或場景間存在多少運(yùn)動、色彩范圍、鏡面高光區(qū)、 對比度、亮區(qū)和暗區(qū)等。此外，可獲取用于目標(biāo)顯示面板240的一個(gè)或多個(gè)顯示特征230。顯 示特征230可包括但不限于以下各項(xiàng)中的一者或多者;所測量的響應(yīng)、顯示格式、顯示動態(tài) 范圍、位深度、一個(gè)或多個(gè)背光水平、白點(diǎn)、黑光泄漏、反射率、局部對比增強(qiáng)或映射、當(dāng)前顯 示控件設(shè)置等。至少部分地基于對視頻內(nèi)容和顯示特征的分析，某些控件可確定并相應(yīng)地 探究視頻處理模塊中的不同模塊(例如，噪聲/偽影消減212、縮放和銳化214、幀率轉(zhuǎn)換216 和顯示管理218)來調(diào)整輸入視頻200的處理，以生成用于目標(biāo)顯示面板240的HDR顯示視頻 232〇
[0069] 在HDR視頻處理中考慮的重要因素是人的感知。如果人眼查看距離/角度是已知 的，則可完成可提高查看者體驗(yàn)的若干事情。因此，設(shè)備可包括一個(gè)或多個(gè)傳感器250和軟 件/硬件(查看者位置260模塊），以用于檢測和分析人類(查看者)位置、距離和查看角度。流 水線210中的一個(gè)或多個(gè)模塊可利用該信息根據(jù)查看者位置來調(diào)整對HDR視頻內(nèi)容的顯示。 例如，在銳化圖像時(shí)，如果查看者非?？拷@示面板240，則圖像可能看起來很糟糕。因此， 如果檢測到查看者距顯示面板240相對較近，則可減輕銳化。
[0070] 除查看者位置之外，其他環(huán)境信息包括但不限于環(huán)境光照在HDR視頻處理中也可 以很重要。如果環(huán)境光照條件是已知的，則可完成可提高查看者體驗(yàn)的若干事情。因此，設(shè) 備可包括一個(gè)或多個(gè)傳感器250和軟件/硬件(環(huán)境條件270模塊），以用于檢測和分析環(huán)境 光照條件。流水線210中的一個(gè)或多個(gè)模塊可利用該信息根據(jù)周圍環(huán)境來調(diào)整對HDR視頻內(nèi) 容的顯示。例如，在將色調(diào)映射和/或色域映射應(yīng)用于用于顯示的視頻內(nèi)容時(shí)，可基于對當(dāng) 前環(huán)境光照的分析來動態(tài)地調(diào)整映射。
[0071] 因此，描述了可采集并分析視頻內(nèi)容、查看者、顯示和環(huán)境指標(biāo)并且使用該信息來 調(diào)整流水線210中的輸入HDR視頻200內(nèi)容的處理以在目標(biāo)顯示面板240處生成調(diào)整到當(dāng)前 條件的顯示視頻232輸出的解碼/顯示流水線210的實(shí)施方案。在解碼/顯示流水線210的一 些實(shí)施方案中，可自動執(zhí)行使顯示適應(yīng)于當(dāng)前條件的各種指標(biāo)的采集和分析以及流水線中 的視頻處理模塊的調(diào)而無需人為干預(yù)，以動態(tài)地、自動地提供改進(jìn)的或優(yōu)化的視覺體驗(yàn)?？?自動檢測并使用條件(例如，查看者位置、環(huán)境光線、視頻內(nèi)容、顯示特征、顯示設(shè)置等)的變 化來實(shí)時(shí)地或近實(shí)時(shí)地響應(yīng)性調(diào)整對HDR視頻內(nèi)容的再現(xiàn)和顯示。
[0072]圖3和4示出了可執(zhí)行視頻內(nèi)容的顯示器側(cè)處理并且可實(shí)現(xiàn)參考圖1和2所述的顯 示器側(cè)自適應(yīng)視頻處理方法的實(shí)施方案的示例性解碼/顯示流水線的部件。
[0073]圖3示出了根據(jù)一些實(shí)施方案的可執(zhí)行自適應(yīng)視頻處理的示例性解碼/顯示流水 線。系統(tǒng)300可包括但不限于顯示面板340、解碼顯示流水線310、以及一個(gè)或多個(gè)傳感器 350。解碼/顯示流水線310可包括但不限于解碼器312部件或模塊、視頻管314部件或模塊、 幀率轉(zhuǎn)換316部件或模塊、顯示管320部件或模塊、以及顯示后端330部件或模塊。參考圖2， 視頻管314可執(zhí)行噪聲/偽影消減212和縮放/銳化214功能，并且?guī)兽D(zhuǎn)換316模塊可執(zhí)行幀 率轉(zhuǎn)換功能。如圖2所示的顯示管理218可包括顯示管320部件和顯示后端330部件。圖4示出 了示例性顯示管和顯示后端。
[0074] 參考圖3,可在解碼/顯示流水線310的解碼器312部件處接收經(jīng)編碼的HDR視頻流 (例如，H. 264/AVC或H. 265/HEVC經(jīng)編碼的視頻流）。解碼器312可對輸入視頻進(jìn)行解碼/解壓 縮，以生成被饋送至視頻管314的HDR視頻內(nèi)容。視頻管314可對視頻內(nèi)容執(zhí)行視頻處理任 務(wù)，包括但不限于噪聲/偽影消減、縮放、銳化和色彩處理。在一些實(shí)施方案中，幀率轉(zhuǎn)換316 部件可通過在現(xiàn)有幀之間生成一個(gè)或多個(gè)中間視頻幀來將視頻管314的視頻輸出轉(zhuǎn)換到較 高幀率。轉(zhuǎn)換到較高幀率例如可有助于補(bǔ)償可能出現(xiàn)在HDR視頻中的抖動。幀率轉(zhuǎn)換316部 件的輸出可被饋送到可執(zhí)行包括但不限于縮放、色彩空間轉(zhuǎn)換、色域調(diào)整和色調(diào)映射等視 頻處理任務(wù)的顯示管320中。顯示后端330繼而可執(zhí)行附加視頻處理任務(wù)，包括但不限于色 彩(色度)和色調(diào)(亮度)調(diào)整、背光調(diào)整、伽瑪校正、白點(diǎn)校正、黑點(diǎn)校正和時(shí)空抖動，以生成 到目標(biāo)顯示面板340的顯示視頻332輸出。
[0075]如圖3所示，經(jīng)解壓縮的視頻內(nèi)容可通過視頻內(nèi)容分析370模塊處理，以生成視頻 內(nèi)容信息372。此外，可獲取用于目標(biāo)顯示面板340的顯示信息342。此外，可例如經(jīng)由位于顯 示面板340處或其附近的一個(gè)或多個(gè)傳感器350來獲取環(huán)境信息352包括但不限于查看者指 標(biāo)(例如，位置)和周圍環(huán)境指標(biāo)(例如，環(huán)境光照指標(biāo)）。視頻內(nèi)容信息372、顯示信息342和/ 或環(huán)境信息352可輸入到解碼/顯示流水線310中的一個(gè)或多個(gè)部件或模塊并由其使用，以 根據(jù)該信息來動態(tài)地調(diào)整由一個(gè)或多個(gè)模塊所執(zhí)行的一個(gè)或多個(gè)視頻處理功能。因此，可 檢測、分析并使用當(dāng)前條件（例如，查看者位置、環(huán)境光線、視頻內(nèi)容、顯示特征、顯示設(shè)置 等)來使對HDR視頻內(nèi)容的再現(xiàn)和顯示實(shí)時(shí)地或近實(shí)時(shí)地動態(tài)適應(yīng)于目標(biāo)顯示面板340。 [0076]盡管在圖3中未示出，但在一些實(shí)施方案中，解碼/顯示流水線310可包括使其他數(shù) 字信息諸如文本與流式視頻內(nèi)容復(fù)合的復(fù)合部件。在一些實(shí)施方案中，解碼/顯示流水線 310可將輸入視頻轉(zhuǎn)換為線性色彩空間（例如，線性RGB或YCC色彩空間）以用于復(fù)合。復(fù)合部 件的輸出繼而可適用于本文所述的顯示和周圍環(huán)境。
[0077]圖4示出了根據(jù)一些實(shí)施方案的可執(zhí)行顯示器側(cè)自適應(yīng)視頻處理的示例性顯示管 420和顯示后端430。圖3所示的視頻管的輸出被饋送到顯示管420中，該顯示管可執(zhí)行垂直 縮放和水平縮放422以將視頻幀轉(zhuǎn)換為目標(biāo)顯示面板分辨率。然后可執(zhí)行色彩空間轉(zhuǎn)換 424，以將經(jīng)縮放的視頻內(nèi)容從輸入視頻內(nèi)容的色彩空間（例如，RGB、YCC或XYZ色彩空間)轉(zhuǎn) 換到另一色彩空間（例如，YCC色彩空間）。然后可對視頻內(nèi)容執(zhí)行色域調(diào)整426,以將視頻內(nèi) 容的色彩(色度)部件調(diào)整到目標(biāo)顯示面板的色域。然后可執(zhí)行另一色彩空間轉(zhuǎn)換424,以將 視頻內(nèi)容轉(zhuǎn)換為顯示后端430的色彩空間（例如，RGB色彩空間）。經(jīng)顯示管420處理的視頻內(nèi) 容繼而被提供至顯示后端430。
[0078] 顯示后端430可對視頻內(nèi)容執(zhí)行附加的顯示面板特有的視頻處理任務(wù)。在顯示后 端430的一些實(shí)施方案中，環(huán)境自適應(yīng)像素調(diào)整431部件可響應(yīng)于包括但不限于一個(gè)或多個(gè) 環(huán)境光線指標(biāo)的環(huán)境條件來調(diào)整視頻內(nèi)容中的像素值。在一些實(shí)施方案中，環(huán)境自適應(yīng)像 素調(diào)整431可涉及例如在YCC色彩空間中分別調(diào)整視頻內(nèi)容的色度（色彩）部件和亮度（亮 度）部件。在一些實(shí)施方案中，色域映射和色調(diào)映射技術(shù)可用于根據(jù)環(huán)境條件來調(diào)整像素 值。例如，可根據(jù)環(huán)境條件來修改用于色域或色調(diào)映射技術(shù)的曲線或傳遞函數(shù)。
[0079]在顯示后端430的一些實(shí)施方案中，動態(tài)面板背光調(diào)整432部件可根據(jù)視頻幀內(nèi)容 來調(diào)整目標(biāo)顯示面板的背光水平。在一些實(shí)施方案中，作為全局背光調(diào)整的替代形式，可根 據(jù)區(qū)域內(nèi)容來動態(tài)地調(diào)整針對視頻幀的不同區(qū)域的背光水平。例如，針對視頻幀的亮區(qū)的 背光水平可高于針對視頻幀的相對較暗區(qū)的背光水平。
[0080]在顯示后端430的一些實(shí)施方案中，可執(zhí)行面板伽瑪校正433來調(diào)整視頻內(nèi)容的亮 度，以在目標(biāo)顯示面板上正確顯示。然后可執(zhí)行白點(diǎn)校正434,以將視頻內(nèi)容的白點(diǎn)校正為 目標(biāo)顯示面板的白點(diǎn)。在顯示后端430的一些實(shí)施方案中，然后可將空間（在幀內(nèi)）和/或時(shí) 間（在兩個(gè)或更多個(gè)幀間）抖動施加于視頻內(nèi)容，以消減或消除所顯示的視頻內(nèi)容中的偽影 (例如，帶型）。
[0081]如圖4所示，一個(gè)或多個(gè)數(shù)據(jù)采集和分析模塊450可動態(tài)地采集并分析視頻內(nèi)容、 顯示特征和環(huán)境條件(例如，環(huán)境光線），以生成可輸入到顯示管420和/或顯示后端430中的 一個(gè)或多個(gè)部件或模塊并由其使用的視頻內(nèi)容信息472、顯示信息442和/或環(huán)境信息452， 以便根據(jù)該信息來動態(tài)地調(diào)整由一個(gè)或多個(gè)模塊所執(zhí)行的一個(gè)或多個(gè)視頻處理功能。 [0082] 使用感知色彩管理的環(huán)境自適應(yīng)再現(xiàn)
[0083]人類視覺系統(tǒng)具有廣勒克斯范圍。然而，在任何給定時(shí)間，人類視覺僅適用于該范 圍的一小部分。本文所述的自適應(yīng)視頻處理方法和裝置的至少一些實(shí)施方案可檢測并分析 包括但不限于環(huán)境光照的周圍環(huán)境條件，以根據(jù)當(dāng)前條件來確定人類視覺的當(dāng)前范圍，并 且可使目標(biāo)顯示面板的視頻內(nèi)容的再現(xiàn)和顯示適用于根據(jù)當(dāng)前條件的范圍。該過程可被稱 為環(huán)境自適應(yīng)再現(xiàn)。在一些實(shí)施方案中，可對自適應(yīng)視頻處理流水線的顯示器側(cè)執(zhí)行環(huán)境 自適應(yīng)再現(xiàn)。例如，在一些實(shí)施方案中，環(huán)境自適應(yīng)再現(xiàn)可通過圖1到5所示的解碼/顯示流 水線來實(shí)現(xiàn)。
[0084] 圖6A和6B示出了相對于示例性顯示面板的人類感知范圍。圖6A示出了在昏暗環(huán)境 中的顯示器的感知范圍。圖6B示出了在較明亮環(huán)境中的顯示器的感知范圍。如圖6A中曲線 所示，人類感知是非線性的。然而，人類視覺具有廣勒克斯范圍，從星光（ΠΓ 4勒克斯)到直射 日光（1〇4勒克斯）。然而，在任何給定時(shí)間，人類視覺僅適用于該范圍的一小部分并且通常 適應(yīng)最亮的刺激或?qū)ο?。在任何給定適應(yīng)水平，僅存在約256種人類視覺系統(tǒng)可辨別的不同 水平的強(qiáng)度。圖6A示出了相當(dāng)昏暗環(huán)境中的相當(dāng)明亮的顯示；該顯示相當(dāng)好地模擬了人類 視覺。垂直軸線表示256個(gè)感知水平（強(qiáng)度）。基座區(qū)域是難以正確再現(xiàn)的區(qū)域。基座區(qū)域包 括由于黑色的顯示泄漏以及離開顯示面板的反射光致使顯示器無法實(shí)現(xiàn)的灰色陰影，并且 示出了顯示器上在視覺感知上不同于純黑色的黑暗程度。
[0085]圖6B示出了人類感知到較亮環(huán)境的映射，在該較亮環(huán)境中顯示器僅可激起人類感 知的一部分。曲線的指示為顯示范圍的一部分僅激起不足人類視覺范圍的一半。顯示器的 感知響應(yīng)不同于其所測量的響應(yīng)。因此，存在可在顯示器上表示的動態(tài)范圍的極限。
[0086]如前所述，在給定適應(yīng)水平，僅存在約256種人類視覺系統(tǒng)可辨別的不同水平的強(qiáng) 度。環(huán)境自適應(yīng)再現(xiàn)方法的實(shí)施方案可檢測并分析包括但不限于環(huán)境光照的周圍環(huán)境條 件，以根據(jù)當(dāng)前條件來確定人類視覺的當(dāng)前范圍，并且可使用本文所述的感知色彩管理系 統(tǒng)使目標(biāo)顯示面板的視頻內(nèi)容的再現(xiàn)和顯示適用于根據(jù)當(dāng)前條件的范圍。
[0087]在至少一些實(shí)施方案中，環(huán)境自適應(yīng)再現(xiàn)可根據(jù)色彩外觀模型和色彩管理系統(tǒng)來 執(zhí)行。色彩管理系統(tǒng)可根據(jù)色彩外觀模型來控制包括但不限于相機(jī)設(shè)備和顯示設(shè)備等各種 設(shè)備的色彩表示之間的轉(zhuǎn)換。廣義定義的色彩外觀模型為描述通?？墒褂萌齻€(gè)或四個(gè)值或 色彩分量表示色彩的方式的數(shù)學(xué)模型。色彩外觀模型可限定色彩外觀(例如，亮度(亮度）、 明度、色彩度、色度、飽和度和色調(diào)）的尺寸。色彩外觀模型還可限可被施加于色彩分量的定 一種或多種變換或變換函數(shù)，諸如色適應(yīng)變換。色適應(yīng)通常被定義為用于在不同光照度下 查看物體時(shí)補(bǔ)償白點(diǎn)變化的人類視覺系統(tǒng)的動態(tài)機(jī)制。在色彩外觀模型中，可使用色適應(yīng) 變換來模擬人類視覺系統(tǒng)的色適應(yīng)?？捎糜趯?shí)施方案中的示例性色彩外觀模型為 CIECAM02,其由國際照明委員會(CIE)技術(shù)委員會8-01(用于色彩管理系統(tǒng)的色彩外觀模 型)所公布。
[0088]常規(guī)的色彩管理系統(tǒng)可將源（例如，視頻）意圖映射或匹配于測量顯示響應(yīng)，例如 使用色域(色彩或色度)和伽馬(色調(diào)或亮度)映射技術(shù)：
[0089] 源_>所測量的顯示
[0090] 然而，如上所述，人類查看者所感知到的顯示的響應(yīng)可不同于顯示器的所測量的 響應(yīng)。因此，自適應(yīng)視頻處理系統(tǒng)中的環(huán)境自適應(yīng)再現(xiàn)方法的實(shí)施方案可將附加匹配步驟 添加到映射過程：
[0091] 源-> 所測量的顯示-> 適應(yīng)性視覺
[0092] 其中適應(yīng)性視覺為例如由本文所述自適應(yīng)視頻處理方法和裝置所確定的當(dāng)前環(huán) 境條件(例如，環(huán)境光線水平）下的人類感知范圍，并且其中映射（由箭頭所指出的）可包括 色彩外觀模型的變換(例如，色適應(yīng)變換）。在映射過程中包括該附加步驟的經(jīng)修改的色彩 管理可被稱為感知色彩管理系統(tǒng)。感知色彩管理系統(tǒng)的色彩外觀模型可被稱為感知色彩模 型或感知模型。
[0093]圖7圖形化地示出了根據(jù)一些實(shí)施方案的環(huán)境自適應(yīng)再現(xiàn)系統(tǒng)700中的高水平感 知色彩管理。如在常規(guī)色彩管理中，可根據(jù)顯示信息730來將源視頻內(nèi)容720A映射702到所 測量的顯示響應(yīng)范圍，以生成視頻內(nèi)容720B。然而，應(yīng)用附加映射704以使顯示響應(yīng)適用于 所確定的適應(yīng)性人類視覺范圍，從而根據(jù)環(huán)境信息740和顯示信息730來生成適用于當(dāng)前查 看條件的輸出視頻720C。在一些實(shí)施方案中，附加映射704可涉及給定環(huán)境中的理想人類視 覺(例如，圖7B中的曲線）和顯示面板根據(jù)顯示面板的所測量的響應(yīng)實(shí)際表示的一部分(例 如，圖7B中的顯示范圍)之間的差值的倒數(shù)的卷積。
[0094] 在一些實(shí)施方案中，可在視頻回放系統(tǒng)的顯示器側(cè)實(shí)現(xiàn)環(huán)境自適應(yīng)再現(xiàn)系統(tǒng)700。 例如，在一些實(shí)施方案中，環(huán)境自適應(yīng)再現(xiàn)可通過圖1到5所示的視頻回放系統(tǒng)的解碼/顯示 流水線的一個(gè)或多個(gè)部件來實(shí)現(xiàn)。
[0095]可獲取并饋送到在環(huán)境自適應(yīng)再現(xiàn)系統(tǒng)700中實(shí)現(xiàn)的感知色彩管理系統(tǒng)的感知色 彩模型中的信息可包括但不限于顯示信息730(例如各種顯示特征和設(shè)置)和環(huán)境信息740 (包括但不限于查看者信息和光照信息）。該信息的一部分可為靜態(tài)的（例如，顯示特征，諸 如位深度和尺寸），而其他信息可為動態(tài)的（例如，當(dāng)前顯示設(shè)置、背光水平、環(huán)境光線、反射 光、查看者方位、查看者位置等）。可采集并使用該信息以根據(jù)被應(yīng)用于感知色彩模型的當(dāng) 前環(huán)境條件自適應(yīng)地再現(xiàn)用于進(jìn)行顯示的視頻內(nèi)容720。在一些實(shí)施方案中，包括由環(huán)境自 適應(yīng)再現(xiàn)系統(tǒng)700使視頻內(nèi)容720所適應(yīng)的顯示面板的設(shè)備可包括能夠用于采集用于感知 色彩模型的信息730和740的至少一部分的一個(gè)或多個(gè)傳感器，例如環(huán)境光傳感器、相機(jī)、運(yùn) 動檢測器等。
[0096]下文描述了根據(jù)一些實(shí)施方案的可獲取并輸入到環(huán)境自適應(yīng)再現(xiàn)系統(tǒng)700中的感 知色彩模型的各種測量、指標(biāo)或特征。然而，此列表并不旨在進(jìn)行限制：
[0097] ?顯示器的物理尺寸和其他靜態(tài)特征。
[0098] ?測量?？舍槍σ环N類型的顯示面板來預(yù)測量這些指標(biāo)或者可針對單個(gè)顯示面板 來測量這些指標(biāo)：
[0099]-顯示面板的所測量的響應(yīng)-針對每個(gè)色彩(例如，RGB)通道的來自源視頻內(nèi)容的 輸入水平和顯示面板的光輸出水平之間的映射。
[0100]-顯示面板的所測量的本機(jī)白點(diǎn)。
[0101 ]-來自顯示面板的所測量的漏光(促成圖6A所示的基座）。
[0102] -離開顯示面板的所測量的發(fā)射光(促成圖6A所示的基座）。
[0103] -顯示器的所測量的最大(和最小)背光水平。
[0104] ?環(huán)境指標(biāo)，該環(huán)境指標(biāo)例如由一個(gè)或多個(gè)傳感器來捕獲或根據(jù)由一個(gè)或多個(gè)傳 感器所捕獲的數(shù)據(jù)來確定。包括顯示面板的設(shè)備還可包括一個(gè)或多個(gè)傳感器。傳感器可包 括但不限于環(huán)境光傳感器、彩色環(huán)境光傳感器和相機(jī)中的一者或多者。光傳感器和相機(jī)可 包括一個(gè)或多個(gè)后(朝向查看者或用戶）向傳感器和/或一個(gè)或多個(gè)前(背向查看者或用戶） 向傳感器：
[0105] -當(dāng)前照射顯示面板的光。這可針對每個(gè)色彩通道來確定。
[0106] -從顯示器反射的光量。這可針對每個(gè)色彩通道來確定。
[0107] -查看者/用戶所面對的視野或背景的指標(biāo)(例如，亮度、色彩等）。
[0108] -查看者所適應(yīng)的白點(diǎn)。
[0109] -一個(gè)或多個(gè)查看者相對于顯示面板的位置(例如，距離、查看角度等）。在一些實(shí) 施方案中，包括顯示面板的設(shè)備的面向用戶相機(jī)可捕獲查看者的圖像，并且圖像可被分析 以估計(jì)從查看者到設(shè)備的距離。例如，可對查看者臉部的圖像進(jìn)行分析以基于所捕獲圖像 中的查看者的眼睛之間的測量距離來確定距離，因?yàn)槿搜弁嗑嗉s同樣距離。所估計(jì)的 距查看者的距離例如可用于估計(jì)顯示面板對向的視野。
[0110] ?動態(tài)確定的顯示指標(biāo)： Com]-顯示面板的當(dāng)前背光水平。
[0112] -當(dāng)前平均像素亮度(實(shí)際受照像素）。例如，該指標(biāo)可用于確定當(dāng)前顯示視頻內(nèi)容 的亮度。這可針對每個(gè)色彩通道來確定。
[0113] 盡管在圖7中未示出，但在一些實(shí)施方案中，除了顯示信息730和環(huán)境信息740之 外，環(huán)境自適應(yīng)再現(xiàn)系統(tǒng)還可獲取并使用其他信息來使視頻適應(yīng)于環(huán)境。例如，在一些實(shí)施 方案中，環(huán)境自適應(yīng)再現(xiàn)系統(tǒng)700可使顯示視頻以查看者想法或查看意圖為目標(biāo)，其可被稱 為查看模式。例如，在一些實(shí)施方案中，可獲取并使用光照、位置、當(dāng)日時(shí)間、生物識別和/或 其他數(shù)據(jù)來自動確定視頻內(nèi)容720的查看模式。所確定的查看模式繼而可被輸入到感知色 彩模型中，以將源視頻內(nèi)容720調(diào)整到查看模式。例如，查看模式的范圍可從平靜或輕松查 看模式到影片或動態(tài)查看模式。在一些實(shí)施方案中，替代性地或除此之外，還可使用用戶輸 入(例如，通過顯示面板控件、遙控、智能電話應(yīng)用程序等)來確定或調(diào)整視頻內(nèi)容720的查 看模式。例如，在一些實(shí)施方案中，查看者可調(diào)整用于"想法"或"意圖"參數(shù)的滑塊或開關(guān)， 例如以在最放松的"平穩(wěn)"模式和動態(tài)最亮的"影片"模式之間以離散或連續(xù)方式在兩個(gè)或 更多查看模式之間調(diào)整或選擇。
[0114]環(huán)境自適應(yīng)再現(xiàn)系統(tǒng)700的各種實(shí)施方案可使用各種圖像處理算法和技術(shù)(包括 但不限于色域映射和全局或局部色調(diào)映射技術(shù))來對視頻內(nèi)容720施加再現(xiàn)調(diào)整。在一些實(shí) 施方案中，環(huán)境自適應(yīng)再現(xiàn)700功能的至少一部分可使用一個(gè)或多個(gè)圖形處理單元(GPU)來 實(shí)現(xiàn)。例如，一些實(shí)施方案可實(shí)現(xiàn)自定義著色器，該自定義著色器可將根據(jù)感知色彩模型所 確定的調(diào)整施加于視頻內(nèi)容720。在一些實(shí)施方案中，環(huán)境自適應(yīng)再現(xiàn)700功能的至少一部 分可在包括但不限于自定義硬件的其他硬件中實(shí)現(xiàn)或通過其實(shí)現(xiàn)。例如，在一些實(shí)施方案 中，可使用一個(gè)或多個(gè)圖像信號處理器(ISP)色彩管來對視頻內(nèi)容720施加再現(xiàn)調(diào)整。
[0115] 在一些實(shí)施方案中，可使用一個(gè)或多個(gè)色彩查找表(CLUT)來將自適應(yīng)調(diào)整中的至 少一部分施加于視頻內(nèi)容720。例如，在一些實(shí)施方案中，三個(gè)1D(-維)LUT可被應(yīng)用于硬件 中，以對視頻內(nèi)容720施加自適應(yīng)調(diào)整。
[0116] 環(huán)境自適應(yīng)再現(xiàn)系統(tǒng)700的實(shí)施方案可基于顯示面板的特征和能力使HDR視頻內(nèi) 容自動適應(yīng)于目標(biāo)顯示面板。
[0117] 環(huán)境自適應(yīng)再現(xiàn)系統(tǒng)700的實(shí)施方案可使視頻內(nèi)容動態(tài)地適應(yīng)于在不同查看環(huán)境 中顯示，這可在不同查看環(huán)境中和/或在不同環(huán)境條件下提供改進(jìn)的視覺體驗(yàn)。因此，環(huán)境 自適應(yīng)再現(xiàn)系統(tǒng)700可通過根據(jù)用戶查看內(nèi)容所處環(huán)境的變化來自動調(diào)整顯示內(nèi)容，以向 移動設(shè)備的用戶提供改進(jìn)的視覺體驗(yàn)。
[0118] 通過使顯示面板動態(tài)地適應(yīng)于不同環(huán)境和環(huán)境條件，環(huán)境自適應(yīng)再現(xiàn)系統(tǒng)700的 實(shí)施方案可在一些查看環(huán)境中使用更少的背光源，這便能夠例如節(jié)省移動設(shè)備的電力。在 一些實(shí)施方案中，可將背光源映射到感知色彩模型中，這便能夠例如允許環(huán)境自適應(yīng)再現(xiàn) 系統(tǒng)700使得該顯示在適應(yīng)于不同環(huán)境和環(huán)境條件的情況下表現(xiàn)得更為類紙化。換句話講， 環(huán)境自適應(yīng)再現(xiàn)系統(tǒng)700能夠使顯示匹配于在相同環(huán)境下的紙張的亮度水平，并且跟蹤并 調(diào)整來適應(yīng)查看者環(huán)境的白點(diǎn)。
[0119] 在一些實(shí)施方案中，由環(huán)境自適應(yīng)再現(xiàn)系統(tǒng)700采集或生成的信息可在視頻處理 流水線中向前（向上流式傳輸)饋送并用于影響環(huán)境自適應(yīng)再現(xiàn)系統(tǒng)700處理視頻內(nèi)容之前 的視頻處理。例如，參見圖1到3,環(huán)境自適應(yīng)再現(xiàn)可在顯示流水線的顯示管和/或顯示后端 部件中實(shí)現(xiàn)或通過其實(shí)現(xiàn)。顯示和/或環(huán)境信息可向上饋送至顯示流水線的一個(gè)或多個(gè)部 件或階段(例如，前饋至解碼器、視頻管和/或幀率轉(zhuǎn)換階段，或前饋至將諸如文本等其他數(shù) 字信息與流式視頻內(nèi)容復(fù)合的復(fù)合部件)并用于影響顯示流水線的這些上游部件處的視頻 內(nèi)容處理。
[0120] 在一些實(shí)施方案中，參考圖1，由顯示器側(cè)環(huán)境自適應(yīng)再現(xiàn)系統(tǒng)700所采集的顯示 和/或環(huán)境信息可后饋至服務(wù)器/編碼流水線并用于影響在內(nèi)容流式傳輸?shù)桨繕?biāo)顯示 面板的設(shè)備之前的視頻內(nèi)容的服務(wù)器側(cè)處理。例如，在一些實(shí)施方案中，顯示和/或環(huán)境信 息可指示目標(biāo)顯示面板的能力不支持在周圍環(huán)境中全HDR成像。作為響應(yīng)，服務(wù)器/編碼流 水線可處理輸入HDR內(nèi)容并將其編碼為可在當(dāng)前條件下由目標(biāo)顯示面板顯示的較低動態(tài)范 圍。這便可例如在目標(biāo)顯示面板無法支持在源視頻內(nèi)容中可用的全動態(tài)范圍的情況下節(jié)省 傳輸帶寬。
[0121] 顯示器側(cè)SDR到HDR轉(zhuǎn)換
[0122] 再次參見圖1，在一些實(shí)施方案中，解碼/顯示流水線130可使用輸入編碼視頻流 112的一個(gè)或多個(gè)特征來調(diào)整一個(gè)或多個(gè)視頻處理功能以使視頻適應(yīng)于目標(biāo)顯示面板140。 例如，在一些實(shí)施方案中，目標(biāo)顯示面板140可支持HDR成像。然而，解碼/顯示流水線130可 接收經(jīng)編碼標(biāo)準(zhǔn)動態(tài)范圍（SDR)視頻數(shù)據(jù)，以用于顯示到目標(biāo)面板140。常規(guī)地，SDR到HDR處 理已通過將SDR視頻內(nèi)容線性縮放至HDR目標(biāo)顯示來執(zhí)行。然而，HDR成像遠(yuǎn)比SDR成像明亮， 并且從SDR視頻內(nèi)容的常規(guī)線性縮放并不產(chǎn)生最佳適用于較高動態(tài)范圍的視頻內(nèi)容;而且， 線性縮放可能產(chǎn)生可見的偽影。例如，鏡面高光區(qū)可變暗或不見，暗區(qū)可充滿噪聲，并且色 帶或色調(diào)帶可見。
[0123] 為了改善由SDR視頻輸入生成的HDR視頻內(nèi)容的質(zhì)量，在一些實(shí)施方案中，在檢測 到SDR視頻數(shù)據(jù)時(shí)，解碼/顯示流水線130可調(diào)整一個(gè)或多個(gè)視頻處理功能，和/或執(zhí)行一個(gè) 或多個(gè)附加處理功能，以將經(jīng)解碼的SDR視頻輸入轉(zhuǎn)換為HDR圖像格式，以用于以HDR目標(biāo)面 板140的較高動態(tài)范圍來更好顯示。廣義描述的這些調(diào)整可涉及將SDR視頻內(nèi)容非線性映射 到HDR空間，以改善內(nèi)容在顯示到目標(biāo)HDR顯示面板時(shí)的質(zhì)量(例如，亮度）。
[0124] 圖9為根據(jù)一些實(shí)施方案的用于執(zhí)行SDR到HDR轉(zhuǎn)換視頻以生成適用于HDR顯示的 顯示視頻內(nèi)容的方法的高級流程圖。如在圖9的900處所指出的，解碼/顯示流水線可對經(jīng)編 碼的SDR視頻流進(jìn)行接收和解碼用，以用于HDR目標(biāo)顯示。如在圖9的902處所指出的，解碼/ 顯示流水線可執(zhí)行一種或多種非線性SDR到HDR轉(zhuǎn)換技術(shù)以使輸入SDR視頻內(nèi)容適應(yīng)并擴(kuò)展 到適用于支持HDR的顯示面板的HDR視頻內(nèi)容。如在圖9的904處所指出的，可將HDR視頻內(nèi)容 顯示給HDR顯示面板。參考圖8對圖9的元件進(jìn)行更加詳細(xì)的描述。
[0125] 圖8示出了根據(jù)一些實(shí)施方案的在SDR輸入視頻中執(zhí)行SDR到HDR轉(zhuǎn)換以生成適用 于HDR顯示的顯示視頻內(nèi)容的示例性解碼/顯示流水線。在至少一些實(shí)施方案中，解碼/顯示 流水線810可被配置為處理HDR視頻輸入以生成用于目標(biāo)顯示面板840的HDR顯示視頻832。 然而，解碼/顯示流水線810可替代地接收SDR視頻800輸入。
[0126] 如圖8所示，解碼/顯示流水線810的實(shí)施方案可利用根據(jù)輸入SDR視頻800內(nèi)容所 確定的內(nèi)容特征820和顯示面板840的顯示特征830來將SDR視頻800輸入轉(zhuǎn)換為HDR視頻832 輸出，以用于顯示給支持HDR的顯示面板840。在一些實(shí)施方案中，解碼/顯示流水線810可包 括視頻處理功能或模塊，包括但不限于解碼器812、視頻管814、幀率轉(zhuǎn)換816和顯示管理818 功能或模塊。可將內(nèi)容特征820和顯示特征830提供至這些模塊中的一者或多者并用于調(diào)整 一個(gè)或多個(gè)相應(yīng)功能，以用于將SDR視頻800輸入轉(zhuǎn)換為HDR視頻832輸出。
[0127] 可在解碼/顯示流水線810的解碼器812部件處接收經(jīng)編碼的SDR視頻800流(例如， H.264/AVC或H.265/HEVC經(jīng)編碼的視頻流）。解碼器312可對輸入視頻進(jìn)行解碼/解壓縮，以 生成饋送至視頻管814的視頻內(nèi)容。視頻管814可例如執(zhí)行噪聲/偽影消減、縮放和銳化。在 一些實(shí)施方案中，解碼器812或視頻管814可將輸入SDR視頻800轉(zhuǎn)換為HDR兼容格式，例如通 過轉(zhuǎn)換為具有擴(kuò)展位深度的格式以支持HDR成像。
[0128] 幀率轉(zhuǎn)換816可通過在現(xiàn)有幀之間生成一個(gè)或多個(gè)中間視頻幀來將視頻管814的 視頻輸出轉(zhuǎn)換為較高幀率。轉(zhuǎn)換為較高幀率例如可有助于補(bǔ)償可能出現(xiàn)在HDR視頻中的抖 動。顯示管理818可包括可執(zhí)行包括但不限于縮放、色彩空間轉(zhuǎn)換、色域調(diào)整和色調(diào)映射的 視頻處理任務(wù)的顯示管，以及可執(zhí)行包括但不限于色彩(色度）和色調(diào)（亮度）調(diào)整、背光調(diào) 整、伽瑪校正、白點(diǎn)校正、黑點(diǎn)校正和時(shí)空抖動的附加視頻處理任務(wù)的顯示后端，以生成輸 出到支持HDR的目標(biāo)顯示面板840的HDR顯示視頻832。
[0129] 在實(shí)施方案中，可將內(nèi)容特征820和顯示特征830提供至解碼/顯示流水線810中的 一個(gè)或多個(gè)模塊并用于調(diào)整一個(gè)或多個(gè)相應(yīng)的功能，以將SDR視頻800輸入轉(zhuǎn)換為HDR視頻 832輸出。在從SDR轉(zhuǎn)換到顯示面板840所支持的較高動態(tài)范圍時(shí)，各種增強(qiáng)功能可由解碼/ 顯示流水線810基于可改善對視頻內(nèi)容的顯示的特征來執(zhí)行。下文描述了在將SDR視頻轉(zhuǎn)換 為HDR視頻時(shí)可執(zhí)行的增強(qiáng)功能的示例，并且并非旨在進(jìn)行限制。
[0130]在一些實(shí)施方案中，響應(yīng)于檢測到SDR視頻800內(nèi)容，內(nèi)容特征820模塊可分析視頻 內(nèi)容，以尋找視頻幀中的具有鏡面高光的區(qū)域。因此，所檢測到的內(nèi)容特征可包括輸入視頻 幀中的鏡面高光。解碼/顯示流水線810可減小鏡面高光區(qū)的至少一部分的尺寸，和/或增加 鏡面高光區(qū)的至少一部分的亮度，以使得鏡面高光區(qū)在顯示時(shí)看起來更令人印象深刻。
[0131] 在一些實(shí)施方案中，輸入SDR視頻800內(nèi)容中的暗區(qū)或陰影區(qū)可由解碼/顯示流水 線810來檢測并進(jìn)行不同地自動處理以用于改善的HDR顯示。例如，解碼/顯示流水線810可 對所檢測到的暗區(qū)或陰影區(qū)施加較強(qiáng)的降噪，以在顯示到HDR顯示面板840時(shí)減少視頻內(nèi)容 的較暗區(qū)域中的噪聲。
[0132] 又如，解碼/顯示流水線810可調(diào)整或選擇用于色調(diào)映射的色調(diào)曲線以使陰影區(qū)加 深。色調(diào)曲線可為非線性的例如S形色調(diào)曲線，以減少暗區(qū)中的噪聲并提供比使用常規(guī)線性 縮放能夠獲取的更好的對比度。在一些實(shí)施方案中，可基于一個(gè)或多個(gè)所檢測到的內(nèi)容特 征和/或顯示特征來動態(tài)地選擇色調(diào)曲線。在一些實(shí)施方案中，可檢測有關(guān)周圍環(huán)境的一個(gè) 或多個(gè)指標(biāo)(例如，環(huán)境光照指標(biāo))并用于確定色調(diào)曲線。在一些實(shí)施方案中，可選擇針對視 頻幀或幀序列的非線性全局色調(diào)曲線。在一些實(shí)施方案中，代替全局色調(diào)曲線或除此之外， 還可將視頻幀細(xì)分為多個(gè)區(qū)域，并且可動態(tài)地選擇針對每個(gè)區(qū)域的局部色調(diào)曲線。
[0133] 在一些實(shí)施方案中，可檢測由色彩剪裁（例如，在編碼器側(cè)的色調(diào)或色域映射期 間）所導(dǎo)致的色彩過渡，并且解碼/顯示流水線810可嘗試重建正確色彩以使色彩過渡平滑。
[0134] 在一些實(shí)施方案中，從SDR到HDR(例如，8位SDR到10位HDR)的位深度擴(kuò)展可由解 碼/顯示流水線810使用嘗試在擴(kuò)展到較大位深度時(shí)通過使圖像內(nèi)容平滑來消除帶狀偽影 的技術(shù)來執(zhí)行。例如，在一些實(shí)施方案中，可分析輸入像素的數(shù)據(jù)值以確定斜率，并且該斜 率可用于執(zhí)行到經(jīng)擴(kuò)展位深度的非線性擴(kuò)展，而不是執(zhí)行到經(jīng)擴(kuò)展位深度的線性擴(kuò)展，以 產(chǎn)生經(jīng)擴(kuò)展的位的比使用線性函數(shù)所實(shí)現(xiàn)的更平滑的再現(xiàn)。
[0135] 服務(wù)器側(cè)自適應(yīng)視頻處理
[0136] 再次參見圖1，在一些實(shí)施方案中，針對目標(biāo)顯示面板140的自適應(yīng)視頻處理可在 服務(wù)器/編碼流水線11 〇中實(shí)現(xiàn)或通過服務(wù)器/編碼流水線11 〇實(shí)現(xiàn)。這些實(shí)施方案可被稱為 服務(wù)器側(cè)自適應(yīng)視頻處理系統(tǒng)。在顯示器側(cè)視頻處理流水線不支持HDR/WCG成像、不支持目 標(biāo)顯示面板的全動態(tài)范圍和色域、或以其他方式受限的情況下，服務(wù)器側(cè)自適應(yīng)視頻處理 系統(tǒng)的實(shí)施方案例如可用于支持支持HDR的顯示面板的高動態(tài)范圍(HDR)和廣色域(WCG)視 頻回放。例如，服務(wù)器側(cè)自適應(yīng)視頻處理系統(tǒng)的實(shí)施方案可用于支持到小型或移動設(shè)備或 到可具有有限顯示器側(cè)視頻處理能力的傳統(tǒng)設(shè)備的HDR和WCG視頻流。
[0137] 圖11示出了根據(jù)一些實(shí)施方案的其中服務(wù)器側(cè)編碼流水線生成適用于目標(biāo)顯示 面板的輸出視頻數(shù)據(jù)的視頻回放方法的流程圖。如在圖11的1100處所指出的，服務(wù)器/編碼 流水線可獲取用于目標(biāo)顯示面板的視頻內(nèi)容。例如，服務(wù)器/編碼流水線可從視頻源(諸如 包括服務(wù)器/編碼流水線的設(shè)備或系統(tǒng)上的攝像機(jī))接收輸入視頻，并且可被指示對視頻內(nèi) 容進(jìn)行編碼和流式傳輸，以用于顯示在特定的目標(biāo)顯示面板上。目標(biāo)顯示面板可與服務(wù)器/ 編碼流水線位于相同的設(shè)備或系統(tǒng)上，或者另選地可位于不同的設(shè)備或系統(tǒng)上。目標(biāo)顯示 面板可支持高動態(tài)范圍(HDR)和廣色域(WCG)成像。
[0138] 盡管未示出，但在一些實(shí)施方案中，服務(wù)器/編碼流水線可獲取或確定輸入視頻內(nèi) 容的一個(gè)或多個(gè)特征。例如，在一些實(shí)施方案中，可分析視頻內(nèi)容以確定例如視頻內(nèi)容的動 態(tài)范圍有多寬、幀間或場景間存在多少運(yùn)動、色彩范圍、鏡面高光區(qū)、對比度、亮區(qū)和暗區(qū) 等?？墒褂迷搩?nèi)容信息連同其他信息來處理視頻內(nèi)容，以用于顯示在目標(biāo)顯示面板上。
[0139] 如在圖11的1102處所指出的，服務(wù)器/編碼流水線可獲取用于目標(biāo)顯示面板的顯 示信息和/或環(huán)境信息。顯示信息可指示顯示特征，該顯示特征可包括但不限于以下各項(xiàng)中 的一者或多者:所測量的響應(yīng)、格式、分辨率、尺寸、動態(tài)范圍、位深度、背光水平、白點(diǎn)、當(dāng)前 顯示控件設(shè)置等。環(huán)境信息可包括但不限于各種環(huán)境光照指標(biāo)和查看者指標(biāo)諸如查看者相 對于目標(biāo)顯示面板的位置、顯示面板的尺寸和距顯示面板的距離。環(huán)境光照指標(biāo)例如可包 括有關(guān)入射到顯示面板的光、來自顯示面板的反射光水平的指標(biāo)，以及查看者/用戶面對的 視野(或背景）的指標(biāo)(例如，亮度、色彩、白點(diǎn)等）。在一些實(shí)施方案中，包括目標(biāo)顯示面板的 設(shè)備可包括可用于從周圍環(huán)境采集數(shù)據(jù)的一個(gè)或多個(gè)前向傳感器和/或后向傳感器(例如， 相機(jī)、光傳感器等）；所采集的數(shù)據(jù)可被分析以確定之后通過服務(wù)器/編碼流水線獲取或提 供至服務(wù)器/編碼流水線的一個(gè)或多個(gè)環(huán)境指標(biāo)。
[0140] 如在圖11的1104處所指出的，服務(wù)器/編碼流水線可根據(jù)所獲取的信息來將視頻 內(nèi)容映射到目標(biāo)顯示面板的動態(tài)范圍。在一些實(shí)施方案中，服務(wù)器/編碼流水線根據(jù)色調(diào)映 射技術(shù)來將視頻內(nèi)容映射到由所獲取的信息所指示的目標(biāo)顯示面板的動態(tài)范圍。色調(diào)映射 技術(shù)可根據(jù)所獲取的信息來調(diào)整。例如，可根據(jù)顯示信息來將源數(shù)據(jù)的動態(tài)范圍映射到目 標(biāo)顯示面板的位深度。又如，在色調(diào)映射技術(shù)中所使用的色調(diào)曲線和/或傳遞函數(shù)可基于一 個(gè)或多個(gè)指標(biāo)(包括但不限于由環(huán)境信息所指示的顯示面板處的當(dāng)前環(huán)境光照指標(biāo))來修 改或調(diào)整。在一些實(shí)施方案中，可至少部分地基于顯示信息和/或環(huán)境信息來選擇針對服務(wù) 器/編碼流水線中所處理的視頻幀或幀序列的非線性全局色調(diào)曲線。在一些實(shí)施方案中，代 替全局色調(diào)曲線或除此之外，還可將視頻幀細(xì)分為多個(gè)區(qū)域，并且可至少部分地基于顯示 信息和/或環(huán)境信息來動態(tài)地選擇針對每個(gè)區(qū)域的局部色調(diào)曲線。
[0141] 如在圖11的1106處所指出的，服務(wù)器/編碼流水線可根據(jù)所獲取的信息來將視頻 內(nèi)容映射到目標(biāo)顯示面板的色域。在一些實(shí)施方案中，服務(wù)器/編碼流水線根據(jù)色域映射技 術(shù)來將視頻內(nèi)容映射到由所獲取的信息所指示的目標(biāo)顯示面板的色域。該色域映射技術(shù)可 根據(jù)所獲取的信息來調(diào)整。例如，可根據(jù)顯示信息來將源數(shù)據(jù)的色域映射到目標(biāo)顯示面板 的位深度。又如，可根據(jù)顯示信息中所指示的由顯示面板所支持的特定色域來選擇曲線、傳 遞函數(shù)和/或查找表。又如，在色域映射技術(shù)中所使用的曲線、傳遞函數(shù)和/或查找表可基于 一個(gè)或多個(gè)指標(biāo)(包括但不限于環(huán)境信息所指示的顯示面板處的當(dāng)前環(huán)境光照指標(biāo))來修 改或調(diào)整。
[0142] 如在圖11的1108處所指出的，服務(wù)器/編碼流水線可對視頻內(nèi)容進(jìn)行編碼并將經(jīng) 編碼的視頻內(nèi)容傳輸至與目標(biāo)顯示面板相關(guān)聯(lián)的解碼/顯示流水線。服務(wù)器/編碼流水線例 如可根據(jù)壓縮視頻如H.264/AVC或H.265/HEVC格式來對視頻數(shù)據(jù)進(jìn)行編碼，以用于傳送至 目標(biāo)顯示面板。經(jīng)編碼的視頻內(nèi)容例如可被寫入到存儲器，以供與目標(biāo)顯示面板相關(guān)聯(lián)的 解碼/顯示流水線訪問，經(jīng)由有線或無線網(wǎng)絡(luò)連接提供或流式傳輸至與目標(biāo)顯示面板相關(guān) 聯(lián)的解碼/顯示流水線，或以其他方式傳送至與目標(biāo)顯示面板相關(guān)聯(lián)的解碼/顯示流水線。
[0143] 如在圖11的1110處所指出的，解碼/顯示流水線對視頻內(nèi)容進(jìn)行解碼并顯示。由于 到由目標(biāo)顯示面板所支持的動態(tài)范圍和色域的顯示面板特有的色調(diào)和色域映射在服務(wù)器/ 編碼側(cè)執(zhí)行，因此解碼/顯示流水線可無需任何更改或修改來支持HDR和/或WCG成像。
[0144] 需注意，服務(wù)器/編碼流水線可應(yīng)用圖11所示的方法來根據(jù)顯示面板的特定特征 和/或環(huán)境來將相同視頻內(nèi)容映射到兩個(gè)或更多個(gè)不同的目標(biāo)顯示面板。例如，服務(wù)器/編 碼流水線可根據(jù)顯示器特有信息來調(diào)整視頻處理和編碼功能，以使視頻內(nèi)容適應(yīng)于支持不 同位深度、色彩空間、色域和/或動態(tài)范圍的目標(biāo)顯示面板。還需注意，圖11和其他流程圖和 作業(yè)圖并非旨在進(jìn)行限制。例如，在圖11所示視頻回放方法的一些實(shí)施方案中，元素1106 (色域映射)可在元素1104(動態(tài)范圍映射)之前發(fā)生。
[0145] 參考圖1和10對圖11的元素進(jìn)行更加詳細(xì)的描述。
[0146] 再次參見圖1，在服務(wù)器側(cè)自適應(yīng)視頻處理系統(tǒng)的實(shí)施方案中，服務(wù)器/編碼流水 線110可將從源100獲取的視頻內(nèi)容映射到目標(biāo)顯示面板140。例如，視頻內(nèi)容可以是從圖像 傳感器或相機(jī)獲取的HDR和WCG視頻內(nèi)容。在一些實(shí)施方案中，在將視頻內(nèi)容映射到目標(biāo)顯 示面板140中，服務(wù)器/編碼流水線110根據(jù)色域映射技術(shù)來將視頻內(nèi)容映射到目標(biāo)顯示面 板140的色域，并根據(jù)色調(diào)映射技術(shù)來將視頻內(nèi)容映射到目標(biāo)顯示面板140的動態(tài)范圍。在 執(zhí)行映射中，服務(wù)器/編碼流水線110可考慮目標(biāo)顯示面板140的視頻內(nèi)容、能力和特征，并 且目標(biāo)顯示面板140處的有關(guān)環(huán)境190的信息包括但不限于光照192和查看者180信息中的 一者或多者。
[0147] 可由服務(wù)器/編碼流水線110用于將視頻內(nèi)容映射到目標(biāo)顯示面板140的信息的至 少一部分可通過包括目標(biāo)顯示面板140和解碼/顯示流水線130的設(shè)備或系統(tǒng)120來捕獲。系 統(tǒng)120可將所捕獲的信息提供至包括服務(wù)器/編碼流水線110的設(shè)備或系統(tǒng)。例如，包括目標(biāo) 顯示面板1140的系統(tǒng)120還可包括可用于檢測環(huán)境條件諸如環(huán)境光照和查看者位置的一個(gè) 或多個(gè)傳感器150(相機(jī)、光傳感器等）。系統(tǒng)120例如可經(jīng)由有線或無線網(wǎng)絡(luò)連接來將用于 描述當(dāng)前環(huán)境條件的信息提供至實(shí)現(xiàn)服務(wù)器/編碼流水線110的遠(yuǎn)程設(shè)備、系統(tǒng)或服務(wù)器。 然而，需注意，服務(wù)器/編碼流水線110和解碼/顯示流水線130可在相同設(shè)備或系統(tǒng)上實(shí)現(xiàn)。
[0148] 在一些實(shí)施方案中，目標(biāo)顯示面板140可支持以某一位深度(例如，10位）的HDR和 WCG成像，并且服務(wù)器/編碼流水線110可根據(jù)目標(biāo)顯示面板140處的一個(gè)或多個(gè)當(dāng)前環(huán)境因 素諸如環(huán)境光照192和查看者180位置來以顯示面板140所支持的位深度來將視頻內(nèi)容映射 到動態(tài)范圍和色域。服務(wù)器/編碼流水線110對所映射的視頻內(nèi)容進(jìn)行編碼并將經(jīng)編碼的內(nèi) 容發(fā)送至用于目標(biāo)顯示面板140的解碼/顯示流水線130,該解碼/顯示流水線對視頻內(nèi)容進(jìn) 行解碼并顯示給目標(biāo)顯示面板140。
[0149] 服務(wù)器側(cè)自適應(yīng)視頻處理例如可為一種用于通過網(wǎng)絡(luò)或到支持HDR和WCG的目標(biāo) 系統(tǒng)120和顯示面板140的連接從服務(wù)器系統(tǒng)獲取HDR、WCG視頻內(nèi)容以用于顯示的有效而相 對簡單的方法，這是因?yàn)樵诮獯a/顯示130側(cè)上可無需特別的映射。由于到由目標(biāo)顯示面板 140所支持的動態(tài)范圍和色域的顯示面板特有的色調(diào)和色域映射在服務(wù)器/編碼110側(cè)上執(zhí) 行，因此解碼/顯示流水線130可無需任何更改或修改來支持HDR和/或WCG成像。還需注意， 服務(wù)器/編碼流水線110可根據(jù)顯示面板140的特定特征和/或環(huán)境來將相同的視頻內(nèi)容映 射到兩個(gè)或更多個(gè)不同的目標(biāo)顯示面板140。
[0150] 圖10示出了根據(jù)一些實(shí)施方案的其中服務(wù)器側(cè)編碼流水線生成適用于目標(biāo)顯示 面板的輸出視頻數(shù)據(jù)的示例性視頻回放系統(tǒng)。在示例性視頻回放系統(tǒng)中，服務(wù)器/編碼1000 流水線產(chǎn)生廣色域(WCG)和高動態(tài)范圍（HDR)的輸出數(shù)據(jù)，其中至少部分地根據(jù)從解碼/顯 示1050側(cè)獲取的信息映射到在服務(wù)器/編碼1000側(cè)上執(zhí)行的顯示色域和動態(tài)范圍。示例性 視頻回放方法和系統(tǒng)可涉及以WCG和HDR的H. 265/HEVC編碼，以用于分配給至少一個(gè)目標(biāo)顯 示面板，其中顯示器側(cè)解碼和處理無需針對目標(biāo)顯示面板的特別色域或色調(diào)映射。
[0151] 圖10示出了包括一個(gè)或多個(gè)部件的服務(wù)器/編碼1000模塊或流水線和包括一個(gè)或 多個(gè)部件的解碼/顯示1050模塊或流水線。在該示例中，將解碼/顯示1050流水線和目標(biāo)HDR 顯示面板1090被示出為在系統(tǒng)1040上實(shí)現(xiàn)。在一些實(shí)施方案中，服務(wù)器/編碼1000和解碼/ 顯示1050中的一者或兩者可在片上系統(tǒng)（SOC)上實(shí)現(xiàn)。在一些實(shí)施方案中，服務(wù)器/編碼 1000和解碼/顯示1050可在相同設(shè)備、系統(tǒng)和/或SOC上實(shí)現(xiàn)。在一些實(shí)施方案中，服務(wù)器/編 碼1000和解碼/顯示1050可在不同設(shè)備、系統(tǒng)或SOC上實(shí)現(xiàn)。在一些實(shí)施方案中，一個(gè)或多個(gè) 服務(wù)器/編碼1000流水線可在設(shè)備或系統(tǒng)上實(shí)現(xiàn);服務(wù)器/編碼1000流水線可被配置為對視 頻進(jìn)行編碼并將其流式傳輸至一個(gè)或多個(gè)目標(biāo)設(shè)備或系統(tǒng)，每個(gè)設(shè)備或系統(tǒng)實(shí)現(xiàn)至少一個(gè) 解碼/顯示1050流水線和至少一個(gè)目標(biāo)顯示面板1090。
[0152] 在該實(shí)施方案中，目標(biāo)顯示面板1090的色域映射和色調(diào)映射由服務(wù)器/編碼1000 流水線來執(zhí)行，其中由目標(biāo)顯示面板1090所支持的HDR和WCG的視頻編碼流(VES) 1012在編 碼1000側(cè)上被生成并傳送至解碼1050側(cè)(例如，至HEVC解碼1052部件），以用于解碼和顯示。 服務(wù)器/編碼流水線1000可從包括目標(biāo)顯示面板1090的系統(tǒng)1040獲取顯示信息1092和/或 環(huán)境信息1042。
[0153] 對服務(wù)器/編碼1000流水線的輸入視頻內(nèi)容例如可以16位的位深度在(線性)CIE 1931XYZ色彩空間中被解碼。映射部件1002可向輸入線性XYZ視頻施加12位電光轉(zhuǎn)換函數(shù) (E0TF)操作，以將16位輸入數(shù)據(jù)映射到12位輸入視頻數(shù)據(jù)，例如映射到12位RGB色彩空間。 盡管未示出，但在一些實(shí)施方案中，服務(wù)器/編碼1000流水線可分析輸入視頻內(nèi)容，以確定 一個(gè)或多個(gè)內(nèi)容特征，例如視頻內(nèi)容的動態(tài)范圍有多寬、幀間或場景間存在多少運(yùn)動、色彩 特征(例如，色彩范圍）、鏡面高光區(qū)、對比度、亮區(qū)和暗區(qū)等?？墒褂迷搩?nèi)容信息連同顯示信 息1092和/或環(huán)境信息來處理視頻內(nèi)容，以用于顯示在目標(biāo)顯示面板1090上。
[0154] 面板特有的映射1004部件繼而可根據(jù)從系統(tǒng)1040獲取的顯示信息1092和/或環(huán)境 信息來將12位RGB視頻數(shù)據(jù)映射到目標(biāo)顯示面板1090的色彩空間（例如，10位RGB)。還可將 輸入視頻內(nèi)容的特征用于映射1004。映射1004例如可涉及執(zhí)行色域映射，以將輸入視頻內(nèi) 容的色域映射到顯示面板1090的色域，以及執(zhí)行色調(diào)映射以將輸入視頻內(nèi)容的動態(tài)范圍映 射到顯示面板1090的動態(tài)范圍。
[0155] 色域映射技術(shù)可根據(jù)從系統(tǒng)1040所獲取的信息來調(diào)整。例如，可根據(jù)顯示信息 1092來將源數(shù)據(jù)的色域映射到目標(biāo)顯示面板的位深度。又如，可根據(jù)顯示信息1092中所指 示的、顯示面板所支持的特定色域來選擇曲線、傳遞函數(shù)和/或查找表。又如，在色域映射技 術(shù)中所使用的曲線、傳遞函數(shù)和/或查找表可基于一個(gè)或多個(gè)指標(biāo)(包括但不限于環(huán)境信息 1042所指示的顯示面板處的當(dāng)前環(huán)境光照指標(biāo))來修改或調(diào)整。
[0156]色調(diào)映射技術(shù)還可根據(jù)從系統(tǒng)1040所獲取的信息來調(diào)整。例如，可根據(jù)顯示信息 1092來將源數(shù)據(jù)的動態(tài)范圍映射到目標(biāo)顯示面板的位深度。又如，在色調(diào)映射技術(shù)中所使 用的色調(diào)曲線和/或傳遞函數(shù)可基于一個(gè)或多個(gè)指標(biāo)(包括但不限于環(huán)境信息1042所指示 的顯示面板處的當(dāng)前環(huán)境光照指標(biāo))來修改或調(diào)整。在一些實(shí)施方案中，可至少部分地基于 顯示信息1092和/或環(huán)境信息1092來選擇針對服務(wù)器/編碼流水線中所處理的視頻幀或幀 序列的非線性全局色調(diào)曲線。在一些實(shí)施方案中，代替全局色調(diào)曲線或除此之外，還可將視 頻幀細(xì)分為多個(gè)區(qū)域，并且可至少部分地基于顯示信息1092和/或環(huán)境信息1092來動態(tài)地 確定或以其他方式選擇針對每個(gè)區(qū)域的局部色調(diào)曲線。
[0157] 在一些實(shí)施方案中，面板特有的映射1004可至少部分地由圖像信號處理器（ISP) 來執(zhí)行。在一些實(shí)施方案中，ISP的一個(gè)或多個(gè)部件(例如，3D色彩查找表(CLUT))可用于執(zhí) 行面板特有的映射1004。然而，替代地或除此之外，面板特有的映射1004還可由一個(gè)或多個(gè) GHJ來執(zhí)行或在一個(gè)或多個(gè)GPU中執(zhí)行。
[0158] 在一些實(shí)施方案中，RGB到Y(jié)CC 1006部件可將10位RGB輸出轉(zhuǎn)換為10位YCC格式以 用于編碼。H.265/HEVC編碼器部件1010對10位YCC視頻數(shù)據(jù)進(jìn)行編碼，從而以10位的位深度 生成由目標(biāo)顯示面板1090所支持的HDR和WCG的HEVC VES 1012。
[0159] 在解碼1050處，HEVC解碼部件1052對HEVC壓縮視頻流1012進(jìn)行解碼，以在YCC色彩 空間生成10位數(shù)據(jù)?？蓪?shù)據(jù)執(zhí)行超分辨率技術(shù)1054,然后可將10位YCC數(shù)據(jù)傳送至顯示管 1058以用于最終處理以生成以該位深度、目標(biāo)HDR顯示面板1090的色域和動態(tài)范圍的顯示 輸出數(shù)據(jù)，例如1 〇位RGB數(shù)據(jù)。
[0160]需注意，圖10中所示的各種視頻格式、色彩空間、位深度等以舉例的方式給出并且 并非旨在進(jìn)行限制。例如，可將不同于CIE 1931XYZ的其他色彩空間用于輸入視頻。又如，在 一些實(shí)施方案中，可根據(jù)不同于265/HEVC格式的其他編碼格式來執(zhí)行編碼和解碼。又如，月艮 務(wù)器/編碼流水線1000將視頻內(nèi)容映射1004到的目標(biāo)顯示面板1090的色彩空間可以是多種 色彩空間中的任一者，包括但不限于各種RGB、Rec.709色彩空間、P3DCI D65色彩空間和 Rec. 2020色彩空間。
[0161] 非線性顯示器亮度調(diào)整
[0162] 描述了顯示器亮度調(diào)整裝置和方法的實(shí)施方案，其中顯示器的平均亮度可使用非 線性函數(shù)例如分段線性函數(shù)按比例增加或減小。非線性縮放可例如響應(yīng)于由圖1所示的一 個(gè)或多個(gè)傳感器所檢測到的環(huán)境光線水平而自動被執(zhí)行，但也可響應(yīng)于對圖1所示控件160 的用戶調(diào)整例如經(jīng)由亮度旋鈕、滑塊或按鈕，或者經(jīng)由圖形用戶界面(GUI)亮度控制而被應(yīng) 用。非線性亮度調(diào)整可全局地執(zhí)行，或者可針對圖像或顯示面板的局部區(qū)域執(zhí)行。
[0163] 圖14為根據(jù)至少一些實(shí)施方案的非線性亮度調(diào)整方法的流程圖。如在圖14的1400 處所示的，可將數(shù)字內(nèi)容(例如，視頻內(nèi)容)顯示到目標(biāo)顯示面板。然而，需注意，替代性地或 除此之外，也可將其他數(shù)字圖像顯示到顯示面板。顯示面板可以某亮度水平和對比度水平 來顯示內(nèi)容。顯示面板可以但不一定是支持高動態(tài)范圍（HDR)的顯示設(shè)備，并且數(shù)字內(nèi)容可 以是HDR內(nèi)容。
[0164] 如在圖14的1402處所示的，可例如通過顯示面板的或包括面板的設(shè)備的亮度調(diào)整 模塊來獲取用于目標(biāo)顯示面板的顯示信息和/或環(huán)境信息。在一些實(shí)施方案中，顯示信息可 包括對顯示面板的亮度水平設(shè)置的指示。在一些實(shí)施方案中，顯示器的亮度水平可根據(jù)對 控件的用戶調(diào)整來設(shè)定，該控件例如物理亮度旋鈕、滑塊或按鈕，或者圖形用戶界面(GUI) 亮度控件。在一些實(shí)施方案中，環(huán)境信息可包括一個(gè)或多個(gè)環(huán)境光照指標(biāo)，并且顯示器的亮 度水平可根據(jù)一個(gè)或多個(gè)環(huán)境光照指標(biāo)來確定或調(diào)整。如在圖14的1404處所示的，可根據(jù) 信息來確定對顯示器亮度水平的調(diào)整。例如，如果用戶向上或向下移動亮度滑塊，則可根據(jù) 該移動來確定亮度水平的對應(yīng)變化。又如，如果環(huán)境光照變得更暗或更亮，則可根據(jù)環(huán)境光 照的變化來確定亮度水平的對應(yīng)變化。例如，如果環(huán)境光線變亮，則可能需要增加顯示器亮 度。相反地，在昏暗光照條件下，可能需要降低顯示器亮度。
[0165] 如在圖14的1406處所示的，然后可根據(jù)非線性函數(shù)按比例增加或減小顯示器亮 度，以調(diào)整顯示器的亮度水平。例如，在一些實(shí)施方案中，可將非線性函數(shù)施加于輸入信號， 以使用查找表來生成根據(jù)當(dāng)前亮度水平所調(diào)整的輸出信號;然而，也可使用其他技術(shù)。在一 些實(shí)施方案中，可將輸入信號分成亮度分量和色度分量，并且可將非線性函數(shù)施加于信號 的亮度分量。施加于輸入信號以生成輸出信號的示例性非線性函數(shù)在圖13中示出。在施加 非線性函數(shù)來降低亮度的情況下，輸出信號的對比度可以不被降低，使得動態(tài)范圍和高光 區(qū)得以保持。
[0166] 在一些實(shí)施方案中，可使用全局非線性函數(shù)來全局地調(diào)整顯示器亮度。在一些實(shí) 施方案中，可針對顯示器的兩個(gè)或更多個(gè)區(qū)域來分別調(diào)整顯示器亮度，其中在不同區(qū)域可 能將不同的非線性函數(shù)或非線性函數(shù)的變型施加于信號。
[0167] 參考圖12和13對圖14的元件進(jìn)行更加詳細(xì)的描述。
[0168] 顯示器亮度調(diào)整技術(shù)通常使用線性函數(shù)按比例增加或減小亮度，使得平均亮度和 對比度以系統(tǒng)比率同時(shí)變化。例如，圖12示出了縮放系數(shù)為0.5的亮度調(diào)整的線性輸入輸出 關(guān)系。軸X為輸入信號，并且軸y為輸出信號，并且該兩者被標(biāo)準(zhǔn)化為[0，1]。對應(yīng)的線性公式 為：
[0169] y = kx
[0170] 圖12所示的線性亮度調(diào)整的問題在于在降低平均亮度的情況下對比度也降低。因 此，所顯示的圖像/視頻變得沒那么清晰。本文所述的顯示器亮度調(diào)整裝置和方法的實(shí)施方 案可實(shí)現(xiàn)非線性(例如，分段線性)亮度調(diào)整函數(shù)，其中亮度調(diào)整僅改變平均值，而保持最大 動態(tài)范圍不變。非線性亮度調(diào)整函數(shù)的非限制性示例性實(shí)施方案在圖13中示出，其示出了 根據(jù)一些實(shí)施方案的亮度調(diào)整函數(shù)的輸入輸出關(guān)系。將圖13與圖12中直線進(jìn)行比較，亮度 調(diào)整函數(shù)為具有參數(shù)T0到T3的分段線性函數(shù)。在圖13中，T0為0，T1設(shè)定為0.9,并且T2設(shè)定 為0.95,并且Τ3為1。需注意，斜率從(Τ0，Τ1)增至(Τ1，Τ2)，并且再次從(Τ1，Τ2)增至（Τ2， Τ3)。然而如，需注意，這些值為示例性的而并非旨在進(jìn)行限制。在圖13所示的該示例性分段 非線性函數(shù)中，對應(yīng)的公式為：
[0171] y = kox 當(dāng) 0〈 = x〈Ti
[0172] y = ki(x-Ti)+koTi 當(dāng) Τι〈 = χ〈Τ2
[0173] y = k2(x-T2)+ki(T2-Ti)+koTi 當(dāng)T2〈 = x〈 = 1
[0174] 在至少一些實(shí)施方案中，在施加非線性函數(shù)諸如圖13所示的分段線性函數(shù)以按比 例降低亮度的情況下，輸出信號的對比度可不被降低，使得動態(tài)范圍和高光區(qū)得以保持。圖 12所示的線性縮放可對圖像質(zhì)量產(chǎn)生不利影響。例如，在執(zhí)行如圖12所示的線性調(diào)整的情 況下，動態(tài)范圍通常也按比例減小。因此，代替執(zhí)行如圖12所示的線性調(diào)整，實(shí)施方案可使 用圖13所示的非線性縮放函數(shù)僅按比例降低平均亮度，而不相應(yīng)地降低對比度和動態(tài)范 圍，從而保持高光區(qū)。盡管圖13示出了分段線性縮放函數(shù)，但也可使用其他非線性函數(shù)諸如 二次函數(shù)或曲線。
[0175] 如上所述，在施加非線性函數(shù)諸如圖13所示的分段線性函數(shù)以按比例降低亮度的 情況下，輸出信號的對比度可不被降低，使得動態(tài)范圍和高光區(qū)得以保持。然而，在一些情 況下，對比度可能需要與亮度一樣按比例降低;然而，對比度不像亮度降低得那么多和/或 那么快，以有助于保持顯示圖像的動態(tài)范圍。換言之，相比于圖12所示的平均亮度和對比度 以相同比例變化的線性縮放技術(shù)，使用圖13所示的非線性亮度縮放技術(shù)的實(shí)施方案，對比 度不受對亮度調(diào)整的影響或響應(yīng)于亮度調(diào)整而受影響程度與亮度不同。
[0176] 在一些實(shí)施方案中，例如響應(yīng)于由圖1所示的一個(gè)或多個(gè)傳感器所檢測到的環(huán)境 光線水平的變化，亮度的非線性縮放以及可能的對比度的非線性縮放可根據(jù)本文所述的環(huán) 境自適應(yīng)再現(xiàn)方法自動執(zhí)行。在一些實(shí)施方案中，代替自動縮放或除此之外，非線性縮放可 響應(yīng)于對圖1所示控件160的用戶調(diào)整例如經(jīng)由亮度旋鈕、滑塊或圖形用戶界面(GUI)亮度 控件而施加。
[0177] 如圖13所示，在一些實(shí)施方案中，可使用分段線性函數(shù)。然而，也可使用其他函數(shù)， 例如曲線函數(shù)、二次函數(shù)等。然而，不論使用何種類型函數(shù)，圖13中的通用曲線形狀通常可 被保持。在該形狀下，在信號的開始處，斜率緩慢或低并變快或變陡；該形狀例如可有助于 保持圖像中的高光區(qū)。然而，需注意，在一些實(shí)施方案中，可使用其他通用曲線形狀。
[0178] 在一些實(shí)施方案中，代替使用全局非線性縮放函數(shù)或除此之外，還可在顯示屏、圖 像或視頻幀的不同區(qū)域中施加并改變非線性縮放函數(shù)。在一些實(shí)施方案中，可根據(jù)同一非 線性縮放函數(shù)來全局地調(diào)整圖像中的所有亮度值。然而，在一些實(shí)施方案中，代替使用全局 調(diào)整或除此之外，還可執(zhí)行局部亮度調(diào)整。在非線性縮放函數(shù)的局部調(diào)整中，可施加不同非 線性模型或函數(shù)，或可在圖像或顯示器的不同區(qū)域中進(jìn)行不同地施加。
[0179]本文所述顯示器亮度調(diào)整技術(shù)的實(shí)施方案例如可在包括一個(gè)或多個(gè)顯示設(shè)備的 設(shè)備或系統(tǒng)中實(shí)現(xiàn)。顯示器或顯示設(shè)備可包括被集成到其他設(shè)備中的顯示屏或面板，該其 他設(shè)備包括但不限于智能電話、手機(jī)、PDA、平板電腦或平板設(shè)備、多功能設(shè)備、計(jì)算設(shè)備、膝 上型計(jì)算機(jī)、筆記本電腦、上網(wǎng)本、臺式計(jì)算機(jī)等。顯示設(shè)備還可包括視頻監(jiān)視器、投影儀， 或者一般來說，可顯示或投射數(shù)字圖像和/或數(shù)字視頻的任何設(shè)備。顯示器亮度調(diào)整技術(shù)例 如可針對具有背光區(qū)域調(diào)光的顯示器(包括但不限于LED(發(fā)光二極管）、0LED(有機(jī)發(fā)光二 極管)或IXD(液晶顯示)技術(shù)的顯示器)來實(shí)現(xiàn)。
[0180] 非線性亮度調(diào)整方法例如可在顯示設(shè)備或其他設(shè)備或裝置的亮度調(diào)整模塊或部 件中實(shí)現(xiàn)。圖15到19示出了非線性顯示器亮度調(diào)整模塊或方法的實(shí)施方案可在其中實(shí)現(xiàn)的 設(shè)備的非限制性示例。顯示設(shè)備或包括顯示設(shè)備的設(shè)備或系統(tǒng)可包括實(shí)現(xiàn)本文所述的非線 性顯示器亮度控制功能的至少一部分的硬件和/或軟件(例如，亮度調(diào)整模塊）。在一些實(shí)施 方案中，顯示設(shè)備或包括顯示面板或顯示屏的設(shè)備可例如根據(jù)本文所述的自適應(yīng)視頻處理 方法來實(shí)現(xiàn)顯示流水線，該顯示流水線接收并處理(即，解碼)壓縮圖像諸如視頻圖像，以用 于顯示給面板或屏幕，并且顯示流水線的一個(gè)或多個(gè)部件可實(shí)現(xiàn)非線性顯示器亮度調(diào)整的 本文所述功能的至少一部分。在一些實(shí)施方案中，顯示流水線的顯示后端部件可實(shí)現(xiàn)非線 性顯示器亮度調(diào)整功能。在一些實(shí)施方案中，非線性顯示器亮度調(diào)整功能可在顯示后端的 亮度調(diào)整模塊或部件中實(shí)現(xiàn)。圖3和4示出了可實(shí)現(xiàn)本文所述的非線性顯示器亮度調(diào)整功能 的示例性顯示流水線和顯示后端。
[0181] 在一些實(shí)施方案中，非線性顯示器亮度調(diào)整的本文所述功能的至少一部分可由可 用于設(shè)備中的片上系統(tǒng)(S0C)的一個(gè)或多個(gè)部件或模塊來實(shí)現(xiàn)，這些設(shè)備包括但不限于多 功能設(shè)備、智能電話、平板電腦或平板設(shè)備、以及其他便攜式計(jì)算設(shè)備諸如膝上型電腦、筆 記本電腦和上網(wǎng)本等。
[0182] 示例性設(shè)備和裝置
[0183] 圖15到19示出了本文所述的各種數(shù)字視頻或圖像處理和顯示方法和裝置可在其 中實(shí)現(xiàn)或利用其實(shí)現(xiàn)的設(shè)備和裝置的非限制性實(shí)施方案。圖15示出了示例性S0C，并且圖16 示出了實(shí)現(xiàn)SOC的示例性設(shè)備。圖17示出了可實(shí)現(xiàn)本文所述方法和裝置的示例性計(jì)算機(jī)系 統(tǒng)。圖18和19示出了可實(shí)現(xiàn)本文所述方法和裝置的示例性多功能設(shè)備。
[0184] 示例性片上系統(tǒng)(S0C)
[0185] 現(xiàn)轉(zhuǎn)到圖15,片上系統(tǒng)（S0C)8000的一個(gè)實(shí)施方案的框圖可用于實(shí)施方案中。S0C 8000被圖示為耦接到存儲器8800。如名字所暗示的，S0C 8000的部件可集成到作為集成電 路"芯片"的單個(gè)半導(dǎo)體襯底上。在一些實(shí)施方案中，這些部件可在系統(tǒng)中的兩個(gè)或更多個(gè) 分立芯片上實(shí)施。然而，在本文中將使用S0C 8000作為一個(gè)示例。在例示的實(shí)施方案中，S0C 8000的部件包括中央處理單元(CPU)復(fù)合體8020、片上外圍部件8040A-8040C (更簡單地說， "外圍設(shè)備"）、存儲器控制器(MC)8030和通信結(jié)構(gòu)8010。部件8020、8030、8040A-8040B可全 部耦接到通信結(jié)構(gòu)8010。存儲器控制器8030可在使用期間耦接到存儲器8800,并且外圍設(shè) 備8040B可在使用期間耦接到外部接口 8900。在所示實(shí)施方案中，CPU復(fù)合體8020包括一個(gè) 或多個(gè)處理器(P)8024和二級(L2)高速緩存8022。
[0186] 外圍設(shè)備8040A-8040B可以是被包括在S0C 8000中的附加硬件功能的任何集合。 例如，外圍設(shè)備8040A-8040B可包括視頻外圍設(shè)備，諸如被配置為處理來自相機(jī)或其他圖像 傳感器的圖像捕捉數(shù)據(jù)的圖像信號處理器、被配置為在一個(gè)或多個(gè)顯示設(shè)備上顯示視頻數(shù) 據(jù)的顯示控制器、圖形處理單元(GPU)、視頻編碼器/解碼器或編解碼器、縮放器、旋轉(zhuǎn)器、混 合器等。該外圍設(shè)備可包括音頻外圍設(shè)備，諸如麥克風(fēng)、揚(yáng)聲器、至麥克風(fēng)和揚(yáng)聲器的接口、 音頻處理器、數(shù)字信號處理器、混合器等。外圍設(shè)備可包括用于S0C 8000外部的各種接口 8900的外圍設(shè)備接口控制器(例如外圍設(shè)備8040B)，該外圍設(shè)備包括接口諸如通用串行總 線(USB)、外圍部件互連(PCI)(包括PCI高速(PCIe))、串行和并行端口等等。外圍設(shè)備可包 括聯(lián)網(wǎng)外圍設(shè)備諸如媒體訪問控制器(MAC)?？砂ㄈ魏我唤M硬件。
[0187] CPU復(fù)合體8020可包括用作S0C 8000的CPU的一個(gè)或多個(gè)CPU處理器8024。系統(tǒng)的 CPU包括執(zhí)行系統(tǒng)諸如操作系統(tǒng)的主要控制軟件的一個(gè)或多個(gè)處理器。通常，由CPU在使用 期間執(zhí)行的軟件可控制系統(tǒng)的其他部件，以實(shí)現(xiàn)所期望的系統(tǒng)功能。處理器8024還可執(zhí)行 其他軟件諸如應(yīng)用程序。應(yīng)用程序可提供用戶功能，并且可依賴于操作系統(tǒng)來進(jìn)行低級設(shè) 備控制。因此，處理器8024也可被稱為應(yīng)用處理器。CPU復(fù)合體8020還可包括其他硬件，諸如 L2高速緩存8022和/或至系統(tǒng)的其他部件的接口（例如至通信結(jié)構(gòu)8010的接口）。通常，處理 器可包括被配置為執(zhí)行在由處理器實(shí)施的指令集架構(gòu)中定義的指令的任何電路和/或微 碼。響應(yīng)于執(zhí)行指令而由處理器操作的指令和數(shù)據(jù)通?？杀淮鎯υ诖鎯ζ?800中，盡管某 些指令可被定義為也用于對外圍設(shè)備進(jìn)行直接處理器訪問。處理器可涵蓋在具有作為片上 系統(tǒng)(S0C 8000)或其他集成水平的其他部件的集成電路上實(shí)現(xiàn)的處理器內(nèi)核。處理器還可 包括分立的微處理器、處理器內(nèi)核和/或集成到多芯片模塊具體實(shí)施中的微處理器、被實(shí)施 為多個(gè)集成電路的處理器等等。
[0188] 存儲器控制器8030通?？砂ㄓ糜趶腟0C 8000的其他部件接收存儲器操作并用 于訪問存儲器8800以完成存儲器操作的電路。存儲器控制器8030可被配置為訪問任何類型 的存儲器8800。例如，存儲器8800可以是靜態(tài)隨機(jī)存取存儲器(SRAM)、動態(tài)RAM(DRAM)諸如 同步的DRAM(SDRAM)，包括雙倍數(shù)據(jù)率(DDR、DDR2、DDR3等)DRAM?？芍С值凸β?移動型式的 DDR DRAM(例如，LroDR、mDDR等）。存儲器控制器8030可包括存儲器操作隊(duì)列，以用于對這些 操作進(jìn)行排序(并且可能重新排序），并將這些操作呈現(xiàn)至存儲器8800。存儲器控制器8030 還可包括用于存儲等待寫到存儲器的寫數(shù)據(jù)和等待返回至存儲器操作的源的讀數(shù)據(jù)的數(shù) 據(jù)緩沖器。在一些實(shí)施方案中，存儲器控制器8030可包括用于存儲最近訪問的存儲器數(shù)據(jù) 的存儲器高速緩存。例如，在SOC具體實(shí)施中，存儲器高速緩存可通過在預(yù)期很快要再次訪 問的情況下避免從存儲器8800重新訪問數(shù)據(jù)來降低SOC中的功率消耗。在一些情況下，存儲 器緩存也可被稱為系統(tǒng)高速緩存，其與私有高速緩存(諸如L2高速緩存8022或處理器8024 中的高速緩存)不同，該私有高速緩存只服務(wù)于某些部件。此外，在一些實(shí)施方案中，系統(tǒng)高 速緩存不需要位于存儲器控制器8030內(nèi)。
[0189] 在一個(gè)實(shí)施方案中，存儲器8800可以芯片上芯片配置或封裝上封裝配置來與S0C 8000-起被封裝。也可使用S0C 8000和存儲器8800的多芯片模塊配置。此類配置可比至系 統(tǒng)中其他部件(例如向端點(diǎn)16A-16B)的傳輸相對更安全(在數(shù)據(jù)可觀測性方面）。因此，受保 護(hù)的數(shù)據(jù)可未經(jīng)加密地駐留在存儲器8800中，而受保護(hù)的數(shù)據(jù)可被加密以在S0C 8000與外 部端點(diǎn)之間進(jìn)行交換。
[0190] 通信結(jié)構(gòu)8010可以是用于在S0C 8000的部件間進(jìn)行通信的通任何信互連器和協(xié) 議。通信結(jié)構(gòu)8010可為基于總線的，包括共享總線配置、交叉開關(guān)配置、和具有橋的分層總 線。通信結(jié)構(gòu)8010也可基于分組，并且可以是具有橋的分層、交叉開關(guān)、點(diǎn)到點(diǎn)、或其他互連 器。
[0191] 需注意，S0C 8000的部件數(shù)量（以及圖15所示部件，諸如CPU復(fù)合體8020內(nèi)的子部 件數(shù)量)可根據(jù)不同實(shí)施方案而不同。可存在比圖15所示數(shù)量更多或更少的每個(gè)部件/子部 件。
[0192] 圖16為系統(tǒng)9000的一個(gè)實(shí)施方案的框圖，該系統(tǒng)包括耦接到外部存儲器8800和一 個(gè)或多個(gè)外部外圍設(shè)備9020的S0C 8000的至少一個(gè)示例。提供向S0C 8000供應(yīng)供電電壓以 及向存儲器8800和/或外圍設(shè)備9020供應(yīng)一個(gè)或多個(gè)供電電壓的功率管理單元(PMU)9010。 在一些實(shí)施方案中，可包括SOC 8000的多于一個(gè)示例(也可包括多于一個(gè)存儲器8800)。
[0193] 根據(jù)系統(tǒng)9000的類型，外圍設(shè)備9020可包括任何期望的電路。例如，在一個(gè)實(shí)施方 案中，系統(tǒng)9000可以是移動設(shè)備（例如個(gè)人數(shù)字助理(PDA)、智能電話等），并且外圍設(shè)備 9020可包括用于各種類型的無線通信的設(shè)備，諸如wifi、藍(lán)牙、蜂窩、全球定位系統(tǒng)等。外圍 設(shè)備9020還可包括附加存儲裝置，該附加存儲裝置包括RAM存儲裝置、固態(tài)存儲裝置或磁盤 存儲裝置。外圍設(shè)備9020可包括用戶界面設(shè)備(諸如包括觸摸顯示屏或多點(diǎn)觸摸顯示屏的 顯示屏）、鍵盤或其他輸入設(shè)備、麥克風(fēng)、揚(yáng)聲器等。在其他實(shí)施方案中，系統(tǒng)9000可以是任 何類型的計(jì)算系統(tǒng)(例如臺式個(gè)人計(jì)算機(jī)、膝上型電腦、工作站、網(wǎng)絡(luò)機(jī)頂盒等）。
[0194] 外部儲存器8800可包括任何類型的存儲器。例如，外部存儲器8800可以是SRAM、動 態(tài)RAM(DRAM)(諸如同步DRAM(SDRAM))、雙倍數(shù)據(jù)速率(DDR、DDR2、DDR3等）SDRAM、RAMBUS DRAM、低功率版本的DDR DRAM(例如LPDDR、mDDR等）等等。該外部存儲器8800可包括存儲器 設(shè)備可被安裝到的一個(gè)或多個(gè)存儲器模塊，諸如單列存儲器模塊(SIMM)、雙列存儲器模塊 (DMM)等。另選地，外部存儲器8800可包括以芯片上芯片配置或封裝上封裝具體實(shí)施被安 裝在S0C 8000上的一個(gè)或多個(gè)存儲器設(shè)備。
[0195] 示例性計(jì)算機(jī)系統(tǒng)
[0196] 圖17示出了可被配置為執(zhí)行上文所述的任意或所有實(shí)施方案的示例性計(jì)算機(jī)系 統(tǒng)2900。在不同的實(shí)施方案中，計(jì)算機(jī)系統(tǒng)2900可以是各種類型的設(shè)備中的任何設(shè)備，包括 但不限于:個(gè)人計(jì)算機(jī)系統(tǒng)、臺式計(jì)算機(jī)、膝上型電腦、筆記本電腦、平板電腦、一體式電腦、 平板設(shè)備或上網(wǎng)本計(jì)算機(jī)、大型計(jì)算機(jī)系統(tǒng)、手持式計(jì)算機(jī)、工作站、網(wǎng)絡(luò)計(jì)算機(jī)、相機(jī)、機(jī) 頂盒、移動設(shè)備、消費(fèi)設(shè)備、應(yīng)用服務(wù)器、存儲設(shè)備、視頻記錄設(shè)備、外圍設(shè)備(諸如交換機(jī)、 調(diào)制解調(diào)器、路由器）、或一般性的任何類型的計(jì)算設(shè)備或電子設(shè)備。
[0197] 可在一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)2900中執(zhí)行本文所述各種實(shí)施方案，該計(jì)算機(jī)系統(tǒng) 2900可與各種其他設(shè)備進(jìn)行交互。需注意，根據(jù)各種實(shí)施方案，上文相對于圖1到圖16描述 的任何部件、動作或功能性可實(shí)現(xiàn)于被配置作為圖17的計(jì)算機(jī)系統(tǒng)2900的一種或多種計(jì)算 機(jī)上。在所示實(shí)施方案中，計(jì)算機(jī)系統(tǒng)2900包括經(jīng)由輸入/輸出（I/O)接口 2930耦接到系統(tǒng) 存儲器2920的一個(gè)或多個(gè)處理器2910。計(jì)算機(jī)系統(tǒng)2900還包括耦接到I/O接口 2930的網(wǎng)絡(luò) 接口 2940、以及一個(gè)或多個(gè)輸入/輸出設(shè)備或部件2950，諸如光標(biāo)控件2960、鍵盤2970、一個(gè) 或多個(gè)顯不器2980、一個(gè)或多個(gè)相機(jī)2990和一個(gè)或多個(gè)傳感器2992(包括但不限于光傳感 器和運(yùn)動檢測器）。在一些情況下，可設(shè)想實(shí)施方案可使用計(jì)算機(jī)系統(tǒng)2900的單個(gè)示例來實(shí) 現(xiàn)，而在其他實(shí)施方案中，多個(gè)此類系統(tǒng)或者構(gòu)成計(jì)算機(jī)系統(tǒng)2900的多個(gè)節(jié)點(diǎn)可被配置為 作為實(shí)施方案的不同部分或示例的主機(jī)。例如，在一個(gè)實(shí)施方案中，一些元素可經(jīng)由計(jì)算機(jī) 系統(tǒng)2900的與實(shí)現(xiàn)其他元素的那些節(jié)點(diǎn)不同的一個(gè)或多個(gè)節(jié)點(diǎn)來實(shí)現(xiàn)。
[0198] 在各種實(shí)施方案中，計(jì)算機(jī)系統(tǒng)2900可以是包括一個(gè)處理器2910的單處理器系 統(tǒng)、或者是包括幾個(gè)處理器2910(例如兩個(gè)、四個(gè)、八個(gè)、或另一適當(dāng)數(shù)量）的多處理器系統(tǒng)。 處理器2910可以是能夠執(zhí)行指令的任何合適的處理器。例如，在各種實(shí)施方案中，處理器 2910可以是實(shí)現(xiàn)多種指令集架構(gòu)（ISA)(諸如1829、？〇?6沖(：、3?41^、或[?3 134、或任何其 他合適的ISA)中的任何指令集架構(gòu)的通用處理器或嵌入式處理器。在多處理器系統(tǒng)中，每 個(gè)處理器2910通常可以但并非必須實(shí)現(xiàn)相同的ISA。
[0199] 系統(tǒng)存儲器2920可被配置為存儲可被處理器2910訪問的程序指令2922和/或數(shù) 據(jù)。在各種實(shí)施方案中，系統(tǒng)存儲器2920可使用任何適當(dāng)?shù)拇鎯ζ骷夹g(shù)來實(shí)現(xiàn)，諸如靜態(tài)隨 機(jī)存取存儲器(SRAM)、同步動態(tài)RAM(SDRAM)、非易失性存儲器/閃存存儲器、或任何其他類 型的存儲器。在例示的實(shí)施方案中，程序指令2922可被配置為實(shí)現(xiàn)本文所述功能中的任一 功能。另外，存儲器2920可包括本文所述的信息或數(shù)據(jù)結(jié)構(gòu)中的任一者。在一些實(shí)施方案 中，程序指令和/或數(shù)據(jù)可被接收、發(fā)送或存儲在獨(dú)立于系統(tǒng)存儲器2920或計(jì)算機(jī)系統(tǒng)2900 的不同類型的計(jì)算機(jī)可訪問介質(zhì)上或類似的介質(zhì)上。盡管將計(jì)算機(jī)系統(tǒng)2900描述為實(shí)施前 面各圖的功能框的功能，但可經(jīng)由此類計(jì)算機(jī)系統(tǒng)來實(shí)施本文描述的任何功能。
[0200] 在一個(gè)實(shí)施方案中，I/O接口 2930可被配置為協(xié)調(diào)設(shè)備中的處理器2910、系統(tǒng)存儲 器2920、和任何外圍設(shè)備（包括網(wǎng)絡(luò)接口 2940或其他外圍設(shè)備接口，諸如輸入/輸出設(shè)備 2950)之間的I/O通信量。在一些實(shí)施方案中，I/O接口 2930可執(zhí)行任何必要的協(xié)議、定時(shí)或 其他數(shù)據(jù)轉(zhuǎn)換，以將來自一個(gè)部件(例如系統(tǒng)存儲器2920)的數(shù)據(jù)信號轉(zhuǎn)換為適用于由另一 個(gè)部件(例如處理器2910)使用的格式。在一些實(shí)施方案中，I/O接口 2930可包括對例如通過 各種類型的外圍設(shè)備總線(諸如外圍部件互連(PCI)總線標(biāo)準(zhǔn)或通用串行總線(USB)標(biāo)準(zhǔn)的 變型)所附接的設(shè)備的支持。在一些實(shí)施方案中，I/O接口 2930的功能例如可被劃分到兩個(gè) 或更多個(gè)單獨(dú)部件中，諸如北橋和南橋。此外，在一些實(shí)施方案中，I/O接口2930(諸如至系 統(tǒng)存儲器2920的接口）的一些或所有功能可被直接并入到處理器2910中。
[0201] 網(wǎng)絡(luò)接口 2940可被配置為允許在計(jì)算機(jī)系統(tǒng)2900和附接到網(wǎng)絡(luò)2985的其他設(shè)備 (例如承載器或代理設(shè)備)之間、或者在計(jì)算機(jī)系統(tǒng)2900的節(jié)點(diǎn)之間交換數(shù)據(jù)。在各種實(shí)施 方案中，網(wǎng)絡(luò)2985可包括一種或多種網(wǎng)絡(luò)，包括但不限于:局域網(wǎng)（LAN)(例如以太網(wǎng)或企業(yè) 網(wǎng)）、廣域網(wǎng)(WAN)(例如互聯(lián)網(wǎng)）、無線數(shù)據(jù)網(wǎng)、某種其他電子數(shù)據(jù)網(wǎng)絡(luò)、或它們的某種組合。 在各種實(shí)施方案中，網(wǎng)絡(luò)接口2940例如可支持經(jīng)由有線或無線通用數(shù)據(jù)網(wǎng)絡(luò)諸如任何適當(dāng) 類型的以太網(wǎng)網(wǎng)絡(luò)的通信;經(jīng)由電信/電話網(wǎng)絡(luò)諸如模擬語音網(wǎng)絡(luò)或數(shù)字光纖通信網(wǎng)絡(luò)的 通信;經(jīng)由存儲區(qū)域網(wǎng)絡(luò)諸如光纖信道SAN或經(jīng)由任何其他適當(dāng)類型的網(wǎng)絡(luò)和/或協(xié)議的通 {目。
[0202]在一些實(shí)施方案中，輸入/輸出設(shè)備2950可包括一個(gè)或多個(gè)顯示終端、鍵盤、鍵區(qū)、 觸摸板、掃描設(shè)備、語音或光學(xué)識別設(shè)備、或適用于由一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)2900輸入或訪 問數(shù)據(jù)的任何其他設(shè)備。多個(gè)輸入/輸出設(shè)備2950可存在于計(jì)算機(jī)系統(tǒng)2900中，或者可分布 在計(jì)算機(jī)系統(tǒng)2900的各個(gè)節(jié)點(diǎn)上。在一些實(shí)施方案中，類似的輸入/輸出設(shè)備可與計(jì)算機(jī)系 統(tǒng)2900分開，并且可通過有線或無線連接(諸如通過網(wǎng)絡(luò)接口 2940)與計(jì)算機(jī)系統(tǒng)2900的一 個(gè)或多個(gè)節(jié)點(diǎn)進(jìn)行交互。
[0203] 如圖17所示，存儲器2920可包括可由處理器執(zhí)行以實(shí)現(xiàn)上述任何元件或動作的程 序指令2922。在一個(gè)實(shí)施方案中，程序指令可實(shí)現(xiàn)上述方法。在其他實(shí)施方案中，可包括不 同的元件和數(shù)據(jù)。需注意，數(shù)據(jù)可包括上述任何數(shù)據(jù)或信息。
[0204]本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，計(jì)算機(jī)系統(tǒng)2900僅僅是示例性的，而并非旨在限制 實(shí)施方案的范圍。特別地，計(jì)算機(jī)系統(tǒng)和設(shè)備可包括可執(zhí)行所指出的功能的硬件或軟件的 任意組合，包括計(jì)算機(jī)、網(wǎng)絡(luò)設(shè)備、互聯(lián)網(wǎng)設(shè)備、個(gè)人數(shù)字助理、無線電話、尋呼機(jī)等等。計(jì)算 機(jī)系統(tǒng)2900還可被連接到未示出的其他設(shè)備或者反之作為獨(dú)立的系統(tǒng)進(jìn)行操作。此外，由 所示出的部件所提供的功能在一些實(shí)施方案中可被組合在更少的部件中或者被分布在附 加部件中。類似地，在一些實(shí)施方案中，一些所示出的部件的功能可不被提供，和/或可還有 其他附加功能可供使用。
[0205] 本領(lǐng)域的技術(shù)人員還將認(rèn)識到，雖然各種項(xiàng)目被示出為在被使用期間被存儲在存 儲器中或存儲裝置上，但是為了存儲器管理和數(shù)據(jù)完整性的目的，這些項(xiàng)目或其部分可在 存儲器和其他存儲設(shè)備之間進(jìn)行傳輸。或者，在其他實(shí)施方案中，這些軟件組件中的一些或 全部軟件組件可在另一設(shè)備上的存儲器中執(zhí)行，并且經(jīng)由計(jì)算機(jī)間通信來與所示出的計(jì)算 機(jī)系統(tǒng)進(jìn)行通信。一些或全部系統(tǒng)部件或數(shù)據(jù)結(jié)構(gòu)也可(例如作為指令或結(jié)構(gòu)化數(shù)據(jù))被存 儲在計(jì)算機(jī)可訪問介質(zhì)或便攜式制品上，以由合適的驅(qū)動器讀取，其多種示例在上文中被 描述。在一些實(shí)施方案中，存儲在與計(jì)算機(jī)系統(tǒng)2900分開的計(jì)算機(jī)可訪問介質(zhì)上的指令可 經(jīng)由傳輸介質(zhì)或信號(諸如電信號、電磁信號、或數(shù)字信號)被傳輸?shù)接?jì)算機(jī)系統(tǒng)2900,該傳 輸介質(zhì)或信號經(jīng)由通信介質(zhì)(諸如網(wǎng)絡(luò)和/或無線鏈路)來傳送。各種實(shí)施方案可進(jìn)一步包 括在計(jì)算機(jī)可訪問介質(zhì)上接收、發(fā)送或存儲根據(jù)以上描述所實(shí)現(xiàn)的指令和/或數(shù)據(jù)。一般來 講，計(jì)算機(jī)可訪問介質(zhì)可包括非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)或存儲器介質(zhì)，諸如磁或光介質(zhì)， 例如盤或DVD/CD-R0M、易失性或非易失性介質(zhì)，諸如RAM (例如SDRAM、DDR、RDRAM、SRAM等）、 ROM等。在一些實(shí)施方案中，計(jì)算機(jī)可訪問介質(zhì)可包括傳輸介質(zhì)或信號，諸如經(jīng)由通信介質(zhì) 諸如網(wǎng)絡(luò)和/或無線鏈路來傳輸?shù)碾姎庑盘?、電磁信號或?shù)字信號。
[0206] 多功能設(shè)備示例
[0207] 圖18示出了根據(jù)一些實(shí)施方案的便攜式多功能設(shè)備的框圖。在一些實(shí)施方案中， 該設(shè)備是還包含其他功能諸如PDA、相機(jī)、視頻捕獲和/或回放，和/或音樂播放器功能的便 攜式通信設(shè)備諸如移動電話。便攜式多功能設(shè)備的示例性實(shí)施方案包括但不限于來自 Apple Inc(Cupertino,California)的iPhone?.設(shè)備、iP〇dTouch?.設(shè)備和iPad'?設(shè)備。也 可使用其他便攜式電子設(shè)備，諸如具有觸敏表面(例如，觸摸屏顯示器和/或觸控板)的膝上 型計(jì)算機(jī)、移動電話、智能電話、平板設(shè)備或平板電腦。還應(yīng)當(dāng)理解的是，在一些實(shí)施方案 中，該設(shè)備并非便攜式通信設(shè)備，而是具有觸敏表面(例如，觸摸屏顯示器和/或觸摸板）的 臺式計(jì)算機(jī)。在一些實(shí)施方案中，設(shè)備是具有取向傳感器(例如游戲控制器中的取向傳感 器）的游戲計(jì)算機(jī)。在其他實(shí)施方案中，該設(shè)備并非便攜式通信設(shè)備，而是相機(jī)和/或攝像 機(jī)。
[0208] 在下面的討論中，描述了一種包括顯示器和觸敏表面的電子設(shè)備。然而應(yīng)當(dāng)理解， 電子設(shè)備可包括一個(gè)或多個(gè)其他物理用戶接口設(shè)備，諸如物理鍵盤、鼠標(biāo)和/或操作桿。
[0209] 該設(shè)備通常支持各種應(yīng)用程序，諸如以下應(yīng)用程序中的一個(gè)或多個(gè)應(yīng)用程序:繪 圖應(yīng)用程序、呈現(xiàn)應(yīng)用程序、文字處理應(yīng)用程序、網(wǎng)站創(chuàng)建應(yīng)用程序、盤編輯應(yīng)用程序、電子 表格應(yīng)用程序、游戲應(yīng)用程序、電話應(yīng)用程序、視頻會議應(yīng)用程序、電子郵件應(yīng)用程序、即時(shí) 消息應(yīng)用程序、健身支持應(yīng)用程序、照片管理應(yīng)用程序、數(shù)字相機(jī)應(yīng)用程序、數(shù)字視頻攝像 機(jī)應(yīng)用程序、web瀏覽應(yīng)用程序、數(shù)字音樂播放器應(yīng)用程序和/或數(shù)字視頻播放器應(yīng)用程序。
[0210] 可在設(shè)備上執(zhí)行的各種應(yīng)用程序可使用至少一個(gè)共用的物理的用戶界面設(shè)備諸 如觸敏表面。觸敏表面的一種或多種功能以及被顯示在設(shè)備上的對應(yīng)信息對于各個(gè)應(yīng)用程 序可被調(diào)整和/或是不同的，和/或在對應(yīng)應(yīng)用程序內(nèi)可被調(diào)整和/或是不同的。這樣，設(shè)備 的共用物理架構(gòu)(諸如觸敏表面)可利用對于用戶直觀且透明的用戶界面來支持各種應(yīng)用 程序。
[0211] 設(shè)備2100可具有存儲器2102(其可包括一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲介質(zhì)）、存儲器 控制器2122、一個(gè)或多個(gè)處理單元(CPU)2120、外圍設(shè)備接口 2118、RF電路2108、音頻電路 2110、揚(yáng)聲器2111、觸敏顯示系統(tǒng)2112、麥克風(fēng)2113、輸入/輸出（I/O)子系統(tǒng)2106、其他輸入 控制設(shè)備2116、和外部端口 2124。設(shè)備2100可包括一個(gè)或多個(gè)光學(xué)傳感器或相機(jī)2164。這些 部件可通過一條或多條通信總線或信號線2103進(jìn)行通信。
[0212] 應(yīng)當(dāng)理解，設(shè)備2100只是便攜式多功能設(shè)備的一個(gè)示例，并且設(shè)備2100可具有比 所示出的更多或更少的部件，可組合兩個(gè)或更多個(gè)部件，或者可具有這些部件的不同配置 或布置。圖18中所示的各種部件可以硬件、軟件或硬件和軟件組合來實(shí)施，包括一個(gè)或多個(gè) 信號處理電路和/或?qū)Ｓ眉呻娐贰?br>[0213] 存儲器2102可包括高速隨機(jī)存取存儲器并且還可包括非易失性存儲器，諸如一個(gè) 或多個(gè)磁盤存儲設(shè)備、閃存存儲器設(shè)備、或其他非易失性固態(tài)存儲器設(shè)備。設(shè)備2100的其他 部件(諸如CPU 2120和外圍設(shè)備接口2118)對存儲器2102的訪問可由存儲器控制器2122來 控制。
[0214] 外圍設(shè)備接口 2118可被用于將設(shè)備的輸入外圍設(shè)備和輸出外圍設(shè)備耦接到CPU 2120和存儲器2102。該一個(gè)或多個(gè)處理器2120運(yùn)行或執(zhí)行被存儲在存儲器2102中的各種軟 件程序和/或指令集，以執(zhí)行設(shè)備2100的各種功能并處理數(shù)據(jù)。
[0215] 在一些實(shí)施方案中，外圍設(shè)備接口2118、CPU 2120、和存儲器控制器2122可在單個(gè) 芯片諸如芯片2104上實(shí)現(xiàn)。在一些其他實(shí)施方案中，它們可在單獨(dú)的芯片上實(shí)現(xiàn)。
[0216] RF(射頻）電路2108接收和發(fā)送也被稱為電磁信號的RF信號。RF電路2108將電信號 轉(zhuǎn)換為電磁信號/將電磁信號轉(zhuǎn)換為電信號，并且經(jīng)由電磁信號來與通信網(wǎng)絡(luò)以及其他通 信設(shè)備進(jìn)行通信。RF電路2108可包括用于執(zhí)行這些功能的熟知的電路，包括但不限于天線 系統(tǒng)、RF收發(fā)器、一個(gè)或多個(gè)放大器、調(diào)諧器、一個(gè)或多個(gè)振蕩器、數(shù)字信號處理器、編碼器/ 解碼器(編解碼器)芯片組、用戶身份模塊（SIM)卡、存儲器等等。RF電路2108可通過無線通 信與網(wǎng)絡(luò)以及其他設(shè)備進(jìn)行通信，該網(wǎng)絡(luò)諸如互聯(lián)網(wǎng)（也被稱為萬維網(wǎng)(WWW))、內(nèi)聯(lián)網(wǎng)和/ 或無線網(wǎng)絡(luò)(諸如蜂窩電話網(wǎng)絡(luò)、無線局域網(wǎng)(LAN)和/或城域網(wǎng)(MAN))。無線通信可使用多 種通信標(biāo)準(zhǔn)、協(xié)議和技術(shù)中的任何類型，包括但不限于全球移動通信系統(tǒng)(GSM)、增強(qiáng)數(shù)據(jù) GSM環(huán)境(EDGE)、高速下行鏈路分組接入(HSDPA)、高速上行鏈路分組接入(HSUPA)、寬帶碼 分多址(W-CDMA)、碼分多址(CDMA)、時(shí)分多址(TDMA)、藍(lán)牙、無線保真(Wi-Fi)(例如，IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802·11η)、互聯(lián)網(wǎng)語音協(xié)議（VoIP)、Wi-MAX、電子郵件協(xié)議(例如，互聯(lián)網(wǎng)消息訪問協(xié)議（IMAP)和/或郵局協(xié)議(POP))、即時(shí)消息（例 如，可擴(kuò)展消息處理現(xiàn)場協(xié)議（XMPP)、用于即時(shí)消息和現(xiàn)場利用擴(kuò)展的會話發(fā)起協(xié)議 (SMPLE)、即時(shí)消息和到場服務(wù)（MPS))、和/或短消息服務(wù)(SMS)、或者包括在本文獻(xiàn)提交 日還未開發(fā)出的通信協(xié)議的其他任何適當(dāng)?shù)耐ㄐ艆f(xié)議。
[0217] 音頻電路2110、揚(yáng)聲器2111和麥克風(fēng)2113提供用戶與設(shè)備2100之間的音頻接口。 音頻電路2110從外圍設(shè)備接口 2118接收音頻數(shù)據(jù)，將音頻數(shù)據(jù)轉(zhuǎn)換為電信號，并將電信號 傳輸?shù)綋P(yáng)聲器2111。揚(yáng)聲器2111將電信號轉(zhuǎn)換為人類可聽的聲波。音頻電路2110還接收由 麥克風(fēng)2113根據(jù)聲波轉(zhuǎn)換的電信號。音頻電路2110將電信號轉(zhuǎn)換為音頻數(shù)據(jù)，并將音頻數(shù) 據(jù)傳輸?shù)酵鈬O(shè)備接口2118以用于處理。音頻數(shù)據(jù)可由外圍設(shè)備接口 2118從存儲器2102 和/或RF電路2108進(jìn)行檢索和/或被傳輸至存儲器102和/或RF電路108。在一些實(shí)施方案中， 音頻電路2110還包括耳麥插孔。耳麥插孔提供音頻電路2110與可移除的音頻輸入/輸出外 圍設(shè)備之間的接口，該外圍設(shè)備諸如僅輸出的耳機(jī)或者具有輸出（例如，單耳耳機(jī)或雙耳耳 機(jī))和輸入(例如，麥克風(fēng))兩者的耳麥。
[0218] I/O子系統(tǒng)2106將設(shè)備2100上的輸入/輸出外圍設(shè)備諸如觸摸屏2112和其他輸入 控制設(shè)備2116耦接到外圍設(shè)備接口 2118。1/0子系統(tǒng)2106可包括顯示控制器2156和用于其 他輸入控制設(shè)備2116的一個(gè)或多個(gè)輸入控制器2160。該一個(gè)或多個(gè)輸入控制器2160從其他 輸入控制設(shè)備2116接收電信號/將電信號發(fā)送到其他輸入控制設(shè)備116。該其他輸入控制設(shè) 備2116可包括物理按鈕(例如，下壓按鈕、搖臂按鈕等）、撥號盤、滑動開關(guān)、操縱桿、點(diǎn)擊式 轉(zhuǎn)盤等等。在一些另選實(shí)施方案中，一個(gè)或多個(gè)輸入控制器2160可耦接到(或不耦接到）以 下各項(xiàng)中的任一者:鍵盤、紅外端口、USB端口、和指向設(shè)備諸如鼠標(biāo)。該一個(gè)或多個(gè)按鈕可 包括用于揚(yáng)聲器2111和/或麥克風(fēng)2113的音量控制的增大/減小按鈕。該一個(gè)或多個(gè)按鈕可 包括下壓按鈕。
[0219] 觸敏顯示器2112提供設(shè)備和用戶之間的輸入接口和輸出接口。顯示控制器2156從 觸摸屏2112接收電信號和/或?qū)㈦娦盘柊l(fā)送至觸摸屏112。觸摸屏2112向用戶顯示視覺輸 出。視覺輸出可包括圖形、文本、圖標(biāo)、視頻、以及它們的任意組合（統(tǒng)稱為"圖形"）。在一些 實(shí)施方案中，一些視覺輸出或全部的視覺輸出可對應(yīng)于用戶界面對象。
[0220]觸摸屏2112具有基于觸覺和/或觸感接觸來接受來自用戶的輸入的觸敏表面、傳 感器或傳感器組。觸摸屏2112和顯示控制器2156(與存儲器2102中的任何相關(guān)聯(lián)的模塊和/ 或指令集一起)檢測觸摸屏2112上的接觸(和該接觸的任何移動或中斷），并且將所檢測到 的接觸轉(zhuǎn)換為與顯示在觸摸屏2112上的用戶界面對象(例如，一個(gè)或多個(gè)軟鍵、圖標(biāo)、網(wǎng)頁 或圖像)的交互。在一個(gè)示例性實(shí)施方案中，觸摸屏2112和用戶之間的接觸點(diǎn)對應(yīng)于用戶的 手指。
[0221] 觸摸屏2112可使用LCD(液晶顯示器)技術(shù)、LPD(發(fā)光聚合物顯示器)技術(shù)、或LED (發(fā)光二極管)技術(shù)，但是在其他實(shí)施方案中可使用其他顯示技術(shù)。觸摸屏2112和顯示控制 器2156可使用現(xiàn)在已知的或以后將開發(fā)出的多種觸摸感測技術(shù)中的任何觸摸感測技術(shù)以 及其他接近傳感器陣列或用于確定與觸摸屏2112的一個(gè)或多個(gè)接觸點(diǎn)的其他元件來檢測 接觸及其任何移動或中斷，該多種觸摸感測技術(shù)包括但不限于電容性技術(shù)、電阻性技術(shù)、紅 外技術(shù)和表面聲波技術(shù)。在示例性實(shí)施方案中，使用投射式互電容感測技術(shù)，諸如從Apple Inc. (Cupertino,California)的 iPh〇neK、iP〇clT〇uchK ^iPacT 發(fā)現(xiàn)的技術(shù)。
[0222] 觸摸屏2112可具有超過100dpi的視頻分辨率。在一些實(shí)施方案中，觸摸屏具有約 160dpi的視頻分辨率。用戶可使用任何合適的物體或附加物諸如觸筆、手指等等來與觸摸 屏2112接觸。在一些實(shí)施方案中，用戶界面被設(shè)計(jì)用于主要與基于手指的接觸和手勢工作， 由于手指在觸摸屏上的接觸區(qū)域較大，因此這可能不如基于觸筆的輸入精確。在一些實(shí)施 方案中，設(shè)備將基于手指的粗略輸入轉(zhuǎn)譯為精確的指針/光標(biāo)位置或命令以執(zhí)行用戶所期 望的動作。
[0223] 在一些實(shí)施方案中，除了觸摸屏2112之外，設(shè)備2100可包括用于激活或去激活特 定功能的觸摸板(未示出）。在一些實(shí)施方案中，觸摸板是設(shè)備的觸敏區(qū)域，該觸敏區(qū)域與觸 摸屏不同，其不顯示視覺輸出。觸摸板可以是與觸摸屏2112分開的觸敏表面，或者是由觸摸 屏形成的觸敏表面的延伸部分。
[0224] 設(shè)備2100還包括用于為各種部件供電的電力系統(tǒng)2162。電力系統(tǒng)2162可包括電力 管理系統(tǒng)、一個(gè)或多個(gè)電源(例如，電池、交流電(AC))、再充電系統(tǒng)、電力故障檢測電路、功 率轉(zhuǎn)換器或逆變器、電源狀態(tài)指示器(例如，發(fā)光二極管(LED))和與便攜式設(shè)備中的電力的 生成、管理和分配相關(guān)聯(lián)的任何其他部件。
[0225] 設(shè)備2100還可包括一個(gè)或多個(gè)光學(xué)傳感器或相機(jī)2164。圖18示出了耦接到I/O子 系統(tǒng)2106中的光學(xué)傳感器控制器2158的光學(xué)傳感器。光學(xué)傳感器2164例如可包括電荷親合 器件(CXD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)光電晶體管或感光器。光學(xué)傳感器2164從環(huán)境 接收通過一個(gè)或多個(gè)透鏡而投射的光，并且將光轉(zhuǎn)換為表示圖像的數(shù)據(jù)。結(jié)合成像模塊 2143(也稱為相機(jī)模塊），光學(xué)傳感器2164可捕獲靜態(tài)圖像和/或視頻序列。在一些實(shí)施方案 中，至少一個(gè)光學(xué)傳感器可位于設(shè)備2100的后部上，與位于該設(shè)備的前部上的觸摸屏顯示 器2112相背對。在一些實(shí)施方案中，觸摸屏顯示器可用作靜態(tài)和/或視頻圖像采集的取景 器。在一些實(shí)施方案中，替代性地或此外，至少一個(gè)光學(xué)傳感器還可位于設(shè)備的前部。
[0226] 設(shè)備2100還可包括一個(gè)或多個(gè)接近傳感器2166。圖18示出了耦接到外圍設(shè)備接口 2118的接近傳感器2166。作為另外一種選擇，接近傳感器2166可耦接到I/O子系統(tǒng)2106中的 輸入控制器2160。在一些實(shí)施方案中，當(dāng)多功能設(shè)備被放置在用戶耳朵附近時(shí)(例如，當(dāng)用 戶打電話時(shí)），該接近傳感器關(guān)閉并禁用觸摸屏2112。
[0227] 設(shè)備2100還可包括一個(gè)或多個(gè)取向傳感器2168。在一些實(shí)施方案中，該一個(gè)或多 個(gè)取向傳感器包括一個(gè)或多個(gè)加速度計(jì)(例如一個(gè)或多個(gè)線性加速度計(jì)和/或一個(gè)或多個(gè) 旋轉(zhuǎn)加速度計(jì)）。在一些實(shí)施方案中，該一個(gè)或多個(gè)取向傳感器包括一個(gè)或多個(gè)陀螺儀。在 一些實(shí)施方案中，該一個(gè)或多個(gè)取向傳感器包括一個(gè)或多個(gè)磁力儀。在一些實(shí)施方案中，該 一個(gè)或多個(gè)取向傳感器包括全球定位系統(tǒng)(GPS)、全球?qū)Ш叫l(wèi)星系統(tǒng)(GLONASS)、和/或其他 全球?qū)Ш较到y(tǒng)接收器中的一者或多者。GPS、GLONASS、和/或其他全球?qū)Ш较到y(tǒng)接收器可用 于獲取關(guān)于設(shè)備2100的位置和取向（例如縱向或橫向）的信息。在一些實(shí)施方案中，該一個(gè) 或多個(gè)取向傳感器包括取向傳感器/旋轉(zhuǎn)傳感器的任何組合。圖18示出了耦接到外圍設(shè)備 接口 2118的該一個(gè)或多個(gè)取向傳感器2168?；蛘撸撘粋€(gè)或多個(gè)取向傳感器2168可耦接到 I/O子系統(tǒng)2106中的輸入控制器2160。在一些實(shí)施方案中，信息基于對從這一個(gè)或多個(gè)取向 傳感器接收的數(shù)據(jù)的分析而在觸摸屏顯示器上被顯示在縱向視圖或橫向視圖中。
[0228] 在一些實(shí)施方案中，設(shè)備2100還可包括一個(gè)或多個(gè)其他傳感器(未示出），包括但 不限于環(huán)境光傳感器和運(yùn)動檢測器。這些傳感器可耦接到外圍設(shè)備接口 2118,或者另選地 可耦接到I/O子系統(tǒng)2106中的輸入控制器2160。例如，在一些實(shí)施方案中，設(shè)備2100可包括 可用于從設(shè)備2100的環(huán)境采集環(huán)境光照指標(biāo)的至少一個(gè)前向（背向用戶）和至少一個(gè)后向 (朝向用戶)光傳感器以用于視頻和圖像捕獲、處理和顯示應(yīng)用。
[0229]在一些實(shí)施方案中，被存儲在存儲器2102中的軟件部件包括操作系統(tǒng)2126、通信 模塊2128、接觸/運(yùn)動模塊(或指令集)2130、圖形模塊2132、文本輸入模塊2134、全球定位系 統(tǒng)(GPS)模塊2135、以及應(yīng)用程序2136。此外，在一些實(shí)施方案中，存儲器2102存儲設(shè)備/全 局內(nèi)部狀態(tài)2157。設(shè)備/全局內(nèi)部狀態(tài)2157包括以下各項(xiàng)中的一者或多者:活動應(yīng)用程序狀 態(tài)，該活動應(yīng)用程序狀態(tài)用于指示哪些應(yīng)用程序(如果有的話）當(dāng)前是活動的；顯示狀態(tài)，該 顯示狀態(tài)用于指示什么應(yīng)用程序、視圖或其他信息占據(jù)觸摸屏顯示器2112的各個(gè)區(qū)域;傳 感器狀態(tài)，該傳感器狀態(tài)包括從設(shè)備的各個(gè)傳感器和輸入控制設(shè)備2116獲取的信息；和關(guān) 于設(shè)備位置和/或姿態(tài)的位置信息。
[0230] 操作系統(tǒng)2126(例如，〇3^丨11、1^^(：、1^冊乂、1^1乂、03乂、11冊013、或嵌入式操作系 統(tǒng)諸如VxWorks)包括用于控制和管理一般系統(tǒng)任務(wù)(例如，存儲器管理、存儲設(shè)備控制、電 力管理等)的各種軟件部件和/或驅(qū)動器，并且有利于各種硬件和軟件部件之間的通信。
[0231] 通信模塊2128促進(jìn)通過一個(gè)或多個(gè)外部端口 2124來與其他設(shè)備進(jìn)行通信，并且還 包括用于處理由RF電路2108和/或外部端口 2124所接收的數(shù)據(jù)的各種軟件部件。外部端口 2124(例如，通用串行總線(USB)、火線等)適用于直接耦接到其他設(shè)備或者間接地通過網(wǎng)絡(luò) (例如，互聯(lián)網(wǎng)、無線LAN等)進(jìn)行親接。在一些實(shí)施方案中，外部端口是與iPod(Apple Inc. 的商標(biāo))設(shè)備上所使用的30針連接器相同的或類似的和/或與其兼容的多針(例如，30針)連 接器。
[0232] 接觸/運(yùn)動模塊2130可檢測與觸摸屏2112(結(jié)合顯示控制器2156)和其他觸敏設(shè)備 (例如，觸摸板或物理點(diǎn)擊式轉(zhuǎn)盤)的接觸。接觸/運(yùn)動模塊2130包括多個(gè)軟件部件以用于執(zhí) 行與接觸的檢測相關(guān)的各種操作，諸如確定是否已發(fā)生接觸(例如，檢測手指按下事件）、確 定是否存在接觸的移動并在觸敏表面上跟蹤該移動（例如，檢測一個(gè)或多個(gè)手指拖動事 件）、以及確定接觸是否已終止(例如，檢測手指抬起事件或者接觸中斷）。接觸/運(yùn)動模塊 2130從觸敏表面接收接觸數(shù)據(jù)。確定接觸點(diǎn)的移動可包括確定接觸點(diǎn)的速率(量值）、速度 (量值和方向）、和/或加速度(量值和/或方向的改變），接觸點(diǎn)的移動由一系列接觸數(shù)據(jù)來 表示。這些操作可施加于單個(gè)觸點(diǎn)(例如，一個(gè)指狀觸點(diǎn))或多個(gè)同時(shí)的觸點(diǎn)（例如，"多點(diǎn)觸 摸"/多個(gè)指狀觸點(diǎn)）。在一些實(shí)施方案中，接觸/運(yùn)動模塊2130和顯示控制器2156檢測觸摸 板上的接觸。
[0233] 接觸/運(yùn)動模塊2130可檢測用戶的手勢輸入。觸敏表面上的不同手勢具有不同的 接觸圖案。因此，可通過檢測具體接觸圖案來檢測手勢。例如，檢測單指輕擊手勢包括檢測 手指按下事件，然后在與手指按下事件相同的位置(或基本上相同的位置)處(例如，在圖標(biāo) 位置處)檢測手指抬起(抬離)事件。作為另一個(gè)示例，在觸敏表面上檢測手指輕掃手勢包括 檢測手指按下事件，然后檢測一個(gè)或多個(gè)手指拖動事件，并且隨后檢測手指抬起(抬離)事 件。
[0234] 圖形模塊2132包括用于在觸摸屏2112或其他顯示器上渲染和顯示圖形的多個(gè)軟 件部件，其包括用于改變被顯示圖形的強(qiáng)度的部件。如本文所用，術(shù)語"圖形"包括可被顯示 給用戶的任何對象，非限制性地包括文本、網(wǎng)頁、圖標(biāo)(諸如包括軟鍵的用戶界面對象）、數(shù) 字圖像、視頻、動畫等。
[0235] 在一些實(shí)施方案中，圖形模塊2132存儲用于表示待使用圖形的數(shù)據(jù)。每個(gè)圖形可 被分配有對應(yīng)的代碼。圖形模塊2132從應(yīng)用程序等接收指定待顯示的圖形的一個(gè)或多個(gè)代 碼，在必要的情況下還一起接收坐標(biāo)數(shù)據(jù)和其他圖形屬性數(shù)據(jù)，然后生成屏幕圖像數(shù)據(jù)以 輸出至顯示控制器2156。
[0236] 可作為圖形模塊2132的部件的文本輸入模塊2134提供用于在需要文本輸入的多 種應(yīng)用程序中輸入文本的軟鍵盤。
[0237] GPS模塊2135確定設(shè)備的位置并提供了在各種應(yīng)用程序中使用的這種信息(例如， 提供至用于基于位置的撥號的電話模塊2138;提供至相機(jī)模塊2143作為圖片/視頻元數(shù)據(jù)； 以及提供至提供基于位置的服務(wù)諸如地圖/導(dǎo)航桌面應(yīng)用程序）。
[0238] 應(yīng)用程序2136可包括但不限于以下模塊(或指令集）中的一者或多者或者其子集 或超集：
[0239] ?電話模塊2138;
[0240] ?視頻會議模塊2139;
[0241] ?用于靜態(tài)圖像和/或視頻圖像的相機(jī)模塊2143;
[0242] ?圖像管理模塊2144;
[0243] ?瀏覽器模塊2147;
[0244] ?搜索模塊2151;
[0245] ?視頻和音樂播放器模塊2152,其可由視頻播放器模塊和音樂播放器 [0246]模塊構(gòu)成;和/或
[0247] ?在線視頻模塊2155。
[0248] 可被存儲在存儲器2102中的其他應(yīng)用程序2136的示例包括但不限于其他文字處 理應(yīng)用程序、其他圖像編輯應(yīng)用程序、繪圖應(yīng)用程序、呈現(xiàn)應(yīng)用程序、通信/社交媒體應(yīng)用程 序、地圖應(yīng)用程序、支持JAVA的應(yīng)用程序、加密、數(shù)字權(quán)益管理、語音識別、和語音復(fù)制。
[0249] 結(jié)合RF電路2108、音頻電路2110、揚(yáng)聲器2111、麥克風(fēng)2113、觸摸屏2112、顯示控制 器2156、接觸模塊2130、圖形模塊2132、和文本輸入模塊2134，電話模塊2138可用于輸入與 電話號碼對應(yīng)的字符序列、訪問地址簿中的一個(gè)或多個(gè)電話號碼、修改已輸入的電話號碼、 撥打相應(yīng)的電話號碼、進(jìn)行會話以及當(dāng)會話完成時(shí)斷開或掛斷。如上所述，無線通信可使用 多個(gè)通信標(biāo)準(zhǔn)、協(xié)議和技術(shù)中的任一者。
[0250] 結(jié)合RF電路2108、音頻電路2110、揚(yáng)聲器2111、麥克風(fēng)2113、觸摸屏2112、顯示控制 器2156、光學(xué)傳感器2164、光學(xué)傳感器控制器2158、接觸/運(yùn)動模塊2130、圖形模塊2132、文 本輸入模塊2134和電話模塊2138,視頻會議模塊2139包括用于根據(jù)用戶指令發(fā)起、進(jìn)行和 終止用戶與一個(gè)或多個(gè)其他參與方之間的視頻會議的可執(zhí)行指令。
[0251] 結(jié)合觸摸屏2112、顯示控制器2156、一個(gè)或多個(gè)光學(xué)傳感器2164、光學(xué)傳感器控制 器2158、接觸/運(yùn)動模塊2130、圖形模塊2132和圖像管理模塊2144,相機(jī)模塊2143包括用于 以下操作的可執(zhí)行指令:捕獲靜態(tài)圖像或視頻(包括視頻流)并且將它們存儲到存儲器2102 中、修改靜態(tài)圖像或視頻的特征、或從存儲器2102刪除靜態(tài)圖像或視頻。
[0252] 結(jié)合觸摸屏2112、顯示控制器2156、接觸/運(yùn)動模塊2130、圖形模塊2132、文本輸入 模塊2134、和相機(jī)模塊2143,圖像管理模塊2144包括用于排列、修改(例如，編輯）、或以其他 方式操控、加標(biāo)簽、刪除、呈現(xiàn)(例如，在數(shù)字幻燈片或相冊中）、以及存儲靜態(tài)圖像和/或視 頻圖像的可執(zhí)行指令。
[0253] 結(jié)合RF電路2108、觸摸屏2112、顯示系統(tǒng)控制器2156、接觸/運(yùn)動模塊2130、圖形模 塊2132和文本輸入模塊2134,瀏覽器模塊2147包括用于根據(jù)用戶指令來瀏覽互聯(lián)網(wǎng)（包括 搜索、鏈接至、接收、和顯示網(wǎng)頁或其部分，以及鏈接至網(wǎng)頁的附件和其他文件）的可執(zhí)行指 令。
[0254] 結(jié)合觸摸屏2112、顯示系統(tǒng)控制器2156、接觸/運(yùn)動模塊2130、圖形模塊2132和文 本輸入模塊2134,搜索模塊2151包括用于根據(jù)用戶指令來搜索存儲器2102中的匹配一個(gè)或 多個(gè)搜索條件(例如，一個(gè)或多個(gè)用戶指定的搜索詞）的文本、音樂、聲音、圖像、視頻和/或 其他文件的可執(zhí)行指令。
[0255] 結(jié)合觸摸屏2112、顯示系統(tǒng)控制器2156、接觸/運(yùn)動模塊2130、圖形模塊2132、音頻 電路系統(tǒng)2110、揚(yáng)聲器2111、RF電路系統(tǒng)2108、和瀏覽器模塊2147,視頻和音樂播放器模塊 2152包括允許用戶下載和回放以一種或多種文件格式(諸如MP3或AAC文件)存儲的所記錄 的音樂和其他聲音文件的可執(zhí)行指令，以及用于顯示、呈現(xiàn)或以其他方式回放視頻(例如， 在觸摸屏2112上或在經(jīng)由外部端口 2124連接的外部顯示器上）的可執(zhí)行指令。在一些實(shí)施 方案中，設(shè)備2100可包括MP3播放器諸如iPod(Apple Inc.的商標(biāo))的功能。
[0256] 結(jié)合觸摸屏2112、顯示系統(tǒng)控制器2156、接觸/運(yùn)動模塊2130、圖形模塊2132、音頻 電路2110、揚(yáng)聲器2111、RF電路2108、文本輸入模塊2134和瀏覽器模塊2147,在線視頻模塊 2155包括指令，該指令允許用戶訪問、瀏覽、接收(例如，通過流式傳輸和/或下載）、回放(例 如在觸摸屏上或在經(jīng)由外部端口2124所連接的外部顯示器上），以及以其他方式管理一種 或多種視頻格式諸如H. 264/AVC格式或H. 265/HEVC格式的在線視頻。
[0257] 上述所識別的每個(gè)模塊和應(yīng)用程序?qū)?yīng)于用于執(zhí)行上述一種或多種功能以及在 本申請中所描述的方法(例如，本文中所述的計(jì)算機(jī)實(shí)現(xiàn)的方法和其他信息處理方法)的一 組可執(zhí)行指令。這些模塊(即指令集)不必被實(shí)現(xiàn)為獨(dú)立的軟件程序、過程或模塊，并因此在 各種實(shí)施方案中可組合或以其他方式重新布置這些模塊的各種子集。在一些實(shí)施方案中， 存儲器2102可存儲上述模塊和數(shù)據(jù)結(jié)構(gòu)的子集。此外，存儲器2102可存儲上文沒有描述的 附加模塊和數(shù)據(jù)結(jié)構(gòu)。
[0258] 在一些實(shí)施方案中，設(shè)備2100是唯一地通過觸摸屏和/或觸摸板來執(zhí)行設(shè)備上的 預(yù)定義的一組功能的操作的設(shè)備。通過使用觸摸屏和/或觸摸板作為用于設(shè)備2100的操作 的主要輸入控制設(shè)備，可減少設(shè)備2100上的物理輸入控制設(shè)備(諸如下壓按鈕、撥號盤等 等)的數(shù)量。
[0259] 可唯一地通過觸摸屏和/或觸摸板執(zhí)行的預(yù)定義的一組功能包括在用戶界面之間 進(jìn)行導(dǎo)航。在一些實(shí)施方案中，觸摸板在被用戶觸摸時(shí)將設(shè)備2100從可被顯示在設(shè)備2100 上的任何用戶界面導(dǎo)航到主界面菜單、home菜單或根菜單。在此類實(shí)施方案中，觸摸板可被 稱為"菜單按鈕"。在一些其他實(shí)施方案中，菜單按鈕可以是物理下壓按鈕或者其他物理輸 入控制設(shè)備，而不是觸摸板。
[0260] 圖19示出了根據(jù)一些實(shí)施方案的具有觸摸屏2112的便攜式多功能設(shè)備2100。觸摸 屏可在用戶界面(UI)2200內(nèi)顯示一個(gè)或多個(gè)圖形。在設(shè)備2100的至少一些實(shí)施方案中，用 戶可通過例如利用一個(gè)或多個(gè)手指2202(在附圖中未必按比例繪制)或者利用一個(gè)或多個(gè) 觸控筆2203 (在附圖中未必按比例繪制）在圖形上作出手勢來選擇這些圖形中的一個(gè)或多 個(gè)圖形。
[0261] 設(shè)備2100還可包括一個(gè)或多個(gè)物理按鈕，諸如"home"按鈕或菜單按鈕2204。如前 所述，菜單按鈕2204可被用于導(dǎo)航到可在設(shè)備2100上執(zhí)行的一組應(yīng)用程序中的任何應(yīng)用程 序2136。作為另外一種選擇，在一些實(shí)施方案中，菜單按鈕可被實(shí)現(xiàn)為被顯示在觸摸屏2112 上的⑶I中的軟鍵。
[0262] 在一些實(shí)施方案中，設(shè)備2100包括觸摸屏2112、home按鈕/菜單按鈕2204、用于對 設(shè)備開關(guān)機(jī)和鎖定設(shè)備的下壓按鈕2206、一個(gè)或多個(gè)音量調(diào)整按鈕2208、用戶身份模塊 (SH0卡槽2210、耳麥接口 2212、和對接/充電外部端口 2124。下壓按鈕2206可用于通過按下 按鈕并在預(yù)定義時(shí)間間隔內(nèi)使按鈕保持在按下狀態(tài)來打開/關(guān)閉設(shè)備上的電源；用于通過 按下按鈕并在經(jīng)過預(yù)定義時(shí)間間隔之前釋放按鈕來鎖定設(shè)備;并且用于解鎖設(shè)備或啟動解 鎖過程。在另選的實(shí)施方案中，設(shè)備2100還可通過麥克風(fēng)2113來接受用于激活或去激活一 些功能的語音輸入。
[0263] 設(shè)備2100還可包括一個(gè)或多個(gè)相機(jī)2164。相機(jī)2164例如可包括電荷耦合器件 (CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)光電晶體管或感光器。相機(jī)2164從環(huán)境接收通過一 個(gè)或多個(gè)透鏡而投射的光，并且將光轉(zhuǎn)換為表示圖像或視頻幀的數(shù)據(jù)。在一些實(shí)施方案中， 至少一個(gè)相機(jī)2164可位于設(shè)備2100的與位于該設(shè)備的前部上的觸摸屏顯示器2112相背對 的后部上。在一些實(shí)施方案中，替代性地或此外，至少一個(gè)相機(jī)2164還可位于具有觸摸屏顯 示器2112的設(shè)備的前部，使得在用戶在觸摸屏顯示器2112上觀看其他視頻會議參與者的同 時(shí)可獲取該用戶的圖像以用于視頻會議。在一些實(shí)施方案中，至少一個(gè)相機(jī)2164可位于設(shè) 備2100的前部上，并且至少一個(gè)相機(jī)2164可位于設(shè)備2100的后部上。在一些實(shí)施方案中，觸 摸屏顯示器2112可用作靜態(tài)圖像和/或視頻序列采集應(yīng)用的取景器和/或用戶界面。
[0264]設(shè)備2100可包括可用于捕獲、處理、轉(zhuǎn)換、壓縮、解壓縮、存儲、修改、傳輸、顯示并 以其他方式管理和操作通過相機(jī)2164捕獲或以其他方式采集(例如，通過網(wǎng)絡(luò)接口）的靜態(tài) 圖像和/或視頻幀或視頻序列的視頻和圖像處理硬件和/或軟件，包括但不限于視頻編碼和 或/解碼部件、編解碼器、模塊或流水線。在一些實(shí)施方案中，設(shè)備2100還可包括可用于從設(shè) 備2100的環(huán)境中采集環(huán)境光照或其他指標(biāo)的一個(gè)或多個(gè)光傳感器或其他傳感器，以便在視 頻和圖像捕獲、處理和顯示中使用。
[0265]在不同的實(shí)施方案中，本文所述的方法可在軟件、硬件或它們的組合中實(shí)現(xiàn)。此 外，可改變方法的框的次序，可對各種要素進(jìn)行添加、重新排序、組合、省略、修改等。對于受 益于本公開的本領(lǐng)域的技術(shù)人員，顯然可作出各種修改和改變。本文所述的各種實(shí)施方案 旨在為例示的而非是限制性的。許多變型、修改、添加和改進(jìn)是可能的。因此，可以為本文中 描述為單個(gè)示例的部件提供多個(gè)示例。各種部件、操作和數(shù)據(jù)存儲裝置之間的界限在一定 程度上是任意性的，并且在具體例示性配置的上下文中例示了特定操作。設(shè)想了可落在所 附權(quán)利要求的范圍內(nèi)的功能的其他分配。最后，被呈現(xiàn)為示例性配置中的分立部件的結(jié)構(gòu) 和功能可被實(shí)現(xiàn)為組合結(jié)構(gòu)或部件。這些和其他變型、修改、添加和改進(jìn)可落在所附權(quán)利要 求所限定的實(shí)施方案的范圍內(nèi)。
【主權(quán)項(xiàng)】
1. 一種系統(tǒng)，包括： 一個(gè)或多個(gè)傳感器，所述一個(gè)或多個(gè)傳感器被配置為檢測一個(gè)或多個(gè)環(huán)境條件； 顯不面板;和 解碼流水線，所述解碼流水線被配置為： 接收經(jīng)編碼的視頻數(shù)據(jù)； 對所述經(jīng)編碼的視頻數(shù)據(jù)進(jìn)行解碼以生成視頻內(nèi)容； 根據(jù)所述視頻內(nèi)容的一個(gè)或多個(gè)特征、所述顯示面板的一個(gè)或多個(gè)特征、以及由所述 一個(gè)或多個(gè)傳感器所檢測到的一個(gè)或多個(gè)當(dāng)前環(huán)境條件來處理所述視頻內(nèi)容，以生成適用 于在所述當(dāng)前環(huán)境條件下在所述顯示面板上查看的視頻內(nèi)容；以及 將經(jīng)處理的視頻內(nèi)容輸出至所述顯示面板以用于顯示。2. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述解碼流水線被配置為根據(jù)一個(gè)或多個(gè)視頻處 理技術(shù)來處理所述視頻內(nèi)容，其中所述視頻處理技術(shù)中的至少一種視頻處理技術(shù)根據(jù)所述 當(dāng)前環(huán)境條件被調(diào)整，以生成適用于在所述當(dāng)前環(huán)境條件下在所述顯示面板上查看的所述 視頻內(nèi)容。3. 根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述視頻處理技術(shù)包括以下各項(xiàng)中的一者或多者： 降噪、偽影消減、縮放、銳化、幀率轉(zhuǎn)換、色彩空間轉(zhuǎn)換、色域調(diào)整、動態(tài)背光調(diào)整、面板伽馬 校正、黑點(diǎn)校正、 或白點(diǎn)校正。4. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中為了處理所述視頻內(nèi)容，所述解碼流水線被配置為 將色域映射應(yīng)用于所述視頻內(nèi)容，以將所述視頻內(nèi)容的色彩分量映射到所述顯示面板的色 彩空間和位深度中，并且其中所述解碼流水線被配置為根據(jù)所述當(dāng)前環(huán)境條件來調(diào)整被應(yīng) 用于所述視頻內(nèi)容的所述色域映射，以生成適用于在所述當(dāng)前環(huán)境條件下在所述顯示面板 上查看的所述視頻內(nèi)容。5. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中為了處理所述視頻內(nèi)容，所述解碼流水線被配置為 將色調(diào)映射應(yīng)用于所述視頻內(nèi)容，以將所述視頻內(nèi)容的亮度映射到所述顯示面板的色彩空 間和位深度中，并且其中所述解碼流水線被配置為根據(jù)所述當(dāng)前環(huán)境條件來調(diào)整被應(yīng)用于 所述視頻內(nèi)容的所述色調(diào)映射，以生成適用于在所述當(dāng)前環(huán)境條件下在所述顯示面板上查 看的所述視頻內(nèi)容。6. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中為了處理所述視頻內(nèi)容，所述解碼流水線被配置 為： 根據(jù)所述顯示面板特征來確定所述顯示面板的測量的響應(yīng)亮度范圍； 根據(jù)所述當(dāng)前環(huán)境條件來確定適用的人類視覺亮度范圍； 將所述視頻內(nèi)容映射到所述測量的響應(yīng)亮度范圍，以生成中間視頻內(nèi)容；以及 將所述中間視頻內(nèi)容映射到所述適用的人類視覺亮度范圍，以生成適用于在所述當(dāng)前 環(huán)境條件下在所述顯示面板上查看的所述視頻內(nèi)容。7. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述解碼流水線被進(jìn)一步配置為分析所述視頻內(nèi) 容以確定所述一個(gè)或多個(gè)視頻內(nèi)容特征，其中所述視頻內(nèi)容特征包括所述視頻內(nèi)容的動態(tài) 范圍和色彩特征。8. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述環(huán)境條件包括環(huán)境光照指標(biāo)和人類查看者相 對于所述顯示面板的位置。9. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述顯示面板特征包括所述顯示面板的一個(gè)或多 個(gè)測量的特征，其中所述測量的特征包括以下各項(xiàng)中的一者或多者:所述顯示面板的測量 的響應(yīng)、本機(jī)白點(diǎn)、漏光、 反射光、或背光水平。10. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述顯示面板特征包括以下各項(xiàng)中的一者或多 者:所述顯示面板的色域、動態(tài)范圍、位深度、或物理尺寸。11. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述視頻內(nèi)容為標(biāo)準(zhǔn)動態(tài)范圍（SDR)視頻內(nèi)容或 高動態(tài)范圍（HDR)，其中所述顯示面板為支持高動態(tài)范圍（HDR)的顯示面板，并且其中所述 經(jīng)處理的視頻內(nèi)容為HDR視頻內(nèi)容。12. 根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括編碼流水線，所述編碼流水線被配置為： 從視頻源接收視頻數(shù)據(jù)； 獲取目標(biāo)顯示面板的一個(gè)或多個(gè)特征； 根據(jù)所述視頻數(shù)據(jù)的一個(gè)或多個(gè)特征、所述一個(gè)或多個(gè)目標(biāo)顯示面板特征、以及用于 指示所述目標(biāo)顯示面板處的當(dāng)前環(huán)境條件的一個(gè)或多個(gè)環(huán)境指標(biāo)來處理所述視頻數(shù)據(jù)，以 根據(jù)由所述環(huán)境指標(biāo)所指示的所述當(dāng)前環(huán)境條件來生成適用于所述目標(biāo)顯示面板特征的 視頻內(nèi)容； 根據(jù)壓縮視頻格式對適用的視頻內(nèi)容進(jìn)行編碼，以生成經(jīng)編碼的視頻數(shù)據(jù)；以及 將所述經(jīng)編碼的視頻數(shù)據(jù)提供至與所述目標(biāo)顯示面板相關(guān)聯(lián)的解碼流水線。13. 根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括亮度調(diào)整模塊，所述亮度調(diào)整模塊被配置為： 獲取有關(guān)影響顯示面板亮度的一個(gè)或多個(gè)條件的信息； 根據(jù)所獲取的信息來確定對所述顯示面板的亮度水平的調(diào)整；以及 根據(jù)非線性亮度調(diào)整函數(shù)按比例增加或減小所述顯示面板亮度，以根據(jù)所獲取的信息 來調(diào)整所述顯示面板的所述亮度水平； 其中顯示面板對比度不受所述顯示面板亮度的非線性縮放的影響。14. 一種方法，包括： 由在設(shè)備上實(shí)現(xiàn)的解碼模塊執(zhí)行： 接收經(jīng)編碼的視頻數(shù)據(jù)； 對所述經(jīng)編碼的視頻數(shù)據(jù)進(jìn)行解碼以生成視頻內(nèi)容； 確定所述視頻內(nèi)容的一個(gè)或多個(gè)特征； 確定目標(biāo)顯示面板的一個(gè)或多個(gè)特征； 獲取一個(gè)或多個(gè)當(dāng)前環(huán)境條件； 根據(jù)一個(gè)或多個(gè)視頻處理技術(shù)來處理所述視頻內(nèi)容，其中所述處理包括根據(jù)所述視頻 內(nèi)容特征、所述顯示面板特征、以及所述當(dāng)前環(huán)境條件來調(diào)整所述視頻處理技術(shù)中的一種 視頻處理技術(shù)，以生成適用于在所述當(dāng)前環(huán)境條件下在所述目標(biāo)顯示面板上查看的視頻內(nèi) 容；以及 將經(jīng)處理的視頻內(nèi)容提供至所述目標(biāo)顯示面板以用于顯示。15. 根據(jù)權(quán)利要求14所述的方法，其中所述視頻處理技術(shù)包括將所述視頻內(nèi)容映射到 所述目標(biāo)顯示面板的色彩空間和位深度中的色域映射技術(shù)和色調(diào)映射技術(shù)，并且其中處理 所述視頻內(nèi)容包括根據(jù)所述當(dāng)前環(huán)境條件來調(diào)整被應(yīng)用于所述視頻內(nèi)容的所述色域映射 和所述色調(diào)映射，以生成適用于在所述當(dāng)前環(huán)境條件下在所述顯示面板上查看的所述視頻 內(nèi)容。16. 根據(jù)權(quán)利要求14所述的方法，其中處理所述視頻內(nèi)容包括： 將所述視頻內(nèi)容映射到所述目標(biāo)顯示面板的測量的響應(yīng)亮度范圍， 以生成中間視頻內(nèi)容；以及 根據(jù)所述當(dāng)前環(huán)境條件來將所述中間視頻內(nèi)容映射到適用的人類視覺亮度范圍，以生 成適用于在所述當(dāng)前環(huán)境條件下在所述顯示面板上查看的所述視頻內(nèi)容。17. 根據(jù)權(quán)利要求14所述的方法，其中所述環(huán)境條件包括環(huán)境光照指標(biāo)和人類查看者 相對于所述顯示面板的位置。18. 根據(jù)權(quán)利要求14所述的方法，其中所述視頻內(nèi)容為標(biāo)準(zhǔn)動態(tài)范圍（SDR)視頻內(nèi)容或 高動態(tài)范圍（HDR)視頻內(nèi)容中的一者，其中所述顯示面板為支持HDR的顯示面板，并且其中 所述經(jīng)處理的視頻內(nèi)容為HDR視頻內(nèi)容。19. 一種裝置，包括： 編碼流水線，所述編碼流水線被配置為對以高動態(tài)范圍表示的輸入視頻數(shù)據(jù)進(jìn)行編碼 以生成經(jīng)編碼的視頻數(shù)據(jù);和 解碼流水線，所述解碼流水線被配置為： 對經(jīng)編碼的視頻數(shù)據(jù)進(jìn)行解碼以生成視頻內(nèi)容； 獲取一個(gè)或多個(gè)當(dāng)前環(huán)境條件； 根據(jù)所述視頻內(nèi)容的一個(gè)或多個(gè)特征、所述顯示面板的一個(gè)或多個(gè)特征、以及所述當(dāng) 前環(huán)境條件來處理所述視頻內(nèi)容， 以生成適用于在所述當(dāng)前環(huán)境條件下在所述顯示面板上查看的視頻內(nèi)容；以及 將經(jīng)處理的視頻內(nèi)容輸出至所述目標(biāo)顯示面板以用于顯示。20. 根據(jù)權(quán)利要求19所述的裝置，其中為了處理所述視頻內(nèi)容，所述解碼流水線被配置 為根據(jù)所述視頻內(nèi)容特征、所述顯示面板特征、以及所述當(dāng)前環(huán)境條件來將所述視頻內(nèi)容 映射到所述目標(biāo)顯示面板的色彩空間和位深度中，以生成適用于在所述當(dāng)前環(huán)境條件下在 所述顯示面板上查看的所述視頻內(nèi)容。
【文檔編號】G09G5/10GK106030503SQ201580010103
【公開日】2016年10月12日
【申請日】2015年2月25日
【發(fā)明人】K·I·格林鮑姆, 過海濤, 潘昊, G·科泰, 白英俊
【申請人】蘋果公司