圖像處理技術的制作方法
【專利說明】
[0001] 本發(fā)明專利申請是國際申請?zhí)枮镻CT/US2009/069353,國際申請日為2009年12月 23日，進入中國國家階段的申請?zhí)枮?00980163172. 8,名稱為"圖像處理技術"的發(fā)明專利 申請的分案申請。
技術領域
[0002] 本文公開的主題一般涉及圖形處理，包括光柵化圖像以供顯示。
[0003] 相關領域
[0004] 光柵化涉及將以向量圖形格式描述的圖像轉換成光柵圖像（像素或點）以供輸出 至視頻顯示器或供存儲。圖1描繪現有技術光柵化體系結構的示例。應用10向著色器20 提供未經處理的頂點。著色器20對場景中的頂點執(zhí)行頂點著色。著色器20向三角形裝箱 器（binner) 25提供表示三角形的經處理的頂點。三角形裝箱器25將三角形分類成與這些 三角形在屏幕上交迭的塊（tile)。每個塊具有箱（bin)，在箱中存儲關于與該塊交迭的所 有三角形的信息。三角形裝箱器25將三角形存儲到三角形箱30中。三角形箱30表示存 儲了與塊相關聯的三角形的那些箱。前端處理包括框20、25和30。在框40中，每個核挑選 塊/箱并且對三角形執(zhí)行屬性著色、像素著色以及光柵化。所得到的像素被存儲在幀緩沖 器50中。后端（BE)處理包括框40和50。
[0005] 在大的屏幕分辨率的情況下，存在比核多得多的塊/箱。因此，即使可能要經過很 長時間才需要頂點信息用于像素著色和光柵化，也可使用充足存儲器將所有的頂點信息保 存在箱內。用于保存待處理頂點的存儲器可以非常大，但是這又可能妨礙光柵化系統(tǒng)的性 能。另外，不可能將來自已處理的箱的存儲器重新用于后續(xù)裝箱，因為所有的箱已經包含了 它們的頂點著色內容，即在可進行光柵化之前必須處理所有的頂點。
[0006] 附圖簡沐
[0007] 本發(fā)明的各實施例在附圖中是作為示例而非作為限制而示出的，在附圖中相似的 附圖標記指代類似的元素。
[0008] 圖1描繪現有技術光柵化體系結構的示例。
[0009] 圖2以框圖形式描繪一種用于將幾何形狀組裝箱到幾何形狀組箱的系統(tǒng)。
[0010] 圖3描繪可用于確定用于幾何形狀組的幾何形狀組箱以及頂點著色和裝箱三角 形的進程的示例。
[0011] 圖4以簡化形式描繪由核執(zhí)行的、用于將幾何形狀組的三角形裝箱到塊的操作。 這也被稱為中端（ME)處理。
[0012] 圖5描繪可由一個或多個核和/或一個或多個線程執(zhí)行的、用于通過對幾何形狀 組的頂點進行頂點著色并對幾何形狀組的相關三角形進行裝箱或者通過對已裝箱的三角 形執(zhí)行后端光柵化來處理幾何形狀組的進程的示例。
[0013] 圖6描繪根據一些實施例的合適的后端光柵化進程。
[0014] 圖7描繪核確定要處理哪個幾何形狀組的方式的另一實施例。
[0015] 詳細描沐
[0016] 貫穿本說明書，對"一個實施例"或"一實施例"的引用意味著結合該實施例描述的 特定特征、結構或特性被包括在本發(fā)明的至少一個實施例中。因此，在貫穿本說明書的各個 地方，短語"在一個實施例中"或"在一實施例中"的出現不一定都指代同一實施例。此外， 特定特征、結構或特性可被組合在一個或多個實施例中。
[0017] 由Anthony Apodaca和Larry Gritz所著、出版商為Morgan Kauffman Publishers 的"Advanced Renderman (高級植染家）"（2000)(以下稱為〃Renderman〃）中所發(fā)表的內 容描述了生成微多邊形、基于所生成的微多邊形生成包圍體（bounding volume)、以及將包 圍體和指示器存儲到要被分為棋盤格狀的表面。RenderMan還允許用戶對每個幾何對象設 置maxDisplacement參數，并且這與非位移幾何對象一起可被用于計算保守包圍體。這些 包圍體可被提供給圖形流水線以供處理。針對其包圍體與塊交迭的每個幾何形狀組的指示 器被存儲在該塊的幾何形狀組箱中。當對塊進行光柵化時，實際的頂點處理和每像素著色 按照需要進行。
[0018] -些實施例基于輸入的幾何形狀屬性，使用頂點著色器自動確定包圍體。以上在 相關申請下列出的專利申請中描述了用于自動確定包圍體的技術。
[0019] 在多個實施例中，為了渲染圖像，用戶/編程員或其它源向渲染器提供繪制調用 的全局列表。每個繪制調用可被分成較小的、不相交的三角形組，這些三角形組被稱為幾 何形狀組（GG)。在一些情況下，繪制調用僅產生單個GG。每個繪制調用可存儲關于GG的 信息，諸如GG中頂點的數量、GG中三角形的數量以及針對頂點信息的指示器。另外，包圍 體（BV)可被計算并與幾何形狀組箱中的每個幾何形狀組一起存儲。如稍后將要描述的，三 角形箱是其中存儲三角形的箱，而幾何形狀組箱存儲關于GG的信息。在一些情況下，代替 產生三角形，可產生其它類型的基元，諸如四邊形、點、線、多邊形、球形、或其它高階幾何形 狀。
[0020] 多個實施例減少用于箱的存儲，因為并不是對每個箱都存儲經變換的頂點。針對 其包圍體與塊交迭的每個幾何形狀組的指示器被存儲在該塊的幾何形狀組箱中?？裳舆t頂 點處理直至對塊進行光柵化。代替將個體三角形裝箱到塊，一些實施例確定復雜基元/對 象的包圍體（BV)并基于GG關聯的BV將GG裝箱到塊。例如，可針對每個個體GG確定BV。 因此，存儲GG可比存儲與塊相關聯的三角形的箱使用較少的存儲器。
[0021] 箱的使用存儲器需求可以低得多，因為經變換的頂點不是被存儲在幾何形狀組 (GG)箱中，而是按照需要被創(chuàng)建并被存儲到三角形箱中。延遲GG向個體三角形的擴展可允 許進彳丁基于包圍體的剔除（例如，視維和遮擋）。例如，如果由另一基兀完全遮蔽的復雜繪 制調用的包圍體被已裝箱的三角形所覆蓋，則該繪制調用可能不必逐三角形地裝箱。
[0022] 多個實施例允許通過圖形處理單元以及多核和多線程系統(tǒng)對塊進行并行處理。例 如，核或線程可并行處理與塊交迭的幾何形狀組。在多個實施例中，由核執(zhí)行的任何進程可 由線程來執(zhí)行，反之亦然。從存儲器的角度看，多個實施例旨在通過使使更多的核并行地處 理對塊的前端和中端處理，以盡可能快地完成對塊的后端光柵化。例如，前端處理可包括確 定至少一個幾何形狀組的包圍體以及將包圍體裝箱到至少一個幾何形狀組塊。例如，中端 處理可包括對選定的未經處理的幾何形狀組的頂點進行著色以及將與選定的未經處理的 幾何形狀組相關聯的三角形進行裝箱。這可允許一旦塊已完成后端處理則將塊的存儲器重 新用于存儲三角形。例如，后端處理可包括標識與三角形交迭的像素以及計算每個像素的 色彩。
[0023] 與圖1中的前端處理相比，多個實施例中的前端處理提供了對在屏幕上的何處將 執(zhí)行頂點處理的粗略確定。對粗略確定的分析允許核在中端和后端集中于處理更加空間相 干或密集的頂點。前端處理還允許排定頂點的優(yōu)先級以供在中端和后端并行處理。
[0024] 多個實施例提供圖形處理流水線，這些圖形處理流水線至少基于Segal，M.和 Akeley, K.的"The OpenGL Graphics System:A Specification(Version2.0)(OpenGL 圖 形系統(tǒng)：說明書 2· 0 版）"（2004)、"The Microsoft DirectX9 Programmable Graphics Pipe-line (微軟DirectX 9可編程圖形流水線）"微軟出版社（2003)、D. Blythe的〃The Direct3D 10 System(Direct3D 10系統(tǒng)）〃微軟公司（2006)、以及其它圖形流水線說明書 可編程。
[0025] 圖2以框圖形式描繪一種用于將幾何形狀組裝箱到幾何形狀組箱的系統(tǒng)。
[0026] 應用10可以是請求顯示圖像的任何應用，諸如計算機游戲或繪圖程序。應用10 可提供未經處理的頂點。頂點是跨越η維空間的η維屬性。頂點屬性是位置（x，y，z)，但是 還可包括例如色彩、透明度、任意數量的紋理坐標、法線以及光澤參數。使用連通性信息來 形成三角形，該連通性信息可指示三角形是由例如頂點N、頂點M和頂點0形成的。對于這 些頂點，極值探測器邏輯210對未經處理的頂點的每個標量屬性確定最小值和最大值。極 值探測器邏輯210可（從輸入參數空間）向受圍算法著色器220提供頂點屬性的最小值和 最大值。注意，受圍算法著色器220僅使用在頂點最終位置的計算中所使用的屬性的最小 值和最大值。例如，最小值和最大值可以是最小和最大位置坐標、最小和最大紋理坐標、最 小和最大色澤、以及最小和最大曲面法線值。
[0027] 在多個實施例中，受圍算法著色器220執(zhí)行如在相關申請中所描述的受圍算法技 術以確定每個幾何形狀組的包圍體。例如，幾何形狀組可以是要被分為棋盤格狀的基元的 組或者某種幾何形狀的其他組。包圍體可以是三維軸對齊盒。在包圍體是盒的情況下，包 圍體被描述為x、y和z坐標中的每一個的兩個值。全部六個值表示剪輯空間（clip-space) 中的經變換的頂點的最大值和最小值。包圍體還可以在其它坐標系統(tǒng)中描述，諸如齊次坐 標。包圍體可以是其它形狀，諸如球體、定向包圍盒、k-DOP