用于保存和恢復(fù)線程組操作狀態(tài)的技術(shù)的制作方法
【專利摘要】公開了用于保存和恢復(fù)線程組操作狀態(tài)的技術(shù)。包括在并行處理單元（PPU）內(nèi)的流多處理器（SM）配置為掛起執(zhí)行在SM上的線程組并且保存所掛起的線程組的操作狀態(tài)。SM內(nèi)的加載-存儲單元（LSU）將與線程組相關(guān)聯(lián)的本地存儲器重新映射到全局存儲器中的位置。隨后，SM可以重新發(fā)起所掛起的線程組。然后LSU可以利用駐留在全局存儲器中的經(jīng)重新映射的本地存儲器代表經(jīng)重新發(fā)起的線程組實(shí)施本地存儲器訪問操作。
【專利說明】用于保存和恢復(fù)線程組操作狀態(tài)的技術(shù)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明總地涉及單指令、多數(shù)據(jù)處理(SMD)，并且更具體地，涉及用于保存和恢復(fù)線程組操作狀態(tài)的技術(shù)。
【背景技術(shù)】
[0002]在常規(guī)SMD架構(gòu)中，并行處理單元(PPU)可以同時執(zhí)行多個線程組，其中組內(nèi)的每個線程對輸入數(shù)據(jù)的不同部分執(zhí)行相同的指令。給定的線程在執(zhí)行指令時典型地依賴各種存儲器資源，包括本地存儲器、共享存儲器、寄存器等等。這些存儲器資源的狀態(tài)被稱為線程的“操作狀態(tài)”。
[0003]在一些環(huán)境下，PTO可以保存給定線程組的操作狀態(tài)以將由這些線程消耗的存儲器資源重新分配給另一個線程組。當(dāng)這類情況發(fā)生時，常規(guī)PPU可以僅將線程組中的每個線程的操作狀態(tài)拷貝到存儲器。隨后，PPU然后可以通過將每個線程的操作狀態(tài)從存儲器拷貝回到相對應(yīng)的存儲器資源來重新發(fā)起線程組。利用該方法，PPU能夠“暫?！本€程組中部執(zhí)行(mid-execution)以發(fā)起所消耗資源與“所暫停的”線程組相同的另一個線程組。
[0004]然而，上述方法是有問題的，因?yàn)榻o定線程的操作狀態(tài)可被拷貝的速度取決于該操作狀態(tài)的大小。當(dāng)給定線程組包括大量線程并且每個線程的操作狀態(tài)相對大時，將用于該線程組內(nèi)的每個線程的操作狀態(tài)拷貝多次可能要求大量的計(jì)算資源。因此，PPU的總處理吞吐量可能急劇降低。
[0005]因此，本領(lǐng)域需要的是用于在并行處理系統(tǒng)中保存和恢復(fù)與不同線程組相關(guān)聯(lián)的操作狀態(tài)的更高效的技術(shù)。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的一個實(shí)施例闡述了用于保存與執(zhí)行在處理器上的線程組相關(guān)聯(lián)的操作狀態(tài)的計(jì)算機(jī)實(shí)現(xiàn)方法，包括確定分配到第一線程組的存儲器的第一部分駐留在第一存儲器區(qū)域內(nèi)，將存儲器的第二部分分配在第二存儲器區(qū)域內(nèi)，將存儲器的第一部分拷貝到存儲器的第二部分，以及記錄指向存儲器的第二部分的指針，其中處理引擎配置為基于指向存儲器的第二部分的指針實(shí)施與第一線程組相關(guān)聯(lián)的存儲器訪問操作。
[0007]所公開的技術(shù)的一個優(yōu)勢在于，當(dāng)恢復(fù)線程組的操作狀態(tài)時，不要求處理引擎將與線程組相關(guān)聯(lián)的本地存儲器拷貝回到先前與線程組相關(guān)聯(lián)的本地存儲器資源，從而節(jié)省與處理引擎相關(guān)聯(lián)的計(jì)算資源。
[0008]第二個優(yōu)勢在于，隨后的保存操作可以重新使用存儲器的第二部分，保存隨后的保存操作期間的拷貝。
【專利附圖】

【附圖說明】
[0009]因此，可以詳細(xì)地理解本發(fā)明的上述特征，并且可以參考實(shí)施例得到對如上面所簡要概括的本發(fā)明更具體的描述，其中一些實(shí)施例在附圖中示出。然而，應(yīng)當(dāng)注意的是，附圖僅示出了本發(fā)明的典型實(shí)施例，因此不應(yīng)被認(rèn)為是對其范圍的限制，本發(fā)明可以具有其他等效的實(shí)施例。
[0010]圖1是示出了配置為實(shí)現(xiàn)本發(fā)明的一個或多個方面的計(jì)算機(jī)系統(tǒng)的框圖；
[0011]圖2是根據(jù)本發(fā)明的一個實(shí)施例的、用于圖1的計(jì)算機(jī)系統(tǒng)的并行處理子系統(tǒng)的框圖；
[0012]圖3是根據(jù)本發(fā)明的一個實(shí)施例的、圖2的通用處理集群內(nèi)的流多處理器的一部分的框圖；以及
[0013]圖4是根據(jù)本發(fā)明的一個實(shí)施例的、更詳細(xì)地示出了圖3的流多處理器的示意圖；
[0014]圖5是根據(jù)本發(fā)明的一個實(shí)施例的、用于保存線程組的操作狀態(tài)的方法步驟的流程圖；以及
[0015]圖6是根據(jù)本發(fā)明的一個實(shí)施例的、用于恢復(fù)線程組的操作狀態(tài)的方法步驟的流程圖。
【具體實(shí)施方式】
[0016]在下面的描述中，將闡述大量的具體細(xì)節(jié)以提供對本發(fā)明更透徹的理解。然而，本領(lǐng)域的技術(shù)人員應(yīng)該清楚，本發(fā)明可以在沒有一個或多個這些具體細(xì)節(jié)的情況下得以實(shí)踐。
[0017]系統(tǒng)概述
[0018]圖1為示出了配置為實(shí)現(xiàn)本發(fā)明的一個或多個方面的計(jì)算機(jī)系統(tǒng)100的框圖。計(jì)算機(jī)系統(tǒng)100包括經(jīng)由可以包括存儲器橋105的互連路徑通信的中央處理單元(CPU) 102和系統(tǒng)存儲器104。存儲器橋105可以是例如北橋芯片，經(jīng)由總線或其他通信路徑106 (例如超傳輸(HyperTransport)鏈路)連接到I/O (輸入/輸出)橋107。I/O橋107，其可以是例如南橋芯片，從一個或多個用戶輸入設(shè)備108 (例如鍵盤、鼠標(biāo))接收用戶輸入并且經(jīng)由通信路徑106和存儲器橋105將該輸入轉(zhuǎn)發(fā)到CPU102。并行處理子系統(tǒng)112經(jīng)由總線或第二通信路徑113 (例如外圍部件互連(PCI)Express、加速圖形端口或超傳輸鏈路)耦連到存儲器橋105。在一個實(shí)施例中，并行處理子系統(tǒng)112是將像素傳遞到顯示設(shè)備110的圖形子系統(tǒng)，所述顯示設(shè)備可以是任何常規(guī)的陰極射線管、液晶顯示器、發(fā)光二極管顯示器等等。系統(tǒng)盤114也連接到I/O橋107并可配置為存儲內(nèi)容和應(yīng)用以及數(shù)據(jù)用于由CPU102和并行處理子系統(tǒng)112使用。系統(tǒng)盤114為應(yīng)用和數(shù)據(jù)提供非易失性存儲并且可以包括固定的或可移動的硬盤驅(qū)動器、閃存設(shè)備以及⑶-ROM (壓縮光盤只讀存儲器)、DVD-R0M (數(shù)字多用光盤-ROM)、藍(lán)光、HD-DVD (高清晰度DVD)或其它磁性、光學(xué)或固態(tài)存儲設(shè)備。
[0019]交換器116提供I/O橋107與諸如網(wǎng)絡(luò)適配器118以及各種插卡120和121的其他部件之間的連接。其他部件(未明確示出)，包括通用串行總線(USB)或其他端口連接、壓縮光盤(⑶)驅(qū)動器、數(shù)字多用光盤(DVD)驅(qū)動器、膠片錄制設(shè)備及類似部件，也可以連接到I/O橋107。圖1所示的各種通信路徑包括具體命名的通信路徑106和113可以使用任何適合的協(xié)議實(shí)現(xiàn)，諸如PC1-EXpreSS、AGP (加速圖形端口)、超傳輸或者任何其他總線或點(diǎn)到點(diǎn)通信協(xié)議，并且如本領(lǐng)域已知的，不同設(shè)備間的連接可使用不同協(xié)議。
[0020]在一個實(shí)施例中，并行處理子系統(tǒng)112包含經(jīng)優(yōu)化用于圖形和視頻處理的電路，包括例如視頻輸出電路，并且構(gòu)成圖形處理單元(GPU)。在另一個實(shí)施例中，并行處理子系統(tǒng)112包含經(jīng)優(yōu)化用于通用處理的電路，同時保留底層(underlying)的計(jì)算架構(gòu)，本文將更詳細(xì)地進(jìn)行描述。在又一個實(shí)施例中，可以將并行處理子系統(tǒng)112與一個或多個其他系統(tǒng)元件集成在單個子系統(tǒng)中，諸如結(jié)合存儲器橋105、CPU102以及I/O橋107，以形成片上系統(tǒng)(SoC)。
[0021]應(yīng)該理解，本文所示系統(tǒng)是示例性的，并且變化和修改都是可能的。連接拓?fù)?，包括橋的?shù)目和布置、CPU102的數(shù)目以及并行處理子系統(tǒng)112的數(shù)目，可根據(jù)需要修改。例如，在一些實(shí)施例中，系統(tǒng)存儲器104直接連接到CPU102而不是通過橋，并且其他設(shè)備經(jīng)由存儲器橋105和CPU102與系統(tǒng)存儲器104通信。在其他替代性拓?fù)渲?，并行處理子系統(tǒng)112連接到I/O橋107或直接連接到CPU102，而不是連接到存儲器橋105。而在其他實(shí)施例中，I/O橋107和存儲器橋105可能被集成到單個芯片上而不是作為一個或多個分立設(shè)備存在。大型實(shí)施例可以包括兩個或更多個CPU102以及兩個或更多個并行處理子系統(tǒng)112。本文所示的特定部件是可選的；例如，任何數(shù)目的插卡或外圍設(shè)備都可能得到支持。在一些實(shí)施例中，交換器116被去掉，網(wǎng)絡(luò)適配器118和插卡120、121直接連接到I/O橋107。
[0022]圖2示出了根據(jù)本發(fā)明的一個實(shí)施例的并行處理子系統(tǒng)112。如所示的，并行處理子系統(tǒng)112包括一個或多個并行處理單元(PI3U) 202，每個并行處理單元202都耦連到本地并行處理(PP)存儲器204。通常，并行處理子系統(tǒng)包括U個PPU，其中U>=1。(本文中，類似對象的多個實(shí)例需要時以標(biāo)識對象的參考數(shù)字和標(biāo)識實(shí)例的括號中的數(shù)字來表示。)PPU202和并行處理存儲器204可使用一個或多個集成電路設(shè)備來實(shí)現(xiàn)，諸如可編程處理器、專用集成電路(ASIC)或存儲器設(shè)備，或者以任何其他技術(shù)可行的方式來實(shí)現(xiàn)。
[0023]再參考圖1以及圖2，在一些實(shí)施例中，并行處理子系統(tǒng)112中的一些或所有PPU202是具有渲染管線的圖形處理器，其可以配置為實(shí)施與下述相關(guān)的各種操作:經(jīng)由存儲器橋105和第二通信路徑113從CPU102和/或系統(tǒng)存儲器104所供應(yīng)的圖形數(shù)據(jù)生成像素數(shù)據(jù)，與本地并行處理存儲器204 (可被用作圖形存儲器，包括例如常規(guī)幀緩沖區(qū)(buffer))交互以存儲和更新像素數(shù)據(jù)，傳遞像素數(shù)據(jù)到顯示設(shè)備110等等。在一些實(shí)施例中，并行處理子系統(tǒng)112可包括一個或多個作為圖形處理器而操作的PPU202以及一個或多個用于通用計(jì)算的其他PPU202。這些PPU202可以是同樣的或不同的，并且每個PPU202可具有一個或多個專用并行處理存儲器設(shè)備或不具有專用并行處理存儲器設(shè)備。并行處理子系統(tǒng)112中的一個或多個PPU202可輸出數(shù)據(jù)到顯示設(shè)備110，或者并行處理子系統(tǒng)112中的每個PPU202可輸出數(shù)據(jù)到一個或多個顯示設(shè)備110。
[0024]在操作中，CPU102是計(jì)算機(jī)系統(tǒng)100的主處理器，控制和協(xié)調(diào)其他系統(tǒng)部件的操作。具體地，CPU102發(fā)出控制PPU202的操作的命令。在一些實(shí)施例中，CPU102寫入用于每個PPU202的命令流到數(shù)據(jù)結(jié)構(gòu)中(在圖1或圖2中未明確示出)，該數(shù)據(jù)結(jié)構(gòu)可位于系統(tǒng)存儲器104、并行處理存儲器204、或CPU102和PPU202都可訪問的其他存儲位置中。將指向每個數(shù)據(jù)結(jié)構(gòu)的指針寫到入棧緩沖區(qū)(pushbuffer)以發(fā)起對數(shù)據(jù)結(jié)構(gòu)中的命令流的處理。PPU202從一個或多個入棧緩沖區(qū)讀取命令流，然后相對于CPU102的操作異步地執(zhí)行命令。可以經(jīng)由設(shè)備驅(qū)動程序103由應(yīng)用程序?yàn)槊總€入棧緩沖區(qū)指定執(zhí)行優(yōu)先級以控制對不同入棧緩沖區(qū)的調(diào)度。
[0025]現(xiàn)在返回參考圖2和圖1，每個PPU202包括經(jīng)由連接到存儲器橋105 (或者，在一個替代性實(shí)施例中，直接連接到CPU102)的通信路徑113與計(jì)算機(jī)系統(tǒng)100的其余部分通信的I/O (輸入/輸出)單元205。PPU202到計(jì)算機(jī)系統(tǒng)100的其余部分的連接也可以變化。在一些實(shí)施例中，并行處理子系統(tǒng)112可實(shí)現(xiàn)為可插入到計(jì)算機(jī)系統(tǒng)100的擴(kuò)展槽中的插卡。在其他實(shí)施例中，PPU202可以和諸如存儲器橋105或I/O橋107的總線橋集成在單個芯片上。而在其他實(shí)施例中，PPU202的一些或所有元件可以和CPU102集成在單個芯片上。
[0026]在一個實(shí)施例中，通信路徑113是PCI Express鏈路，如本領(lǐng)域所知的，其中專用通道被分配到每個PPU202。也可以使用其他通信路徑。I/O單元205生成用于在通信路徑113上傳送的包(或其他信號)，并且還從通信路徑113接收所有傳入的包(或其他信號)，將傳入的包引導(dǎo)到PPU202的適當(dāng)部件。例如，可將與處理任務(wù)相關(guān)的命令引導(dǎo)到主機(jī)接口206，而將與存儲器操作相關(guān)的命令(例如，對并行處理存儲器204的讀取或?qū)懭?引導(dǎo)到存儲器交叉開關(guān)單元210。主機(jī)接口 206讀取每個入棧緩沖區(qū)，并且將存儲在入棧緩沖區(qū)中的命令流輸出到前端212。
[0027]有利地，每個PPU202都實(shí)現(xiàn)高度并行處理架構(gòu)。如詳細(xì)示出的，PPU202 (O)包括處理集群陣列230，該陣列230包括C個通用處理集群(GPC)208，其中C≥1。每個GPC208能夠并發(fā)執(zhí)行大量的(例如，幾百或幾千)線程，其中每個線程是程序的實(shí)例(instance)。在各種應(yīng)用中，可分配不同的GPC208用于處理不同類型的程序或用于實(shí)施不同類型的計(jì)算。GPC208的分配可以取決于因每種類型的程序或計(jì)算所產(chǎn)生的工作量而變化。
[0028]GPC208從任務(wù)/工作單元207內(nèi)的工作分布單元接收所要執(zhí)行的處理任務(wù)。工作分布單元接收指向編碼為任務(wù)元數(shù)據(jù)(TMD)并存儲在存儲器中的處理任務(wù)的指針。指向TMD的指針包括在存儲為入棧緩沖區(qū)并由前端單元212從主機(jī)接口 206接收的命令流中?？梢跃幋a為TMD的處理任務(wù)包括所要處理的數(shù)據(jù)的索引，以及定義數(shù)據(jù)將被如何處理(例如，什么程序?qū)⒈粓?zhí)行)的狀態(tài)參數(shù)和命令。任務(wù)/工作單元207從前端212接收任務(wù)并確保在每一個TMD所指定的處理發(fā)起前，將GPC208配置為有效狀態(tài)?？梢詾槊總€TMD指定用來調(diào)度處理任務(wù)的執(zhí)行的優(yōu)先級。還可從處理集群陣列230接收處理任務(wù)?？蛇x地，TMD可包括控制將TMD添加到處理任務(wù)列表(或指向處理任務(wù)的指針的列表)的頭部還是尾部的參數(shù)，從而提供除優(yōu)先級以外的另一級別的控制。
[0029]存儲器接口 214包括D個分區(qū)單元215，每個分區(qū)單元215直接耦連到并行處理存儲器204的一部分，其中D ≥ 1。如所示的，分區(qū)單元215的數(shù)目一般等于動態(tài)隨機(jī)存取存儲器(DRAM) 220的數(shù)目。在其他實(shí)施例中，分區(qū)單元215的數(shù)目也可以不等于存儲器設(shè)備的數(shù)目。本領(lǐng)域的普通技術(shù)人員應(yīng)該理解DRAM220可以用其他合適的存儲設(shè)備來替代并且可以是一般常規(guī)的設(shè)計(jì)。因此省略了詳細(xì)描述。諸如幀緩沖區(qū)或紋理映射圖的渲染目標(biāo)可以跨DRAM220加以存儲，這允許分區(qū)單元215并行寫入每個渲染目標(biāo)的各部分以有效地使用并行處理存儲器204的可用帶寬。
[0030]任何一個GPC208都可以處理要被寫到并行處理存儲器204內(nèi)的任何DRAM220的數(shù)據(jù)。交叉開關(guān)單元210配置為路由每個GPC208的輸出到任何分區(qū)單元215的輸入或到另一個GPC208用于進(jìn)一步處理。GPC208通過交叉開關(guān)單元210與存儲器接口 214通信，以對各種外部存儲器設(shè)備進(jìn)行讀取或?qū)懭搿Ｔ谝粋€實(shí)施例中，交叉開關(guān)單元210具有到存儲器接口 214的連接以和I/O單元205通信，以及到本地并行處理存儲器204的連接，從而使得在不同GPC208內(nèi)的處理內(nèi)核能夠與系統(tǒng)存儲器104或?qū)τ赑PU202而言非本地的其他存儲器通信。在圖2所示的實(shí)施例中，交叉開關(guān)單元210直接與I/O單元205連接。交叉開關(guān)單元210可使用虛擬信道來分開GPC208與分區(qū)單元215之間的業(yè)務(wù)流。
[0031]另外，GPC208可被編程以執(zhí)行與種類繁多的應(yīng)用相關(guān)的處理任務(wù)，包括但不限于，線性和非線性數(shù)據(jù)變換、視頻和/或音頻數(shù)據(jù)過濾、建模操作(例如，應(yīng)用物理定律以確定對象的位置、速率和其他屬性)、圖像渲染操作(例如，曲面細(xì)分(tessellation)著色器、頂點(diǎn)著色器、幾何著色器、和/或像素著色器程序)等等。PPU202可將數(shù)據(jù)從系統(tǒng)存儲器104和/或本地并行處理存儲器204轉(zhuǎn)移到內(nèi)部(片上)存儲器中，處理該數(shù)據(jù)，并且將結(jié)果數(shù)據(jù)寫回到系統(tǒng)存儲器104和/或本地并行處理存儲器204，其中這樣的數(shù)據(jù)可以由其他系統(tǒng)部件訪問，所述其他系統(tǒng)部件包括CPU102或另一個并行處理子系統(tǒng)112。
[0032]PPU202可配備有任何容量(amount)的本地并行處理存儲器204，包括沒有本地存儲器，并且可以以任何組合方式使用本地存儲器和系統(tǒng)存儲器。例如，在統(tǒng)一存儲器架構(gòu)(UMA)實(shí)施例中，PPU202可以是圖形處理器。在這樣的實(shí)施例中，將不提供或幾乎不提供專用的圖形(并行處理)存儲器，并且PPU202會以排他或幾乎排他的方式使用系統(tǒng)存儲器。在UMA實(shí)施例中，PPU202可集成到橋式芯片中或處理器芯片中，或作為具有高速鏈路(例如，PCI Express)的分立芯片提供，所述高速鏈路經(jīng)由橋式芯片或其他通信手段將PPU202連接到系統(tǒng)存儲器。
[0033]如上所示，在并行處理子系統(tǒng)112中可以包括任何數(shù)目的PPU202。例如，可在單個插卡上提供多個PPU202、或可將多個插卡連接到通信路徑113、或可將一個或多個PPU202集成到橋式芯片中。在多PPU系統(tǒng)中的PPU202可以彼此同樣或不同。例如，不同的PPU202可能具有不同數(shù)目的處理內(nèi)核、不同容量的本地并行處理存儲器等等。在存在多個PPU202的情況下，可并行操作那些PPU從而以高于單個PPU202所可能達(dá)到的吞吐量來處理數(shù)據(jù)。包含一個或多個PPU202的系統(tǒng)可以以各種配置和形式因素來實(shí)現(xiàn)，包括臺式電腦、筆記本電腦或手持式個人計(jì)算機(jī)、服務(wù)器、工作站、游戲控制臺、嵌入式系統(tǒng)等等。
[0034]可以在GPC208上并發(fā)執(zhí)行多個處理任務(wù)并且處理任務(wù)在執(zhí)行期間可以生成一個或多個“子”處理任務(wù)。任務(wù)/工作單元207接收任務(wù)并動態(tài)調(diào)度處理任務(wù)和子處理任務(wù)用于由GPC208執(zhí)行。
[0035]圖3為根據(jù)本發(fā)明的一個實(shí)施例的圖2的GPC208內(nèi)的流多處理器(SM) 310的框圖。每個GPC208可配置為并行執(zhí)行大量線程，其中術(shù)語“線程”是指在特定輸入數(shù)據(jù)集上執(zhí)行的特定程序的實(shí)例。在一些實(shí)施例中，單指令、多數(shù)據(jù)(SIMD)指令發(fā)出技術(shù)用于在不提供多個獨(dú)立指令單元的情況下支持大量線程的并行執(zhí)行。在其他實(shí)施例中，單指令、多線程(SMT)技術(shù)用于使用配置為向GPC208中的每一個內(nèi)的處理引擎集發(fā)出指令的公共指令單元來支持大量一般來說同步的線程的并行執(zhí)行。不同于所有處理引擎通常都執(zhí)行同樣指令的SMD執(zhí)行機(jī)制，SIMT執(zhí)行通過給定線程程序允許不同線程更容易跟隨分散執(zhí)行路徑。本領(lǐng)域普通技術(shù)人員應(yīng)該理解SMD處理機(jī)制代表SMT處理機(jī)制的功能子集。
[0036]經(jīng)由將處理任務(wù)分布到一個或多個流多處理器(SM)310的管線管理器(未示出)來有利地控制GPC208的操作，其中每個SM310配置為處理一個或多個線程組。每個SM310包括配置為經(jīng)由GPC208內(nèi)的L1.5高速緩存(未示出)接收來自存儲器的指令和常數(shù)的指令LI高速緩存370。線程束調(diào)度器和指令單元312從指令LI高速緩存370接收指令和常數(shù)，并且根據(jù)指令和常數(shù)控制本地寄存器堆304和SM310功能單元。SM310功能單元包括N個exec (執(zhí)行或處理)單元302和P個加載-存儲單元(LSU)303。SM功能單元可以是管線化的，其允許在前一個指令完成之前發(fā)出新指令?？商峁┕δ軋?zhí)行單元的任何組合。在一個實(shí)施例中，功能單元支持各種各樣的操作，包括整數(shù)和浮點(diǎn)運(yùn)算(例如加法和乘法)、比較操作、布爾操作(AND、OR、XOR)、移位和各種代數(shù)函數(shù)的計(jì)算(例如平面插值、三角函數(shù)、指數(shù)函數(shù)和對數(shù)函數(shù)等等)；以及相同功能單元硬件可均衡地用來實(shí)施不同的操作。
[0037]如本文之前所定義的，傳送到特定GPC208的一系列指令構(gòu)成線程，并且跨SM310內(nèi)的并行處理引擎(未示出)的某一數(shù)目的并發(fā)執(zhí)行線程的集合在本文中稱為“線程束(warp)”或“線程組”。如本文所使用的，“線程組”是指對不同輸入數(shù)據(jù)并發(fā)執(zhí)行相同程序的一組線程，所述組的一個線程被指派到SM310內(nèi)的不同處理引擎。線程組可以包括比SM310內(nèi)的處理引擎數(shù)目少的線程，在這種情況下一些處理引擎將在該線程組正在被處理的周期期間處于閑置狀態(tài)。線程組還可以包括比SM310內(nèi)的處理引擎數(shù)目多的線程，在這種情況下處理將在連續(xù)的時鐘周期內(nèi)發(fā)生。因?yàn)槊總€SM310可以并發(fā)支持多達(dá)G個線程組，結(jié)果是在任何給定時間在包括M個流多處理器310的GPC208中可以執(zhí)行多達(dá)G*M個線程組。
[0038]此外，多個相關(guān)線程組可以在SM310內(nèi)同時活動(在執(zhí)行的不同階段)。該線程組集合在本文中稱為“協(xié)作線程陣列”(“CTA”)或“線程陣列”。特定CTA的大小等于m*k，其中k是線程組中并發(fā)執(zhí)行線程的數(shù)目并且通常是SM310內(nèi)的并行處理引擎數(shù)目的整數(shù)倍，以及m是SM310內(nèi)同時活動的線程組的數(shù)目。CTA的大小一般由編程者以及可用于CTA的硬件資源諸如存儲器或寄存器的容量來確定。
[0039]在本發(fā)明的實(shí)施例中，使用計(jì)算系統(tǒng)的PPU202或其他處理器來使用線程陣列執(zhí)行通用計(jì)算是可取的。為線程陣列中的每個線程指派在線程的執(zhí)行期間對于線程可訪問的唯一的線程標(biāo)識符(“線程ID”)。可被定義為一維或多維數(shù)值的線程ID控制線程處理行為的各方面。例如，線程ID可用于確定線程將要處理輸入數(shù)據(jù)集的哪部分和/或確定線程將要產(chǎn)生或?qū)戄敵鰯?shù)據(jù)集的哪部分。
[0040]每線程指令序列可包括定義線程陣列的代表性線程和一個或多個其他線程之間的協(xié)作行為的至少一個指令。例如，每線程指令序列可能包括在序列中的特定點(diǎn)處掛起用于代表性線程的操作執(zhí)行直到諸如其他線程的一個或多個到達(dá)該特定點(diǎn)的時間為止的指令、用于代表性線程將數(shù)據(jù)存儲在其他線程的一個或多個有權(quán)訪問的共享存儲器中的指令、用于代表性線程原子地讀取和更新存儲在其他線程的一個或多個基于它們的線程ID有權(quán)訪問的共享存儲器中的數(shù)據(jù)的指令等等。CTA程序還可以包括計(jì)算數(shù)據(jù)將從其讀取的共享存儲器中的地址的指令，該地址是線程ID的函數(shù)。通過定義合適的函數(shù)并提供同步技術(shù)，可以以可預(yù)測的方式由CTA的一個線程將數(shù)據(jù)寫入共享存儲器中的給定位置并由同一個CTA的不同線程從該位置讀取數(shù)據(jù)。因此，數(shù)據(jù)在線程之間共享的任何期望模式可以得到支持，以及CTA中的任何線程可以與同一個CTA中的任何其他線程共享數(shù)據(jù)。如果存在數(shù)據(jù)在CTA的線程之間的共享，則其范圍由CTA程序確定；因此，應(yīng)該理解的是，在使用CTA的特定應(yīng)用中，CTA的線程可能會或可能不會真正互相共享數(shù)據(jù)，這取決于CTA程序，術(shù)語“CTA”和“線程陣列”在本文作為同義詞使用。
[0041]SM310提供具有不同級別的可訪問性的片上(內(nèi)部)數(shù)據(jù)存儲。特殊寄存器(未示出)對于LSU303可讀但不可寫并且用于存儲定義每個線程的“位置”的參數(shù)。在一個實(shí)施例中，特殊寄存器包括每線程(或SM310內(nèi)的每exec單元302) —個的存儲線程ID的寄存器；每個線程ID寄存器僅由各自的exec單元302可訪問。特殊寄存器還可以包括附加寄存器，其對于執(zhí)行由TMD322所代表的同一個處理任務(wù)的所有線程(或由所有LSU303)可讀，其存儲CTA標(biāo)識符、CTA維數(shù)、CTA所屬網(wǎng)格(grid)的維數(shù)(或隊(duì)列位置，如果TMD322編碼隊(duì)列任務(wù)而不是網(wǎng)格任務(wù)的話)、以及CTA被指派到的TMD322的標(biāo)識符。
[0042]如果TMD322是網(wǎng)格TMD，則TMD322的執(zhí)行會啟動和執(zhí)行固定數(shù)目的CTA以處理存儲在隊(duì)列525中的固定量的數(shù)據(jù)。將CTA的數(shù)目指定為網(wǎng)格寬度、高度和深度的乘積?？梢詫⒐潭康臄?shù)據(jù)存儲在TMD322中或TMD322可以存儲指向?qū)⒂蒀TA所處理的數(shù)據(jù)的指針。TMD322還存儲由CTA所執(zhí)行的程序的開始地址。
[0043]如果TMD322是隊(duì)列TMD，那么使用TMD322的隊(duì)列特點(diǎn)，這意味著將要被處理的數(shù)據(jù)量不一定是固定的。隊(duì)列條目存儲用于由指派到TMD322的CTA所處理的數(shù)據(jù)。隊(duì)列條目還可以代表在線程執(zhí)行期間由另一個TMD322所生成的子任務(wù)，從而提供嵌套并行性。通常線程或包括線程的CTA的執(zhí)行被掛起直到子任務(wù)的執(zhí)行完成?？梢詫㈥?duì)列存儲在TMD322中或與TMD322分開存儲，在該情況下TMD322存儲指向該隊(duì)列的隊(duì)列指針。有利地，當(dāng)代表子任務(wù)的TMD322正在執(zhí)行時可以將由子任務(wù)所生成的數(shù)據(jù)寫到隊(duì)列。隊(duì)列可以實(shí)現(xiàn)為循環(huán)隊(duì)列以使得數(shù)據(jù)的總量不限于隊(duì)列的大小。
[0044]屬于網(wǎng)格的CTA具有指示網(wǎng)格內(nèi)各自CTA的位置的隱含網(wǎng)格寬度、高度和深度參數(shù)。在初始化期間響應(yīng)于經(jīng)由前端212從設(shè)備驅(qū)動程序103所接收的命令來寫特殊寄存器并且在處理任務(wù)的執(zhí)行期間特殊寄存器不改變。前端212調(diào)度每個處理任務(wù)用于執(zhí)行。每個CTA與具體TMD322相關(guān)聯(lián)用于一個或多個任務(wù)的并發(fā)執(zhí)行。此外，單個GPC208可以并發(fā)執(zhí)行多個任務(wù)。
[0045]參數(shù)存儲器(未示出)存儲可由同一個CTA內(nèi)的任何線程(或任何LSU303)讀取但不可由其寫入的運(yùn)行時間參數(shù)(常數(shù))。在一個實(shí)施例中，設(shè)備驅(qū)動程序103在引導(dǎo)SM310開始執(zhí)行使用參數(shù)的任務(wù)之前將這些參數(shù)提供給參數(shù)存儲器。任何CTA內(nèi)的任何線程(或SM310內(nèi)的任何exec單元302)可以通過存儲器接口 214訪問全局存儲器?？梢詫⑷执鎯ζ鞯母鞑糠执鎯υ贚I高速緩存320中。
[0046]每個線程將本地寄存器堆304用作暫存空間；每個寄存器被分配以專用于一個線程，并且在本地寄存器堆304的任何部分中的數(shù)據(jù)僅對于寄存器被分配到的線程可訪問。本地寄存器堆304可以實(shí)現(xiàn)為物理上或邏輯上分為P個通道的寄存器堆，每個通道具有一定數(shù)目的條目(其中每個條目可以存儲例如32位字)。將一個通道指派到N個exec單元302和P個下載-存儲單元LSU303的每一個，并且利用用于執(zhí)行同一個程序的不同線程的數(shù)據(jù)來填充不同通道中的相應(yīng)條目以幫助SIMD執(zhí)行?？梢詫⑼ǖ赖牟煌糠址峙涞紾個并發(fā)線程組中的不同線程組，以使得本地寄存器堆304中的給定條目僅對于特定線程可訪問。在一個實(shí)施例中，保留本地寄存器堆304內(nèi)的某些條目用于存儲線程標(biāo)識符，實(shí)現(xiàn)特殊寄存器之一。此外，一致LI高速緩存375存儲用于N個exec單元302和P個下載-存儲單元LSU303的每個通道的一致值或常數(shù)值。
[0047]共享存儲器306對于單個CTA內(nèi)的線程可訪問；換言之，共享存儲器306中的任何位置對于同一個CTA內(nèi)的任何線程(或?qū)τ赟M310內(nèi)的任何處理引擎)可訪問。共享存儲器306可以實(shí)現(xiàn)為具有允許任何處理引擎對共享存儲器中的任何位置讀取或?qū)懭氲幕ミB的共享寄存器堆或共享片上高速緩存存儲器。在其他實(shí)施例中，共享狀態(tài)空間可能映射到片外存儲器的每CTA區(qū)上并被高速緩存在LI高速緩存320中。參數(shù)存儲器可以實(shí)現(xiàn)為在實(shí)現(xiàn)共享存儲器306的同一個共享寄存器堆或共享高速緩存存儲器內(nèi)的指定部分，或者實(shí)現(xiàn)為LSU303對其具有只讀訪問權(quán)限的分開的共享寄存器堆或片上高速緩存存儲器。在一個實(shí)施例中，實(shí)現(xiàn)參數(shù)存儲器的區(qū)域還用于存儲CTA ID和任務(wù)ID，以及CTA和網(wǎng)格維數(shù)或隊(duì)列位置，實(shí)現(xiàn)特殊寄存器的各部分。SM310中的每個LSU303耦連到統(tǒng)一地址映射單元352，統(tǒng)一地址映射單元352將為在統(tǒng)一存儲器空間中所指定的加載和存儲指令所提供的地址轉(zhuǎn)換為每個各異存儲器空間中的地址。因此，指令可以用于通過指定統(tǒng)一存儲器空間中的地址來訪問本地、共享或全局存儲器空間中的任何一個。
[0048]每個SM310中的LI高速緩存320可以用于高速緩存私有的每線程本地數(shù)據(jù)還有每應(yīng)用全局?jǐn)?shù)據(jù)。在一些實(shí)施例中，可以將每CTA共享數(shù)據(jù)高速緩存在LI高速緩存320中。LSU303經(jīng)由存儲器和高速緩存互連380耦連到共享存儲器306和LI高速緩存320。
[0049]應(yīng)該理解的是，本文所描述的核心架構(gòu)是示例性的并且變化和修改是可能的。任何數(shù)目的處理單元例如SM310可以包括在GPC208內(nèi)。進(jìn)一步地，如圖2所示，PPU202可以包括任何數(shù)目的GPC208，所述GPC208有利地功能上彼此相似使得執(zhí)行行為不取決于哪個GPC208接收特定處理任務(wù)。進(jìn)一步地，每個GPC208使用分開和各異的處理單元、LI高速緩存有利地獨(dú)立于其它GPC208進(jìn)行操作以執(zhí)行用于一個或多個應(yīng)用程序的任務(wù)。
[0050]本領(lǐng)域普通技術(shù)人員將理解的是，圖1-3所描述的架構(gòu)決不限制本發(fā)明的范圍，并且本文所教導(dǎo)的技術(shù)可以實(shí)現(xiàn)在任何經(jīng)適當(dāng)配置的處理單元上，包括但不限于一個或多個CPU、一個或多個多核CPU、一個或多個PPU202、一個或多個GPC208、一個或多個圖形或?qū)Ｓ锰幚韱卧鹊榷幻撾x本發(fā)明的范圍。
[0051]如上文所述，SM310配置為支持包括在特定CTA內(nèi)的多個相關(guān)的線程組的執(zhí)行，其中每個線程組包括多個線程。還如所述，給定線程組內(nèi)的每個線程配置為使用私有、每線程存儲器資源實(shí)施處理操作。除了其它存儲器資源之外，用于給定線程組內(nèi)的線程的私有、每線程存儲器資源在本文中集體被稱為與該線程組相關(guān)聯(lián)的“本地存儲器”并且可以包括本地寄存器堆304。用于給定線程組的本地存儲器駐留在與線程組相關(guān)聯(lián)的基準(zhǔn)(base)存儲器地址處，其在本文中被稱為“本地存儲器基準(zhǔn)”或可替代地“LMEM基準(zhǔn)”。在一個實(shí)施例中，本地存儲器默認(rèn)駐留在硬件管理的存儲器資源內(nèi)。
[0052]在一些環(huán)境下，SM310可以掛起(suspencOCTA的操作并且然后發(fā)起新CTA “代替”所掛起的CTA，即使用類似功能資源。這樣做時，SM310配置為通過將與所掛起的CTA內(nèi)的線程組相關(guān)聯(lián)的本地存儲器重新映射到全局存儲器來保存CTA的操作狀態(tài)。SM310也配置為更新與每個這類線程組相關(guān)聯(lián)的LMEM基準(zhǔn)以反映經(jīng)重新映射的本地存儲器的位置。SM310使用為每個線程組存儲經(jīng)更新的LMEM基準(zhǔn)的指針表來管理與所掛起的CTA內(nèi)的線程組相關(guān)聯(lián)的經(jīng)重新映射的本地存儲器。
[0053]SM310還配置為隨后通過重新發(fā)起SM310內(nèi)的功能單元上的該CTA內(nèi)的線程組來恢復(fù)所掛起的CTA的操作狀態(tài)。SM310還配置為檢索(retrieve)用于每個經(jīng)重新發(fā)起的線程組的經(jīng)更新的LMEM基準(zhǔn)并且然后利用經(jīng)更新的LMEM基準(zhǔn)實(shí)施用于這些線程組的存儲器訪問操作，如下文結(jié)合圖4-6更詳細(xì)描述的。
[0054]保存和恢復(fù)線程組狀態(tài)
[0055]圖4是根據(jù)本發(fā)明的一個實(shí)施例的、更詳細(xì)地示出了圖3的SM310的示意圖。如所示，SM310包括耦連到一個或多個LSU303的一個或多個exec單元302，與圖3C示出的那些類似。exec單元302和LSU303可以經(jīng)由例如圖3示出的本地寄存器堆304而耦連在一起。執(zhí)行在SM310上的CTA內(nèi)的線程組可以利用執(zhí)行單元302實(shí)施各種處理操作以及可以利用LSU303實(shí)施各種存儲器訪問操作。
[0056]如先前所述，SM310配置為掛起執(zhí)行在SM310上的CTA并且通過將與所掛起的CTA內(nèi)的線程組相關(guān)聯(lián)的本地存儲器映射到全局存儲器來保存所掛起的CTA的操作狀態(tài)。SM310還配置為使用指針表諸如圖4示出的指針表402來管理經(jīng)重新映射的本地存儲器。如所示，指針表402包括行(row)410。每個行410包括與不同線程組相關(guān)的信息。指針表402還包括列(column) 404,406和408。列404包括配置為執(zhí)行在SM310上的線程組的索弓丨，列406包括指示與這些線程組相關(guān)聯(lián)的本地存儲器是否已被重新映射到全局存儲器的位(bit)，列408包括指向用于具有已被重新映射的本地存儲器的線程組的全局存儲器中的位置的指針。
[0057]對于給定的行410而言，列404包括特定線程組的索引并且列406包括指示與該線程組相關(guān)聯(lián)的本地存儲器是否已被重新映射的位。當(dāng)與線程組相關(guān)聯(lián)的本地存儲器已被重新映射時，列408包括指向經(jīng)重新映射的本地存儲器駐留的全局存儲器中的位置。例如，行410-2包括列404內(nèi)的、唯一地標(biāo)識特定線程組的索引“2”。行410-2包括列406內(nèi)的、指示與線程組相關(guān)聯(lián)的本地存儲器已被重新映射的“1”，并且包括列408內(nèi)的、指向經(jīng)重新映射的本地存儲器駐留的本地存儲器中的位置的指針，“ 0X60 ”。
[0058]當(dāng)掛起CTA并保存該CTA的操作狀態(tài)時，SM310內(nèi)的LSU303配置為將與CTA內(nèi)的每個線程組相關(guān)聯(lián)的本地存儲器重新映射到全局存儲器，如先前所述。對于給定的線程組而言，LSU303配置為首先確定與該線程組相關(guān)聯(lián)的本地存儲器是否已被重新映射到全局存儲器。在一些情況下，用于給定線程組的全局存儲器可能先前已被重新映射，例如當(dāng)先前掛起該線程組的操作狀態(tài)時。LSU303基于與線程組相關(guān)聯(lián)的特定行410的列406可以確定與線程組相關(guān)聯(lián)的本地存儲器是否已被重新映射。
[0059]在與線程組相關(guān)聯(lián)的本地存儲器尚未被重新映射的情況下，LSU303初始化將全局存儲器的一部分分配給與線程組相關(guān)聯(lián)的本地存儲器的、用于線程組的分配器。在一個實(shí)施例中，分配器是來源于圖1示出的驅(qū)動程序103的軟件程序并且配置為分配駐留在全局存儲器內(nèi)的軟件管理的緩沖區(qū)的一部分。用于線程組的分配器返回指向全局存儲器的經(jīng)分配的部分的指針。LSU303然后可以將與線程組相關(guān)聯(lián)的本地存儲器拷貝到全局存儲器的經(jīng)分配的部分。LSU303配置為更新用于線程組的指針表402以指示與線程組相關(guān)聯(lián)的本地存儲器已被重新映射，例如通過將與線程組相對應(yīng)的行410的列406內(nèi)的位設(shè)定為“I”。LSU303還配置為設(shè)定與線程組相對應(yīng)的行410的列408以包括分配器所返回的指針。LSU303可針對CTA內(nèi)的每個線程組重復(fù)該過程。
[0060]隨后，當(dāng)恢復(fù)CTA的操作狀態(tài)時，SM310配置為重新發(fā)起SM310內(nèi)的功能單元上的該CTA內(nèi)的線程。對于給定的經(jīng)重新發(fā)起的線程組而言，LSU303配置為從與該線程組相關(guān)聯(lián)的行410檢索指向與該線程組相關(guān)聯(lián)的經(jīng)重新映射的本地存儲器駐留的全局存儲器中的位置的指針。當(dāng)代表經(jīng)重新發(fā)起的線程組實(shí)施加載和存儲操作時，LSU303配置為利用經(jīng)更新的LMEM基準(zhǔn)實(shí)施存儲器訪問操作。
[0061]通過實(shí)現(xiàn)上文所描述的技術(shù)，SM310可以掛起CTA以及保存該CTA的操作狀態(tài)，然后一段時間以后恢復(fù)該操作狀態(tài)。當(dāng)恢復(fù)CTA內(nèi)的給定線程組的操作狀態(tài)時，不要求SM310將與該線程相關(guān)聯(lián)的本地存儲器重新拷貝回到該本地存儲器的原位置，從而減小可以恢復(fù)線程組的操作狀態(tài)的時延。因此，SM310能夠以與常規(guī)技術(shù)相比更合理化的方式交換各CTA的操作狀態(tài)。
[0062]圖5是根據(jù)本發(fā)明的一個實(shí)施例的、用于保存線程組的操作狀態(tài)的方法步驟的流程圖。盡管結(jié)合圖1-4的系統(tǒng)描述了方法步驟，但是本領(lǐng)域普通技術(shù)人員將理解的是，配置為以任何次序?qū)嵤┓椒ú襟E的任何系統(tǒng)均在本發(fā)明的范圍內(nèi)。
[0063]如所示，方法500開始于步驟502，其中圖3的SM310內(nèi)的LSU303中的一個確定與給定線程組相關(guān)聯(lián)的本地存儲器是否已被重新映射到全局存儲器。線程組可以包括在執(zhí)行在SM310上的CTA內(nèi)。如果LSU303確定與線程組相關(guān)聯(lián)的本地存儲器已被重新映射到全局存儲器，那么方法500結(jié)束。否則，如果LSU303確定與線程組相關(guān)聯(lián)的本地存儲器尚未被重新映射到本地存儲器，那么方法500轉(zhuǎn)到步驟504。
[0064]在步驟504，LSU303初始化用于線程組的分配器。在一個實(shí)施例中，分配器是來源于圖1示出的驅(qū)動程序103的軟件程序。分配器配置為分配能夠存儲與線程組相關(guān)聯(lián)的本地存儲器的內(nèi)容的全局存儲器內(nèi)的區(qū)域。在一個實(shí)施例中，分配器將緩沖區(qū)的一部分分配給駐留在全局存儲器內(nèi)并且與SM310相關(guān)聯(lián)的線程組。在步驟506，LSU303從分配器接收用于線程組的指針。指針表示在步驟504由分配器分配到線程組的全局存儲器中的部分的基準(zhǔn)地址。
[0065]在步驟508，LSU303將與線程組相關(guān)聯(lián)的本地存儲器拷貝到與在步驟506由分配器所返回的指針相對應(yīng)的全局存儲器中的位置。在步驟510，LSU303更新SM310內(nèi)的指針表諸如圖4示出的指針表402以指示與線程組相關(guān)聯(lián)的本地存儲器被重新映射到全局存儲器。LSU303還配置為在步驟510更新指針表以反映本地存儲器被重新映射到的全局存儲器中的位置。然后方法500結(jié)束。
[0066]通過實(shí)現(xiàn)方法500，LSU303配置為當(dāng)保存包括線程組的CTA的操作狀態(tài)時將與線程組相關(guān)聯(lián)的本地存儲器重新映射到全局存儲器。實(shí)際上，總的來說，LSU303當(dāng)保存CTA的操作狀態(tài)時可以針對CTA內(nèi)的每個不同的線程組實(shí)施方法500。
[0067]圖6是根據(jù)本發(fā)明的一個實(shí)施例的、用于恢復(fù)線程組的操作狀態(tài)的方法步驟的流程圖。盡管結(jié)合了圖1-4的系統(tǒng)描述了方法步驟，但是本領(lǐng)域普通技術(shù)人員將理解的是，配置為以任何次序?qū)嵤┓椒ú襟E的任何系統(tǒng)均在本發(fā)明的范圍內(nèi)。
[0068]如所示，方法600開始于步驟602，其中SM310重新發(fā)起SM310內(nèi)的功能單元上的線程組。SM310可能先前已掛起包括了線程組的CTA，并且這樣做時，通過重新映射與該線程組相關(guān)聯(lián)的本地存儲器保存了線程組的操作狀態(tài)，例如通過實(shí)現(xiàn)上文結(jié)合圖5所描述的方法500。
[0069]在步驟604，SM310內(nèi)的LSU303中的一個從指針表諸如SM310內(nèi)的、圖4示出的指針表402檢索指向與經(jīng)重新發(fā)起的線程組相關(guān)聯(lián)的經(jīng)重新映射的本地存儲器的指針。在步驟606，LSU303利用更新為反映指向經(jīng)重新映射的本地存儲器的指針的LMEM基準(zhǔn)針對經(jīng)重新發(fā)起的線程組實(shí)施本地存儲器訪問操作。然后方法600結(jié)束。
[0070]通過實(shí)現(xiàn)方法600，SM310配置為重新發(fā)起CTA內(nèi)的線程組，以及通過使線程組使用經(jīng)重新映射的本地存儲器實(shí)施存儲器訪問操作來恢復(fù)該線程組的操作狀態(tài)。實(shí)際上，總的來說，不同LSU303當(dāng)恢復(fù)CTA的操作狀態(tài)時可針對CTA內(nèi)的每個不同線程組實(shí)施方法600。
[0071]總而言之，包括在并行處理單元(PPU)內(nèi)的流多處理器(SM)配置為掛起執(zhí)行在SM上的線程組并且保存所掛起的線程組的操作狀態(tài)。SM內(nèi)的加載-存儲單元(LSU)將與線程組相關(guān)聯(lián)的本地存儲器重新映射到全局存儲器中的位置。隨后，SM可以重新發(fā)起所掛起的線程組。然后LSU可以利用駐留在全局存儲器中的經(jīng)重新映射的本地存儲器代表經(jīng)重新發(fā)起的線程組實(shí)施本地存儲器訪問操作。
[0072]有利地，當(dāng)恢復(fù)線程組的操作狀態(tài)時，不要求LSU將與該線程組相關(guān)聯(lián)的本地存儲器拷貝回到SM，從而節(jié)省了與SM相關(guān)聯(lián)的計(jì)算資源。
[0073]本發(fā)明的一個實(shí)施例可被實(shí)施為與計(jì)算機(jī)系統(tǒng)一起使用的程序產(chǎn)品。該程序產(chǎn)品的程序定義實(shí)施例的各功能(包括本文中描述的方法)并且可以被包含在各種計(jì)算機(jī)可讀存儲介質(zhì)上。示例性計(jì)算機(jī)可讀存儲介質(zhì)包括但不限于:(i)不可寫的存儲介質(zhì)(例如，計(jì)算機(jī)內(nèi)的只讀存儲器設(shè)備，諸如可由CD-ROM驅(qū)動器讀取的壓縮光盤只讀存儲器(CD-ROM)盤、閃存、只讀存儲器(ROM)芯片或任何類型的固態(tài)非易失性半導(dǎo)體存儲器)，在其上存儲永久性信息；和(ii)可寫的存儲介質(zhì)(例如，磁盤驅(qū)動器或硬盤驅(qū)動器內(nèi)的軟盤或者任何類型的固態(tài)隨機(jī)存取半導(dǎo)體存儲器)，在其上存儲可更改的信息。
[0074]以上已參照特定實(shí)施例對本發(fā)明進(jìn)行了描述。然而，本領(lǐng)域普通技術(shù)人員將理解的是，可對此做出各種修改和變化而不脫離如隨附權(quán)利要求書中所闡述的本發(fā)明的較寬精神和范圍。因此，前面的描述以及附圖應(yīng)被視為是例示性而非限制性的意義。
[0075]因此，本發(fā)明的實(shí)施例的范圍由下面的權(quán)利要求進(jìn)行闡述。
【權(quán)利要求】
1.一種用于保存與在處理器上執(zhí)行的線程組相關(guān)聯(lián)的操作狀態(tài)的計(jì)算機(jī)實(shí)現(xiàn)方法，所述方法包括: 確定分配到第一線程組的存儲器的第一部分駐留在第一存儲器區(qū)域 內(nèi)； 在第二存儲器區(qū)域內(nèi)分配存儲器的第二部分； 將所述存儲器的第一部分拷貝到所述存儲器的第二部分；以及 記錄指向所述存儲器的第二部分的指針， 其中所述處理引擎配置為基于所述指向所述存儲器的第二部分的指 針實(shí)施與所述第一線程組相關(guān)聯(lián)的存儲器訪問操作。
2.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中所述處理引擎包括含有多個不同條目的表，其中每個條目與不同的線程組相對應(yīng)，并且記錄所述指向所述存儲器的第二部分的指針包括: 標(biāo)識所述表內(nèi)的與所述第一線程組相對應(yīng)的第一條目； 更新所述第一條目以反映所述存儲器的第一部分被拷貝到所述存儲 器的第二部分；以及 更新指示所述指向所述存儲器的第二部分的指針的條目。
3.根據(jù)權(quán)利要求2所述的計(jì)算機(jī)實(shí)現(xiàn)方法，進(jìn)一步包括: 檢索所述表內(nèi)的所述第一條目；` 確定所述第一條目反映所述存儲器的第一部分被拷貝到所述存儲器 的第二部分； 訪問包括在所述第一條目中的、指向所述存儲器的第二部分的指針； 以及 基于所述指針實(shí)施與所述第一線程組相關(guān)聯(lián)的存儲器訪問操作。
4.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中所述第一存儲器區(qū)域包括由所述處理引擎管理的本地存儲器資源。
5.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中所述第二存儲器區(qū)域包括全局存儲器資源。
6.根據(jù)權(quán)利要求5所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中所述存儲器的第二部分包括由在所述處理引擎上執(zhí)行的軟件應(yīng)用分配和管理的緩沖區(qū)。
7.根據(jù)權(quán)利要求6所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中所述指向所述存儲器的第二部分的指針與所述緩沖區(qū)內(nèi)的基準(zhǔn)地址相對應(yīng)，并且所述線程組內(nèi)的給定線程配置為基于所述基準(zhǔn)地址以及基于與所述給定線程相關(guān)聯(lián)的偏移來訪問與所述給定線程相對應(yīng)的緩沖區(qū)的一部分。
8.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中所述處理引擎包括在駐留在并行處理單元內(nèi)的一系列處理引擎內(nèi)，并配置為同時執(zhí)行一個或多個線程組。
9.一種配置為保存與在處理引擎上執(zhí)行的線程組相關(guān)聯(lián)的操作狀態(tài)的計(jì)算設(shè)備，包括: 所述處理引擎，其配置為: 確定分配到第一線程組的存儲器的第一部分駐留在第一存儲器區(qū)域內(nèi)； 在第二存儲器區(qū)域內(nèi)分配存儲器的第二部分； 將所述存儲器的第一部分拷貝到所述存儲器的第二部分；以及 記錄指向所述存儲器的第二部分的指針， 其中所述處理引擎配置為基于所述指向所述存儲器的第二部分的指 針實(shí)施與所述第一線程組相關(guān)聯(lián)的存儲器訪問操作。
10.根據(jù)權(quán)利要求9的計(jì)算設(shè)備，其中所述處理引擎包括含有多個不同條目的表，其中每個條目與不同的線程組相對應(yīng)，并且所述處理引擎通過以下步驟記錄指向所述存儲器的第二部分的指針: 標(biāo)識所述表內(nèi)的與所述第一線程組相對應(yīng)的第一條目； 更新所述第一條目以反映所述存儲器的第一部分被拷貝到所述存儲 器的第二部分；以及 更新指示所述指向所述存 儲器的第二部分的指針的條目。
【文檔編號】G06F9/38GK103870247SQ201310676477
【公開日】2014年6月18日 申請日期:2013年12月11日 優(yōu)先權(quán)日:2012年12月11日
【發(fā)明者】王若凡, 蘭基·V·姍, 格拉爾德·F·路易斯, 菲利普·亞歷山大·夸德拉, 盧克·杜蘭特, 瑟利斯·加德雷 申請人:輝達(dá)公司