匹配于高性能計(jì)算機(jī)體系結(jié)構(gòu)的結(jié)構(gòu)網(wǎng)格數(shù)據(jù)管理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及并行計(jì)算技術(shù)領(lǐng)域，特別是關(guān)于匹配于高性能計(jì)算機(jī)體系結(jié)構(gòu)的結(jié)構(gòu)網(wǎng)格數(shù)據(jù)管理方法。
【背景技術(shù)】
[0002]在科學(xué)與工程計(jì)算領(lǐng)域，結(jié)構(gòu)網(wǎng)格是離散計(jì)算區(qū)域的一類幾何網(wǎng)格，基于結(jié)構(gòu)網(wǎng)格的數(shù)值模擬是最普遍存在的一類數(shù)值模擬，在實(shí)際中得到廣泛應(yīng)用。物理量定義于結(jié)構(gòu)網(wǎng)格之上，用于存儲(chǔ)離散數(shù)學(xué)物理方程的單元數(shù)值。管理結(jié)構(gòu)網(wǎng)格和物理量的數(shù)據(jù)管理方法是數(shù)值算法和應(yīng)用軟件設(shè)計(jì)的基礎(chǔ)。數(shù)據(jù)管理方法能否匹配于計(jì)算機(jī)體系結(jié)構(gòu)，直接關(guān)系到應(yīng)用軟件的計(jì)算效率，對(duì)高性能計(jì)算至關(guān)重要。
[0003]當(dāng)前，高性能計(jì)算機(jī)的峰值性能已經(jīng)跨越了每秒千萬(wàn)億次，體系結(jié)構(gòu)日趨復(fù)雜，呈現(xiàn)“六層嵌套并行”和“異構(gòu)眾核加速”的典型特征，其中，前者指“結(jié)點(diǎn)間分布存儲(chǔ)(DM) —結(jié)點(diǎn)內(nèi)多CPU間分布共享存儲(chǔ)(DSM) — CPU內(nèi)多核間對(duì)稱多處理共享存儲(chǔ)(SMP) — CPU核內(nèi)多級(jí)高速緩存(Cache) — CPU核內(nèi)多功能部件指令級(jí)并行(ILP) — CPU核內(nèi)長(zhǎng)向量加速(SIMD) ”，后者指“異構(gòu)眾核加速”，即每個(gè)結(jié)點(diǎn)配置圖形加速微處理器GPU或眾核協(xié)處理器MIC，在提升浮點(diǎn)計(jì)算速度的同時(shí)降低功耗。
[0004]傳統(tǒng)地，數(shù)值模擬應(yīng)用軟件采用基于多維數(shù)組數(shù)據(jù)剖分的數(shù)據(jù)管理方法(簡(jiǎn)稱“多維數(shù)組數(shù)據(jù)管理方法”)。具體地:將物理量定義為與結(jié)構(gòu)網(wǎng)格大小對(duì)應(yīng)的多維數(shù)組；將多維數(shù)組剖分為多個(gè)子數(shù)組，子數(shù)組在各進(jìn)程間分布存儲(chǔ)以適應(yīng)進(jìn)程之間的并行；子數(shù)組元素在進(jìn)程內(nèi)共享存儲(chǔ)以適應(yīng)線程之間的并行，從而實(shí)現(xiàn)進(jìn)程和線程的兩層嵌套并行計(jì)算。然而，這種多維數(shù)組數(shù)據(jù)管理方法和相應(yīng)的兩級(jí)嵌套并行計(jì)算很難適應(yīng)“六層嵌套并行”和“異構(gòu)眾核加速”的復(fù)雜體系結(jié)構(gòu)，具體表現(xiàn)在如下五個(gè)方面:
[0005](I)多維數(shù)組數(shù)據(jù)剖分后形成的子數(shù)組存儲(chǔ)于結(jié)點(diǎn)內(nèi)，支持結(jié)點(diǎn)間多CPU和CPU內(nèi)多核的兩層線程并行。但是，這種子數(shù)組忽視了結(jié)點(diǎn)內(nèi)多CPU間DSM可能導(dǎo)致的非均勻訪存(NUMA)而引起的遠(yuǎn)程訪存開銷，隨著CPU個(gè)數(shù)的增長(zhǎng)或CPU內(nèi)核數(shù)的增長(zhǎng)，該類開銷很可能主導(dǎo)多線程并行計(jì)算的訪存開銷，成為制約結(jié)點(diǎn)計(jì)算效率的瓶頸，使得結(jié)點(diǎn)內(nèi)線程數(shù)不可擴(kuò)展。
[0006](2)多維數(shù)組數(shù)據(jù)剖分后形成的子數(shù)組存儲(chǔ)于結(jié)點(diǎn)內(nèi)，支持CPU內(nèi)多核的線程并行。由于子數(shù)組無(wú)法感知多CPU核之間的SMP訪存模式，很可能導(dǎo)致訪存沖突和Cache —致性沖突，顯著降低CPU核的計(jì)算效率。
[0007](3)多維數(shù)組數(shù)據(jù)剖分后形成的子數(shù)組存儲(chǔ)于結(jié)點(diǎn)內(nèi)，內(nèi)存容量通常比較大，遠(yuǎn)遠(yuǎn)超出CPU核內(nèi)Cache容量，從而導(dǎo)致內(nèi)存頁(yè)的缺失和Cache命中率的下降，顯著降低CPU核的計(jì)算效率。
[0008](4)多維數(shù)組數(shù)據(jù)剖分后形成的子數(shù)組存儲(chǔ)于結(jié)點(diǎn)內(nèi)，缺少對(duì)結(jié)構(gòu)網(wǎng)格和數(shù)值計(jì)算的語(yǔ)義感知，無(wú)法在網(wǎng)格單元的層次上組織更大粒度的指令級(jí)并行或向量化，從而不利于CPU核內(nèi)多功能部件的指令級(jí)并行度的挖掘和向量加速部件的有效利用。
[0009](5)異構(gòu)眾核加速要求更高的訪存局部性和更細(xì)粒度的并行度，從而，多維數(shù)組數(shù)據(jù)剖分后形成的子數(shù)組存儲(chǔ)于結(jié)點(diǎn)內(nèi)，上述四點(diǎn)不足同樣不適應(yīng)異構(gòu)眾核加速對(duì)數(shù)據(jù)結(jié)構(gòu)的要求。

【發(fā)明內(nèi)容】

[0010]為了解決現(xiàn)有技術(shù)中的遠(yuǎn)程訪問(wèn)開銷高、CPU核計(jì)算效率低等問(wèn)題，本發(fā)明面向基于結(jié)構(gòu)網(wǎng)格的高性能數(shù)值模擬，提出匹配于高性能計(jì)算機(jī)體系結(jié)構(gòu)的結(jié)構(gòu)網(wǎng)格數(shù)據(jù)管理方法，大幅提升結(jié)構(gòu)網(wǎng)格和物理量的存儲(chǔ)與訪問(wèn)的數(shù)據(jù)局部性，支持應(yīng)用軟件面向高性能計(jì)算機(jī)復(fù)雜體系結(jié)構(gòu)展開浮點(diǎn)性能優(yōu)化，大幅提升計(jì)算效率。
[0011]本發(fā)明實(shí)施例提供了匹配于高性能計(jì)算機(jī)體系結(jié)構(gòu)的結(jié)構(gòu)網(wǎng)格數(shù)據(jù)管理方法，包括，
[0012]根據(jù)數(shù)值模擬對(duì)象確定結(jié)構(gòu)網(wǎng)格和所述結(jié)構(gòu)網(wǎng)格上的物理量，并將結(jié)構(gòu)網(wǎng)格建模為由多個(gè)網(wǎng)格層構(gòu)成的網(wǎng)格片層次結(jié)構(gòu)；
[0013]將所述網(wǎng)格層剖分為互不重疊的若干個(gè)子網(wǎng)格，稱這些子網(wǎng)格為網(wǎng)格區(qū)，為每個(gè)所述網(wǎng)格區(qū)賦予惟一的邏輯編號(hào)，將每個(gè)所述網(wǎng)格區(qū)映射到惟一的高性能計(jì)算機(jī)結(jié)點(diǎn)，將所述網(wǎng)格區(qū)分布存儲(chǔ)在高性能計(jì)算機(jī)結(jié)點(diǎn)的內(nèi)存空間；每個(gè)網(wǎng)格層剖分所得網(wǎng)格區(qū)數(shù)等于高性能計(jì)算機(jī)結(jié)點(diǎn)數(shù)；
[0014]將網(wǎng)格區(qū)剖分為互不重疊的若干個(gè)子網(wǎng)格，稱這些子網(wǎng)格為網(wǎng)格域，為每個(gè)網(wǎng)格域在網(wǎng)格層中分配惟一的邏輯編號(hào)，將其映射到高性能計(jì)算機(jī)結(jié)點(diǎn)內(nèi)惟一的CPU，所述網(wǎng)格域被分布共享存儲(chǔ)在高性能計(jì)算機(jī)結(jié)點(diǎn)內(nèi)不同CPU的內(nèi)存空間；每個(gè)網(wǎng)格區(qū)剖分所得網(wǎng)格域數(shù)等于高性能計(jì)算機(jī)結(jié)點(diǎn)內(nèi)CPU數(shù)；
[0015]將網(wǎng)格域剖分為互不重疊的若干個(gè)子網(wǎng)格，稱這些子網(wǎng)格為網(wǎng)格片，為每個(gè)網(wǎng)格片在網(wǎng)格層中分配惟一的邏輯編號(hào)，將其映射到高性能計(jì)算機(jī)結(jié)點(diǎn)內(nèi)CPU的惟一 CPU核，依據(jù)所述網(wǎng)格片對(duì)CPU核的映射，網(wǎng)格片被共享存儲(chǔ)在高性能計(jì)算機(jī)結(jié)點(diǎn)內(nèi)CPU的內(nèi)存空間；每個(gè)網(wǎng)格域剖分所得網(wǎng)格片數(shù)不少于高性能計(jì)算機(jī)結(jié)點(diǎn)內(nèi)每CPU核數(shù)；
[0016]在每個(gè)網(wǎng)格片上，為每個(gè)物理量在該網(wǎng)格片上分配唯一的內(nèi)存空間，稱該內(nèi)存空間為數(shù)據(jù)片，用于儲(chǔ)存該物理量定義在該網(wǎng)格片所有網(wǎng)格單元上的離散值。
[0017]根據(jù)本發(fā)明實(shí)施例所述的匹配于高性能計(jì)算機(jī)體系結(jié)構(gòu)的結(jié)構(gòu)網(wǎng)格數(shù)據(jù)管理方法的一個(gè)進(jìn)一步的方面，所述網(wǎng)格片中包括至少一個(gè)數(shù)據(jù)片，所述數(shù)據(jù)片包括網(wǎng)格單元的坐標(biāo)，以及物理量定義在該網(wǎng)格片所有網(wǎng)格單元上的離散值；還包括所述離散值在所述網(wǎng)格單元中的幾何位置。
[0018]根據(jù)本發(fā)明實(shí)施例所述的匹配于高性能計(jì)算機(jī)體系結(jié)構(gòu)的結(jié)構(gòu)網(wǎng)格數(shù)據(jù)管理方法的再一個(gè)進(jìn)一步的方面，所述離散值根據(jù)所述幾何位置不同，分為多種類型，包括但不限于，中心量、結(jié)點(diǎn)量、邊心量、面心量、散亂量、外表面中心量、外表面結(jié)點(diǎn)量、外表面面心量。
[0019]根據(jù)本發(fā)明實(shí)施例所述的匹配于高性能計(jì)算機(jī)體系結(jié)構(gòu)的結(jié)構(gòu)網(wǎng)格數(shù)據(jù)管理方法的另一個(gè)進(jìn)一步的方面，不同物理量對(duì)應(yīng)不同的數(shù)據(jù)片。
[0020]根據(jù)本發(fā)明實(shí)施例所述的匹配于高性能計(jì)算機(jī)體系結(jié)構(gòu)的結(jié)構(gòu)網(wǎng)格數(shù)據(jù)管理方法的另一個(gè)進(jìn)一步的方面，所述數(shù)據(jù)片還沿網(wǎng)格片的四周設(shè)置影像區(qū)，用于存儲(chǔ)同一物理量從相鄰網(wǎng)格片對(duì)應(yīng)幾何位置復(fù)制的物理量的離散值。
[0021]根據(jù)本發(fā)明實(shí)施例所述的匹配于高性能計(jì)算機(jī)體系結(jié)構(gòu)的結(jié)構(gòu)網(wǎng)格數(shù)據(jù)管理方法的另一個(gè)進(jìn)一步的方面，所述網(wǎng)格片包括網(wǎng)格單元的總數(shù)上限可設(shè)置為，設(shè)置CPU的緩存(Cache)容量為網(wǎng)格片中數(shù)值計(jì)算依賴的所有數(shù)據(jù)片的內(nèi)存容量的上限，選取網(wǎng)格片單元總數(shù)上限值，使之滿足所在CPU分配到的所有網(wǎng)格片上的所有物理量的數(shù)據(jù)容量總和不超過(guò)該上限，選取所得結(jié)果的最大值作為所述網(wǎng)格片包含網(wǎng)格單元的總數(shù)上限。
[0022]根據(jù)本發(fā)明實(shí)施例所述的匹配于高性能計(jì)算機(jī)體系結(jié)構(gòu)的結(jié)構(gòu)網(wǎng)格數(shù)據(jù)管理方法的另一個(gè)進(jìn)一步的方面，所述網(wǎng)格片包括網(wǎng)格單元的總數(shù)上限可設(shè)置為，選取不同的網(wǎng)格片單元總數(shù)上限值，進(jìn)行數(shù)值模擬計(jì)算，選取性能最優(yōu)的上限值作為所述網(wǎng)格片包括網(wǎng)格單元的總數(shù)上限。
[0023]根據(jù)本發(fā)明實(shí)施例所述的匹配于高性能計(jì)算機(jī)體系結(jié)構(gòu)的結(jié)構(gòu)網(wǎng)格數(shù)據(jù)管理方法的另一個(gè)進(jìn)一步的方面，所述結(jié)構(gòu)網(wǎng)格上的物理量隨著網(wǎng)格片被分布儲(chǔ)存于高性能計(jì)算機(jī)結(jié)點(diǎn)間、分布共享儲(chǔ)存于高性能計(jì)算機(jī)結(jié)點(diǎn)內(nèi)CPU間、共享存儲(chǔ)于高性能計(jì)