一種面向云服務(wù)器應(yīng)用的多i/o高密度多節(jié)點(diǎn)服務(wù)器系統(tǒng)設(shè)計(jì)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及云服務(wù)器技術(shù)領(lǐng)域，具體地說是一種面向云服務(wù)器應(yīng)用的多I/O高密度多節(jié)點(diǎn)服務(wù)器系統(tǒng)設(shè)計(jì)方法。
【背景技術(shù)】
[0002]為了便于描述，這里以刀片服務(wù)器系統(tǒng)的IB應(yīng)用為例，具體說明這種多I/O高密度多節(jié)點(diǎn)服務(wù)器系統(tǒng)架構(gòu)的設(shè)計(jì)方法。
[0003]刀片服務(wù)器是一種高密度、具有高集成度形態(tài)的服務(wù)器，廣泛應(yīng)用于高性能計(jì)算能領(lǐng)域。進(jìn)行大規(guī)模的并行計(jì)算，需要服務(wù)器節(jié)點(diǎn)與節(jié)點(diǎn)，以及服務(wù)器之間的互聯(lián)。InfiniBand是一種支持多并發(fā)鏈接的“轉(zhuǎn)換線纜”技術(shù)，解決了服務(wù)器端的連接問題，用于服務(wù)器與服務(wù)器，服務(wù)器和存儲(chǔ)設(shè)備以及服務(wù)器和網(wǎng)絡(luò)之間的通信?，F(xiàn)在市場上的產(chǎn)品，IB應(yīng)用主要基于FDR技術(shù)。EDR是下一代的infiniband技術(shù)。它相比于現(xiàn)在的FDR，整體傳輸速率由56Gb/s提升到100Gb/S，單個(gè)數(shù)據(jù)鏈路的傳輸速率由14Gb/s提升到25Gb/s，對應(yīng)匹配的PCIE由PCIE3.0 X8提高到PCIE3.0 X16。技術(shù)的提升對服務(wù)器系統(tǒng)提出了更高的要求，具備PCIE X16的環(huán)境是EDR技術(shù)的應(yīng)用前提。同時(shí)，由于刀片服務(wù)器系統(tǒng)是計(jì)算節(jié)點(diǎn)高密度集成系統(tǒng)，設(shè)計(jì)還需要考慮如何實(shí)現(xiàn)多節(jié)點(diǎn)同時(shí)外接PCIE設(shè)備的集成架構(gòu)問題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種面向云服務(wù)器應(yīng)用的多I/O高密度多節(jié)點(diǎn)服務(wù)器系統(tǒng)設(shè)計(jì)方法。
[0005]本發(fā)明的目的是按以下方式實(shí)現(xiàn)的，系統(tǒng)包括服務(wù)器計(jì)算節(jié)點(diǎn)、背板、高速連接器和I/o模塊，其特征在于，具體設(shè)計(jì)步驟如下:
1)中背板兩側(cè)設(shè)置有高速連接器，高速連接器通過數(shù)據(jù)線與服務(wù)器計(jì)算節(jié)點(diǎn)和I/o模塊相連，中背板上的高速連接器的數(shù)目為20組，上下各有10組高速連接器，分別對應(yīng)于系統(tǒng)中的20個(gè)計(jì)算節(jié)點(diǎn)；
2)高速連接器布線為6X12結(jié)構(gòu)，總共72組差分對，對于每個(gè)單獨(dú)的高速連接器，連線分為三組，在背板兩側(cè)高速連接器重疊的區(qū)域，節(jié)點(diǎn)上的信號走線通過高速連接器后直接與I/O模塊相連，稱為正交，在其他區(qū)域，節(jié)點(diǎn)上的信號走線到達(dá)高速連接器后，需要經(jīng)由背板上的中轉(zhuǎn)走線后，才能到達(dá)I/O模塊，稱為非正交，與服務(wù)器節(jié)點(diǎn)相連的高速連接器部分劃分為三個(gè)區(qū)域:1/3是正交的，1/3用于USB，100M, IG以太網(wǎng)和雜線，另外的1/3是非正交的，上下兩層正交和非正交層都分布著X4的IB信號和X8的PCIE信號；
3)中背板設(shè)置有多I/O高密度服務(wù)器架構(gòu)系統(tǒng)，整個(gè)系統(tǒng)機(jī)箱具有8U空間，最多可支持20個(gè)計(jì)算節(jié)點(diǎn)，計(jì)算節(jié)點(diǎn)在機(jī)箱內(nèi)分布在上下兩排排列，每排10個(gè)計(jì)算節(jié)點(diǎn)，中背板的一側(cè)連接計(jì)算節(jié)點(diǎn)，另外一側(cè)連接I/o模塊；
4)在每個(gè)計(jì)算節(jié)點(diǎn)處，由處理單元發(fā)出PCIEX16信號，PCIE信號到達(dá)連接器，被分成兩路X8信號，分別經(jīng)過高速連接器的正交區(qū)和非正交區(qū)，I/O模塊有兩個(gè)端口，一路PCIEX8信號正交直連到后面的一個(gè)I/O端口，另一路經(jīng)由中背板非正交連到另外一個(gè)端口，通過正交與非正交兩個(gè)PCIE X8組合的方式，計(jì)算節(jié)點(diǎn)與I/O模塊PCIE X16的正交與非正交連接，實(shí)現(xiàn)了 I/O模塊和服務(wù)器節(jié)點(diǎn)之間的相互獨(dú)立，同時(shí)支持X16的PCIE走線，滿足了新一代Infiniband的技術(shù)要求。
[0006]本發(fā)明的有益效果是:整機(jī)柜云服務(wù)器面向海量數(shù)據(jù)的存儲(chǔ)和處理，它以標(biāo)準(zhǔn)機(jī)柜為設(shè)計(jì)單位，可靈活支持計(jì)算、存儲(chǔ)等各類服務(wù)器節(jié)點(diǎn)。同時(shí)兼容標(biāo)準(zhǔn)機(jī)架式網(wǎng)絡(luò)交換機(jī)，統(tǒng)一對搭載服務(wù)器節(jié)點(diǎn)進(jìn)行供電、散熱和管理。設(shè)計(jì)的最終目標(biāo)是實(shí)現(xiàn)模塊化，根據(jù)具體業(yè)務(wù)需求配置資源。圖4為整機(jī)柜云服務(wù)器的架構(gòu)圖。這種結(jié)構(gòu)能夠?qū)崿F(xiàn)集中供電、集中散熱、集中管理，具有更高的散熱效率和電源轉(zhuǎn)換效率。可以簡化機(jī)房部署，方便維護(hù)。同時(shí)采用整機(jī)柜交付，可以提高交付效率，滿足互聯(lián)網(wǎng)大規(guī)模的部署需求。這種多I/O高密度多節(jié)點(diǎn)的服務(wù)器架構(gòu)系統(tǒng)在空間上把功能模塊從服務(wù)器節(jié)點(diǎn)上分離出來，可以提高空間利用率，符合整機(jī)柜云服務(wù)器的設(shè)計(jì)要求。
[0007]本發(fā)明體系架構(gòu)創(chuàng)新之處在于通過巧妙的中背板布線設(shè)計(jì)，在原有X4的連接器層補(bǔ)充X8的信號，通過正交和非正交區(qū)組成X16信號，實(shí)現(xiàn)I/O功能模塊的高密度集成和完全獨(dú)立。
[0008]系統(tǒng)架構(gòu)由計(jì)算節(jié)點(diǎn)、系統(tǒng)中背板、I/O模塊、電源組成。系統(tǒng)可最多可支持20個(gè)節(jié)點(diǎn)，每個(gè)計(jì)算節(jié)點(diǎn)都是一個(gè)獨(dú)立的計(jì)算單元。I/o模塊是一種可插拔的外設(shè)模塊，最多可支持5個(gè)。每個(gè)I/O模組內(nèi)配有2塊I/O板，每個(gè)I/O板上有2個(gè)PCIE插槽，可外插PCIE卡，I/O板通過高速連接器與系統(tǒng)中背板相連。本發(fā)明為云服務(wù)器體系結(jié)構(gòu)的模塊化提供了一種高效可行的實(shí)現(xiàn)方法，必將廣泛地用于未來的云服務(wù)器架構(gòu)設(shè)計(jì)中。
【附圖說明】
[0009]圖1是中背板連接器分布圖；
圖2是高速連接器信號排布圖；
圖3是基于新型中背板的多I/O高密度服務(wù)器架構(gòu)；
圖4是整機(jī)柜云服務(wù)器系統(tǒng)架構(gòu)圖。
【具體實(shí)施方式】
[0010]參照說明書附圖對本發(fā)明的方法作以下詳細(xì)地說明。
[0011]圖1是系統(tǒng)中背板連接器分布圖。背板兩側(cè)都布有連接器。實(shí)線部分表示服務(wù)器節(jié)點(diǎn)一側(cè)的連接器，與節(jié)點(diǎn)相連；虛線部分表示I/o模塊一側(cè)的連接器，與I/O模塊相連。中背板上連接器的數(shù)目為20組，上下各有10組，分別對應(yīng)于系統(tǒng)中的20個(gè)計(jì)算節(jié)點(diǎn)。
[0012]圖2為每個(gè)連接器上的信號排布圖。高速連接器布線為6X12結(jié)構(gòu)，總共72組差分對。對于每個(gè)單獨(dú)的連接器，連線分為三組。在背板兩側(cè)連接器重疊的區(qū)域，節(jié)點(diǎn)上的信號走線通過連接器后直接與I/o模塊相連，稱為正交。在其他區(qū)域，節(jié)點(diǎn)上的信號走線到達(dá)連接器后，需要經(jīng)由背板上的中轉(zhuǎn)走線后，才能到達(dá)I/O模塊，稱為非正交。如圖2，與服務(wù)器節(jié)點(diǎn)相連的連接器部分可以劃分為三個(gè)區(qū)域:1/3是正交的，1/3用于USB，100M, IG以太網(wǎng)和雜線，另外的1/3是非正交的。上下兩層正交和非正交層都分布著X4的IB信號和X8的PCIE信號。
[0013]基于以上中背板，設(shè)計(jì)了如圖3所示的多I/O高密度服務(wù)器架構(gòu)系統(tǒng)。整個(gè)系統(tǒng)機(jī)箱具有8U空間，最多可支持20個(gè)計(jì)算節(jié)點(diǎn)。節(jié)點(diǎn)在機(jī)箱內(nèi)分布在上下兩排排列，每排10個(gè)節(jié)點(diǎn)。中背板的一側(cè)連接計(jì)算節(jié)點(diǎn)，另外一側(cè)連接I/O模塊。
[0014]在每個(gè)節(jié)點(diǎn)處，由處理單元發(fā)出PCIE X16信號。PCIE信號到達(dá)連接器，被分成兩路X8信號，分別經(jīng)過高速連接器的正交區(qū)和非正交區(qū)。I/O模塊有兩個(gè)端口。一路PCIE X8信號正交直連到后面的一個(gè)I/O端口，另一路經(jīng)由中背板非正交連到另外一個(gè)端口。通過這種正交與非正交兩個(gè)PCIE X8組合的方式，實(shí)現(xiàn)了節(jié)點(diǎn)與I/O模塊PCIE X16的連接。這樣實(shí)現(xiàn)了 I/O模塊和服務(wù)器節(jié)點(diǎn)之間的相互獨(dú)立。同時(shí)支持X16的PCIE走線，滿足了新一代Infiniband的技術(shù)要求。
[0015]這種多I/O高密度多節(jié)點(diǎn)的服務(wù)器架構(gòu)系統(tǒng)在空間上把功能模塊從服務(wù)器節(jié)點(diǎn)上分離出來，可以提高空間利用率，符合整機(jī)柜云服務(wù)器的設(shè)計(jì)要求。
[0016]整機(jī)柜云服務(wù)器面向海量數(shù)據(jù)的存儲(chǔ)和處理，它以標(biāo)準(zhǔn)機(jī)柜為設(shè)計(jì)單位，可靈活支持計(jì)算、存儲(chǔ)等各類服務(wù)器節(jié)點(diǎn)。同時(shí)兼容標(biāo)準(zhǔn)機(jī)架式網(wǎng)絡(luò)交換機(jī)，統(tǒng)一對搭載服務(wù)器節(jié)點(diǎn)進(jìn)行供電、散熱和管理。設(shè)計(jì)的最終目標(biāo)是實(shí)現(xiàn)模塊化，根據(jù)具體業(yè)務(wù)需求配置資源。
[0017]圖4為整機(jī)柜云服務(wù)器的架構(gòu)圖。這種結(jié)構(gòu)能夠?qū)崿F(xiàn)集中供電、集中散熱、集中管理，具有更高的散熱效率和電源轉(zhuǎn)換效率?？梢院喕瘷C(jī)房部署，方便維護(hù)。同時(shí)采用整機(jī)柜交付，可以提高交付效率，滿足互聯(lián)網(wǎng)大規(guī)模的部署需求。
[0018]本發(fā)明為云服務(wù)器體系結(jié)構(gòu)的模塊化提供了一種高效可行的實(shí)現(xiàn)方法，必將廣泛地用于未來的云服務(wù)器架構(gòu)設(shè)計(jì)中。
[0019]除說明書所述的技術(shù)特征外，均為本專業(yè)技術(shù)人員的已知技術(shù)。
【主權(quán)項(xiàng)】
1.一種面向云服務(wù)器應(yīng)用的多I/O高密度多節(jié)點(diǎn)服務(wù)器系統(tǒng)設(shè)計(jì)方法，系統(tǒng)包括服務(wù)器計(jì)算節(jié)點(diǎn)、中背板、高速連接器和I/o模塊，其特征在于，具體設(shè)計(jì)步驟如下: 1)中背板兩側(cè)設(shè)置有高速連接器，高速連接器通過數(shù)據(jù)線與服務(wù)器計(jì)算節(jié)點(diǎn)和I/o模塊相連，中背板上的高速連接器的數(shù)目為20組，上下各有10組高速連接器，分別對應(yīng)于系統(tǒng)中的20個(gè)計(jì)算節(jié)點(diǎn)； 2)高速連接器布線為6X12結(jié)構(gòu)，總共72組差分對，對于每個(gè)單獨(dú)的高速連接器，連線分為三組，在背板兩側(cè)高速連接器重疊的區(qū)域，節(jié)點(diǎn)上的信號走線通過高速連接器后直接與I/O模塊相連，稱為正交，在其他區(qū)域，節(jié)點(diǎn)上的信號走線到達(dá)高速連接器后，需要經(jīng)由背板上的中轉(zhuǎn)走線后，才能到達(dá)I/O模塊，稱為非正交，與服務(wù)器節(jié)點(diǎn)相連的高速連接器部分劃分為三個(gè)區(qū)域:1/3是正交的，1/3用于USB，100M, IG以太網(wǎng)和雜線，另外的1/3是非正交的，上下兩層正交和非正交層都分布著X4的IB信號和X8的PCIE信號； 3)中背板設(shè)置有多I/O高密度服務(wù)器架構(gòu)系統(tǒng)，整個(gè)系統(tǒng)機(jī)箱具有8U空間，最多可支持20個(gè)計(jì)算節(jié)點(diǎn)，計(jì)算節(jié)點(diǎn)在機(jī)箱內(nèi)分布在上下兩排排列，每排10個(gè)計(jì)算節(jié)點(diǎn)，中背板的一側(cè)連接計(jì)算節(jié)點(diǎn)，另外一側(cè)連接I/o模塊； 4)在每個(gè)計(jì)算節(jié)點(diǎn)處，由處理單元發(fā)出PCIEX16信號，PCIE信號到達(dá)連接器，被分成兩路X8信號，分別經(jīng)過高速連接器的正交區(qū)和非正交區(qū)，I/O模塊有兩個(gè)端口，一路PCIEX8信號正交直連到后面的一個(gè)I/O端口，另一路經(jīng)由中背板非正交連到另外一個(gè)端口，通過正交與非正交兩個(gè)PCIE X8組合的方式，計(jì)算節(jié)點(diǎn)與I/O模塊PCIE X16的正交與非正交連接，實(shí)現(xiàn)了 I/O模塊和服務(wù)器節(jié)點(diǎn)之間的相互獨(dú)立，同時(shí)支持X16的PCIE走線，滿足了新一代Infiniband的技術(shù)要求。
【專利摘要】本發(fā)明提供一種面向云服務(wù)器應(yīng)用的多I/O高密度多節(jié)點(diǎn)服務(wù)器系統(tǒng)設(shè)計(jì)方法，系統(tǒng)架構(gòu)由計(jì)算節(jié)點(diǎn)、系統(tǒng)中背板、I/O模塊、電源組成。系統(tǒng)可最多可支持20個(gè)節(jié)點(diǎn)，每個(gè)計(jì)算節(jié)點(diǎn)都是一個(gè)獨(dú)立的計(jì)算單元。I/O模塊是一種可插拔的外設(shè)模塊，最多可支持5個(gè)。每個(gè)I/O模組內(nèi)配有2塊I/O板，每個(gè)I/O板上有2個(gè)PCIE插槽，可外插PCIE卡，I/O板通過高速連接器與系統(tǒng)中背板相連。發(fā)明為云服務(wù)器體系結(jié)構(gòu)的模塊化提供了一種高效可行的實(shí)現(xiàn)方法，必將廣泛地用于未來的云服務(wù)器架構(gòu)設(shè)計(jì)中。
【IPC分類】H04L29-08
【公開號】CN104580527
【申請?zhí)枴緾N201510055010
【發(fā)明人】王輝
【申請人】浪潮電子信息產(chǎn)業(yè)股份有限公司
【公開日】2015年4月29日
【申請日】2015年2月3日