用于超大規(guī)模分布式處理應(yīng)用的模塊化架構(gòu)的系統(tǒng)和方法
【專利摘要】本發(fā)明的實(shí)施例涉及用于超大規(guī)模分布式處理應(yīng)用的模塊化架構(gòu)的系統(tǒng)和方法。在一個(gè)實(shí)施例中,提供了一種分布式處理節(jié)點(diǎn),其包括多個(gè)子節(jié)點(diǎn)。每個(gè)子節(jié)點(diǎn)包括連接到內(nèi)存的至少一個(gè)處理器核。第一互連裝置連接多個(gè)子節(jié)點(diǎn)中的每一個(gè)。第二互連裝置將每一個(gè)子節(jié)點(diǎn)連接到存儲(chǔ)裝置。進(jìn)程在第一子節(jié)點(diǎn)上運(yùn)行。進(jìn)程向第一子節(jié)點(diǎn)的內(nèi)存詢問(wèn)所請(qǐng)求的數(shù)據(jù)。如果在第一子節(jié)點(diǎn)的內(nèi)存中未發(fā)現(xiàn)所請(qǐng)求的數(shù)據(jù),則進(jìn)程經(jīng)由第一互連裝置詢問(wèn)至少一個(gè)其他子節(jié)點(diǎn)的內(nèi)存。如果在其他子節(jié)點(diǎn)的內(nèi)存中發(fā)現(xiàn)所請(qǐng)求的數(shù)據(jù),則進(jìn)程將其拷貝到第一子節(jié)點(diǎn)的內(nèi)存。如果在第一子節(jié)點(diǎn)的內(nèi)存或至少一個(gè)其他子節(jié)點(diǎn)的內(nèi)存中未發(fā)現(xiàn)所請(qǐng)求的數(shù)據(jù),則進(jìn)程經(jīng)由第二互連裝置詢問(wèn)存儲(chǔ)裝置。
【專利說(shuō)明】用于超大規(guī)模分布式處理應(yīng)用的模塊化架構(gòu)的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明的實(shí)施例涉及分布式處理,并且更具體地涉及在分布式分析應(yīng)用中提供高 效處理的新數(shù)據(jù)中心架構(gòu)。
【發(fā)明內(nèi)容】
[0002] 根據(jù)本發(fā)明的一個(gè)實(shí)施例,提供了一種分布式處理節(jié)點(diǎn)。節(jié)點(diǎn)包括多個(gè)子節(jié)點(diǎn)。每 個(gè)子節(jié)點(diǎn)包括可操作地連接到內(nèi)存的至少一個(gè)處理器核。第一互連裝置可操作地連接節(jié)點(diǎn) 內(nèi)的多個(gè)子節(jié)點(diǎn)中的每一個(gè)。第二互連裝置將多個(gè)子節(jié)點(diǎn)中的每一個(gè)可操作地連接到存儲(chǔ) 裝置。進(jìn)程在多個(gè)子節(jié)點(diǎn)中的第一子節(jié)點(diǎn)上運(yùn)行,所述進(jìn)程可操作地從第一子節(jié)點(diǎn)的內(nèi)存 檢索數(shù)據(jù)。所述進(jìn)程向第一子節(jié)點(diǎn)的內(nèi)存詢問(wèn)所請(qǐng)求的數(shù)據(jù)。如果在第一子節(jié)點(diǎn)的內(nèi)存中 未發(fā)現(xiàn)所請(qǐng)求的數(shù)據(jù),則所述進(jìn)程經(jīng)由第一互連裝置詢問(wèn)多個(gè)子節(jié)點(diǎn)中的至少一個(gè)其他子 節(jié)點(diǎn)的內(nèi)存。如果在其他子節(jié)點(diǎn)的內(nèi)存中發(fā)現(xiàn)所請(qǐng)求的數(shù)據(jù),則所述進(jìn)程將所請(qǐng)求的數(shù)據(jù) 拷貝到第一子節(jié)點(diǎn)的內(nèi)存。如果在第一子節(jié)點(diǎn)的內(nèi)存或多個(gè)子節(jié)點(diǎn)中的至少一個(gè)子節(jié)點(diǎn)的 內(nèi)存中未發(fā)現(xiàn)所請(qǐng)求的數(shù)據(jù),則所述進(jìn)程經(jīng)由第二互連裝置詢問(wèn)存儲(chǔ)裝置。
[0003] 根據(jù)本公開的另一個(gè)實(shí)施例,提供了一種用于操作分布式處理節(jié)點(diǎn)的方法和計(jì)算 機(jī)程序產(chǎn)品。在該實(shí)施例中,在第一分布式處理節(jié)點(diǎn)接收任務(wù)。將任務(wù)分配給第一分布式 處理節(jié)點(diǎn)的第一子節(jié)點(diǎn)。子節(jié)點(diǎn)包括可操作地連接到內(nèi)存的至少一個(gè)處理器核。確定由任 務(wù)請(qǐng)求的數(shù)據(jù)。向第一子節(jié)點(diǎn)的內(nèi)存詢問(wèn)所請(qǐng)求的數(shù)據(jù)。如果在第一子節(jié)點(diǎn)的內(nèi)存中未發(fā) 現(xiàn)所請(qǐng)求的數(shù)據(jù),則經(jīng)由第一互連裝置詢問(wèn)第一分布式處理節(jié)點(diǎn)的至少另一個(gè)子節(jié)點(diǎn)的內(nèi) 存。如果在其他子節(jié)點(diǎn)的內(nèi)存中發(fā)現(xiàn)所請(qǐng)求的數(shù)據(jù),則將所請(qǐng)求的數(shù)據(jù)從其他子節(jié)點(diǎn)的內(nèi) 存拷貝到第一子節(jié)點(diǎn)的內(nèi)存。如果在第一子節(jié)點(diǎn)的內(nèi)存或第一分布式處理節(jié)點(diǎn)的其他子節(jié) 點(diǎn)的內(nèi)存中未發(fā)現(xiàn)所請(qǐng)求的數(shù)據(jù),則經(jīng)由第二互連裝置詢問(wèn)存儲(chǔ)裝置。然后在第一子節(jié)點(diǎn) 的至少一個(gè)處理器核上處理所述任務(wù)。
【專利附圖】
【附圖說(shuō)明】
[0004] 圖1是根據(jù)本公開的實(shí)施例的分布式處理節(jié)點(diǎn)的示意圖。
[0005] 圖2是根據(jù)本公開的實(shí)施例的分布式處理集群的示意圖。
[0006] 圖3是根據(jù)本公開的實(shí)施例的分布式處理節(jié)點(diǎn)的示意圖。
[0007] 圖4是根據(jù)本公開的實(shí)施例的分布式處理節(jié)點(diǎn)的替代性視圖。
[0008] 圖5是根據(jù)本公開的實(shí)施例的分布式處理節(jié)點(diǎn)的邏輯視圖。
[0009] 圖6示出操作根據(jù)本公開的實(shí)施例的分布式處理節(jié)點(diǎn)的方法。
【具體實(shí)施方式】
[0010] 在"大數(shù)據(jù)"領(lǐng)域中要處理的數(shù)據(jù)量正以空前的速率增長(zhǎng),同時(shí)分析正變得更計(jì)算 密集。為了支持新出現(xiàn)的分布式處理應(yīng)用,需要超大規(guī)模的內(nèi)存和提高的計(jì)算能力。這樣的 應(yīng)用的復(fù)雜性和計(jì)算需求導(dǎo)致常規(guī)架構(gòu)中的性能瓶頸。為了解決該需求,單塊式的分布式 處理節(jié)點(diǎn)可以轉(zhuǎn)換成多個(gè)子節(jié)點(diǎn),其中每個(gè)節(jié)點(diǎn)包括刀片服務(wù)器或其他模塊計(jì)算單元。這 些刀片服務(wù)器可以根據(jù)工作負(fù)荷需求來(lái)供應(yīng)。給定節(jié)點(diǎn)內(nèi)的多個(gè)基于刀片的子節(jié)點(diǎn)可以通 過(guò)超大規(guī)模網(wǎng)絡(luò)被連接以減輕數(shù)據(jù)局部性損失。另外,分層文件系統(tǒng)可以管理分布式數(shù)據(jù), 同時(shí)協(xié)同內(nèi)存管理方案可以處理分布式處理節(jié)點(diǎn)內(nèi)的子節(jié)點(diǎn)之間的內(nèi)存。工作負(fù)荷趨勢(shì)可 以用于基于子節(jié)點(diǎn)的利用率配置和調(diào)諧基于刀片的子節(jié)點(diǎn)以實(shí)現(xiàn)高資源效率。
[0011] 現(xiàn)在參考圖1,其示出根據(jù)本公開的實(shí)施例的分布式處理節(jié)點(diǎn)。節(jié)點(diǎn)100可以是機(jī) 架、刀片機(jī)柜或支持多個(gè)處理子單元的另一計(jì)算平臺(tái)。在節(jié)點(diǎn)1〇〇內(nèi),是子節(jié)點(diǎn)101、102、 103、104。在一些實(shí)施例中,子節(jié)點(diǎn)101、102、103、104包括刀片機(jī)柜內(nèi)的刀片。在一些實(shí)施 例中,節(jié)點(diǎn)內(nèi)的子節(jié)點(diǎn)的數(shù)量可以根據(jù)給定應(yīng)用的處理需求而更低或更高。在一些實(shí)施例 中,動(dòng)態(tài)地添加或從節(jié)點(diǎn)中去除子節(jié)點(diǎn)以容納波動(dòng)的需求。每個(gè)子節(jié)點(diǎn)包括至少一個(gè)處理 器核111,和內(nèi)存112。在一些實(shí)施例中,處理器核分布在若干離散的處理器上,而在一些實(shí) 施例中,給定子節(jié)點(diǎn)中的所有核都在單個(gè)多核處理器內(nèi)。具有從一個(gè)到超過(guò)一百個(gè)核的處 理器在本領(lǐng)域是已知的。在一些實(shí)施例中,子節(jié)點(diǎn)具有在6和12之間的數(shù)量的核。在一些 實(shí)施例中,每個(gè)子節(jié)點(diǎn)可以具有從1GB到超過(guò)24GB的內(nèi)存。在一些實(shí)施例中,每個(gè)內(nèi)存的 一部分被用于I/O緩沖。在其他實(shí)施例中,使用固態(tài)驅(qū)動(dòng)器(SSD)來(lái)代替內(nèi)存進(jìn)行I/O緩 沖,或者除了內(nèi)存之外還使用固態(tài)驅(qū)動(dòng)器(SSD)進(jìn)行I/O緩沖。
[0012] 每個(gè)子節(jié)點(diǎn)通過(guò)互連裝置105連接到每個(gè)其他子節(jié)點(diǎn)。每個(gè)子節(jié)點(diǎn)通過(guò)互連裝置 107連接到整合存儲(chǔ)裝置106。整合存儲(chǔ)裝置106可以包含任何數(shù)量的物理存儲(chǔ)裝置161、 162、163、164。存儲(chǔ)裝置161、162、163、164可以是本領(lǐng)域已知的任何物理存儲(chǔ)裝置,包括磁 介質(zhì)和光學(xué)介質(zhì)。在一些實(shí)施例中,存儲(chǔ)裝置161、162、163、164是硬盤驅(qū)動(dòng)器(HDD)。在 一些實(shí)施例中,整合存儲(chǔ)裝置106使用RAID或另一存儲(chǔ)虛擬化方案。存儲(chǔ)裝置的數(shù)量可以 基于成本和容量需求而變化。向整合存儲(chǔ)裝置106添加主軸(spindle)會(huì)提供更高的吞吐 量,并且允許通常來(lái)自不同子節(jié)點(diǎn)的突發(fā)工作負(fù)荷的整合。節(jié)點(diǎn)100可以連接到附加的分 布式處理節(jié)點(diǎn)108以經(jīng)由互連裝置109形成分布式處理集群。
[0013] 在一些實(shí)施例中,分布式處理節(jié)點(diǎn)100是基于映射化簡(jiǎn)(MapReduce)的分布式處 理系統(tǒng)(諸如Apache Hadoop)中的節(jié)點(diǎn)。映射化簡(jiǎn)系統(tǒng)通過(guò)映射步驟跨越集群中的多個(gè)處 理節(jié)點(diǎn)分配工作。在化簡(jiǎn)步驟中組合來(lái)自每個(gè)分布式處理節(jié)點(diǎn)的結(jié)果。在Apache Hadoop 中,部分地基于作業(yè)所需要的數(shù)據(jù)的位置,由作業(yè)跟蹤器在節(jié)點(diǎn)之間分配作業(yè)。在一些實(shí) 現(xiàn)方案中,把作業(yè)優(yōu)先地指派給具有所需數(shù)據(jù)的節(jié)點(diǎn),并且在無(wú)法這樣做時(shí),把作業(yè)指派給 與所需數(shù)據(jù)處于相同機(jī)架中的節(jié)點(diǎn)?;谟成浠?jiǎn)的系統(tǒng)可以包括分布式文件系統(tǒng),諸如 Hadoop分布式文件系統(tǒng)(HDFS)。HDFS跨越分布式處理集群中的多個(gè)節(jié)點(diǎn)分布數(shù)據(jù),通過(guò)確 保在若干位置中的若干節(jié)點(diǎn)上存在副本而提供數(shù)據(jù)可靠性。HDFS節(jié)點(diǎn)彼此通信以便使數(shù)據(jù) 在節(jié)點(diǎn)之間重新平衡,移動(dòng)副本,并且承受高可用度。通過(guò)確定所需數(shù)據(jù)在HDFS中的位置, 工作調(diào)度器(諸如Hadoop作業(yè)跟蹤器)可以把工作分配給可以在本地訪問(wèn)該數(shù)據(jù)的節(jié)點(diǎn)。
[0014] 在圖1的節(jié)點(diǎn)架構(gòu)內(nèi),可以針對(duì)各種應(yīng)用類型調(diào)諧硬件配置。對(duì)于1/0密集的應(yīng) 用,合乎需要的是在子節(jié)點(diǎn)上有較低的計(jì)算能力與內(nèi)存的比率并且在子節(jié)點(diǎn)之間有高速網(wǎng) 絡(luò)互連裝置。對(duì)于計(jì)算密集的應(yīng)用,合乎需要的是有較高的計(jì)算能力與內(nèi)存的比率并且在 子節(jié)點(diǎn)之間有標(biāo)準(zhǔn)的網(wǎng)絡(luò)互連裝置。對(duì)于混合型應(yīng)用,被不同地配置的子節(jié)點(diǎn)的混合是合 乎需要的。當(dāng)子節(jié)點(diǎn)配置的混合可用時(shí),工作可以優(yōu)先地調(diào)度給最適合于工作的特性的那 些節(jié)點(diǎn)。另外,與預(yù)取高速緩存耦合的大內(nèi)存在混合型應(yīng)用中是合乎需要的以便吸收I/O 關(guān)發(fā)。
[0015] 每節(jié)點(diǎn)的子節(jié)點(diǎn)數(shù)量也可以針對(duì)給定的應(yīng)用進(jìn)行調(diào)諧。例如,對(duì)于更大的作業(yè),每 節(jié)點(diǎn)有更多子節(jié)點(diǎn)的配置是最優(yōu)化的。對(duì)于更小的作業(yè),每節(jié)點(diǎn)有更少的子節(jié)點(diǎn)的配置是 最優(yōu)化的。資源分段可以在每節(jié)點(diǎn)的子節(jié)點(diǎn)數(shù)量升高時(shí)發(fā)生。特別地,如果對(duì)每節(jié)點(diǎn)添加 更多子節(jié)點(diǎn),則一些子節(jié)點(diǎn)會(huì)保持空閑,如果作業(yè)不需要該可用資源的話。資源分段可以通 過(guò)采用節(jié)點(diǎn)級(jí)別的多重租用(multi-tenancy)而被最小化。
[0016] 圖2示出分布式處理集群內(nèi)的多個(gè)分布式處理節(jié)點(diǎn)的示例性配置。集群包含一個(gè) 或多個(gè)機(jī)架200、203、204。機(jī)架200包含一個(gè)或多個(gè)分布式處理節(jié)點(diǎn)201-208。分布式處 理節(jié)點(diǎn)208可以是諸如上面關(guān)于圖1描述的節(jié)點(diǎn)100之類的節(jié)點(diǎn),或者是諸如下面關(guān)于圖 3描述的節(jié)點(diǎn)。機(jī)架內(nèi)的節(jié)點(diǎn)通過(guò)互連裝置210連接。各自具有其自身的駐留節(jié)點(diǎn)的多個(gè) 附加機(jī)架203、204通過(guò)互連裝置202連接。機(jī)架200內(nèi)和其他機(jī)架203、204內(nèi)的節(jié)點(diǎn)可以 是Hadoop節(jié)點(diǎn)。在一些實(shí)施例中,每機(jī)架200僅有一個(gè)節(jié)點(diǎn)208。在這樣的實(shí)施例中,互連 裝置210可以被省略,并且多個(gè)機(jī)架上的節(jié)點(diǎn)可以通過(guò)互連裝置202連接。在一些實(shí)施例 中,節(jié)點(diǎn)201-208連接到機(jī)架200中的網(wǎng)絡(luò)開關(guān),并且多個(gè)機(jī)架200、203、204形成樹形分層 結(jié)構(gòu)。在一些實(shí)施例中,通過(guò)在節(jié)點(diǎn)級(jí)別在所有磁盤上運(yùn)行HDFS來(lái)管理數(shù)據(jù)。
[0017] 圖3示出缺少上面關(guān)于圖1描述的子節(jié)點(diǎn)結(jié)構(gòu)的示例性替代性節(jié)點(diǎn)。節(jié)點(diǎn)300包 括一個(gè)或多個(gè)處理核301、302、303、304,內(nèi)存305,和一個(gè)或多個(gè)物理存儲(chǔ)裝置306、307。當(dāng) 各個(gè)單獨(dú)的分布式處理節(jié)點(diǎn)300上的需求增大時(shí),每節(jié)點(diǎn)的內(nèi)存、每節(jié)點(diǎn)的核、和每節(jié)點(diǎn)的 磁盤必須增大以提供附加容量。另外,必須供應(yīng)各種節(jié)點(diǎn)之間的互連裝置以容納更大的數(shù) 據(jù)吞吐量。特別地,在節(jié)點(diǎn)300是Hadoop節(jié)點(diǎn)或利用Hadoop分布式文件系統(tǒng)(HDFS)的另 一分布式處理節(jié)點(diǎn)的情況下,必須供應(yīng)網(wǎng)絡(luò)來(lái)支持1/0密集的洗牌(shuffle)階段。其他 分布式文件系統(tǒng)具有類似的容量需求。機(jī)架間和機(jī)架內(nèi)網(wǎng)絡(luò)必須不同地供應(yīng)以便在不同的 級(jí)別容納不同的等待時(shí)間/帶寬需求。在一些實(shí)施例中,分布式處理集群中的每個(gè)節(jié)點(diǎn)300 具有類似的內(nèi)存量、處理器數(shù)量和本地磁盤。
[0018] 新出現(xiàn)的計(jì)算和數(shù)據(jù)密集型應(yīng)用要求分布式處理節(jié)點(diǎn)上所需的資源快速增長(zhǎng)。圖 1中示出的節(jié)點(diǎn)架構(gòu)提供比圖3中示出的節(jié)點(diǎn)架構(gòu)更靈活的擴(kuò)展。特別地,內(nèi)存使用的增長(zhǎng) 會(huì)產(chǎn)生分布式處理系統(tǒng)(諸如Hadoop)中的瓶頸。對(duì)諸如圖3中描繪的節(jié)點(diǎn)分配過(guò)多內(nèi)存 也會(huì)導(dǎo)致不合需要的每節(jié)點(diǎn)的成本。圖3的節(jié)點(diǎn)100通過(guò)利用節(jié)點(diǎn)到節(jié)點(diǎn)帶寬和內(nèi)部網(wǎng)絡(luò) 速度最近的增大來(lái)克服這些問(wèn)題。
[0019] 節(jié)點(diǎn)100利用快速增長(zhǎng)的網(wǎng)絡(luò)帶寬在單個(gè)分布式處理節(jié)點(diǎn)(諸如Hadoop節(jié)點(diǎn)) 內(nèi)產(chǎn)生分布式刀片服務(wù)器。子節(jié)點(diǎn)101、102、103、104之間的快速互連裝置105可以用于跨 越若干子節(jié)點(diǎn)產(chǎn)生較大的整合內(nèi)存池,其能夠由節(jié)點(diǎn)100內(nèi)的子節(jié)點(diǎn)101、102、103、104中 的任何一個(gè)以幾乎本地內(nèi)存訪問(wèn)速度訪問(wèn)。通過(guò)把每個(gè)子節(jié)點(diǎn)101、102、103、104分配給刀 片或類似計(jì)算單元,節(jié)點(diǎn)100以商用硬件為基礎(chǔ)并且避免定制部件。結(jié)果是減小的成本,提 高的可維護(hù)性,和提高的靈活性。
[0020] 通過(guò)在每個(gè)模塊子節(jié)點(diǎn)101內(nèi)提供單獨(dú)的內(nèi)存112,可以提供比單塊式多核系統(tǒng) 更好的計(jì)算能力與內(nèi)存比。互連裝置107可以被過(guò)度供應(yīng)(over-provision)以支持對(duì)存儲(chǔ) 裝置106的更快訪問(wèn)?;ミB裝置105可以同樣被過(guò)度供應(yīng)以支持子節(jié)點(diǎn)101、102、103、104 之間的快速內(nèi)存訪問(wèn)。特別地,子節(jié)點(diǎn)可以經(jīng)由互連裝置105支持端對(duì)端內(nèi)存交互。在一 些實(shí)施例中,互連裝置105和107是相同互連裝置的分支,諸如刀片機(jī)柜或機(jī)架內(nèi)的光纖網(wǎng) 絡(luò)。
[0021] 圖1的模塊節(jié)點(diǎn)架構(gòu)能夠避免由諸如圖3中描繪的有限容量的節(jié)點(diǎn)施加的約束。 另外,當(dāng)在Hadoop集群內(nèi)操作時(shí),節(jié)點(diǎn)100允許分布式處理,同時(shí)利用用于作業(yè)調(diào)度的標(biāo)準(zhǔn) 映射化簡(jiǎn)實(shí)現(xiàn)方案和標(biāo)準(zhǔn)分布式文件系統(tǒng)(諸如HDFS)。
[0022] 圖4提供根據(jù)本公開的實(shí)施例的節(jié)點(diǎn)100的替代性視圖。節(jié)點(diǎn)100包括4個(gè)子節(jié) 點(diǎn)(刀片或其他計(jì)算單元)101、102、103、104。每個(gè)子節(jié)點(diǎn)包括八個(gè)處理器核111,并且每 個(gè)子節(jié)點(diǎn)對(duì)于每個(gè)核包括4G字節(jié)內(nèi)存112。每個(gè)子節(jié)點(diǎn)的內(nèi)存112 -起形成協(xié)同高速緩 存401。每個(gè)子節(jié)點(diǎn)通過(guò)互連裝置107訪問(wèn)磁盤161、162、163、164。在一些實(shí)施例中,磁盤 161、162、163、164上的數(shù)據(jù)被條帶化(striped)。僅僅舉例提供特定的核、內(nèi)存和磁盤數(shù) 量,并且本領(lǐng)域已知的任何計(jì)算單元(或刀片)配置可以集成到所描述的架構(gòu)中。存儲(chǔ)裝 置106附加地包括SSD402。SSD402具有比磁盤161、162、163、164更低的訪問(wèn)時(shí)間和等待 時(shí)間,形成用于通過(guò)互連裝置107進(jìn)行數(shù)據(jù)訪問(wèn)的I/O高速緩存。SSD402I/0高速緩存可以 對(duì)內(nèi)存112內(nèi)的I/O高速緩存進(jìn)行補(bǔ)充以形成多級(jí)高速緩存,或者可以替代基于內(nèi)存的高 速緩存而被使用。在多級(jí)高速緩存的情況下,通過(guò)作為緩沖器處理來(lái)自內(nèi)存的溢出而不是 作為存儲(chǔ)裝置,SSD被用于支持高吞吐量存儲(chǔ)。在一些實(shí)施例中,SSD402提供預(yù)取高速緩 存。在一些實(shí)施例中,高速緩存管理器管理SSD402上的高速緩存。高速緩存管理器可以是 在處理器111上操作的內(nèi)核模塊。在一些實(shí)施例中,高速緩存管理器應(yīng)用基于模式的高速 緩存策略。在一些實(shí)施例中,高速緩存策略是在磁盤161、162、163、164上順序地保留訪問(wèn) 的數(shù)據(jù),同時(shí)把訪問(wèn)的數(shù)據(jù)隨機(jī)地拷貝到SSD402。節(jié)點(diǎn)100經(jīng)由互連裝置109與集群中的 其他節(jié)點(diǎn)403、404、405通信,所述互連裝置109在一些實(shí)施例中是雙lOGbps鏈路。
[0023] 圖5描述根據(jù)本公開的實(shí)施例的用于Hadoop節(jié)點(diǎn)的邏輯架構(gòu)?;谀J降拇鎯?chǔ) 子系統(tǒng)501在SSD上隨機(jī)地保存訪問(wèn)的數(shù)據(jù),并且指引對(duì)HDD的掃描訪問(wèn)。內(nèi)存存儲(chǔ)子系 統(tǒng)502在內(nèi)存中保存HDFS洗牌數(shù)據(jù)。拓?fù)涓兄狧adoop調(diào)度器503基于數(shù)據(jù)局部性和節(jié)點(diǎn) 之間的網(wǎng)絡(luò)拓?fù)?,在Hadoop節(jié)點(diǎn)之間分配工作。在一些實(shí)施例中,拓?fù)涓兄狧adoop調(diào)度器 503是Hadoop作業(yè)跟蹤器。分層調(diào)度器504基于節(jié)點(diǎn)內(nèi)的數(shù)據(jù)局部性,在節(jié)點(diǎn)的子節(jié)點(diǎn)之 間分配工作。特別地,分層調(diào)度器504考慮數(shù)據(jù)在協(xié)同高速緩存或共享內(nèi)存內(nèi)的位置。
[0024] 在分布式中處理系統(tǒng)(諸如實(shí)現(xiàn)映射化簡(jiǎn)的系統(tǒng))中,任務(wù)工作負(fù)荷可能會(huì)變得 偏斜。工作負(fù)荷的不均等分布可能會(huì)導(dǎo)致單獨(dú)的節(jié)點(diǎn)內(nèi)存變得不堪重負(fù)。通過(guò)在分布式 處理節(jié)點(diǎn)內(nèi)的子節(jié)點(diǎn)的內(nèi)存之間提供協(xié)同高速緩存,內(nèi)存被整合并且消耗被更均勻地分配 在可用資源上。為了適應(yīng)該方法,通過(guò)實(shí)現(xiàn)適當(dāng)?shù)木彺娌呗裕瑢?nèi)存內(nèi)容管理和內(nèi)存架構(gòu)分 離。一種潛在的緩存策略會(huì)是全有或全無(wú)策略,其中用于所有工作(諸如Hadoop任務(wù))的 數(shù)據(jù)都可在內(nèi)存中獲得,這要以執(zhí)行其他工作(或其他Hadoop任務(wù))的能力為代價(jià)。
[0025] 然而,維持過(guò)多內(nèi)存會(huì)引起復(fù)雜的故障、數(shù)據(jù)一致性和魯棒性問(wèn)題、以及能量問(wèn) 題,并且可能會(huì)需要昂貴的專用部件。作為替代,分層HDFS可以用于以透明的方式管理子 節(jié)點(diǎn)內(nèi)存并且保持網(wǎng)絡(luò)、內(nèi)存和磁盤的平衡的利用率。針對(duì)存儲(chǔ)1/0限制的內(nèi)存內(nèi)解決方 案諸如彈性分布式數(shù)據(jù)集(RDD)、內(nèi)存云(RamCloud)和memcached也會(huì)相當(dāng)大地增大內(nèi)存 需求,導(dǎo)致許多相同的問(wèn)題。
[0026] 在常規(guī)系統(tǒng)中對(duì)每個(gè)節(jié)點(diǎn)添加更多的核會(huì)導(dǎo)致I/O的阻塞和距存儲(chǔ)裝置的增大 距離。分布式處理應(yīng)用可能要求每個(gè)核為lGb/s,這會(huì)使到達(dá)遠(yuǎn)距離數(shù)據(jù)的互連裝置飽和。 這會(huì)使這樣的配置中的存儲(chǔ)墻(storage wall)加劇。本架構(gòu)允許在節(jié)點(diǎn)中添加核,同時(shí)保 持靠近存儲(chǔ)裝置。
[0027] 圖6示出操作根據(jù)本公開的實(shí)施例的分布式處理節(jié)點(diǎn)的方法。根據(jù)本公開的一個(gè) 實(shí)施例,在分布式處理節(jié)點(diǎn)接收任務(wù)(501)。把任務(wù)分配給分布式處理節(jié)點(diǎn)的子節(jié)點(diǎn)用于 在處理器上進(jìn)行處理(502)。確定任務(wù)所請(qǐng)求的數(shù)據(jù)(503)。在一些實(shí)施例中,所請(qǐng)求的 數(shù)據(jù)由子節(jié)點(diǎn)在運(yùn)行時(shí)確定,而在一些實(shí)施例中,關(guān)于所請(qǐng)求的數(shù)據(jù)的信息是預(yù)先已知的, 并且與任務(wù)一起被包括。在一些實(shí)施例中,步驟503在步驟502之前執(zhí)行,并且所請(qǐng)求的 數(shù)據(jù)確定任務(wù)被分配給的子節(jié)點(diǎn)。子節(jié)點(diǎn)向其內(nèi)存詢問(wèn)所請(qǐng)求的數(shù)據(jù)(504)。如果發(fā)現(xiàn)所 請(qǐng)求的數(shù)據(jù)(505),則任務(wù)被子節(jié)點(diǎn)的處理器處理(514)。如果在子節(jié)點(diǎn)的內(nèi)存中未發(fā)現(xiàn) 數(shù)據(jù)(505),則詢問(wèn)節(jié)點(diǎn)的其他子節(jié)點(diǎn)的內(nèi)存(506)。如果在節(jié)點(diǎn)的其他子節(jié)點(diǎn)的內(nèi)存中發(fā) 現(xiàn)數(shù)據(jù)(509),則把數(shù)據(jù)拷貝到任務(wù)被指派給的子節(jié)點(diǎn)(510),并且子節(jié)點(diǎn)的處理器處理任 務(wù)(514)。如果在其他子節(jié)點(diǎn)的內(nèi)存中未發(fā)現(xiàn)數(shù)據(jù)(509),則子節(jié)點(diǎn)詢問(wèn)處于節(jié)點(diǎn)本地的存 儲(chǔ)裝置(507)。如果發(fā)現(xiàn)數(shù)據(jù),則把數(shù)據(jù)拷貝到任務(wù)被分配給的子節(jié)點(diǎn)的內(nèi)存(512),并且 處理器處理任務(wù)(514)。如果在本地存儲(chǔ)裝置中未發(fā)現(xiàn)數(shù)據(jù),則從遠(yuǎn)程存儲(chǔ)裝置拷貝數(shù)據(jù) (513),并且處理器處理任務(wù)(514)。
[0028] 盡管上面討論的節(jié)點(diǎn)架構(gòu)適合于在分布式處理系統(tǒng)(諸如Hadoop)中使用,但是 本公開的節(jié)點(diǎn)架構(gòu)提供了也適合于不同范圍的額外應(yīng)用的靈活且可擴(kuò)展的計(jì)算/內(nèi)存/存 儲(chǔ)方法。例如,所公開的節(jié)點(diǎn)架構(gòu)可以用于:HPC工作負(fù)荷;數(shù)據(jù)后端服務(wù);高性能虛擬化硬 件;高能效的服務(wù)器設(shè)計(jì),其中各個(gè)單獨(dú)的子節(jié)點(diǎn)(刀片或其他計(jì)算單元)基于需求被選擇 性地開啟或關(guān)閉;具有混合的應(yīng)用的通用計(jì)算服務(wù)器,其中不同地供應(yīng)的子節(jié)點(diǎn)(刀片或 其他計(jì)算單元)能支持最好地適合于其需求的應(yīng)用,例如通過(guò)用加速器、GPU和其他補(bǔ)充硬 件對(duì)各個(gè)單獨(dú)的子節(jié)點(diǎn)進(jìn)行擴(kuò)展。
[0029] 所屬領(lǐng)域的技術(shù)人員將理解的是,本發(fā)明的各個(gè)方面可以實(shí)施為系統(tǒng)、方法或計(jì) 算機(jī)程序產(chǎn)品。因此,本發(fā)明的各個(gè)方面可以采取以下形式,即:完全的硬件實(shí)施方式、完全 的軟件實(shí)施方式(包括固件、駐留軟件、微代碼等),或軟件和硬件方面結(jié)合的實(shí)施方式,這 里可以統(tǒng)稱為"電路"、"模塊"或"系統(tǒng)"。此外,本發(fā)明的各個(gè)方面還可以采取用一個(gè)或多 個(gè)計(jì)算機(jī)可讀介質(zhì)實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式,該計(jì)算機(jī)可讀介質(zhì)上包含有計(jì)算機(jī)可讀 程序代碼。
[0030] 可以采用一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)的任意組合。計(jì)算機(jī)可讀介質(zhì)可以是計(jì)算 機(jī)可讀信號(hào)介質(zhì)或者計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)例如可以是--但不限 于--電、磁、光、電磁、紅外線或半導(dǎo)體的系統(tǒng)、裝置或器件,或者任意以上的適當(dāng)組合。計(jì) 算機(jī)可讀存儲(chǔ)介質(zhì)的更具體的例子(非窮舉的列表)包括:具有一個(gè)或多個(gè)導(dǎo)線的電連接、 便攜式計(jì)算機(jī)軟盤、硬盤、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可擦式可編程只讀存 儲(chǔ)器(EPR0M或閃存)、光纖、便攜式緊湊盤只讀存儲(chǔ)器(CD-ROM)、光存儲(chǔ)器件、磁存儲(chǔ)器件、 或者上述的任意合適的組合。在本文件的上下文中,計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是任何包含 或存儲(chǔ)程序的有形介質(zhì),該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使 用。
[0031] 計(jì)算機(jī)可讀信號(hào)介質(zhì)可以包括例如在基帶中或者作為載波一部分傳播的數(shù)據(jù)信 號(hào),其中承載了計(jì)算機(jī)可讀程序代碼。這種傳播的信號(hào)可以采用各種形式,包括但不限于電 磁信號(hào)、光信號(hào)或上述的任意合適的組合。計(jì)算機(jī)可讀信號(hào)介質(zhì)還可以是計(jì)算機(jī)可讀存儲(chǔ) 介質(zhì)以外的任何計(jì)算機(jī)可讀介質(zhì),該計(jì)算機(jī)可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令 執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序。
[0032] 計(jì)算機(jī)可讀介質(zhì)上包含的程序代碼可以用任何適當(dāng)?shù)慕橘|(zhì)傳輸,包括但不限于無(wú) 線、有線、光纜、RF等等,或者上述的任意合適的組合。
[0033] 可以以一種或多種程序設(shè)計(jì)語(yǔ)言的任意組合來(lái)編寫用于執(zhí)行本發(fā)明各方面的 操作的計(jì)算機(jī)程序代碼,所述程序設(shè)計(jì)語(yǔ)言包括面向?qū)ο蟮某绦蛟O(shè)計(jì)語(yǔ)言(諸如Java、 Smalltalk、C++等),還包括常規(guī)的過(guò)程式程序設(shè)計(jì)語(yǔ)言(諸如"C"程序設(shè)計(jì)語(yǔ)言或類似的 程序設(shè)計(jì)語(yǔ)言)。程序代碼可以完全地在用戶計(jì)算機(jī)上執(zhí)行、部分地在用戶計(jì)算機(jī)上執(zhí)行、 作為獨(dú)立的軟件包執(zhí)行、部分在用戶計(jì)算機(jī)上部分在遠(yuǎn)程計(jì)算機(jī)上執(zhí)行、或者完全在遠(yuǎn)程 計(jì)算機(jī)或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計(jì)算機(jī)的情形中,遠(yuǎn)程計(jì)算機(jī)可以通過(guò)任意種類的網(wǎng) 絡(luò)--包括局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)-連接到用戶計(jì)算機(jī),或者,可以連接到外部計(jì)算 機(jī)(例如利用因特網(wǎng)服務(wù)提供商來(lái)通過(guò)因特網(wǎng)連接)。
[0034] 下面將參照根據(jù)本發(fā)明實(shí)施例的方法、裝置(系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的流程圖 和/或框圖描述本發(fā)明的各方面。應(yīng)當(dāng)理解的是,流程圖和/或框圖的每個(gè)方框以及流程圖 和/或框圖中各方框的組合,都可以由計(jì)算機(jī)程序指令實(shí)現(xiàn)。這些計(jì)算機(jī)程序指令可以提 供給通用計(jì)算機(jī)、專用計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器,從而生產(chǎn)出一種機(jī)器, 使得這些計(jì)算機(jī)程序指令在通過(guò)計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器執(zhí)行時(shí),產(chǎn)生 實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的裝置。
[0035] 也可以把這些計(jì)算機(jī)程序指令存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中,這些指令可以使得計(jì)算 機(jī)、其它可編程數(shù)據(jù)處理裝置、或其他設(shè)備以特定方式工作,使得存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中 的指令產(chǎn)生包括實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的指令的 制造品°
[0036] 計(jì)算機(jī)程序指令還可以加載到計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置或其他設(shè)備上, 以使一系列操作步驟在計(jì)算機(jī)、其它可編程裝置或其他設(shè)備上被執(zhí)行以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的 過(guò)程,使得在計(jì)算機(jī)或其它可編程裝置上執(zhí)行的指令提供用于實(shí)現(xiàn)流程圖和/或框圖中的 一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作。
[0037] 附圖中的流程圖和框圖使出根據(jù)本公開的各種實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序 產(chǎn)品的可能實(shí)現(xiàn)的架構(gòu)、功能和操作。在這點(diǎn)上,流程圖或框圖中的每個(gè)方框可以代表模 塊、程序段或代碼的一部分,所述模塊、程序段或代碼的一部分包含一個(gè)或多個(gè)用于實(shí)現(xiàn)規(guī) 定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意的是,在有些替代性實(shí)現(xiàn)中,方框中所標(biāo)注的功 能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如,兩個(gè)連續(xù)的方框?qū)嶋H上可以基本并行 地執(zhí)行,它們有時(shí)也可以按相反的順序執(zhí)行,這依所涉及的功能而定。也要注意的是,框圖 和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合,可以用執(zhí)行規(guī)定的功 能或動(dòng)作的專用的基于硬件的系統(tǒng)來(lái)實(shí)現(xiàn),或者可以用專用硬件與計(jì)算機(jī)指令的組合來(lái)實(shí) 現(xiàn)。
[0038] 本公開的各種實(shí)施例的描述已經(jīng)出于舉例說(shuō)明的目的給出,但是并非旨在是無(wú)遺 漏的或限于所公開的實(shí)施例。在不脫離所描述的實(shí)施例的范圍和精神的情況下,許多改型 和變型對(duì)于本領(lǐng)域普通技術(shù)人員而言是顯而易見的。本文中使用的術(shù)語(yǔ)被選擇為最佳地解 釋實(shí)施例的原理、實(shí)際的應(yīng)用或優(yōu)于市場(chǎng)上發(fā)現(xiàn)的技術(shù)的技術(shù)改進(jìn),或者使本領(lǐng)域普通技 術(shù)人員能夠理解本文中公開的實(shí)施例。
【權(quán)利要求】
1. 一種系統(tǒng),包括: 包括多個(gè)子節(jié)點(diǎn)的分布式處理節(jié)點(diǎn),每個(gè)子節(jié)點(diǎn)包括: 至少一個(gè)處理器核,其可操作地連接到內(nèi)存; 第一互連裝置,其可操作地連接到所述多個(gè)子節(jié)點(diǎn)中的每一個(gè); 第二互連裝置,其可操作地連接到所述多個(gè)子節(jié)點(diǎn)中的每一個(gè)并且可操作地連接到存 儲(chǔ)裝置; 在所述多個(gè)子節(jié)點(diǎn)中的第一子節(jié)點(diǎn)上運(yùn)行的進(jìn)程,所述進(jìn)程可操作以從所述第一子節(jié) 點(diǎn)的內(nèi)存檢索數(shù)據(jù);其中: 所述進(jìn)程向所述第一子節(jié)點(diǎn)的內(nèi)存詢問(wèn)所請(qǐng)求的數(shù)據(jù); 如果在所述第一子節(jié)點(diǎn)的內(nèi)存中未發(fā)現(xiàn)所請(qǐng)求的數(shù)據(jù),則所述進(jìn)程經(jīng)由所述第一互連 裝置詢問(wèn)所述多個(gè)子節(jié)點(diǎn)中的至少一個(gè)其他子節(jié)點(diǎn)的內(nèi)存; 如果在所述其他子節(jié)點(diǎn)的內(nèi)存中發(fā)現(xiàn)所請(qǐng)求的數(shù)據(jù),則所述進(jìn)程將所請(qǐng)求的數(shù)據(jù)拷貝 到所述第一子節(jié)點(diǎn)的內(nèi)存;以及 如果在所述第一子節(jié)點(diǎn)的內(nèi)存或者所述多個(gè)子節(jié)點(diǎn)的至少另一個(gè)子節(jié)點(diǎn)的內(nèi)存中未 發(fā)現(xiàn)所請(qǐng)求的數(shù)據(jù),則所述進(jìn)程經(jīng)由所述第二互連裝置詢問(wèn)所述存儲(chǔ)裝置。
2. 如權(quán)利要求1所述的系統(tǒng),其中所述分布式處理節(jié)點(diǎn)是形成分布式處理集群的多個(gè) 分布式處理節(jié)點(diǎn)中的一個(gè),所述多個(gè)分布式處理節(jié)點(diǎn)中的每一個(gè)可操作地連接到第三互連 裝直。
3. 如權(quán)利要求1所述的系統(tǒng),其中所述存儲(chǔ)裝置包括硬盤驅(qū)動(dòng)器和固態(tài)驅(qū)動(dòng)器,所述 硬盤驅(qū)動(dòng)器包括順序數(shù)據(jù)并且所述固態(tài)驅(qū)動(dòng)器包括非順序數(shù)據(jù)。
4. 如權(quán)利要求1所述的系統(tǒng),其中所述存儲(chǔ)裝置包括硬盤驅(qū)動(dòng)器和固態(tài)驅(qū)動(dòng)器,并且 所述系統(tǒng)還包括存儲(chǔ)管理器,所述存儲(chǔ)管理器可操作以基于訪問(wèn)模式在所述硬盤驅(qū)動(dòng)器和 所述固態(tài)驅(qū)動(dòng)器之間分配數(shù)據(jù)。
5. 如權(quán)利要求4所述的系統(tǒng),其中所述訪問(wèn)模式包括順序訪問(wèn),并且所述存儲(chǔ)管理器 優(yōu)先地將非順序訪問(wèn)的數(shù)據(jù)從所述硬盤驅(qū)動(dòng)器重新放置到所述固態(tài)驅(qū)動(dòng)器。
6. 如權(quán)利要求1所述的系統(tǒng),其中所述第一互連裝置具有比所述第二互連裝置更高的 帶寬。
7. 如權(quán)利要求2所述的系統(tǒng),其中所述第一互連裝置具有比所述第三互連裝置更高的 帶寬。
8. 如權(quán)利要求1所述的系統(tǒng),其中所述多個(gè)子節(jié)點(diǎn)中的每個(gè)子節(jié)點(diǎn)的內(nèi)存形成協(xié)同高 速緩存或共享內(nèi)存。
9. 如權(quán)利要求1所述的系統(tǒng),其中經(jīng)由Hadoop分布式文件系統(tǒng)訪問(wèn)所述存儲(chǔ)裝置。
10. 如權(quán)利要求1所述的系統(tǒng),其中所述分布式處理節(jié)點(diǎn)是Hadoop節(jié)點(diǎn)。
11. 如權(quán)利要求2所述的系統(tǒng),其中所述集群是Hadoop集群。
12. 如權(quán)利要求1所述的系統(tǒng),其中所述第一互連裝置被過(guò)度供應(yīng)。
13. 如權(quán)利要求1所述的系統(tǒng),其中所述多個(gè)子節(jié)點(diǎn)的內(nèi)存通過(guò)Memcached管理。
14. 如權(quán)利要求1所述的系統(tǒng),其中如果在所述存儲(chǔ)裝置中發(fā)現(xiàn)所請(qǐng)求的數(shù)據(jù),則所述 進(jìn)程將所請(qǐng)求的數(shù)據(jù)拷貝到所述第一子節(jié)點(diǎn)的內(nèi)存。
15. 如權(quán)利要求1所述的系統(tǒng),其中所述進(jìn)程還可操作以在所述多個(gè)子節(jié)點(diǎn)的內(nèi)存和 所述存儲(chǔ)裝置之間傳播變更后的數(shù)據(jù)。
16. 如權(quán)利要求1所述的系統(tǒng),還包括任務(wù)調(diào)度器,所述任務(wù)調(diào)度器可操作以將所述進(jìn) 程分配給所述多個(gè)子節(jié)點(diǎn)中在其內(nèi)存中具有最多被請(qǐng)求數(shù)據(jù)的子節(jié)點(diǎn)。
17. -種方法,包括: 在第一分布式處理節(jié)點(diǎn)接收任務(wù); 將所述任務(wù)分配給所述第一分布式處理節(jié)點(diǎn)的第一子節(jié)點(diǎn),所述子節(jié)點(diǎn)包括可操作地 連接到內(nèi)存的至少一個(gè)處理器核; 確定由所述任務(wù)請(qǐng)求的數(shù)據(jù); 向所述第一子節(jié)點(diǎn)的內(nèi)存詢問(wèn)所請(qǐng)求的數(shù)據(jù); 如果在所述第一子節(jié)點(diǎn)的內(nèi)存中未發(fā)現(xiàn)所請(qǐng)求的數(shù)據(jù),則經(jīng)由第一互連裝置詢問(wèn)所述 第一分布式處理節(jié)點(diǎn)的至少另一個(gè)子節(jié)點(diǎn)的內(nèi)存; 如果在其他子節(jié)點(diǎn)的內(nèi)存中發(fā)現(xiàn)所請(qǐng)求的數(shù)據(jù),則將所請(qǐng)求的數(shù)據(jù)從所述其他子節(jié)點(diǎn) 的內(nèi)存拷貝到所述第一子節(jié)點(diǎn)的內(nèi)存; 如果在所述第一子節(jié)點(diǎn)的內(nèi)存或者所述第一分布式處理節(jié)點(diǎn)的至少另一個(gè)子節(jié)點(diǎn)的 內(nèi)存中未發(fā)現(xiàn)所請(qǐng)求的數(shù)據(jù),則經(jīng)由第二互連裝置詢問(wèn)存儲(chǔ)裝置;以及 在所述第一子節(jié)點(diǎn)的所述至少一個(gè)處理器核上處理所述任務(wù)。
18. 如權(quán)利要求17所述的方法,其中所述第一分布式處理節(jié)點(diǎn)是形成分布式處理集群 的多個(gè)分布式處理節(jié)點(diǎn)中的一個(gè),所述多個(gè)分布式處理節(jié)點(diǎn)中的每一個(gè)可操作地連接到第 三互連裝置。
【文檔編號(hào)】H04L29/08GK104219279SQ201410243420
【公開日】2014年12月17日 申請(qǐng)日期:2014年6月4日 優(yōu)先權(quán)日:2013年6月4日
【發(fā)明者】A·R·巴特, P·薩卡爾 申請(qǐng)人:國(guó)際商業(yè)機(jī)器公司