專利名稱：一種集群mic作業(yè)的管理及調(diào)度方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機(jī)領(lǐng)域，具體的說是一種集群MIC作業(yè)的管理及調(diào)度方法。
背景技術(shù)：
英特爾集成眾核(MIC)跟通用的多核處理器相比，具有更小的內(nèi)核和硬件線程，計算資源密度更高，片上通信開銷顯著降低，具有更多的晶體管和能量，能夠勝任更為復(fù)雜的并行應(yīng)用。但是當(dāng)前主流的集群資源管理及調(diào)度系統(tǒng)還沒有添加對MIC作業(yè)的支持，此時存在以下兩個問題1) MIC作業(yè)提交至作業(yè)管理系統(tǒng)，系統(tǒng)無法知道集群中哪些節(jié)點具有MIC資源，從而無法將作業(yè)調(diào)度至相應(yīng)的MIC節(jié)點上。2) MIC作業(yè)提交至作業(yè)管理系統(tǒng)時，即使被調(diào)度至相應(yīng)的MIC節(jié)點上，但是作業(yè)管理系統(tǒng)并不知道此時MIC卡上是否已有作業(yè)運(yùn)行，一塊MIC卡上只能運(yùn)行一個作業(yè)，如果兩個或多個作業(yè)被調(diào)度到同一塊MIC卡上，會造成作業(yè)運(yùn)行錯誤。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有技術(shù)的不足，提供一種集群MIC作業(yè)的管理及調(diào)度方法。本發(fā)明是在高性能計算集群中，將英特爾MIC眾核處理器作為一種計算資源，對MIC資源進(jìn)行管理及調(diào)度的方法，其解決所述技術(shù)問題的方法內(nèi)容包括管理進(jìn)程IM服務(wù)器、作業(yè)提交的命令imsub及參數(shù)-mics、作業(yè)查看命令imjobs、計算節(jié)點查看命令imnodes ；
其中管理進(jìn)程IM服務(wù)器，負(fù)責(zé)統(tǒng)計、保存集群中各個計算節(jié)點的MIC資源總數(shù)及使用情況；作業(yè)提交的命令imsub及參數(shù)-mics,可以使作業(yè)運(yùn)行在指定的MIC卡上,作業(yè)提交的命令imsub,負(fù)責(zé)作業(yè)腳本提交，參數(shù)-mics,負(fù)責(zé)記錄作業(yè)腳本運(yùn)行時所需的mic數(shù),例如使用imsub - mics 2 job. sh提交一個需要2個mic卡的作業(yè)job. sh ;作業(yè)查看命令imjobs，負(fù)責(zé)查看當(dāng)前集群所有MIC作業(yè)的運(yùn)行狀態(tài)，且可以將JobQueue文件內(nèi)顯示出來，可查看集群中等待的MIC作業(yè)情況；計算節(jié)點查看命令imnodes,可以將NodeMicInfo文件內(nèi)容顯示出來，負(fù)責(zé)查看當(dāng)前集群中計算節(jié)點MIC資源使用情況。本發(fā)明提供的MIC作業(yè)管理及調(diào)度方法，管理端進(jìn)程對整個集群的MIC資源進(jìn)行統(tǒng)計及監(jiān)控，可以保證新提交的MIC作業(yè)在合適的計算節(jié)點上運(yùn)行。該方法的具體管理過程如下
通過一個管理進(jìn)程頂服務(wù)器，利用ssh命令連接至集群中的各個計算節(jié)點，在各個計算節(jié)點運(yùn)行micinfo監(jiān)控命令，獲取該計算節(jié)點的MIC總數(shù)目及已使用MIC卡序號，并將結(jié)果保存在NodeMicInfo文件中，當(dāng)MIC作業(yè)通過isub命令提交時，以命令參數(shù)的形式指明所需的mic數(shù)，頂服務(wù)器檢查NodeMicInfo文件，將作業(yè)調(diào)度到有足夠mic資源的空閑計算節(jié)點上進(jìn)行計算，否則，將該作業(yè)提交命令(isub job. sh)保存在JobQueue中，當(dāng)作業(yè)運(yùn)行完成后，MIC資源得到釋放，IM服務(wù)器從JobQueue中取出作業(yè)再次調(diào)度執(zhí)行。具體調(diào)度過程如下作業(yè)通過isub job4. sh形式提交至管理進(jìn)程IM服務(wù)器，IM服務(wù)器檢查NodeMicInfo文件查看是否有空閑MIC卡，其中，每個節(jié)點后面每個數(shù)字代表一個MIC卡，I為運(yùn)行作業(yè)，O為空閑，如果有，則將作業(yè)調(diào)度至該MIC卡上執(zhí)行，并修改該MIC信息由O變?yōu)镮 ;否則，將作業(yè)保存至等待隊列中，作業(yè)完成后，修改NodeMicInfo文件信息，將剛剛運(yùn)行該作業(yè)的MIC卡信息由I變?yōu)?，表示該MIC已經(jīng)空閑，此時，集群中有MIC卡空閑，頂服務(wù)器檢查作業(yè)等待列表中是否有作業(yè)等待，如果有，則將等待的作業(yè)重新調(diào)度執(zhí)行。本發(fā)明一種集群MIC作業(yè)的管理及調(diào)度方法的有益效果是本方法克服了傳統(tǒng)集群資源管理及調(diào)度不支持MIC作業(yè)的問題，提出了一種將MIC眾核處理器作為計算資源，根據(jù)作業(yè)需求對MIC資源進(jìn)行分配及調(diào)度的方法，使得集群MIC資源得到充分利用，并保證作業(yè)的正確運(yùn)行，有效提高M(jìn)IC處理復(fù)雜作業(yè)的能力。



附圖I是集群MIC作業(yè)的管理及調(diào)度方法的系統(tǒng)流程圖。
具體實施例方式下面結(jié)合附圖I對本發(fā)明一種集群MIC作業(yè)的管理及調(diào)度方法作進(jìn)一步說明。本方法通過一個管理進(jìn)程(頂服務(wù)器)，對集群中的MIC資源信息及使用狀態(tài)進(jìn)行統(tǒng)計并保存，以便新提交的MIC作業(yè)能夠分配至合適的MIC卡上運(yùn)行；提供一個MIC作業(yè)提交命令imsub及參數(shù)-mics,可以使作業(yè)運(yùn)行在指定的MIC卡上；提供一個MIC作業(yè)查看命令imjobs,可以查看當(dāng)前集群所有MIC作業(yè)運(yùn)行狀態(tài)；提供一個計算節(jié)點查看命令imnodes,可以查看當(dāng)前集群中所有計算節(jié)點上的MIC使用信息。本發(fā)明提供的MIC作業(yè)管理及調(diào)度方法，管理端進(jìn)程對整個集群的MIC資源進(jìn)行統(tǒng)計及監(jiān)控，可以保證新提交的MIC作業(yè)在合適的計算節(jié)點上運(yùn)行。該方法的具體管理過程為
通過一個管理進(jìn)程頂服務(wù)器，利用ssh命令連接至集群中的各個計算節(jié)點，在各個計算節(jié)點運(yùn)行micinfo監(jiān)控命令，獲取該計算節(jié)點的MIC總數(shù)目及已使用MIC卡序號，并將結(jié)果保存在NodeMicInfo文件中，當(dāng)MIC作業(yè)通過isub命令提交時，以命令參數(shù)的形式指明所需的mic數(shù)，IM服務(wù)器檢查NodeMicInfo文件，將作業(yè)調(diào)度到有足夠mic資源的空閑計算節(jié)點上進(jìn)行計算，否則，將該作業(yè)提交命令(isub job. sh)保存在JobQueue中，當(dāng)作業(yè)運(yùn)行完成后，MIC資源得到釋放，IM服務(wù)器從JobQueue中取出作業(yè)再次調(diào)度執(zhí)行。該方法的調(diào)度流程敘述如下
作業(yè)通過isub job4. sh形式提交至管理進(jìn)程IM服務(wù)器，IM服務(wù)器檢查NodeMicInfo文件查看是否有空閑MIC卡(每個節(jié)點后面每個數(shù)字代表一個MIC卡，I為運(yùn)行作業(yè)，O為空閑)，如果有，則將作業(yè)調(diào)度至該MIC卡上執(zhí)行，并修改該MIC信息(由O變?yōu)镮);否則，將作業(yè)保存至等待隊列中。作業(yè)完成后，修改NodeMicInfo文件信息，將剛剛運(yùn)行該作業(yè)的MIC卡信息由I變?yōu)?，表示該MIC已經(jīng)空閑。此時，集群中有MIC卡空閑，頂服務(wù)器檢查作業(yè)等待列表中是否有作業(yè)等待，如果有，則將等待的作業(yè)重新調(diào)度執(zhí)行。除說明書所述的技術(shù)特征外，均為本專業(yè)技術(shù)人員的已知技術(shù)。
權(quán)利要求
1.一種集群Mic作業(yè)的管理及調(diào)度方法，其特征在于在高性能計算集群中，將MIC眾核處理器作為一種計算資源，對MIC資源進(jìn)行管理及調(diào)度，內(nèi)容包括管理進(jìn)程IM服務(wù)器、作業(yè)提交命令imsub及參數(shù)-mics、作業(yè)查看命令imjobs、計算節(jié)點查看命令imnodes ； 其中管理進(jìn)程IM服務(wù)器，負(fù)責(zé)統(tǒng)計、保存集群中各個計算節(jié)點的MIC資源總數(shù)及使用情況，以便新提交的MIC作業(yè)能夠分配至合適的MIC卡上運(yùn)行；作業(yè)提交的命令imsub及參數(shù)-mics，使作業(yè)運(yùn)行在指定的MIC卡上，作業(yè)提交的命令imsub負(fù)責(zé)作業(yè)腳本提交，參數(shù)-mics負(fù)責(zé)記錄作業(yè)腳本運(yùn)行時所需的mic數(shù)；作業(yè)查看命令imjobs負(fù)責(zé)查看當(dāng)前集群中MIC作業(yè)的運(yùn)行狀態(tài)，將JobQueue文件內(nèi)顯示出來，以此查看集群中等待的MIC作業(yè)情況；計算節(jié)點查看命令imnodes將NodeMicInfo文件內(nèi)容顯示出來,負(fù)責(zé)查看當(dāng)前集群中計算節(jié)點MIC資源使用情況，具體管理過程如下 通過一個管理進(jìn)程頂服務(wù)器，利用ssh命令連接至集群中的各個計算節(jié)點，在各個計算節(jié)點運(yùn)行micinfo監(jiān)控命令，獲取該計算節(jié)點的MIC總數(shù)目及已使用MIC卡序號，并將結(jié)果保存在NodeMicInfo文件中，當(dāng)MIC作業(yè)通過isub命令提交時，以命令參數(shù)的形式指明所需的mic數(shù)，IM服務(wù)器檢查NodeMicInfo文件，將作業(yè)調(diào)度到有足夠mic資源的空閑節(jié)點上進(jìn)行計算，否則，將該作業(yè)提交命令isub job. sh保存在JobQueue中，當(dāng)作業(yè)運(yùn)行完成后，MIC資源得到釋放，IM服務(wù)器從JobQueue中取出作業(yè)再次調(diào)度執(zhí)行； 具體調(diào)度過程如下 作業(yè)通過isub job4. sh形式提交至管理進(jìn)程IM服務(wù)器，IM服務(wù)器檢查NodeMicInfo文件查看是否有空閑MIC卡，其中，每個節(jié)點后面每個數(shù)字代表一個MIC卡，I為運(yùn)行作業(yè)，O為空閑，如果有，則將作業(yè)調(diào)度至該MIC卡上執(zhí)行，并修改該MIC信息由O變?yōu)镮 ;否則，將作業(yè)保存至等待隊列中，作業(yè)完成后，修改NodeMicInfo文件信息，將剛剛運(yùn)行該作業(yè)的MIC卡信息由I變?yōu)?，表示該MIC已經(jīng)空閑，此時，集群中有MIC卡空閑，頂服務(wù)器檢查作業(yè)等待列表中是否有作業(yè)等待，如果有，則將等待的作業(yè)重新調(diào)度執(zhí)行。
全文摘要
本發(fā)明提供一種集群MIC作業(yè)的管理及調(diào)度方法，內(nèi)容包括管理進(jìn)程IM服務(wù)器、作業(yè)提交的命令imsub及參數(shù)-mics、MIC作業(yè)查看命令imjobs、計算節(jié)點查看命令imnodes。該方法通過管理進(jìn)程(IM服務(wù)器)記錄集群中其他所有節(jié)點(計算節(jié)點)的MIC資源總數(shù)及使用情況。當(dāng)作業(yè)在管理節(jié)點上提交時，以命令參數(shù)的形式指明所需的mic數(shù)。管理節(jié)點檢查集群中所有計算節(jié)點，找到有足夠mic資源的計算節(jié)點，并將作業(yè)發(fā)送至該節(jié)點進(jìn)行計算。本方法克服了傳統(tǒng)集群資源管理及調(diào)度不支持MIC作業(yè)的問題，提出了一種集群MIC作業(yè)的管理及調(diào)度方法，使得集群MIC資源得到充分利用，有效提高M(jìn)IC處理復(fù)雜作業(yè)的能力。
文檔編號G06F9/50GK102902589SQ20121031613
公開日2013年1月30日 申請日期2012年8月31日 優(yōu)先權(quán)日2012年8月31日
發(fā)明者張云 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司