的利用XeonPhi協(xié)處理器提升布隆濾波器處理性能的系統(tǒng)，其特征在于，每個(gè)物理線程管理的子向量與其擁有的緩存大小相同，每個(gè)物理線程所訪問的內(nèi)存空間將不大于其緩存的大小。4.如權(quán)利要求1-3中任一項(xiàng)所述的利用XeonPhi協(xié)處理器提升布隆濾波器處理性能的系統(tǒng)，其特征在于，所述第一通信模塊維護(hù)的雙緩沖隊(duì)列，其中一個(gè)緩沖隊(duì)列為輸入緩沖隊(duì)列，用于緩存來自于所述任務(wù)調(diào)度模塊傳輸?shù)剿鰠f(xié)處理器端的數(shù)據(jù)，另一個(gè)緩沖隊(duì)列為傳輸緩沖隊(duì)列，用于放置正在傳輸?shù)臄?shù)據(jù)；所述第二通信模塊維護(hù)的雙緩沖隊(duì)列，其中一個(gè)緩沖隊(duì)列為輸入緩沖隊(duì)列，用于緩存所述協(xié)處理器端傳給所述宿主端任務(wù)結(jié)果的數(shù)據(jù)；另一個(gè)緩沖隊(duì)列為傳輸緩沖隊(duì)列，用于放置正在傳輸?shù)臄?shù)據(jù)。5.如權(quán)利要求1-3中任一項(xiàng)所述的利用XeonPhi協(xié)處理器提升布隆濾波器處理性能的系統(tǒng)，其特征在于，所述第一任務(wù)處理模塊和第二任務(wù)處理模塊獲取其分配到的每個(gè)任務(wù)中被處理的元素，使用預(yù)先設(shè)定的k個(gè)Hash函數(shù)計(jì)算得到k個(gè)當(dāng)前元素所屬的子向量數(shù)組的下標(biāo)，將單次任務(wù)的k次串行Hash計(jì)算擴(kuò)展成多次任務(wù)的k次串行Hash計(jì)算，以轉(zhuǎn)化為數(shù)據(jù)級(jí)并行的處理方式。6.一種利用Xeon Phi協(xié)處理器提升布隆濾波器處理性能的方法，其特征在于，包括: 步驟I周期性地獲取宿主端和協(xié)處理器端的處理能力的比例； 步驟2對(duì)所述宿主端和所述協(xié)處理器端的物理線程進(jìn)行負(fù)載均衡操作，包括以下子步驟: (2-1)根據(jù)現(xiàn)有負(fù)載構(gòu)造任務(wù)-線程映射表，計(jì)算出目前所述宿主端和所述協(xié)處理器端的每個(gè)物理線程所計(jì)算的任務(wù)個(gè)數(shù)Ti，并計(jì)算所有線程的總和SumT和所述協(xié)處理器線程任務(wù)個(gè)數(shù)總和SumC ; (2-2)找到所有運(yùn)行在所述協(xié)處理器端的線程編號(hào)滿足Tj/SumC>4XSumC/NumCT的線程j，并在所述宿主端找到一個(gè)滿足Ti/SumC〈 = 2 X SumC/NumCT的線程i，其中NumCT表示所述協(xié)處理器端的線程個(gè)數(shù)，若不存在則取最小值Ti/SumC的線程i，交換所述任務(wù)-線程映射表中線程i和線程j的子向量對(duì)應(yīng)的項(xiàng)； (2-3)將線程i對(duì)應(yīng)的子向量和線程i與線程j交換子向量的信息發(fā)送到所述協(xié)處理器端的輸入緩沖隊(duì)列，若所述輸入緩沖隊(duì)列為滿，則向所述協(xié)處理器端發(fā)送一個(gè)隊(duì)列滿的信號(hào)并進(jìn)入等待狀態(tài)，直至所述協(xié)處理器端返回輸入緩沖隊(duì)列可寫的信息時(shí)，再將線程i對(duì)應(yīng)的子向量和線程i與線程j交換子向量的信息發(fā)送到所述輸入緩沖隊(duì)列； (2-4)等待所述協(xié)處理器端發(fā)送替換線程j對(duì)應(yīng)的子向量的內(nèi)容到達(dá)接收隊(duì)列，獲得后將所述協(xié)處理器端線程j對(duì)應(yīng)的子向量替換所述宿主端線程i對(duì)應(yīng)子向量的內(nèi)容； 步驟3將待處理的任務(wù)交付至所述宿主端或所述協(xié)處理器端進(jìn)行處理，若所述待處理的任務(wù)交付至所述宿主端則執(zhí)行步驟4，否則執(zhí)行步驟5 ; 步驟4所述宿主端的每個(gè)物理線程從所屬的任務(wù)隊(duì)列中獲取任務(wù)，令取出任務(wù)的數(shù)量X等于宿主端所支持的向量計(jì)算長(zhǎng)度/Hash函數(shù)運(yùn)算的字長(zhǎng)，使用SMD指令同時(shí)計(jì)算X個(gè)任務(wù)的Hash函數(shù)，并將操作在子向量上獲得的結(jié)果寫入到文件中； 步驟5將交付至所述協(xié)處理器端的任務(wù)發(fā)送至所述協(xié)處理器端進(jìn)行處理； 步驟6所述協(xié)處理器端從對(duì)應(yīng)的任務(wù)隊(duì)列中獲取任務(wù)，令取出任務(wù)的數(shù)量X等于所述協(xié)處理器端所支持的向量計(jì)算長(zhǎng)度/Hash函數(shù)運(yùn)算的字長(zhǎng)，使用SMD指令同時(shí)計(jì)算X個(gè)任務(wù)的Hash函數(shù)，并將操作在子向量上獲得的結(jié)果回傳到所述宿主端； 步驟7所述宿主端接收所述協(xié)處理器端回傳的結(jié)果，并回寫到文件。7.如權(quán)利要求6所述的方法，其特征在于，所述步驟I中獲取所述宿主端和所述協(xié)處理器端處理能力的比例的方法包括以下子步驟: (1-1)周期性地獲取系統(tǒng)信息，包括:所述宿主端支持的線程個(gè)數(shù)Nh以及所述協(xié)處理器端線程個(gè)數(shù)NumCT; (1-2)獲取所述宿主端輸入的任務(wù)隊(duì)列中的下一批任務(wù)，若所述任務(wù)隊(duì)列為空，則等待直到獲得下一批任務(wù)，若所述任務(wù)隊(duì)列不為空，則執(zhí)行步驟(1-3); (1-3)在每處理一批請(qǐng)求之前先截取部分任務(wù)，同時(shí)發(fā)送給所述宿主端和所述協(xié)處理器端，記錄所述宿主端返回結(jié)果所需的時(shí)間Λ tl和所述協(xié)處理器端返回結(jié)果所需的時(shí)間Δ t2，判定兩者的性能比例為Λ t2: Δ tl，則分配到兩者的任務(wù)數(shù)量比例為Λ tl: Δ t2 ；(1-4)將本批次任務(wù)發(fā)送給所述宿主端，執(zhí)行步驟2。8.如權(quán)利要求6所述的方法，其特征在于，所述步驟3包括以下子步驟: (3-1)從所述宿主端獲取下一批次任務(wù)，對(duì)已劃分的元素使用映射函數(shù)按所述任務(wù)-線程映射表映射，若任務(wù)屬于所述宿主端，將任務(wù)發(fā)送到所述宿主端的被映射的物理線程的任務(wù)隊(duì)列處理，執(zhí)行步驟4，若任務(wù)屬于所述協(xié)處理器端，則執(zhí)行步驟(3-2); (3-2)被所述任務(wù)-線程映射表映射到所述協(xié)處理器端的任務(wù)經(jīng)所述宿主端發(fā)送到所述協(xié)處理器端處理，并標(biāo)記任務(wù)所屬的所述協(xié)處理器端的物理線程； (3-3)批量發(fā)送任務(wù)到所述宿主端的輸入緩沖隊(duì)列，若所述輸入緩沖隊(duì)列為滿，則向所述宿主端發(fā)送一個(gè)隊(duì)列滿的信息，并進(jìn)入等待狀態(tài)，直至所述宿主端返回輸入緩沖隊(duì)列可寫的信息，再批量發(fā)送任務(wù)到所述輸入緩沖隊(duì)列，傳輸完成后執(zhí)行步驟5。9.如權(quán)利要求6-8中任一項(xiàng)所述的方法，其特征在于，所述步驟5包括以下子步驟: (5-1)所述宿主端等待其輸入緩沖隊(duì)列寫滿的信息； (5-2)獲得所述輸入緩沖隊(duì)列滿的信息后，查看所述宿主端的傳輸緩沖隊(duì)列的發(fā)送任務(wù)是否完成，若未完成則在此處按照一定的時(shí)間間隔循環(huán)等待，若完成則執(zhí)行步驟(5-3); (5-3)將所述輸入緩沖隊(duì)列與所述傳輸緩沖隊(duì)列互換，并發(fā)送所述傳輸緩沖隊(duì)列的數(shù)據(jù)到所述協(xié)處理器端，向所述宿主端發(fā)送所述輸入緩沖隊(duì)列可寫的信息。10.如權(quán)利要求6-8中任一項(xiàng)所述的方法，其特征在于，所述步驟7包括以下子步驟: (7-1)所述協(xié)處理器端等待其輸入緩沖隊(duì)列滿的信息； (7-2)獲得所述輸入緩沖隊(duì)列滿的信息后，查看所述協(xié)處理器端的傳輸緩沖隊(duì)列的發(fā)送任務(wù)是否完成，若未完成則在此處按照一定的時(shí)間間隔循環(huán)等待，若完成則執(zhí)行步驟(7-3)； (7-3)將所述輸入緩沖隊(duì)列與所述傳輸緩沖隊(duì)列互換，并發(fā)送所述傳輸緩沖隊(duì)列中的數(shù)據(jù)到所述宿主端； (7-4)所述宿主端的接收隊(duì)列檢測(cè)到隊(duì)列中有回傳結(jié)果，將所述回傳結(jié)果寫入到文件。
【專利摘要】本發(fā)明公開了一種利用Xeon Phi協(xié)處理器提升布隆濾波器處理性能的系統(tǒng)及方法，包括：性能采樣模塊、任務(wù)調(diào)度模塊、通信模塊和任務(wù)處理模塊。性能采樣模塊用于獲取宿主端和協(xié)處理器端的處理能力，決定兩端分配的任務(wù)比例；任務(wù)調(diào)度模塊控制宿主端和協(xié)處理器端之間整體的任務(wù)調(diào)度；通信模塊管理宿主端和協(xié)處理器端的通訊；任務(wù)處理模塊負(fù)責(zé)任務(wù)的查詢與計(jì)算。系統(tǒng)將每個(gè)任務(wù)分配給相應(yīng)的線程，每個(gè)線程在一個(gè)私有的子向量進(jìn)行處理，并將單個(gè)任務(wù)的串行Hash運(yùn)算轉(zhuǎn)化為多個(gè)任務(wù)的并行Hash運(yùn)算。方法的流程按照任務(wù)調(diào)度-通訊-任務(wù)處理的流水線方式并行執(zhí)行，高效的任務(wù)調(diào)度消除了任務(wù)處理階段中的同步開銷，同時(shí)高效的并行機(jī)制提高了任務(wù)處理的吞吐量。
【IPC分類】G06F9/48, G06F9/38
【公開號(hào)】CN104899007
【申請(qǐng)?zhí)枴緾N201510331094
【發(fā)明人】廖小飛, 倪晟, 金海 , 郭人通
【申請(qǐng)人】華中科技大學(xué)
【公開日】2015年9月9日
【申請(qǐng)日】2015年6月15日