本發(fā)明涉及計(jì)算機(jī)，尤其涉及一種基于多裝置的并行數(shù)據(jù)處理方法。

背景技術(shù)：

1、在當(dāng)今的科技背景下，隨著大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等技術(shù)的快速發(fā)展，數(shù)據(jù)處理的需求呈現(xiàn)出爆炸式增長(zhǎng)。大量的計(jì)算任務(wù)要求更高的處理速度和更低的延遲，尤其是在復(fù)雜的并行計(jì)算環(huán)境中，如何高效地利用多裝置、多設(shè)備協(xié)同工作，成為了提升系統(tǒng)整體性能的關(guān)鍵挑戰(zhàn)。多裝置并行數(shù)據(jù)處理已經(jīng)成為各大技術(shù)領(lǐng)域的重要研究方向之一，廣泛應(yīng)用于云計(jì)算、數(shù)據(jù)中心、大規(guī)模機(jī)器學(xué)習(xí)訓(xùn)練、實(shí)時(shí)數(shù)據(jù)分析等場(chǎng)景中。這些場(chǎng)景中，往往涉及到海量數(shù)據(jù)的處理與分析，單一設(shè)備的處理能力已經(jīng)無(wú)法滿足如此巨大的數(shù)據(jù)需求。

2、為了提高系統(tǒng)的處理能力，利用多個(gè)設(shè)備協(xié)同并行處理任務(wù)成為了主流趨勢(shì)。然而，多裝置并行處理環(huán)境的復(fù)雜性也相應(yīng)增加。不同設(shè)備的處理能力、網(wǎng)絡(luò)帶寬、存儲(chǔ)能力和實(shí)時(shí)負(fù)載狀態(tài)各不相同，如何合理地在多個(gè)異構(gòu)設(shè)備中進(jìn)行任務(wù)的動(dòng)態(tài)分配，成為了并行計(jì)算中的重要課題。此外，在這些多裝置環(huán)境中，不同設(shè)備之間的計(jì)算任務(wù)可能存在依賴關(guān)系，設(shè)備間的數(shù)據(jù)傳輸和同步也變得至關(guān)重要，保證數(shù)據(jù)的一致性、及時(shí)性和高效傳輸是實(shí)現(xiàn)并行處理的關(guān)鍵。同時(shí)，隨著任務(wù)處理的進(jìn)行，設(shè)備的負(fù)載和性能會(huì)發(fā)生動(dòng)態(tài)變化，這使得需要更加靈活和自適應(yīng)的機(jī)制來(lái)調(diào)整任務(wù)分配和負(fù)載均衡，確保整個(gè)系統(tǒng)能夠以最優(yōu)狀態(tài)持續(xù)運(yùn)行。

3、綜上，傳統(tǒng)的數(shù)據(jù)處理方法存在如下技術(shù)問(wèn)題：任務(wù)分配效率較低，未能充分考慮設(shè)備間性能的差異性、網(wǎng)絡(luò)延遲和存儲(chǔ)能力的不同，導(dǎo)致任務(wù)長(zhǎng)期集中在部分高性能設(shè)備上，容易造成這些設(shè)備負(fù)載過(guò)重，導(dǎo)致計(jì)算資源浪費(fèi)和系統(tǒng)整體效率的低下；忽略了任務(wù)復(fù)雜度隨著時(shí)間的變化以及設(shè)備性能波動(dòng)的影響，導(dǎo)致任務(wù)處理時(shí)間延長(zhǎng)，降低了整體的計(jì)算資源利用效率；未能根據(jù)設(shè)備間的帶寬、網(wǎng)絡(luò)延遲以及任務(wù)的依賴性合理調(diào)整數(shù)據(jù)同步速率，容易導(dǎo)致數(shù)據(jù)傳輸瓶頸和網(wǎng)絡(luò)擁堵，嚴(yán)重影響系統(tǒng)的并行處理性能。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種基于多裝置的并行數(shù)據(jù)處理方法，以解決傳統(tǒng)的數(shù)據(jù)處理方法中任務(wù)分配效率較低，未能充分考慮設(shè)備間性能的差異性、網(wǎng)絡(luò)延遲和存儲(chǔ)能力的不同，導(dǎo)致任務(wù)長(zhǎng)期集中在部分高性能設(shè)備上，容易造成這些設(shè)備負(fù)載過(guò)重，導(dǎo)致計(jì)算資源浪費(fèi)和系統(tǒng)整體效率的低下；忽略了任務(wù)復(fù)雜度隨著時(shí)間的變化以及設(shè)備性能波動(dòng)的影響，導(dǎo)致任務(wù)處理時(shí)間延長(zhǎng)，降低了整體的計(jì)算資源利用效率；未能根據(jù)設(shè)備間的帶寬、網(wǎng)絡(luò)延遲以及任務(wù)的依賴性合理調(diào)整數(shù)據(jù)同步速率，容易導(dǎo)致數(shù)據(jù)傳輸瓶頸和網(wǎng)絡(luò)擁堵，嚴(yán)重影響系統(tǒng)的并行處理性能的問(wèn)題。

2、本發(fā)明的一種基于多裝置的并行數(shù)據(jù)處理方法，具體包括以下技術(shù)方案：

3、一種基于多裝置的并行數(shù)據(jù)處理方法，包括以下步驟：

4、s1、計(jì)算設(shè)備的性能矩陣和任務(wù)的復(fù)雜度矩陣，將得到的任務(wù)的復(fù)雜度矩陣與設(shè)備的性能矩陣相結(jié)合，生成動(dòng)態(tài)任務(wù)映射矩陣；基于動(dòng)態(tài)任務(wù)映射矩陣，進(jìn)行動(dòng)態(tài)任務(wù)分配；

5、s2、任務(wù)分配完成后，計(jì)算設(shè)備與任務(wù)的數(shù)據(jù)依賴性；基于設(shè)備與任務(wù)的數(shù)據(jù)依賴性，進(jìn)行設(shè)備間的數(shù)據(jù)同步，得到設(shè)備間的數(shù)據(jù)同步速率；基于動(dòng)態(tài)任務(wù)映射矩陣和設(shè)備間的數(shù)據(jù)同步速率，通過(guò)分布式自適應(yīng)迭代優(yōu)化，生成全局最優(yōu)任務(wù)分配。

6、優(yōu)選的，所述s1，具體包括：

7、引入設(shè)備的處理器性能、設(shè)備當(dāng)前的負(fù)載、設(shè)備的存儲(chǔ)能力以及設(shè)備的網(wǎng)絡(luò)延遲參數(shù)，計(jì)算設(shè)備在不同時(shí)間的處理能力，得到設(shè)備的性能矩陣。

8、優(yōu)選的，所述s1，具體包括：

9、引入任務(wù)的歷史執(zhí)行負(fù)載和任務(wù)的依賴性參數(shù)，對(duì)任務(wù)的復(fù)雜性進(jìn)行量化，得到任務(wù)的復(fù)雜度矩陣。

10、優(yōu)選的，所述s1，具體包括：

11、基于任務(wù)的復(fù)雜度矩陣和設(shè)備的性能矩陣，生成動(dòng)態(tài)任務(wù)映射矩陣，具體公式如下：

12、，

13、其中，表示第個(gè)任務(wù)在時(shí)刻被分配到第個(gè)設(shè)備的動(dòng)態(tài)任務(wù)映射矩陣；是第個(gè)設(shè)備的能量消耗系數(shù)；是在時(shí)刻第個(gè)設(shè)備的性能矩陣；表示第個(gè)任務(wù)在時(shí)刻的復(fù)雜度矩陣。

14、優(yōu)選的，所述s2，具體包括：

15、通過(guò)數(shù)據(jù)依賴性模型，計(jì)算得到設(shè)備與任務(wù)的數(shù)據(jù)依賴性，具體公式如下：

16、，

17、其中，表示第個(gè)任務(wù)和第個(gè)設(shè)備的數(shù)據(jù)依賴性；表示第個(gè)任務(wù)的存儲(chǔ)需求；表示第個(gè)設(shè)備的存儲(chǔ)能力；表示設(shè)備與任務(wù)的數(shù)據(jù)依賴性調(diào)節(jié)參數(shù)；表示數(shù)據(jù)傳輸速度。

18、優(yōu)選的，所述s2，具體包括：

19、基于設(shè)備與任務(wù)的數(shù)據(jù)依賴性，通過(guò)數(shù)據(jù)同步函數(shù)，得到設(shè)備間的數(shù)據(jù)同步速率；在數(shù)據(jù)同步函數(shù)中引入設(shè)備的網(wǎng)絡(luò)延遲、設(shè)備的帶寬，自動(dòng)調(diào)整設(shè)備間的數(shù)據(jù)同步速率。

20、優(yōu)選的，所述s2，具體包括：

21、在分布式自適應(yīng)迭代優(yōu)化的實(shí)現(xiàn)過(guò)程中，基于動(dòng)態(tài)任務(wù)映射矩陣和設(shè)備間的數(shù)據(jù)同步速率，引入設(shè)備的任務(wù)權(quán)重，計(jì)算目標(biāo)損耗函數(shù)，對(duì)當(dāng)前任務(wù)分配的合理性進(jìn)行評(píng)估。

22、優(yōu)選的，所述s2，具體包括：

23、通過(guò)梯度下降法，動(dòng)態(tài)調(diào)整每個(gè)設(shè)備的任務(wù)權(quán)重，對(duì)目標(biāo)損耗函數(shù)進(jìn)行優(yōu)化；根據(jù)每個(gè)設(shè)備更新后的任務(wù)權(quán)重和動(dòng)態(tài)任務(wù)映射矩陣將下一批任務(wù)分配到不同的設(shè)備。

24、本發(fā)明的技術(shù)方案的有益效果是：

25、1、通過(guò)計(jì)算設(shè)備的性能矩陣和任務(wù)的復(fù)雜度矩陣，合理分配任務(wù)到多個(gè)異構(gòu)設(shè)備上，實(shí)現(xiàn)了動(dòng)態(tài)任務(wù)分配；引入正弦函數(shù)，模擬設(shè)備性能的時(shí)間周期性波動(dòng)；通過(guò)引入的動(dòng)態(tài)任務(wù)映射矩陣，可以根據(jù)設(shè)備的性能和任務(wù)的復(fù)雜度，靈活分配任務(wù)，確保每個(gè)設(shè)備在不同時(shí)間段內(nèi)能夠動(dòng)態(tài)調(diào)整處理任務(wù)的優(yōu)先級(jí)，避免了任務(wù)長(zhǎng)期集中在某些設(shè)備上的問(wèn)題，平衡了設(shè)備的負(fù)載，有效提高了多設(shè)備環(huán)境下的任務(wù)分配效率。

26、2、通過(guò)對(duì)設(shè)備的實(shí)際任務(wù)負(fù)載和任務(wù)的復(fù)雜度進(jìn)行精細(xì)計(jì)算，動(dòng)態(tài)調(diào)整設(shè)備的任務(wù)權(quán)重和任務(wù)分配策略，使得復(fù)雜的任務(wù)能夠分配到性能更強(qiáng)的設(shè)備處理，從而最大化利用計(jì)算資源；此外，任務(wù)復(fù)雜度隨時(shí)間的衰減機(jī)制使得部分已處理過(guò)的任務(wù)能夠逐步分配到性能較低的設(shè)備，進(jìn)一步優(yōu)化了計(jì)算資源的整體利用率。

27、3、通過(guò)引入數(shù)據(jù)依賴性模型和數(shù)據(jù)同步速率函數(shù)，確保設(shè)備之間的數(shù)據(jù)一致性能夠得到有效維護(hù)；數(shù)據(jù)依賴性模型能夠動(dòng)態(tài)識(shí)別設(shè)備與任務(wù)之間的數(shù)據(jù)傳輸需求，設(shè)備之間的數(shù)據(jù)同步速率依據(jù)設(shè)備的帶寬、網(wǎng)絡(luò)延遲等實(shí)際情況進(jìn)行自動(dòng)調(diào)整，避免了網(wǎng)絡(luò)擁堵和數(shù)據(jù)沖突的發(fā)生；同時(shí)，通過(guò)對(duì)設(shè)備間網(wǎng)絡(luò)延遲的有效控制，在高數(shù)據(jù)依賴性情況下維持高效的數(shù)據(jù)同步，確保并行任務(wù)之間的數(shù)據(jù)共享及時(shí)、準(zhǔn)確。

28、4、提出了分布式自適應(yīng)迭代優(yōu)化方法，通過(guò)計(jì)算目標(biāo)損耗函數(shù)對(duì)當(dāng)前任務(wù)分配的合理性進(jìn)行評(píng)估；通過(guò)梯度下降法動(dòng)態(tài)調(diào)整設(shè)備的任務(wù)權(quán)重，根據(jù)設(shè)備的實(shí)際任務(wù)負(fù)載、數(shù)據(jù)同步速率以及設(shè)備的負(fù)載調(diào)整速率進(jìn)行優(yōu)化，使得每個(gè)設(shè)備在處理任務(wù)時(shí)負(fù)載均衡，根據(jù)實(shí)際運(yùn)行情況不斷迭代優(yōu)化任務(wù)分配，確保在負(fù)載不均或設(shè)備狀態(tài)發(fā)生變化時(shí)能夠自適應(yīng)調(diào)整任務(wù)負(fù)載。

技術(shù)特征：

1.一種基于多裝置的并行數(shù)據(jù)處理方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于多裝置的并行數(shù)據(jù)處理方法，其特征在于，所述s1，具體包括：

3.根據(jù)權(quán)利要求1所述的一種基于多裝置的并行數(shù)據(jù)處理方法，其特征在于，在所述s1中，還包括：

4.根據(jù)權(quán)利要求1所述的一種基于多裝置的并行數(shù)據(jù)處理方法，其特征在于，在所述s1中，還包括：

5.根據(jù)權(quán)利要求1所述的一種基于多裝置的并行數(shù)據(jù)處理方法，其特征在于，所述s2，具體包括：

6.根據(jù)權(quán)利要求5所述的一種基于多裝置的并行數(shù)據(jù)處理方法，其特征在于，在所述s2中，還包括：

7.根據(jù)權(quán)利要求1所述的一種基于多裝置的并行數(shù)據(jù)處理方法，其特征在于，在所述s2中，還包括：

8.根據(jù)權(quán)利要求7所述的一種基于多裝置的并行數(shù)據(jù)處理方法，其特征在于，在所述s2中，還包括：

技術(shù)總結(jié)
本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種基于多裝置的并行數(shù)據(jù)處理方法。內(nèi)容包括：計(jì)算設(shè)備的性能矩陣和任務(wù)的復(fù)雜度矩陣，并進(jìn)行結(jié)合，生成動(dòng)態(tài)任務(wù)映射矩陣；基于動(dòng)態(tài)任務(wù)映射矩陣，進(jìn)行動(dòng)態(tài)任務(wù)分配，然后計(jì)算設(shè)備與任務(wù)的數(shù)據(jù)依賴性，并進(jìn)行設(shè)備間的數(shù)據(jù)同步，得到設(shè)備間的數(shù)據(jù)同步速率；通過(guò)分布式自適應(yīng)迭代優(yōu)化，生成全局最優(yōu)任務(wù)分配。解決了傳統(tǒng)方法未充分考慮設(shè)備間性能的差異性、網(wǎng)絡(luò)延遲和存儲(chǔ)能力的不同，導(dǎo)致計(jì)算資源浪費(fèi)和系統(tǒng)整體效率的低下；忽略了任務(wù)復(fù)雜度隨著時(shí)間的變化以及設(shè)備性能波動(dòng)的影響，導(dǎo)致任務(wù)處理時(shí)間延長(zhǎng)；未能合理調(diào)整數(shù)據(jù)同步速率，容易導(dǎo)致數(shù)據(jù)傳輸瓶頸和網(wǎng)絡(luò)擁堵，嚴(yán)重影響系統(tǒng)的并行處理性能的問(wèn)題。

技術(shù)研發(fā)人員：周承輝,劉明華,王莉,石鵬
受保護(hù)的技術(shù)使用者：威海眾達(dá)信息科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21