服務(wù)器負(fù)載均衡方法和裝置制造方法
【專利摘要】本發(fā)明提供一種服務(wù)器負(fù)載均衡方法和裝置。該方法包括：接收并解析用戶提交的包括應(yīng)用請求、應(yīng)用請求所屬應(yīng)用的標(biāo)識以及應(yīng)用的已部署服務(wù)器列表的應(yīng)用請求信息，服務(wù)器列表中的每個服務(wù)器中可部署至少一個應(yīng)用；將應(yīng)用請求發(fā)送至服務(wù)器列表中吞吐量小于吞吐量閾值的服務(wù)器中進行處理，各服務(wù)器的吞吐量和吞吐量閾值分別根據(jù)部署在各服務(wù)器中的每個應(yīng)用的請求到達率和在單應(yīng)用環(huán)境下的請求到達率閾值得到。本發(fā)明提供的服務(wù)器負(fù)載均衡方法和裝置，通過將應(yīng)用請求發(fā)送至吞吐量小于吞吐量閾值的服務(wù)器中，有效地保證了服務(wù)器中所有應(yīng)用的服務(wù)質(zhì)量需求。
【專利說明】服務(wù)器負(fù)載均衡方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機【技術(shù)領(lǐng)域】，尤其涉及一種服務(wù)器負(fù)載均衡方法和裝置。
【背景技術(shù)】
[0002]近年來隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，云計算在商業(yè)界與學(xué)術(shù)界都得到了廣泛的應(yīng)用與研究。云計算的關(guān)鍵特征是按需提供服務(wù)，根據(jù)云計算中提供的服務(wù)的層次，可以將云計算的主要服務(wù)分為云應(yīng)用、云平臺及云基礎(chǔ)設(shè)施3個層次。
[0003]多租戶(mult1-tenancy)技術(shù)，也稱為多重租賃技術(shù)，是一種軟件架構(gòu)技術(shù)，用于實現(xiàn)如何在多用戶環(huán)境下共用相同的系統(tǒng)或程序組件，并確保各用戶間數(shù)據(jù)的隔離性。多租戶技術(shù)應(yīng)用于云平臺中，是指多個應(yīng)用共享同一個操作系統(tǒng)實例即同一個服務(wù)器。
[0004]現(xiàn)有技術(shù)中，隨著分布式集群等技術(shù)的發(fā)展，一個網(wǎng)絡(luò)Web應(yīng)用能夠同時運行于不同的服務(wù)器節(jié)點中，從而為持續(xù)增長的用戶提供服務(wù)。負(fù)載均衡策略，即根據(jù)各個服務(wù)器的負(fù)載情況，把一個應(yīng)用的多個應(yīng)用請求分配給不同的服務(wù)器節(jié)點，使得多個服務(wù)器可以同時參與相同的工作，提高應(yīng)用的伸縮性。
[0005]但現(xiàn)有的負(fù)載均衡方法，只適用于傳統(tǒng)環(huán)境(例如分布式集群計算)，對于采用多租戶技術(shù)的云平臺，由于未考慮多個應(yīng)用之間的相互競爭，當(dāng)分配至某個服務(wù)器的應(yīng)用請求的數(shù)量很大時，很可能導(dǎo)致該服務(wù)器的負(fù)載過大，無法保證部署在該服務(wù)器中的所有應(yīng)用的服務(wù)質(zhì)量需求。

【發(fā)明內(nèi)容】

[0006]本發(fā)明提供一種服務(wù)器負(fù)載均衡方法和裝置，用以解決現(xiàn)有技術(shù)中存在的對于采用多租戶技術(shù)的云平臺，無法保證所有應(yīng)用的服務(wù)質(zhì)量需求的問題。
[0007]—方面，本發(fā)明提供了一種服務(wù)器負(fù)載均衡方法，包括:
[0008]接收并解析用戶提交的應(yīng)用請求信息，所述應(yīng)用請求信息中包括應(yīng)用請求、所述應(yīng)用請求所屬應(yīng)用的標(biāo)識以及所述應(yīng)用的已部署服務(wù)器列表，所述服務(wù)器列表中的每個服務(wù)器中可部署至少一個應(yīng)用；
[0009]將所述應(yīng)用請求發(fā)送至所述服務(wù)器列表中吞吐量小于吞吐量閾值的服務(wù)器中進行處理，各服務(wù)器的吞吐量根據(jù)部署在各服務(wù)器中的每個應(yīng)用的請求到達率得到，各服務(wù)器的吞吐量閾值根據(jù)部署在各服務(wù)器中的每個應(yīng)用在單應(yīng)用環(huán)境下的請求到達率閾值得到。
[0010]另一方面，本發(fā)明提供了一種服務(wù)器負(fù)載均衡裝置，包括:
[0011]接收模塊，用于接收并解析用戶提交的應(yīng)用請求信息，所述應(yīng)用請求信息中包括應(yīng)用請求、所述應(yīng)用請求所屬應(yīng)用的標(biāo)識以及所述應(yīng)用的已部署服務(wù)器列表，所述服務(wù)器列表中的每個服務(wù)器中可部署至少一個應(yīng)用；
[0012]發(fā)送模塊，用于將所述應(yīng)用請求發(fā)送至所述服務(wù)器列表中吞吐量小于吞吐量閾值的服務(wù)器中進行處理，各服務(wù)器的吞吐量根據(jù)部署在各服務(wù)器中的每個應(yīng)用的請求到達率得到，各服務(wù)器的吞吐量閾值根據(jù)部署在各服務(wù)器中的每個應(yīng)用在單應(yīng)用環(huán)境下的請求到達率閾值得到。
[0013]本發(fā)明提供的服務(wù)器負(fù)載均衡方法和裝置，通過將應(yīng)用請求發(fā)送至可部署至少一個應(yīng)用且吞吐量小于吞吐量閾值的服務(wù)器中，其中服務(wù)器的吞吐量和吞吐量閾值根據(jù)該服務(wù)器中每個應(yīng)用的請求到達率和在單應(yīng)用環(huán)境下的請求到達率閾值得到，有效地保證了服務(wù)器中所有應(yīng)用的服務(wù)質(zhì)量需求。
【專利附圖】

【附圖說明】
[0014]圖1為本發(fā)明提供的服務(wù)器負(fù)載均衡方法一個實施例的流程示意圖；
[0015]圖2為本發(fā)明提供的服務(wù)器負(fù)載均衡方法又一個實施例的流程示意圖；
[0016]圖3為本發(fā)明提供的服務(wù)器負(fù)載均衡裝置一個實施例的結(jié)構(gòu)示意圖。
【具體實施方式】
[0017]下面通過具體的實施例及附圖，對本發(fā)明的技術(shù)方案做進一步的詳細(xì)描述。
[0018]圖1為本發(fā)明提供的服務(wù)器負(fù)載均衡方法一個實施例的流程示意圖。如圖1所示，該方法具體可以包括:
[0019]S101，接收并解析用戶提交的應(yīng)用請求信息，應(yīng)用請求信息中包括應(yīng)用請求、應(yīng)用請求所屬應(yīng)用的標(biāo)識以及應(yīng)用的已部署服務(wù)器列表，服務(wù)器列表中的每個服務(wù)器中可部署至少一個應(yīng)用。
[0020]具體的，本實施例提供的服務(wù)器負(fù)載均衡方法適用于多個應(yīng)用共享同一個服務(wù)器的情況，每個服務(wù)器中包括多個中央處理器(Central Processing Unit,簡稱CPU)核心,且服務(wù)器中部署的多個應(yīng)用為CPU密集型應(yīng)用，即同一個服務(wù)器中的多個應(yīng)用之間存在競爭資源的關(guān)系。
[0021]接收并解析用戶通過客戶端等提交的應(yīng)用請求信息，應(yīng)用請求信息具體可以為網(wǎng)絡(luò)Web應(yīng)用請求信息，例如Servlet等應(yīng)用請求信息。應(yīng)用請求信息中包括該應(yīng)用請求所屬應(yīng)用的標(biāo)識，用于標(biāo)識該請求是屬于哪個應(yīng)用的一個請求。應(yīng)用請求信息中還包括該應(yīng)用的已部署服務(wù)器列表，即每個應(yīng)用對應(yīng)的服務(wù)器為預(yù)先部署好的，每個服務(wù)器中可部署多個應(yīng)用，每個應(yīng)用的多個應(yīng)用請求被分配至不同的服務(wù)器中，使得多個服務(wù)器同時參與相同的工作，提高應(yīng)用的伸縮性。
[0022]S102，將應(yīng)用請求發(fā)送至服務(wù)器列表中吞吐量小于吞吐量閾值的服務(wù)器中進行處理，各服務(wù)器的吞吐量根據(jù)部署在各服務(wù)器中的每個應(yīng)用的請求到達率得到，各服務(wù)器的吞吐量閾值根據(jù)部署在各服務(wù)器中的每個應(yīng)用在單應(yīng)用環(huán)境下的請求到達率閾值得到。
[0023]具體的，將上述服務(wù)器列表中的每個服務(wù)器的吞吐量和各自的吞吐量閾值進行比較，如果存在吞吐量小于吞吐量閾值的服務(wù)器，則將該應(yīng)用請求發(fā)送至該服務(wù)器中，如果不存在吞吐量小于吞吐量閾值的服務(wù)器，則丟棄該應(yīng)用請求。每個應(yīng)用在單應(yīng)用環(huán)境下的請求到達率閾值，即服務(wù)器中只部署一個應(yīng)用的情況下，該應(yīng)用的請求到達率閾值。
[0024]本實施例提供的服務(wù)器負(fù)載均衡方法，通過將應(yīng)用請求發(fā)送至可部署至少一個應(yīng)用且吞吐量小于吞吐量閾值的服務(wù)器中，其中服務(wù)器的吞吐量和吞吐量閾值根據(jù)該服務(wù)器中多個應(yīng)用的請求到達率和在單應(yīng)用環(huán)境下的請求到達率閾值得到，有效地保證了服務(wù)器中所有應(yīng)用的服務(wù)質(zhì)量需求。
[0025]圖2為本發(fā)明提供的服務(wù)器負(fù)載均衡又一個實施例的流程示意圖。如圖2所示，該方法具體可以包括:
[0026]S201，根據(jù)服務(wù)器中每個應(yīng)用的平均響應(yīng)時間閾值，計算服務(wù)器的吞吐量閾值。具體為:
[0027]根據(jù)服務(wù)器中每個應(yīng)用的平均響應(yīng)時間閾值，計算服務(wù)器中每個應(yīng)用在單應(yīng)用環(huán)境下的請求到達率閾值；
[0028]根據(jù)服務(wù)器中每個應(yīng)用在單應(yīng)用環(huán)境下的請求到達率閾值、服務(wù)器中每個應(yīng)用的平均處理時間以及服務(wù)器的中央處理器核心數(shù)量，計算服務(wù)器中每個應(yīng)用在單應(yīng)用環(huán)境下的負(fù)載強度閾值；
[0029]將服務(wù)器中每個應(yīng)用在單應(yīng)用環(huán)境下的負(fù)載強度閾值中的最小值作為服務(wù)器的負(fù)載強度閾值，并將服務(wù)器的負(fù)載強度閾值和服務(wù)器的中央處理器核心數(shù)量相乘，得到服務(wù)器的吞吐量閾值。
[0030]具體的，本實施例提供的服務(wù)器負(fù)載均衡方法適用于多個應(yīng)用共享同一個服務(wù)器的情況，每個服務(wù)器中包括多個CPU核心，且服務(wù)器中部署的多個應(yīng)用為CPU密集型應(yīng)用，即同一個服務(wù)器中的多個應(yīng)用之間存在競爭資源的關(guān)系。
[0031]可以采用排隊模型對多應(yīng)用服務(wù)器進行建模，一個典型的排隊模型由輸入過程、排隊規(guī)則和服務(wù)過程三部分組成。通常假定應(yīng)用請求的到達過程為泊松過程，排隊規(guī)則為先來先服務(wù)，服務(wù)過程為應(yīng)用請求在服務(wù)臺中的處理過程，應(yīng)用請求在服務(wù)器中的響應(yīng)時間為等待時間加上處理時間。
[0032]排隊過程屬于馬爾可夫過程，可以用某個時刻服務(wù)器中應(yīng)用請求的數(shù)量來表示服務(wù)器的狀態(tài)，應(yīng)用請求的到達或完成可以用應(yīng)用請求數(shù)量的變化，即服務(wù)器狀態(tài)的轉(zhuǎn)換來表示。假設(shè)給定應(yīng)用請求的到達分布與處理時間分布，則可以構(gòu)造出該服務(wù)器的狀態(tài)轉(zhuǎn)移概率矩陣。
[0033]一個排隊模型可以由六個系數(shù)表示，例如A/S/c/K/N/D。其中，A表示應(yīng)用請求到達間隔時間的分布，S表不應(yīng)用請求的處理時間分布,c表不服務(wù)器中CPU核心的數(shù)量,K表示服務(wù)器最大可容納的應(yīng)用請求的數(shù)量，N表示應(yīng)用請求的數(shù)量，D表示排隊規(guī)則。在實際應(yīng)用中，最后兩個系數(shù)通常被省略，即表示應(yīng)用請求的數(shù)量為無限多個，且排隊規(guī)則為先來先服務(wù)。
[0034]本實施例中，采用的排隊模型具體為M/G/s/s+r，其中，M表示應(yīng)用請求到達間隔時間的分布為泊松分布，G表不應(yīng)用請求的處理時間分布為一般分布，s表不服務(wù)器中CPU核心的數(shù)量為s個，r表示隊列長度，s+r表示服務(wù)器最大可容納的應(yīng)用請求的數(shù)量為s+r個。由于該模型中應(yīng)用請求的處理時間為一般分布，因而不再具有負(fù)指數(shù)分布的無記憶性，目前還沒有確定性的解法。鑒于此，本實施例采用T.Kimura的近似方法，得出M/G/s/s+r排隊模型在平穩(wěn)狀態(tài)下應(yīng)用請求數(shù)量的概率分布如下:
【權(quán)利要求】
1.一種服務(wù)器負(fù)載均衡方法，其特征在于，包括: 接收并解析用戶提交的應(yīng)用請求信息，所述應(yīng)用請求信息中包括應(yīng)用請求、所述應(yīng)用請求所屬應(yīng)用的標(biāo)識以及所述應(yīng)用的已部署服務(wù)器列表，所述服務(wù)器列表中的每個服務(wù)器中可部署至少一個應(yīng)用； 將所述應(yīng)用請求發(fā)送至所述服務(wù)器列表中吞吐量小于吞吐量閾值的服務(wù)器中進行處理，各服務(wù)器的吞吐量根據(jù)部署在各服務(wù)器中的每個應(yīng)用的請求到達率得到，各服務(wù)器的吞吐量閾值根據(jù)部署在各服務(wù)器中的每個應(yīng)用在單應(yīng)用環(huán)境下的請求到達率閾值得到。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述接收用戶提交的應(yīng)用請求信息之前，還包括: 根據(jù)所述服務(wù)器中每個應(yīng)用的平均響應(yīng)時間閾值，計算所述服務(wù)器的吞吐量閾值。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述服務(wù)器中每個應(yīng)用的平均響應(yīng)時間閾值，計算所述服務(wù)器的吞吐量閾值，包括: 根據(jù)所述服務(wù)器中每個應(yīng)用的平均響應(yīng)時間閾值，計算所述服務(wù)器中每個應(yīng)用在單應(yīng)用環(huán)境下的請求到達率閾值； 根據(jù)所述服務(wù)器中每個應(yīng)用在單應(yīng)用環(huán)境下的請求到達率閾值、所述服務(wù)器中每個應(yīng)用的平均處理時間以及所述服務(wù)器的中央處理器核心數(shù)量，計算所述服務(wù)器中每個應(yīng)用在單應(yīng)用環(huán)境下的負(fù)載強 度閾值； 將所述服務(wù)器中每個應(yīng)用在單應(yīng)用環(huán)境下的負(fù)載強度閾值中的最小值作為所述服務(wù)器的負(fù)載強度閾值，并將所述服務(wù)器的負(fù)載強度閾值和所述服務(wù)器的中央處理器核心數(shù)量相乘，得到所述服務(wù)器的吞吐量閾值。
4.根據(jù)權(quán)利要求1-3任一項所述的方法，其特征在于，所述接收用戶提交的應(yīng)用請求信息之前，還包括: 將所述服務(wù)器中每個應(yīng)用的平均處理時間和請求到達率的乘積相加，得到所述服務(wù)器的吞吐量。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述應(yīng)用請求發(fā)送至所述服務(wù)器列表中吞吐量小于吞吐量閾值的服務(wù)器中進行處理之后，還包括: 更新所述服務(wù)器的吞吐量。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述更新所述服務(wù)器的吞吐量，包括: 更新所述服務(wù)器中所述應(yīng)用的請求到達率； 根據(jù)所述應(yīng)用的平均處理時間、更新后所述服務(wù)器中所述應(yīng)用的請求到達率以及所述服務(wù)器中其他應(yīng)用的平均處理時間以及請求到達率，更新所述服務(wù)器的吞吐量。
7.一種服務(wù)器負(fù)載均衡裝置，其特征在于，包括: 接收模塊，用于接收并解析用戶提交的應(yīng)用請求信息，所述應(yīng)用請求信息中包括應(yīng)用請求、所述應(yīng)用請求所屬應(yīng)用的標(biāo)識以及所述應(yīng)用的已部署服務(wù)器列表，所述服務(wù)器列表中的每個服務(wù)器中可部署至少一個應(yīng)用； 發(fā)送模塊，用于將所述應(yīng)用請求發(fā)送至所述服務(wù)器列表中吞吐量小于吞吐量閾值的服務(wù)器中進行處理，各服務(wù)器的吞吐量根據(jù)部署在各服務(wù)器中的每個應(yīng)用的請求到達率得到，各服務(wù)器的吞吐量閾值根據(jù)部署在各服務(wù)器中的每個應(yīng)用在單應(yīng)用環(huán)境下的請求到達率閾值得到。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，還包括: 計算模塊，用于在所述接收模塊接收用戶提交的應(yīng)用請求信息之前，根據(jù)所述服務(wù)器中每個應(yīng)用的平均響應(yīng)時間閾值，計算所述服務(wù)器的吞吐量閾值。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述計算模塊具體用于: 根據(jù)所述服務(wù)器中每個應(yīng)用的平均響應(yīng)時間閾值，計算所述服務(wù)器中每個應(yīng)用在單應(yīng)用環(huán)境下的請求到達率閾值； 根據(jù)所述服務(wù)器中每個應(yīng)用在單應(yīng)用環(huán)境下的請求到達率閾值、所述服務(wù)器中每個應(yīng)用的平均處理時間以及所述服務(wù)器的中央處理器核心數(shù)量，計算所述服務(wù)器中每個應(yīng)用在單應(yīng)用環(huán)境下的負(fù)載強度閾值； 將所述服務(wù)器中每個應(yīng)用在單應(yīng)用環(huán)境下的負(fù)載強度閾值中的最小值作為所述服務(wù)器的負(fù)載強度閾值，并將所述服務(wù)器的負(fù)載強度閾值和所述服務(wù)器的中央處理器核心數(shù)量相乘，得到所述服務(wù)器的吞吐量閾值。
10.根據(jù)權(quán)利要求7-9任一項所述的裝置，其特征在于，所述計算模塊還用于: 在所述接收模塊接收用戶提交的應(yīng)用請求信息之前，將所述服務(wù)器中每個應(yīng)用的平均處理時間和請求到達率 的乘積相加，得到所述服務(wù)器的吞吐量。
【文檔編號】H04L12/803GK103546542SQ201310456198
【公開日】2014年1月29日 申請日期:2013年9月29日 優(yōu)先權(quán)日:2013年9月29日
【發(fā)明者】孫海龍, 劉旭東, 趙濤, 唐宇 申請人:北京航空航天大學(xué)