99] Pru (outage | at)。
[0100] 因此，在t時隙的實際成功傳輸速率也取決于中斷概率。即：
[0102] 對于網絡化MDP，本方案的理念為定義為一系列動作的策略，其中，所述動作將所 述回報最大化或將成本最小化。
[0103] 為了解決上述隨機優(yōu)化問題，一種通用的方法為使用對于信度狀態(tài)的動態(tài)編程， 其中，所述動態(tài)編程為前一個動作和觀測歷史中的充分統(tǒng)計量。t時隙時的信度狀態(tài)1^表 示為該狀態(tài)空間的概率分布。相應地，t時隙時的狀態(tài)為概率由b 表示為b(s t)的 對應元素給定。
[0104] 圖5所示的定向圖形化模型240示出了觀測值和實際狀態(tài)之間的關系。每個節(jié)點 代表一個隨機變量，箭頭代表條件概率，虛線代表兩個隨機變量是相等的。第一行隨機變量 包括系統(tǒng)的狀態(tài)，所述狀態(tài)形成第一級馬爾可夫鏈。第二行是一系列的觀測值。相鄰狀態(tài) 之間的箭頭為狀態(tài)轉移函數，而一種特定狀態(tài)與對應的觀測值之間的箭頭為觀測函數。
[0105] 利用諸如時間戳的技術，可以確定時延步長d的數量。所述觀測值為延遲了 d個 步長的實際狀態(tài)。即，對于兩個隨機變量〇JPSt:
[0106] 〇t= S 1 d，t = d+1。
[0107] 因此，所述信度狀態(tài)為：
[0112] 第三個等式由FSMC信道模型中假設的第一級馬爾可夫屬性得到，Td是所述d步概 率轉移矩陣。
[0113] 當時延步長數不易確定時，仍可以確定所述信度狀態(tài)?？梢约僭O在t時隙，系統(tǒng)的 觀測值為〇 e 〇,這是根據B個信道的觀測值決定的。觀測函數0(.)本質上描述了觀測值 0 e 〇和狀態(tài)s e s之間的概率關系。形式上，觀測值也是所采取的動作的函數。但是，在 本示例中，所述觀測值與所采取的動作無關，且被定義為：
[0114] 0 (s，〇) = Pr (〇 | s)。
[0115] 給定t+1，〇t+1時刻的新觀測值，則新的信度應該反映在新狀態(tài)s Μ結束的可能性， 觀測值〇Μ的可能性，以及前一個信度分布ΙΛ根據前一個信度狀態(tài)以及當前的觀測值更 新所述信度狀態(tài)的規(guī)則基于貝葉斯規(guī)則，被定義為：
[0116] b (st+1) = Pr (st+11 ot+1, b1)
[0118] 第二個等式基于這樣的事實：信道動態(tài)參數與集群以及速率分配動作無關。
[0119] CoMP系統(tǒng)的示例比網絡化MDP的示例簡單，因為只在子系統(tǒng)（BS)和中心控制器之 間存在時延。通常，在網絡化MDP中，子系統(tǒng)之間也存在時延。例如，因為UE和BS之間的 信道相互獨立，系統(tǒng)狀態(tài)為馬爾可夫。因此，如果對所述系統(tǒng)狀態(tài)進行理想的觀測，則這是 一個馬爾可夫決策過程（MDP)。然而，因為中心控制器只能觀測到實際系統(tǒng)狀態(tài)的過時版 本，即，只能觀測到所述系統(tǒng)狀態(tài)的一部分，所以，這是一個部分可觀測的馬爾可夫決策過 程（P0MDP)。用于解決網絡化MDP模型的動態(tài)編程方法的復雜性在于PSPACE，這給大狀態(tài) 空間和范圍的實現(xiàn)造成問題。貪婪策略使預期即時傳輸速率最大化，即，在t時隙采取的動 作為：
[0121] 使用馬爾可夫鏈信道模型估算中斷概率。給定速率分配1^和集群動作，則所述中 斷概率估算如下：
[0123] 這是信道處于分配的傳輸速率&大于信道容量C(s'）的狀態(tài)下的概率?？梢钥?出，在上行CoMP中，貪婪策略為最優(yōu)的策略。
[0124] 策略的最優(yōu)性基于這樣的事實：信道狀態(tài)的動態(tài)與所采取的動作無關。在范圍h =1時，所采取的最優(yōu)動作是將以下公式最大化：
[0126] 這是用于將預期的回報最大化的貪婪策略中所給定的動作。假設在范圍h中，其 中，h多1，優(yōu)化策略為貪婪策略。則，在范圍h+Ι中：
[0128] 因此，假設所述貪婪策略將上述等式中的第一項最大化，則為了最大化總預期回 報而采取的動作為最大化第二項，這和范圍為1時的情況相同。因此，貪婪策略是CoMP集 群問題的最優(yōu)策略。
[0129] 圖6示出了用于集群和速率分配的系統(tǒng)130。中心控制器132包括信道預測塊136 和集群、功率和速率分配塊138,而無線網絡134包括無線網絡140。在信道預測塊136中 預測信道?；跓o線網絡140中的信道測量預測信道。例如，還基于外線網絡140中的CSI 時延預測信道?；蛘?，不考慮所述CSI時延。
[0130] 所述集群、功率和速率分配塊138基于用戶流量以及信道預測塊136的信道預測 作出決策。
[0131] 所述決策被傳遞到所述無線網絡140中。所述無線網絡140可以輸出其性能。
[0132] 圖7示出了用于集群和速率分配的系統(tǒng)150。時延補償集中于中心控制器152,所 述中心控制器152與無線網絡154進行交互。數據庫156中存儲了歷史UE位置和速度的 信道信息。所存儲的數據包括UE的歷史位置和速度以及關于信道的信息。該信息從無線 網絡158中接收。
[0133] 控制塊160基于數據庫156中的信息以及無線網絡158中的信息作出決策。在控 制塊160中，信道模型基于所述數據庫156中存儲的信息、所述無線網絡158的性能以及所 述無線網絡158的CSI時延以及時間信息建立信道的模型。例如，使用FSMC信道模型?；?者，使用其他信道模型。信道模型162可以為有限狀態(tài)機器。
[0134] 然后，集群、功率和速率分配塊164基于信道模型162中的信道模型以及無線網絡 158中的信道測量作出決策。所述信道測量可以基于回程性能延遲大約5-10ms。確定UE 傳輸的功率和速率分配。同時，確定多個BS的集群。這可以通過多輸入多輸出（MHTO)實 現(xiàn)。伴隨著衰落，確定所述信道位于預期信道的X dB內的概率。
[0135] 然后，無線網絡158基于中心控制器152的決策進行操作。所述集群和速率分配 應用于通信系統(tǒng)。
[0136] 圖8示出了分布式系統(tǒng)中用于集群和速率分配的系統(tǒng)170。一些計算是由中心控 制器172執(zhí)行的，一些計算是由無線網絡174執(zhí)行的。中心控制器172包含控制塊182。在 控制塊182中，中心信道模型184基于量化等級、狀態(tài)轉移函數以及來自于無線網絡174中 的本地信道模型180和本地信道模型180中的FSMC狀態(tài)索引的觀測函數或CSI時延建立 信道的模型。所述FSMC狀態(tài)索引在短信息中傳輸，而所述量化等級、狀態(tài)轉移函數、觀測函 數或CSI時延在長信息中傳輸。例如，中心信道模型184為FSMC信道模型。中心信道模型 184確定預期的時延以及建模方法，以及信道狀態(tài)的數量，這些都被輸出到無線網絡174的 本地信道模型180中。
[0137] 集群、功率和速率分配塊186基于中心信道模型184的信道模型和用戶流量作出 決策。
[0138] 所述決策被輸出至無線網絡174中的本地節(jié)點176。本地節(jié)點176可以為基站。 本地節(jié)點176確定UE的信道測量、性能、位置以及速度。所述位置和速度存儲在數據庫178 中。所述數據庫178中存儲了信道信息、位置和速度。所述性能和信道測量被傳遞至本地 信道模型180。本地信道模型180可以為FSMC模型。
[0139] 圖9示出了用于估計CSI的系統(tǒng)190,其中，所述CSI造成了 CSI時延。信道歷史 觀測值存儲在信道歷史觀測值塊192中。例如，由FSMC模型建立信道的模型。所述FSMC 模型包括狀態(tài)轉移函數194和觀測函數196。
[0140] 所述觀測函數196為FSMC中的觀測函數。
[0141] CSI時延198為所述CSI時延。
[0142] 過時的信道狀態(tài)200中包含已知CSI。CSI信息確定之后，信道就發(fā)生了改變。
[0143] 所述狀態(tài)轉移函數194是馬爾可夫鏈中兩種狀態(tài)的概率。所述狀態(tài)轉移函數194、 觀測函數196、CSI時延198以及過時的信道狀態(tài)200用于確定信度狀態(tài)202。所述信度狀 態(tài)202為實際信道狀態(tài)的概率質量函數（PMF)。
[0144] 基于所述信度狀態(tài)202作出最優(yōu)決策204。所述最優(yōu)決策為將平均總吞吐量最大 化的決策。
[0145] 圖10示出了確定控制器執(zhí)行的集群和速率分配的方法的流程圖340。首先，在 步驟348中，所述控制器接收來自網絡中的基站的信息。當使用集中式方法時，使用網絡 中UE的位置和速度、CSI時延以及時間信息。同時，接收信道測量，所述信道測量可以延遲 5-10ms。當使用集中式方法時，所述控制器還接收網絡的性能。在所述集中式方法中，位 置和速度信息存儲在包含信道信息、位置和速度的數據庫中。當使用分布式方法時，可以接 收短消息和長消息。所述短消息包括FSMC狀態(tài)索引，而長消息包括量化等級、狀態(tài)轉移函 數以及觀測函數或CSI時延。
[0146] 在步驟342中，例如，使用FSMC建立信道的模型。在集中式方法中，從數據出中讀 出信道信息，例如，UE的歷史位置和速度。馬爾可夫鏈是在狀態(tài)空間中經歷從一種狀態(tài)轉移 到另一種狀態(tài)的數學系統(tǒng)。其特點通常是無記憶性。確定狀態(tài)轉移函數，其中，所述狀態(tài)轉 移函數是馬爾可夫鏈中兩種狀態(tài)的概率。同時，確定觀測函數。如果上行CoMP系統(tǒng)中，每 個小區(qū)有B個基站和一個UE，則從UE Uj的發(fā)射天線到BS b ^的接收天線上的信道的FSMC 的狀態(tài)空間為Sbl,uj，其中，i，j = 1，2,…，B。整個網絡化MDP系統(tǒng)的狀態(tài)空間為所有B2個 FSMC的笛卡爾乘積。
[0148] 所述狀態(tài)空間的大小為凝其中，Μ是FSMC的狀態(tài)的數量。FSMC信道模型中給 出狀態(tài)轉移函數T :
[0151] 進行復雜優(yōu)化。在t時隙，中心控制器選擇協(xié)作BS，為UE分配速率。^時刻的集 群動作表示為Q[t]，其為整個網絡的一部分。作為B個元素的矢量的速率分配表示為：
[0152] =
[0153] 整體的動作為：
[0154] a[t] = { Ω [t]，