專利名稱：：Ising圖模型的區(qū)間傳播推理方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及圖模型上的近似概率推理方法，尤其是Ising圖模型上的近似變分推理方法。
背景技術(shù)：
：1.Ising圖模型Ising圖模型(Isinggraphicalmodel)起源于統(tǒng)計(jì)物理學(xué)，是基于二值隨機(jī)向量的馬爾可夫隨機(jī)場(chǎng)模型，為圖像分析和自然語(yǔ)言處理等領(lǐng)域提供了重要的建模方法。它是建立在圖結(jié)構(gòu)G^F,五)上的概率模型，其中節(jié)點(diǎn)集r對(duì)應(yīng)于Bernoulli隨機(jī)向量P^，…，xje(0，ir，邊集五對(duì)應(yīng)于變量間的條件獨(dú)立性關(guān)系。Ising圖模型的指數(shù)族概率密度分布p(x，^)為<formula>formulaseeoriginaldocumentpage4</formula>其中，《,A表示模型參數(shù)，且V(/,刀g五，《=0;J(P)表示模型的對(duì)數(shù)配分函數(shù)。在Ising圖模型上，概率推理的關(guān)鍵問(wèn)題是計(jì)算對(duì)數(shù)配分函數(shù)J(S)和邊緣概率分布Wx,)，對(duì)于一般Ising圖模型，精確推理方法計(jì)算X(0)的計(jì)算復(fù)雜度隨模型規(guī)模而指數(shù)級(jí)增加，故發(fā)展了各種近似推理方法，如采樣方法、變分方法等。2.Ising均值場(chǎng)Ising均值場(chǎng)(Isingmeanfield)是Ising圖模型上一種基本的變分推理(varitionalinference)方法，其基本思想是通過(guò)變分轉(zhuǎn)換把概率推理問(wèn)題轉(zhuǎn)化為泛函極值問(wèn)題，并通過(guò)求解泛函極值計(jì)算出配分函數(shù)下界及變量期望近似值。該方法具有簡(jiǎn)明的變分形式、較好的近似效果，是處理大規(guī)模復(fù)雜數(shù)據(jù)的重要工具。變分推理是通過(guò)最小化自由分布《(x)與原分布/(;c)之間的KL距離，把概率推理問(wèn)題轉(zhuǎn)化為泛函極值問(wèn)題，并通過(guò)求解泛函極值計(jì)算對(duì)數(shù)配分函數(shù)J(P)及變量期望。分布與p(X)之間的KL距離為<formula>formulaseeoriginaldocumentpage4</formula>通過(guò)最小化KL距離進(jìn)行變分轉(zhuǎn)換得,=maxj》OMx;,翰(x))^(1)其中，熵函數(shù)i/(《(x))二-J^(x)log《(x)。由于精確求解變分式(1)的計(jì)算復(fù)雜性較高，Ising均值場(chǎng)在自由分布可處理約束子集M^t^M上，計(jì)算j(0的下界和變量期望近似值。M^t上的自由分布《(x)是定義在不相交變量簇^,…，cJ上的完全分解形式《(x^]"[:^(0，艮pf—附—1Kact=j《")i《w=[，La=lJ則Ising均值場(chǎng)變分式為，)2max乂S《(x)vO;P)+1。(2)根據(jù)歐拉方程可得到變分式(2)的附個(gè)均值場(chǎng)迭代式，其中對(duì)應(yīng)于變量簇Ca的均值場(chǎng)迭代式為i;+1:《％[，(3)《。(',力氣其中，1.^表示變量簇C"a對(duì)應(yīng)的節(jié)點(diǎn)集。2.五表示變量簇Ca上的邊集。3.&表示分布參數(shù)&=6,+ZA/",，,eW(Ca,')iiv(Ca，/)=W(,，/)e￡，/e^，w^}'一p變量期望/z,S^(Cp)x,，其中x,ecp根據(jù)迭代式(3)可計(jì)算出變量期望近似值，并把變量期望帶入變分式(2)可計(jì)算出對(duì)數(shù)配分函數(shù)下界。求解泛函極值是變分推理的重要步驟，也是推理過(guò)程的計(jì)算核心。直接利用泛函迭代式可計(jì)算出泛函收斂值，但其完整地迭代過(guò)程使整個(gè)模型信息深度交叉，不僅計(jì)算復(fù)雜性較高，而且不利于增加新信息，故發(fā)展了不完全迭代下的近似變分推理方法?，F(xiàn)有的近似變分推理方法包括基于信念傳播的局部訓(xùn)練方法(localtrainingmethod)和基于信念傳播BP-SAW方法。局部訓(xùn)練方法利用初步幾次信念消息迭代來(lái)計(jì)算模型配分函數(shù)，可在局部信息下對(duì)模型參數(shù)進(jìn)行單獨(dú)訓(xùn)練，降低了計(jì)算復(fù)雜性，也方便了增加新信息，但局部訓(xùn)練方法難以度量近似信念傳播的計(jì)算精度。BP-SAW方法在圖模型SAW(self-avoidingwalk)計(jì)算樹上執(zhí)行有限次信念傳播，計(jì)算出邊緣概率近似分布，并基于消息誤差概念給出了近似分布誤差界，但是該方法需在整個(gè)模型上進(jìn)行消息傳播，計(jì)算復(fù)雜度較高。已有的這些近似變分推理方法主要基于信念傳播進(jìn)行近似計(jì)算研究，而很少考慮其他變分推理方法，如均值場(chǎng)推理方法；同時(shí)計(jì)算精度是近似變分推理研究的重要指標(biāo)，而這些方法或難以分析計(jì)算精度，如局部訓(xùn)練方法，或計(jì)算復(fù)雜度較高，如BP-SAW算法。
發(fā)明內(nèi)容本發(fā)明的目的是克服現(xiàn)有技術(shù)的上述不足，提供一種能夠在較低計(jì)算復(fù)雜性下給出變量期望界的于Ising圖模型的推理方法。本發(fā)明采用的技術(shù)方案是一種基于Ising圖模型的區(qū)間傳播推理方法，.通過(guò)定義Ising均值場(chǎng)計(jì)算樹，并在計(jì)算樹上實(shí)現(xiàn)期望區(qū)間傳播推理過(guò)程，包括下列步驟(1)定義Ising均值場(chǎng)計(jì)算樹在Ising均值場(chǎng)推理下，變量簇、的計(jì)算樹模型為一四元組r(z^,/，似,2)，其中1)￡>Y:以^為根節(jié)點(diǎn)的變量簇節(jié)點(diǎn)集A^c^UCh(c》UCh(Ch(^))U…，其中，Ch(Cy)表示s的子節(jié)點(diǎn)集，Ch(c》={cp|x,ecT，、eCp，(/，刀e#卩}，Ch(Ch(c》)表示變量集Ch(^)的子節(jié)點(diǎn)集合Ch(Ch(CY))=U^c^)Ch(cp)，2)i:關(guān)系集及={〈^,^〉|^￡/^^￡01(4)}，其中，關(guān)系〈Q,c卩〉表示Cp是c。的子節(jié)點(diǎn)，3)M:計(jì)算樹上的消息自底向上單向傳播，記Ma,t-^,l/e^〉表示Q輸出消息集，^體=U^Ch(0MM,t表示Q輸入消息集，則M={Ma—。ut|caeW，4)0概率分布集^={^(^^)|^￡/)7}，且^^,6鄧{2>>,+Z其中，z《,A，(2)定義Ising均值場(chǎng)截枝計(jì)算樹Ising均值場(chǎng)推理下，變量簇、的剪枝計(jì)算樹模型是一四元組7;(i^,及,M，g)，其中1)￡)T:以s為根節(jié)點(diǎn)的變量簇節(jié)點(diǎn)集A^c^UCCh(tgUCCh(CCh(s))U…，其中，CCh(c》表示s的子節(jié)點(diǎn)集，CCh(cT)=Ch(cY)\An(c7)，CCh(CCh(c》)表示變量集CCh(S)的截枝子節(jié)點(diǎn)集CCh(CCh(c》)=UperaiK)CCh(cP)，2)i:關(guān)系集i二(〈Ca,c》ICaeiVcpeCCh(Ca)〉，其中，關(guān)系〈c。,cp〉表示cp是c。的子節(jié)點(diǎn)，3)M:計(jì)算樹上的消息自底向上單向傳播，記Ma,t-"UeKJ表示Ca輸出消息集，風(fēng)—n^^ch。M—表示Ca輸入消息集，則M"MaJc。eZ)J，4)g:概率分布集2-(^(Ca;^)kaeZV，且^^"鄧{2>>,+Z其中，&I]《,a;(3)在截枝計(jì)算樹上，根據(jù)Ca的輸入消息區(qū)間計(jì)算該變量簇的概率分布區(qū)間，令M=表示變量簇Ca輸入消息區(qū)間的集合，即似=={[//>,"]|"，￡^01(0}，變量簇c。概率分布的參數(shù)區(qū)間為《"l"eO，力e五c丄令J-",^，.4^-^A，…)表示元素--對(duì)應(yīng)的等勢(shì)集合，且爿^5={《《6,|/=1,2，...}，則變量簇節(jié)點(diǎn)ca的概率分布區(qū)間為(4)基于變量簇的概率分布區(qū)間，利用和積算法計(jì)算變量簇C。的輸出消息區(qū)間在概率分布《a(Ca;Wa)上運(yùn)行和積算法計(jì)算變量；c,eCa的期望//,，即=Sum-Prod&a(ca^a))，當(dāng)給定參數(shù)",取值區(qū)間時(shí)，的極值取在參數(shù)區(qū)間的端點(diǎn)處，即//:=min{Sum-Pr,(Wa))I(H),0;>..},A"=max{SUm-Pr,(Wa))|H")e{《7,0>.-}則變量簇節(jié)點(diǎn)^輸出消息區(qū)間集合為^;"^={[]|^^}，計(jì)算時(shí)，根據(jù)底層變量簇節(jié)點(diǎn)輸入消息的取值區(qū)間，自底向上逐層進(jìn)行消息區(qū)間傳播計(jì)算出根變量簇變量期望區(qū)間。本發(fā)明的基于Ising圖模型的區(qū)間傳播推理方法，通過(guò)定義Ising均值場(chǎng)計(jì)算樹，根據(jù)底層變量簇節(jié)點(diǎn)輸入消息的取值區(qū)間[Ol]，自底向上逐層進(jìn)行消息區(qū)間傳播，計(jì)算出根變量簇變量期望界。本發(fā)明通過(guò)在Ising均值場(chǎng)截枝計(jì)算樹上運(yùn)用均值場(chǎng)區(qū)間傳播算法，可計(jì)算出根變量簇變量期望界。該推理方法具有較低的計(jì)算復(fù)雜性，并通過(guò)變量期望界給出了有效的推理精度。圖1:Ising圖模型及其3層均值場(chǎng)計(jì)算樹；圖l(a):3x3的二維格狀I(lǐng)sing圖模型；圖l(b):3xl分塊的均值場(chǎng)自由分布結(jié)構(gòu)；圖1(C):基于圖l(b)結(jié)構(gòu)，以變量簇C,為根的ifc=3層均值場(chǎng)計(jì)算樹模型，及消息自底向上的傳播過(guò)程；圖2:3x3二維圖模型上，基于3x3自由分布結(jié)構(gòu)，以節(jié)點(diǎn)1為根的^3層計(jì)算樹；圖3:3x3二維圖模型上，基于3x3自由分布結(jié)構(gòu)，以節(jié)點(diǎn)1為根的^3層的截枝計(jì)算樹；圖4:基于3xl的自由分布結(jié)構(gòu)，k(1^2，3,4)層截枝計(jì)算樹上MFIP算法給出的變量期望界比較。其中p表示變量的期望，變量處的實(shí)線自左向右依次表示1^=2,3,4時(shí)的變量期望界，點(diǎn)表示變量期望精確值；圖5:引力Ising圖模型G2上變量期望界比較，其中，//表示變量期望值，實(shí)線表示2層截枝計(jì)算樹上MFIP算法給出的變量期望界，虛線表示BP-SAW算法給出的變量期望界，點(diǎn)表示變量期望精確值；圖6:斥力Ising圖模型G3上變量期望界比較，其中//、實(shí)線、虛線、點(diǎn)表示的意義都同圖5。具體實(shí)施例方式下面首先對(duì)本發(fā)明的推理方法做詳細(xì)介紹。1,Ising均值場(chǎng)計(jì)算樹Ising均值場(chǎng)計(jì)算樹是用樹結(jié)構(gòu)形式來(lái)表示Ising圖模型上均值場(chǎng)迭代計(jì)算過(guò)程。定義l:Ising均值場(chǎng)推理下，變量簇^的計(jì)算樹模型是一四元組r(A,i,M，g)。其中5)以s為根節(jié)點(diǎn)的變量簇節(jié)點(diǎn)集z^-(c^uch(cguch(ch(^))u…。其中，Ch(^)表示s的子節(jié)點(diǎn)集，Ch(S)={Cp|;c;eCT,~eCp，(z'，_/)eJE，pp}，Ch(Ch(cg)表示變量集Ch(cg的子節(jié)點(diǎn)集合Ch(Ch(CY))=U^Ch(^Ch(Cp)。6)i:關(guān)系集i"〈^Cp〉keiVcpeCh(oL其中關(guān)系〈ca，cp〉表示Cp是ca的子節(jié)點(diǎn)。7)M:計(jì)算樹上的消息自底向上單向傳播，記Ma,t二^,l/e^〉表示Ca輸出消息K^^a^h("M一表示Ca輸入消息集，則M={Ma—。ut|Cae/)7}。8)2:概率分布集2={^(^;^)1^￡/)7}，且《^,6鄧{5>),+S《《}，《a其中Z《A。Ising均值場(chǎng)截枝計(jì)算樹是Ising計(jì)算樹的一種特殊形式，它通過(guò)對(duì)均值場(chǎng)計(jì)算樹上的回溯節(jié)點(diǎn)進(jìn)行截枝所得。定義2:Ising均值場(chǎng)推理下，變量簇s的剪枝計(jì)算樹模型是一四元組T;(ZV及,M，Q)。其中5)以^為根節(jié)點(diǎn)的變量簇節(jié)點(diǎn)集A^c^UCCh(CY)UCCh(CCh(c》)U…。其中，CCh(c》表示^的子節(jié)點(diǎn)集，CCh(cY)=Ch(c》\An(cg，CCh(CCh(s))表示變量集CCh(c》的截枝子節(jié)點(diǎn)集CCh(CCh(CT》=UCpeCCh(c"CCh(Cp)。6)及關(guān)系集/={〈,^〉|^€^(:01(0}。其中關(guān)系〈ca,cp〉表示cp是Q的子節(jié)點(diǎn)。7)M:計(jì)算樹上的消息自底向上單向傳播，記Mwut二"UeKJ表示Ca輸出消息集，=1^^(0崖—表示^輸入消息集，則M-(Ma—。ut|CaeZ)J。8)g:概率分布集2^&(Ca;^)kaEiV，且^,、0^鄧{2>),+S《X,}，《a(")"%其中伊,=《+z《,A。定理1:在Ising均值場(chǎng)推理下，A:層均值場(chǎng)計(jì)算樹7X^,i，M,g)上根節(jié)點(diǎn)s的概率分布，等價(jià)于A次均值場(chǎng)迭代下^的概率分布。2.均值場(chǎng)區(qū)間傳播算法基于Ising計(jì)算樹設(shè)計(jì)MFIP算法。MFIP算法的基本思想是，在Ising均值場(chǎng)計(jì)算樹r上，根據(jù)底層變量簇節(jié)點(diǎn)輸入消息的取值區(qū)間[Ol]，自底向上逐層進(jìn)行消息區(qū)間傳播計(jì)算出根變量簇變量期望區(qū)間。MFIP算法的基本計(jì)算單元是變量簇上的消息區(qū)間傳播過(guò)程。對(duì)于計(jì)算樹上的變量簇節(jié)點(diǎn)Ca，令&(Ca;Wa)表示節(jié)點(diǎn)概率分布，["，//,"]表示變量《6^的期望區(qū)間，[《',《"]表示概率分布相應(yīng)參數(shù)區(qū)間。變量簇節(jié)點(diǎn)Ca上的區(qū)間傳播過(guò)程包括消息區(qū)間輸入和消息區(qū)間輸出過(guò)程。第1步，消息區(qū)間輸入過(guò)程(messageintervalinput,Mil)，是根據(jù)c。的輸入消息區(qū)間計(jì)算該變量簇的概率分布區(qū)間。令M二1表示變量簇Ca輸入消息區(qū)間的集合，即<formula>formulaseeoriginaldocumentpage10</formula>根據(jù)計(jì)算樹上變量簇節(jié)點(diǎn)的概率分布可知，變量簇Ca概率分布的參數(shù)區(qū)間為<formula>formulaseeoriginaldocumentpage10</formula>表示元素--對(duì)應(yīng)的等勢(shì)集合，且<formula>formulaseeoriginaldocumentpage10</formula>則變量簇節(jié)點(diǎn)ca的概率分布區(qū)間為<formula>formulaseeoriginaldocumentpage10</formula>第2步，消息區(qū)間輸出過(guò)程(messageintervaloutput,MIO)，基于變量簇的概率分布區(qū)間，利用和積算法計(jì)算變量簇Ca的輸出消息區(qū)間。在概率分布^(Ca;^a)上運(yùn)行和積算法計(jì)算變量x,eca的期望/v即/i,-Smn-Prod(&(Ca;^))。根據(jù)Ising圖模型性質(zhì)可知//,關(guān)于系數(shù){^,伊2,...}具有嚴(yán)格單調(diào)性，故當(dāng)給定參數(shù)A取值區(qū)間時(shí)，A的極值取在參數(shù)區(qū)間的端點(diǎn)處，即<formula>formulaseeoriginaldocumentpage10</formula>則變量簇節(jié)點(diǎn)ca輸出消息區(qū)間集合為<formula>formulaseeoriginaldocumentpage10</formula>針對(duì)A:層Ising均值場(chǎng)計(jì)算樹r，自底向上逐層進(jìn)行消息區(qū)間傳播，可計(jì)算出根變量簇變量期望區(qū)間。yfc層ising計(jì)算樹r上，MFIP算法的形式化描述如下所示Data:r(A,及，M必t<formula>formulaseeoriginaldocumentpage10</formula><formula>formulaseeoriginaldocumentpage11</formula>3.基于截枝計(jì)算樹MFIP算法的變量期望界定理2:令{[/^//:(]ke、}表示MFIP算法給出的變量期望區(qū)間集合，"表示Ising圖模型上變量x,期望的精確值。則在均值場(chǎng)截枝計(jì)算樹;(I)Y，凡M，2)上，MFIP算法給出的變量期望區(qū)間為變量期望界，即"^"《/<,Vx,ec^。下面結(jié)合實(shí)施例，對(duì)本發(fā)明做進(jìn)一步說(shuō)明。1.基于Ising圖模型建立Ising均值場(chǎng)截枝計(jì)算樹對(duì)3x3的二維格狀I(lǐng)sing圖模型，圖1(a)所示。隨機(jī)指定模型參數(shù)生成一般Ising圖模型《We(-0.25，0.25),《e(-2，2))，弓l力Ising圖模型G2(《e(-0.25,0.25),《e(0，2))和斥力Ising圖模型G3(《e(-0.25，0.25),《e(-2,0))。對(duì)于圖模型G,，基于3"分塊的自由分布分別建立層數(shù)1^2,3，4的截枝計(jì)算樹(1^3，如圖l(c))。對(duì)于圖模型《,&，分別基于3xl分塊的自由分布建立2層截枝計(jì)算樹模型。2.計(jì)算根變量簇變量期望界均值場(chǎng)區(qū)間傳播算法(meanfieldintervalpropagation,MFIP)的基本思想是在Ising均值場(chǎng)截枝計(jì)算樹上，根據(jù)底層變量簇節(jié)點(diǎn)輸入消息的取值區(qū)間[Ol]，自底向上逐層進(jìn)行消息區(qū)間傳播，計(jì)算出根變量簇變量期望界。對(duì)于不同的圖模型，比較MFIP算法、聯(lián)合樹算法(junctiontree,JT)以及BP-SAW算法(self-avoidingwalk)。比較算法的效率和變量期望界的緊致性。對(duì)于G,，在截枝計(jì)算樹上運(yùn)行MFIP算法計(jì)算變量期望界；在G,上運(yùn)行聯(lián)合樹算法計(jì)算變量期望的精確值，結(jié)果如圖4所示。對(duì)實(shí)驗(yàn)結(jié)果分析可知，隨截枝計(jì)算樹層數(shù)A的增加MFIP算法給出的變量期望區(qū)間迅速收斂，且當(dāng)A:-2時(shí)MFIP算法給出變量期望界。對(duì)于《,<53，在截枝計(jì)算樹上運(yùn)行MFIP算法計(jì)算變量期望界；在《,《上分別運(yùn)行BP-SAW算法計(jì)算變量期望界；然后在S，q上分別運(yùn)行JT算法計(jì)算變量期望的精確值，結(jié)果分別如圖5、圖6和表1所示。對(duì)實(shí)驗(yàn)結(jié)果分析可知，對(duì)于引力圖模型《，2層11截枝計(jì)算樹上MFIP算法給出的變量期望界比BP-SAW算法給出的期望界緊致；對(duì)于斥力圖模型(73，Ising圖模型的9組數(shù)據(jù)中，基于2層截枝計(jì)算樹的MFIP算法比BP-SAW算法期望界緊的有5組，松的有2組，另外2組數(shù)據(jù)顯示BP-SAW算法未給出期望界。最后，由表1可知，與BP-SAW算法相比，MFIP算法具有較高的效率。即MFIP是一種高效方便的近似變分推理方法；2層截枝計(jì)算樹上MFIP算法給出的變量期望界具有較高的緊致性。表l:變量期望界比較，其中，//表示變量期望，？表示算法的平均運(yùn)行時(shí)間。<table>tableseeoriginaldocumentpage12</column></row><table>權(quán)利要求1.一種Ising圖模型的區(qū)間傳播推理方法，通過(guò)定義Ising均值場(chǎng)計(jì)算樹，并在計(jì)算樹上實(shí)現(xiàn)期望區(qū)間傳播推理過(guò)程，其特征在于，包括下列步驟(1)定義Ising均值場(chǎng)計(jì)算樹在Ising均值場(chǎng)推理下，變量簇cγ的計(jì)算樹模型為一四元組T(Dγ，R，M，Q)，其中1)Dγ以cγ為根節(jié)點(diǎn)的變量簇節(jié)點(diǎn)集Dγ＝{cγ}∪Ch(cγ)∪Ch(Ch(cγ))∪…，其中，Ch(cγ)表示cγ的子節(jié)點(diǎn)集，Ch(cγ)＝{cβ|xi∈cγ，xj∈cβ，(i，j)∈E，γ≠β}，Ch(Ch(cγ))表示變量集Ch(cγ)的子節(jié)點(diǎn)集合<mathsid="math0001"num="0001"><math><![CDATA[<mrow><mi>Ch</mi><mrow><mo>(</mo><mi>Ch</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>γ</mi></msub><mo>)</mo></mrow><mo>)</mo></mrow><mo>=</mo><msub><mo>∪</mo><mrow><msub><mi>c</mi><mi>β</mi></msub><mo>∈</mo><mi>Ch</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>γ</mi></msub><mo>)</mo></mrow></mrow></msub><mi>Ch</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>β</mi></msub><mo>)</mo></mrow><mo>,</mo></mrow>]]></math>id="icf0001"file="A2009100688410002C1.tif"wi="53"he="6"top="74"left="79"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>2)R關(guān)系集R＝{<cα，cβ>|cα∈Dγ，cβ∈Ch(cα)}，其中，關(guān)系<cα，cβ>表示cβ是cα的子節(jié)點(diǎn)，3)M計(jì)算樹上的消息自底向上單向傳播，記<mathsid="math0002"num="0002"><math><![CDATA[<mrow><msub><mi>M</mi><mrow><mi>α</mi><mo>-</mo><mi>out</mi></mrow></msub><mo>=</mo><mo>{</mo><msub><mi>μ</mi><mi>i</mi></msub><mo>|</mo><mi>i</mi><mo>∈</mo><msub><mi>V</mi><msub><mi>c</mi><mi>α</mi></msub></msub><mo>}</mo></mrow>]]></math>id="icf0002"file="A2009100688410002C2.tif"wi="33"he="4"top="100"left="121"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>表示cα輸出消息集，<mathsid="math0003"num="0003"><math><![CDATA[<mrow><msub><mi>M</mi><mrow><mi>α</mi><mo>-</mo><mi>in</mi></mrow></msub><mo>=</mo><msub><mo>∪</mo><mrow><msub><mi>c</mi><mi>β</mi></msub><mo>∈</mo><mi>Ch</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>α</mi></msub><mo>)</mo></mrow></mrow></msub><msub><mi>M</mi><mrow><mi>β</mi><mo>-</mo><mi>out</mi></mrow></msub></mrow>]]></math>id="icf0003"file="A2009100688410002C3.tif"wi="36"he="5"top="115"left="42"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>表示cα輸入消息集，則M＝{Mα-out|cα∈Dγ}，4)Q概率分布集Q＝{qα(cα；θ′α)|cα∈Dγ}，且<mathsid="math0004"num="0004"><math><![CDATA[<mrow><msub><mi>θ</mi><mi>ij</mi></msub><msub><mi>x</mi><mi>i</mi></msub><msub><mi>x</mi><mi>j</mi></msub><mo>∝</mo><mi>exp</mi><mo>{</mo><munder><mi>Σ</mi><mrow><mi>i</mi><mo>∈</mo><msub><mi>V</mi><msub><mi>c</mi><mi>α</mi></msub></msub></mrow></munder><msub><msup><mi>θ</mi><mo>′</mo></msup><mi>i</mi></msub><msub><mi>x</mi><mi>i</mi></msub><mo>+</mo><munder><mi>Σ</mi><mrow><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>∈</mo><msub><mi>E</mi><msub><mi>c</mi><mi>α</mi></msub></msub></mrow></munder><msub><mi>θ</mi><mi>ij</mi></msub><msub><mi>x</mi><mi>i</mi></msub><msub><mi>x</mi><mi>j</mi></msub><mo>}</mo><mo>,</mo></mrow>]]></math>id="icf0004"file="A2009100688410002C4.tif"wi="67"he="9"top="123"left="118"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>其中，<mathsid="math0005"num="0005"><math><![CDATA[<mrow><msub><msup><mi>θ</mi><mo>′</mo></msup><mi>i</mi></msub><mo>=</mo><msub><mi>θ</mi><mi>i</mi></msub><mo>+</mo><munder><mi>Σ</mi><mrow><msub><mi>μ</mi><mi>t</mi></msub><mo>∈</mo><msub><mi>M</mi><mrow><mi>α</mi><mo>-</mo><mi>in</mi></mrow></msub></mrow></munder><msub><mi>θ</mi><mi>it</mi></msub><msub><mi>μ</mi><mi>t</mi></msub><mo>,</mo></mrow>]]></math>id="icf0005"file="A2009100688410002C5.tif"wi="36"he="8"top="136"left="46"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>(2)定義Ising均值場(chǎng)截枝計(jì)算樹Ising均值場(chǎng)推理下，變量簇cγ的剪枝計(jì)算樹模型是一四元組Tc(Dγ，R，M，Q)，其中1)Dγ以cγ為根節(jié)點(diǎn)的變量簇節(jié)點(diǎn)集Dγ＝{cγ}∪CCh(cγ)∪CCh(CCh(cγ))∪…，其中，CCh(cγ)表示cγ的子節(jié)點(diǎn)集，CCh(cγ)＝Ch(cγ)\An(cγ)，CCh(CCh(cγ))表示變量集CCh(cγ)的截枝子節(jié)點(diǎn)集<mathsid="math0006"num="0006"><math><![CDATA[<mrow><mi>CCh</mi><mrow><mo>(</mo><mi>CCh</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>γ</mi></msub><mo>)</mo></mrow><mo>)</mo></mrow><mo>=</mo><msub><mo>∪</mo><mrow><msub><mi>c</mi><mi>β</mi></msub><mo>∈</mo><mi>CCh</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>γ</mi></msub><mo>)</mo></mrow></mrow></msub><mi>CCh</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>β</mi></msub><mo>)</mo></mrow><mo>,</mo></mrow>]]></math>id="icf0006"file="A2009100688410002C6.tif"wi="63"he="7"top="180"left="72"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>2)R關(guān)系集R＝{<cα，cβ>|cα∈Dγ，cβ∈CCh(cα)}，其中，關(guān)系<cα，cβ>表示cβ是cα的子節(jié)點(diǎn)，3)M計(jì)算樹上的消息自底向上單向傳播，記<mathsid="math0007"num="0007"><math><![CDATA[<mrow><msub><mi>M</mi><mrow><mi>α</mi><mo>-</mo><mi>out</mi></mrow></msub><mo>=</mo><mo>{</mo><msub><mi>μ</mi><mi>i</mi></msub><mo>|</mo><mi>i</mi><mo>∈</mo><msub><mi>V</mi><msub><mi>c</mi><mi>α</mi></msub></msub><mo>}</mo></mrow>]]></math>id="icf0007"file="A2009100688410002C7.tif"wi="33"he="4"top="207"left="120"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>表示cα輸出消息集，<mathsid="math0008"num="0008"><math><![CDATA[<mrow><msub><mi>M</mi><mrow><mi>α</mi><mo>-</mo><mi>in</mi></mrow></msub><mo>=</mo><msub><mo>∪</mo><mrow><msub><mi>c</mi><mi>β</mi></msub><mo>∈</mo><mi>Ch</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>α</mi></msub><mo>)</mo></mrow></mrow></msub><msub><mi>M</mi><mrow><mi>β</mi><mo>-</mo><mi>out</mi></mrow></msub></mrow>]]></math>id="icf0008"file="A2009100688410002C8.tif"wi="37"he="5"top="221"left="31"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>表示cα輸入消息集，則M＝{Mα-out|cα∈Dγ}，4)Q概率分布集Q＝{qα(cα；θ′α)|cα∈Dγ}，且<mathsid="math0009"num="0009"><math><![CDATA[<mrow><msub><mi>θ</mi><mi>ij</mi></msub><msub><mi>x</mi><mi>i</mi></msub><msub><mi>x</mi><mi>j</mi></msub><mo>∝</mo><mi>exp</mi><mo>{</mo><munder><mi>Σ</mi><mrow><mi>i</mi><mo>∈</mo><msub><mi>V</mi><msub><mi>c</mi><mi>α</mi></msub></msub></mrow></munder><msub><msup><mi>θ</mi><mo>′</mo></msup><mi>i</mi></msub><msub><mi>x</mi><mi>i</mi></msub><mo>+</mo><munder><mi>Σ</mi><mrow><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>∈</mo><msub><mi>E</mi><msub><mi>c</mi><mi>α</mi></msub></msub></mrow></munder><msub><mi>θ</mi><mi>ij</mi></msub><msub><mi>x</mi><mi>i</mi></msub><msub><mi>x</mi><mi>j</mi></msub><mo>}</mo><mo>,</mo></mrow>]]></math>id="icf0009"file="A2009100688410002C9.tif"wi="67"he="9"top="230"left="117"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>其中，<mathsid="math0010"num="0010"><math><![CDATA[<mrow><msub><msup><mi>θ</mi><mo>′</mo></msup><mi>i</mi></msub><mo>=</mo><msub><mi>θ</mi><mi>i</mi></msub><mo>+</mo><munder><mi>Σ</mi><mrow><msub><mi>μ</mi><mi>t</mi></msub><mo>∈</mo><msub><mi>M</mi><mrow><mi>α</mi><mo>-</mo><mi>in</mi></mrow></msub></mrow></munder><msub><mi>θ</mi><mi>it</mi></msub><msub><mi>μ</mi><mi>t</mi></msub><mo>;</mo></mrow>]]></math>id="icf0010"file="A2009100688410002C10.tif"wi="37"he="8"top="242"left="37"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>(3)在截枝計(jì)算樹上，根據(jù)cα的輸入消息區(qū)間計(jì)算該變量簇的概率分布區(qū)間，令Mα-inint.表示變量簇cα輸入消息區(qū)間的集合，即<mathsid="math0011"num="0011"><math><![CDATA[<mrow><msubsup><mi>M</mi><mrow><mi>α</mi><mo>-</mo><mi>in</mi></mrow><mrow><mi>int</mi><mo>.</mo></mrow></msubsup><mo>=</mo><mo>{</mo><mo>[</mo><msubsup><mi>μ</mi><mi>t</mi><mi>l</mi></msubsup><mo>,</mo><msubsup><mi>μ</mi><mi>t</mi><mi>u</mi></msubsup><mo>]</mo><mo>|</mo><mi>t</mi><mo>∈</mo><msub><mi>V</mi><msub><mi>c</mi><mi>β</mi></msub></msub><mo>,</mo><msub><mi>c</mi><mi>β</mi></msub><mo>∈</mo><mi>Ch</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>α</mi></msub><mo>)</mo></mrow><mo>}</mo><mo>,</mo></mrow>]]></math>id="icf0011"file="A2009100688410003C1.tif"wi="66"he="5"top="28"left="109"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>變量簇cα概率分布的參數(shù)區(qū)間為<mathsid="math0012"num="0012"><math><![CDATA[<mrow><msup><msub><mi>θ</mi><mi>i</mi></msub><mrow><mo>′</mo><mi>l</mi></mrow></msup><mo>=</mo><mi>min</mi><mo>{</mo><msub><mi>θ</mi><mi>i</mi></msub><mo>+</mo><munder><mi>Σ</mi><mrow><msub><mi>μ</mi><mi>t</mi></msub><msub><mrow><mo>∈</mo><mi>M</mi></mrow><mrow><mi>α</mi><mo>-</mo><mi>in</mi></mrow></msub></mrow></munder><msub><mi>θ</mi><mi>it</mi></msub><msub><mi>μ</mi><mi>t</mi></msub><mo>|</mo><msubsup><mi>μ</mi><mi>t</mi><mi>l</mi></msubsup><mo>≤</mo><msub><mi>μ</mi><mi>t</mi></msub><mo>≤</mo><msubsup><mi>μ</mi><mi>t</mi><mi>u</mi></msubsup><mo>}</mo><mo>,</mo></mrow>]]></math></maths><mathsid="math0013"num="0013"><math><![CDATA[<mrow><msup><msub><mi>θ</mi><mi>i</mi></msub><mrow><mo>′</mo><mi>u</mi></mrow></msup><mo>=</mo><mi>max</mi><mo>{</mo><msub><mi>θ</mi><mi>i</mi></msub><mo>+</mo><munder><mi>Σ</mi><mrow><msub><mi>μ</mi><mi>t</mi></msub><msub><mrow><mo>∈</mo><mi>M</mi></mrow><mrow><mi>α</mi><mo>-</mo><mi>in</mi></mrow></msub></mrow></munder><msub><mi>θ</mi><mi>it</mi></msub><msub><mi>μ</mi><mi>t</mi></msub><mo>|</mo><msubsup><mi>μ</mi><mi>t</mi><mi>l</mi></msubsup><mo>≤</mo><msub><mi>μ</mi><mi>t</mi></msub><mo>≤</mo><msubsup><mi>μ</mi><mi>t</mi><mi>u</mi></msubsup><mo>}</mo><mo>,</mo></mrow>]]></math></maths><mathsid="math0014"num="0014"><math><![CDATA[<mrow><msup><msub><mi>θ</mi><mi>α</mi></msub><mrow><mo>′</mo><mi>l</mi></mrow></msup><mo>=</mo><mo>{</mo><msup><msub><mi>θ</mi><mi>i</mi></msub><mrow><mo>′</mo><mi>l</mi></mrow></msup><mo>,</mo><msub><mi>θ</mi><mi>ij</mi></msub><mo>|</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>∈</mo><msub><mi>V</mi><msub><mi>c</mi><mi>α</mi></msub></msub><mo>,</mo><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>∈</mo><msub><mi>E</mi><msub><mi>c</mi><mi>α</mi></msub></msub><mo>}</mo><mo>,</mo></mrow>]]></math></maths><mathsid="math0015"num="0015"><math><![CDATA[<mrow><msup><msub><mi>θ</mi><mi>α</mi></msub><mrow><mo>′</mo><mi>u</mi></mrow></msup><mo>=</mo><mo>{</mo><msup><msub><mi>θ</mi><mi>i</mi></msub><mrow><mo>′</mo><mi>u</mi></mrow></msup><mo>,</mo><msub><mi>θ</mi><mi>ij</mi></msub><mo>|</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>∈</mo><msub><mi>V</mi><msub><mi>c</mi><mi>α</mi></msub></msub><mo>,</mo><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>∈</mo><msub><mi>E</mi><msub><mi>c</mi><mi>α</mi></msub></msub><mo>}</mo><mo>.</mo></mrow>]]></math></maths>令A(yù)＝{a1，a2，…}，B＝{b1，b2，…}表示元素一一對(duì)應(yīng)的等勢(shì)集合，且A≤B＝{ai≤bi|i＝1，2，…}，則變量簇節(jié)點(diǎn)cα的概率分布區(qū)間為<mathsid="math0016"num="0016"><math><![CDATA[<mrow><mo>{</mo><msub><mi>q</mi><mi>α</mi></msub><mrow><mo>(</mo><msub><mi>c</mi><mi>α</mi></msub><mo>;</mo><msub><msup><mi>θ</mi><mo>′</mo></msup><mi>α</mi></msub><mo>)</mo></mrow><mo>|</mo><msup><msub><mi>θ</mi><mi>α</mi></msub><mrow><mo>′</mo><mi>l</mi></mrow></msup><mo>≤</mo><msub><msup><mi>θ</mi><mo>′</mo></msup><mi>α</mi></msub><mo>≤</mo><msup><msub><mi>θ</mi><mi>α</mi></msub><mrow><mo>′</mo><mi>u</mi></mrow></msup><mo>}</mo><mo>;</mo></mrow>]]></math></maths>(4)基于變量簇的概率分布區(qū)間，利用和積算法計(jì)算變量簇cα的輸出消息區(qū)間在概率分布qα(cα；θ′α)上運(yùn)行和積算法計(jì)算變量xi∈cα的期望μi，即μi＝Sum-Prod(qα(cα；θ′α))，當(dāng)給定參數(shù)θ′i取值區(qū)間時(shí)，μi的極值取在參數(shù)區(qū)間的端點(diǎn)處，即<mathsid="math0017"num="0017"><math><![CDATA[<mrow><mrow><msubsup><mi>μ</mi><mi>i</mi><mi>l</mi></msubsup><mo>=</mo><mi>min</mi><mo>{</mo><mi>Sum</mi><mo>-</mo><mi>Prod</mi><mrow><mo>(</mo><msub><mi>q</mi><mi>α</mi></msub><mrow><mo>(</mo><msub><mi>c</mi><mi>α</mi></msub><mo>;</mo><msub><msup><mi>θ</mi><mo>′</mo></msup><mi>α</mi></msub><mo>)</mo></mrow><mo>)</mo></mrow><mo>|</mo><mrow><mo>(</mo><msub><msup><mi>θ</mi><mo>′</mo></msup><mn>1</mn></msub><mo>,</mo><msub><msup><mi>θ</mi><mo>′</mo></msup><mn>2</mn></msub><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>)</mo></mrow><mo>∈</mo><mo>{</mo><msup><msub><mi>θ</mi><mn>1</mn></msub><mrow><mo>′</mo><mi>l</mi></mrow></msup><mo>,</mo><msup><msub><mi>θ</mi><mn>1</mn></msub><mrow><mo>′</mo><mi>u</mi></mrow></msup><mo>}</mo><mo>×</mo><mo>{</mo><msup><msub><mi>θ</mi><mn>2</mn></msub><mrow><mo>′</mo><mi>l</mi></mrow></msup><mo>,</mo><msup><msub><mi>θ</mi><mn>2</mn></msub><mrow><mo>′</mo><mi>u</mi></mrow></msup><mo>}</mo><mo>×</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>}</mo></mrow><mo>,</mo></mrow>]]></math></maths><mathsid="math0018"num="0018"><math><![CDATA[<mrow><msubsup><mi>μ</mi><mi>i</mi><mi>u</mi></msubsup><mo>=</mo><mi>max</mi><mo>{</mo><mi>Sum</mi><mo>-</mo><mi>Prod</mi><mrow><mo>(</mo><msub><mi>q</mi><mi>α</mi></msub><mrow><mo>(</mo><msub><mi>c</mi><mi>α</mi></msub><mo>;</mo><msub><msup><mi>θ</mi><mo>′</mo></msup><mi>α</mi></msub><mo>)</mo></mrow><mo>)</mo></mrow><mo>|</mo><mrow><mo>(</mo><msub><msup><mi>θ</mi><mo>′</mo></msup><mn>1</mn></msub><mo>,</mo><msub><msup><mi>θ</mi><mo>′</mo></msup><mn>2</mn></msub><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>)</mo></mrow><mo>∈</mo><mo>{</mo><msup><msub><mi>θ</mi><mn>1</mn></msub><mrow><mo>′</mo><mi>l</mi></mrow></msup><mo>,</mo><msup><msub><mi>θ</mi><mn>1</mn></msub><mrow><mo>′</mo><mi>u</mi></mrow></msup><mo>}</mo><mo>×</mo><mo>{</mo><msup><msub><mi>θ</mi><mn>2</mn></msub><mrow><mo>′</mo><mi>l</mi></mrow></msup><mo>,</mo><msup><msub><mi>θ</mi><mn>2</mn></msub><mrow><mo>′</mo><mi>u</mi></mrow></msup><mo>}</mo><mo>×</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>}</mo></mrow>]]></math></maths>則變量簇節(jié)點(diǎn)cα輸出消息區(qū)間集合為<mathsid="math0019"num="0019"><math><![CDATA[<mrow><msubsup><mi>M</mi><mrow><mi>α</mi><mo>-</mo><mi>out</mi></mrow><mrow><mi>int</mi><mo>.</mo></mrow></msubsup><mo>=</mo><mo>{</mo><mo>[</mo><msubsup><mi>μ</mi><mi>i</mi><mi>l</mi></msubsup><mo>,</mo><msubsup><mi>μ</mi><mi>i</mi><mi>u</mi></msubsup><mo>]</mo><mo>|</mo><mi>i</mi><mo>∈</mo><msub><mi>V</mi><msub><mi>c</mi><mi>α</mi></msub></msub><mo>}</mo><mo>,</mo></mrow>]]></math>id="icf0019"file="A2009100688410003C9.tif"wi="45"he="5"top="150"left="91"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>計(jì)算時(shí)，根據(jù)底層變量簇節(jié)點(diǎn)輸入消息的取值區(qū)間，自底向上逐層進(jìn)行消息區(qū)間傳播計(jì)算出根變量簇變量期望區(qū)間。全文摘要本發(fā)明公開(kāi)了一種基于Ising圖模型的區(qū)間傳播推理方法，該方法的主要步驟首先基于Ising圖模型建立Ising均值場(chǎng)截枝計(jì)算樹；然后基于Ising均值場(chǎng)截枝計(jì)算樹運(yùn)用均值場(chǎng)區(qū)間傳播算法，給出根節(jié)點(diǎn)變量期望界。本發(fā)明該推理方法具有較低的計(jì)算復(fù)雜性，并通過(guò)變量期望界給出了有效的推理精度。文檔編號(hào)G06F17/10GK101551789SQ20091006884公開(kāi)日2009年10月7日申請(qǐng)日期2009年5月14日優(yōu)先權(quán)日2009年5月14日發(fā)明者廖士中,霞殷,陳亞瑞申請(qǐng)人:天津大學(xué)