基于協(xié)同訓(xùn)練偏最小二乘模型的工業(yè)過程軟測(cè)量建模方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于工業(yè)過程預(yù)測(cè)與控制領(lǐng)域，尤其涉及一種協(xié)同訓(xùn)練算法與偏最小二乘 算法的軟測(cè)量建模方法。
【背景技術(shù)】
[0002] 在傳統(tǒng)工業(yè)過程中存在著許多無法或者難以用傳感器直接測(cè)量的變量如產(chǎn)品反 應(yīng)速率、產(chǎn)品成分含量等等，而這些參數(shù)對(duì)于提高產(chǎn)品質(zhì)量和保證安全生產(chǎn)有重要的作用， 是工業(yè)生產(chǎn)過程中必須加以嚴(yán)格監(jiān)視和控制的參數(shù)。雖然這些變量可以用在線分析儀表進(jìn) 行檢測(cè)，但是一方面需要大量的投資，另一方面可能因?yàn)橛休^大的測(cè)量滯后而使得調(diào)節(jié)不 夠及時(shí)，從而使得產(chǎn)品質(zhì)量難以得到保證。這些對(duì)于工業(yè)生產(chǎn)過程具有重要作用的變量我 們稱之為主導(dǎo)變量，其他的一些易于測(cè)量的變量我們稱之為輔助變量。軟測(cè)量指的是通過 建立工業(yè)過程變量之間的數(shù)學(xué)模型，實(shí)現(xiàn)利用輔助變量預(yù)測(cè)主導(dǎo)變量信息的技術(shù)方法。近 年來，工業(yè)過程的軟測(cè)量得到了越來越多的重視。
[0003] 傳統(tǒng)的工業(yè)過程軟測(cè)量建模方法除了基于機(jī)理模型的方法以外，大多數(shù)采用多元 統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)的方法，例如主元回歸PCR和偏最小二乘PLS等，在機(jī)理模型難以獲取 的情況下，基于數(shù)據(jù)驅(qū)動(dòng)的多元統(tǒng)計(jì)分析方法已經(jīng)成為半導(dǎo)體過程監(jiān)測(cè)的主流方法。但是， 傳統(tǒng)的多元統(tǒng)計(jì)方法在訓(xùn)練樣本數(shù)目較少的情況下，所建立起的模型的預(yù)測(cè)精度往往不能 夠達(dá)到有效的精度；此外，傳統(tǒng)多元統(tǒng)計(jì)學(xué)習(xí)方法建模時(shí)所用的數(shù)據(jù)往往都是那些輔助變 量有對(duì)應(yīng)主導(dǎo)變量信息的數(shù)據(jù)，沒有對(duì)應(yīng)主導(dǎo)變量僅有輔助變量信息的數(shù)據(jù)往往被直接忽 視了。在工業(yè)過程中，基于上面所述的主導(dǎo)變量難以檢測(cè)等原因，工業(yè)過程中存在著大量的 不包含有主導(dǎo)變量僅有輔助變量信息的數(shù)據(jù)，這些數(shù)據(jù)中包含著大量的有用信息，直接棄 之不用造成了浪費(fèi)。
[0004] 相比之下，半監(jiān)督學(xué)習(xí)方法通過使用有標(biāo)簽數(shù)據(jù)建立初始模型，然后利用無標(biāo)簽 數(shù)據(jù)對(duì)模型進(jìn)行參數(shù)優(yōu)化與調(diào)整，最終達(dá)到提高模型精度的效果。本發(fā)明主要利用了半監(jiān) 督學(xué)習(xí)中的協(xié)同訓(xùn)練算法，結(jié)合偏最小二乘模型，找到了一種在輔助變量個(gè)數(shù)較多的條件 下進(jìn)行模型學(xué)習(xí)的方法，并成功利用了無標(biāo)簽數(shù)據(jù)提升了模型的精度，表明了半監(jiān)督學(xué)習(xí) 方法應(yīng)用到軟測(cè)量研宄中具有絕對(duì)的可能性與相當(dāng)?shù)挠行?，也為今后軟測(cè)量建模的研宄 提供了一個(gè)新的方法和思路。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于協(xié)同訓(xùn)練算法的偏最小二 乘回歸軟測(cè)量建模方法。
[0006] 本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：一種基于協(xié)同訓(xùn)練算法的偏最小二 乘軟測(cè)量模型的建立，主要包括以下幾個(gè)步驟：
[0007] (1)利用集散控制系統(tǒng)以及離線檢測(cè)方法，按生產(chǎn)批次收集工業(yè)生產(chǎn)過程的數(shù)據(jù) 組成建模用的訓(xùn)練樣本集。對(duì)于每個(gè)批次的訓(xùn)練樣本集，一部分為既包含主導(dǎo)變量數(shù)據(jù)也 包含輔助變量信息的樣本集D e Rk〃，其中，D為有標(biāo)簽數(shù)據(jù)集，K為采樣數(shù)據(jù)點(diǎn)個(gè)數(shù)，J為 變量個(gè)數(shù)；另一部分為只包含輔助變量數(shù)據(jù)的樣本集X e RNX2M，其中，X為無標(biāo)簽數(shù)據(jù)集，N 為采樣數(shù)據(jù)點(diǎn)數(shù)，2M為變量個(gè)數(shù)，將這些數(shù)據(jù)存入歷史數(shù)據(jù)庫。
[0008] (2)對(duì)于每個(gè)生產(chǎn)批次的有標(biāo)簽數(shù)據(jù)，沿著時(shí)間點(diǎn)方向?qū)γ恳粋€(gè)數(shù)據(jù)矩陣進(jìn)行排 列，得到新的數(shù)據(jù)矩陣，并對(duì)其進(jìn)行預(yù)處理和歸一化，即使得各個(gè)過程變量的均值為零，方 差為1，得到新的數(shù)據(jù)矩陣集為
[0009] (3)基于得到的二維數(shù)據(jù)矩陣De ，按照主導(dǎo)變量和輔助變量分類標(biāo)準(zhǔn)，選取 其中的主導(dǎo)變量作為預(yù)測(cè)目標(biāo)因變量#
，選取其中的輔助變量作為自變量集
，則該二維數(shù)據(jù)矩陣
可以重新描述為：
[0010] (4)對(duì)于有標(biāo)簽數(shù)據(jù)集，對(duì)其自變量集進(jìn)行均分，前一半自變量作為第一自變 量視圖：
，后一半自變量作為第二自變量視圖：
4導(dǎo)到兩 組新的有標(biāo)簽數(shù)據(jù)集
，并按照同樣的變量 拆分方法對(duì)于無標(biāo)簽數(shù)據(jù)進(jìn)行拆分，得到兩組新的無標(biāo)簽數(shù)據(jù)集
和
[0011] (5)首先，利用
建立初始的模型PLS1，利用
建立初 始的模型PLS2,然后，不斷迭代使用無標(biāo)簽數(shù)據(jù)更新模型訓(xùn)練數(shù)據(jù)，當(dāng)達(dá)到一定的終止條件 時(shí)，終止迭代。一般選取的終止條件為迭代達(dá)到一定次數(shù)抑或是無法繼續(xù)找到置信度足夠 高的樣本。
[0012] (6)將建模數(shù)據(jù)和各個(gè)模型參數(shù)存入歷史數(shù)據(jù)庫和實(shí)時(shí)數(shù)據(jù)庫中備用。
[0013] (7)收集新的過程數(shù)據(jù)，并對(duì)其進(jìn)行預(yù)處理和歸一化。
[0014] (8)采用基于協(xié)同訓(xùn)練算法的偏最小二乘方法對(duì)工業(yè)過程的變量進(jìn)行預(yù)測(cè)，實(shí)現(xiàn) 過程監(jiān)控與控制。
[0015] 本發(fā)明的有益效果是：本發(fā)明通過對(duì)于工業(yè)數(shù)據(jù)建立起的軟測(cè)量模型，不但利用 了傳統(tǒng)軟測(cè)量方法建模所利用的有標(biāo)簽數(shù)據(jù)，也利用了傳統(tǒng)軟測(cè)量建模方法所不能利用的 無標(biāo)簽數(shù)據(jù)，在訓(xùn)練樣本相同的情況下，能夠建立起比傳統(tǒng)軟測(cè)量模型精度更高的預(yù)測(cè)模 型。相比目前的其他軟測(cè)量建模方法，本發(fā)明不僅可以大大提高訓(xùn)練樣本數(shù)目極少的情況 下模型的預(yù)測(cè)效果，而且在很大程度上改善了監(jiān)測(cè)方法對(duì)過程知識(shí)的依賴性，增強(qiáng)了過程 操作員對(duì)過程的理解能力和操作信心，更加有利于工業(yè)過程的自動(dòng)化實(shí)施。
【附圖說明】
[0016] 圖1是本發(fā)明方法和傳統(tǒng)偏最小二乘方法對(duì)在不同有標(biāo)簽樣本比例下建模預(yù)測(cè) 結(jié)果的RMSE對(duì)比圖；
[0017] 圖2是在有標(biāo)簽樣本比例為30%的情況下樣本真實(shí)值、協(xié)同訓(xùn)練偏最小二乘算法 預(yù)測(cè)值和偏最小二乘算法的預(yù)測(cè)值的曲線對(duì)比圖；
[0018] 圖3是上述兩種方法預(yù)測(cè)結(jié)果與真實(shí)值之間的誤差對(duì)比圖。
【具體實(shí)施方式】
[0019] 本發(fā)明是針對(duì)工業(yè)過程中訓(xùn)練數(shù)據(jù)較少情況下的軟測(cè)量建模問題，首先利用集散 控制系統(tǒng)收集有標(biāo)簽與無標(biāo)簽數(shù)據(jù)，利用有標(biāo)簽數(shù)據(jù)建立初始的具有一定差異性的兩個(gè)模 型，然后在初始模型的基礎(chǔ)上，通過不斷的迭代循環(huán)，逐步的將置信度最高的無標(biāo)簽數(shù)據(jù)轉(zhuǎn) 換為有標(biāo)簽數(shù)據(jù)并加入到訓(xùn)練集中來，逐漸擴(kuò)大訓(xùn)練集的樣本數(shù)目，最終達(dá)到提高模型精 度的效果。本發(fā)明不僅提高了工業(yè)過程的軟測(cè)量模型預(yù)測(cè)效果，增強(qiáng)了過程操作員對(duì)過程 狀態(tài)的掌握，使工業(yè)生產(chǎn)更加安全，產(chǎn)品質(zhì)量更加穩(wěn)定；而且很大程度上改善了軟測(cè)量建模 方法對(duì)過程知識(shí)的依賴性，更加有利于工業(yè)過程的自動(dòng)化實(shí)施。
[0020] 下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說明。
[0021] 本發(fā)明一種基于協(xié)同訓(xùn)練算法的偏最小二乘軟測(cè)量建模方法，該方法針對(duì)工業(yè)過 程的軟測(cè)量建模問題，首先利用集散控制系統(tǒng)以及離線檢測(cè)方法收集包含主導(dǎo)變量信息與 輔助變量信息的有標(biāo)簽數(shù)據(jù)和僅包含輔助變量的無標(biāo)簽數(shù)據(jù)，然后利用有標(biāo)簽數(shù)據(jù)建立兩 個(gè)具有相當(dāng)差異性的初始模型，然后再初始模型的基礎(chǔ)上利用無標(biāo)簽數(shù)據(jù)對(duì)兩個(gè)模型及其 訓(xùn)練集進(jìn)行迭代更新，當(dāng)達(dá)到一定的迭代次數(shù)或是終止條件之后，停止對(duì)于模型的更新，并 利用最終的訓(xùn)練數(shù)據(jù)建立新的模型，實(shí)現(xiàn)對(duì)于工業(yè)過程的軟測(cè)量建模。把模型參數(shù)存入數(shù) 據(jù)庫中備用。
[0022] 本發(fā)明采用的技術(shù)方案的主要步驟如下：
[0023] 第一步，利用集散控制系統(tǒng)以及離線檢測(cè)方法，按生產(chǎn)批次收集工業(yè)生產(chǎn)過程的 數(shù)據(jù)組成建模用的訓(xùn)練樣本集，對(duì)于一些無法進(jìn)行在線檢測(cè)的主導(dǎo)變量，則在離線進(jìn)行測(cè) 量后將測(cè)量后的變量信息與其對(duì)應(yīng)的輔助變量信息一起存儲(chǔ)到數(shù)據(jù)集中。在這樣的條件 下，對(duì)于同一個(gè)批次的訓(xùn)練樣本集，一部分為既包含主導(dǎo)變量數(shù)據(jù)也包含輔助變量信息的 樣本集D e RKX\其中，D為有標(biāo)簽數(shù)據(jù)集，K為采樣數(shù)據(jù)點(diǎn)個(gè)數(shù)，J為變量個(gè)數(shù)；另一部分為 只包含輔助變量數(shù)據(jù)的樣本集X e RNX2M，其中，X為無標(biāo)簽數(shù)據(jù)集，N為采樣數(shù)據(jù)點(diǎn)數(shù)，2M為 變量個(gè)數(shù)，將這些數(shù)據(jù)存入歷史數(shù)據(jù)庫。
[0024] 第二步，對(duì)于每個(gè)生產(chǎn)批次的有標(biāo)簽數(shù)據(jù)，對(duì)采集到的過程數(shù)據(jù)進(jìn)行預(yù)處理，剔除 野值點(diǎn)和明顯的粗糙誤差數(shù)據(jù)。得到新的數(shù)據(jù)矩陣集為De Rk〃?；诘玫降亩S數(shù)據(jù)矩 陣D e RKXJ。
[0025] 第三步，按照主導(dǎo)變量和輔助變量分類標(biāo)準(zhǔn)，選取其中的主導(dǎo)變量作為預(yù)測(cè)目標(biāo) 因變量集
選取其中的輔助變量作為自變量集
，則該二維數(shù)據(jù)矩 陣
可以重新描述為：
>
[0026] 第四步，對(duì)于有標(biāo)簽數(shù)據(jù)集中的每個(gè)樣本（Xi，yi)，對(duì)其自變量集進(jìn)行均分，前 一半作為第一視圖,得到一個(gè)新樣本：Uattl+ Yi)，后一半作為第二視圖，也得到一個(gè)新樣 本：(xatt2,i，yi)。對(duì)于整個(gè)樣本集，也使用同樣的分配方法進(jìn)行分割獲取

，這樣可以得到兩組新的有標(biāo)簽數(shù)據(jù)集
以及
:然后按照同樣的變量拆分方法對(duì)于無標(biāo)簽數(shù)據(jù)進(jìn)行拆分，得到兩組 新的無標(biāo)簽數(shù)據(jù)集
[0027] 第五步，不失一般性，先灰
建立初始的PLS模型：對(duì)X和Y進(jìn)行 中心化，即使各個(gè)變量的均值為〇,方差為1，得到一組新的數(shù)據(jù)Etl, Ftl，并記錄其均值與方差 分別為Mx，Sx，My，Sy。然后，分別提取兩變量組的第一對(duì)成分，使之相關(guān)性最大：
[0028] 假設(shè)從兩組變量分別提出第一對(duì)成分為&和u i，其中&是自變量集X的線性組 合，U1是因變量集Y的線性組合，為了回歸分析的需要，要求t JP u 可能多的提取所在變 量組的變異信息以及二者之間的相關(guān)程度達(dá)到最大。現(xiàn)在由Etl, Ftl，計(jì)算第一對(duì)成分的得分 向量，記為h和Wl，貝1J有
[0029]
[0030]
[0031] 第一對(duì)成分1^和u i的協(xié)方差可以用第一對(duì)成分的得分向量^和Wl的內(nèi)積來計(jì) 算，故而有
[0032]
[0033] 此時(shí)，只需要計(jì)算MXM矩陣的最大特征值及其對(duì)應(yīng)的特征向量，且 盡的最大特征值即為Θ i的平方，相應(yīng)的單位特征向量即為所求解的w i，而Vl可以 由