數(shù)據(jù)真實(shí)值的估計(jì)方法及數(shù)據(jù)真實(shí)值估計(jì)裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)據(jù)領(lǐng)域，尤其涉及一種數(shù)據(jù)真實(shí)值的估計(jì)方法及數(shù)據(jù)真實(shí)值估計(jì)裝 置。
【背景技術(shù)】
[0002] 隨著信息技術(shù)的發(fā)展，"大數(shù)據(jù)"一詞越來越多地被提及，大數(shù)據(jù)被用以描述和定 義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)，如企業(yè)在日常運(yùn)營(yíng)中生成、累積的用戶網(wǎng)絡(luò)行為數(shù)據(jù)。
[0003] 大數(shù)據(jù)的特點(diǎn)不僅僅是數(shù)據(jù)規(guī)模的大，而且還有一個(gè)非常重要的特點(diǎn)是數(shù)據(jù)的多 樣性，多樣性是指描述同一個(gè)對(duì)象的數(shù)據(jù)可能來自不同的數(shù)據(jù)源，且具有不同的數(shù)據(jù)表現(xiàn) 形式。例如，同一個(gè)客戶的信息可能存儲(chǔ)在同一個(gè)公司的多個(gè)不同的數(shù)據(jù)庫(kù)當(dāng)中，一個(gè)病人 的病歷記錄可能分布在多個(gè)不同的醫(yī)院里，同一個(gè)自然現(xiàn)象（臺(tái)風(fēng)或者暴雨）在不同的實(shí)驗(yàn) 室、氣象臺(tái)可能會(huì)觀測(cè)到不同的風(fēng)力指數(shù)等。數(shù)據(jù)在輸入，變換等操作過程中由于人為或 者設(shè)備的誤差可能導(dǎo)致描述同一個(gè)對(duì)象的數(shù)據(jù)在不同的數(shù)據(jù)源中存在誤差，缺失甚至是相 互沖突的現(xiàn)象。在工業(yè)生產(chǎn)或者基于數(shù)據(jù)分析的決策支持系統(tǒng)中，這種數(shù)據(jù)的沖突而導(dǎo)致 的信息不可靠會(huì)引起極其嚴(yán)重的后果，給企業(yè)造成重大的損失。所以，從多源異構(gòu)數(shù)據(jù)源當(dāng) 中辨識(shí)出真實(shí)可靠的數(shù)據(jù)，化解多源數(shù)據(jù)之間的沖突現(xiàn)象具有非常重要現(xiàn)實(shí)意義和應(yīng)用價(jià) 值。
[0004] 數(shù)據(jù)庫(kù)研究領(lǐng)域?qū)Χ嘣磾?shù)據(jù)的沖突化解問題進(jìn)行了深入的研究，在數(shù)據(jù)集成的應(yīng) 用中，提出了一系列的方法來化解多源異構(gòu)數(shù)據(jù)的沖突。對(duì)于類別型的數(shù)據(jù)，常用的沖突化 解方法是根據(jù)投票原則，將多個(gè)數(shù)據(jù)源當(dāng)中出現(xiàn)次數(shù)最多的值作為數(shù)據(jù)的真實(shí)值；對(duì)于連 續(xù)型的數(shù)據(jù)，常用的沖突化解方法是簡(jiǎn)單的取多個(gè)數(shù)據(jù)源的數(shù)據(jù)的中值或者均值作為數(shù)據(jù) 的真實(shí)值。
[0005] 然而，投票、取中值或均值的方法對(duì)于過去的應(yīng)用來講，一般來說能夠滿足要求， 但是隨著科技的發(fā)展和應(yīng)用的變化，這種簡(jiǎn)單的方法對(duì)所有的數(shù)據(jù)源均等對(duì)待的手段就明 顯不足。對(duì)每個(gè)數(shù)據(jù)源都取相等的權(quán)重，極有可能得到與真實(shí)值偏差嚴(yán)重的不可靠數(shù)據(jù)。在 復(fù)雜的現(xiàn)實(shí)世界當(dāng)中，投票、取中值或均值的方法不能判斷出不可靠的數(shù)據(jù)源。例如當(dāng)出故 障的傳感器不斷發(fā)射錯(cuò)誤的值或者是網(wǎng)絡(luò)病毒不斷在網(wǎng)絡(luò)上傳播錯(cuò)誤的信息時(shí)，投票、取 中值或均值的方法不能判斷出這種不可靠的信息來源，造成對(duì)真實(shí)值的偏差估計(jì)。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供了一種數(shù)據(jù)真實(shí)值的估計(jì)方法及數(shù)據(jù)真實(shí)值估計(jì)裝置，用于提高數(shù)據(jù) 真實(shí)值估計(jì)的準(zhǔn)確性。
[0007] 第一方面，本發(fā)明提供了一種數(shù)據(jù)真實(shí)值的估計(jì)方法，該方法包括：
[0008] 確定數(shù)學(xué)優(yōu)化模型，其中，所述數(shù)學(xué)優(yōu)化模型基于第一優(yōu)化參數(shù)和第二優(yōu)化參數(shù) 構(gòu)建，所述第一優(yōu)化參數(shù)包括目標(biāo)數(shù)據(jù)的估計(jì)值，所述第二優(yōu)化參數(shù)包括各個(gè)目標(biāo)數(shù)據(jù)源 的權(quán)重值，其中，所述目標(biāo)數(shù)據(jù)源包含所述目標(biāo)數(shù)據(jù)；
[0009] 初始化所述第一優(yōu)化參數(shù)和所述第二優(yōu)化參數(shù)；
[0010] 對(duì)所述第一優(yōu)化參數(shù)和所述第二優(yōu)化參數(shù)進(jìn)行迭代更新運(yùn)算；
[0011] 當(dāng)滿足預(yù)置的迭代中止條件時(shí)，將滿足預(yù)置的迭代中止條件時(shí)得到的所述目標(biāo)數(shù) 據(jù)的估計(jì)值確定為所述目標(biāo)數(shù)據(jù)的真實(shí)值；
[0012] 其中，所述對(duì)所述第一優(yōu)化參數(shù)和所述第二優(yōu)化參數(shù)進(jìn)行迭代更新運(yùn)算，包括：第 一迭代更新運(yùn)算或第二迭代更新運(yùn)算；
[0013] 所述第一迭代更新運(yùn)算包括：
[0014] 根據(jù)所述數(shù)學(xué)優(yōu)化模型，所述目標(biāo)數(shù)據(jù)在所述各個(gè)目標(biāo)數(shù)據(jù)源中的記錄值以及所 述第一優(yōu)化參數(shù)的當(dāng)前值，更新所述第二優(yōu)化參數(shù)；
[0015] 在更新所述第二優(yōu)化參數(shù)后，根據(jù)所述目標(biāo)數(shù)據(jù)在所述各個(gè)目標(biāo)數(shù)據(jù)源中的記錄 值和所述第二優(yōu)化參數(shù)的當(dāng)前值，更新所述第一優(yōu)化參數(shù)；
[0016] 在更新所述第一優(yōu)化參數(shù)后，返回并順序執(zhí)行所述更新所述第二優(yōu)化參數(shù)的步驟 和所述更新所述第一優(yōu)化參數(shù)的步驟；
[0017] 所述第二迭代更新運(yùn)算包括：
[0018] 根據(jù)所述目標(biāo)數(shù)據(jù)在所述各個(gè)目標(biāo)數(shù)據(jù)源中的記錄值和所述第二優(yōu)化參數(shù)的當(dāng) 前值，更新所述第一優(yōu)化參數(shù)；
[0019] 在更新所述第一優(yōu)化參數(shù)后，根據(jù)所述數(shù)學(xué)優(yōu)化模型，所述目標(biāo)數(shù)據(jù)在所述各個(gè) 目標(biāo)數(shù)據(jù)源中的記錄值以及所述第一優(yōu)化參數(shù)的當(dāng)前值，更新所述第二優(yōu)化參數(shù)；
[0020] 在更新所述第二優(yōu)化參數(shù)后，返回并順序執(zhí)行所述更新所述第一優(yōu)化參數(shù)的步驟 和所述更新所述第二優(yōu)化參數(shù)的步驟。
[0021] 在第一方面的第一種可能的實(shí)現(xiàn)方式中，在所述各個(gè)目標(biāo)數(shù)據(jù)源中，每個(gè)目標(biāo)數(shù) 據(jù)源包含至少一條數(shù)據(jù)記錄，且每條數(shù)據(jù)記錄包含至少一個(gè)數(shù)據(jù)，且，每個(gè)目標(biāo)數(shù)據(jù)源包含 相同數(shù)量的數(shù)據(jù)記錄，且，每條數(shù)據(jù)記錄包含相同數(shù)量的數(shù)據(jù)；
[0022] 所述確定數(shù)學(xué)優(yōu)化模型具體為確定如下數(shù)學(xué)優(yōu)化模型：
[0026] 在上式中，vW為目標(biāo)數(shù)據(jù)源中所有數(shù)據(jù)的估計(jì)值集合，W表示各個(gè)目標(biāo)數(shù)據(jù)源的 權(quán)重值的集合，K表示目標(biāo)數(shù)據(jù)源的個(gè)數(shù)，N表示每個(gè)目標(biāo)數(shù)據(jù)源包含的數(shù)據(jù)記錄的數(shù)量， M表示每條數(shù)據(jù)記錄包含的不同數(shù)據(jù)類型數(shù)據(jù)的數(shù)量，wk表示第k個(gè)目標(biāo)數(shù)據(jù)源的權(quán)重值， 表示第i條數(shù)據(jù)記錄的第m個(gè)數(shù)據(jù)在第k個(gè)目標(biāo)數(shù)據(jù)源中的記錄值，^>丨為 用于計(jì)算vif與vf之間的誤差的代價(jià)函數(shù)，S(w)為用于對(duì)目標(biāo)數(shù)據(jù)源的權(quán)重值進(jìn)行約 束的約束函數(shù)，其中，各個(gè)目標(biāo)數(shù)據(jù)源的權(quán)重值均為實(shí)數(shù)；
[0027] 所述初始化所述第一優(yōu)化參數(shù)和所述第二優(yōu)化參數(shù)，包括：
[0028] 初始化目標(biāo)數(shù)據(jù)源中每個(gè)數(shù)據(jù)的估計(jì)值和每個(gè)目標(biāo)數(shù)據(jù)源的權(quán)重值；
[0029] 所述根據(jù)所述數(shù)學(xué)優(yōu)化模型，所述目標(biāo)數(shù)據(jù)在所述各個(gè)目標(biāo)數(shù)據(jù)源中的記錄值以 及所述第一優(yōu)化參數(shù)的當(dāng)前值，更新所述第二優(yōu)化參數(shù)，包括：
[0030] 所述根據(jù)所述數(shù)學(xué)優(yōu)化模型，所述每個(gè)數(shù)據(jù)在所述各個(gè)目標(biāo)數(shù)據(jù)源中的記錄值， 當(dāng)前所述每個(gè)數(shù)據(jù)的估計(jì)值以及第一公式，更新每個(gè)目標(biāo)數(shù)據(jù)源的權(quán)重值，其中，所述第一 公式為：
[0032] s. t. 8 (ff)=l；
[0033] 所述根據(jù)所述目標(biāo)數(shù)據(jù)在所述各個(gè)目標(biāo)數(shù)據(jù)源中的記錄值和所述第二優(yōu)化參數(shù) 的當(dāng)前值，更新所述第一優(yōu)化參數(shù)，包括：
[0034] 根據(jù)所述每個(gè)數(shù)據(jù)在所述各個(gè)目標(biāo)數(shù)據(jù)源中的記錄值，當(dāng)前每個(gè)目標(biāo)數(shù)據(jù)源的權(quán) 重值以及第二公式，更新所述每個(gè)數(shù)據(jù)的估計(jì)值，其中，所述第二公式為：
[0036] 結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，
[0037] 所述S(W)取如下三種形式中的任意一種：
[0038]
_，其中，wk 不小于 0,k=l, 2. ? ?，K;
[0039]
，其中，wk不小于0,且p為正整數(shù)；
[0040]
，其中，wk取0或1，且j為不等于0的實(shí)數(shù)。
[0041] 結(jié)合第一方面的第一或第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，
[0042] 對(duì)于數(shù)據(jù)類型為離散型變量的數(shù)據(jù)，(v￡\ 滿足如下條件：
[0044] 結(jié)合第一方面的第一或第二種可能的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，對(duì) 于數(shù)據(jù)類型為連續(xù)型變量的數(shù)據(jù)，滿足如下兩個(gè)條件中的任一個(gè)：
[0047] 結(jié)合第一方面，或第一方面的第一至第四任一種可能的實(shí)現(xiàn)方式，在第五種可能 的實(shí)現(xiàn)方式中，所述方法還包括：
[0048] 判斷所述迭代更新運(yùn)算過程中的迭代累計(jì)次數(shù)是否超過預(yù)置的門限值，若超過， 則判定當(dāng)前滿足預(yù)置的迭代中止條件，若不超過，則判定當(dāng)前不滿足預(yù)置的迭代中止條件。
[0049] 結(jié)合第一方面的第一至第四任一種可能的實(shí)現(xiàn)方式，在第六種可能的實(shí)現(xiàn)方式 中，所述方法還包括：判斷所述迭代更新運(yùn)算過程中，本次迭代得到的f(vW，W)與前次迭 代得到的f(vW，W)之間的差值是否小于預(yù)置閾值；
[0050] 若小于預(yù)置閾值，則判定當(dāng)前滿足預(yù)置的迭代中止條件，若不小于預(yù)置閾值，則判 定當(dāng)前不滿足預(yù)置的迭代中止條件。
[0051] 第一方面，本發(fā)明提供了一種數(shù)據(jù)真實(shí)值估計(jì)裝置，該裝置包括：
[0052] 第一確定單元，用于確定數(shù)學(xué)優(yōu)化模型，其中，所述數(shù)學(xué)優(yōu)化模型基于第一優(yōu)化參 數(shù)和第二優(yōu)化參數(shù)構(gòu)建，所述第一優(yōu)化參數(shù)包括目標(biāo)數(shù)據(jù)的估計(jì)值，所述第二優(yōu)化參數(shù)包 括各個(gè)目標(biāo)數(shù)據(jù)源的權(quán)重值，其中，所述目標(biāo)數(shù)據(jù)源包含所述目標(biāo)數(shù)據(jù)；
[0053] 初始化單元，用于初始化所述第一優(yōu)化參數(shù)和所述第二優(yōu)化參數(shù)；
[0054] 迭代更新運(yùn)算單元，用于對(duì)所述第一優(yōu)化參數(shù)和所述第二優(yōu)化參數(shù)進(jìn)行迭代更新 運(yùn)算；
[0055] 第二確定單元，用于當(dāng)滿足預(yù)置的迭代中止條件時(shí)，將滿足預(yù)置的迭代中止條件 時(shí)得到的所述目標(biāo)數(shù)據(jù)的估計(jì)值確定為所述目標(biāo)數(shù)據(jù)的真實(shí)值；
[0056] 其中，所述迭代更新運(yùn)算單元具體用于：根據(jù)所述數(shù)學(xué)優(yōu)化模型，所述目標(biāo)數(shù)據(jù)在 所述各個(gè)目標(biāo)數(shù)據(jù)源中的記錄值以及所述第一優(yōu)化參數(shù)的當(dāng)前值更新所述第二優(yōu)化參數(shù)， 在更新所述第二優(yōu)化參數(shù)之后，根據(jù)所述目標(biāo)數(shù)據(jù)在所述各個(gè)目標(biāo)數(shù)據(jù)源中的記錄值和所 述更新后的第二優(yōu)化參數(shù)更新所述第一優(yōu)化參數(shù)，返回并順序執(zhí)行所述更新所述第二優(yōu)化 參數(shù)的動(dòng)作和所述更新所述第一優(yōu)化參數(shù)的動(dòng)作；
[0057]或者，
[0058] 所述迭代更新運(yùn)算單元具體用于：根據(jù)所述目標(biāo)數(shù)據(jù)在所述各個(gè)目標(biāo)數(shù)據(jù)源中的 記錄值和所述第二優(yōu)化參數(shù)的當(dāng)前值更新所述第一優(yōu)化參數(shù)，在更新所述第一優(yōu)化參數(shù)之 后，根據(jù)所述數(shù)學(xué)優(yōu)化模型，所述目標(biāo)數(shù)據(jù)在所述各個(gè)目標(biāo)數(shù)據(jù)源中的記錄值以及所述更 新后的第一優(yōu)化參數(shù)，更新所述第二優(yōu)化參數(shù)，返回并順序執(zhí)行所述更新所述第一優(yōu)化參 數(shù)的動(dòng)作和所述更新所述第二優(yōu)化參數(shù)的動(dòng)作。
[0059] 在第一方面的第一種可能的實(shí)現(xiàn)方式中，在所述各個(gè)目標(biāo)數(shù)據(jù)源中，每個(gè)目標(biāo)數(shù) 據(jù)源包含至少一條數(shù)據(jù)記錄，且每條數(shù)據(jù)記錄包含至少一個(gè)數(shù)據(jù)，且，每個(gè)目標(biāo)數(shù)據(jù)