動(dòng)態(tài)預(yù)測建模平臺(tái)的制作方法
【專利摘要】用于訓(xùn)練和再訓(xùn)練預(yù)測模型的方法、系統(tǒng)和裝置，包括編碼在一個(gè)或多個(gè)計(jì)算機(jī)存儲(chǔ)設(shè)備上的計(jì)算機(jī)程序。例如通過網(wǎng)絡(luò)從客戶端計(jì)算系統(tǒng)接收屬于客戶端實(shí)體的訓(xùn)練數(shù)據(jù)集。將訓(xùn)練數(shù)據(jù)集與訓(xùn)練函數(shù)一起使用來生成經(jīng)訓(xùn)練的預(yù)測模型。為經(jīng)訓(xùn)練的預(yù)測模型中的每一個(gè)生成有效性分值?；谙鄳?yīng)有效性分值從經(jīng)訓(xùn)練的預(yù)測模型之中為客戶端實(shí)體選擇第一經(jīng)訓(xùn)練的預(yù)測模型。向由客戶端實(shí)體授權(quán)訪問第一經(jīng)訓(xùn)練的預(yù)測模型的用戶提供對(duì)第一經(jīng)訓(xùn)練的預(yù)測模型的訪問。
【專利說明】動(dòng)態(tài)預(yù)測建模平臺(tái)
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求于2011 年 I 月 26 日提交的題為 UPDATEABLE PREDICTIVE ANALYTICALMODELING的美國申請(qǐng)序列號(hào)N0.13/014, 223、以及于2011年I月26日提交的題為DYNAMICPREDICTIVE MODELING PLATFORM的美國申請(qǐng)序列號(hào)N0.13/014, 252的優(yōu)先權(quán)，通過引用將其公開內(nèi)容并入本文。
【技術(shù)領(lǐng)域】
[0003]本說明書涉及訓(xùn)練以及再訓(xùn)練預(yù)測模型。
【背景技術(shù)】
[0004]預(yù)測分析學(xué)一般是指用于從數(shù)據(jù)提取信息來構(gòu)建能夠從給定輸入預(yù)測輸出的模型的技術(shù)。預(yù)測輸出可以包括預(yù)測未來的趨勢或行為模式、或執(zhí)行情感分析，僅列出一些示例?？梢允褂酶鞣N類型的預(yù)測模型來分析數(shù)據(jù)并且生成預(yù)測輸出。典型地，用包括分別鏡像將被輸入到預(yù)測模型中的輸入數(shù)據(jù)的形式和期望的預(yù)測輸出的輸入數(shù)據(jù)和輸出數(shù)據(jù)的訓(xùn)練數(shù)據(jù)來訓(xùn)練預(yù)測模型?？赡苄枰獊碛?xùn)練預(yù)測模型的訓(xùn)練數(shù)據(jù)量會(huì)很大，例如大約十億字節(jié)或兆兆字節(jié)?？捎玫牟煌愋偷念A(yù)測模型的數(shù)量是大量的，并且取決于輸入數(shù)據(jù)的類型，不同的模型表現(xiàn)不同。另外，例如通過對(duì)超參數(shù)進(jìn)行調(diào)整或通過特征歸納或選擇，可以使特定類型的預(yù)測模型表現(xiàn)不同。

【發(fā)明內(nèi)容】

[0005]總的來說，在一個(gè)方面中，在本說明書中所述的主題可以在包括一個(gè)或多個(gè)計(jì)算機(jī)和與該一個(gè)或多個(gè)計(jì)算機(jī)數(shù)據(jù)通信的一個(gè)或多個(gè)數(shù)據(jù)存儲(chǔ)設(shè)備的計(jì)算機(jī)實(shí)現(xiàn)的系統(tǒng)中具體化。該一個(gè)或多個(gè)數(shù)據(jù)存儲(chǔ)設(shè)備存儲(chǔ):訓(xùn)練數(shù)據(jù)儲(chǔ)存庫，其包括屬于客戶端實(shí)體并且通過網(wǎng)絡(luò)從客戶端計(jì)算系統(tǒng)接收的第一多個(gè)訓(xùn)練數(shù)據(jù)集；多個(gè)訓(xùn)練函數(shù)；以及指令，其當(dāng)由該一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行時(shí)，促使該一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行操作。所述操作包括:使用多個(gè)訓(xùn)練函數(shù)和第一多個(gè)訓(xùn)練數(shù)據(jù)集來生成多個(gè)經(jīng)訓(xùn)練的預(yù)測模型；為多個(gè)經(jīng)訓(xùn)練的預(yù)測模型中的每一個(gè)生成相應(yīng)有效性分值，其中每一個(gè)有效性分值表示其相應(yīng)經(jīng)訓(xùn)練的預(yù)測模型的有效性的估計(jì)；基于相應(yīng)有效性分值從多個(gè)經(jīng)訓(xùn)練的預(yù)測模型之中為客戶端實(shí)體選擇第一經(jīng)訓(xùn)練的預(yù)測模型；以及向客戶端實(shí)體授權(quán)訪問第一經(jīng)訓(xùn)練的預(yù)測模型的用戶提供對(duì)第一經(jīng)訓(xùn)練的預(yù)測模型的訪問。本方面的其他實(shí)施例包括對(duì)應(yīng)的方法和記錄在計(jì)算機(jī)存儲(chǔ)設(shè)備上的計(jì)算機(jī)程序，其每一個(gè)被配置成執(zhí)行上述操作。
[0006]這些和其他實(shí)施例每一個(gè)可以可選地單獨(dú)或組合包括下面特征中的一個(gè)或多個(gè)。
[0007]所述操作可以進(jìn)一步包括:使用先前訓(xùn)練的可更新的預(yù)測模型、用來生成先前訓(xùn)練的可更新的預(yù)測模型的訓(xùn)練函數(shù)以及屬于客戶端實(shí)體的一個(gè)或多個(gè)新的訓(xùn)練數(shù)據(jù)集，來生成再訓(xùn)練的可更新的預(yù)測模型；為再訓(xùn)練的可更新的預(yù)測模型生成有效性分值；基于相應(yīng)有效性分值從再訓(xùn)練的可更新的預(yù)測模型和多個(gè)經(jīng)訓(xùn)練的預(yù)測模型之中為客戶端實(shí)體選擇第二經(jīng)訓(xùn)練的預(yù)測模型；以及向客戶端實(shí)體授權(quán)訪問第二經(jīng)訓(xùn)練的預(yù)測模型的用戶提供對(duì)第二經(jīng)訓(xùn)練的預(yù)測模型的訪問。
[0008]所述操作可以進(jìn)一步包括在生成再訓(xùn)練的可更新的預(yù)測模型之前，確定下面條件中的至少一個(gè)為真:(i)在訓(xùn)練數(shù)據(jù)隊(duì)列中的訓(xùn)練數(shù)據(jù)量大于或等于閾值量；(ii)達(dá)到或超過預(yù)先確定的時(shí)間量；或(iii)接收到更新先前訓(xùn)練的可更新的預(yù)測模型的請(qǐng)求。
[0009]所述操作可以進(jìn)一步包括:使用多個(gè)訓(xùn)練函數(shù)和屬于客戶端實(shí)體的第二多個(gè)訓(xùn)練數(shù)據(jù)集來生成多個(gè)新的經(jīng)訓(xùn)練的預(yù)測模型；為多個(gè)新的經(jīng)訓(xùn)練的預(yù)測模型中的每一個(gè)生成相應(yīng)有效性分值；基于相應(yīng)有效性分值從先前訓(xùn)練的預(yù)測模型和多個(gè)新的經(jīng)訓(xùn)練的預(yù)測模型之中為客戶端實(shí)體選擇第二經(jīng)訓(xùn)練的預(yù)測模型；以及向客戶端實(shí)體授權(quán)訪問第二經(jīng)訓(xùn)練的預(yù)測模型的用戶提供對(duì)第二經(jīng)訓(xùn)練的預(yù)測模型的訪問。
[0010]所述操作可以進(jìn)一步包括在生成多個(gè)新的經(jīng)訓(xùn)練的預(yù)測模型之前，確定下面條件中的至少一個(gè)為真:(i)達(dá)到或超過預(yù)先確定的時(shí)間量接收到生成新的經(jīng)訓(xùn)練的預(yù)測模型的請(qǐng)求。
[0011 ] 第二多個(gè)訓(xùn)練數(shù)據(jù)集可以(i )包括一個(gè)或多個(gè)新的訓(xùn)練數(shù)據(jù)集和來自第一多個(gè)訓(xùn)練數(shù)據(jù)集的一個(gè)或多個(gè)訓(xùn)練數(shù)據(jù)集，或(ii )不包括被包括在第一多個(gè)訓(xùn)練數(shù)據(jù)集中的任何訓(xùn)練數(shù)據(jù)集。
[0012]所述操作可以進(jìn)一步包括從用戶可操作的計(jì)算系統(tǒng)接收輸入數(shù)據(jù)和對(duì)使用第一經(jīng)訓(xùn)練的預(yù)測模型的預(yù)測輸出的請(qǐng)求；使用輸入數(shù)據(jù)和第一經(jīng)訓(xùn)練的預(yù)測模型來生成預(yù)測輸出；以及將預(yù)測輸出提供給用戶可操作的計(jì)算系統(tǒng)。
[0013]生成多個(gè)經(jīng)訓(xùn)練的預(yù)測模型可以包括將訓(xùn)練函數(shù)中的一個(gè)應(yīng)用到訓(xùn)練數(shù)據(jù)集中的一個(gè)，來生成形成經(jīng)訓(xùn)練的預(yù)測模型中的一個(gè)的參數(shù)集。所述操作可以進(jìn)一步包括根據(jù)定義規(guī)則的數(shù)據(jù)保留策略來維護(hù)訓(xùn)練數(shù)據(jù)儲(chǔ)存庫，該規(guī)則確定哪些訓(xùn)練數(shù)據(jù)被保留以及哪些訓(xùn)練數(shù)據(jù)從儲(chǔ)存庫被刪除。
[0014]可以實(shí)現(xiàn)在本說明書中所述的主題的特定實(shí)施例，以實(shí)現(xiàn)下面優(yōu)勢中的一個(gè)或多個(gè)?？梢詫?duì)包括可更新的經(jīng)訓(xùn)練的預(yù)測模型的經(jīng)訓(xùn)練的預(yù)測模型的動(dòng)態(tài)儲(chǔ)存庫進(jìn)行維護(hù)。當(dāng)新的訓(xùn)練數(shù)據(jù)變得可用時(shí)，可以動(dòng)態(tài)更新可更新的經(jīng)訓(xùn)練的預(yù)測模型?？梢允褂酶碌挠?xùn)練數(shù)據(jù)集來再生成靜態(tài)經(jīng)訓(xùn)練的預(yù)測模型(即，不可更新的預(yù)測模型)。最有效的經(jīng)訓(xùn)練的預(yù)測模型可以從動(dòng)態(tài)儲(chǔ)存庫進(jìn)行選擇，并且用來響應(yīng)于接收輸入數(shù)據(jù)而提供預(yù)測輸出。在動(dòng)態(tài)儲(chǔ)存庫中的最有效的經(jīng)訓(xùn)練的預(yù)測模型可以在新的訓(xùn)練數(shù)據(jù)變得可用并且用來更新儲(chǔ)存庫(即，更新和/或再生成經(jīng)訓(xùn)練的預(yù)測模型)時(shí)，隨著時(shí)間的推移而改變?？梢蕴峁┓?wù)，例如“在云中”，其中客戶端計(jì)算系統(tǒng)可以提供輸入數(shù)據(jù)和預(yù)測請(qǐng)求，并且作為響應(yīng)接收預(yù)測輸出，而不用耗費(fèi)客戶端計(jì)算資源或需要對(duì)預(yù)測分析建模的客戶端專門知識(shí)?？蛻舳擞?jì)算系統(tǒng)可以增量地提供新的訓(xùn)練數(shù)據(jù)，并且基于客戶端計(jì)算系統(tǒng)截至給定時(shí)間所提供的訓(xùn)練數(shù)據(jù)，被提供對(duì)在該給定時(shí)間可用的最有效的經(jīng)訓(xùn)練的預(yù)測模型的訪問。例如通過在檢測到輸出中的錯(cuò)誤時(shí)提供正確輸出作為更新訓(xùn)練樣本，可以容易并迅速地校正給出錯(cuò)誤的預(yù)測輸出的可更新的經(jīng)訓(xùn)練的預(yù)測模型。
[0015]在附圖和下面的描述中闡述了在本說明書中所述的主題的一個(gè)或多個(gè)實(shí)施例的細(xì)節(jié)。根據(jù)描述、附圖和權(quán)利要求，所述主題的其他特征、方面和優(yōu)勢將變得顯而易見?！緦＠綀D】

【附圖說明】
[0016]圖1是提供預(yù)測分析平臺(tái)的系統(tǒng)的示意表示。
[0017]圖2是示出用于通過網(wǎng)絡(luò)提供預(yù)測分析平臺(tái)的系統(tǒng)的示意框圖。
[0018]圖3是示出用于從客戶端計(jì)算系統(tǒng)的角度使用預(yù)測分析平臺(tái)的示例過程的流程圖。
[0019]圖4是示出用于使用預(yù)測分析平臺(tái)來為客戶端計(jì)算系統(tǒng)服務(wù)的示例過程的流程圖。
[0020]圖5是示出用于從客戶端計(jì)算系統(tǒng)的角度使用預(yù)測分析平臺(tái)的示例過程的流程圖。
[0021]圖6是示出用于使用預(yù)測分析平臺(tái)來再訓(xùn)練可更新的經(jīng)訓(xùn)練的預(yù)測模型的示例過程的流程圖。
[0022]圖7是示出用于使用更新的訓(xùn)練數(shù)據(jù)來生成新的經(jīng)訓(xùn)練的預(yù)測模型集的示例過程的流程圖。
[0023]圖8是示出用于維護(hù)經(jīng)訓(xùn)練的預(yù)測模型的更新的動(dòng)態(tài)儲(chǔ)存庫的示例過程的流程圖。
[0024]在各附圖中，相同的參考數(shù)字和標(biāo)記指示相同的元素。
【具體實(shí)施方式】
[0025]描述了提供經(jīng)訓(xùn)練的預(yù)測模型的動(dòng)態(tài)儲(chǔ)存庫的方法和系統(tǒng)，所述經(jīng)訓(xùn)練的預(yù)測模型中的至少部分可以在新的訓(xùn)練數(shù)據(jù)變得可用時(shí)被更新?？梢蕴峁﹣碜栽搫?dòng)態(tài)儲(chǔ)存庫的經(jīng)訓(xùn)練的預(yù)測模型，并且使用其來為給定輸入生成預(yù)測輸出。當(dāng)特定客戶端實(shí)體的訓(xùn)練數(shù)據(jù)隨著時(shí)間的推移而改變時(shí)，可以向該客戶端實(shí)體提供對(duì)已用反映改變的訓(xùn)練數(shù)據(jù)來訓(xùn)練的經(jīng)訓(xùn)練的預(yù)測模型的訪問。如此，與不可用新的訓(xùn)練數(shù)據(jù)更新、因此是“靜態(tài)的”經(jīng)訓(xùn)練的預(yù)測模型的儲(chǔ)存庫相比，可以從之選擇預(yù)測模型以使用來生成預(yù)測輸出的經(jīng)訓(xùn)練的預(yù)測模型的儲(chǔ)存庫是“動(dòng)態(tài)的”。
[0026]圖1是提供預(yù)測分析平臺(tái)的系統(tǒng)的示意表示。系統(tǒng)100包括能夠與預(yù)測建模服務(wù)器系統(tǒng)109通信的多個(gè)客戶端計(jì)算系統(tǒng)104a-c。在所示的示例中，客戶端計(jì)算系統(tǒng)104a_c可以通過網(wǎng)絡(luò)102與服務(wù)器系統(tǒng)前端110通信。網(wǎng)絡(luò)102可以包括一個(gè)或多個(gè)局域網(wǎng)(LAN)、諸如因特網(wǎng)的廣域網(wǎng)(WAN)、諸如蜂窩網(wǎng)絡(luò)的無線網(wǎng)絡(luò)、或所有上述的組合。服務(wù)器系統(tǒng)前端110與數(shù)據(jù)中心112所表示的一個(gè)或多個(gè)數(shù)據(jù)中心通信或被包括在該一個(gè)或多個(gè)數(shù)據(jù)中心內(nèi)。數(shù)據(jù)中心112 —般是存放在一個(gè)或多個(gè)建筑物中的、典型地能夠管理大量數(shù)據(jù)的大量計(jì)算機(jī)。
[0027]客戶端實(shí)體——例如個(gè)人或一群人或公司——可能想要能夠從屬于該客戶端實(shí)體或受該客戶端實(shí)體控制的客戶端計(jì)算系統(tǒng)104a接收輸入數(shù)據(jù)并且生成預(yù)測輸出的經(jīng)訓(xùn)練的預(yù)測模型。為了訓(xùn)練特定預(yù)測模型，可能需要大量的訓(xùn)練數(shù)據(jù)，例如，一個(gè)或多個(gè)十億字節(jié)的數(shù)據(jù)。客戶端計(jì)算系統(tǒng)104a可能不能有效地管理如此大量的數(shù)據(jù)。進(jìn)一步，從多種可用類型的模型選擇并調(diào)整有效的預(yù)測模型可能需要客戶端計(jì)算系統(tǒng)104a的操作者可能不具備的技能和專門知識(shí)。
[0028]在本文所述的系統(tǒng)100允許訓(xùn)練數(shù)據(jù)106a通過網(wǎng)絡(luò)102從客戶端計(jì)算系統(tǒng)104a被上載到預(yù)測建模服務(wù)器系統(tǒng)109。訓(xùn)練數(shù)據(jù)106a可以包括初始訓(xùn)練數(shù)據(jù)，其可以是客戶端實(shí)體已積累的相對(duì)大量的訓(xùn)練數(shù)據(jù)，例如，如果客戶端實(shí)體是系統(tǒng)100的首次用戶。訓(xùn)練數(shù)據(jù)106a還可以包括能夠在另外的訓(xùn)練數(shù)據(jù)變得可用時(shí)從客戶端計(jì)算系統(tǒng)104a被上載的新的訓(xùn)練數(shù)據(jù)。每當(dāng)新的訓(xùn)練數(shù)據(jù)變得可用時(shí)，在自組織的基礎(chǔ)上、周期性分批地、一旦某一量已積累則成批地或以另外方式，客戶端計(jì)算系統(tǒng)104a就可以上載該新的訓(xùn)練數(shù)據(jù)。
[0029]服務(wù)器系統(tǒng)前端110可以使用數(shù)據(jù)中心112來接收、存儲(chǔ)并管理大量的數(shù)據(jù)。在數(shù)據(jù)中心112中的一個(gè)或多個(gè)計(jì)算機(jī)能夠運(yùn)行使用訓(xùn)練數(shù)據(jù)來估計(jì)多種類型的預(yù)測模型的有效性、并且對(duì)經(jīng)訓(xùn)練的預(yù)測模型作出選擇以用于從特定客戶端計(jì)算系統(tǒng)104a接收的數(shù)據(jù)的軟件?？梢詫?duì)所選擇的模型進(jìn)行訓(xùn)練，以及使經(jīng)訓(xùn)練的模型對(duì)能夠訪問預(yù)測建模服務(wù)器系統(tǒng)109以及可選地具有來自為該模型提供了訓(xùn)練數(shù)據(jù)的客戶端實(shí)體的許可的用戶可用。如果限制對(duì)模型的訪問是期望的，則可以使用關(guān)于用戶授權(quán)和驗(yàn)證以及訪問控制的任何常規(guī)技術(shù)來控制訪問和許可。客戶端計(jì)算系統(tǒng)104a可以通過網(wǎng)絡(luò)傳送預(yù)測請(qǐng)求108a。在數(shù)據(jù)中心112中執(zhí)行的所選擇的經(jīng)訓(xùn)練的模型接收預(yù)測請(qǐng)求、輸入數(shù)據(jù)和對(duì)預(yù)測輸出的請(qǐng)求，并且生成預(yù)測輸出114?？梢岳缤ㄟ^網(wǎng)絡(luò)102，向客戶端計(jì)算系統(tǒng)104a提供預(yù)測輸出 114。
[0030]有利地，當(dāng)處理大量訓(xùn)練數(shù)據(jù)和/或輸入數(shù)據(jù)時(shí)，可以跨在數(shù)據(jù)中心112處的多個(gè)計(jì)算機(jī)縮放過程。預(yù)測建模服務(wù)器系統(tǒng)109可以根據(jù)需要使用一個(gè)或多個(gè)計(jì)算機(jī)來自動(dòng)供應(yīng)并分配所需的資源。不需要客戶端計(jì)算系統(tǒng)104a的操作者具有關(guān)于預(yù)測模型的任何專業(yè)技能或知識(shí)。對(duì)預(yù)測模型的訓(xùn)練和選擇可以“在云中”，即通過網(wǎng)絡(luò)102發(fā)生，從而減輕了在客戶端計(jì)算系統(tǒng)的處理器能力和數(shù)據(jù)存儲(chǔ)方面的負(fù)擔(dān)，并且還減少了所需的客戶端側(cè)人力資源。
[0031]用語客戶端計(jì)算系統(tǒng)在本描述中用來指能夠訪問預(yù)測建模服務(wù)器系統(tǒng)的一個(gè)或多個(gè)計(jì)算機(jī)，其可以在一個(gè)或多個(gè)物理位置處。數(shù)據(jù)中心112能夠處理大量的數(shù)據(jù)，例如，以兆兆字節(jié)或更大的規(guī)模，并且如此，能夠?yàn)槎鄠€(gè)客戶端計(jì)算系統(tǒng)服務(wù)。出于說明目的，示出了三個(gè)客戶端計(jì)算系統(tǒng)104a-c，然而，這樣的預(yù)測建模服務(wù)器系統(tǒng)109能夠?yàn)榇罅靠蛻舳擞?jì)算系統(tǒng)服務(wù)。
[0032]圖2是示出用于通過網(wǎng)絡(luò)提供動(dòng)態(tài)預(yù)測分析平臺(tái)的系統(tǒng)200的示意框圖。出于說明目的，示出了系統(tǒng)200，其中一個(gè)客戶端計(jì)算系統(tǒng)202通過網(wǎng)絡(luò)204與預(yù)測建模服務(wù)器系統(tǒng)206通信。然而，應(yīng)當(dāng)理解的是，能夠使用可以位于一個(gè)或多個(gè)物理位置的多個(gè)計(jì)算機(jī)來實(shí)現(xiàn)的預(yù)測建模服務(wù)器系統(tǒng)206可以為多個(gè)客戶端計(jì)算系統(tǒng)服務(wù)。在所示的示例中，預(yù)測建模服務(wù)器系統(tǒng)包括接口 208。在一些實(shí)施方式中，可以將接口 208實(shí)現(xiàn)為一個(gè)或多個(gè)模塊，其適于與被包括在預(yù)測建模服務(wù)器系統(tǒng)206中的組件和網(wǎng)絡(luò)204對(duì)接，例如訓(xùn)練數(shù)據(jù)隊(duì)列213、訓(xùn)練數(shù)據(jù)儲(chǔ)存庫214、模型選擇模塊210和/或經(jīng)訓(xùn)練的模型儲(chǔ)存庫218。
[0033]圖3是示出用于從客戶端計(jì)算系統(tǒng)202的角度使用預(yù)測分析平臺(tái)的示例過程300的流程圖。當(dāng)對(duì)應(yīng)客戶端實(shí)體在將初始訓(xùn)練數(shù)據(jù)上載到系統(tǒng)206時(shí)，客戶端計(jì)算系統(tǒng)202將執(zhí)行過程300?？蛻舳擞?jì)算系統(tǒng)202通過網(wǎng)絡(luò)204將訓(xùn)練數(shù)據(jù)(即，初始訓(xùn)練數(shù)據(jù))上載到預(yù)測建模服務(wù)器系統(tǒng)206 (步驟302)。在一些實(shí)施方式中，客戶端計(jì)算系統(tǒng)202批量地(例如，一批)上載初始訓(xùn)練數(shù)據(jù)。在其他實(shí)施方式中，客戶端計(jì)算系統(tǒng)202增量地上載初始訓(xùn)練數(shù)據(jù)，直到已接收到在一起形成“初始訓(xùn)練數(shù)據(jù)”的閾值量的數(shù)據(jù)為止。閾值量的大小可以由系統(tǒng)206、客戶端計(jì)算系統(tǒng)202來設(shè)置或另外被確定。作為響應(yīng)，客戶端計(jì)算系統(tǒng)202接收對(duì)經(jīng)訓(xùn)練的預(yù)測模型(例如經(jīng)訓(xùn)練的預(yù)測模型218)的訪問(步驟304)。
[0034]在所示的實(shí)施方式中，本身沒有提供經(jīng)訓(xùn)練的預(yù)測模型218。經(jīng)訓(xùn)練的預(yù)測模型218在遠(yuǎn)離客戶端計(jì)算系統(tǒng)202的位置處駐存并執(zhí)行。例如，參考回圖1，經(jīng)訓(xùn)練的預(yù)測模型218可以在數(shù)據(jù)中心112中駐存并執(zhí)行，因而不使用客戶端計(jì)算系統(tǒng)202的資源。一旦客戶端計(jì)算系統(tǒng)202訪問經(jīng)訓(xùn)練的預(yù)測模型218，客戶端計(jì)算系統(tǒng)就可以向經(jīng)訓(xùn)練的預(yù)測模型發(fā)送輸入數(shù)據(jù)和預(yù)測請(qǐng)求(步驟306)。作為響應(yīng)，客戶端計(jì)算系統(tǒng)接收經(jīng)訓(xùn)練的預(yù)測模型從輸入數(shù)據(jù)生成的預(yù)測輸出(步驟308)。
[0035]從客戶端計(jì)算系統(tǒng)202的角度，對(duì)預(yù)測模型的訓(xùn)練和使用相對(duì)簡單。對(duì)預(yù)測模型的訓(xùn)練和選擇、對(duì)(待在下面描述的)模型所使用的超參數(shù)和特征的調(diào)整、以及執(zhí)行經(jīng)訓(xùn)練的預(yù)測模型來生成預(yù)測輸出全部均遠(yuǎn)離客戶端計(jì)算系統(tǒng)202來完成，而不用耗費(fèi)客戶端計(jì)算系統(tǒng)資源。所提供的訓(xùn)練數(shù)據(jù)量可以相對(duì)很大，例如十億字節(jié)或更多，其對(duì)客戶端實(shí)體來說經(jīng)常是難操作的數(shù)據(jù)量。
[0036]現(xiàn)將參考圖4中所示的流程圖更詳細(xì)地描述預(yù)測建模服務(wù)器系統(tǒng)206。圖4是示出用于使用預(yù)測分析平臺(tái)來為客戶端計(jì)算系統(tǒng)服務(wù)的示例過程400的流程圖。執(zhí)行過程400來向客戶端計(jì)算系統(tǒng)提供所選擇的經(jīng)訓(xùn)練的預(yù)測模型的訪問，該經(jīng)訓(xùn)練的預(yù)測模型已使用初始訓(xùn)練數(shù)據(jù)來訓(xùn)練。在下面參考圖5和6描述了向客戶端計(jì)算系統(tǒng)提供對(duì)已使用新的訓(xùn)練數(shù)據(jù)(即，在接收初始訓(xùn)練數(shù)據(jù)之后可用的訓(xùn)練數(shù)據(jù))來再訓(xùn)練的預(yù)測模型的訪問。
[0037]參考圖4，從客戶端計(jì)算系統(tǒng)接收訓(xùn)練數(shù)據(jù)(S卩，初始訓(xùn)練數(shù)據(jù))(步驟402)。例如，客戶端計(jì)算系統(tǒng)202可以通過網(wǎng)絡(luò)204增量地或批量地(B卩，作為批)將訓(xùn)練數(shù)據(jù)上載到預(yù)測建模服務(wù)器系統(tǒng)206。如上所述，如果增量地上載初始訓(xùn)練數(shù)據(jù)，則在發(fā)起預(yù)測模型的訓(xùn)練之前，訓(xùn)練數(shù)據(jù)可以積累，直到接收到閾值量為止。訓(xùn)練數(shù)據(jù)可以以建模服務(wù)器系統(tǒng)206理解以定義記錄集的任何便利形式，其中每一個(gè)記錄包括輸入和對(duì)應(yīng)的期望輸出。作為示例，可以使用逗號(hào)分隔值格式或稀疏向量格式來提供訓(xùn)練數(shù)據(jù)。在另一個(gè)示例中，客戶端計(jì)算系統(tǒng)202可以指定協(xié)議緩沖區(qū)定義，并且上載符合所指定的定義的訓(xùn)練數(shù)據(jù)。
[0038]可以在各種不同的應(yīng)用中使用過程400和系統(tǒng)200。一些示例包括(但不限于)作出與下述有關(guān)的預(yù)測:客戶情感、交易風(fēng)險(xiǎn)、物種鑒定、消息路由、診斷、用戶流失預(yù)測、法律文案分類、可疑活動(dòng)、工作名冊(cè)分配、不適當(dāng)?shù)膬?nèi)容、產(chǎn)品推薦、政治偏見、提高營銷、電子郵件過濾以及職業(yè)咨詢。出于說明目的，將使用經(jīng)常如何使用預(yù)測分析學(xué)的典型的示例來描述過程400和系統(tǒng)200。在該示例中，客戶端計(jì)算系統(tǒng)202提供基于web的在線購物服務(wù)。訓(xùn)練數(shù)據(jù)包括多個(gè)記錄，其中每一個(gè)記錄提供特定客戶的在線購物交易歷史?？蛻舻挠涗洶蛻暨M(jìn)行購買的日期，并且識(shí)別在每一個(gè)日期所購買的一個(gè)或多個(gè)項(xiàng)?？蛻舳擞?jì)算系統(tǒng)202對(duì)基于客戶的在線購物交易歷史來預(yù)測客戶的下一次購買感興趣。
[0039]可以使用各種技術(shù)來將訓(xùn)練請(qǐng)求和訓(xùn)練數(shù)據(jù)從客戶端計(jì)算系統(tǒng)202上載到預(yù)測建模服務(wù)器系統(tǒng)206。在一些實(shí)施方式中，使用HTTPweb服務(wù)來上載訓(xùn)練數(shù)據(jù)?？蛻舳擞?jì)算系統(tǒng)202可以使用RESTful API來訪問存儲(chǔ)對(duì)象，以將其訓(xùn)練數(shù)據(jù)上載并存儲(chǔ)在預(yù)測建模服務(wù)器系統(tǒng)206上。在另一個(gè)實(shí)施方式中，使用托管的執(zhí)行平臺(tái)，例如從加州山景城的谷歌公司可獲得的應(yīng)用引擎，來上載訓(xùn)練數(shù)據(jù)。預(yù)測建模服務(wù)器系統(tǒng)206可以提供可以由客戶端計(jì)算系統(tǒng)202使用來上載數(shù)據(jù)的實(shí)用軟件。在一些實(shí)施方式中，可以從許多平臺(tái)使預(yù)測建模服務(wù)器系統(tǒng)206可訪問，包括附屬于預(yù)測建模服務(wù)器系統(tǒng)206的平臺(tái)，例如對(duì)于附屬于谷歌的系統(tǒng)，該平臺(tái)可以是谷歌應(yīng)用引擎或應(yīng)用腳本(例如，來自谷歌電子表格)、以及完全獨(dú)立于預(yù)測建模服務(wù)器系統(tǒng)206的平臺(tái)，例如桌面應(yīng)用。訓(xùn)練數(shù)據(jù)可以很大，例如許多十億字節(jié)。預(yù)測建模服務(wù)器系統(tǒng)206可以包括可操作來存儲(chǔ)所接收的訓(xùn)練數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)，例如訓(xùn)練數(shù)據(jù)儲(chǔ)存庫214。
[0040]預(yù)測建模服務(wù)器系統(tǒng)206包括用于各種預(yù)測模型的訓(xùn)練函數(shù)的儲(chǔ)存庫，所述訓(xùn)練函數(shù)在所示的示例中被包括在訓(xùn)練函數(shù)儲(chǔ)存庫216中?？梢允褂帽话ㄔ趦?chǔ)存庫216中的訓(xùn)練函數(shù)的至少部分來訓(xùn)練“可更新的”預(yù)測模型?？筛碌念A(yù)測模型是指使用第一訓(xùn)練數(shù)據(jù)集(例如，初始訓(xùn)練數(shù)據(jù))來訓(xùn)練過并且能夠與新的訓(xùn)練數(shù)據(jù)集和訓(xùn)練函數(shù)一起用來生成“再訓(xùn)練的”預(yù)測模型的經(jīng)訓(xùn)練的預(yù)測模型。再訓(xùn)練的預(yù)測模型實(shí)際上是用新的訓(xùn)練數(shù)據(jù)更新的初始經(jīng)訓(xùn)練的預(yù)測模型?？梢允褂冒ㄔ趦?chǔ)存庫216中的訓(xùn)練函數(shù)中的一個(gè)或多個(gè)來訓(xùn)練“靜態(tài)”預(yù)測模型。靜態(tài)預(yù)測模型是指用一批訓(xùn)練數(shù)據(jù)(例如，初始訓(xùn)練數(shù)據(jù))進(jìn)行訓(xùn)練并且不可用增量的新訓(xùn)練數(shù)據(jù)更新的預(yù)測模型。如果新的訓(xùn)練數(shù)據(jù)已變得可用，則可以使用該批新的訓(xùn)練數(shù)據(jù)，單獨(dú)地或與更舊的訓(xùn)練數(shù)據(jù)集(例如，初始訓(xùn)練數(shù)據(jù))合并，以及適當(dāng)?shù)挠?xùn)練函數(shù)來訓(xùn)練新的靜態(tài)預(yù)測模型。
[0041]可以用來訓(xùn)練靜態(tài)預(yù)測模型的訓(xùn)練函數(shù)的一些示例包括(但不限于):回歸(例如，線性回歸、邏輯回歸)、分類和回歸樹、多元自適應(yīng)回歸樣條和其他機(jī)器學(xué)習(xí)訓(xùn)練函數(shù)(例如，樸素貝葉斯、k_最近鄰、支持向量機(jī)、感知器)?？梢杂脕碛?xùn)練可更新的預(yù)測模型的訓(xùn)練函數(shù)的一些示例包括(但不限于):在線貝葉斯、重寫篩選、支持向量機(jī)(SVM)模擬、最大熵(MaxEnt)模擬、基于梯度的(FOBOS)以及帶有混合規(guī)范正則化的AdaBoost。訓(xùn)練函數(shù)儲(chǔ)存庫216可以包括這些示例訓(xùn)練函數(shù)中的一個(gè)或多個(gè)。
[0042]再次參考圖4，使用部分或全部訓(xùn)練數(shù)據(jù)來訓(xùn)練可以是可用預(yù)測模型的全部或子集的多個(gè)預(yù)測模型(步驟404)。在示例預(yù)測建模服務(wù)器系統(tǒng)206中，模型訓(xùn)練模塊212可操作來對(duì)該多個(gè)預(yù)測模型進(jìn)行訓(xùn)練。該多個(gè)預(yù)測模型包括一個(gè)或多個(gè)可更新的預(yù)測模型，并且可以包括一個(gè)或多個(gè)靜態(tài)預(yù)測模型。
[0043]客戶端計(jì)算系統(tǒng)202可以向預(yù)測建模服務(wù)器系統(tǒng)206發(fā)送訓(xùn)練請(qǐng)求來發(fā)起對(duì)模型的訓(xùn)練。例如，可以使用GET或POST請(qǐng)求來向URL發(fā)出訓(xùn)練請(qǐng)求。將訓(xùn)練函數(shù)應(yīng)用到訓(xùn)練數(shù)據(jù)來生成參數(shù)集。這些參數(shù)形成經(jīng)訓(xùn)練的預(yù)測模型。例如，為了訓(xùn)練(或估計(jì))樸素貝葉斯模型，可以使用最大似然法。給定類型的預(yù)測模型可以具有多于一個(gè)訓(xùn)練函數(shù)。例如，如果預(yù)測模型的類型是線性回歸模型，則可以與相同的訓(xùn)練數(shù)據(jù)一起使用用于線性回歸模型的多于一個(gè)不同的訓(xùn)練函數(shù)來生成多于一個(gè)經(jīng)訓(xùn)練的預(yù)測模型。
[0044]對(duì)于給定訓(xùn)練函數(shù)，可以將多個(gè)不同的超參數(shù)配置應(yīng)用到該訓(xùn)練函數(shù)，再次生成多個(gè)不同的經(jīng)訓(xùn)練的預(yù)測模型。因此，在本示例中，在預(yù)測模型的類型是線性回歸模型的情況下，對(duì)LI懲罰的改變生成不同的參數(shù)集。另外，可以用不同的特征來訓(xùn)練預(yù)測模型，再次生成不同的經(jīng)訓(xùn)練的模型。對(duì)特征的選擇，即特征歸納，可以在通過訓(xùn)練數(shù)據(jù)計(jì)算訓(xùn)練函數(shù)的多次迭代期間發(fā)生。例如，可以以預(yù)測建模服務(wù)器系統(tǒng)，即數(shù)據(jù)中心，的計(jì)算能力使能的并行分布式方式、以向前逐步方式估計(jì)特征結(jié)合。
[0045]考慮到有可用的許多不同類型的預(yù)測模型，然后每一種類型的預(yù)測模型可以具有多個(gè)訓(xùn)練函數(shù)以及可以將多個(gè)超參數(shù)配置和所選擇的特征用于該多個(gè)訓(xùn)練函數(shù)中的每一個(gè)，存在能夠被生成的許多不同的經(jīng)訓(xùn)練的預(yù)測模型。取決于待由經(jīng)訓(xùn)練的預(yù)測模型使用來預(yù)測輸出的輸入數(shù)據(jù)的性質(zhì)，不同的經(jīng)訓(xùn)練的預(yù)測模型不同地執(zhí)行。即，部分可以比其他的更有效。
[0046]對(duì)經(jīng)訓(xùn)練的預(yù)測模型中的每一個(gè)的有效性進(jìn)行估計(jì)(步驟406)。例如，模型選擇模塊210可操作來對(duì)每一個(gè)經(jīng)訓(xùn)練的預(yù)測模型的有效性進(jìn)行估計(jì)。在一些實(shí)施方式中，使用交叉驗(yàn)證來對(duì)每一個(gè)經(jīng)訓(xùn)練的預(yù)測模型的有效性進(jìn)行估計(jì)。在一個(gè)特定示例中，使用10折交叉驗(yàn)證技術(shù)。交叉驗(yàn)證是其中將訓(xùn)練數(shù)據(jù)分割成子樣本的技術(shù)。使用多個(gè)子樣本來訓(xùn)練未經(jīng)訓(xùn)練的預(yù)測模型，并且使用多個(gè)子樣本(通常一個(gè))來測試經(jīng)訓(xùn)練的預(yù)測模型?？梢詫⒉煌淖訕颖居糜谟?xùn)練樣本和測試樣本來執(zhí)行多輪交叉驗(yàn)證。K-折交叉驗(yàn)證是指將訓(xùn)練數(shù)據(jù)分割成K個(gè)子樣本。保留子樣本中的一個(gè)作為測試樣本，并且將剩余的K-1個(gè)子樣本用作為訓(xùn)練樣本。對(duì)于每一輪將子樣本中的不同子樣本用作為測試樣本，來執(zhí)行K輪交叉驗(yàn)證。然后，可以對(duì)來自K輪的結(jié)果求平均或另外組合，來產(chǎn)生交叉驗(yàn)證分值。通常使用10-折交叉驗(yàn)證。
[0047]在一些實(shí)施方式中，通過執(zhí)行交叉驗(yàn)證來生成指示經(jīng)訓(xùn)練的預(yù)測模型的準(zhǔn)確性，即，當(dāng)與包括在測試子樣本中的輸出數(shù)據(jù)相比時(shí)，經(jīng)訓(xùn)練的模型所預(yù)測的輸出數(shù)據(jù)的精確匹配數(shù)，的交叉驗(yàn)證分值，來對(duì)每一個(gè)經(jīng)訓(xùn)練的預(yù)測模型的有效性進(jìn)行估計(jì)。在其他實(shí)施方式中，可以使用一個(gè)或多個(gè)不同的度量來對(duì)經(jīng)訓(xùn)練的模型的有效性進(jìn)行估計(jì)。例如，可以使用交叉驗(yàn)證結(jié)果來指示經(jīng)訓(xùn)練的預(yù)測模型是否生成了比真肯定多的假肯定結(jié)果，并且忽略任何假否定。
[0048]在其他實(shí)施方式中，可以使用除了交叉驗(yàn)證或除交叉驗(yàn)證外的技術(shù)來估計(jì)有效性。在一個(gè)示例中，可以對(duì)用于使用經(jīng)訓(xùn)練的模型的資源使用成本進(jìn)行估計(jì)，并且可以將其用作為用來估計(jì)經(jīng)訓(xùn)練的模型的有效性的因素。
[0049]在一些實(shí)施方式中，預(yù)測建模服務(wù)器系統(tǒng)206獨(dú)立于客戶端計(jì)算系統(tǒng)202操作，以及選擇并提供經(jīng)訓(xùn)練的預(yù)測模型218作為專門服務(wù)。對(duì)計(jì)算資源和人力資源兩者的耗費(fèi)以及選擇未經(jīng)訓(xùn)練的預(yù)測模型來包括在訓(xùn)練函數(shù)儲(chǔ)存庫216中的專門知識(shí)、用于各種類型的可用預(yù)測模型的訓(xùn)練函數(shù)、應(yīng)用到訓(xùn)練函數(shù)的超參數(shù)配置以及特征歸納器全部均在服務(wù)器端發(fā)生。一旦已完成這些選擇，訓(xùn)練和模型選擇可以在很少或沒有人工干預(yù)的情況下以自動(dòng)方式發(fā)生，除非對(duì)服務(wù)器系統(tǒng)206的改變是期望的?？蛻舳擞?jì)算系統(tǒng)202因而通過對(duì)另外由于對(duì)客戶端資源的限制可能對(duì)客戶端計(jì)算系統(tǒng)202來說尚不可用的經(jīng)訓(xùn)練的預(yù)測模型218的訪問獲益。
[0050]再次參考圖4，為每一個(gè)經(jīng)訓(xùn)練的模型分配表示該經(jīng)訓(xùn)練的模型的有效性的分值。如上所述，用來估計(jì)有效性的標(biāo)準(zhǔn)可以變化。在所述的示例實(shí)施方式中，標(biāo)準(zhǔn)是經(jīng)訓(xùn)練的模型的準(zhǔn)確性并且使用交叉驗(yàn)證分值來估計(jì)。基于所述分值，選擇經(jīng)訓(xùn)練的預(yù)測模型(步驟408)。在一些實(shí)施方式中，經(jīng)訓(xùn)練的模型基于其相應(yīng)分值的值來排名，并且選擇最高排名的經(jīng)訓(xùn)練的模型作為所選擇的預(yù)測模型。盡管在上述估計(jì)階段期間對(duì)所選擇的預(yù)測模型進(jìn)行了訓(xùn)練，然而，在該階段的訓(xùn)練可能涉及訓(xùn)練數(shù)據(jù)的僅僅一個(gè)樣本、或不是在同一時(shí)間所有訓(xùn)練數(shù)據(jù)。例如，如果使用k-折交叉驗(yàn)證來估計(jì)經(jīng)訓(xùn)練的模型的有效性，則在同一時(shí)間不用所有訓(xùn)練數(shù)據(jù)，而是訓(xùn)練數(shù)據(jù)的僅僅K-1個(gè)分割來訓(xùn)練該模型。因此，如果必要的話，例如，模型訓(xùn)練模塊212使用訓(xùn)練數(shù)據(jù)(例如，所有K個(gè)分割)來全面訓(xùn)練所選擇的預(yù)測模型(步驟410)。因而，生成經(jīng)訓(xùn)練的模型(即，“全面訓(xùn)練的”模型)以在生成預(yù)測輸出時(shí)使用，例如經(jīng)訓(xùn)練的預(yù)測模型218。預(yù)測建模服務(wù)器系統(tǒng)206可以存儲(chǔ)經(jīng)訓(xùn)練的預(yù)測模型218。BP,經(jīng)訓(xùn)練的預(yù)測模型218可以在遠(yuǎn)離客戶端計(jì)算系統(tǒng)202的數(shù)據(jù)中心中駐存并執(zhí)行。
[0051]如上所述被訓(xùn)練的多個(gè)經(jīng)訓(xùn)練的預(yù)測模型，它們中的部分或全部可以被存儲(chǔ)在預(yù)測模型儲(chǔ)存庫215中。每一個(gè)經(jīng)訓(xùn)練的預(yù)測模型可以與其相應(yīng)的有效性分值相關(guān)聯(lián)。儲(chǔ)存庫215中的經(jīng)訓(xùn)練的預(yù)測模型中的一個(gè)或多個(gè)是可更新的預(yù)測模型。在一些實(shí)施方式中，使用整個(gè)初始訓(xùn)練數(shù)據(jù)，即所有K個(gè)分割而不僅僅K-1個(gè)分割，來訓(xùn)練存儲(chǔ)在儲(chǔ)存庫215中的預(yù)測模型。在其他實(shí)施方式中，將在估計(jì)階段使用K-1個(gè)分割來生成的經(jīng)訓(xùn)練的預(yù)測模型存儲(chǔ)在儲(chǔ)存庫215中，以避免耗費(fèi)額外資源來使用所有K個(gè)分割再計(jì)算經(jīng)訓(xùn)練的預(yù)測模型。
[0052]提供對(duì)經(jīng)訓(xùn)練的預(yù)測模型的訪問(步驟412)，而不是經(jīng)訓(xùn)練的預(yù)測模型本身。在一些實(shí)施方式中，提供對(duì)經(jīng)訓(xùn)練的預(yù)測模型的訪問包括向客戶端計(jì)算系統(tǒng)202或能夠用來訪問經(jīng)訓(xùn)練的模型的其他用戶計(jì)算平臺(tái)提供地址；例如，該地址可以是URL (統(tǒng)一資源定位符)?？梢詫?duì)經(jīng)訓(xùn)練的預(yù)測模型的訪問限制在授權(quán)用戶。例如，在用戶能夠從計(jì)算系統(tǒng)，包括客戶端計(jì)算系統(tǒng)202訪問經(jīng)訓(xùn)練的預(yù)測模型之前，可能需要該用戶輸入已與授權(quán)用戶相關(guān)聯(lián)的用戶名和密碼。如果客戶端計(jì)算系統(tǒng)202期望訪問經(jīng)訓(xùn)練的預(yù)測模型218來接收預(yù)測輸出，則客戶端計(jì)算系統(tǒng)202可以向該URL傳送包括輸入數(shù)據(jù)的請(qǐng)求。預(yù)測建模服務(wù)器系統(tǒng)206從客戶端計(jì)算系統(tǒng)202接收輸入數(shù)據(jù)和預(yù)測請(qǐng)求(步驟414)。作為響應(yīng)，將輸入數(shù)據(jù)輸入到經(jīng)訓(xùn)練的預(yù)測模型218，并且該經(jīng)訓(xùn)練的模型生成預(yù)測輸出(步驟416)。提供預(yù)測輸出；可以將其提供給客戶端計(jì)算系統(tǒng)(步驟418)。
[0053]在一些實(shí)施方式中，在向客戶端計(jì)算系統(tǒng)提供URL來訪問經(jīng)訓(xùn)練的預(yù)測模型的情況下，可以將輸入數(shù)據(jù)和到URL的請(qǐng)求嵌入在HTML文檔，例如網(wǎng)頁中。在一個(gè)示例中，可以使用JavaScript來將到URL的請(qǐng)求包括在HTML文檔中。再次參考上面的說明性示例，當(dāng)客戶正在客戶端計(jì)算系統(tǒng)的基于web的在線購物服務(wù)上瀏覽時(shí)，可以將對(duì)URL的調(diào)用嵌入在提供給該客戶的網(wǎng)頁中。輸入數(shù)據(jù)可以是特定客戶的在線購物交易歷史。包括在網(wǎng)頁中的代碼可以為客戶檢索輸入數(shù)據(jù)，該輸入數(shù)據(jù)可以被封裝入為預(yù)測輸出以請(qǐng)求被發(fā)送給URL的請(qǐng)求中。響應(yīng)于該請(qǐng)求，將輸入數(shù)據(jù)輸入到經(jīng)訓(xùn)練的預(yù)測模型，并且生成預(yù)測輸出。可以向客戶的計(jì)算機(jī)直接提供預(yù)測輸出或可以將其返回到客戶端計(jì)算機(jī)系統(tǒng)，該客戶端計(jì)算機(jī)系統(tǒng)然后可以將該輸出轉(zhuǎn)送給客戶的計(jì)算機(jī)?？蛻舳擞?jì)算系統(tǒng)202可以根據(jù)客戶端實(shí)體的需求，使用和/或呈現(xiàn)預(yù)測輸出結(jié)果。在該特定示例中，預(yù)測輸出是客戶最可能對(duì)購買感興趣的產(chǎn)品類型的預(yù)測。如果預(yù)測輸出是“攪拌機(jī)”，則作為示例，在客戶的計(jì)算機(jī)上執(zhí)行的HTML文檔可以包括響應(yīng)于接收該預(yù)測輸出，促使在客戶的計(jì)算機(jī)上顯示在客戶端計(jì)算系統(tǒng)的在線購物服務(wù)上可用于出售的攪拌機(jī)的一個(gè)或多個(gè)圖像和/或描述的代碼。這種整合對(duì)客戶端計(jì)算系統(tǒng)來說很簡單，因?yàn)榕c預(yù)測建模服務(wù)器系統(tǒng)的交互可以使用標(biāo)準(zhǔn)HTTP協(xié)議，例如可以使用GET或POST來向返回JSON (JavaScript對(duì)象符號(hào))編碼的輸出的URL發(fā)出請(qǐng)求。還可以以JSON格式提供輸入數(shù)據(jù)。
[0054]使用客戶計(jì)算機(jī)的客戶可以不知道這些操作，其在后臺(tái)發(fā)生，不必需要來自客戶的任何交互。有利地，可以將對(duì)經(jīng)訓(xùn)練的預(yù)測模型的請(qǐng)求無縫地并入客戶端計(jì)算機(jī)系統(tǒng)的基于web的應(yīng)用，在該示例中，在線購物服務(wù)。可以為客戶端計(jì)算系統(tǒng)(其在該示例中包括客戶的計(jì)算機(jī))生成并且在該客戶端計(jì)算系統(tǒng)處接收預(yù)測輸出，而不用耗費(fèi)客戶端計(jì)算系統(tǒng)資源來生成該輸出。
[0055]在其他實(shí)施方式中，客戶端計(jì)算系統(tǒng)可以使用(客戶端計(jì)算系統(tǒng)或另外的提供的)被配置成向預(yù)測建模服務(wù)器系統(tǒng)206發(fā)出使用經(jīng)訓(xùn)練的預(yù)測模型218來生成預(yù)測輸出的請(qǐng)求的代碼。作為示例，該代碼可以是命令行程序(例如，使用cURL)或以編譯語言(例如，C、C++、Java)或解釋語言(例如，Python)編寫的程序。在一些實(shí)施方式中，可以通過托管的開發(fā)和執(zhí)行平臺(tái)，例如谷歌應(yīng)用引擎，經(jīng)由API使經(jīng)訓(xùn)練的模型對(duì)客戶端計(jì)算系統(tǒng)或其他計(jì)算機(jī)平臺(tái)可訪問。
[0056]在上述實(shí)施方式中，經(jīng)訓(xùn)練的預(yù)測模型218由預(yù)測建模服務(wù)器系統(tǒng)206托管，并且可以在遠(yuǎn)離客戶端計(jì)算系統(tǒng)202的位置處的計(jì)算機(jī)上駐存并執(zhí)行。然而，在一些實(shí)施方式中，一旦已選擇并訓(xùn)練了預(yù)測模型，客戶端實(shí)體就可能期望將經(jīng)訓(xùn)練的預(yù)測模型下載到客戶端計(jì)算系統(tǒng)202或別的地方。客戶端實(shí)體可能希望在客戶端的自身計(jì)算系統(tǒng)或別的地方上生成并遞送預(yù)測輸出。因此，在一些實(shí)施方式中，向客戶端計(jì)算系統(tǒng)202或別的地方提供經(jīng)訓(xùn)練的預(yù)測模型218，并且其可以由客戶端實(shí)體在本地使用。
[0057]客戶端計(jì)算系統(tǒng)202和/或預(yù)測建模系統(tǒng)206的組件，例如，模型訓(xùn)練模塊212、模型選擇模塊210和經(jīng)訓(xùn)練的預(yù)測模型218，可以通過當(dāng)執(zhí)行時(shí)促使一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行上述操作的指令來實(shí)現(xiàn)。這樣的指令可以包括例如解釋指令，諸如腳本指令，例如JavaScript或ECMAScript指令；或可執(zhí)行的代碼；或存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的其他指令?？蛻舳擞?jì)算系統(tǒng)202和/或預(yù)測建模系統(tǒng)206的組件可以以分布在網(wǎng)絡(luò)中在一個(gè)或多個(gè)位置的多個(gè)計(jì)算機(jī)諸如服務(wù)器群來實(shí)現(xiàn)；或可以以單個(gè)計(jì)算機(jī)設(shè)備來實(shí)現(xiàn)。
[0058]如上所述，可以“在云中”實(shí)現(xiàn)預(yù)測建模服務(wù)器系統(tǒng)206。在一些實(shí)施方式中，預(yù)測建模服務(wù)器系統(tǒng)206提供基于web的服務(wù)?？蛻舳擞?jì)算系統(tǒng)202能夠訪問在預(yù)測建模服務(wù)器系統(tǒng)206所提供的URL的網(wǎng)頁。客戶端計(jì)算系統(tǒng)202的操作者可以按照在該網(wǎng)頁上顯示的指令來將訓(xùn)練數(shù)據(jù)上載“到云”，即到預(yù)測建模服務(wù)器系統(tǒng)206。一旦完成，操作者就可以輸入輸入來發(fā)起待“在云中”，即由預(yù)測建模服務(wù)器系統(tǒng)206，執(zhí)行的訓(xùn)練和選擇操作；或可以響應(yīng)于已被上載的訓(xùn)練數(shù)據(jù)，自動(dòng)發(fā)起這些操作。
[0059]客戶端計(jì)算系統(tǒng)202的操作者能夠從該網(wǎng)頁訪問對(duì)客戶端計(jì)算系統(tǒng)202可用的一個(gè)或多個(gè)經(jīng)訓(xùn)練的模型。例如，如果客戶端計(jì)算系統(tǒng)202已上載了多于一個(gè)訓(xùn)練數(shù)據(jù)集(例如，與和不同類型的預(yù)測輸出相對(duì)應(yīng)的不同類型的輸入有關(guān))，則多于一個(gè)經(jīng)訓(xùn)練的預(yù)測模型可以對(duì)特定客戶端計(jì)算系統(tǒng)可用。可以例如通過在下拉菜單中列出的名稱或在網(wǎng)頁上顯示的圖標(biāo)，來顯示可用預(yù)測模型的表示，但是還可以使用其他表示。操作者可以例如通過點(diǎn)擊名稱或圖標(biāo)來選擇可用的預(yù)測模型中的一個(gè)。作為響應(yīng)，可以顯示提示操作者上載可以由所選擇的經(jīng)訓(xùn)練的模型使用來提供預(yù)測輸出數(shù)據(jù)的輸入數(shù)據(jù)的第二網(wǎng)頁(例如，表單)(在一些實(shí)施方式中，該表單可以是上述第一網(wǎng)頁的部分)。例如，可以提供輸入域，以及操作者可以將輸入數(shù)據(jù)輸入到該域。操作者還可以能夠使用該表單將一個(gè)文件(或多個(gè)文件)從客戶端計(jì)算系統(tǒng)202選擇并上載到預(yù)測建模服務(wù)器系統(tǒng)206，其中該一個(gè)或多個(gè)文件包含輸入數(shù)據(jù)。作為響應(yīng)，所選擇的預(yù)測模型可以基于所提供的輸入數(shù)據(jù)來生成預(yù)測輸出，并且在同一網(wǎng)頁或不同網(wǎng)頁上向客戶端計(jì)算系統(tǒng)202提供該預(yù)測輸出?？梢酝ㄟ^顯示輸出、提供輸出文件或另外地來提供預(yù)測輸出。[0060]在一些實(shí)施方式中，客戶端計(jì)算系統(tǒng)202可以向一個(gè)或多個(gè)其他客戶端計(jì)算系統(tǒng)授予訪問該客戶端計(jì)算系統(tǒng)的可用經(jīng)訓(xùn)練的預(yù)測模型中的一個(gè)或多個(gè)的權(quán)限。客戶端計(jì)算系統(tǒng)202的操作者使用來訪問一個(gè)或多個(gè)可用經(jīng)訓(xùn)練的預(yù)測模型的網(wǎng)頁可以由操作者使用(直接或間接作為到另一個(gè)網(wǎng)頁的鏈接)來輸入識(shí)別被授予訪問權(quán)的一個(gè)或多個(gè)其他客戶端計(jì)算系統(tǒng)以及可能指定對(duì)其可訪問性的限制的信息。相反，如果第三方(即，控制不同客戶端計(jì)算系統(tǒng)的實(shí)體)已授予客戶端計(jì)算系統(tǒng)202訪問權(quán)來訪問該第三方的經(jīng)訓(xùn)練的模型中的一個(gè)或多個(gè)，則客戶端計(jì)算系統(tǒng)202的操作者可以使用網(wǎng)頁以與訪問客戶端計(jì)算系統(tǒng)的自身經(jīng)訓(xùn)練的模型相同的方式(例如，通過從下拉菜單進(jìn)行選擇或點(diǎn)擊圖標(biāo))，來訪問該第三方的經(jīng)訓(xùn)練的模型。
[0061]圖5是示出用于從客戶端計(jì)算系統(tǒng)的角度使用預(yù)測分析平臺(tái)的示例過程500的流程圖。出于說明目的，關(guān)于圖2的預(yù)測建模服務(wù)器系統(tǒng)206描述了過程500，但是，應(yīng)當(dāng)理解的是，不同配置的系統(tǒng)可以執(zhí)行過程500。當(dāng)對(duì)應(yīng)客戶端實(shí)體在將“新的”訓(xùn)練數(shù)據(jù)上載到系統(tǒng)206時(shí)，客戶端計(jì)算系統(tǒng)202將執(zhí)行過程500。即，在初始訓(xùn)練數(shù)據(jù)已由客戶端計(jì)算系統(tǒng)上載并且用來對(duì)多個(gè)預(yù)測模型進(jìn)行訓(xùn)練，然后使該多個(gè)預(yù)測模型中的至少一個(gè)對(duì)客戶端計(jì)算系統(tǒng)可訪問之后，另外的新訓(xùn)練數(shù)據(jù)變得可用?？蛻舳擞?jì)算系統(tǒng)202通過網(wǎng)絡(luò)204將新的訓(xùn)練數(shù)據(jù)上載到預(yù)測建模服務(wù)器系統(tǒng)206 (框502)。
[0062]在一些實(shí)施方式中，客戶端計(jì)算系統(tǒng)202順次地上載新的訓(xùn)練數(shù)據(jù)集。例如，客戶端計(jì)算系統(tǒng)202可以每當(dāng)一個(gè)變得可用時(shí)，就上載新的訓(xùn)練數(shù)據(jù)集，例如在自組織的基礎(chǔ)上。在另一個(gè)示例中，客戶端計(jì)算系統(tǒng)202可以按照特定調(diào)度，例如在每一天結(jié)束，上載新的訓(xùn)練數(shù)據(jù)集。在一些實(shí)施方式中，客戶端計(jì)算系統(tǒng)202上載在一起分批成一個(gè)相對(duì)大的批的一系列新的訓(xùn)練數(shù)據(jù)集。例如，客戶端計(jì)算系統(tǒng)202可以每當(dāng)分批系列的訓(xùn)練數(shù)據(jù)集達(dá)到某一大小(例如，兆字節(jié)數(shù)量)時(shí)，就上載新一批的訓(xùn)練數(shù)據(jù)集。在另一個(gè)示例中，客戶端計(jì)算系統(tǒng)202可以按照特定調(diào)度，例如一月一次，上載新一批的訓(xùn)練數(shù)據(jù)集。
[0063]下面的表I示出了可以由客戶端計(jì)算系統(tǒng)202使用來上載包括單個(gè)更新(Individual Update)、組更新(Group Update)(例如，在API調(diào)用內(nèi)的多個(gè)示例)、來自文件的更新(Update from File)以及來自原始文件(即，先前用來上載訓(xùn)練數(shù)據(jù)的文件)的更新(Update from Original File)的新的訓(xùn)練數(shù)據(jù)集的命令的一些說明性示例。
【權(quán)利要求】
1.一種計(jì)算機(jī)實(shí)現(xiàn)的系統(tǒng)，包括: 一個(gè)或多個(gè)計(jì)算機(jī)； 與所述一個(gè)或多個(gè)計(jì)算機(jī)數(shù)據(jù)通信的一個(gè)或多個(gè)數(shù)據(jù)存儲(chǔ)設(shè)備，所述數(shù)據(jù)存儲(chǔ)設(shè)備存儲(chǔ): 訓(xùn)練數(shù)據(jù)儲(chǔ)存庫，所述訓(xùn)練數(shù)據(jù)儲(chǔ)存庫包括屬于客戶端實(shí)體并且通過網(wǎng)絡(luò)從客戶端計(jì)算系統(tǒng)接收的第一多個(gè)訓(xùn)練數(shù)據(jù)集； 多個(gè)訓(xùn)練函數(shù)；以及 指令，所述指令當(dāng)由所述一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行時(shí)，促使所述一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行操作，所述操作包括: 使用所述多個(gè)訓(xùn)練函數(shù)和所述第一多個(gè)訓(xùn)練數(shù)據(jù)集來生成多個(gè)經(jīng)訓(xùn)練的預(yù)測模型；為所述多個(gè)經(jīng)訓(xùn)練的預(yù)測模型中的每一個(gè)生成相應(yīng)有效性分值，其中每一個(gè)有效性分值表示其相應(yīng)經(jīng)訓(xùn)練的預(yù)測模型的有效性的估計(jì)； 基于所述相應(yīng)有效性分值從所述多個(gè)經(jīng)訓(xùn)練的預(yù)測模型之中為所述客戶端實(shí)體選擇第一經(jīng)訓(xùn)練的預(yù)測模型；以及 向由所述客戶端實(shí)體授權(quán)訪問所述第一經(jīng)訓(xùn)練的預(yù)測模型的用戶提供對(duì)所述第一經(jīng)訓(xùn)練的預(yù)測模型的訪問。
2.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的系統(tǒng)，其中所述多個(gè)經(jīng)訓(xùn)練的預(yù)測模型包括一個(gè)或多個(gè)經(jīng)訓(xùn)練的可更新的預(yù)測模型，以及其中所述操作進(jìn)一步包括: 使用先前訓(xùn)練的可更新的預(yù) 測模型、用來生成所述先前訓(xùn)練的可更新的預(yù)測模型的所述訓(xùn)練函數(shù)以及屬于所述客戶端實(shí)體的一個(gè)或多個(gè)新的訓(xùn)練數(shù)據(jù)集，來生成再訓(xùn)練的可更新的預(yù)測模型； 為所述再訓(xùn)練的可更新的預(yù)測模型生成有效性分值； 基于所述相應(yīng)有效性分值從所述再訓(xùn)練的可更新的預(yù)測模型和所述多個(gè)經(jīng)訓(xùn)練的預(yù)測模型之中為所述客戶端實(shí)體選擇第二經(jīng)訓(xùn)練的預(yù)測模型；以及 向由所述客戶端實(shí)體授權(quán)訪問所述第二經(jīng)訓(xùn)練的預(yù)測模型的用戶提供對(duì)所述第二經(jīng)訓(xùn)練的預(yù)測模型的訪問。
3.根據(jù)權(quán)利要求2所述的計(jì)算機(jī)實(shí)現(xiàn)的系統(tǒng)，其中所述操作進(jìn)一步包括: 在生成所述再訓(xùn)練的可更新的預(yù)測模型之前，確定下面條件中的至少一個(gè)為真:(i)在訓(xùn)練數(shù)據(jù)隊(duì)列中的訓(xùn)練數(shù)據(jù)量大于或等于閾值量；(ii)達(dá)到或超過預(yù)先確定的時(shí)間量；或(iii)接收到更新所述先前訓(xùn)練的可更新的預(yù)測模型的請(qǐng)求。
4.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的系統(tǒng)，其中所述操作進(jìn)一步包括: 使用所述多個(gè)訓(xùn)練函數(shù)和屬于所述客戶端實(shí)體的第二多個(gè)訓(xùn)練數(shù)據(jù)集來生成多個(gè)新的經(jīng)訓(xùn)練的預(yù)測模型； 為所述多個(gè)新的經(jīng)訓(xùn)練的預(yù)測模型中的每一個(gè)生成相應(yīng)有效性分值； 基于所述相應(yīng)有效性分值從先前訓(xùn)練的預(yù)測模型和所述多個(gè)新的經(jīng)訓(xùn)練的預(yù)測模型之中為所述客戶端實(shí)體選擇第二經(jīng)訓(xùn)練的預(yù)測模型；以及 向由所述客戶端實(shí)體授權(quán)訪問所述第二經(jīng)訓(xùn)練的預(yù)測模型的用戶提供對(duì)所述第二經(jīng)訓(xùn)練的預(yù)測模型的訪問。
5.根據(jù)權(quán)利要求4所述的計(jì)算機(jī)實(shí)現(xiàn)的系統(tǒng)，其中所述操作進(jìn)一步包括:在生成所述多個(gè)新的經(jīng)訓(xùn)練的預(yù)測模型之前，確定下面條件中的至少一個(gè)為真:(i)達(dá)到或超過預(yù)先確定的時(shí)間量；或(ii)接收到生成新的經(jīng)訓(xùn)練的預(yù)測模型的請(qǐng)求。
6.根據(jù)權(quán)利要求4所述的計(jì)算機(jī)實(shí)現(xiàn)的系統(tǒng)，其中所述第二多個(gè)訓(xùn)練數(shù)據(jù)集包括一個(gè)或多個(gè)新的訓(xùn)練數(shù)據(jù)集和來自所述第一多個(gè)訓(xùn)練數(shù)據(jù)集的一個(gè)或多個(gè)訓(xùn)練數(shù)據(jù)集。
7.根據(jù)權(quán)利要求4所述的計(jì)算機(jī)實(shí)現(xiàn)的系統(tǒng)，其中所述第二多個(gè)訓(xùn)練數(shù)據(jù)集不包括被包括在所述第一多個(gè)訓(xùn)練數(shù)據(jù)集中的任何訓(xùn)練數(shù)據(jù)集。
8.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的系統(tǒng)，其中所述操作進(jìn)一步包括: 從所述用戶可操作的計(jì)算系統(tǒng)接收輸入數(shù)據(jù)和對(duì)使用所述第一經(jīng)訓(xùn)練的預(yù)測模型的預(yù)測輸出的請(qǐng)求； 使用所述輸入數(shù)據(jù)和所述第一經(jīng)訓(xùn)練的預(yù)測模型來生成所述預(yù)測輸出；以及 將所述預(yù)測輸出提供給所述用戶可操作的所述計(jì)算系統(tǒng)。
9.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的系統(tǒng)，其中:生成多個(gè)經(jīng)訓(xùn)練的預(yù)測模型包括將所述訓(xùn)練函數(shù)中的一個(gè)應(yīng)用到所述訓(xùn)練數(shù)據(jù)集中的一個(gè)，來生成形成所述經(jīng)訓(xùn)練的預(yù)測模型中的一個(gè)的參數(shù)集；以及 所述操作進(jìn)一步包括: 根據(jù)定義規(guī)則的數(shù)據(jù)保留策略來維護(hù)所述訓(xùn)練數(shù)據(jù)儲(chǔ)存庫，所述規(guī)則確定哪些訓(xùn)練數(shù)據(jù)被保留以及哪些訓(xùn)練數(shù)據(jù)從所述儲(chǔ)存庫被刪除。
10.一種計(jì)算機(jī)實(shí)現(xiàn)的方法，包括: 通過網(wǎng)絡(luò)從客戶端計(jì)算系統(tǒng)接收屬于客戶端實(shí)體的第一多個(gè)訓(xùn)練數(shù)據(jù)集； 使用多個(gè)訓(xùn)練函數(shù)和所述第一多個(gè)訓(xùn)練數(shù)據(jù)集來生成多個(gè)經(jīng)訓(xùn)練的預(yù)測模型； 為所述多個(gè)經(jīng)訓(xùn)練的預(yù)測模型中的每一個(gè)生成相應(yīng)有效性分值； 基于所述相應(yīng)有效性分值從所述多個(gè)經(jīng)訓(xùn)練的預(yù)測模型之中為所述客戶端實(shí)體選擇第一經(jīng)訓(xùn)練的預(yù)測模型；以及 向由所述客戶端實(shí)體授權(quán)訪問所述第一經(jīng)訓(xùn)練的預(yù)測模型的用戶提供對(duì)所述第一經(jīng)訓(xùn)練的預(yù)測模型的訪問。
11.根據(jù)權(quán)利要求10所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述多個(gè)經(jīng)訓(xùn)練的預(yù)測模型包括一個(gè)或多個(gè)經(jīng)訓(xùn)練的可更新的預(yù)測模型，以及其中所述方法進(jìn)一步包括: 使用先前訓(xùn)練的可更新的預(yù)測模型、用來生成所述先前訓(xùn)練的可更新的預(yù)測模型的所述訓(xùn)練函數(shù)以及屬于所述客戶端實(shí)體的一個(gè)或多個(gè)新的訓(xùn)練數(shù)據(jù)集，來生成再訓(xùn)練的可更新的預(yù)測模型； 為所述再訓(xùn)練的可更新的預(yù)測模型生成有效性分值，其中每一個(gè)有效性分值表示其相應(yīng)經(jīng)訓(xùn)練的預(yù)測模型的有效性的估計(jì)； 基于所述相應(yīng)有效性分值從所述再訓(xùn)練的可更新的預(yù)測模型和所述多個(gè)經(jīng)訓(xùn)練的預(yù)測模型之中為所述客戶端實(shí)體選擇第二經(jīng)訓(xùn)練的預(yù)測模型；以及 向由所述客戶端實(shí)體授權(quán)訪問所述第二經(jīng)訓(xùn)練的預(yù)測模型的用戶提供對(duì)所述第二經(jīng)訓(xùn)練的預(yù)測模型的訪問。
12.根據(jù)權(quán)利要求11所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，進(jìn)一步包括: 在生成所述再訓(xùn)練的可更新的預(yù)測模型之前，確定下面條件中的至少一個(gè)為真:(i)在訓(xùn)練數(shù)據(jù)隊(duì)列中的訓(xùn)練數(shù)據(jù)量大于或等于閾值量；(ii)達(dá)到或超過預(yù)先確定的時(shí)間量；或(iii)接收到更新所述先前訓(xùn)練的可更新的預(yù)測模型的請(qǐng)求。
13.根據(jù)權(quán)利要求10所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，進(jìn)一步包括: 使用所述多個(gè)訓(xùn)練函數(shù)和屬于所述客戶端實(shí)體的第二多個(gè)訓(xùn)練數(shù)據(jù)集來生成多個(gè)新的經(jīng)訓(xùn)練的預(yù)測模型； 為所述多個(gè)新的經(jīng)訓(xùn)練的預(yù)測模型中的每一個(gè)生成相應(yīng)有效性分值； 基于所述相應(yīng)有效性分值從先前訓(xùn)練的預(yù)測模型和所述多個(gè)新的經(jīng)訓(xùn)練的預(yù)測模型之中為所述客戶端實(shí)體選擇第二經(jīng)訓(xùn)練的預(yù)測模型；以及 向由所述客戶端實(shí)體授權(quán)訪問所述第二經(jīng)訓(xùn)練的預(yù)測模型的用戶提供對(duì)所述第二經(jīng)訓(xùn)練的預(yù)測模型的訪問。
14.根據(jù)權(quán)利要求13所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，進(jìn)一步包括: 在生成所述多個(gè)新的經(jīng)訓(xùn)練的預(yù)測模型之前，確定下面條件中的至少一個(gè)為真:(i)達(dá)到或超過預(yù)先確定的時(shí)間量接收到生成新的經(jīng)訓(xùn)練的預(yù)測模型的請(qǐng)求。
15.根據(jù)權(quán)利要求13所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述第二多個(gè)訓(xùn)練數(shù)據(jù)集包括一個(gè)或多個(gè)新的訓(xùn)練數(shù)據(jù)集和來自所述第一多個(gè)訓(xùn)練數(shù)據(jù)集的一個(gè)或多個(gè)訓(xùn)練數(shù)據(jù)集。
16.根據(jù)權(quán)利要求13所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述第二多個(gè)訓(xùn)練數(shù)據(jù)集不包括被包括在所述第一多個(gè)訓(xùn)練數(shù)據(jù)集中的任何訓(xùn)練數(shù)據(jù)集。
17.—種編碼有計(jì)算機(jī)程序產(chǎn)品的計(jì)算機(jī)可讀存儲(chǔ)設(shè)備，所述計(jì)算機(jī)程序產(chǎn)品包括當(dāng)在一個(gè)或多個(gè)計(jì)算機(jī)上執(zhí)行時(shí)促使所述一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行操作的指令，所述操作包括: 通過網(wǎng)絡(luò)從客戶端計(jì)算系統(tǒng)接收屬于客戶端實(shí)體的第一多個(gè)訓(xùn)練數(shù)據(jù)集； 使用多個(gè)訓(xùn)練函數(shù)和所述第一多個(gè)訓(xùn)練數(shù)據(jù)集來生成多個(gè)經(jīng)訓(xùn)練的預(yù)測模型； 為所述多個(gè)經(jīng)訓(xùn)練的預(yù)測模型中的每一個(gè)生成相應(yīng)有效性分值，其中每一個(gè)有效性分值表示其相應(yīng)經(jīng)訓(xùn)練的預(yù)測模型的有效性的估計(jì)； 基于所述相應(yīng)有效性分值從所述多個(gè)經(jīng)訓(xùn)練的預(yù)測模型之中為所述客戶端實(shí)體選擇第一經(jīng)訓(xùn)練的預(yù)測模型；以及 向由所述客戶端實(shí)體授權(quán)訪問所述第一經(jīng)訓(xùn)練的預(yù)測模型的用戶提供對(duì)所述第一經(jīng)訓(xùn)練的預(yù)測模型的訪問。
18.根據(jù)權(quán)利要求17所述的計(jì)算機(jī)可讀存儲(chǔ)設(shè)備，其中所述操作進(jìn)一步包括: 使用先前訓(xùn)練的可更新的預(yù)測模型、用來生成所述先前訓(xùn)練的可更新的預(yù)測模型的所述訓(xùn)練函數(shù)以及屬于所述客戶端實(shí)體的一個(gè)或多個(gè)新的訓(xùn)練數(shù)據(jù)集，來生成再訓(xùn)練的可更新的預(yù)測模型； 為所述再訓(xùn)練的可更新的預(yù)測模型生成有效性分值； 基于所述相應(yīng)有效性分值從所述再訓(xùn)練的可更新的預(yù)測模型和所述多個(gè)經(jīng)訓(xùn)練的預(yù)測模型之中為所述客戶端實(shí)體選擇第二經(jīng)訓(xùn)練的預(yù)測模型；以及 向由所述客戶端實(shí)體授權(quán)訪問所述第二經(jīng)訓(xùn)練的預(yù)測模型的用戶提供對(duì)所述第二經(jīng)訓(xùn)練的預(yù)測模型的訪問。
19.根據(jù)權(quán)利要求18所述的計(jì)算機(jī)可讀存儲(chǔ)設(shè)備，其中所述操作進(jìn)一步包括:在生成所述再訓(xùn)練的可更新的預(yù)測模型之前，確定何時(shí)下面條件中的至少一個(gè)為真:(i)在訓(xùn)練數(shù)據(jù)隊(duì)列中的訓(xùn)練數(shù)據(jù)量大于或等于閾值量；(ii)達(dá)到或超過預(yù)先確定的時(shí)間量接收到更新所述先前訓(xùn)練的可更新的預(yù)測模型的請(qǐng)求。
20.根據(jù)權(quán)利要求17所述的計(jì)算機(jī)可讀存儲(chǔ)設(shè)備，其中所述操作進(jìn)一步包括: 使用所述多個(gè)訓(xùn)練函數(shù)和屬于所述客戶端實(shí)體的第二多個(gè)訓(xùn)練數(shù)據(jù)集來生成多個(gè)新的經(jīng)訓(xùn)練的預(yù)測模型； 為所述多個(gè)新的經(jīng)訓(xùn)練的預(yù)測模型中的每一個(gè)生成相應(yīng)有效性分值； 基于所述相應(yīng)有效性分值從先前訓(xùn)練的預(yù)測模型和所述多個(gè)新的經(jīng)訓(xùn)練的預(yù)測模型之中為所述客戶端實(shí)體選擇第二經(jīng)訓(xùn)練的預(yù)測模型；以及 向由所述客戶端實(shí)體授權(quán)訪問所述第二經(jīng)訓(xùn)練的預(yù)測模型的用戶提供對(duì)所述第二經(jīng)訓(xùn)練的預(yù)測模型的訪問。
21.根據(jù)權(quán)利要求20所述的計(jì)算機(jī)可讀存儲(chǔ)設(shè)備，其中所述操作進(jìn)一步包括: 在生成所述多個(gè)新的經(jīng)訓(xùn)練的預(yù)測模型之前，確定下述中的至少一個(gè):(i)達(dá)到或超過預(yù)先確定的時(shí)間量接收到生成新的經(jīng)訓(xùn)練的預(yù)測模型的請(qǐng)求。
22.根據(jù)權(quán)利要求20所述的計(jì)算機(jī)可讀存儲(chǔ)設(shè)備，其中所述第二多個(gè)訓(xùn)練數(shù)據(jù)集包括一個(gè)或多個(gè)新的訓(xùn)練數(shù)據(jù)集和來自所述第一多個(gè)訓(xùn)練數(shù)據(jù)集的一個(gè)或多個(gè)訓(xùn)練數(shù)據(jù)集。
23.根據(jù)權(quán)利要求20所述的計(jì)算機(jī)可讀存儲(chǔ)設(shè)備，其中所述第二多個(gè)訓(xùn)練數(shù)據(jù)集不包括被包括在所述第一多個(gè)訓(xùn)練數(shù)據(jù)集`中的任何訓(xùn)練數(shù)據(jù)集。
【文檔編號(hào)】G05B17/02GK103502899SQ201280015255
【公開日】2014年1月8日 申請(qǐng)日期:2012年1月26日 優(yōu)先權(quán)日:2011年1月26日
【發(fā)明者】喬丹·M·布雷肯里奇, 特拉維斯·H·K·格林, 羅伯特·卡普洛, 林偉豪, 吉迪恩·S·曼 申請(qǐng)人:谷歌公司