量化數(shù)據(jù)質(zhì)量的探試的制作方法
【專利說(shuō)明】
【背景技術(shù)】
[0001]開(kāi)發(fā)和維護(hù)產(chǎn)品有時(shí)可能是進(jìn)行中的過(guò)程。作為示例，當(dāng)產(chǎn)品被部署給用戶時(shí)，與產(chǎn)品相關(guān)聯(lián)的使用信息可以被收集作為用于反饋產(chǎn)品如何很好地工作、產(chǎn)品是否滿足預(yù)期目標(biāo)等的措施。取決于從使用信息確定的結(jié)果，可以針對(duì)產(chǎn)品特征、產(chǎn)品如何被部署給用戶等做出調(diào)整。傳統(tǒng)上，產(chǎn)品開(kāi)發(fā)者預(yù)先確定要收集與使用信息相關(guān)聯(lián)的什么數(shù)據(jù)以及利用哪些靜態(tài)數(shù)據(jù)分析例程來(lái)生成量化產(chǎn)品如何工作的度量(metric)。在一些情形中，這些度量和/或數(shù)據(jù)分析例程可以基于預(yù)先確定的模型以作為預(yù)測(cè)未來(lái)行為的措施。假定所收集的使用信息數(shù)據(jù)適于預(yù)先確定的模型，則靜態(tài)數(shù)據(jù)分析例程生成與產(chǎn)品相關(guān)聯(lián)的某種現(xiàn)實(shí)度量，并且可以基于所預(yù)測(cè)的將來(lái)行為做出有利決策。然而，落在預(yù)先確定的模型之外的數(shù)據(jù)得到較不現(xiàn)實(shí)的并且甚至潛在地錯(cuò)誤結(jié)果。在這些情況下，基于錯(cuò)誤預(yù)期對(duì)產(chǎn)品所做出的任何調(diào)整可以產(chǎn)生非期望和/或不利的結(jié)果。為了進(jìn)一步復(fù)雜化該問(wèn)題，一些產(chǎn)品取決于其用戶數(shù)目可生成大量數(shù)據(jù)，從而使得更難以做出對(duì)度量的分析。

【發(fā)明內(nèi)容】

[0002]提供該
【發(fā)明內(nèi)容】
以便以簡(jiǎn)化形式引入在下文【具體實(shí)施方式】中進(jìn)一步描述的概念的選擇。該
【發(fā)明內(nèi)容】
不旨在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或必要特征。
[0003]各個(gè)實(shí)施例針對(duì)歷史數(shù)據(jù)集生成至少一個(gè)探試(heuristics)。在一些情形中，歷史數(shù)據(jù)集可以被分割為多個(gè)區(qū)段。響應(yīng)于針對(duì)歷史數(shù)據(jù)集生成(多個(gè))探試，一些實(shí)施例至少部分基于與歷史數(shù)據(jù)集相關(guān)聯(lián)的(多個(gè))探試來(lái)生成至少一個(gè)預(yù)報(bào)?？商鎿Q地或附加地，(多個(gè))探試可以針對(duì)到來(lái)的數(shù)據(jù)集生成并且與(多個(gè))預(yù)報(bào)相比較以用于確定一個(gè)或多個(gè)預(yù)報(bào)質(zhì)量度量?？商鎿Q地或附加地，一些實(shí)施例可以使用(多個(gè))預(yù)報(bào)質(zhì)量度量來(lái)促進(jìn)附加處理。
【附圖說(shuō)明】
[0004]參照附圖描述【具體實(shí)施方式】。在附圖中，參考標(biāo)號(hào)最左邊的數(shù)字標(biāo)識(shí)該參考標(biāo)號(hào)第一次出現(xiàn)的圖。相同參考標(biāo)號(hào)在說(shuō)明書和附圖中的不同實(shí)例中的使用可以指示相同或類似項(xiàng)目。
[0005]圖1是依照一個(gè)或多個(gè)實(shí)施例的示例實(shí)現(xiàn)方式中的環(huán)境的圖示。
[0006]圖2是更詳細(xì)地示出圖1的示例實(shí)現(xiàn)方式中的系統(tǒng)的圖示。
[0007]圖3是依照一個(gè)或多個(gè)實(shí)施例的數(shù)據(jù)探試引擎的示例圖的圖示。
[0008]圖4是依照一個(gè)或多個(gè)實(shí)施例的示例實(shí)現(xiàn)方式的各方面的圖示。
[0009]圖5a和5b是依照一個(gè)或多個(gè)實(shí)施例的示例實(shí)現(xiàn)方式的各方面的圖示。
[0010]圖6圖示了依照一個(gè)或多個(gè)實(shí)施例的流程圖。
[0011]圖7圖示了可以用來(lái)實(shí)現(xiàn)本文所描述的各個(gè)實(shí)施例的示例計(jì)算設(shè)備。
【具體實(shí)施方式】
[0012]概沭
各個(gè)實(shí)施例針對(duì)歷史數(shù)據(jù)集生成至少一個(gè)探試。例如，與系統(tǒng)和/或產(chǎn)品的過(guò)往的性能相關(guān)聯(lián)的數(shù)據(jù)可以被收集和/或存儲(chǔ)在貯藏室中。在一些情形中，歷史數(shù)據(jù)集可以被分割為多個(gè)區(qū)段，并且可以針對(duì)每一個(gè)區(qū)段生成(多個(gè))探試。每一個(gè)區(qū)段的大小可以在長(zhǎng)度方面是相對(duì)于彼此可變的和/或固定的?？商鎿Q地或附加地，區(qū)段的大小可以至少部分基于與所分析的歷史數(shù)據(jù)相關(guān)聯(lián)的特性和/或?qū)傩?。響?yīng)于從歷史數(shù)據(jù)生成(多個(gè))探試，一些實(shí)施例至少部分基于(多個(gè))探試生成一個(gè)或多個(gè)預(yù)報(bào)。例如，可以從(多個(gè))探試生成預(yù)報(bào)以計(jì)劃和/或預(yù)料系統(tǒng)和/或產(chǎn)品的(多個(gè))未來(lái)行為。一些實(shí)施例將(多個(gè))預(yù)報(bào)存儲(chǔ)在貯藏室中以用于未來(lái)使用，如以下進(jìn)一步討論的。響應(yīng)于接收新的和/或到來(lái)的數(shù)據(jù)，一些實(shí)施例可以在新的/到來(lái)的數(shù)據(jù)上生成(多個(gè))探試。如在歷史數(shù)據(jù)的情形中，新的/到來(lái)的數(shù)據(jù)可以被劃分，并且可以針對(duì)每一個(gè)新的或附加的區(qū)段生成多個(gè)探試。在一些情形中，新的/到來(lái)的數(shù)據(jù)可以基于所生成的探試被劃分若干次(例如相同數(shù)據(jù)集可以被重新劃分若干次，每一個(gè)區(qū)段與具體探試相關(guān)聯(lián))。(多個(gè))新的探試可以與(多個(gè))預(yù)報(bào)相比較以用來(lái)使得能夠生成(多個(gè))預(yù)報(bào)質(zhì)量度量。在一些情形中，預(yù)報(bào)質(zhì)量度量可以指示相關(guān)聯(lián)的預(yù)報(bào)在(多個(gè))預(yù)測(cè)行為中是否具有高質(zhì)量和/或精確度、低質(zhì)量和/或精確度等。響應(yīng)于確定高質(zhì)量和/或精確度，一些實(shí)施例將新到來(lái)的數(shù)據(jù)存儲(chǔ)在貯藏室中?？商鎿Q地或附加地，一些實(shí)施例基于(多個(gè))低質(zhì)量精確度量來(lái)觸發(fā)告知，并且在一些情形中可以在將新到來(lái)的數(shù)據(jù)存儲(chǔ)在貯藏室中之前和/或代替其而隔離新到來(lái)的數(shù)據(jù)以用于進(jìn)一步的分析。
[0013]在緊接著的討論中，提供標(biāo)題為“示例操作環(huán)境”的部分并且該部分描述其中可以采用一個(gè)或多個(gè)實(shí)施例的一個(gè)環(huán)境。緊接此，標(biāo)題為“量化數(shù)據(jù)質(zhì)量”的部分描述依照一個(gè)或多個(gè)實(shí)施例的可以如何利用與預(yù)報(bào)模型耦合的探試方法來(lái)測(cè)量數(shù)據(jù)質(zhì)量。最后，標(biāo)題為“示例設(shè)備”的部分描述可以用來(lái)實(shí)現(xiàn)一個(gè)或多個(gè)實(shí)施例的示例設(shè)備。
[0014]在已經(jīng)提供以下要描述的各個(gè)實(shí)施例的概述的情況下，現(xiàn)在考慮其中可以實(shí)現(xiàn)一個(gè)或多個(gè)實(shí)施例的示例操作環(huán)境。
[0015]示例操作環(huán)培
圖1是在基于分組的網(wǎng)絡(luò)之上實(shí)現(xiàn)的通信系統(tǒng)100的示意性圖示，此處由互聯(lián)網(wǎng)形式的通信云110表示，其包括多個(gè)互連的元件。要理解的是，盡管參照通信系統(tǒng)100描述當(dāng)前發(fā)明的各方面，但是這些討論僅僅用于說(shuō)明性目的，并不意圖限制所要求保護(hù)的主題的范圍。每一個(gè)網(wǎng)絡(luò)元件連接到互聯(lián)網(wǎng)的其余部分，并且被配置為通過(guò)發(fā)射和接收互聯(lián)網(wǎng)協(xié)議(IP)分組形式的數(shù)據(jù)來(lái)在互聯(lián)網(wǎng)之上與其它這樣的元件傳送數(shù)據(jù)。每一個(gè)元件還具有在互聯(lián)網(wǎng)內(nèi)對(duì)其定位的相關(guān)聯(lián)的IP地址，并且每一個(gè)分組在其頭部包括源和目的地IP地址。圖1中所示的元件包括多個(gè)最終用戶終端102 (a)-102 (c)(諸如桌上型或膝上型PC或者啟用互聯(lián)網(wǎng)的移動(dòng)電話)、一個(gè)或多個(gè)服務(wù)器104 (諸如基于互聯(lián)網(wǎng)的通信系統(tǒng)的對(duì)等服務(wù)器、數(shù)據(jù)中心服務(wù)器等)以及到另一類型的網(wǎng)絡(luò)108 (諸如到傳統(tǒng)公共切換電話網(wǎng)絡(luò)(PSTN)或其它電路交換網(wǎng)絡(luò)，和/或到移動(dòng)蜂窩網(wǎng)絡(luò))的網(wǎng)關(guān)106。然而，當(dāng)然將理解的是，除那些明確示出之外的更多的元件組成互聯(lián)網(wǎng)。這在圖1中由通信云110示例性地表示，其典型地包括許多其它最終用戶終端、服務(wù)器和網(wǎng)關(guān)、以及互聯(lián)網(wǎng)服務(wù)提供商(ISP)的路由器和互聯(lián)網(wǎng)骨干路由器。
[0016]在所圖示和描述的實(shí)施例中，最終用戶終端102 (a)-102 (c)可以通過(guò)通信云的方式使用任何適當(dāng)技術(shù)與彼此，以及與其它實(shí)體通信。因而，最終用戶終端可以通過(guò)通信云110和/或通過(guò)通信云110、網(wǎng)關(guān)106和網(wǎng)絡(luò)108使用例如互聯(lián)網(wǎng)協(xié)議電話(VoIP)與一個(gè)或多個(gè)實(shí)體通信。為了與另一最終用戶終端通信，在發(fā)起最終用戶終端上執(zhí)行的客戶端詢問(wèn)在其上安裝另一客戶端的終端的IP地址。這典型地使用地址查詢來(lái)完成。
[0017]一些基于互聯(lián)網(wǎng)的通信系統(tǒng)由操作員管理，因?yàn)樗鼈円蕾囉谝粋€(gè)或多個(gè)集中式、操作員運(yùn)行的服務(wù)器來(lái)進(jìn)行地址查詢(未示出)。在該情形中，當(dāng)一個(gè)客戶端要與另一個(gè)通信時(shí)，發(fā)起客戶端隨后聯(lián)系由系統(tǒng)操作員運(yùn)行的集中式服務(wù)器來(lái)獲得被召者的IP地址。
[0018]相比于這些操作員管理的系統(tǒng)，另一類型的基于互聯(lián)網(wǎng)的通信系統(tǒng)已知為“對(duì)等”(P2P)系統(tǒng)。對(duì)等(P2P)系統(tǒng)典型地將責(zé)任從集中式操作員服務(wù)器轉(zhuǎn)移開(kāi)并且轉(zhuǎn)移到最終用戶自身的終端。這意味著進(jìn)行地址查詢的責(zé)任被轉(zhuǎn)移到最終用戶終端，比如標(biāo)記為102(a)-102 (c)的那些。每一個(gè)最終用戶終端可以運(yùn)行P2P客戶端應(yīng)用，并且每一個(gè)這樣的終端形成P2P系統(tǒng)的節(jié)點(diǎn)。P2P地址查詢通過(guò)在一些最終用戶節(jié)點(diǎn)之中分發(fā)IP地址的數(shù)據(jù)庫(kù)來(lái)工作。數(shù)據(jù)庫(kù)是將所有在線或最近在線的用戶的用戶名映射到相關(guān)IP地址的列表，使得可以在給定用戶名的情況下確定IP地址。
[0019]一旦已知，地址就允許用戶建立語(yǔ)音或視頻呼叫，或者發(fā)送頂聊天消息或文件傳輸?shù)?。然而附加地，還可以在客戶端本身需要與另一客戶端匿名地傳送信息的時(shí)候使用地址。
[0020](多個(gè))服務(wù)器104表示連接到通信系統(tǒng)100的一個(gè)或多個(gè)服務(wù)器，其示例在下文以及上文提供。例如，服務(wù)器104可以包括一致地工作以實(shí)現(xiàn)相同功能性的服務(wù)器庫(kù)?？商鎿Q地或附加地，服務(wù)器104可以包括被配置為提供專門來(lái)自其它服務(wù)器的功能性的多個(gè)獨(dú)立服務(wù)器。在一些實(shí)施例中，(多個(gè))服務(wù)器104包括一個(gè)或多個(gè)數(shù)據(jù)探試引擎模塊112。(多個(gè))數(shù)據(jù)探試引擎模塊112表示被配置為分析歷史數(shù)據(jù)并且基于歷史數(shù)據(jù)生成(多個(gè))探試的功能性。此處，歷史數(shù)據(jù)包括被收集為描述和/或文檔化與項(xiàng)目(例如產(chǎn)品、系統(tǒng)、月艮務(wù)、客戶端應(yīng)用等)相關(guān)聯(lián)的過(guò)去事件、行為、特性等的任何數(shù)據(jù)?？梢苑治鋈魏芜m當(dāng)類型的數(shù)據(jù)，如下文進(jìn)一步描述的。在一些情形中，針對(duì)歷史數(shù)據(jù)的整個(gè)集合生成探試，而在其它情形中，針對(duì)歷史數(shù)據(jù)的較小部分和/或區(qū)段生成探試。當(dāng)生成(多個(gè))探試時(shí)，(多個(gè))數(shù)據(jù)探試引擎模塊112可以附加地生成與(多個(gè))探試相關(guān)聯(lián)的(多個(gè))預(yù)報(bào)。例如，一些實(shí)施例可以使用各種預(yù)報(bào)模型，諸如Holt-Winters、線性回歸、高斯等來(lái)生成預(yù)報(bào)。(多個(gè))數(shù)據(jù)探試引擎模塊112可以附加地將(多個(gè))預(yù)報(bào)存儲(chǔ)在貯藏室中以用于未來(lái)使用。盡管此處并