根據(jù)本發(fā)明的實(shí)施例涉及用于使用統(tǒng)計(jì)顯著性相異度值確定關(guān)于一個(gè)或多個(gè)待測(cè)設(shè)備dut的特征的信息的方法和裝置。

背景技術(shù)：

1、在許多情況下，技術(shù)設(shè)備在被用于其相應(yīng)目標(biāo)應(yīng)用之前需要被測(cè)試。為了提供經(jīng)濟(jì)高效且可靠的測(cè)試結(jié)果，可以使用自動(dòng)化測(cè)試儀器ate。

2、然而，特別是對(duì)于要測(cè)試多個(gè)參數(shù)和較多數(shù)量的設(shè)備的測(cè)試場(chǎng)景，可能難以處理和/或評(píng)估測(cè)試結(jié)果。

3、因此，希望得到一種適用于這種情況的概念，并在可靠性、效率和成本之間提供更好的折中。

4、這是通過(guò)本技術(shù)的獨(dú)立權(quán)利要求的主題實(shí)現(xiàn)的。

5、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例由本技術(shù)的從屬權(quán)利要求的主題限定。

技術(shù)實(shí)現(xiàn)思路

1、根據(jù)本發(fā)明的實(shí)施例包括一種用于使用來(lái)自自動(dòng)化測(cè)試儀器(ate)的測(cè)量數(shù)據(jù)來(lái)確定關(guān)于一個(gè)或多個(gè)待測(cè)設(shè)備dut的特征的信息(例如，信息“待測(cè)設(shè)備在這些條件下顯示出具有統(tǒng)計(jì)顯著性的不同行為”)的方法，測(cè)量數(shù)據(jù)包括多個(gè)測(cè)量結(jié)果(例如目標(biāo)變量，例如t，例如“測(cè)試通過(guò)”，例如“測(cè)試失敗”，例如連續(xù)值，例如電壓或電流或信號(hào)特征)和描述待測(cè)設(shè)備(dut)的對(duì)應(yīng)測(cè)量條件(例如描述對(duì)應(yīng)自變量的條件，例如v＝v，例如描述自變量v具有值v的條件；例如在其下已經(jīng)獲得測(cè)量結(jié)果的測(cè)量條件)的信息。

2、該方法包括確定關(guān)于與測(cè)量條件的第一子集(例如對(duì)于給定測(cè)量條件或?qū)τ跍y(cè)量條件的給定(例如小)范圍，例如其中自變量取值v＝v)相對(duì)應(yīng)的測(cè)量結(jié)果的條件分布(例如在非布爾目標(biāo)變量的情況下的局部條件目標(biāo)分布(例如pv(t))，或者例如在布爾目標(biāo)變量的情況下的真實(shí)目標(biāo)值的分?jǐn)?shù)pv)的信息，例如表示或描述前述的信息。

3、該方法還包括確定關(guān)于至少一個(gè)樣本分布(例如在非布爾目標(biāo)變量的情況下的多個(gè)經(jīng)驗(yàn)分布qs或qs(t)，或者例如在布爾目標(biāo)變量的情況下的概率q’)的信息，例如表示或描述前述的信息，其中至少一個(gè)樣本分布(例如在布爾目標(biāo)變量的情況下的一個(gè)經(jīng)分析確定的代表性樣本分布，或者在非布爾目標(biāo)變量的情況下的多個(gè)經(jīng)驗(yàn)樣本分布)與條件分布可比較(例如相關(guān)聯(lián))(例如，與比條件分布更廣泛范圍的測(cè)量條件相關(guān)聯(lián)，例如，包括相等或相似數(shù)量的測(cè)量結(jié)果)。

4、此外，該方法包括使用關(guān)于條件分布的信息(例如表示或描述條件分布的信息)并使用關(guān)于至少一個(gè)樣本分布的信息(例如表示或描述至少一個(gè)樣本分布的信息)來(lái)確定統(tǒng)計(jì)顯著性相異度值(例如，其指示dut的行為如何取決于測(cè)量條件；例如d(v)；例如，其表征了dut針對(duì)給定測(cè)量條件的行為；例如，描述介于條件分布和一個(gè)或多個(gè)樣本分布之間的統(tǒng)計(jì)顯著性相異度；例如，確定相異度閾值，例如d(v)，使得樣本分布中僅預(yù)定部分(例如5％)包括相對(duì)于條件分布小于或等于相異度閾值的相異度；例如，確定相異度閾值使得樣本分布(例如二項(xiàng)式的二項(xiàng)式分布)的所有實(shí)例中僅預(yù)定部分(例如5％)包括相對(duì)于條件分布小于或等于相異度閾值的相異度；例如，確定相異度閾值，該相異度閾值指示條件分布是否包括指示介于條件分布和樣本分布之間的最小相異度閾值，排除樣本分布中與條件分布最相似的預(yù)定部分)，其中關(guān)于一個(gè)或多個(gè)dut的特征的信息包括統(tǒng)計(jì)顯著性相異度值或者基于統(tǒng)計(jì)顯著性相異度值。

5、發(fā)明人認(rèn)識(shí)到，基于包括多個(gè)測(cè)量結(jié)果和描述對(duì)應(yīng)測(cè)量條件的信息的測(cè)量數(shù)據(jù)，通過(guò)使用(例如比較)關(guān)于條件分布的信息和關(guān)于至少一個(gè)樣本分布的信息，可以穩(wěn)健且高效地確定或評(píng)估dut特征。

6、簡(jiǎn)單地說(shuō)，作為示例，發(fā)明人認(rèn)識(shí)到，為了評(píng)估或分類(lèi)與測(cè)量條件的第一子集相對(duì)應(yīng)的測(cè)量結(jié)果，可以確定關(guān)于其條件分布的信息。為了允許穩(wěn)健且可靠的評(píng)估，例如可以將該條件分布與至少一個(gè)樣本分布進(jìn)行比較。簡(jiǎn)單地說(shuō)，在多個(gè)ate測(cè)試用例(例如，包括結(jié)果和對(duì)應(yīng)條件)中，可以一次或多次(例如隨機(jī)地)選擇測(cè)試用例，并且可以確定其一個(gè)或多個(gè)樣本分布。為了保持一個(gè)或多個(gè)樣本分布與條件分布可比較，相應(yīng)樣本分布可以與相比于條件分布相似或甚至相等數(shù)量的測(cè)試用例相關(guān)聯(lián)。

7、現(xiàn)在，可以將樣本分布中的一個(gè)或每一個(gè)例如與條件分布進(jìn)行比較。簡(jiǎn)單地說(shuō)，比較可以回答條件分布是否與樣本分布相似或者顯著不同(其中，作為示例，樣本分布基于隨機(jī)抽取的測(cè)試用例)。因此，基于比較，不僅可以(例如)檢測(cè)到差異，還可以提供關(guān)于差異的統(tǒng)計(jì)顯著性的信息。

8、發(fā)明人認(rèn)識(shí)到，相異度值可以允許為這種比較提供良好衡量標(biāo)準(zhǔn)。因此，可以基于介于條件分布和一個(gè)或多個(gè)樣本分布之間的一次或多次比較來(lái)確定統(tǒng)計(jì)顯著性相異度值。

9、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，樣本分布是經(jīng)驗(yàn)分布，并且確定關(guān)于(例如表示或描述)至少一個(gè)樣本分布的信息包括確定關(guān)于(例如表示或描繪)測(cè)量數(shù)據(jù)(例如在大范圍的測(cè)量條件內(nèi)獲得或者在隨機(jī)范圍的測(cè)量條件內(nèi)獲得的測(cè)量結(jié)果)的多個(gè)子集的測(cè)量結(jié)果的多個(gè)經(jīng)驗(yàn)分布(例如qs)的信息。

10、此外，為確定關(guān)于相應(yīng)經(jīng)驗(yàn)分布的信息(例如關(guān)于每個(gè)經(jīng)驗(yàn)分布的信息)而考慮的測(cè)量結(jié)果的數(shù)量與為確定關(guān)于條件分布的信息而考慮的測(cè)量結(jié)果的數(shù)量相關(guān)聯(lián)(例如前者對(duì)應(yīng)于后者，例如前者相對(duì)于后者偏離不超過(guò)10％或20％；例如前者等于后者)，并且測(cè)量數(shù)據(jù)的相應(yīng)子集的測(cè)量結(jié)果是測(cè)量數(shù)據(jù)的經(jīng)隨機(jī)或偽隨機(jī)(例如或者任意)選擇測(cè)量結(jié)果的集合。

11、該方法還包括使用關(guān)于條件分布的信息(例如條件分布本身)并使用關(guān)于相應(yīng)經(jīng)驗(yàn)分布的信息(例如經(jīng)驗(yàn)分布本身)來(lái)確定條件分布和相應(yīng)(例如每個(gè))經(jīng)驗(yàn)分布之間的多個(gè)相異度度量(例如kullback-leibler散度)。此外，該方法還包括使用多個(gè)相異度度量來(lái)確定統(tǒng)計(jì)顯著性相異度值，例如d(v)。

12、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，統(tǒng)計(jì)顯著性相異度值(例如d(v)，例如，其指示dut的行為如何取決于測(cè)量條件；例如d(v)，例如，其表征dut針對(duì)給定測(cè)量條件的行為，例如描述介于條件分布和一個(gè)或多個(gè)樣本分布之間的統(tǒng)計(jì)顯著性相異度；例如，確定相異度閾值，例如d(v)，使得樣本分布中僅預(yù)定部分(例如5％)包括相對(duì)于條件分布小于或等于相異度閾值的相異度；例如，確定相異度閾值使得樣本分布(例如二項(xiàng)式的二項(xiàng)式分布)的所有實(shí)例中僅預(yù)定部分(例如5％)包括相對(duì)于條件分布小于或等于相異度閾值的相異度；例如，確定相異度閾值，該相異度閾值指示條件分布是否包括指示介于條件分布和樣本分布之間的最小相異度閾值，排除樣本分布中與條件分布最相似的預(yù)定部分)與相異度度量的分布的分位數(shù)(例如，百分位數(shù)，例如，較低1-c百分位，例如c＝95％)相關(guān)聯(lián)。

13、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，該方法還包括確定多個(gè)相異度度量的累積分布(例如cdf)，并確定統(tǒng)計(jì)顯著性相異度值(例如d(v))，使得經(jīng)驗(yàn)分布中僅預(yù)定部分包括相對(duì)于條件分布小于或等于統(tǒng)計(jì)顯著性相異度值的相異度度量，例如使得相應(yīng)經(jīng)驗(yàn)分布和條件分布之間的相異度度量中僅預(yù)定部分小于或等于統(tǒng)計(jì)顯著性相異度值。

14、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，該方法還包括外推累積分布和/或插值累積分布，以確定統(tǒng)計(jì)顯著性相異度值，例如d(v)。

15、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，該方法還包括選擇多個(gè)相異度度量中的相異度度量，例如ds'，其中所選擇相異度度量包括多個(gè)相異度度量中與統(tǒng)計(jì)顯著性相異度值的最小偏差，例如d(v)，并且該方法包括確定與所選擇相異度度量相對(duì)應(yīng)的經(jīng)驗(yàn)分布的平均值。

16、此外，該方法包括確定與測(cè)量條件的第一子集相對(duì)應(yīng)的測(cè)量結(jié)果的條件分布的平均值，例如并確定介于條件分布和與所選擇相異度度量相對(duì)應(yīng)的經(jīng)驗(yàn)分布之間的經(jīng)平均對(duì)齊相異度度量(例如例如，使用與所選擇相異度度量相對(duì)應(yīng)的經(jīng)驗(yàn)分布的平均值；例如，使用與測(cè)量條件的第一子集相對(duì)應(yīng)的測(cè)定結(jié)果的條件分布的平均值(例如))。

17、該方法還包括使用經(jīng)平均對(duì)齊相異度度量(例如)和介于條件分布和與所選擇相異度度量相對(duì)應(yīng)的經(jīng)驗(yàn)分布之間的相異度度量(例如ds')來(lái)確定關(guān)于歸一化相異度分?jǐn)?shù)(例如的信息，其中歸一化相異度分?jǐn)?shù)可選地包括關(guān)于與介于條件分布和與最低相異度度量相對(duì)應(yīng)的經(jīng)驗(yàn)分布之間的不同均值相關(guān)聯(lián)的相異度度量的量的信息。

18、此外，關(guān)于一個(gè)或多個(gè)dut的特征的信息包括關(guān)于歸一化相異度分?jǐn)?shù)(例如的信息。

19、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，該方法還包括選擇多個(gè)相異度度量中的相異度度量(例如ds')，其中所選擇相異度度量包括多個(gè)相異度度量中與統(tǒng)計(jì)顯著性相異度值的最小偏差，例如d(v)，其中關(guān)于一個(gè)或多個(gè)dut的特征的信息包括關(guān)于所選擇相異度度量的信息，例如所選擇相異度度量。

20、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，該方法還包括確定與測(cè)量條件的第一子集相對(duì)應(yīng)的測(cè)量結(jié)果的條件分布的平均值(例如)，和可選地確定測(cè)量結(jié)果的總體分布的平均值(例如)。

21、此外，該方法包括確定條件分布和測(cè)量結(jié)果的總體分布之間的經(jīng)平均對(duì)齊相異度度量(例如例如使用與測(cè)量條件的第一子集相對(duì)應(yīng)的測(cè)量結(jié)果的條件分布的平均值(例如)；例如使用測(cè)量結(jié)果的總體分布的平均值(例如))，并且該方法包括確定條件分布和總體分布之間的相異度度量，例如d。

22、此外，該方法包括使用經(jīng)平均對(duì)齊相異度度量(例如)并使用條件分布和總體分布之間的相異度度量(例如d)來(lái)確定關(guān)于歸一化相異度分?jǐn)?shù)(例如)的信息，其中可選地歸一化相異度分?jǐn)?shù)包括關(guān)于與介于條件分布和總體分布之間的不同均值相關(guān)聯(lián)的相異度度量的量的信息。

23、此外，關(guān)于一個(gè)或多個(gè)dut的特征的信息包括關(guān)于歸一化相異度分?jǐn)?shù)(例如μ)的信息。

24、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，該方法還包括測(cè)量數(shù)據(jù)值的分箱，其中分箱基于參數(shù)α執(zhí)行，該參數(shù)α影響測(cè)量數(shù)據(jù)值(例如點(diǎn)擊，例如目標(biāo)變量(目標(biāo)變量t)的值，例如自變量(例如自變量v)的值)被量化(例如被分箱)到值箱(例如量化級(jí)別)的數(shù)目。

25、此外，測(cè)量數(shù)據(jù)(例如測(cè)量條件和/或測(cè)量結(jié)果)包括連續(xù)變量，并且該方法還包括將連續(xù)變量的值量化到值箱中。

26、替代地或另外地，測(cè)量數(shù)據(jù)包括分類(lèi)變量并且相應(yīng)分類(lèi)變量值與一個(gè)相應(yīng)值箱相關(guān)聯(lián)，例如被分箱到一個(gè)相應(yīng)值箱，例如被尋址到一個(gè)相應(yīng)值箱。

27、替代地或另外地，測(cè)量數(shù)據(jù)包括離散變量，并且離散變量包括m個(gè)不同值，將離散變量的值量化到最多m個(gè)值箱。

28、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，測(cè)量數(shù)據(jù)包括dut測(cè)試的數(shù)據(jù)集的數(shù)量(例如測(cè)量結(jié)果和對(duì)應(yīng)測(cè)量條件的數(shù)量；例如測(cè)試用例的數(shù)量)。此外，使用以下來(lái)確定測(cè)量數(shù)據(jù)的值箱(例如量化級(jí)別)的數(shù)量：使用數(shù)據(jù)集的數(shù)量并使用基于分類(lèi)變量值組合的數(shù)量的分區(qū)(例如除以分類(lèi)變量值組合的數(shù)量)；和/或使用數(shù)據(jù)集的數(shù)量并使用基于參數(shù)α的分區(qū)(如除以參數(shù)α)；和/或使用數(shù)據(jù)集的數(shù)量并使用基于連續(xù)和離散變量的數(shù)量的分區(qū)(例如使用平方根)；和/或使用基于連續(xù)變量的數(shù)量的分區(qū)(例如使用平方根)來(lái)使用數(shù)據(jù)集的數(shù)量，例如其中可以在聯(lián)合處理或組合處理中組合多個(gè)分區(qū)。

29、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，測(cè)量數(shù)據(jù)包括測(cè)量結(jié)果(例如目標(biāo)變量值；例如目標(biāo)變量及其值)和一個(gè)或多個(gè)對(duì)應(yīng)自變量的值，并且該方法還包括確定測(cè)量條件的第一子集，使得第一子集中的測(cè)量條件(例如在第一測(cè)量條件的鄰域中)是相鄰的；例如是第一測(cè)量條件的最近的近鄰；例如與自變量值相鄰。

30、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，測(cè)量數(shù)據(jù)包括測(cè)量結(jié)果(例如目標(biāo)變量及其值)和一個(gè)或多個(gè)對(duì)應(yīng)自變量的值，并且該方法還包括對(duì)測(cè)量數(shù)據(jù)的值進(jìn)行分箱，其中測(cè)量數(shù)據(jù)的測(cè)量結(jié)果和/或自變量值被量化(例如分箱)到值箱。

31、該方法還包括基于相應(yīng)(例如所有)值箱的測(cè)量結(jié)果確定關(guān)于測(cè)量結(jié)果的總體分布的信息，例如概率；例如q(t)。

32、此外，該方法包括確定關(guān)于測(cè)量條件的第一子集的測(cè)量結(jié)果的條件分布的信息，其中測(cè)量條件的第一子集與相應(yīng)值箱的自變量值相關(guān)聯(lián)，并且該方法包括確定與測(cè)量條件的第一集相對(duì)應(yīng)的測(cè)量結(jié)果的數(shù)量，例如n(v)。

33、此外，該方法包括確定關(guān)于測(cè)量數(shù)據(jù)的多個(gè)子集的測(cè)量結(jié)果的多個(gè)經(jīng)驗(yàn)分布(例如qs)的信息，其中為確定關(guān)于相應(yīng)經(jīng)驗(yàn)分布的信息而考慮的測(cè)量結(jié)果的數(shù)量等于測(cè)量條件的第一子集的(例如與測(cè)量條件的第一子集相對(duì)應(yīng)的，例如與測(cè)量條件的第一子集相關(guān)聯(lián)的)測(cè)量結(jié)果的數(shù)量(例如n(v))，并且其中測(cè)量數(shù)據(jù)的相應(yīng)子集的測(cè)量結(jié)果是測(cè)量數(shù)據(jù)的經(jīng)隨機(jī)或偽隨機(jī)選擇測(cè)量結(jié)果的集合。

34、該方法還包括使用關(guān)于條件分布的信息(例如條件分布本身)并使用關(guān)于相應(yīng)經(jīng)驗(yàn)分布的信息來(lái)確定條件分布和相應(yīng)(例如每個(gè))經(jīng)驗(yàn)分布之間的多個(gè)相異度度量(例如kullback-leibler散度)。

35、該方法還包括確定多個(gè)相異度度量的累積分布(例如cdf)，并確定統(tǒng)計(jì)顯著性相異度值(例如d(v))，使得經(jīng)驗(yàn)分布中僅預(yù)定部分包括相對(duì)于條件分布小于或等于統(tǒng)計(jì)顯著性相異度值的相異度度量，并且該方法包括選擇多個(gè)相異度度量中的相異度度量(例如ds)，其中所選擇相異度度量包括多個(gè)相異度度量的相異度度量中與統(tǒng)計(jì)顯著性相異度值的最小偏差(例如d(v))。

36、此外，該方法包括確定與所選擇相異度度量相對(duì)應(yīng)的經(jīng)驗(yàn)分布的平均值，并確定與測(cè)量條件的第一子集相對(duì)應(yīng)的測(cè)量結(jié)果的條件分布的平均值(例如)，并且該方法包括確定介于條件分布和與所選擇相異度度量相對(duì)應(yīng)的經(jīng)驗(yàn)分布之間的經(jīng)平均對(duì)齊相異度度量(例如例如使用與所選擇相異度度量相對(duì)應(yīng)的經(jīng)驗(yàn)分布的平均值；例如使用與測(cè)量條件的第一子集相對(duì)應(yīng)的測(cè)量結(jié)果的條件分布的平均值(例如))。

37、此外，該方法包括使用經(jīng)平均對(duì)齊相異度度量(例如)并使用介于條件分布和與所選擇相異度度量相對(duì)應(yīng)的經(jīng)驗(yàn)分布之間的相異度度量(例如ds')來(lái)確定關(guān)于歸一化相異度分?jǐn)?shù)(例如)的信息，其中可選地歸一化相異度分?jǐn)?shù)包括關(guān)于與介于條件分布和與最低相異度度量相對(duì)應(yīng)的經(jīng)驗(yàn)分布之間的不同均值相關(guān)聯(lián)的相異度度量的量的信息。

38、此外，關(guān)于dut的特征的信息包括關(guān)于歸一化相異度分?jǐn)?shù)(例如)的信息。

39、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，測(cè)量數(shù)據(jù)包括測(cè)量結(jié)果(例如目標(biāo)變量及其值)和一個(gè)或多個(gè)對(duì)應(yīng)自變量的值。

40、此外，該方法包括對(duì)測(cè)量數(shù)據(jù)的值進(jìn)行分箱，其中測(cè)量數(shù)據(jù)中的測(cè)量結(jié)果和/或自變量值被量化(例如分箱到)值箱，并且該方法包括基于相應(yīng)(例如所有)值箱的測(cè)量結(jié)果確定關(guān)于測(cè)量結(jié)果的總體分布的信息(例如q(t))。

41、此外，該方法包括確定關(guān)于測(cè)量條件的第一子集的測(cè)量結(jié)果的條件分布的信息，其中測(cè)量條件的第一子集與相應(yīng)值箱的自變量值相關(guān)聯(lián)，并且該方法包括確定與測(cè)量條件的第一子集相對(duì)應(yīng)的測(cè)量結(jié)果的數(shù)量(例如n(v))。

42、此外，該方法包括確定關(guān)于測(cè)量數(shù)據(jù)的多個(gè)子集中的測(cè)量結(jié)果的多個(gè)經(jīng)驗(yàn)分布(例如qs)的信息，其中為確定關(guān)于相應(yīng)經(jīng)驗(yàn)分布的信息而考慮的測(cè)量結(jié)果的數(shù)量等于測(cè)量條件的第一子集的(例如與測(cè)量條件的第一子集相對(duì)應(yīng)的，例如與測(cè)量條件的第一子集相關(guān)聯(lián)的)測(cè)量結(jié)果的數(shù)量。此外，測(cè)量數(shù)據(jù)的相應(yīng)子集中的測(cè)量結(jié)果是測(cè)量數(shù)據(jù)的經(jīng)隨機(jī)或偽隨機(jī)選擇測(cè)量結(jié)果的集合。

43、該方法還包括使用關(guān)于條件分布的信息(例如條件分布本身)并使用關(guān)于相應(yīng)經(jīng)驗(yàn)分布的信息來(lái)確定條件分布和相應(yīng)(例如每個(gè))經(jīng)驗(yàn)分布之間的多個(gè)相異度度量(例如kullback-leibler散度)，并且該方法包括確定多個(gè)相異度度量的累積分布(例如cdf)。

44、此外，該方法包括確定統(tǒng)計(jì)顯著性相異度值(例如d(v))，使得經(jīng)驗(yàn)分布中僅預(yù)定部分包括相對(duì)于條件分布小于或等于統(tǒng)計(jì)顯著性相異度值的相異度度量，并且該方法包括選擇多個(gè)相異度度量中的相異度度量(例如ds')，其中所選擇相異度度量包括多個(gè)相異度度量的相異度度量中與統(tǒng)計(jì)顯著性相異度值(例如d(v))的最小偏差，其中關(guān)于dut的特征的信息包括所選擇相異度度量。

45、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，針對(duì)與相應(yīng)值箱相對(duì)應(yīng)的測(cè)量條件的不同子集，確定多個(gè)統(tǒng)計(jì)顯著性相異度值(例如d(v))和/或多個(gè)歸一化相異度分?jǐn)?shù)(例如μ'；例如μ)。

46、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，該方法還包括基于測(cè)量數(shù)據(jù)獲得(例如接收或者確定)關(guān)于測(cè)量結(jié)果的總體分布的信息(例如q)，并對(duì)關(guān)于總體分布的信息與關(guān)于條件分布的信息進(jìn)行比較，例如確定pv<q或pv≥q是否成立，其中基于關(guān)于總體分布的信息(例如q)和關(guān)于條件分布的信息(例如pv)的比較來(lái)確定關(guān)于至少一個(gè)樣本分布的信息(例如q')(例如，在pv<q的情況下，根據(jù)滿足pr(x≤k')≤1-c的最大k'來(lái)確定q'，或者在pv≥q的情況下，根據(jù)滿足pr(x≤k')≤c的最小k'來(lái)確定q')。

47、該方法還包括對(duì)關(guān)于總體分布的信息、關(guān)于條件分布的信息和關(guān)于至少一個(gè)樣本分布的信息進(jìn)行比較(例如，確定是否pv<q'<q或q'≤pv<q；或者q≤pv≤q'或q<q'<pv)，并基于(例如依賴于)關(guān)于總體分布的信息、關(guān)于條件分布的信息和關(guān)于至少一個(gè)樣本分布的信息的比較來(lái)確定統(tǒng)計(jì)顯著性相異度值(例如d(v))(例如，使得如果pv<q'<q，則或者如果q'≤pv<q，則d(v)＝0；或者如果q≤pv≤q'，則d(v)＝0或者如果q<q'<pv，則

48、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，測(cè)量數(shù)據(jù)包括測(cè)量結(jié)果(例如目標(biāo)變量和/或其值)和對(duì)應(yīng)自變量值(例如(例如對(duì)應(yīng)自變量v)自變量值v；例如還有相應(yīng)自變量的定義；例如由v聯(lián)合表示)，該方法還包括對(duì)測(cè)量數(shù)據(jù)的值進(jìn)行分箱，其中測(cè)量數(shù)據(jù)中的測(cè)量結(jié)果和/或自變量值被分箱(例如量化到)值箱，并且其中該測(cè)量結(jié)果是測(cè)量結(jié)果為真或假的布爾目標(biāo)變量。

49、該方法還包括基于測(cè)量數(shù)據(jù)的整體測(cè)量結(jié)果，確定關(guān)于測(cè)量結(jié)果的總體分布的信息q，其中信息q是測(cè)量結(jié)果為真的概率或測(cè)量結(jié)果為假的概率，其中信息q可例如表示在測(cè)量結(jié)果的總量?jī)?nèi)包括“真”值的測(cè)量結(jié)果的分?jǐn)?shù)。

50、此外，該方法包括確定與測(cè)量條件的第一子集相對(duì)應(yīng)(例如與自變量值v相對(duì)應(yīng))的測(cè)量結(jié)果的數(shù)量n(v)，其中測(cè)量條件的第一子集與相應(yīng)值箱的自變量值相關(guān)聯(lián)，并且該方法包括確定關(guān)于與測(cè)量條件的第一子集相對(duì)應(yīng)的測(cè)量結(jié)果的條件分布的信息pv，其中信息pv是基于與測(cè)量條件的第一子集相對(duì)應(yīng)的測(cè)量結(jié)果中的測(cè)量結(jié)果為真的概率，或者其中信息pv是基于與測(cè)量條件的第一子集相對(duì)應(yīng)的測(cè)量結(jié)果中的測(cè)量結(jié)果為假的概率。

51、此外，該方法包括確定pv<q是否和/或pv>q是否成立和/或pv＝q是否成立和/或pv≥q是否成立。

52、在pv<q成立的情況下，該方法包括使用q'＝k'/n(v)確定關(guān)于樣本分布的信息q'，其中k'是滿足pr(x≤k')≤1-c的真實(shí)測(cè)試用例的最大數(shù)量，其中c是置信度值，其中pr(x≤k')≤1-c是以下的條件：當(dāng)從測(cè)量數(shù)據(jù)中選擇n(v)個(gè)任意測(cè)量結(jié)果時(shí)(例如來(lái)自測(cè)量結(jié)果的整體集合的結(jié)果；例如考慮上述提及的信息q；其中該方法可以例如使用樣本的數(shù)量n(v)和由q定義的個(gè)體概率對(duì)二項(xiàng)式分布進(jìn)行評(píng)估來(lái)確定k')具有少于或等于k'個(gè)正測(cè)量結(jié)果x的概率pr等于或小于從1中減去置信度c，并且在pv<q'<q成立的情況下，使用確定統(tǒng)計(jì)顯著性相異度值d(v)，和/或在q'≤pv<q成立的情況下，將統(tǒng)計(jì)顯著性相異度值d(v)設(shè)置為d(v)＝0。

53、替代地或另外地，在pv≥q成立的情況下，該方法包括根據(jù)滿足pr(x≤k')≤c的最小k'，使用q'＝k'/n(v)確定關(guān)于樣本分布的信息q'，其中pr(x≤k')≤c是以下的條件：當(dāng)從測(cè)量數(shù)據(jù)中選擇n(v)個(gè)任意測(cè)量結(jié)果時(shí)(例如來(lái)自測(cè)量結(jié)果的整體集合的結(jié)果；例如考慮上述提及的信息q；其中該方法可以例如使用樣本的數(shù)量為n(v)和由q定義的個(gè)體概率對(duì)二項(xiàng)式分布進(jìn)行評(píng)估來(lái)確定k')具有少于或等于k'個(gè)正測(cè)量結(jié)果x的概率pr等于或小于置信度c，并且在q≤pv≤q'成立的情況下，將統(tǒng)計(jì)顯著性相異度值d(v)設(shè)置為d(v)＝0，或者在q<q'<pv成立的情況下，使用確定統(tǒng)計(jì)顯著性相異度值d(v)。

54、替代地或另外地，在pv＝q成立的情況下，該方法包括將統(tǒng)計(jì)顯著性相異度值d(v)設(shè)置為d(v)＝0。

55、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，該方法還包括：針對(duì)與相應(yīng)值箱相對(duì)應(yīng)的(例如被分箱到相應(yīng)值箱的)測(cè)量條件的不同子集，確定多個(gè)相應(yīng)統(tǒng)計(jì)顯著性相異度值(例如d(v))。

56、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，該方法還包括使用統(tǒng)計(jì)顯著性相異度值(例如d(v))擴(kuò)展測(cè)量數(shù)據(jù)，其中經(jīng)擴(kuò)展測(cè)量數(shù)據(jù)是測(cè)量數(shù)據(jù)本身和相關(guān)聯(lián)測(cè)量數(shù)據(jù)元信息(例如擴(kuò)展信息)的組合，其中相關(guān)聯(lián)測(cè)量數(shù)據(jù)元信息基于統(tǒng)計(jì)顯著性相異度值(例如d(v))確定，并且其中測(cè)量數(shù)據(jù)元信息包括關(guān)于介于以下之間的統(tǒng)計(jì)顯著性相異度的信息：與測(cè)量條件的第一子集相對(duì)應(yīng)的測(cè)量結(jié)果和整體測(cè)量結(jié)果之間；或者與測(cè)量條件的第一子集相對(duì)應(yīng)的測(cè)量結(jié)果和所選擇樣本分布的測(cè)量結(jié)果之間。

57、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，該方法還包括使用以下來(lái)確定歸一化相異度分?jǐn)?shù)(例如μ或μ')：使用經(jīng)平均對(duì)齊相異度度量(例如)；和使用條件分布(例如pv(t))和測(cè)量結(jié)果的總體分布之間的相異度度量(例如kullback-leibler散度；例如d)，其中歸一化相異度分?jǐn)?shù)包括關(guān)于與介于條件分布和總體分布之間的不同均值相關(guān)聯(lián)的相異度度量的量的信息(例如，使得例如歸一化相異度分?jǐn)?shù)指示相異度度量是否被條件分布的不同均值和總體分布的不同均值強(qiáng)烈影響)，或者使用條件分布和測(cè)量結(jié)果的樣本分布(例如經(jīng)驗(yàn)分布)之間的相異度度量，其中歸一化相異度分?jǐn)?shù)包括關(guān)于與介于條件分布和樣本分布之間的不同均值相關(guān)聯(lián)的相異度度量的量的信息。

58、此外，測(cè)量數(shù)據(jù)元信息包括關(guān)于歸一化相異度分?jǐn)?shù)的信息(例如，因此包括關(guān)于與介于條件分布和總體分布之間或介于條件分布和樣本分布之間的不同均值相關(guān)聯(lián)的相異度度量的量的信息)。

59、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，該方法還包括可視化(例如繪圖化)測(cè)量數(shù)據(jù)和基于統(tǒng)計(jì)顯著性相異度值(例如d(v))的測(cè)量數(shù)據(jù)元信息(其可例如也被認(rèn)為擴(kuò)展信息)。

60、此外，(例如擴(kuò)展的)測(cè)量數(shù)據(jù)的可視化(例如繪圖)包括測(cè)量條件范圍內(nèi)或?qū)?yīng)自變量范圍內(nèi)(例如或者對(duì)應(yīng)自變量值范圍內(nèi))的測(cè)量結(jié)果的表示。測(cè)量結(jié)果的可視化(例如表示)包括高亮顯示，其中高亮顯示取決于(例如基于；例如相關(guān)聯(lián)于)測(cè)量數(shù)據(jù)元信息(例如相應(yīng)測(cè)量結(jié)果的對(duì)應(yīng)測(cè)量數(shù)據(jù)元信息)，使得對(duì)應(yīng)條件分布的測(cè)量結(jié)果被高亮顯示，該對(duì)應(yīng)條件分布統(tǒng)計(jì)顯著性地偏離測(cè)量結(jié)果的總體分布或者該對(duì)應(yīng)條件分布偏離測(cè)量結(jié)果的樣本分布(例如經(jīng)驗(yàn)分布)；和/或使得與對(duì)應(yīng)條件分布的測(cè)量結(jié)果相關(guān)聯(lián)的可視化的區(qū)域被高亮顯示，該對(duì)應(yīng)條件分布統(tǒng)計(jì)顯著性地偏離測(cè)量結(jié)果的總體分布或該對(duì)應(yīng)條件分布偏離測(cè)量結(jié)果的樣本分布(例如經(jīng)驗(yàn)分布)。

61、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，高亮顯示包括對(duì)繪圖的背景進(jìn)行著色，其中根據(jù)統(tǒng)計(jì)顯著性相異度值確定著色的飽和度。

62、根據(jù)本發(fā)明的進(jìn)一步實(shí)施例，根據(jù)歸一化相異度分?jǐn)?shù)確定著色的顏色。替代地或另外地，根據(jù)關(guān)于測(cè)量結(jié)果的總體分布的信息和關(guān)于條件分布的信息的比較來(lái)確定著色的顏色。替代地或另外地，根據(jù)關(guān)于測(cè)量結(jié)果的樣本分布的信息和關(guān)于條件分布的信息的比較來(lái)確定著色的顏色。

63、根據(jù)本發(fā)明的進(jìn)一步的實(shí)施例，該方法還包括使用統(tǒng)計(jì)顯著性相異度值對(duì)測(cè)量數(shù)據(jù)進(jìn)行可視化。

64、根據(jù)本發(fā)明的其它實(shí)施例包括一種計(jì)算機(jī)程序，用于當(dāng)該計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)執(zhí)行根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法。

65、根據(jù)本發(fā)明的其它實(shí)施例包括一種用于使用來(lái)自自動(dòng)化測(cè)試儀器(ate)的測(cè)量數(shù)據(jù)來(lái)確定關(guān)于一個(gè)或多個(gè)待測(cè)設(shè)備(dut)的特征的信息(例如，信息“待測(cè)設(shè)備在這些條件下顯示出具有統(tǒng)計(jì)顯著性的不同行為”)的裝置，測(cè)量數(shù)據(jù)包括多個(gè)測(cè)量結(jié)果(例如目標(biāo)變量，例如t，例如“測(cè)試通過(guò)”，例如“測(cè)試失敗”，例如連續(xù)值，例如電壓或電流或信號(hào)特征)和描述待測(cè)設(shè)備(dut)的對(duì)應(yīng)測(cè)量條件(例如描述對(duì)應(yīng)自變量的條件，例如v＝v，例如描述自變量v具有值v的條件；例如在其下已經(jīng)獲得測(cè)量結(jié)果的測(cè)量條件)的信息。

66、該裝置被配置為確定關(guān)于與測(cè)量條件的第一子集(例如對(duì)于給定測(cè)量條件或?qū)τ跍y(cè)量條件的給定(例如小)范圍，例如其中自變量取值v＝v)相對(duì)應(yīng)的測(cè)量結(jié)果的條件分布(例如在非布爾目標(biāo)變量的情況下的局部條件目標(biāo)分布(例如pv(t))，或者例如在布爾目標(biāo)變量的情況下的真實(shí)目標(biāo)值的分?jǐn)?shù)pv)的信息，例如表示或描述前述的信息。

67、此外，該裝置被配置為確定關(guān)于至少一個(gè)樣本分布(例如在非布爾目標(biāo)變量的情況下的多個(gè)經(jīng)驗(yàn)分布qs或qs(t)，或者例如在布爾目標(biāo)變量的情況下的概率q')的信息，例如表示或描述前述的信息，其中至少一個(gè)樣本分布(例如，在布爾目標(biāo)變數(shù)的情況下的一個(gè)經(jīng)分析確定的代表性樣本分布，或者在非布爾目標(biāo)變量的情況下的多個(gè)經(jīng)驗(yàn)樣本分布)與條件分布可比較(例如相關(guān)聯(lián))(例如，與比條件分布更廣泛范圍的測(cè)量條件相關(guān)聯(lián)，例如，包括相等或相似數(shù)量的測(cè)量結(jié)果)。

68、此外，該裝置被配置為使用關(guān)于條件分布的信息(例如表示或描述條件分布的信息)并使用關(guān)于至少一個(gè)樣本分布的信息(例如表示或描述至少一個(gè)樣本分布的信息)來(lái)確定統(tǒng)計(jì)顯著性相異度值(例如，其指示dut的行為如何取決于測(cè)量條件；例如d(v)；例如，其表征了dut針對(duì)給定測(cè)量條件的行為；例如，描述介于條件分布和一個(gè)或多個(gè)樣本分布之間的統(tǒng)計(jì)顯著性相異度；例如，確定相異度閾值，例如d(v)，使得樣本分布中僅預(yù)定部分(例如5％)包括相對(duì)于條件分布小于或等于相異度閾值的相異度；例如，確定相異度閾值使得樣本分布(例如二項(xiàng)式的二項(xiàng)式分布)的所有實(shí)例中僅預(yù)定部分(例如5％)包括相對(duì)于條件分布小于或等于相異度閾值的相異度；例如，確定相異度閾值，該相異度閾值指示條件分布是否包括指示介于條件分布和樣本分布之間的最小相異度閾值，排除樣本分布中與條件分布最相似的預(yù)定部分)。

69、此外，關(guān)于一個(gè)或多個(gè)dut的特征的信息包括統(tǒng)計(jì)顯著性相異度值或基于統(tǒng)計(jì)顯著性相異度值(例如，其中該裝置被配置為將統(tǒng)計(jì)顯著性相異度值確定為關(guān)于一個(gè)或多個(gè)dut的特征的信息，或者其中該裝置被配置為基于統(tǒng)計(jì)顯著性相異度值來(lái)確定關(guān)于一個(gè)或多個(gè)dut的特征的信息)。

70、上述裝置基于與上述方法相同的考慮。順便說(shuō)一句，該裝置可以完成所有特征和功能性，這些特征和功能性也針對(duì)該裝置進(jìn)行了描述。