監(jiān)控圖像標(biāo)注質(zhì)量的方法和裝置的制造方法
【專利摘要】本申請(qǐng)公開(kāi)了監(jiān)控圖像標(biāo)注質(zhì)量的方法和裝置。方法包括：執(zhí)行獲取步驟獲取單次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率：向標(biāo)注賬戶下發(fā)待標(biāo)注圖像，待標(biāo)注圖像包括預(yù)定比例的樣本圖像，獲取對(duì)待標(biāo)注圖像的人工標(biāo)注數(shù)據(jù)，人工標(biāo)注數(shù)據(jù)包括樣本圖像的當(dāng)前標(biāo)注數(shù)據(jù)，獲取當(dāng)前標(biāo)注數(shù)據(jù)相對(duì)于樣本圖像的標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)準(zhǔn)確的比值，響應(yīng)于比值大于預(yù)定值，將待標(biāo)注圖像輸入圖片識(shí)別模型，得到自動(dòng)標(biāo)注數(shù)據(jù)，比對(duì)人工標(biāo)注數(shù)據(jù)與自動(dòng)標(biāo)注數(shù)據(jù)，得到單次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率；計(jì)算多次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率與預(yù)設(shè)的平均標(biāo)注準(zhǔn)確率的方差；基于方差，確定向標(biāo)注賬戶下發(fā)的樣本圖像數(shù)量和/或確定適于標(biāo)注賬戶標(biāo)注的圖像類型，因此檢測(cè)標(biāo)注結(jié)果的效率和準(zhǔn)確率較高。
【專利說(shuō)明】
監(jiān)控圖像標(biāo)注質(zhì)量的方法和裝置
技術(shù)領(lǐng)域
[0001] 本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及監(jiān)控圖像標(biāo)注 質(zhì)量的方法和裝置。
【背景技術(shù)】
[0002] 在識(shí)別圖像的過(guò)程中，通常需要大量人工標(biāo)注的圖像作為輸入數(shù)據(jù)以訓(xùn)練圖像識(shí) 別模型。然而，當(dāng)需要人工標(biāo)注的圖像的數(shù)量較多時(shí)，可能會(huì)有部分標(biāo)注人員為了盡快完成 標(biāo)注任務(wù)額度，會(huì)在標(biāo)注的過(guò)程中胡亂標(biāo)注一些圖像，因此在訓(xùn)練圖像識(shí)別模型之前，需要 對(duì)標(biāo)注人員的標(biāo)注數(shù)據(jù)進(jìn)行審核。
[0003] 目前，在對(duì)標(biāo)注人員的標(biāo)注數(shù)據(jù)進(jìn)行審核時(shí)，采用人工作業(yè)來(lái)完成審核，因此審核 的人力成本較高，并且審核的效率和準(zhǔn)確率較低。

【發(fā)明內(nèi)容】

[0004] 本申請(qǐng)的目的在于提出一種改進(jìn)的監(jiān)控圖像標(biāo)注質(zhì)量的方法和裝置，來(lái)解決以上
【背景技術(shù)】部分提到的技術(shù)問(wèn)題。
[0005] 第一方面，本申請(qǐng)?zhí)峁┝艘环N監(jiān)控圖像標(biāo)注質(zhì)量的方法，所述方法包括:執(zhí)行獲取 步驟獲取單次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率，所述獲取步驟包括：向標(biāo)注賬戶下發(fā)待標(biāo)注圖像， 所述待標(biāo)注圖像包括預(yù)定比例的樣本圖像，獲取對(duì)所述待標(biāo)注圖像的人工標(biāo)注數(shù)據(jù)，所述 人工標(biāo)注數(shù)據(jù)包括樣本圖像的當(dāng)前標(biāo)注數(shù)據(jù)，獲取所述當(dāng)前標(biāo)注數(shù)據(jù)相對(duì)于樣本圖像的標(biāo) 準(zhǔn)標(biāo)注數(shù)據(jù)準(zhǔn)確的比值，響應(yīng)于所述比值大于預(yù)定值，將所述待標(biāo)注圖像輸入圖片識(shí)別模 型，得到自動(dòng)標(biāo)注數(shù)據(jù)，比對(duì)所述人工標(biāo)注數(shù)據(jù)和所述自動(dòng)標(biāo)注數(shù)據(jù)，得到單次任務(wù)的標(biāo)注 數(shù)據(jù)的準(zhǔn)確率;計(jì)算多次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率與預(yù)設(shè)的平均標(biāo)注準(zhǔn)確率的方差;基于 所述方差，確定向所述標(biāo)注賬戶下發(fā)的樣本圖像數(shù)量和/或確定適于所述標(biāo)注賬戶標(biāo)注的 圖像類型。
[0006] 在一些實(shí)施例中，所述方法還包括:響應(yīng)于所述比值大于預(yù)定值，提取所述人工標(biāo) 注數(shù)據(jù)以及所述人工標(biāo)注數(shù)據(jù)中每一個(gè)標(biāo)注數(shù)據(jù)的圖像特征;根據(jù)從多個(gè)標(biāo)注賬戶的多次 任務(wù)中提取的人工標(biāo)注數(shù)據(jù)以及圖像特征，訓(xùn)練所述圖片識(shí)別模型。
[0007] 在一些實(shí)施例中，所述計(jì)算所述標(biāo)注數(shù)據(jù)的準(zhǔn)確率與預(yù)設(shè)的平均標(biāo)注準(zhǔn)確率的方 差包括:通過(guò)以下公式確定所述方差
；其中，σ表示標(biāo) 準(zhǔn)差，D(X)表示方差，Xl表示第i次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率，Ε(Χ)表示預(yù)設(shè)的平均標(biāo)注準(zhǔn) 確率，Pl表示第i次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率出現(xiàn)的概率，η表示所有任務(wù)的數(shù)量。
[0008] 在一些實(shí)施例中，所述方法還包括:抽取已核定標(biāo)注數(shù)據(jù)的圖像作為所述樣本圖 像，并將所述已核定標(biāo)注數(shù)據(jù)作為所述標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)。
[0009] 在一些實(shí)施例中，所述樣本圖像包括以下一項(xiàng)或多項(xiàng):未標(biāo)注的圖像、部分標(biāo)注的 圖像和附有錯(cuò)誤標(biāo)注的圖像。
[0010] 在一些實(shí)施例中，所述方法還包括：向多個(gè)標(biāo)注賬戶下發(fā)同一張待標(biāo)注圖像;從所 述多個(gè)標(biāo)注賬戶獲取對(duì)所述同一張待標(biāo)注圖像的標(biāo)注數(shù)據(jù)；比對(duì)獲取的標(biāo)注數(shù)據(jù)是否相 同，并獲取相同的標(biāo)注數(shù)據(jù)占獲取的標(biāo)注數(shù)據(jù)的百分比；響應(yīng)于所述百分比高于預(yù)定值，根 據(jù)每個(gè)標(biāo)注賬戶的對(duì)所述同一張待標(biāo)注圖像的標(biāo)注數(shù)據(jù)與所述相同的標(biāo)注數(shù)據(jù)是否一致， 確定下發(fā)的樣本圖像數(shù)量和/或確定適于所述標(biāo)注賬戶標(biāo)注的圖像類型。
[0011] 在一些實(shí)施例中，所述方法還包括:若已標(biāo)注的圖像為視頻切割的圖像，比對(duì)相鄰 的兩個(gè)視頻中在先視頻的末幀圖像的標(biāo)注數(shù)據(jù)與在后視頻的首幀圖像的標(biāo)注數(shù)據(jù)是否一 致;若不一致，呈現(xiàn)提示標(biāo)注數(shù)據(jù)不一致的信息。
[0012] 在一些實(shí)施例中，所述向標(biāo)注賬戶下發(fā)待標(biāo)注圖像包括:根據(jù)待標(biāo)注圖像的數(shù)量 和所述標(biāo)注賬戶的標(biāo)注數(shù)據(jù)的歷史準(zhǔn)確率，向標(biāo)注賬戶下發(fā)待標(biāo)注圖像。
[0013] 第二方面，本申請(qǐng)?zhí)峁┝艘环N監(jiān)控圖像標(biāo)注質(zhì)量的裝置，所述裝置包括:準(zhǔn)確率獲 取模塊，用于執(zhí)行獲取步驟獲取單次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率，所述獲取步驟包括：向標(biāo)注 賬戶下發(fā)待標(biāo)注圖像，所述待標(biāo)注圖像包括預(yù)定比例的樣本圖像，獲取對(duì)所述待標(biāo)注圖像 的人工標(biāo)注數(shù)據(jù)，所述人工標(biāo)注數(shù)據(jù)包括樣本圖像的當(dāng)前標(biāo)注數(shù)據(jù)，獲取所述當(dāng)前標(biāo)注數(shù) 據(jù)相對(duì)于樣本圖像的標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)準(zhǔn)確的比值，響應(yīng)于所述比值大于預(yù)定值，將所述待標(biāo) 注圖像輸入圖片識(shí)別模型，得到自動(dòng)標(biāo)注數(shù)據(jù)，比對(duì)所述人工標(biāo)注數(shù)據(jù)和所述自動(dòng)標(biāo)注數(shù) 據(jù)，得到單次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率;方差計(jì)算模塊，用于計(jì)算多次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn) 確率與預(yù)設(shè)的平均標(biāo)注準(zhǔn)確率的方差;樣本圖像確定模塊，用于基于所述方差，確定向所述 標(biāo)注賬戶下發(fā)的樣本圖像數(shù)量和/或確定適于所述標(biāo)注賬戶標(biāo)注的圖像類型。
[0014] 在一些實(shí)施例中，所述裝置還包括:圖像特征提取模塊，用于響應(yīng)于所述比值大于 預(yù)定值，提取所述人工標(biāo)注數(shù)據(jù)以及所述人工標(biāo)注數(shù)據(jù)中每一個(gè)標(biāo)注數(shù)據(jù)的圖像特征;模 型訓(xùn)練模塊，用于根據(jù)從多個(gè)標(biāo)注賬戶的多次任務(wù)中提取的人工標(biāo)注數(shù)據(jù)以及圖像特征， 訓(xùn)練所述圖片識(shí)別模型。
[0015] 在一些實(shí)施例中，所述方差計(jì)算模塊進(jìn)一步用于:通過(guò)以下公式確定所述方差：
[0016]
[0017] 其中，σ表示標(biāo)準(zhǔn)差，
D(X)表示方差，Xl表示第i次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率，E(X) 表示預(yù)設(shè)的平均標(biāo)注準(zhǔn)確率， Pl表示第i次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率出現(xiàn)的概率，η表示所 有任務(wù)的數(shù)量。
[0018] 在一些實(shí)施例中，所述裝置還包括:標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)確定模塊，用于抽取已核定標(biāo)注 數(shù)據(jù)的圖像作為所述樣本圖像，并將所述已核定標(biāo)注數(shù)據(jù)作為所述標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)。
[0019] 在一些實(shí)施例中，所述準(zhǔn)確率獲取模塊下發(fā)的所述樣本圖像包括以下一項(xiàng)或多 項(xiàng):未標(biāo)注的圖像、部分標(biāo)注的圖像和附有錯(cuò)誤標(biāo)注的圖像。
[0020] 在一些實(shí)施例中，所述裝置還包括:同一圖像下發(fā)模塊，用于向多個(gè)標(biāo)注賬戶下發(fā) 同一張待標(biāo)注圖像；同一圖像標(biāo)注數(shù)據(jù)獲取模塊，用于從所述多個(gè)標(biāo)注賬戶獲取對(duì)所述同 一張待標(biāo)注圖像的標(biāo)注數(shù)據(jù);相同標(biāo)注數(shù)據(jù)獲取模塊，用于比對(duì)獲取的標(biāo)注數(shù)據(jù)是否相同， 并獲取相同的標(biāo)注數(shù)據(jù)占獲取的標(biāo)注數(shù)據(jù)的百分比；確定樣本圖像模塊，用于響應(yīng)于所述 百分比高于預(yù)定值，根據(jù)每個(gè)標(biāo)注賬戶的對(duì)所述同一張待標(biāo)注圖像的標(biāo)注數(shù)據(jù)與所述相同 的標(biāo)注數(shù)據(jù)是否一致，確定下發(fā)的樣本圖像數(shù)量和/或確定適于所述標(biāo)注賬戶標(biāo)注的圖像 類型。
[0021] 在一些實(shí)施例中，所述裝置還包括:切割視頻比對(duì)模塊，用于若已標(biāo)注的圖像為視 頻切割的圖像，比對(duì)相鄰的兩個(gè)視頻中在先視頻的末幀圖像的標(biāo)注數(shù)據(jù)與在后視頻的首幀 圖像的標(biāo)注數(shù)據(jù)是否一致;提示信息呈現(xiàn)模塊，用于若所述比對(duì)的結(jié)果不一致，呈現(xiàn)提示標(biāo) 注數(shù)據(jù)不一致的信息。
[0022] 在一些實(shí)施例中，所述準(zhǔn)確率獲取模塊進(jìn)一步用于:根據(jù)待標(biāo)注圖像的數(shù)量和所 述標(biāo)注賬戶的標(biāo)注數(shù)據(jù)的歷史準(zhǔn)確率，向標(biāo)注賬戶下發(fā)待標(biāo)注圖像。
[0023] 本申請(qǐng)?zhí)峁┑谋O(jiān)控圖像標(biāo)注質(zhì)量的方法和裝置，通過(guò)執(zhí)行獲取步驟獲取單次任務(wù) 的標(biāo)注數(shù)據(jù)的準(zhǔn)確率:在向標(biāo)注賬戶下發(fā)的待標(biāo)注圖像中包括預(yù)定比例的樣本圖像，響應(yīng) 于樣本圖像的當(dāng)前標(biāo)注數(shù)據(jù)與標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)準(zhǔn)確的比值大于預(yù)定值，將待標(biāo)注圖像輸入圖 片識(shí)別模型得到自動(dòng)標(biāo)注數(shù)據(jù)，比對(duì)人工標(biāo)注數(shù)據(jù)和自動(dòng)標(biāo)注數(shù)據(jù)，得到單次任務(wù)的標(biāo)注 數(shù)據(jù)的準(zhǔn)確率，而后計(jì)算多次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率與預(yù)設(shè)的平均標(biāo)注準(zhǔn)確率的方差， 最后基于多次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率與平均標(biāo)注準(zhǔn)確率的方差，確定向標(biāo)注賬戶下發(fā)的 樣本圖像數(shù)量和/或確定適于標(biāo)注賬戶標(biāo)注的圖像類型，從而降低了對(duì)標(biāo)注賬戶的標(biāo)注數(shù) 據(jù)進(jìn)行審核的人力成本，并且檢測(cè)標(biāo)注結(jié)果的效率和準(zhǔn)確率較高。
【附圖說(shuō)明】
[0024] 通過(guò)閱讀參照以下附圖所作的對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本申請(qǐng)的其它 特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯：
[0025] 圖1是本申請(qǐng)可以應(yīng)用于其中的示例性系統(tǒng)架構(gòu)圖；
[0026] 圖2是根據(jù)本申請(qǐng)的監(jiān)控圖像標(biāo)注質(zhì)量的方法的一個(gè)實(shí)施例的流程圖；
[0027] 圖3是根據(jù)本申請(qǐng)的圖2中的獲取單次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率的方法的一個(gè)實(shí) 施例的流程圖；
[0028] 圖4是根據(jù)本申請(qǐng)的監(jiān)控圖像標(biāo)注質(zhì)量的方法的一個(gè)應(yīng)用場(chǎng)景的示意圖；
[0029] 圖5是根據(jù)本申請(qǐng)的監(jiān)控圖像標(biāo)注質(zhì)量的裝置的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖；
[0030] 圖6是適于用來(lái)實(shí)現(xiàn)本申請(qǐng)實(shí)施例的終端設(shè)備或服務(wù)器的計(jì)算機(jī)系統(tǒng)的結(jié)構(gòu)示意 圖。
【具體實(shí)施方式】
[0031] 下面結(jié)合附圖和實(shí)施例對(duì)本申請(qǐng)作進(jìn)一步的詳細(xì)說(shuō)明?？梢岳斫獾氖牵颂幩?述的具體實(shí)施例僅僅用于解釋相關(guān)發(fā)明，而非對(duì)該發(fā)明的限定。另外還需要說(shuō)明的是，為了 便于描述，附圖中僅示出了與有關(guān)發(fā)明相關(guān)的部分。
[0032]需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相 互組合。下面將參考附圖并結(jié)合實(shí)施例來(lái)詳細(xì)說(shuō)明本申請(qǐng)。
[0033] 圖1示出了可以應(yīng)用本申請(qǐng)的監(jiān)控圖像標(biāo)注質(zhì)量的方法或監(jiān)控圖像標(biāo)注質(zhì)量的裝 置的實(shí)施例的示例性系統(tǒng)架構(gòu)100。
[0034] 如圖1所示，系統(tǒng)架構(gòu)100可以包括終端設(shè)備101、102、103,網(wǎng)絡(luò)104和服務(wù)器105、 106。網(wǎng)絡(luò)104用以在終端設(shè)備101、102、103和服務(wù)器105、106之間提供通信鏈路的介質(zhì)。網(wǎng) 絡(luò)104可以包括各種連接類型，例如有線、無(wú)線通信鏈路或者光纖電纜等等。
[0035] 用戶110可以使用終端設(shè)備101、102、103通過(guò)網(wǎng)絡(luò)104與服務(wù)器105、106交互，以接 收待標(biāo)注圖像或發(fā)送附有標(biāo)注數(shù)據(jù)的圖像等。終端設(shè)備101、102、103上可以安裝有各種客 戶端應(yīng)用，例如圖像標(biāo)注類應(yīng)用、搜索類應(yīng)用、即時(shí)通信工具、郵箱客戶端、社交平臺(tái)軟件 等。
[0036] 終端設(shè)備101、102、103可以是具有顯示屏并且支持圖像標(biāo)注的各種電子設(shè)備，包 括但不限于智能手機(jī)、平板電腦、電子書(shū)閱讀器、膝上型便攜計(jì)算機(jī)和臺(tái)式計(jì)算機(jī)等等。 [0037] 服務(wù)器105、106可以是提供各種服務(wù)的服務(wù)器，例如對(duì)終端設(shè)備101、102、103上顯 示的待標(biāo)注圖像、附有標(biāo)注數(shù)據(jù)的圖像等進(jìn)行管理的后臺(tái)服務(wù)器。后臺(tái)服務(wù)器可以對(duì)接收 到的附有標(biāo)注數(shù)據(jù)的圖像等數(shù)據(jù)進(jìn)行分析等處理，并將處理結(jié)果(例如之后下發(fā)的待標(biāo)注 圖像)反饋給終端設(shè)備。
[0038]需要說(shuō)明的是，本申請(qǐng)實(shí)施例所提供的監(jiān)控圖像標(biāo)注質(zhì)量的方法一般由服務(wù)器 105、106執(zhí)行，相應(yīng)地，監(jiān)控圖像標(biāo)注質(zhì)量的裝置一般設(shè)置于服務(wù)器105、106中。
[0039] 應(yīng)該理解，圖1中的終端設(shè)備、網(wǎng)絡(luò)和服務(wù)器的數(shù)目?jī)H僅是示意性的。根據(jù)實(shí)現(xiàn)需 要，可以具有任意數(shù)目的終端設(shè)備、網(wǎng)絡(luò)和服務(wù)器。
[0040] 繼續(xù)參考圖2,示出了根據(jù)本申請(qǐng)的監(jiān)控圖像標(biāo)注質(zhì)量的方法的一個(gè)實(shí)施例的流 程200。所述的監(jiān)控圖像標(biāo)注質(zhì)量的方法200,包括以下步驟：
[0041 ]在步驟210中，執(zhí)行獲取步驟獲取單次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率。
[0042]請(qǐng)參考圖3,圖3示出了上述步驟210執(zhí)行獲取步驟獲取單次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn) 確率的流程圖。在圖3中，上述的步驟210包括步驟2101、2102、2103、2104和步驟2105。
[0043]其中，在步驟2101中，向標(biāo)注賬戶下發(fā)待標(biāo)注圖像，待標(biāo)注圖像包括預(yù)定比例的樣 本圖像。
[0044] 在這里，標(biāo)注賬戶是標(biāo)注人員領(lǐng)取待標(biāo)注圖像以及提交附有標(biāo)注數(shù)據(jù)的圖像的賬 戶，其使用者可以為個(gè)人，也可以為標(biāo)注人員群體。樣本圖像是指已經(jīng)具有標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)的 圖像，樣本圖像的來(lái)源，可以是從樣本庫(kù)中獲得的圖像，也可以是已核定標(biāo)注數(shù)據(jù)的圖像。
[0045] 可選地，向標(biāo)注賬戶下發(fā)待標(biāo)注圖像包括:根據(jù)待標(biāo)注圖像的數(shù)量和標(biāo)注賬戶的 標(biāo)注數(shù)據(jù)的歷史準(zhǔn)確率，向標(biāo)注賬戶下發(fā)待標(biāo)注圖像。
[0046] 可選地，樣本圖像可以包括以下一項(xiàng)或多項(xiàng):未標(biāo)注的圖像、部分標(biāo)注的圖像和附 有錯(cuò)誤標(biāo)注的圖像。
[0047] 在這里，若樣本圖像為未標(biāo)注的圖像，則可以檢測(cè)用戶標(biāo)注數(shù)據(jù)相對(duì)于標(biāo)準(zhǔn)標(biāo)注 數(shù)據(jù)的準(zhǔn)確程度，從而確定該標(biāo)注賬戶是否作弊;若樣本圖像為部分標(biāo)注的圖像(例如使用 圖像識(shí)別模型自動(dòng)標(biāo)注了部分標(biāo)注數(shù)據(jù)的圖像），則可以根據(jù)用戶是否標(biāo)注未標(biāo)注區(qū)域判 斷用戶是否作弊;若樣本圖像為附有錯(cuò)誤標(biāo)注的圖像，則可以根據(jù)用戶是否去除錯(cuò)誤標(biāo)注 區(qū)域判斷用戶是否作弊。
[0048] 在步驟2102中，獲取對(duì)待標(biāo)注圖像的人工標(biāo)注數(shù)據(jù)，人工標(biāo)注數(shù)據(jù)包括樣本圖像 的當(dāng)前標(biāo)注數(shù)據(jù)。
[0049] 在這里，基于步驟2101向標(biāo)注賬戶下發(fā)的待標(biāo)注圖像，可以獲取標(biāo)注賬戶提交的 對(duì)待標(biāo)注圖像的人工標(biāo)注數(shù)據(jù)。
[0050] 在步驟2103中，獲取當(dāng)前標(biāo)注數(shù)據(jù)相對(duì)于樣本圖像的標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)準(zhǔn)確的比值。
[0051] 在這里，在獲取當(dāng)前標(biāo)注數(shù)據(jù)相對(duì)于樣本圖像的標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)準(zhǔn)確的比值時(shí)，可 以首先獲取當(dāng)前標(biāo)注數(shù)據(jù)相對(duì)于標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)準(zhǔn)確的數(shù)量，之后使用準(zhǔn)確的數(shù)量除以標(biāo)準(zhǔn) 標(biāo)注數(shù)據(jù)的數(shù)量，得到上述準(zhǔn)確的比值。
[0052]可選地，上述監(jiān)控圖像標(biāo)注質(zhì)量的方法還包括:抽取已核定標(biāo)注數(shù)據(jù)的圖像作為 樣本圖像，將已核定標(biāo)注數(shù)據(jù)作為標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)。
[0053]在步驟2104中，響應(yīng)于比值大于預(yù)定值，將所述待標(biāo)注圖像輸入圖片識(shí)別模型，得 到自動(dòng)標(biāo)注數(shù)據(jù)。
[0054]在這里，基于步驟2103中得到的準(zhǔn)確的比值大于預(yù)定值，推定標(biāo)注賬戶人工標(biāo)注 數(shù)據(jù)的準(zhǔn)確率較高，從而可以將標(biāo)注賬戶單次任務(wù)的人工標(biāo)注數(shù)據(jù)輸入圖片識(shí)別模型，反 推單次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率。
[0055] 這里的圖片識(shí)別模型，可以是預(yù)先訓(xùn)練好的供監(jiān)控圖像標(biāo)注質(zhì)量的方法使用的模 型，也可以是使用步驟2101至2103中得到的比值大于預(yù)定值的人工標(biāo)注數(shù)據(jù)訓(xùn)練得到的模 型。
[0056] 可選地，上述監(jiān)控圖像標(biāo)注質(zhì)量的方法還可以包括:響應(yīng)于比值大于預(yù)定值，提取 人工標(biāo)注數(shù)據(jù)以及人工標(biāo)注數(shù)據(jù)中每一個(gè)標(biāo)注數(shù)據(jù)的圖像特征;根據(jù)從多個(gè)標(biāo)注賬戶的多 次任務(wù)中提取的人工標(biāo)注數(shù)據(jù)以及圖像特征，訓(xùn)練圖片識(shí)別模型。
[0057]在步驟2105中，比對(duì)所述人工標(biāo)注數(shù)據(jù)與所述自動(dòng)標(biāo)注數(shù)據(jù)，得到單次任務(wù)的標(biāo) 注數(shù)據(jù)的準(zhǔn)確率。
[0058]在這里，在將所述待標(biāo)注圖像輸入圖片識(shí)別模型，得到自動(dòng)標(biāo)注數(shù)據(jù)之后，可以比 對(duì)所述人工標(biāo)注數(shù)據(jù)與所述自動(dòng)標(biāo)注數(shù)據(jù)，得到人工標(biāo)注數(shù)據(jù)中準(zhǔn)確的標(biāo)注數(shù)據(jù)的數(shù)量， 之后可以用準(zhǔn)確的標(biāo)注數(shù)據(jù)的數(shù)量除以人工標(biāo)注數(shù)據(jù)的數(shù)量，得到單次任務(wù)的標(biāo)注數(shù)據(jù)的 準(zhǔn)確率。
[0059]返回圖2,在步驟220中，計(jì)算多次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率與預(yù)設(shè)的平均標(biāo)注準(zhǔn) 確率的方差。
[0060] 在本實(shí)施例中，方差(variance)是在概率論和統(tǒng)計(jì)方差衡量隨機(jī)變量或一組數(shù)據(jù) 時(shí)離散程度的度量，表達(dá)了單次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率偏離均值的程度，更是揭示了單 次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率內(nèi)部彼此波動(dòng)的程度，也用于度量標(biāo)注賬戶在多次任務(wù)的提交 的標(biāo)注數(shù)據(jù)的準(zhǔn)確率的穩(wěn)定性。
[0061] 在本實(shí)施例的一些可選實(shí)現(xiàn)方式中，計(jì)算標(biāo)注數(shù)據(jù)的準(zhǔn)確率與預(yù)設(shè)的平均標(biāo)注準(zhǔn) 確率的方差可以包括：
[0062] 通過(guò)以下公式確定方差：
[0063]
[0064] 其中，σ表示標(biāo)準(zhǔn)差，D(X)表示方差，Xi表示第i次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率，E(X) 表示預(yù)設(shè)的平均標(biāo)注準(zhǔn)確率，Pl表示第i次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率出現(xiàn)的概率，η表示所 有任務(wù)的數(shù)量。
[0065] 示例性的，離散概率方差的計(jì)算方法如下:預(yù)先假設(shè)所有標(biāo)注人員平均標(biāo)注準(zhǔn)確 率98%，可能絕大多數(shù)的標(biāo)注質(zhì)量在95%~100% (質(zhì)量穩(wěn)定），也可能其中某些人標(biāo)注質(zhì)量 很高，準(zhǔn)確率約在100%，而某些人標(biāo)注質(zhì)量很差，準(zhǔn)確率約在50%，因此，通過(guò)考察各個(gè)標(biāo) 注人員與平均標(biāo)注準(zhǔn)確率98%的方差大小，就可以考察標(biāo)注人員的標(biāo)注質(zhì)量。
[0066] 步驟230,基于方差，確定向標(biāo)注賬戶下發(fā)的樣本圖像數(shù)量和/或確定適于標(biāo)注賬 戶標(biāo)注的圖像類型。
[0067] 在本實(shí)施例中，可以基于方差確定標(biāo)注賬戶的標(biāo)注質(zhì)量和標(biāo)注數(shù)據(jù)的準(zhǔn)確率的穩(wěn) 定性，從而調(diào)節(jié)與標(biāo)注賬戶之間的合作關(guān)系。例如，如果方差很小，則表示該標(biāo)注賬戶的標(biāo) 注人員質(zhì)量穩(wěn)定，發(fā)放的樣本圖像就少，如果方差很大，則質(zhì)量較差，需要重點(diǎn)考察，發(fā)放的 樣本圖像比例就會(huì)很大，當(dāng)樣本圖像的比例超過(guò)一定數(shù)量后，取消該標(biāo)注賬戶的標(biāo)注人員 的標(biāo)注資格。
[0068] 在本實(shí)施例的一些可選實(shí)現(xiàn)方式中，上述監(jiān)控圖像標(biāo)注質(zhì)量的方法還可以包括： 向多個(gè)標(biāo)注賬戶下發(fā)同一張待標(biāo)注圖像;從多個(gè)標(biāo)注賬戶獲取對(duì)同一張待標(biāo)注圖像的標(biāo)注 數(shù)據(jù);比對(duì)獲取的標(biāo)注數(shù)據(jù)是否相同，并獲取相同的標(biāo)注數(shù)據(jù)占獲取的標(biāo)注數(shù)據(jù)的百分比； 響應(yīng)于百分比高于預(yù)定值，根據(jù)每個(gè)標(biāo)注賬戶的對(duì)同一張待標(biāo)注圖像的標(biāo)注數(shù)據(jù)與相同的 標(biāo)注數(shù)據(jù)是否一致，確定下發(fā)的樣本圖像數(shù)量和/或確定適于標(biāo)注賬戶標(biāo)注的圖像類型。
[0069] 在本實(shí)施例的一些可選實(shí)現(xiàn)方式中，上述監(jiān)控圖像標(biāo)注質(zhì)量的方法還可以包括： 若已標(biāo)注的圖像為視頻切割的圖像，比對(duì)相鄰的兩個(gè)視頻中在先視頻的末幀圖像的標(biāo)注數(shù) 據(jù)與在后視頻的首幀圖像的標(biāo)注數(shù)據(jù)是否一致;若不一致，呈現(xiàn)提示標(biāo)注數(shù)據(jù)不一致的信 息。
[0070] 繼續(xù)參見(jiàn)圖4,圖4是根據(jù)本實(shí)施例的監(jiān)控圖像標(biāo)注質(zhì)量的方法的應(yīng)用場(chǎng)景的一個(gè) 示意圖。在圖4的應(yīng)用場(chǎng)景中，監(jiān)控圖像標(biāo)注質(zhì)量的方法包括以下步驟：
[0071] 在步驟401中，將預(yù)先標(biāo)注的圖像或抽取一定量已經(jīng)審核通過(guò)的圖像作為樣本庫(kù)， 之后執(zhí)行步驟402;
[0072] 在步驟402中，根據(jù)實(shí)際待標(biāo)注圖像的數(shù)量，以及標(biāo)注賬戶標(biāo)注質(zhì)量的穩(wěn)定性，抽 取預(yù)定數(shù)量的樣本圖像，之后執(zhí)行步驟403;
[0073] 在步驟403中，將抽取出的樣本圖像混合在實(shí)際需要標(biāo)注的圖像中發(fā)放給標(biāo)注人 員標(biāo)注，之后執(zhí)行步驟404;
[0074] 在步驟404中，對(duì)比標(biāo)注人員手工標(biāo)注數(shù)據(jù)與樣本標(biāo)注數(shù)據(jù)之間的差異，確定該標(biāo) 注賬戶是否作弊，之后執(zhí)行步驟406;
[0075] 在步驟405中，預(yù)先將多次任務(wù)得到的所有標(biāo)注數(shù)據(jù)作為數(shù)據(jù)訓(xùn)練集發(fā)放給圖像 識(shí)別模型進(jìn)行圖片識(shí)別模型訓(xùn)練，之后將圖片識(shí)別模型用于步驟406;
[0076] 在步驟406中，在圖像識(shí)別模型完備后輸入上述實(shí)際需要標(biāo)注的圖像，之后執(zhí)行步 驟407;
[0077]在步驟407中，圖像識(shí)別模型輸出自動(dòng)標(biāo)注數(shù)據(jù)，之后執(zhí)行步驟408;
[0078]在步驟408中，比對(duì)人工標(biāo)注數(shù)據(jù)與自動(dòng)標(biāo)注數(shù)據(jù)，計(jì)算出單次任務(wù)的標(biāo)注數(shù)據(jù)的 準(zhǔn)確率，之后執(zhí)行步驟409;
[0079] 在步驟409中，根據(jù)多組任務(wù)計(jì)算該人員的標(biāo)注數(shù)據(jù)的準(zhǔn)確率以及離散方差，根據(jù) 方差值大小判斷質(zhì)量穩(wěn)定性，之后執(zhí)行步驟402。
[0080] 本申請(qǐng)的上述實(shí)施例提供的方法基于多次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率與平均標(biāo)注 準(zhǔn)確率的方差，確定向標(biāo)注賬戶下發(fā)的樣本圖像數(shù)量和/或確定適于所述標(biāo)注賬戶標(biāo)注的 圖像類型，從而降低了對(duì)標(biāo)注賬戶的標(biāo)注數(shù)據(jù)進(jìn)行審核的人力成本，并且檢測(cè)標(biāo)注結(jié)果的 效率和準(zhǔn)確率較高。
[0081] 進(jìn)一步參考圖5,作為對(duì)上述各圖所示方法的實(shí)現(xiàn)，本申請(qǐng)?zhí)峁┝艘环N監(jiān)控圖像標(biāo) 注質(zhì)量的裝置的一個(gè)實(shí)施例，該裝置實(shí)施例與圖2所示的方法實(shí)施例相對(duì)應(yīng)，該裝置具體可 以應(yīng)用于各種電子設(shè)備中。
[0082] 如圖5所示，本實(shí)施例的監(jiān)控圖像標(biāo)注質(zhì)量的裝置500包括:準(zhǔn)確率獲取模塊510、 方差計(jì)算模塊520和樣本圖像確定模塊530。其中，準(zhǔn)確率獲取模塊510,用于執(zhí)行獲取步驟 獲取單次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率，獲取步驟包括：向標(biāo)注賬戶下發(fā)待標(biāo)注圖像，待標(biāo)注圖 像包括預(yù)定比例的樣本圖像，獲取對(duì)待標(biāo)注圖像的人工標(biāo)注數(shù)據(jù)，人工標(biāo)注數(shù)據(jù)包括樣本 圖像的當(dāng)前標(biāo)注數(shù)據(jù)，獲取當(dāng)前標(biāo)注數(shù)據(jù)相對(duì)于樣本圖像的標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)準(zhǔn)確的比值，響 應(yīng)于比值大于預(yù)定值，將待標(biāo)注圖像輸入圖片識(shí)別模型，得到自動(dòng)標(biāo)注數(shù)據(jù)，比對(duì)人工標(biāo)注 數(shù)據(jù)與自動(dòng)標(biāo)注數(shù)據(jù)，得到單次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率;方差計(jì)算模塊520,用于計(jì)算多 次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率與預(yù)設(shè)的平均標(biāo)注準(zhǔn)確率的方差;樣本圖像確定模塊530,用于 基于方差，確定向標(biāo)注賬戶下發(fā)的樣本圖像數(shù)量和/或確定適于標(biāo)注賬戶標(biāo)注的圖像類型。
[0083] 本實(shí)施例的一些可選實(shí)現(xiàn)方式中，裝置還包括:圖像特征提取模塊（圖中未示出）， 用于響應(yīng)于比值大于預(yù)定值，提取人工標(biāo)注數(shù)據(jù)以及人工標(biāo)注數(shù)據(jù)中每一個(gè)標(biāo)注數(shù)據(jù)的圖 像特征;模型訓(xùn)練模塊（圖中未示出），用于根據(jù)從多個(gè)標(biāo)注賬戶的多次任務(wù)中提取的人工 標(biāo)注數(shù)據(jù)以及圖像特征，訓(xùn)練圖片識(shí)別模型。
[0084] 本實(shí)施例的一些可選實(shí)現(xiàn)方式中，方差計(jì)算模塊520進(jìn)一步用于:通過(guò)以下公式確 定方差：
[0085]
[0086] 其中，σ表示標(biāo)準(zhǔn)差，D(X)表示方差，Xi表示第i次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率，E(X) 表示預(yù)設(shè)的平均標(biāo)注準(zhǔn)確率， Pl表示第i次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率出現(xiàn)的概率，η表示所 有任務(wù)的數(shù)量。
[0087] 本實(shí)施例的一些可選實(shí)現(xiàn)方式中，裝置還包括:標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)確定模塊(圖中未示 出），用于抽取已核定標(biāo)注數(shù)據(jù)的圖像作為樣本圖像，并將已核定標(biāo)注數(shù)據(jù)作為標(biāo)準(zhǔn)標(biāo)注數(shù) 據(jù)。
[0088] 本實(shí)施例的一些可選實(shí)現(xiàn)方式中，準(zhǔn)確率獲取模塊510下發(fā)的樣本圖像包括以下 一項(xiàng)或多項(xiàng):未標(biāo)注的圖像、部分標(biāo)注的圖像和附有錯(cuò)誤標(biāo)注的圖像。
[0089] 本實(shí)施例的一些可選實(shí)現(xiàn)方式中，裝置還包括:同一圖像下發(fā)模塊（圖中未示出）， 用于向多個(gè)標(biāo)注賬戶下發(fā)同一張待標(biāo)注圖像；同一圖像標(biāo)注數(shù)據(jù)獲取模塊（圖中未示出）， 用于從多個(gè)標(biāo)注賬戶獲取對(duì)同一張待標(biāo)注圖像的標(biāo)注數(shù)據(jù);相同標(biāo)注數(shù)據(jù)獲取模塊（圖中 未示出），用于比對(duì)獲取的標(biāo)注數(shù)據(jù)是否相同，并獲取相同的標(biāo)注數(shù)據(jù)占獲取的標(biāo)注數(shù)據(jù)的 百分比；確定樣本圖像模塊(圖中未示出），用于響應(yīng)于百分比高于預(yù)定值，根據(jù)每個(gè)標(biāo)注賬 戶的對(duì)同一張待標(biāo)注圖像的標(biāo)注數(shù)據(jù)與相同的標(biāo)注數(shù)據(jù)是否一致，確定下發(fā)的樣本圖像數(shù) 量和/或確定適于標(biāo)注賬戶標(biāo)注的圖像類型。
[0090] 本實(shí)施例的一些可選實(shí)現(xiàn)方式中，裝置還包括:切割視頻比對(duì)模塊（圖中未示出）， 用于若已標(biāo)注的圖像為視頻切割的圖像，比對(duì)相鄰的兩個(gè)視頻中在先視頻的末幀圖像的標(biāo) 注數(shù)據(jù)與在后視頻的首幀圖像的標(biāo)注數(shù)據(jù)是否一致;提示信息呈現(xiàn)模塊（圖中未示出），用 于若比對(duì)的結(jié)果不一致，呈現(xiàn)提示標(biāo)注數(shù)據(jù)不一致的信息。
[0091] 本實(shí)施例的一些可選實(shí)現(xiàn)方式中，準(zhǔn)確率獲取模塊510進(jìn)一步用于:根據(jù)待標(biāo)注圖 像的數(shù)量和標(biāo)注賬戶的標(biāo)注數(shù)據(jù)的歷史準(zhǔn)確率，向標(biāo)注賬戶下發(fā)待標(biāo)注圖像。
[0092]本領(lǐng)域技術(shù)人員可以理解，上述監(jiān)控圖像標(biāo)注質(zhì)量的裝置500還包括一些其他公 知結(jié)構(gòu)，例如處理器、存儲(chǔ)器等，為了不必要地模糊本公開(kāi)的實(shí)施例，這些公知的結(jié)構(gòu)在圖5 中未示出。
[0093] 應(yīng)當(dāng)理解，裝置500中記載的諸單元與參考圖2描述的方法中的各個(gè)步驟相對(duì)應(yīng)。 由此，上文針對(duì)監(jiān)控圖像標(biāo)注質(zhì)量的方法描述的操作和特征同樣適用于裝置500及其中包 含的單元，在此不再贅述。裝置500中的相應(yīng)單元可以與終端設(shè)備和/或服務(wù)器中的單元相 互配合以實(shí)現(xiàn)本申請(qǐng)實(shí)施例的方案。
[0094] 下面參考圖6,其示出了適于用來(lái)實(shí)現(xiàn)本申請(qǐng)實(shí)施例的終端設(shè)備或服務(wù)器的計(jì)算 機(jī)系統(tǒng)600的結(jié)構(gòu)示意圖。
[0095]如圖6所示，計(jì)算機(jī)系統(tǒng)600包括中央處理單元(CPU)601，其可以根據(jù)存儲(chǔ)在只讀 存儲(chǔ)器(R0M)602中的程序或者從存儲(chǔ)部分608加載到隨機(jī)訪問(wèn)存儲(chǔ)器(RAM)603中的程序而 執(zhí)行各種適當(dāng)?shù)膭?dòng)作和處理。在RAM 603中，還存儲(chǔ)有系統(tǒng)600操作所需的各種程序和數(shù)據(jù)。 CPU 601、R0M 602以及RAM 603通過(guò)總線604彼此相連。輸入/輸出（I/O)接口605也連接至總 線 604。
[0096]以下部件連接至I/O接口 605:包括鍵盤(pán)、鼠標(biāo)等的輸入部分606;包括諸如陰極射 線管(CRT)、液晶顯示器(LCD)等以及揚(yáng)聲器等的輸出部分607;包括硬盤(pán)等的存儲(chǔ)部分608; 以及包括諸如LAN卡、調(diào)制解調(diào)器等的網(wǎng)絡(luò)接口卡的通信部分609。通信部分609經(jīng)由諸如因 特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。驅(qū)動(dòng)器610也根據(jù)需要連接至I/O接口 606?？刹鹦督橘|(zhì)611，諸如 磁盤(pán)、光盤(pán)、磁光盤(pán)、半導(dǎo)體存儲(chǔ)器等等，根據(jù)需要安裝在驅(qū)動(dòng)器610上，以便于從其上讀出 的計(jì)算機(jī)程序根據(jù)需要被安裝入存儲(chǔ)部分608。
[0097] 特別地，根據(jù)本公開(kāi)的實(shí)施例，上文參考流程圖描述的過(guò)程可以被實(shí)現(xiàn)為計(jì)算機(jī) 軟件程序。例如，本公開(kāi)的實(shí)施例包括一種計(jì)算機(jī)程序產(chǎn)品，其包括有形地包含在機(jī)器可讀 介質(zhì)上的計(jì)算機(jī)程序，計(jì)算機(jī)程序包含用于執(zhí)行流程圖所示的方法的程序代碼。在這樣的 實(shí)施例中，該計(jì)算機(jī)程序可以通過(guò)通信部分609從網(wǎng)絡(luò)上被下載和安裝，和/或從可拆卸介 質(zhì)611被安裝。
[0098] 附圖中的流程圖和框圖，圖示了按照本申請(qǐng)各種實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程 序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上，流程圖或框圖中的每個(gè)方框可以代 表一個(gè)模塊、程序段、或代碼的一部分，模塊、程序段、或代碼的一部分包含一個(gè)或多個(gè)用于 實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意，在有些作為替換的實(shí)現(xiàn)中，方框中所標(biāo)注 的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如，兩個(gè)接連地表示的方框?qū)嶋H上可 以基本并行地執(zhí)行，它們有時(shí)也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意 的是，框圖和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行 規(guī)定的功能或操作的專用的基于硬件的系統(tǒng)來(lái)實(shí)現(xiàn)，或者可以用專用硬件與計(jì)算機(jī)指令的 組合來(lái)實(shí)現(xiàn)。
[0099] 描述于本申請(qǐng)實(shí)施例中所涉及到的模塊可以通過(guò)軟件的方式實(shí)現(xiàn)，也可以通過(guò)硬 件的方式來(lái)實(shí)現(xiàn)。所描述的模塊也可以設(shè)置在處理器中，例如，可以描述為：一種處理器包 括準(zhǔn)確率獲取模塊、方差計(jì)算模塊和樣本圖像確定模塊。其中，這些模塊的名稱在某種情況 下并不構(gòu)成對(duì)該模塊本身的限定，例如，方差計(jì)算模塊還可以被描述為"用于計(jì)算多次任務(wù) 的標(biāo)注數(shù)據(jù)的準(zhǔn)確率與預(yù)設(shè)的平均標(biāo)注準(zhǔn)確率的方差的模塊"。
[0100] 作為另一方面，本申請(qǐng)還提供了一種非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)，該非易失性計(jì)算 機(jī)存儲(chǔ)介質(zhì)可以是上述實(shí)施例中裝置中所包含的非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì);也可以是單獨(dú) 存在，未裝配入終端中的非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)。上述非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)存儲(chǔ)有 一個(gè)或者多個(gè)程序，當(dāng)一個(gè)或者多個(gè)程序被一個(gè)設(shè)備執(zhí)行時(shí)，使得設(shè)備:執(zhí)行獲取步驟獲取 單次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率，所述獲取步驟包括：向標(biāo)注賬戶下發(fā)待標(biāo)注圖像，待標(biāo)注圖 像包括預(yù)定比例的樣本圖像，獲取對(duì)待標(biāo)注圖像的人工標(biāo)注數(shù)據(jù)，人工標(biāo)注數(shù)據(jù)包括樣本 圖像的當(dāng)前標(biāo)注數(shù)據(jù)，獲取當(dāng)前標(biāo)注數(shù)據(jù)相對(duì)于樣本圖像的標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)準(zhǔn)確的比值，響 應(yīng)于比值大于預(yù)定值，將所述待標(biāo)注圖像輸入圖片識(shí)別模型，得到自動(dòng)標(biāo)注數(shù)據(jù)，比對(duì)所述 人工標(biāo)注數(shù)據(jù)與所述自動(dòng)標(biāo)注數(shù)據(jù)，得到單次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率;計(jì)算多次任務(wù)的 標(biāo)注數(shù)據(jù)的準(zhǔn)確率與預(yù)設(shè)的平均標(biāo)注準(zhǔn)確率的方差;根據(jù)方差，確定向標(biāo)注賬戶下發(fā)的待 標(biāo)注圖像中的樣本圖像數(shù)量和/或確定適于標(biāo)注賬戶標(biāo)注的圖像類型。
[0101]以上描述僅為本申請(qǐng)的較佳實(shí)施例以及對(duì)所運(yùn)用技術(shù)原理的說(shuō)明。本領(lǐng)域技術(shù)人 員應(yīng)當(dāng)理解，本申請(qǐng)中所涉及的發(fā)明范圍，并不限于上述技術(shù)特征的特定組合而成的技術(shù) 方案，同時(shí)也應(yīng)涵蓋在不脫離發(fā)明構(gòu)思的情況下，由上述技術(shù)特征或其等同特征進(jìn)行任意 組合而形成的其它技術(shù)方案。例如上述特征與本申請(qǐng)中公開(kāi)的(但不限于)具有類似功能的 技術(shù)特征進(jìn)行互相替換而形成的技術(shù)方案。
【主權(quán)項(xiàng)】
1. 一種監(jiān)控圖像標(biāo)注質(zhì)量的方法，其特征在于，所述方法包括： 執(zhí)行獲取步驟獲取單次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率，所述獲取步驟包括：向標(biāo)注賬戶下 發(fā)待標(biāo)注圖像，所述待標(biāo)注圖像包括預(yù)定比例的樣本圖像，獲取對(duì)所述待標(biāo)注圖像的人工 標(biāo)注數(shù)據(jù)，所述人工標(biāo)注數(shù)據(jù)包括樣本圖像的當(dāng)前標(biāo)注數(shù)據(jù)，獲取所述當(dāng)前標(biāo)注數(shù)據(jù)相對(duì) 于樣本圖像的標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)準(zhǔn)確的比值，響應(yīng)于所述比值大于預(yù)定值，將所述待標(biāo)注圖像 輸入圖片識(shí)別模型，得到自動(dòng)標(biāo)注數(shù)據(jù)，比對(duì)所述人工標(biāo)注數(shù)據(jù)和所述自動(dòng)標(biāo)注數(shù)據(jù)，得到 單次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率； 計(jì)算多次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率與預(yù)設(shè)的平均標(biāo)注準(zhǔn)確率的方差； 基于所述方差，確定向所述標(biāo)注賬戶下發(fā)的樣本圖像數(shù)量和/或確定適于所述標(biāo)注賬 戶標(biāo)注的圖像類型。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括： 響應(yīng)于所述比值大于預(yù)定值，提取所述人工標(biāo)注數(shù)據(jù)W及所述人工標(biāo)注數(shù)據(jù)中每一個(gè) 標(biāo)注數(shù)據(jù)的圖像特征； 根據(jù)從多個(gè)標(biāo)注賬戶的多次任務(wù)中提取的人工標(biāo)注數(shù)據(jù)W及圖像特征，訓(xùn)練所述圖片 識(shí)別模型。3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述計(jì)算所述標(biāo)注數(shù)據(jù)的準(zhǔn)確率與預(yù)設(shè)的 平均標(biāo)注準(zhǔn)確率的方差包括： 通過(guò)W下公式確定所述方差：其中，σ表示標(biāo)準(zhǔn)差，D(X)表示方差，XI表示第i次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率，E(X)表示預(yù) 設(shè)的平均標(biāo)注準(zhǔn)確率，Pi表示第i次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率出現(xiàn)的概率，η表示所有任務(wù) 的數(shù)量。4. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括： 抽取已核定標(biāo)注數(shù)據(jù)的圖像作為所述樣本圖像，并將所述已核定標(biāo)注數(shù)據(jù)作為所述標(biāo) 準(zhǔn)標(biāo)注數(shù)據(jù)。5. 根據(jù)權(quán)利要求1-4之一所述的方法，其特征在于， 所述樣本圖像包括W下一項(xiàng)或多項(xiàng)： 未標(biāo)注的圖像、部分標(biāo)注的圖像和附有錯(cuò)誤標(biāo)注的圖像。6. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括： 向多個(gè)標(biāo)注賬戶下發(fā)同一張待標(biāo)注圖像； 從所述多個(gè)標(biāo)注賬戶獲取對(duì)所述同一張待標(biāo)注圖像的標(biāo)注數(shù)據(jù)； 比對(duì)獲取的標(biāo)注數(shù)據(jù)是否相同，并獲取相同的標(biāo)注數(shù)據(jù)占獲取的標(biāo)注數(shù)據(jù)的百分比； 響應(yīng)于所述百分比高于預(yù)定值，根據(jù)每個(gè)標(biāo)注賬戶的對(duì)所述同一張待標(biāo)注圖像的標(biāo)注 數(shù)據(jù)與所述相同的標(biāo)注數(shù)據(jù)是否一致，確定下發(fā)的樣本圖像數(shù)量和/或確定適于所述標(biāo)注 賬戶標(biāo)注的圖像類型。7. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括： 若已標(biāo)注的圖像為視頻切割的圖像，比對(duì)相鄰的兩個(gè)視頻中在先視頻的末帖圖像的標(biāo) 注數(shù)據(jù)與在后視頻的首帖圖像的標(biāo)注數(shù)據(jù)是否一致； 若不一致，呈現(xiàn)提示標(biāo)注數(shù)據(jù)不一致的信息。8. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述向標(biāo)注賬戶下發(fā)待標(biāo)注圖像包括： 根據(jù)待標(biāo)注圖像的數(shù)量和所述標(biāo)注賬戶的標(biāo)注數(shù)據(jù)的歷史準(zhǔn)確率，向標(biāo)注賬戶下發(fā)待 標(biāo)注圖像。9. 一種監(jiān)控圖像標(biāo)注質(zhì)量的裝置，其特征在于，所述裝置包括： 準(zhǔn)確率獲取模塊，用于執(zhí)行獲取步驟獲取單次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率，所述獲取步 驟包括：向標(biāo)注賬戶下發(fā)待標(biāo)注圖像，所述待標(biāo)注圖像包括預(yù)定比例的樣本圖像，獲取對(duì)所 述待標(biāo)注圖像的人工標(biāo)注數(shù)據(jù)，所述人工標(biāo)注數(shù)據(jù)包括樣本圖像的當(dāng)前標(biāo)注數(shù)據(jù)，獲取所 述當(dāng)前標(biāo)注數(shù)據(jù)相對(duì)于樣本圖像的標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)準(zhǔn)確的比值，響應(yīng)于所述比值大于預(yù)定 值，將所述待標(biāo)注圖像輸入圖片識(shí)別模型，得到自動(dòng)標(biāo)注數(shù)據(jù)，比對(duì)所述人工標(biāo)注數(shù)據(jù)和所 述自動(dòng)標(biāo)注數(shù)據(jù)，得到單次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率； 方差計(jì)算模塊，用于計(jì)算多次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率與預(yù)設(shè)的平均標(biāo)注準(zhǔn)確率的方 差； 樣本圖像確定模塊，用于基于所述方差，確定向所述標(biāo)注賬戶下發(fā)的樣本圖像數(shù)量和/ 或確定適于所述標(biāo)注賬戶標(biāo)注的圖像類型。10. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述裝置還包括： 圖像特征提取模塊，用于響應(yīng)于所述比值大于預(yù)定值，提取所述人工標(biāo)注數(shù)據(jù)W及所 述人工標(biāo)注數(shù)據(jù)中每一個(gè)標(biāo)注數(shù)據(jù)的圖像特征； 模型訓(xùn)練模塊，用于根據(jù)從多個(gè)標(biāo)注賬戶的多次任務(wù)中提取的人工標(biāo)注數(shù)據(jù)W及圖像 特征，訓(xùn)練所述圖片識(shí)別模型。11. 根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述方差計(jì)算模塊進(jìn)一步用于:通過(guò)W 下公式確定所述方差：其中，σ表示標(biāo)準(zhǔn)差，D(X)表示方差，XI表示第i次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率，E(X)表示預(yù) 設(shè)的平均標(biāo)注準(zhǔn)確率，Pi表示第i次任務(wù)的標(biāo)注數(shù)據(jù)的準(zhǔn)確率出現(xiàn)的概率，η表示所有任務(wù) 的數(shù)量。12. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述裝置還包括： 標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)確定模塊，用于抽取已核定標(biāo)注數(shù)據(jù)的圖像作為所述樣本圖像，并將所 述已核定標(biāo)注數(shù)據(jù)作為所述標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)。13. 根據(jù)權(quán)利要求9-12之一所述的裝置，其特征在于，所述準(zhǔn)確率獲取模塊下發(fā)的所述 樣本圖像包括W下一項(xiàng)或多項(xiàng)： 未標(biāo)注的圖像、部分標(biāo)注的圖像和附有錯(cuò)誤標(biāo)注的圖像。14. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述裝置還包括： 同一圖像下發(fā)模塊，用于向多個(gè)標(biāo)注賬戶下發(fā)同一張待標(biāo)注圖像； 同一圖像標(biāo)注數(shù)據(jù)獲取模塊，用于從所述多個(gè)標(biāo)注賬戶獲取對(duì)所述同一張待標(biāo)注圖像 的標(biāo)注數(shù)據(jù)； 相同標(biāo)注數(shù)據(jù)獲取模塊，用于比對(duì)獲取的標(biāo)注數(shù)據(jù)是否相同，并獲取相同的標(biāo)注數(shù)據(jù) 占獲取的標(biāo)注數(shù)據(jù)的百分比； 確定樣本圖像模塊，用于響應(yīng)于所述百分比高于預(yù)定值，根據(jù)每個(gè)標(biāo)注賬戶的對(duì)所述 同一張待標(biāo)注圖像的標(biāo)注數(shù)據(jù)與所述相同的標(biāo)注數(shù)據(jù)是否一致，確定下發(fā)的樣本圖像數(shù)量 和/或確定適于所述標(biāo)注賬戶標(biāo)注的圖像類型。15. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述裝置還包括： 切割視頻比對(duì)模塊，用于若已標(biāo)注的圖像為視頻切割的圖像，比對(duì)相鄰的兩個(gè)視頻中 在先視頻的末帖圖像的標(biāo)注數(shù)據(jù)與在后視頻的首帖圖像的標(biāo)注數(shù)據(jù)是否一致； 提示信息呈現(xiàn)模塊，用于若所述比對(duì)的結(jié)果不一致，呈現(xiàn)提示標(biāo)注數(shù)據(jù)不一致的信息。16. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述準(zhǔn)確率獲取模塊進(jìn)一步用于： 根據(jù)待標(biāo)注圖像的數(shù)量和所述標(biāo)注賬戶的標(biāo)注數(shù)據(jù)的歷史準(zhǔn)確率，向標(biāo)注賬戶下發(fā)待 標(biāo)注圖像。
【文檔編號(hào)】G06K9/62GK105975980SQ201610269546
【公開(kāi)日】2016年9月28日
【申請(qǐng)日】2016年4月27日
【發(fā)明人】韓楓慧, 楊金鉬, 張亮
【申請(qǐng)人】百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司