本申請涉及計算機視覺，特別是涉及一種目標識別方法、目標識別裝置以及計算機存儲介質(zhì)。

背景技術(shù)：

1、現(xiàn)有技術(shù)中，僅使用關(guān)鍵點或者部位特征進行目標識別，通過解析部位提取更精細的特征，但對于序列的整體動態(tài)特征會有一定的缺失，過于關(guān)注局部或者過少關(guān)注局部都會更容易受到難例樣本的影響，模型的魯棒性較差。

技術(shù)實現(xiàn)思路

1、為解決上述技術(shù)問題，本申請?zhí)岢隽艘环N目標識別方法、目標識別裝置以及計算機存儲介質(zhì)。

2、為解決上述技術(shù)問題，本申請?zhí)岢隽艘环N目標識別方法，所述目標識別方法包括：基于待識別目標數(shù)據(jù)，獲取部位輪廓圖序列和關(guān)鍵點圖序列；將所述部位輪廓圖序列輸入雙流目標檢測模型的部位局部權(quán)重預(yù)測網(wǎng)絡(luò)，提取部位局部權(quán)重；將所述關(guān)鍵點圖序列輸入所述雙流目標檢測模型的關(guān)鍵點圖局部權(quán)重預(yù)測網(wǎng)絡(luò)，提取關(guān)鍵點局部權(quán)重；利用所述部位局部權(quán)重對所述部位輪廓圖序列進行處理后，通過所述雙流目標檢測模型的第一特征提取網(wǎng)絡(luò)，提取部位特征；利用所述關(guān)鍵點局部權(quán)重對所述關(guān)鍵點圖序列進行處理后，通過所述雙流目標檢測模型的第二特征提取網(wǎng)絡(luò)，提取關(guān)鍵點特征；通過所述雙流目標檢測模型的分類網(wǎng)絡(luò)，對所述部位特征和所述關(guān)鍵點特征融合的分類特征進行識別，獲取所述待識別目標數(shù)據(jù)的目標識別結(jié)果。

3、其中，所述關(guān)鍵點圖序列為關(guān)鍵點熱圖序列；所述目標識別方法，還包括：基于所述待識別目標數(shù)據(jù)，獲取每一張目標圖的關(guān)鍵點集合；基于所述關(guān)鍵點集合中的每一關(guān)鍵點及其鄰近像素點，生成關(guān)鍵熱點；按照所述每一張目標圖的關(guān)鍵熱點，生成關(guān)鍵點熱圖。

4、其中，所述將所述部位輪廓圖序列輸入雙流目標檢測模型的部位局部權(quán)重預(yù)測網(wǎng)絡(luò)，提取部位局部權(quán)重，包括：通過所述部位局部權(quán)重預(yù)測網(wǎng)絡(luò)將所述部位輪廓圖序列進行加權(quán)平均，得到預(yù)測部位輪廓圖；通過所述部位局部權(quán)重預(yù)測網(wǎng)絡(luò)將所述預(yù)測部位輪廓圖進行特征提取以及局部權(quán)重動態(tài)生成，得到所述預(yù)測部位輪廓圖中每一部位區(qū)域的動態(tài)權(quán)重，組成所述部位局部權(quán)重。

5、其中，所述第一特征提取網(wǎng)絡(luò)包括短時時空注意力網(wǎng)絡(luò)，所述部位特征為所述短時時空注意力網(wǎng)絡(luò)輸出的短時部位特征；所述第二特征提取網(wǎng)絡(luò)包括長時時空注意力網(wǎng)絡(luò)，所述關(guān)鍵點特征為所述長時時空注意力網(wǎng)絡(luò)輸出的長時關(guān)鍵點特征。

6、其中，所述目標識別方法，還包括：將所述短時部位特征和所述長時關(guān)鍵點特征分別輸入多尺度時空注意力融合網(wǎng)絡(luò)，提取所述短時部位特征的部位時空特征，所述長時關(guān)鍵點特征的關(guān)鍵點時空特征，以及所述短時部位特征和長時關(guān)鍵點特征融合的融合時空特征；將所述部位時空特征、所述關(guān)鍵點時空特征以及所述融合時空特征合并得到的合并特征輸入所述多尺度時空注意力融合網(wǎng)絡(luò)的注意力模塊，獲取加權(quán)時空特征；將所述合并特征和所述加權(quán)時空特征融合，得到所述分類特征。

7、其中，所述目標識別方法，還包括；獲取待訓(xùn)練的有標注目標數(shù)據(jù)和無標注目標數(shù)據(jù)；利用所述有標注目標數(shù)據(jù)訓(xùn)練目標識別模型，得到初始權(quán)重參數(shù)；按照初始權(quán)重參數(shù)，獲取教師模型和學(xué)生模型；利用所述有標注目標數(shù)據(jù)訓(xùn)練所述教師模型，獲取有監(jiān)督損失；利用所述無標注目標數(shù)據(jù)訓(xùn)練所述教師模型和所述學(xué)生模型，獲取無監(jiān)督損失；利用所述有監(jiān)督損失和所述無監(jiān)督損失對所述教師模型進行訓(xùn)練，得到所述雙流目標檢測模型。

8、其中，所述利用所述有監(jiān)督損失和所述無監(jiān)督損失對所述教師模型進行訓(xùn)練，得到所述雙流目標檢測模型，包括；利用所述有監(jiān)督損失和所述無監(jiān)督損失對所述教師模型進行訓(xùn)練，得到第一模型參數(shù)；利用所述有監(jiān)督損失和所述無監(jiān)督損失對所述學(xué)生模型進行訓(xùn)練，得到第二模型參數(shù)；利用所述第一模型參數(shù)和所述第二模型參數(shù)，生成所述雙流目標檢測模型的模型參數(shù)。

9、其中，所述利用所述無標注目標數(shù)據(jù)訓(xùn)練所述教師模型和所述學(xué)生模型，獲取無監(jiān)督損失，包括：獲取所述無標注目標數(shù)據(jù)的第一段目標序列和第二段目標序列；對所述第一段目標序列進行弱數(shù)據(jù)增強，生成第三段目標序列；對所述第二段目標序列進行強數(shù)據(jù)增強，生成第四段目標序列；將所述第三段目標序列輸入所述教師模型，提取第一目標特征；將所述第四段目標序列輸入所述學(xué)生模型，提取第二目標特征；基于所述第一目標特征和所述第二目標特征，獲取所述無監(jiān)督損失。

10、為解決上述技術(shù)問題，本申請?zhí)岢鲆环N目標識別裝置，所述目標識別裝置包括存儲器以及與所述存儲器耦接的處理器；其中，所述存儲器用于存儲程序數(shù)據(jù)，所述處理器用于執(zhí)行所述程序數(shù)據(jù)以實現(xiàn)上述的目標識別方法。

11、為解決上述技術(shù)問題，本申請?zhí)岢鲆环N計算機存儲介質(zhì)，所述計算機存儲介質(zhì)用于存儲程序數(shù)據(jù)，所述程序數(shù)據(jù)在被計算機執(zhí)行時，用以實現(xiàn)上述的目標識別方法。

12、與現(xiàn)有技術(shù)相比，本申請的有益效果是：本申請?zhí)岢鲆环N目標識別方法、目標識別裝置以及計算機存儲介質(zhì)，目標識別裝置基于待識別目標數(shù)據(jù)，獲取部位輪廓圖序列和關(guān)鍵點圖序列；將部位輪廓圖序列輸入雙流目標檢測模型的部位局部權(quán)重預(yù)測網(wǎng)絡(luò)，提取部位局部權(quán)重；將關(guān)鍵點圖序列輸入雙流目標檢測模型的關(guān)鍵點圖局部權(quán)重預(yù)測網(wǎng)絡(luò)，提取關(guān)鍵點局部權(quán)重；利用部位局部權(quán)重對部位輪廓圖序列進行處理后，通過雙流目標檢測模型的第一特征提取網(wǎng)絡(luò)，提取部位特征；利用關(guān)鍵點局部權(quán)重對所述關(guān)鍵點圖序列進行處理后，通過雙流目標檢測模型的第二特征提取網(wǎng)絡(luò)，提取關(guān)鍵點特征；通過雙流目標檢測模型的分類網(wǎng)絡(luò)，對部位特征和所述關(guān)鍵點特征融合的分類特征進行識別，獲取待識別目標數(shù)據(jù)的目標識別結(jié)果。通過上述方式，通過局部權(quán)重的處理，可以自適應(yīng)的捕捉目標輸入中的顯著局部區(qū)域，幫助提取更好的目標特征，進而提高目標識別的準確度，同時，在使用部位圖之外，還是用了關(guān)鍵點熱圖，不僅使用局部權(quán)重關(guān)注各部位的精細特征，也提取整個序列的空間信息和時間信息，在更好的完成目標識別的任務(wù)的同時也增加了魯棒性。

技術(shù)特征：

1.一種目標識別方法，其特征在于，所述目標識別方法包括：

2.根據(jù)權(quán)利要求1所述的目標識別方法，其特征在于，

3.根據(jù)權(quán)利要求1所述的目標識別方法，其特征在于，

4.根據(jù)權(quán)利要求1所述的目標識別方法，其特征在于，

5.根據(jù)權(quán)利要求4所述的目標識別方法，其特征在于，

6.根據(jù)權(quán)利要求1所述的目標識別方法，其特征在于，

7.根據(jù)權(quán)利要求6所述的目標識別方法，其特征在于，

8.根據(jù)權(quán)利要求6所述的目標識別方法，其特征在于，

9.一種目標識別裝置，其特征在于，所述目標識別裝置包括存儲器以及與所述存儲器耦接的處理器；

10.一種計算機存儲介質(zhì)，其特征在于，所述計算機存儲介質(zhì)用于存儲程序數(shù)據(jù)，所述程序數(shù)據(jù)在被計算機執(zhí)行時，用以實現(xiàn)如權(quán)利要求1至8任一項所述的目標識別方法。

技術(shù)總結(jié)
本申請?zhí)岢鲆环N目標識別方法、目標識別裝置以及計算機存儲介質(zhì)，包括：基于待識別目標數(shù)據(jù)，獲取部位輪廓圖序列和關(guān)鍵點圖序列；將部位輪廓圖序列輸入雙流目標檢測模型的部位局部權(quán)重預(yù)測網(wǎng)絡(luò)，提取部位局部權(quán)重；將關(guān)鍵點圖序列輸入雙流目標檢測模型的關(guān)鍵點圖局部權(quán)重預(yù)測網(wǎng)絡(luò)，提取關(guān)鍵點局部權(quán)重；利用部位局部權(quán)重對部位輪廓圖序列進行處理后，通過雙流目標檢測模型的第一特征提取網(wǎng)絡(luò)，提取部位特征；利用關(guān)鍵點局部權(quán)重對所述關(guān)鍵點圖序列進行處理后，通過雙流目標檢測模型的第二特征提取網(wǎng)絡(luò)，提取關(guān)鍵點特征；通過雙流目標檢測模型的分類網(wǎng)絡(luò)，對部位特征和所述關(guān)鍵點特征融合的分類特征進行識別，獲取待識別目標數(shù)據(jù)的目標識別結(jié)果。

技術(shù)研發(fā)人員：張攀鋒,潘華東,殷俊,趙雷
受保護的技術(shù)使用者：浙江大華技術(shù)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/26