本發(fā)明涉及視頻處理領(lǐng)域,具體而言,涉及一種基于視頻解析的車輛故障快速記錄方法、裝置、計算機設(shè)備及可讀存儲介質(zhì)。
背景技術(shù):
1、在現(xiàn)代社會,汽車已經(jīng)成為人們?nèi)粘I钪胁豢苫蛉钡慕煌üぞ?。然而,隨著汽車使用頻率的增加,車輛故障也變得越來越常見。為了有效地解決車輛故障問題,快速且準(zhǔn)確地記錄故障信息顯得尤為重要。傳統(tǒng)的車輛故障記錄方式主要依賴于人工筆錄或簡單的電子記錄,這種方式雖然簡單易行,但存在信息記錄不全、效率低下以及容易出錯等問題。
技術(shù)實現(xiàn)思路
1、本發(fā)明的目的在于提供一種基于視頻解析的車輛故障快速記錄方法、裝置、計算機設(shè)備及可讀存儲介質(zhì)。
2、第一方面,本發(fā)明實施例提供一種基于視頻解析的車輛故障快速記錄方法,包括:
3、獲取當(dāng)前車輛故障錄制視頻,所述當(dāng)前車輛故障錄制視頻包括用戶口述故障音頻數(shù)據(jù)和錄制視頻數(shù)據(jù);
4、從所述用戶口述故障音頻數(shù)據(jù)確定關(guān)鍵文本信息,并從所述關(guān)鍵文本信息中確定出車輛故障文本檢測結(jié)果;
5、根據(jù)所述關(guān)鍵文本信息的時間幀從所述錄制視頻數(shù)據(jù)中確定出車輛故障視覺檢測結(jié)果;
6、將所述車輛故障文本檢測結(jié)果和所述車輛故障視覺檢測結(jié)果進(jìn)行融合,得到車輛故障多模態(tài)檢測結(jié)果;
7、根據(jù)所述車輛故障多模態(tài)檢測結(jié)果,確定出所述當(dāng)前車輛故障錄制視頻對應(yīng)的車輛故障記錄結(jié)果。
8、在本發(fā)明實施例中,所述從所述用戶口述故障音頻數(shù)據(jù)確定關(guān)鍵文本信息,并從所述關(guān)鍵文本信息中確定出車輛故障文本檢測結(jié)果,包括:
9、利用預(yù)先設(shè)置的自動語音識別技術(shù),從所述用戶口述故障音頻數(shù)據(jù)中確定出關(guān)鍵文本信息;
10、將所述關(guān)鍵文本信息輸入預(yù)先訓(xùn)練的大語言模型進(jìn)行實體識別,得到車輛故障文本實體;
11、將所述車輛故障文本實體輸入預(yù)選訓(xùn)練的nlp模型進(jìn)行實體標(biāo)準(zhǔn)化,得到所述車輛故障文本檢測結(jié)果,所述車輛故障文本檢測結(jié)果包括車輛類型、車牌號和故障燈種類中的至少一種檢測結(jié)果。
12、在本發(fā)明實施例中,所述根據(jù)所述關(guān)鍵文本信息的時間幀從所述錄制視頻數(shù)據(jù)中確定出車輛故障視覺檢測結(jié)果,包括:
13、根據(jù)所述關(guān)鍵文本信息的時間幀從所述錄制視頻數(shù)據(jù)中,基于tensorrt加速技術(shù)確定出車輛故障關(guān)鍵視頻片段;
14、從所述車輛故障關(guān)鍵視頻片段中確定出車牌識別結(jié)果和故障燈識別結(jié)果;
15、將所述車牌識別結(jié)果和所述故障燈識別結(jié)果作為所述車輛故障視覺檢測結(jié)果。
16、在本發(fā)明實施例中,從所述車輛故障關(guān)鍵視頻片段中確定出車牌識別結(jié)果,包括:
17、將所述車輛故障關(guān)鍵視頻片段輸入預(yù)先訓(xùn)練的ocr模型,得到初始車牌識別結(jié)果;
18、若所述初始車牌識別結(jié)果表征的車牌字符低于六個字符,且不滿足預(yù)設(shè)規(guī)則需求,則過濾所述初始車牌識別結(jié)果;
19、若所述初始車牌識別結(jié)果表征的車牌字符為六個字符,且滿足預(yù)設(shè)規(guī)則需求,則將所述初始車牌識別結(jié)果作為所述車牌識別結(jié)果。
20、在本發(fā)明實施例中,從所述車輛故障關(guān)鍵視頻片段中確定出故障燈識別結(jié)果,包括:
21、將所述車輛故障關(guān)鍵視頻片段輸入預(yù)先訓(xùn)練的目標(biāo)檢測模型,得到所述故障燈識別結(jié)果,所述目標(biāo)檢測模型基于預(yù)定義的故障燈類型作為目標(biāo)值訓(xùn)練得到。
22、在本發(fā)明實施例中,所述將所述車輛故障文本檢測結(jié)果和所述車輛故障視覺檢測結(jié)果進(jìn)行融合,得到車輛故障多模態(tài)檢測結(jié)果,包括:
23、基于晚期融合策略,獲取所述車輛故障文本檢測結(jié)果和所述車輛故障視覺檢測結(jié)果分別對應(yīng)的置信度得分
24、基于所述置信度得分進(jìn)行篩除,得到篩除后的車輛故障文本檢測結(jié)果和車輛故障視覺檢測結(jié)果;
25、根據(jù)篩除后的車輛故障文本檢測結(jié)果和車輛故障視覺檢測結(jié)果對應(yīng)的置信度得分以及所述車輛故障文本檢測結(jié)果和車輛故障視覺檢測結(jié)果分別配置的權(quán)重,計算得到車輛故障多模態(tài)得分;
26、當(dāng)所述車輛故障多模態(tài)得分超過預(yù)設(shè)車輛故障多模態(tài)得分閾值時,得到所述車輛故障多模態(tài)檢測結(jié)果;
27、當(dāng)所述車輛故障多模態(tài)得分不超過預(yù)設(shè)車輛故障多模態(tài)得分閾值時,發(fā)出檢測失敗提示。
28、在本發(fā)明實施例中,所述車輛故障文本檢測結(jié)果和車輛故障視覺檢測結(jié)果分別配置的權(quán)重,通過以下方式獲取,包括:
29、獲取所述車輛故障文本檢測結(jié)果和車輛故障視覺檢測結(jié)果分別對應(yīng)的現(xiàn)場數(shù)據(jù)穩(wěn)定性和預(yù)設(shè)重要程度,得到所述車輛故障文本檢測結(jié)果和車輛故障視覺檢測結(jié)果分別配置的權(quán)重。
30、第二方面,本發(fā)明實施例提供一種基于視頻解析的車輛故障快速記錄裝置,包括:
31、獲取模塊,用于獲取當(dāng)前車輛故障錄制視頻,所述當(dāng)前車輛故障錄制視頻包括用戶口述故障音頻數(shù)據(jù)和錄制視頻數(shù)據(jù);
32、文本模塊,用于從所述用戶口述故障音頻數(shù)據(jù)確定關(guān)鍵文本信息,并從所述關(guān)鍵文本信息中確定出車輛故障文本檢測結(jié)果;
33、視覺模塊,用于根據(jù)所述關(guān)鍵文本信息的時間幀從所述錄制視頻數(shù)據(jù)中確定出車輛故障視覺檢測結(jié)果;
34、融合模塊,用于將所述車輛故障文本檢測結(jié)果和所述車輛故障視覺檢測結(jié)果進(jìn)行融合,得到車輛故障多模態(tài)檢測結(jié)果;
35、記錄模塊,用于根據(jù)所述車輛故障多模態(tài)檢測結(jié)果,確定出所述當(dāng)前車輛故障錄制視頻對應(yīng)的車輛故障記錄結(jié)果。
36、第三方面,本發(fā)明實施例提供一種計算機設(shè)備,所述計算機設(shè)備包括處理器及存儲有計算機指令的非易失性存儲器,所述計算機指令被所述處理器執(zhí)行時,所述計算機設(shè)備執(zhí)行第一方面至少一種可能的實施方式中所述的方法。
37、第四方面,本發(fā)明實施例提供一種可讀存儲介質(zhì),所述可讀存儲介質(zhì)包括計算機程序,所述計算機程序運行時控制所述可讀存儲介質(zhì)所在計算機設(shè)備執(zhí)行第一方面至少一種可能的實施方式中所述的方法。
38、相比現(xiàn)有技術(shù),本發(fā)明提供的有益效果包括:采用本發(fā)明公開的一種基于視頻解析的車輛故障快速記錄方法、裝置、計算機設(shè)備及可讀存儲介質(zhì),通過獲取包含用戶口述故障音頻和錄制視頻數(shù)據(jù)的車輛故障錄制視頻。接著,從音頻數(shù)據(jù)中提取關(guān)鍵文本信息,進(jìn)而確定車輛故障文本檢測結(jié)果。同時,根據(jù)這些關(guān)鍵文本信息的時間幀,從視頻數(shù)據(jù)中定位并確定車輛故障視覺檢測結(jié)果。然后,將文本和視覺檢測結(jié)果進(jìn)行融合,得到車輛故障多模態(tài)檢測結(jié)果。最后,根據(jù)這一多模態(tài)檢測結(jié)果,準(zhǔn)確快速地確定出當(dāng)前車輛故障錄制視頻對應(yīng)的車輛故障記錄結(jié)果。如此設(shè)計,實現(xiàn)了車輛故障的高效、準(zhǔn)確記錄,為后續(xù)的車輛維修和保養(yǎng)提供了有力支持。
1.一種基于視頻解析的車輛故障快速記錄方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述從所述用戶口述故障音頻數(shù)據(jù)確定關(guān)鍵文本信息,并從所述關(guān)鍵文本信息中確定出車輛故障文本檢測結(jié)果,包括:
3.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述根據(jù)所述關(guān)鍵文本信息的時間幀從所述錄制視頻數(shù)據(jù)中確定出車輛故障視覺檢測結(jié)果,包括:
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,從所述車輛故障關(guān)鍵視頻片段中確定出車牌識別結(jié)果,包括:
5.根據(jù)權(quán)利要求1所述的方法,其特征在于,從所述車輛故障關(guān)鍵視頻片段中確定出故障燈識別結(jié)果,包括:
6.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述將所述車輛故障文本檢測結(jié)果和所述車輛故障視覺檢測結(jié)果進(jìn)行融合,得到車輛故障多模態(tài)檢測結(jié)果,包括:
7.根據(jù)權(quán)利要求6所述的方法,其特征在于,所述車輛故障文本檢測結(jié)果和車輛故障視覺檢測結(jié)果分別配置的權(quán)重,通過以下方式獲取,包括:
8.一種基于視頻解析的車輛故障快速記錄裝置,其特征在于,包括:
9.一種計算機設(shè)備,其特征在于,所述計算機設(shè)備包括處理器及存儲有計算機指令的非易失性存儲器,所述計算機指令被所述處理器執(zhí)行時,所述計算機設(shè)備執(zhí)行權(quán)利要求1-7中任意一項所述的方法。
10.一種可讀存儲介質(zhì),其特征在于,所述可讀存儲介質(zhì)包括計算機程序,所述計算機程序運行時控制所述可讀存儲介質(zhì)所在計算機設(shè)備執(zhí)行權(quán)利要求1-7中任意一項所述的方法。