本公開(kāi)的實(shí)施方式涉及人工智能,更具體地,本公開(kāi)的實(shí)施方式涉及病患的身體運(yùn)動(dòng)檢測(cè)方法、病患的身體運(yùn)動(dòng)檢測(cè)裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及電子設(shè)備。
背景技術(shù):
1、本部分旨在為權(quán)利要求中陳述的本公開(kāi)的實(shí)施方式提供背景或上下文,此處的描述不因?yàn)榘ㄔ诒静糠种芯统姓J(rèn)是現(xiàn)有技術(shù)。
2、癲癇是一種慢性腦部疾病,是腦部神經(jīng)元的異常放電所引起的。通過(guò)病患的腦電圖可以記錄與腦活動(dòng)相關(guān)的波形,從而識(shí)別癲癇癥狀。但是病患在正?;顒?dòng)過(guò)程中,腦電圖會(huì)產(chǎn)生與癲癇發(fā)作類似的波形,因此,需要腦電圖結(jié)合病患監(jiān)測(cè)視頻同步進(jìn)行判斷。
3、相關(guān)技術(shù)中,一般是采用人體目標(biāo)追蹤技術(shù)從病患監(jiān)測(cè)視頻中提取運(yùn)動(dòng)信息,然而,上述方案所提取出來(lái)的運(yùn)動(dòng)信息伴隨著大量噪聲,而且存在不同人體之間的關(guān)鍵點(diǎn)錯(cuò)連問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、上述方案檢測(cè)準(zhǔn)確率較低,無(wú)法為醫(yī)生提供準(zhǔn)確的診斷參考,并且,在一定程度上造成了醫(yī)療資源的浪費(fèi)和較差的病患就醫(yī)體驗(yàn)。
2、為此,非常需要一種病患的身體運(yùn)動(dòng)檢測(cè)方法,可以從家屬、醫(yī)生、護(hù)士等多人復(fù)雜的視頻場(chǎng)景中僅提取有關(guān)病人的運(yùn)動(dòng)檢測(cè)信息,提升癲癇醫(yī)生判別動(dòng)作偽差的準(zhǔn)確性,以及,提升醫(yī)生的診斷效率。
3、在本上下文中,本公開(kāi)的實(shí)施方式期望提供一種病患的身體運(yùn)動(dòng)檢測(cè)方法、病患的身體運(yùn)動(dòng)檢測(cè)裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及電子設(shè)備。
4、根據(jù)本公開(kāi)實(shí)施方式的第一方面,提供一種病患的身體運(yùn)動(dòng)檢測(cè)方法,包括:
5、采集病患的監(jiān)測(cè)視頻;
6、對(duì)所述監(jiān)測(cè)視頻進(jìn)行解幀處理,獲得與所述監(jiān)測(cè)視頻對(duì)應(yīng)的圖像幀集合;所述圖像幀集合中包含多幀圖像;
7、從每幀圖像中檢測(cè)所述病患的身體區(qū)域和人臉區(qū)域;
8、根據(jù)每m幀圖像之間針對(duì)所述身體區(qū)域的像素差異和所述每m幀圖像之間針對(duì)所述人臉區(qū)域的位置差異,確定針對(duì)所述病患的身體運(yùn)動(dòng)檢測(cè)結(jié)果;其中,m為大于1的整數(shù)。
9、在一種可選的實(shí)施方式中,所述對(duì)所述監(jiān)測(cè)視頻進(jìn)行解幀處理,獲得與所述監(jiān)測(cè)視頻對(duì)應(yīng)的圖像幀集合,包括:
10、將所述監(jiān)測(cè)視頻分割為n個(gè)視頻片段,n為大于1的整數(shù);
11、對(duì)每個(gè)所述視頻片段進(jìn)行解幀處理,獲得與所述n個(gè)視頻片段對(duì)應(yīng)的n個(gè)圖像幀子集。
12、在一種可選的實(shí)施方式中,從每幀圖像中檢測(cè)所述病患的身體區(qū)域,包括:
13、調(diào)用預(yù)先訓(xùn)練好的病患目標(biāo)檢測(cè)模型;
14、通過(guò)所述預(yù)先訓(xùn)練好的病患目標(biāo)檢測(cè)模型從每個(gè)所述圖像幀子集中的每幀圖像中標(biāo)記出所述病患的身體標(biāo)注框的坐標(biāo);
15、對(duì)標(biāo)記出的所述身體標(biāo)注框的坐標(biāo)進(jìn)行合并,得到所述每幀圖像中所述病患的身體區(qū)域。
16、在一種可選的實(shí)施方式中,所述預(yù)先訓(xùn)練好的病患目標(biāo)檢測(cè)模型,通過(guò)以下方式訓(xùn)練得到:
17、獲取訓(xùn)練樣本;所述訓(xùn)練樣本包括每個(gè)病患樣本的監(jiān)控圖像樣本和所述監(jiān)控圖像樣本對(duì)應(yīng)的標(biāo)注標(biāo)簽,所述標(biāo)注標(biāo)簽用于表征所述每個(gè)病患樣本的實(shí)際身體標(biāo)注框;
18、將所述訓(xùn)練樣本輸入至待訓(xùn)練的病患目標(biāo)檢測(cè)模型中,根據(jù)所述待訓(xùn)練的病患目標(biāo)檢測(cè)模型的輸出,獲得針對(duì)所述病患樣本的預(yù)測(cè)身體標(biāo)注框;
19、根據(jù)所述預(yù)測(cè)身體標(biāo)注框與所述實(shí)際身體標(biāo)注框之間的位置差異,確定所述待訓(xùn)練的病患目標(biāo)檢測(cè)模型的損失值;
20、根據(jù)所述損失值對(duì)所述待訓(xùn)練的病患目標(biāo)檢測(cè)模型進(jìn)行迭代訓(xùn)練,得到所述訓(xùn)練好的病患目標(biāo)檢測(cè)模型。
21、在一種可選的實(shí)施方式中,所述根據(jù)所述損失值對(duì)所述待訓(xùn)練的病患目標(biāo)檢測(cè)模型進(jìn)行迭代訓(xùn)練,得到所述訓(xùn)練好的病患目標(biāo)檢測(cè)模型,包括:
22、根據(jù)所述損失值,基于梯度更新算法更新所述待訓(xùn)練的病患目標(biāo)檢測(cè)模型的模型參數(shù);
23、在所述損失值滿足預(yù)設(shè)的收斂條件時(shí)停止更新所述模型參數(shù),以獲得所述訓(xùn)練好的病患目標(biāo)檢測(cè)模型。
24、在一種可選的實(shí)施方式中,從每幀圖像中檢測(cè)所述病患的人臉區(qū)域,包括:
25、調(diào)用預(yù)先訓(xùn)練好的病患人臉檢測(cè)模型,通過(guò)所述預(yù)先訓(xùn)練好的病患人臉檢測(cè)模型從每個(gè)所述圖像幀子集中的每幀圖像中標(biāo)記出人臉標(biāo)注框;
26、調(diào)用預(yù)先訓(xùn)練好的面部關(guān)鍵點(diǎn)檢測(cè)模型,通過(guò)所述訓(xùn)練好的人臉關(guān)鍵點(diǎn)檢測(cè)模型從所述人臉標(biāo)注框中標(biāo)注人臉關(guān)鍵點(diǎn)坐標(biāo);
27、對(duì)所述每幀圖像中的人臉關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行合并,確定所述每幀圖像中所述病患的人臉區(qū)域。
28、在一種可選的實(shí)施方式中,根據(jù)每m幀圖像之間針對(duì)所述身體區(qū)域的像素差異和所述每m幀圖像之間針對(duì)所述人臉區(qū)域的位置差異,確定針對(duì)所述病患的身體運(yùn)動(dòng)檢測(cè)結(jié)果,包括:
29、根據(jù)每個(gè)所述圖像幀子集中每m幀圖像之間針對(duì)所述身體區(qū)域的像素差異,以及,每個(gè)所述圖像幀子集中所述每m幀圖像之間針對(duì)所述人臉區(qū)域的位置差異,確定針對(duì)所述病患的每個(gè)圖像幀子集的身體運(yùn)動(dòng)檢測(cè)結(jié)果片段;
30、將所述n個(gè)圖像幀子集所對(duì)應(yīng)的n個(gè)身體運(yùn)動(dòng)檢測(cè)結(jié)果片段進(jìn)行拼接,獲得針對(duì)所述病患的身體運(yùn)動(dòng)檢測(cè)結(jié)果。
31、在一種可選的實(shí)施方式中,每個(gè)所述圖像幀子集中包含k幀圖像,每幀圖像對(duì)應(yīng)一個(gè)幀序號(hào),k大于或等于m;
32、每個(gè)所述圖像幀子集中每m幀圖像之間針對(duì)所述身體區(qū)域的像素差異,通過(guò)以下方式確定:
33、將每個(gè)所述圖像幀子集中包含的k幀圖像按照指定的幀序號(hào)排列方式進(jìn)行排列,形成圖像隊(duì)列;
34、將所述圖像隊(duì)列中的每m幀圖像作為一個(gè)圖像組,計(jì)算每個(gè)所述圖像組中的相鄰兩幀圖像之間針對(duì)所述身體區(qū)域的像素顏色差異值,獲得m-1個(gè)像素顏色差異值;
35、將所述m-1個(gè)所述像素顏色差異值確定為每個(gè)所述圖像幀子集中每m幀圖像之間針對(duì)所述身體區(qū)域的像素差異。
36、在一種可選的實(shí)施方式中,每個(gè)所述圖像幀子集中包含k幀圖像,每幀圖像對(duì)應(yīng)一個(gè)幀序號(hào),k大于或等于m;
37、每個(gè)所述圖像幀子集中所述每m幀圖像之間針對(duì)所述人臉區(qū)域的位置差異,通過(guò)以下方式確定:
38、從多個(gè)所述人臉關(guān)鍵點(diǎn)中確定出p個(gè)核心人臉關(guān)鍵點(diǎn),并確定每個(gè)所述圖像幀子集中的每幀圖像對(duì)應(yīng)于每個(gè)所述核心人臉關(guān)鍵點(diǎn)的核心人臉關(guān)鍵點(diǎn)坐標(biāo);p為大于或等于1的整數(shù);
39、將每個(gè)所述圖像幀子集中包含的k幀圖像按照指定的幀序號(hào)排列方式進(jìn)行排列,形成圖像隊(duì)列;
40、將所述圖像隊(duì)列中的每m幀圖像作為一個(gè)圖像組,計(jì)算每個(gè)所述圖像組中的相鄰兩幀圖像之間針對(duì)每個(gè)所述核心人臉關(guān)鍵點(diǎn)的坐標(biāo)差異值,獲得m-1個(gè)坐標(biāo)差異值序列;每個(gè)所述坐標(biāo)差異值序列由p個(gè)所述坐標(biāo)差異值排列而成;
41、將所述m-1個(gè)坐標(biāo)差異值序列確定為每個(gè)所述圖像幀子集中所述每m幀圖像之間針對(duì)所述人臉區(qū)域的位置差異。
42、在一種可選的實(shí)施方式中,每個(gè)所述圖像幀子集關(guān)聯(lián)個(gè)像素顏色差異值,每個(gè)所述圖像幀子集關(guān)聯(lián)個(gè)坐標(biāo)差異值序列,每個(gè)所述坐標(biāo)差異值序列由對(duì)應(yīng)于p個(gè)核心人臉關(guān)鍵點(diǎn)的p個(gè)坐標(biāo)差異值排列而成;
43、所述根據(jù)每個(gè)所述圖像幀子集中每m幀圖像之間針對(duì)所述身體區(qū)域的像素差異,以及,每個(gè)所述圖像幀子集中所述每m幀圖像之間針對(duì)所述人臉區(qū)域的位置差異,確定針對(duì)所述病患的每個(gè)圖像幀子集的身體運(yùn)動(dòng)檢測(cè)結(jié)果片段,包括:
44、獲取所述個(gè)像素顏色差異值的第一累加值,并對(duì)所述第一累加值進(jìn)行標(biāo)準(zhǔn)化處理,獲得第一概率值;所述第一概率值用于表征所述病患的身體運(yùn)動(dòng)概率;
45、獲取對(duì)應(yīng)于每個(gè)所述核心人臉關(guān)鍵點(diǎn)的個(gè)坐標(biāo)差異值的第二累加值,并對(duì)每個(gè)所述第二累加值進(jìn)行標(biāo)準(zhǔn)化處理,獲得每個(gè)第二概率值;?p個(gè)所述第二概率值用于表征所述病患的人臉運(yùn)動(dòng)概率;
46、拼接所述第一概率值和p個(gè)所述第二概率值,獲得針對(duì)所述病患的每個(gè)圖像幀子集的身體運(yùn)動(dòng)檢測(cè)結(jié)果片段。
47、在一種可選的實(shí)施方式中,每個(gè)所述圖像幀子集關(guān)聯(lián)個(gè)像素顏色差異值,每個(gè)所述圖像幀子集關(guān)聯(lián)個(gè)坐標(biāo)差異值序列,每個(gè)所述坐標(biāo)差異值序列由對(duì)應(yīng)于p個(gè)核心人臉關(guān)鍵點(diǎn)的p個(gè)坐標(biāo)差異值排列而成;
48、所述根據(jù)每個(gè)所述圖像幀子集中每m幀圖像之間針對(duì)所述身體區(qū)域的像素差異,以及,每個(gè)所述圖像幀子集中所述每m幀圖像之間針對(duì)所述人臉區(qū)域的位置差異,確定針對(duì)所述病患的每個(gè)圖像幀子集的身體運(yùn)動(dòng)檢測(cè)結(jié)果片段,包括:
49、從與每個(gè)所述圖像幀子集所關(guān)聯(lián)的個(gè)像素顏色差異值中篩選出關(guān)鍵像素顏色差異值,以及,從與每個(gè)所述圖像幀子集針對(duì)每個(gè)所述核心人臉關(guān)鍵點(diǎn)所關(guān)聯(lián)的個(gè)坐標(biāo)差異值中篩選出關(guān)鍵坐標(biāo)差異值;
50、獲取篩選出來(lái)的所述關(guān)鍵像素顏色差異值的第一累加值,并對(duì)所述第一累加值進(jìn)行標(biāo)準(zhǔn)化處理,獲得第一概率值;所述第一概率值用于表征所述病患的身體運(yùn)動(dòng)概率;
51、獲取篩選出來(lái)的針對(duì)所述每個(gè)核心人臉關(guān)鍵點(diǎn)的所述關(guān)鍵坐標(biāo)差異值的第二累加值,并對(duì)每個(gè)所述第二累加值進(jìn)行標(biāo)準(zhǔn)化處理,獲得每個(gè)第二概率值;p個(gè)所述第二概率值用于表征所述病患的人臉運(yùn)動(dòng)概率;
52、拼接所述第一概率值和p個(gè)所述第二概率值,獲得針對(duì)所述病患的每個(gè)圖像幀子集的身體運(yùn)動(dòng)檢測(cè)結(jié)果片段。
53、在一種可選的實(shí)施方式中,所述從與每個(gè)所述圖像幀子集所關(guān)聯(lián)的個(gè)像素顏色差異值中篩選出關(guān)鍵像素顏色差異值,包括:
54、獲取預(yù)先設(shè)置的像素差異閾值,根據(jù)所述像素差異閾值對(duì)所述個(gè)像素顏色差異值進(jìn)行數(shù)據(jù)過(guò)濾處理,獲得所述關(guān)鍵像素顏色差異值。
55、在一種可選的實(shí)施方式中,所述從與每個(gè)所述圖像幀子集針對(duì)每個(gè)所述核心人臉關(guān)鍵點(diǎn)所關(guān)聯(lián)的個(gè)坐標(biāo)差異值中篩選出關(guān)鍵坐標(biāo)差異值,包括:
56、獲取預(yù)先設(shè)置的坐標(biāo)差異閾值,根據(jù)所述坐標(biāo)差異閾值對(duì)每個(gè)所述核心人臉關(guān)鍵點(diǎn)所關(guān)聯(lián)的個(gè)坐標(biāo)差異值進(jìn)行數(shù)據(jù)過(guò)濾處理,獲得所述關(guān)鍵坐標(biāo)差異值。
57、在一種可選的實(shí)施方式中,在確定針對(duì)所述病患的身體運(yùn)動(dòng)檢測(cè)結(jié)果之后,所述方法還包括:
58、獲取所述病患的生物醫(yī)學(xué)信號(hào);
59、將所述生物醫(yī)學(xué)信號(hào)和所述身體運(yùn)動(dòng)檢測(cè)結(jié)果輸入至預(yù)先訓(xùn)練好的大腦異常放電檢測(cè)模型中,根據(jù)所述大腦異常放電檢測(cè)模型的輸出,獲得針對(duì)所述病患的大腦異常放電檢測(cè)結(jié)果。
60、根據(jù)本公開(kāi)的第二方面,提供一種病患的身體運(yùn)動(dòng)檢測(cè)裝置,包括:
61、視頻采集模塊,用于采集病患的監(jiān)測(cè)視頻;
62、視頻處理模塊,用于對(duì)所述監(jiān)測(cè)視頻進(jìn)行解幀處理,獲得與所述監(jiān)測(cè)視頻對(duì)應(yīng)的圖像幀集合;所述圖像幀集合中包含多幀圖像;
63、檢測(cè)模塊,用于從每幀圖像中檢測(cè)所述病患的身體區(qū)域和人臉區(qū)域;
64、檢測(cè)結(jié)果確定模塊,用于根據(jù)每m幀圖像之間針對(duì)所述身體區(qū)域的像素差異和所述每m幀圖像之間針對(duì)所述人臉區(qū)域的位置差異,確定針對(duì)所述病患的身體運(yùn)動(dòng)檢測(cè)結(jié)果;其中,m為大于1的整數(shù)。
65、根據(jù)本公開(kāi)實(shí)施方式的第三方面,提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面所述的病患的身體運(yùn)動(dòng)檢測(cè)方法。
66、根據(jù)本公開(kāi)實(shí)施方式的第四方面,提供一種電子設(shè)備,包括:處理器;以及存儲(chǔ)器,用于存儲(chǔ)所述處理器的可執(zhí)行指令;其中,所述處理器配置為經(jīng)由執(zhí)行所述可執(zhí)行指令來(lái)執(zhí)行上述第一方面所述的病患的身體運(yùn)動(dòng)檢測(cè)方法。
67、根據(jù)本公開(kāi)實(shí)施方式的病患的身體運(yùn)動(dòng)檢測(cè)方法、病患的身體運(yùn)動(dòng)檢測(cè)裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及電子設(shè)備,一方面,能夠結(jié)合病患身體區(qū)域的像素差異和病患人臉區(qū)域的位置差異,有效的檢測(cè)病患的身體運(yùn)動(dòng)變化,且捕捉到病患的細(xì)微動(dòng)作變化,從而便于后續(xù)輸出準(zhǔn)確度較高的身體運(yùn)動(dòng)檢測(cè)結(jié)果。進(jìn)一步的,解決了相關(guān)技術(shù)中無(wú)法準(zhǔn)確的輸出病患的身體運(yùn)動(dòng)檢測(cè)結(jié)果的問(wèn)題,便于醫(yī)生根據(jù)該身體運(yùn)動(dòng)檢測(cè)結(jié)果確定腦電波的異常是否是病患運(yùn)動(dòng)所造成的,從而準(zhǔn)確識(shí)別腦電圖波形中的動(dòng)作偽差,提升癲癇診斷的準(zhǔn)確率,從而在一定程度上緩解了醫(yī)療資源的浪費(fèi),保障了病患的就醫(yī)體驗(yàn);另一方面,通過(guò)輸出準(zhǔn)確度較高的病患的身體運(yùn)動(dòng)檢測(cè)結(jié)果,本公開(kāi)還能夠?yàn)榘d癇等神經(jīng)系統(tǒng)疾病的術(shù)前定位提供輔助支持,提高術(shù)前定位的準(zhǔn)確性,從而有助于提升后續(xù)的手術(shù)成功率。