本公開(kāi)屬于智慧教育領(lǐng)域，具體涉及一種教師上下課狀態(tài)檢測(cè)方法、裝置和系統(tǒng)。

背景技術(shù)：

1、確保教師高效率的進(jìn)行教學(xué)活動(dòng)是提升教育質(zhì)量的重要一環(huán)。傳統(tǒng)的教學(xué)監(jiān)督方法主要依賴人工簽到、巡查或點(diǎn)名，這些方法費(fèi)力耗時(shí)，無(wú)法自動(dòng)進(jìn)行，效率極低。并且獲得的主要是考勤數(shù)據(jù)，很難針對(duì)教學(xué)質(zhì)量提升目標(biāo)進(jìn)行智能化分析，給出針對(duì)性改進(jìn)意見(jiàn)。

2、基于視覺(jué)檢測(cè)的方法可以通過(guò)講臺(tái)區(qū)域是否有人判斷教師是否上課從而可以自動(dòng)化的獲取教師上下課狀態(tài)數(shù)據(jù)。但是該方法當(dāng)教師離開(kāi)講臺(tái)區(qū)域授課或講臺(tái)區(qū)域出現(xiàn)非授課老師等異常情況時(shí)準(zhǔn)確率很低。

技術(shù)實(shí)現(xiàn)思路

1、本公開(kāi)實(shí)施例提出了一種教師上下課狀態(tài)檢測(cè)方案，避免了現(xiàn)有教師上下課監(jiān)督方案無(wú)法自動(dòng)進(jìn)行，對(duì)獲取的數(shù)據(jù)難以進(jìn)行智能分析或準(zhǔn)確率不高的問(wèn)題。

2、本公開(kāi)實(shí)施例的第一方面提供了一種教師上下課狀態(tài)檢測(cè)方法，包括：

3、獲取教學(xué)區(qū)域的視頻圖像數(shù)據(jù)，確定提示詞集合和教師上下課狀態(tài)檢測(cè)大模型；

4、將所述視頻圖像數(shù)據(jù)輸入所述教師上下課狀態(tài)檢測(cè)大模型，從所述提示詞集合中基于第一預(yù)設(shè)規(guī)則選擇提示詞，基于所述提示詞獲取所述教師上下課狀態(tài)檢測(cè)大模型輸出的教師上下課狀態(tài)數(shù)據(jù)，其中，所述教師上下課狀態(tài)檢測(cè)大模型由用于圖像理解的多模態(tài)大模型優(yōu)化而成；

5、基于所述教師上下課狀態(tài)數(shù)據(jù)分析所述教師的上下課狀態(tài)，并按第二預(yù)設(shè)規(guī)則執(zhí)行對(duì)應(yīng)措施。

6、在一些實(shí)施例中，所述確定提示詞集合和教師上下課狀態(tài)檢測(cè)大模型包括：

7、獲取教師授課質(zhì)量的目標(biāo)評(píng)估模式，基于所述目標(biāo)評(píng)估模式確定預(yù)設(shè)的提示詞集合和對(duì)應(yīng)的教師上下課狀態(tài)檢測(cè)大模型。

8、在一些實(shí)施例中，所述從所述提示詞集合中基于第一預(yù)設(shè)規(guī)則選擇提示詞之前，還包括：

9、確定用于幫助所述多模態(tài)大模型進(jìn)行圖像理解以生成所述教師上下課狀態(tài)數(shù)據(jù)的提示詞，所述提示詞組成所述提示詞集合。

10、在一些實(shí)施例中，所述教師上下課狀態(tài)檢測(cè)大模型由用于圖像理解的多模態(tài)大模型優(yōu)化而成包括：

11、選擇符合所述目標(biāo)評(píng)估模式的教學(xué)視頻數(shù)據(jù)，對(duì)教師上下課狀態(tài)檢測(cè)大模型進(jìn)行微調(diào)，生成適用于所述目標(biāo)評(píng)估模式的教師上下課狀態(tài)檢測(cè)大模型；和/或

12、基于所述教學(xué)區(qū)域的教學(xué)視頻數(shù)據(jù)對(duì)用于圖像理解的預(yù)訓(xùn)練多模態(tài)大模型進(jìn)行訓(xùn)練，生成所述教師上下課狀態(tài)檢測(cè)大模型。

13、在一些實(shí)施例中，所述基于所述教學(xué)區(qū)域的教學(xué)視頻數(shù)據(jù)對(duì)用于圖像理解的預(yù)訓(xùn)練多模態(tài)大模型進(jìn)行訓(xùn)練包括：

14、獲取不同教師在不同教室上課的視頻圖像數(shù)據(jù)并進(jìn)行人工標(biāo)注，其中，所述標(biāo)注至少包括與所述提示詞對(duì)應(yīng)的文本描述；

15、基于標(biāo)注后的視頻圖像數(shù)據(jù)對(duì)用于圖像理解的預(yù)訓(xùn)練多模態(tài)大模型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，生成所述教師上下課狀態(tài)檢測(cè)大模型。

16、在一些實(shí)施例中，所述基于所述教師上下課狀態(tài)數(shù)據(jù)分析所述教師的上下課狀態(tài)并按第二預(yù)設(shè)規(guī)則執(zhí)行對(duì)應(yīng)措施包括：

17、獲取所述教師的課程信息；

18、基于所述教師上下課狀態(tài)數(shù)據(jù)和所述課程信息確定所述教師與所述目標(biāo)評(píng)估模式對(duì)應(yīng)的評(píng)估指標(biāo)的評(píng)估指標(biāo)值；

19、匯總并分析所述評(píng)估指標(biāo)值，并對(duì)預(yù)設(shè)評(píng)估指標(biāo)未達(dá)到設(shè)定標(biāo)準(zhǔn)的所述教師根據(jù)第二預(yù)設(shè)規(guī)則提出改進(jìn)措施。

20、在一些實(shí)施例中，所述評(píng)估指標(biāo)值包括教學(xué)互動(dòng)率數(shù)據(jù)，其中，所述教學(xué)互動(dòng)率數(shù)據(jù)由所述教師上下課狀態(tài)檢測(cè)大模型基于所述教師在所述視頻圖像數(shù)據(jù)中活動(dòng)軌跡的變化確定。

21、在一些實(shí)施例中，所述教學(xué)互動(dòng)率數(shù)據(jù)由所述教師上下課狀態(tài)檢測(cè)大模型基于所述教師在所述視頻圖像數(shù)據(jù)中活動(dòng)軌跡的變化確定包括：

22、從預(yù)設(shè)提示詞集合中選擇與確定教師位置檢測(cè)框相關(guān)的提示詞，所述教師上下課狀態(tài)檢測(cè)大模型基于所述提示詞提取所述教師在每個(gè)視頻幀圖像中的坐標(biāo)數(shù)據(jù)；

23、基于所述坐標(biāo)數(shù)據(jù)，按第三預(yù)設(shè)規(guī)則確定所述教師在課堂上的活動(dòng)區(qū)域，并在連續(xù)的所述視頻幀圖像中基于所述活動(dòng)區(qū)域確定所述教師的活動(dòng)軌跡；

24、分析所述活動(dòng)軌跡的變化，基于第四預(yù)設(shè)規(guī)則給出相應(yīng)的教學(xué)互動(dòng)率分值。

25、本公開(kāi)實(shí)施例的第二方面提供了一種教師上下課狀態(tài)檢測(cè)裝置，包括：

26、數(shù)據(jù)獲取模塊，用于獲取教學(xué)區(qū)域的視頻圖像數(shù)據(jù)，確定提示詞集合和教師上下課狀態(tài)檢測(cè)大模型；

27、狀態(tài)評(píng)估模塊，用于將所述視頻圖像數(shù)據(jù)輸入所述教師上下課狀態(tài)檢測(cè)大模型，從所述提示詞集合中基于第一預(yù)設(shè)規(guī)則選擇提示詞，基于所述提示詞獲取所述教師上下課狀態(tài)檢測(cè)大模型輸出的教師上下課狀態(tài)數(shù)據(jù)，其中，所述教師上下課狀態(tài)檢測(cè)大模型由用于圖像理解的多模態(tài)大模型優(yōu)化而成；

28、數(shù)據(jù)分析模塊，用于基于所述教師上下課狀態(tài)數(shù)據(jù)分析所述教師的上下課狀態(tài)，并按第二預(yù)設(shè)規(guī)則執(zhí)行對(duì)應(yīng)措施。

29、本公開(kāi)實(shí)施例的第三方面提供了一種教師上下課狀態(tài)檢測(cè)系統(tǒng)，包括與圖像獲取設(shè)備和教務(wù)系統(tǒng)數(shù)據(jù)連接的教師上下課狀態(tài)檢測(cè)設(shè)備，

30、所述圖像獲取設(shè)備用于獲取教學(xué)區(qū)域的視頻圖像數(shù)據(jù)；

31、所述教師上下課狀態(tài)檢測(cè)設(shè)備包含教師上下課狀態(tài)檢測(cè)大模型，所述教師上下課狀態(tài)檢測(cè)大模型獲取所述視頻圖像數(shù)據(jù)并基于提示詞生成教師上下課狀態(tài)數(shù)據(jù)；

32、所述教師上下課狀態(tài)檢測(cè)設(shè)備還用于基于從所述教務(wù)系統(tǒng)獲取的課程信息以及所述教師上下課狀態(tài)數(shù)據(jù)確定與目標(biāo)評(píng)估模式對(duì)應(yīng)的教師上下課評(píng)估指標(biāo)值。

33、綜上所述，本公開(kāi)各實(shí)施例提供的教師上下課狀態(tài)檢測(cè)方法、裝置和系統(tǒng)，通過(guò)定制的教師上下課狀態(tài)檢測(cè)大模型對(duì)教室上課視頻基于提示詞進(jìn)行教師上下課狀態(tài)評(píng)估，可以自動(dòng)獲取并搜集教師上下課狀態(tài)評(píng)估指標(biāo)值并且可以與教務(wù)系統(tǒng)對(duì)接，自動(dòng)匯總，針對(duì)教學(xué)活動(dòng)薄弱項(xiàng)智進(jìn)行能化分析，提出改進(jìn)措施。同時(shí)所述教師上下課狀態(tài)檢測(cè)大模型是對(duì)用于圖像理解的多模態(tài)大模型針對(duì)特定目標(biāo)評(píng)估模式微調(diào)優(yōu)化而成，因此針對(duì)特定目標(biāo)評(píng)估模式比單純的基于視覺(jué)檢測(cè)的方法可以獲得更準(zhǔn)確的評(píng)估結(jié)果。

技術(shù)特征：

1.一種教師上下課狀態(tài)檢測(cè)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述方法，其特征在于，所述確定提示詞集合和教師上下課狀態(tài)檢測(cè)大模型包括：

3.根據(jù)權(quán)利要求2所述方法，其特征在于，所述從所述提示詞集合中基于第一預(yù)設(shè)規(guī)則選擇提示詞之前，還包括：

4.根據(jù)權(quán)利要求2所述方法，其特征在于，所述教師上下課狀態(tài)檢測(cè)大模型由用于圖像理解的多模態(tài)大模型優(yōu)化而成包括：

5.根據(jù)權(quán)利要求4所述方法，其特征在于，所述基于所述教學(xué)區(qū)域的教學(xué)視頻數(shù)據(jù)對(duì)用于圖像理解的預(yù)訓(xùn)練多模態(tài)大模型進(jìn)行訓(xùn)練包括：

6.根據(jù)權(quán)利要求2所述方法，其特征在于，所述基于所述教師上下課狀態(tài)數(shù)據(jù)分析所述教師的上下課狀態(tài)并按第二預(yù)設(shè)規(guī)則執(zhí)行對(duì)應(yīng)措施包括：

7.根據(jù)權(quán)利要求6所述方法，其特征在于：

8.根據(jù)權(quán)利要求7所述方法，其特征在于，所述教學(xué)互動(dòng)率數(shù)據(jù)由所述教師上下課狀態(tài)檢測(cè)大模型基于所述教師在所述視頻圖像數(shù)據(jù)中活動(dòng)軌跡的變化確定包括：

9.一種教師上下課狀態(tài)檢測(cè)裝置，其特征在于，包括：

10.一種教師上下課狀態(tài)檢測(cè)系統(tǒng)，包括與圖像獲取設(shè)備和教務(wù)系統(tǒng)數(shù)據(jù)連接的教師上下課狀態(tài)檢測(cè)設(shè)備，其特征在于：

技術(shù)總結(jié)
本公開(kāi)屬于智慧教育領(lǐng)域，具體涉及一種教師上下課狀態(tài)檢測(cè)方法、裝置和系統(tǒng)。其中所述方法包括：獲取教學(xué)區(qū)域的視頻圖像數(shù)據(jù)，確定提示詞集合和教師上下課狀態(tài)檢測(cè)大模型；將所述視頻圖像數(shù)據(jù)輸入所述教師上下課狀態(tài)檢測(cè)大模型，從所述提示詞集合中基于第一預(yù)設(shè)規(guī)則選擇提示詞，基于所述提示詞獲取所述教師上下課狀態(tài)檢測(cè)大模型輸出的教師上下課狀態(tài)數(shù)據(jù)；基于所述教師上下課狀態(tài)數(shù)據(jù)分析所述教師的上下課狀態(tài)，并按第二預(yù)設(shè)規(guī)則執(zhí)行對(duì)應(yīng)措施。本公開(kāi)提供了一種高度自動(dòng)化、智能化、準(zhǔn)確地教師授課質(zhì)量評(píng)價(jià)方法。

技術(shù)研發(fā)人員：李瑋,李強(qiáng),張姝
受保護(hù)的技術(shù)使用者：德清瀚海智能科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21