本申請(qǐng)涉及數(shù)據(jù)查詢,特別是涉及一種基于星座數(shù)據(jù)模型的模型訓(xùn)練方法以及數(shù)據(jù)查詢方法。
背景技術(shù):
1、隨著大數(shù)據(jù)時(shí)代的到來,數(shù)據(jù)倉庫作為數(shù)據(jù)存儲(chǔ)和分析的核心工具,其重要性日益凸顯。數(shù)據(jù)倉庫中的多維數(shù)據(jù)模型(如星座數(shù)據(jù)模型)支持復(fù)雜的業(yè)務(wù)分析和決策制定,其中包括多維操作字段(如同比、同期增長(zhǎng)率等)的計(jì)算,這些字段通常涉及mdx(多維表達(dá)式)或用戶自定義的計(jì)算公式,對(duì)于用戶而言,準(zhǔn)確表達(dá)這些查詢需求具有一定的挑戰(zhàn)性。
2、現(xiàn)有的自然語言處理技術(shù),特別是借助大語言模型進(jìn)行的數(shù)據(jù)查詢轉(zhuǎn)換方案,雖然能夠在一定程度上將用戶的自然語言查詢問句轉(zhuǎn)換為數(shù)據(jù)庫查詢語句,但在處理涉及多維操作字段的復(fù)雜查詢時(shí)顯得力不從心。主要原因在于用戶對(duì)于多維操作字段的表述方式多樣且靈活,而現(xiàn)有模型缺乏針對(duì)特定數(shù)據(jù)倉庫多維數(shù)據(jù)模型的深入理解和訓(xùn)練,難以準(zhǔn)確捕捉并解析這些復(fù)雜查詢的意圖,導(dǎo)致生成的查詢語句不準(zhǔn)確,進(jìn)而影響查詢效果。
技術(shù)實(shí)現(xiàn)思路
1、基于此,本申請(qǐng)的目的在于,提供一種基于星座數(shù)據(jù)模型的模型訓(xùn)練方法,顯著提升了數(shù)據(jù)查詢大模型對(duì)復(fù)雜多維查詢的理解識(shí)別能力,能夠支持對(duì)特定的數(shù)據(jù)倉庫的各種復(fù)雜多維查詢。
2、本申請(qǐng)實(shí)施例提供的基于星座數(shù)據(jù)模型的模型訓(xùn)練方法,包括以下步驟:
3、獲取目標(biāo)數(shù)據(jù)倉庫對(duì)應(yīng)的星座數(shù)據(jù)模型中的若干目標(biāo)多維操作字段;所述星座數(shù)據(jù)模型記錄若干數(shù)據(jù)表、各個(gè)數(shù)據(jù)表包含的基礎(chǔ)字段以及至少部分基礎(chǔ)字段綁定的多維操作字段;
4、根據(jù)所述若干目標(biāo)多維操作字段構(gòu)建若干第一自然查詢語句;其中,所述第一自然查詢語句包含至少一個(gè)目標(biāo)多維操作字段;
5、針對(duì)每個(gè)所述第一自然查詢語句,生成若干具有相同查詢意圖但表述形式不同的第二自然查詢語句;
6、根據(jù)各個(gè)所述第二自然查詢語句、預(yù)設(shè)的第一任務(wù)執(zhí)行文本以及所述第二自然查詢語句對(duì)應(yīng)的查詢標(biāo)簽信息,構(gòu)建訓(xùn)練數(shù)據(jù)集;其中,所述查詢標(biāo)簽信息包括所述第二自然查詢語句對(duì)應(yīng)的第一自然查詢語句中包含的所述目標(biāo)多維操作字段;所述第一任務(wù)執(zhí)行文本用于提示預(yù)訓(xùn)練文本模型輸出符合所述第二自然查詢語句的查詢意圖的查詢信息,所述查詢信息包括查詢字段;
7、將所述訓(xùn)練數(shù)據(jù)集輸入預(yù)訓(xùn)練文本模型進(jìn)行訓(xùn)練;將訓(xùn)練完成的模型確定為所述目標(biāo)數(shù)據(jù)倉庫對(duì)應(yīng)的數(shù)據(jù)查詢大模型。
8、本申請(qǐng)實(shí)施例還提供了基于本申請(qǐng)實(shí)施例任一項(xiàng)模型訓(xùn)練方法得到的數(shù)據(jù)查詢大模型的數(shù)據(jù)查詢方法,包括以下步驟:
9、獲取用戶在目標(biāo)數(shù)據(jù)倉庫的查詢界面輸入的自然查詢語句;
10、獲取所述目標(biāo)數(shù)據(jù)倉庫對(duì)應(yīng)的星座數(shù)據(jù)模型;根據(jù)所述自然查詢語句從所述星座數(shù)據(jù)模型中確定若干相關(guān)的基礎(chǔ)字段為候選基礎(chǔ)字段;若所述候選基礎(chǔ)字段綁定有多維操作字段,將綁定的多維操作字段確定為候選多維操作字段;
11、根據(jù)所述候選基礎(chǔ)字段、所述候選多維操作字段、所述自然查詢語句以及預(yù)設(shè)的查詢?nèi)蝿?wù)執(zhí)行文本,構(gòu)建任務(wù)處理指令;其中,所述查詢?nèi)蝿?wù)執(zhí)行文本用于提示數(shù)據(jù)查詢大模型輸出符合所述自然查詢語句的查詢意圖的查詢信息,所述查詢信息根據(jù)所述候選基礎(chǔ)字段以及所述候選多維操作字段確定;
12、將所述任務(wù)處理指令輸入至所述目標(biāo)數(shù)據(jù)倉庫對(duì)應(yīng)的數(shù)據(jù)查詢大模型,獲得輸出的查詢信息;
13、根據(jù)所述查詢信息以及所述星座數(shù)據(jù)模型,從所述目標(biāo)數(shù)據(jù)倉庫中查詢得到對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)。
14、本申請(qǐng)實(shí)施例提出的基于星座數(shù)據(jù)模型的模型訓(xùn)練方法,通過集成化、系統(tǒng)化的方法深度整合目標(biāo)數(shù)據(jù)倉庫的星座數(shù)據(jù)模型特性,顯著提升了數(shù)據(jù)查詢大模型在處理復(fù)雜多維查詢?nèi)蝿?wù)時(shí)的理解識(shí)別能力以及綜合能力。該方法的核心在于,充分利用了目標(biāo)數(shù)據(jù)倉庫的星座數(shù)據(jù)模型,特別是其中的多維操作字段,構(gòu)建了一個(gè)高度定制化的訓(xùn)練數(shù)據(jù)集。這一數(shù)據(jù)集不僅反映了數(shù)據(jù)倉庫的具體業(yè)務(wù)邏輯和查詢需求,還通過多樣化的查詢語句構(gòu)建,模擬了用戶在實(shí)際查詢過程中的各種表述習(xí)慣。通過訓(xùn)練數(shù)據(jù)集的訓(xùn)練,預(yù)訓(xùn)練文本模型得以深入學(xué)習(xí)和理解多維操作字段的復(fù)雜性和多樣性,從而能夠更準(zhǔn)確地捕捉用戶的查詢意圖。訓(xùn)練完成后得到的數(shù)據(jù)查詢大模型,能夠生成更加精確、符合用戶需求的查詢信息,特別是對(duì)于涉及復(fù)雜計(jì)算和自定義公式的多維操作字段查詢,其準(zhǔn)確性和效率得到了顯著提升。因此,本申請(qǐng)實(shí)施例的技術(shù)方案不僅在技術(shù)層面實(shí)現(xiàn)了對(duì)現(xiàn)有技術(shù)的突破和創(chuàng)新,更在實(shí)際應(yīng)用中帶來了顯著的效益。為用戶提供了更加便捷、高效的數(shù)據(jù)查詢體驗(yàn),同時(shí)也為企業(yè)和組織的數(shù)據(jù)分析和決策制定提供了強(qiáng)有力的支持。
15、為了更好的理解和實(shí)施,下面結(jié)合附圖詳細(xì)說明本申請(qǐng)。
1.一種基于星座數(shù)據(jù)模型的模型訓(xùn)練方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的基于星座數(shù)據(jù)模型的模型訓(xùn)練方法,其特征在于,所述獲取目標(biāo)數(shù)據(jù)倉庫對(duì)應(yīng)的星座數(shù)據(jù)模型中的若干目標(biāo)多維操作字段步驟之前,包括步驟:
3.根據(jù)權(quán)利要求1所述的基于星座數(shù)據(jù)模型的模型訓(xùn)練方法,其特征在于,所述根據(jù)所述若干目標(biāo)多維操作字段構(gòu)建若干第一自然查詢語句的步驟,包括:
4.根據(jù)權(quán)利要求3所述的基于星座數(shù)據(jù)模型的模型訓(xùn)練方法,其特征在于,所述自然查詢語句模板包括待填寫基礎(chǔ)字段以及多維操作字段的第一自然查詢語句模板;
5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的基于星座數(shù)據(jù)模型的模型訓(xùn)練方法,其特征在于,所述針對(duì)每個(gè)所述第一自然查詢語句,生成若干具有相同查詢意圖但表述形式不同的第二自然查詢語句的步驟,包括:
6.根據(jù)權(quán)利要求5所述的基于星座數(shù)據(jù)模型的模型訓(xùn)練方法,其特征在于,所述第二任務(wù)執(zhí)行文本還用于提示智能語言模型從所述第一自然查詢語句的候選多維操作字段中確定所述第一自然查詢語句中的目標(biāo)多維操作字段,并且生成的與所述第一自然查詢語句具有相同查詢意圖的第二自然查詢語句不包含所述目標(biāo)多維操作字段;
7.根據(jù)權(quán)利要求5所述的基于星座數(shù)據(jù)模型的模型訓(xùn)練方法,其特征在于,至少部分所述第一自然查詢語句包含查詢條件信息,所述查詢條件信息用于限定所述第一自然查詢語句查詢的數(shù)據(jù)需要滿足的條件;所述第二自然查詢語句的查詢標(biāo)簽信息還包括所述第二自然查詢語句對(duì)應(yīng)的第一自然查詢語句中的查詢條件信息;所述第一任務(wù)執(zhí)行文本還用于提示預(yù)訓(xùn)練文本模型輸出的所述查詢信息包括查詢條件信息。
8.根據(jù)權(quán)利要求1所述的基于星座數(shù)據(jù)模型的模型訓(xùn)練方法,其特征在于,所述方法還包括步驟:
9.根據(jù)權(quán)利要求1所述的基于星座數(shù)據(jù)模型的模型訓(xùn)練方法,其特征在于,所述獲取目標(biāo)數(shù)據(jù)倉庫對(duì)應(yīng)的星座數(shù)據(jù)模型中的若干目標(biāo)多維操作字段的步驟之前,包括步驟:
10.一種基于權(quán)利要求1-9任一項(xiàng)方法得到的數(shù)據(jù)查詢大模型的數(shù)據(jù)查詢方法,其特征在于,包括以下步驟: