確定語義匹配度的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及語義匹配領(lǐng)域，更為具體地，涉及一種確定語義匹配度的方法和裝置。
【背景技術(shù)】
[0002]語義匹配技術(shù)已經(jīng)成為自然語言處理的核心技術(shù)之一，而且已經(jīng)在多個(gè)商業(yè)系統(tǒng)中扮演了重要角色，例如，語音助手(如Siri, GoogleNow)，機(jī)器翻譯(MachineTranslat1n),以及聊天機(jī)器人(如微軟小冰)等。
[0003]現(xiàn)有技術(shù)中，通常把待匹配的各語句分解成多個(gè)詞向量，每個(gè)詞向量具有固定的維數(shù)。在此基礎(chǔ)上，待匹配的語句通過其所含詞向量的線性疊加表示。兩個(gè)語句的語義匹配度被描述成表示該兩個(gè)語句的向量之間的內(nèi)積。
[0004]上述語義匹配方式雖然將語句分解成詞向量，但分解成詞向量的目的是求解整個(gè)語句對應(yīng)的向量，最終仍是從整體上衡量兩個(gè)語句的語義匹配度。這種語句整體匹配的方式將語句的所有信息通過一個(gè)向量表示，往往忽略了語句間局部語段的匹配程度對最終語義匹配結(jié)果的影響，導(dǎo)致匹配結(jié)果不準(zhǔn)確。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例提供一種確定語義匹配度的方法和裝置，以提高語義匹配的準(zhǔn)確度。
[0006]第一方面，提供一種確定語義匹配度的方法，包括:獲取第一語句和第二語句，其中，所述第一語句和所述第二語句為待匹配的語句，所述第一語句包括a個(gè)詞向量，所述第二語句包括b個(gè)詞向量；以所述第一語句中的相鄰的k個(gè)詞向量為單位，將所述第一語句劃分成X個(gè)語句片段，其中，所述X個(gè)語句片段中的第i語句片段包括所述第一語句中的第i個(gè)詞向量至第i+k-Ι個(gè)詞向量，其中X = a-k+Ι ;以所述第二語句中的相鄰的t個(gè)詞向量為單位，將所述第二語句劃分成I個(gè)語句片段，其中，所述I個(gè)語句片段中的第j語句片段包括所述第二語句中的第j個(gè)詞向量至第j+t-Ι個(gè)詞向量，其中y = b-t+Ι ;將所述第一語句的每一語句片段中的詞向量與所述第二語句的每一語句片段中的詞向量進(jìn)行卷積運(yùn)算，得到三維張量，其中，所述三維張量包括X行y列一維向量，所述X行y列一維向量中的第i行第j列一維向量是所述第一語句的第i語句片段中的詞向量和所述第二語句的第j語句片段中的詞向量經(jīng)過所述卷積運(yùn)算后得到的結(jié)果；將所述X行I列一維向量中的相鄰向量進(jìn)行至少一次綜合和/或至少一次篩選，不斷縮減所述三維張量所包含的一維向量的個(gè)數(shù)，直到將所述三維張量合并成一維的目標(biāo)向量；根據(jù)所述目標(biāo)向量，確定所述第一語句和所述第二語句的語義匹配度。
[0007]結(jié)合第一方面，在第一方面的一種實(shí)現(xiàn)方式中，所述將所述第一語句的每一語句片段中的詞向量與所述第二語句的每一語句片段中的詞向量進(jìn)行卷積運(yùn)算，得到三維張量，包括:將所述第一語句的每一語句片段中的k個(gè)詞向量中的元素和所述第二語句的每一語句片段中的t個(gè)詞向量中的元素首尾相連，得到Q個(gè)一維的組合向量，其中Q = xXy ；分別對所述Q個(gè)一維的組合向量進(jìn)行所述卷積運(yùn)算，得到所述三維張量，其中，所述三維張量中的第i行第j列一維向量是所述Q個(gè)一維的組合向量中的組合向量Tu經(jīng)過所述卷積運(yùn)算后得到的結(jié)果，其中，所述組合向量Tu由所述第一語句的第i語句片段中的詞向量和所述第二語句的第j語句片段中的詞向量組合而成。
[0008]結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所述將所述X行y列一維向量中的相鄰向量進(jìn)行至少一次綜合和/或至少一次篩選，不斷縮減所述三維張量所包含的一維向量的個(gè)數(shù)，直到將所述三維張量合并成一維的目標(biāo)向量，包括:將所述X行y列一維向量中的相鄰向量進(jìn)行交替地綜合和篩選，不斷縮減所述三維張量所包含的一維向量的個(gè)數(shù)，直到將所述三維張量合并成所述目標(biāo)向量。
[0009]結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所述將所述X行y列一維向量中的相鄰向量進(jìn)行至少一次綜合和/或至少一次篩選，不斷縮減所述三維張量所包含的一維向量的個(gè)數(shù)，直到將所述三維張量合并成一維的目標(biāo)向量，包括:將所述X行y列一維向量中的相鄰向量進(jìn)行交替地綜合和篩選，不斷縮減所述三維張量所包含的一維向量的個(gè)數(shù)，直到將所述三維張量合并成目標(biāo)張量；將所述目標(biāo)張量包含的一維向量中的元素首尾相連，得到所述目標(biāo)向量。
[0010]結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所述綜合為卷積運(yùn)算，所述篩選為池化運(yùn)算。
[0011]結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所述將所述X行y列一維向量中的相鄰向量進(jìn)行至少一次綜合和/或至少一次篩選，不斷縮減所述三維張量所包含的一維向量的個(gè)數(shù)，直到將所述三維張量合并成一維的目標(biāo)向量，包括:將所述X行y列一維向量中的每相鄰的mXn個(gè)一維向量進(jìn)行所述至少一次綜合和/或至少一次篩選，不斷縮減所述三維張量所包含的一維向量的個(gè)數(shù)，直到將所述三維張量合并成所述目標(biāo)向量，其中，m ^ X, n ^ y0
[0012]結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所述根據(jù)所述目標(biāo)向量，確定所述第一語句和所述第二語句的語義匹配度，包括:根據(jù)所述目標(biāo)向量，通過神經(jīng)網(wǎng)絡(luò)模型，確定所述第一語句和所述第二語句的語義匹配度。
[0013]結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所述根據(jù)所述目標(biāo)向量，通過神經(jīng)網(wǎng)絡(luò)模型，確定所述第一語句和所述第二語句的語義匹配度，包括:根據(jù)所述目標(biāo)向量，通過多層感知機(jī)MLP模型，得到所述第一語句和所述第二語句的語義匹配度。
[0014]結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所述根據(jù)所述目標(biāo)向量，確定所述第一語句和所述第二語句的語義匹配度，包括:根據(jù)所述目標(biāo)向量中各元素的權(quán)重，對所述目標(biāo)向量中的各元素進(jìn)行加權(quán)求和，得到所述第一語句和所述第二語句的語義匹配度。
[0015]第二方面，提供一種確定語義匹配度的裝置，包括:獲取單元，用于獲取第一語句和第二語句，其中，所述第一語句和所述第二語句為待匹配的語句，所述第一語句包括a個(gè)詞向量，所述第二語句包括b個(gè)詞向量；第一劃分單元，用于以所述第一語句中的相鄰的k個(gè)詞向量為單位，將所述第一語句劃分成X個(gè)語句片段，其中，所述X個(gè)語句片段中的第i語句片段包括所述第一語句中的第i個(gè)詞向量至第i+k-Ι個(gè)詞向量，其中X = a-k+Ι ;第二劃分單元，用于以所述第二語句中的相鄰的t個(gè)詞向量為單位，將所述第二語句劃分成y個(gè)語句片段，其中，所述y個(gè)語句片段中的第j語句片段包括所述第二語句中的第j個(gè)詞向量至第j+t-Ι個(gè)詞向量，其中I = b-t+Ι ;運(yùn)算單元，用于將所述第一語句的每一語句片段中的詞向量與所述第二語句的每一語句片段中的詞向量進(jìn)行卷積運(yùn)算，得到三維張量，其中，所述三維張量包括X行y列一維向量，所述X行y列一維向量中的第i行第j列一維向量是所述第一語句的第i語句片段中的詞向量和所述第二語句的第j語句片段中的詞向量經(jīng)過所述卷積運(yùn)算后得到的結(jié)果；合并單元，用于將所述X行I列一維向量中的相鄰向量進(jìn)行至少一次綜合和/或至少一次篩選，不斷縮減所述三維張量所包含的一維向量的個(gè)數(shù)，直到將所述三維張量合并成一維的目標(biāo)向量；確定單元，用于根據(jù)所述目標(biāo)向量，確定所述第一語句和所述第二語句的語義匹配度。
[0016]結(jié)合第二方面，在第二方面的一種實(shí)現(xiàn)方式中，所述運(yùn)算單元具體用于將所述第一語句的每一語句片段中的k個(gè)詞向量中的元素和所述第二語句的每一語句片段中的t個(gè)詞向量中的元素首尾相連，得到Q個(gè)一維的組合向量，其中Q = xXy ;分別對所述Q個(gè)一維的組合向量進(jìn)行所述卷積運(yùn)算，得到所述三維張量，其中，所述三維張量中的第i行第j列一維向量是所述Q個(gè)一維的組合向量中的組合向量T1,經(jīng)過所述卷積運(yùn)算后得到的結(jié)果，其中，所述組合向量T1,由所述第一語句的第i語句片段中的詞向量和所述第二語句的第j語句片段中的詞向量組合而成。
[0017]結(jié)合第二方面或其上述實(shí)現(xiàn)方式的任一種，在第二方面的另一種實(shí)現(xiàn)方式中，所述合并單元具體用于將所述X行y列一維向量中的相鄰向量進(jìn)行交替地綜合和篩選，不斷縮減所述三維張量所包含的一維向量的個(gè)數(shù)，直到將所述三維張量合并成所述目標(biāo)向量。
[0018]結(jié)合第二方面或其上述實(shí)現(xiàn)方式的任一種，在第二方面的另一種實(shí)現(xiàn)方式中，所述合并單元具體用于將所述X行y列一維向量中的相鄰向量進(jìn)行交替地綜合和篩選，不斷縮減所述三維張量所包含的一維向量的個(gè)數(shù)，直到將所述三維張量合并成目標(biāo)張量；將所述目標(biāo)張量包含的一維向量中的元素首尾相連，得到所述目標(biāo)向量。
[0019]結(jié)合第二方面或其上述實(shí)現(xiàn)方式的任一種，在第二方面的另一種實(shí)現(xiàn)方式中，所述綜合為卷積運(yùn)算，所述篩選為池化運(yùn)算。
[0020]結(jié)合第二方面或其上述實(shí)現(xiàn)方式的任一種，在第二方面的另一種實(shí)現(xiàn)方式中，所述合并單元具體用于將所述X行y列一維向量中的每相鄰的mXn個(gè)一維向量進(jìn)行所述至少一次綜合和/或至少一次篩選，不斷縮減所述三維張量所包含的一維向量的個(gè)數(shù)，直到將所述三維張量合并成所述目標(biāo)向量，其中，m ^ X, n ^ y0
[0021]結(jié)合第二方面或其上述實(shí)現(xiàn)方式的任一種，在第二方面的另一種實(shí)現(xiàn)方式中，所述確定單元具體用于根據(jù)所述目標(biāo)向量，通過神經(jīng)網(wǎng)絡(luò)模型，確定所述第一語句和所述第二語句的語義匹配度。
[0022]結(jié)合第二方面或其上述實(shí)現(xiàn)方式的任一種，在第二方面的另一種實(shí)現(xiàn)方式中，所述確定單元具體用于根據(jù)所述目標(biāo)向量，通過多層感知機(jī)MLP模型，得到所述第一語句和所述第二語句的語義匹配度。
[0023]結(jié)合第二方面或其上述實(shí)現(xiàn)方式的任一種，在第二方面的另一種實(shí)現(xiàn)方式中，所述確定單元具體用于根據(jù)所述目標(biāo)向量中各元素的權(quán)重，對所述目標(biāo)向量中的各元素進(jìn)行加權(quán)求和，得到所述第一語句和所述第二語句的語義匹配度。
[0024]本發(fā)明實(shí)