應(yīng)的哈希碼的高m位，將與所述第二節(jié)點(diǎn)對應(yīng)的哈希碼的高m位相同的第一節(jié)點(diǎn)的第p個(gè)存儲桶中的哈希碼發(fā)送至所述第二節(jié)點(diǎn)，以便所述第二節(jié)點(diǎn)將所述第一節(jié)點(diǎn)的第P個(gè)存儲桶中的哈希碼與具有相同高m位的第二節(jié)點(diǎn)的第q個(gè)存儲桶中的哈希碼存儲在所述第二節(jié)點(diǎn)的第二存儲桶中； 所述第一節(jié)點(diǎn)接收所述第二節(jié)點(diǎn)發(fā)送的第X個(gè)存儲桶中的哈希碼， 其中，所述第一節(jié)點(diǎn)將所述X個(gè)節(jié)點(diǎn)中與所述第一節(jié)點(diǎn)對應(yīng)的具有相同高m位的哈希碼存儲到所述第一節(jié)點(diǎn)的第二存儲桶中，包括: 所述第一節(jié)點(diǎn)將所述第二節(jié)點(diǎn)發(fā)送的所述第X個(gè)存儲桶中的哈希碼與具有相同高m位的所述第一節(jié)點(diǎn)的第y個(gè)存儲桶中的哈希碼存儲在所述第一節(jié)點(diǎn)的第二存儲桶中，使得具有相同高m位的哈希碼唯一對應(yīng)所述X個(gè)節(jié)點(diǎn)中的一個(gè)節(jié)點(diǎn)。3.根據(jù)權(quán)利要求1或2所述的分類方法，其特征在于，還包括: 所述第一節(jié)點(diǎn)將所述第一節(jié)點(diǎn)的第二存儲桶中的哈希碼根據(jù)次高η位存儲到t個(gè)第三個(gè)存儲桶中，其中所述t個(gè)第三存儲桶中的每個(gè)第三存儲桶中的哈希碼具有相同的高m位和次高η位，并且所述t個(gè)第三存儲桶中的不同第三存儲桶中的哈希碼具有不同的高m位和次高η位。4.根據(jù)權(quán)利要求3所述的分類方法，其特征在于，還包括: 所述第一節(jié)點(diǎn)將所述t個(gè)第三存儲桶中的每個(gè)第三存儲桶中的哈希碼排序； 所述第一節(jié)點(diǎn)獲取所述每個(gè)第三存儲桶中的預(yù)設(shè)哈希碼和所述預(yù)設(shè)哈希碼在所述第三存儲桶中的位置信息； 所述第一節(jié)點(diǎn)根據(jù)所述每個(gè)第三存儲桶中的預(yù)設(shè)哈希碼和所述預(yù)設(shè)哈希碼在第三存儲桶中的位置信息生成查找表，以便所述第一節(jié)點(diǎn)根據(jù)所述查找表確定待查找的哈希碼在所述第三存儲桶中的位置。5.根據(jù)權(quán)利要求3或4所述的分類方法，其特征在于，所述η和所述t滿足以下關(guān)系:t = 2n。6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的分類方法，其特征在于，所述待分類數(shù)據(jù)為待分類文本中的多個(gè)單詞，在所述第一節(jié)點(diǎn)將所述主節(jié)點(diǎn)分配的待分類文本中的多個(gè)單詞根據(jù)哈希編碼得到多個(gè)哈希碼之后，所述分類方法還包括: 所述第一節(jié)點(diǎn)確定所述多個(gè)哈希碼分別對應(yīng)的多個(gè)P位碼，所述多個(gè)P位碼分別表示所述多個(gè)哈希碼對應(yīng)的所述多個(gè)單詞的統(tǒng)計(jì)頻次； 所述第一節(jié)點(diǎn)將所述多個(gè)P位碼與對應(yīng)的所述多個(gè)哈希碼分別結(jié)合為多個(gè)第一碼，使得所述多個(gè)P位碼分別為所述多個(gè)第一碼的低P位。7.根據(jù)權(quán)利要求6所述的分類方法，其特征在于，在所述第一節(jié)點(diǎn)將所述X個(gè)節(jié)點(diǎn)中與所述第一節(jié)點(diǎn)對應(yīng)的具有相同高m位的哈希碼存儲到所述第一節(jié)點(diǎn)的第二存儲桶中之后，所述方法還包括: 所述第一節(jié)點(diǎn)將所述第二存儲桶中具有相同哈希碼的第一碼的低P位相加。8.根據(jù)權(quán)利要求2至7中任一項(xiàng)所述的分類方法，其特征在于，在所述第一節(jié)點(diǎn)確定第二節(jié)點(diǎn)對應(yīng)的哈希碼的高m位之前，所述分類方法還包括: 所述第一節(jié)點(diǎn)接收所述主節(jié)點(diǎn)發(fā)送的信息，所述信息指示哈希碼的高m位與所述X個(gè)節(jié)點(diǎn)的對應(yīng)關(guān)系， 其中，所述第一節(jié)點(diǎn)確定所述第二節(jié)點(diǎn)對應(yīng)的哈希碼的高m位包括: 所述第一節(jié)點(diǎn)根據(jù)所述對應(yīng)關(guān)系，確定所述第二節(jié)點(diǎn)對應(yīng)的哈希碼的高m位。9.根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的分類方法，其特征在于，所述s和所述m滿足以下關(guān)系:s = 2m。10.根據(jù)權(quán)利要求1至9中任一項(xiàng)所述的分類方法，其特征在于，所述X和所述m滿足以下關(guān)系:X = 2m。11.一種分類方法，其特征在于，所述分類方法用于分布式系統(tǒng)中，所述分布式系統(tǒng)包括一個(gè)主節(jié)點(diǎn)和X個(gè)節(jié)點(diǎn)，所述分類方法包括: 所述主節(jié)點(diǎn)確定所述X個(gè)節(jié)點(diǎn)存儲的哈希碼的高m位與所述X個(gè)節(jié)點(diǎn)的對應(yīng)關(guān)系，使得具有相同高m位的哈希碼唯一對應(yīng)所述X個(gè)節(jié)點(diǎn)中的一個(gè)節(jié)點(diǎn)； 所述主節(jié)點(diǎn)向所述X個(gè)節(jié)點(diǎn)發(fā)送信息，所述信息用于指示所述哈希碼的高m位與所述X個(gè)節(jié)點(diǎn)的對應(yīng)關(guān)系。12.—種查找方法,其特征在于，所述查找方法用于分布式系統(tǒng)中，所述分布式系統(tǒng)包括一個(gè)主節(jié)點(diǎn)和X個(gè)節(jié)點(diǎn)，所述X個(gè)節(jié)點(diǎn)中的第一節(jié)點(diǎn)根據(jù)權(quán)利要求1至10中任一項(xiàng)所述的分類方法存儲哈希碼，所述查找方法包括: 所述第一節(jié)點(diǎn)接收所述主節(jié)點(diǎn)發(fā)送的待查找的哈希碼； 所述第一節(jié)點(diǎn)根據(jù)所述待查找的哈希碼的高m位查找所述待查找的哈希碼。13.根據(jù)權(quán)利要求12所述的查找方法，其特征在于，所述所述第一節(jié)點(diǎn)根據(jù)所述待查找的哈希碼的高m位查找所述待查找的哈希碼包括: 所述第一節(jié)點(diǎn)根據(jù)所述待查找的哈希碼的高m位和次高η位查找所述待查找的哈希碼。14.一種查找方法,其特征在于，所述查找方法用于分布式系統(tǒng)中，所述分布式系統(tǒng)包括一個(gè)主節(jié)點(diǎn)和X個(gè)節(jié)點(diǎn)，所述主節(jié)點(diǎn)根據(jù)權(quán)利要求11所述的分類方法存儲哈希碼，所述查找方法包括: 所述主節(jié)點(diǎn)對待查找數(shù)據(jù)進(jìn)行哈希編碼得到待查找的哈希碼； 所述主節(jié)點(diǎn)根據(jù)哈希碼的高m位與所述X個(gè)節(jié)點(diǎn)的對應(yīng)關(guān)系確定所述待查找的哈希碼的高m位對應(yīng)的第一節(jié)點(diǎn)，所述第一節(jié)點(diǎn)為所述X個(gè)節(jié)點(diǎn)之一； 所述主節(jié)點(diǎn)將所述待查找的哈希碼發(fā)送至所述第一節(jié)點(diǎn)，以便所述第一節(jié)點(diǎn)查找所述待查找的哈希碼。15.一種節(jié)點(diǎn)設(shè)備，其特征在于，所述節(jié)點(diǎn)設(shè)備用于分布式系統(tǒng)中，所述分布式系統(tǒng)包括一個(gè)主節(jié)點(diǎn)設(shè)備和X個(gè)所述節(jié)點(diǎn)設(shè)備，所述節(jié)點(diǎn)設(shè)備包括: 編碼模塊，用于將所述主節(jié)點(diǎn)分配的待分類數(shù)據(jù)進(jìn)行哈希編碼得到多個(gè)哈希碼； 存儲模塊，用于將所述編碼模塊得到的所述多個(gè)哈希碼根據(jù)高m位存儲到s個(gè)第一存儲桶中，使得所述s個(gè)第一存儲桶中的每個(gè)第一存儲桶中的哈希碼具有相同的高m位，并且所述s個(gè)第一存儲桶中的不同第一存儲桶中的哈希碼具有不同的高m位； 交互模塊，用于與所述X個(gè)節(jié)點(diǎn)設(shè)備中的第二節(jié)點(diǎn)設(shè)備交換各自的s個(gè)第一存儲桶中的哈希碼，使得所述X個(gè)節(jié)點(diǎn)設(shè)備中的每個(gè)節(jié)點(diǎn)設(shè)備的第二存儲桶存儲所述X個(gè)節(jié)點(diǎn)設(shè)備中的具有相同高m位的哈希碼，并且所述X個(gè)節(jié)點(diǎn)設(shè)備中的不同節(jié)點(diǎn)設(shè)備的第二存儲桶存儲的哈希碼具有不同的高m位， 其中，所述存儲模塊還用于將所述X個(gè)節(jié)點(diǎn)中與所述節(jié)點(diǎn)設(shè)備對應(yīng)的具有相同高m位的哈希碼存儲到所述節(jié)點(diǎn)設(shè)備的第二存儲桶中。16.根據(jù)權(quán)利要求15所述的節(jié)點(diǎn)設(shè)備，其特征在于，還包括: 確定模塊，用于確定所述第二節(jié)點(diǎn)設(shè)備對應(yīng)的哈希碼的高m位； 所述交互模塊包括: 發(fā)送單元，用于將與所述第二節(jié)點(diǎn)設(shè)備對應(yīng)的哈希碼的高m位相同的所述節(jié)點(diǎn)設(shè)備的第P個(gè)存儲桶中的哈希碼發(fā)送至所述第二節(jié)點(diǎn)設(shè)備，以便所述第二節(jié)點(diǎn)設(shè)備將所述節(jié)點(diǎn)設(shè)備的第P個(gè)存儲桶中的哈希碼與具有相同高m位的所述第二節(jié)點(diǎn)設(shè)備的第q個(gè)存儲桶中的哈希碼存儲在所述第二節(jié)點(diǎn)設(shè)備的第二存儲桶中； 接收單元，用于接收所述第二節(jié)點(diǎn)設(shè)備發(fā)送的第X個(gè)存儲桶中的哈希碼， 其中，所述存儲模塊具體用于:將所述接收單元接收的所述第二節(jié)點(diǎn)設(shè)備發(fā)送的第X個(gè)存儲桶中的哈希碼與具有相同高m位的所述節(jié)點(diǎn)設(shè)備的第y個(gè)存儲桶中的哈希碼存儲在所述節(jié)點(diǎn)設(shè)備的第二存儲桶中，使得具有相同高m位的哈希碼唯一對應(yīng)所述X個(gè)節(jié)點(diǎn)設(shè)備中的一個(gè)節(jié)點(diǎn)設(shè)備。17.根據(jù)權(quán)利要求15或16所述的節(jié)點(diǎn)設(shè)備，其特征在于，所述存儲模塊還用于:將所述節(jié)點(diǎn)設(shè)備的第二存儲桶中的哈希碼根據(jù)次高η位存儲到t個(gè)第三個(gè)存儲桶中，其中所述t個(gè)第三存儲桶中的每個(gè)第三存儲桶中的哈希碼具有相同的高m位和次高η位，并且所述t個(gè)第三存儲桶中的不同第三存儲桶中的哈希碼具有不同的高m位和次高η位。18.根據(jù)權(quán)利要求17所述的節(jié)點(diǎn)設(shè)備，其特征在于，還包括: 查找表模塊:用于將所述t個(gè)第三存儲桶中的每個(gè)第三存儲桶中的哈希碼排序；獲取所述每個(gè)第三存儲桶中的預(yù)設(shè)哈希碼和所述預(yù)設(shè)哈希碼在所述第三存儲桶中的位置信息；根據(jù)所述每個(gè)第三存儲桶中的預(yù)設(shè)哈希碼和所述預(yù)設(shè)哈希碼在所述第三存儲桶中的位置信息生成查找表，以便所述節(jié)點(diǎn)設(shè)備根據(jù)所述查找表確定待查找的哈希碼在所述第三存儲桶中的位置。19.根據(jù)權(quán)利要求17或18所述的節(jié)點(diǎn)設(shè)備，其特征在于，所述η和所述t滿足以下關(guān)系:t = 2n。20.根據(jù)權(quán)利要求15至19中任一項(xiàng)所述的節(jié)點(diǎn)設(shè)備，其特征在于，所述待分類數(shù)據(jù)為待分類文本中的多個(gè)單詞，所述編碼模塊還用于:在將所述主節(jié)點(diǎn)分配的待分類文本中的多個(gè)單詞進(jìn)行哈希編碼得到多個(gè)哈希碼之后，確定所述多個(gè)哈希碼分別對應(yīng)的多個(gè)P位碼，所述多個(gè)P位碼分別表示所述多個(gè)哈希碼對應(yīng)的的所述多個(gè)單詞的統(tǒng)計(jì)頻次；將所述多個(gè)P位碼與所述多個(gè)哈希碼分別結(jié)合為多個(gè)第一碼，使得所述多個(gè)P位碼分別為所述多個(gè)第一碼的低P位。21.根據(jù)權(quán)利要求20所述的節(jié)點(diǎn)設(shè)備，其特征在于，所述存儲模塊還用于:在將所述X個(gè)節(jié)點(diǎn)中與所述節(jié)點(diǎn)設(shè)備對應(yīng)的具有相同高m位的哈希碼存儲到所述節(jié)點(diǎn)設(shè)備的第二存儲桶中之后，將所述第二存儲桶中具有相同哈希碼的第一碼的低P位相加。22.根據(jù)權(quán)利要求16至21中任一項(xiàng)所述的節(jié)點(diǎn)設(shè)備，其特征在于，所述接收單元還用于:在所述確定模塊確定所述第二節(jié)點(diǎn)設(shè)備對應(yīng)的哈希碼的高m位之前接收所述主節(jié)點(diǎn)設(shè)備發(fā)送的信息，所述信息指示哈希碼的高m位與所述X個(gè)節(jié)點(diǎn)設(shè)備的對應(yīng)關(guān)系； 所述確定模塊具體用于:根據(jù)所述對應(yīng)關(guān)系，確定所述第二節(jié)點(diǎn)設(shè)備對應(yīng)的哈希碼的高m位。23.根據(jù)權(quán)利要求15至22中任一項(xiàng)所述的節(jié)點(diǎn)設(shè)備，其特征在于，所述s和所述m滿足以下關(guān)系:s = 2m。24.根據(jù)權(quán)利要求15至23中任一項(xiàng)所述的節(jié)點(diǎn)設(shè)備，其特征在于，所述X和所述m滿足以下關(guān)系.Λ = 2m。25.—種主節(jié)點(diǎn)設(shè)備，其特征在于，所述主節(jié)點(diǎn)設(shè)備用于分布式系統(tǒng)中，所述分布式系統(tǒng)包括一個(gè)主節(jié)點(diǎn)和X個(gè)節(jié)點(diǎn)設(shè)備，所述主節(jié)點(diǎn)設(shè)備包括: 確定模塊，用于確定所述X個(gè)節(jié)點(diǎn)設(shè)備存儲的哈希碼的高m位與所述X個(gè)節(jié)點(diǎn)設(shè)備的對應(yīng)關(guān)系，使得具有相同高m位的哈希碼唯一對應(yīng)所述X個(gè)節(jié)點(diǎn)設(shè)備中的一個(gè)節(jié)點(diǎn)設(shè)備； 發(fā)送模塊，用于向所述X個(gè)節(jié)點(diǎn)設(shè)備發(fā)送信息，所述信息用于指示所述確定模塊確定的哈希碼的高m位與所述X個(gè)節(jié)點(diǎn)設(shè)備的對應(yīng)關(guān)系。26.—種節(jié)點(diǎn)設(shè)備，其特征在于，所述節(jié)點(diǎn)設(shè)備如權(quán)利要求15至24中任一項(xiàng)所述的節(jié)點(diǎn)設(shè)備， 所述交互模塊還用于:接收主節(jié)點(diǎn)設(shè)備發(fā)送的待查找的哈希碼； 所述節(jié)點(diǎn)設(shè)備還包括: 查找模塊，用于根據(jù)所述交互模塊接收到的所述待查找的哈希碼的高m位查找所述待查找的哈希碼。27.根據(jù)權(quán)利要求26所述的節(jié)點(diǎn)設(shè)備，其特征在于，所述查找模塊具體用于:根據(jù)所述待查找的哈希碼的高m位和次高η位查找所述待查找的哈希碼。28.—種主節(jié)點(diǎn)設(shè)備，其特征在于，所述主節(jié)點(diǎn)設(shè)備如權(quán)利要求25所述的主節(jié)點(diǎn)設(shè)備，所述主節(jié)點(diǎn)設(shè)備還包括: 編碼模塊，用于對待查找數(shù)據(jù)進(jìn)行哈希編碼得到待查找的哈希碼， 其中，所述確定模塊還用于根據(jù)哈希碼的高m位與所述X個(gè)節(jié)點(diǎn)設(shè)備的對應(yīng)關(guān)系確定所述待查找的哈希碼對應(yīng)的第一節(jié)點(diǎn)設(shè)備， 所述發(fā)送模塊還用于將所述待查找的哈希碼發(fā)送至所述第一節(jié)點(diǎn)設(shè)備，以便所述第一節(jié)點(diǎn)設(shè)備查找所述待查找的哈希碼。
【專利摘要】本發(fā)明實(shí)施例提供了一種分類方法、查找方法和設(shè)備。該分類方法用于包括X個(gè)節(jié)點(diǎn)和一個(gè)主節(jié)點(diǎn)的分布式系統(tǒng)中，該分類方法包括：第一節(jié)點(diǎn)將主節(jié)點(diǎn)分配的待分類數(shù)據(jù)進(jìn)行哈希編碼得到哈希碼，第一節(jié)點(diǎn)為該X個(gè)節(jié)點(diǎn)之一；第一節(jié)點(diǎn)將多個(gè)哈希碼根據(jù)高m位存儲到第一節(jié)點(diǎn)的s個(gè)第一存儲桶中，使得s個(gè)第一存儲桶中的每個(gè)第一存儲桶中的哈希碼的具有相同的高m位，并且s個(gè)第一存儲桶中的不同第一存儲桶中的哈希碼具有不同的高m位；第一節(jié)點(diǎn)與X個(gè)節(jié)點(diǎn)中的第二節(jié)點(diǎn)交換各自的s個(gè)第一存儲桶中的哈希碼，使得具有相同高m位的哈希碼唯一對應(yīng)所述X個(gè)節(jié)點(diǎn)中的一個(gè)節(jié)點(diǎn)。本發(fā)明實(shí)施例的技術(shù)方案使得在查找時(shí)能夠提高查找速度。
【IPC分類】G06F17/30
【公開號】CN105302838
【申請?zhí)枴緾N201410373639
【發(fā)明人】虞志益, 周力君, 施煒勁, 周海捷
【申請人】華為技術(shù)有限公司, 復(fù)旦大學(xué)
【公開日】2016年2月3日
【申請日】2014年7月31日