專(zhuān)利名稱(chēng)：基于內(nèi)容圖像的文檔檢索方法以及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使用文字處理的圖像檢索文檔的方法及其裝置。特別涉及文檔的有效的檢索方法及其裝置，在這里所述的文檔還包括構(gòu)筑在WWW上的Web文檔。另外，所謂圖像包括照片、畫(huà)面、圖表、表格、曲線圖、符號(hào)等在文檔中出現(xiàn)的各種內(nèi)容。
背景技術(shù)：
以往，在特定領(lǐng)域，例如專(zhuān)利或者醫(yī)療領(lǐng)域等中，對(duì)過(guò)去的文檔例進(jìn)行檢索從專(zhuān)利的新穎性檢查或者類(lèi)似病例的檢查等的觀點(diǎn)出發(fā)是必不可少的，當(dāng)前正在積極研究開(kāi)發(fā)。另一方面，最近，正在開(kāi)發(fā)用于從網(wǎng)絡(luò)等的基礎(chǔ)設(shè)施完備的互聯(lián)網(wǎng)或者內(nèi)部網(wǎng)得到個(gè)人所需要的信息的檢索技術(shù)或者軟件。至今為止的檢索技術(shù)的主流主要是假定存在關(guān)鍵詞。即，預(yù)先抽取出文檔文本內(nèi)的多個(gè)文件關(guān)鍵詞或者文檔圖像的標(biāo)題內(nèi)的關(guān)鍵詞，預(yù)先把該關(guān)鍵詞與文檔相對(duì)應(yīng)存儲(chǔ)。而且，在檢索時(shí)，使用其所存儲(chǔ)的對(duì)應(yīng)，根據(jù)所提供的關(guān)鍵詞抽取出認(rèn)為是類(lèi)似的內(nèi)容的文檔(特開(kāi)2000-067066「文檔圖像管理方法、文檔圖像檢索方法、文檔圖像管理系統(tǒng)以及存儲(chǔ)媒體」)。
以上說(shuō)明的文檔檢索方法通常大多是根據(jù)多個(gè)關(guān)鍵詞的檢索頻率等進(jìn)行類(lèi)似度計(jì)算，按照其值的順序顯示文檔名或者Web文檔的URL。在這種情況下，需要一個(gè)一個(gè)地打開(kāi)文檔的文件，檢查是否是希望對(duì)內(nèi)容進(jìn)行斟酌的文檔，其工時(shí)非常大。即，在文檔檢索中，為了斟酌內(nèi)容需要一次讀入文檔，目前為止不能實(shí)現(xiàn)內(nèi)容的一覽性。因此，例如，在特開(kāi)平5-216936「文檔存儲(chǔ)/檢索方法」中，還考慮預(yù)先存儲(chǔ)表示文檔概要的概要圖像，通過(guò)顯示與文檔信息(關(guān)鍵詞)等中的檢索條件一致的文檔的概要圖像，減少其工時(shí)，實(shí)現(xiàn)有效作業(yè)的方法。
另一方面，在圖像檢索中，有預(yù)先用人工把關(guān)鍵詞加入到圖像上的方法，或者從圖像進(jìn)行顏色或形狀的特征抽取，按照其特征檢索類(lèi)似圖像的方法。
如以上所說(shuō)明的那樣，以往的文檔檢索方法通常大多是根據(jù)多個(gè)關(guān)鍵詞的檢索頻率等進(jìn)行類(lèi)似度計(jì)算，按照其值的順序顯示檢索出的文檔名或者Web文檔的URL。在這種情況下，需要一個(gè)一個(gè)地打開(kāi)文檔的文件，檢查是否是希望對(duì)內(nèi)容進(jìn)行斟酌的文檔。其工時(shí)非常大。即，在文檔檢索中為了斟酌內(nèi)容需要一次讀入文檔，目前為止不能夠?qū)崿F(xiàn)內(nèi)容的一覽性。為此，雖然也有特開(kāi)05-216936那樣的預(yù)先生成概要圖像的方法，然而，在其生成需要花費(fèi)大量的時(shí)間或者成本，或者難以在監(jiān)視器的一個(gè)畫(huà)面上顯示檢索的所有文檔的概要圖像等理由下，不能夠完全地解決問(wèn)題。進(jìn)而，在一般的關(guān)鍵詞中，常常并不能夠有效地檢索所需要的文檔。這是因?yàn)橐话銉H按照文檔內(nèi)的關(guān)鍵詞的頻率，常常難以正確地近似其內(nèi)容，因此并不能夠僅檢測(cè)內(nèi)容類(lèi)似的文章。

發(fā)明內(nèi)容
為了解決這樣的課題，在本發(fā)明中，首先把文檔置換為一覽性高的圖像。即，把文檔類(lèi)的照片、圖、表等圖像作為該文檔的鍵圖像。輸入使用了一個(gè)或者多個(gè)該鍵圖像的檢索邏輯式，在顯示畫(huà)面內(nèi)例如三維地顯示所有包含滿足檢索邏輯式的類(lèi)似圖像的文檔內(nèi)的圖像。而且，如果檢索者選擇所顯示的鍵圖像，則顯示包括其鍵圖像的文檔內(nèi)容。
本發(fā)明更具體的方法是在包括圖像的文檔檢索方法中，特征是具有使文檔的數(shù)據(jù)與該文檔中的圖像的數(shù)據(jù)相對(duì)應(yīng)的第1步驟；把規(guī)定圖像指定為鍵圖像的第2步驟；使用上述指定的鍵圖像和運(yùn)算符設(shè)定檢索式的第3步驟；顯示通過(guò)基于上述檢索式的檢索抽取出的多個(gè)圖像的第4步驟；從上述顯示的圖像指定任意圖像的第5步驟；顯示與上述指定了的圖像相對(duì)應(yīng)的文檔的第6步驟。
另外，在上述第1步驟中，具有在電子文檔中通過(guò)其代碼內(nèi)容的分析自動(dòng)地進(jìn)行對(duì)應(yīng)的步驟；在圖像文檔中通過(guò)圖像處理自動(dòng)地進(jìn)行對(duì)應(yīng)的步驟。即，在使文檔的數(shù)據(jù)與該文檔內(nèi)的圖像的數(shù)據(jù)相對(duì)應(yīng)時(shí)，有文檔是電子(HTML等的文本代碼等)數(shù)據(jù)的情況和圖像數(shù)據(jù)(用掃描儀取入的文檔等)的情況。在前者的情況下，通過(guò)分析文本數(shù)據(jù)，明確圖像數(shù)據(jù)的存在及其保存位置。另一方面，在圖像數(shù)據(jù)的情況下，通過(guò)圖像處理，能夠分離文字圖像和圖像數(shù)據(jù)，明確圖像數(shù)據(jù)的存在及其保存位置。
另外，在上述第2步驟中，具有在把應(yīng)該包含在希望檢索的文檔中的圖像指定為鍵圖像時(shí)，用利用了電光元件的掃描儀或者照相機(jī)輸入并指定該圖像的步驟，則能夠把任意的圖像素作為鍵。另外，在上述第3步驟中，具有顯示表示上述鍵圖像的圖標(biāo)和表示上述運(yùn)算符的圖標(biāo)的步驟；從上述顯示的圖標(biāo)選擇構(gòu)成上述檢索式的元素的步驟，則能夠簡(jiǎn)易地生成檢索式。
另外，在本發(fā)明的檢索方法中，在對(duì)象中不僅可以包括與鍵圖像相同的圖像，還可以包括與鍵圖像類(lèi)似的圖像，因此能夠進(jìn)行有效的檢索。
另外，在上述第4步驟中，如果具有把抽取出的多個(gè)圖像分組，顯示各個(gè)組的步驟，則能夠視覺(jué)地把握抽取出的多個(gè)圖像，很容易選擇所希望的圖像。這時(shí)，還能夠從抽取出的圖像檢測(cè)多個(gè)特征量，使用它們的距離進(jìn)行分組。另外，理想的是在由多個(gè)特征量的若干個(gè)軸構(gòu)成的空間中顯示抽取出的圖像。
另外，本發(fā)明的其它方法是在包括圖像的文檔檢索方法中，特征是具有使文檔的數(shù)據(jù)與該文檔中的圖像的數(shù)據(jù)相對(duì)應(yīng)的步驟；把規(guī)定圖像指定為鍵圖像的步驟；從上述圖像的數(shù)據(jù)中抽取出與上述鍵圖像類(lèi)似的多個(gè)圖像的步驟；顯示上述抽取出的多個(gè)圖像的步驟；從上述顯示的圖像指定任意的圖像的步驟；顯示與上述指定的圖像相對(duì)應(yīng)的文檔的步驟。
作為上述鍵圖像能夠指定多個(gè)圖像。對(duì)于鍵圖像的每一個(gè)，如果從圖像的數(shù)據(jù)抽取出與鍵圖像類(lèi)似的圖像群，則能夠針對(duì)每一個(gè)鍵圖像抽取由多個(gè)圖像構(gòu)成的圖像群(組)。還能夠顯示這些組的邏輯和或邏輯積。
為了顯示所希望的圖像，顯示表示多個(gè)鍵圖像的圖標(biāo)以及表示邏輯運(yùn)算符的圖標(biāo)，把所顯示的圖標(biāo)組合起來(lái)設(shè)定檢索式，根據(jù)檢索式能夠顯示圖像，能夠提高操作性。
作為圖像圖標(biāo)，既能夠使用圖像本身，也能夠使用把圖像縮小了的圖像或者簡(jiǎn)化了的符號(hào)。
作為邏輯運(yùn)算符，能夠使用表示邏輯積(AND)的圖標(biāo)以及表示邏輯和(OR)的圖標(biāo)。根據(jù)情況，也可以使用(NAND)(NOR)等其它的運(yùn)算符。把所顯示的圖標(biāo)組合起來(lái)設(shè)定檢索式，根據(jù)檢索式，進(jìn)行從多個(gè)鍵圖像抽取出的多個(gè)圖像群相互的集合運(yùn)算，把集合運(yùn)算的結(jié)果顯示為抽取出的多個(gè)圖像。作為顯示方法，能夠在三維空間中根據(jù)各圖像具有的特征量顯示所抽取的多個(gè)圖像。
本發(fā)明的裝置是在包括圖像的文檔檢索裝置中，特征是具有對(duì)文檔的數(shù)據(jù)與該文檔中的圖像的數(shù)據(jù)的對(duì)應(yīng)關(guān)系進(jìn)行存儲(chǔ)的存儲(chǔ)裝置；把規(guī)定圖像指定為鍵圖像的鍵圖像指定裝置；從上述圖像的數(shù)據(jù)抽取出與上述鍵圖像類(lèi)似的多個(gè)圖像的處理裝置；顯示上述抽取出的多個(gè)圖像的圖像顯示裝置；從上述顯示的圖像指定任意圖像的圖像指定裝置；顯示與上述指定的圖像相對(duì)應(yīng)的文檔的文檔顯示裝置。作為存儲(chǔ)裝置，能夠利用硬盤(pán)以外的裝置。鍵圖像指定裝置能夠使用用于讀入鍵圖像的掃描儀、選擇在監(jiān)視器上顯示的圖像或者其圖標(biāo)的指示設(shè)備。
存儲(chǔ)裝置可以存儲(chǔ)文檔的數(shù)據(jù)與文檔中的圖像的數(shù)據(jù)的對(duì)應(yīng)關(guān)系，不一定需要存儲(chǔ)文檔數(shù)據(jù)本身或者圖像數(shù)據(jù)本身。在理想的形態(tài)中，保存成為檢索鍵的圖像數(shù)據(jù)(或者其加工數(shù)據(jù))，對(duì)于文檔數(shù)據(jù)自身，通過(guò)僅存儲(chǔ)其保存位置(訪問(wèn)目標(biāo)，例如地址)，能夠減小存儲(chǔ)裝置的容量。
另外，在其它的形態(tài)中，在具備輸入裝置、顯示裝置、處理裝置以及存儲(chǔ)裝置的文檔檢索裝置，特征是上述存儲(chǔ)裝置是對(duì)文檔的數(shù)據(jù)與該文檔中的圖像的數(shù)據(jù)的對(duì)應(yīng)關(guān)系進(jìn)行存儲(chǔ)的存儲(chǔ)裝置，上述處理裝置進(jìn)行控制使得從上述輸入裝置把規(guī)定圖像指定為鍵圖像，從上述存儲(chǔ)裝置抽取出與上述鍵圖像類(lèi)似的多個(gè)圖像，在上述顯示裝置顯示上述抽取出的多個(gè)圖像，由上述輸入裝置從上述顯示的圖像指定任意的圖像，在上述顯示裝置顯示與上述指定的圖像相對(duì)應(yīng)的文檔。作為輸入裝置，能夠使用鼠標(biāo)等指示設(shè)備、掃描儀、鍵盤(pán)等。顯示裝置能夠使用一臺(tái)或者多臺(tái)顯示器或者打印機(jī)等輸出裝置。作為處理裝置，既能夠用專(zhuān)用的硬件構(gòu)成，也能夠用在通用的處理器上動(dòng)作的軟件實(shí)現(xiàn)。
進(jìn)而，在本發(fā)明中，具有連接于網(wǎng)絡(luò)的接口，訪問(wèn)存在于網(wǎng)絡(luò)上所連接的其它存儲(chǔ)裝置中的文檔，取得表示該文檔存在位置的地址和存在于該文檔內(nèi)的圖像的數(shù)據(jù)，使它們相對(duì)應(yīng)地存儲(chǔ)在上述存儲(chǔ)裝置中。根據(jù)該形態(tài)，能夠作為互聯(lián)網(wǎng)等的檢索引擎加以利用。這時(shí)，所存儲(chǔ)的圖像可以是圖像本身，而如果是數(shù)據(jù)壓縮了的圖像或者簡(jiǎn)化了的圖像，則能夠有效地利用存儲(chǔ)裝置的容量。
一般，像專(zhuān)利文檔的例子那樣，文檔的內(nèi)容大多顯著地表現(xiàn)在其內(nèi)部包括的照片、圖、表中。即，希望在文檔中強(qiáng)調(diào)的事項(xiàng)或者希望讓人了解的部分成為在視覺(jué)上強(qiáng)調(diào)的圖像的情況較多，在最近的文獻(xiàn)中幾乎不存在沒(méi)有圖像的文獻(xiàn)。在這樣的理由下，表現(xiàn)文檔內(nèi)容的最佳方法是用包含在其文檔中的圖像的集合進(jìn)行表現(xiàn)。為此，在本發(fā)明中，根據(jù)多個(gè)內(nèi)部圖像表現(xiàn)文檔，通過(guò)使用這些圖像提高檢索率。另外，通過(guò)在顯示畫(huà)面上三維地顯示利這些圖像檢索的文檔內(nèi)的圖像群，能夠?qū)崿F(xiàn)一覽性。另外，通過(guò)輸入使用了一個(gè)或者多個(gè)該鍵圖像的檢索邏輯式，能夠進(jìn)行基于各種檢索條件的檢索。另外，如果在該檢索邏輯式中包括文本(關(guān)鍵詞)并與以往技術(shù)組合起來(lái)，則能夠?qū)崿F(xiàn)基于圖像和關(guān)鍵詞的檢索，能夠進(jìn)行更高精度的檢索。


圖1是表示作為本發(fā)明實(shí)施方式中的文檔檢索裝置的結(jié)構(gòu)的一個(gè)例子和希望檢索的網(wǎng)絡(luò)上的文檔的概念圖。
圖2是表示圖1的處理裝置11的具體處理例的流程圖。
圖3是表示文檔檢索裝置1的處理中的數(shù)據(jù)的關(guān)系或者數(shù)據(jù)的對(duì)應(yīng)的概念圖。
圖4是表示圖1的處理裝置11內(nèi)的檢索文檔與圖像的對(duì)應(yīng)的處理步驟的流程圖。
圖5是表示圖1的處理裝置內(nèi)要檢索的圖像例的提示的處理步驟的流程圖。
圖6是表示圖1的處理裝置11內(nèi)的使用了提示圖像的檢索邏輯式的輸入的處理步驟的流程圖。
圖7是表示圖1的處理裝置11內(nèi)的使用了提示圖像的檢索邏輯式的輸入的處理步驟中的用于選擇檢索鍵圖像和檢索邏輯符號(hào)的窗口例以及檢索邏輯式例的概念圖。
圖8是表示利用圖1的處理裝置11的類(lèi)似度的圖像的一覽顯示的處理步驟的流程圖。
圖9是表示圖1的處理裝置11的特定圖像的指示與對(duì)應(yīng)文檔的顯示的處理步驟的流程圖。
具體實(shí)施例方式
在本發(fā)明中，以在PC等計(jì)算機(jī)上工作的檢索軟件作為具體的方式。即，由PC等計(jì)算機(jī)、顯示裝置、鼠標(biāo)等指示裝置、圖像的輸入裝置以及存儲(chǔ)圖像或者文檔的存儲(chǔ)裝置構(gòu)成。作為希望檢索的文檔，假設(shè)為連接到網(wǎng)絡(luò)上的文件內(nèi)的文檔，例如，互聯(lián)網(wǎng)上的主頁(yè)等文檔。
實(shí)施例1參照附圖詳細(xì)地說(shuō)明本發(fā)明的實(shí)施方式。
圖1表示本實(shí)施方式中的互聯(lián)網(wǎng)上的文檔檢索的結(jié)構(gòu)的一個(gè)例子。本例的文檔檢索裝置1由用于實(shí)現(xiàn)本方法的文檔檢索的處理裝置11、存儲(chǔ)裝置12、顯示裝置和鼠標(biāo)等指示裝置13、掃描儀等輸入裝置14構(gòu)成。在該例子中，文檔檢索裝置1用互聯(lián)網(wǎng)或者內(nèi)部網(wǎng)2連接Web書(shū)類(lèi)群3。
圖2具體地表示在圖1的處理裝置中的處理內(nèi)容。
圖3表示了文檔檢索裝置1的處理中的數(shù)據(jù)的關(guān)系或者數(shù)據(jù)的對(duì)應(yīng)。在本檢索方法中按照以下的順序進(jìn)行文檔檢索。以下，一邊參照?qǐng)D2以及圖3一邊進(jìn)行說(shuō)明。
(1)通過(guò)檢索自動(dòng)裝置搜索網(wǎng)絡(luò)上的文檔，抽取其文檔內(nèi)的圖像(文檔內(nèi)的照片、圖、表格等的圖像)，進(jìn)行文檔與圖像的對(duì)應(yīng)(圖2的111步驟1)。而且，其結(jié)果，在圖1的存儲(chǔ)裝置12中，存儲(chǔ)與文檔信息地址群(Web書(shū)類(lèi)的情況下是URL等)121、包含在該書(shū)類(lèi)中的圖像群122、以及使這些信息即文檔信息地址與種類(lèi)內(nèi)圖像相對(duì)應(yīng)的表123。
在圖3的步驟1中模式地示出表123表示的內(nèi)容。在文檔信息地址文件中，保存自動(dòng)裝置搜索到的文檔信息地址群。另外，在圖像文件中保存這里的文檔內(nèi)的圖像。表123是使該文檔信息地址與圖像相對(duì)應(yīng)的表，例如，文檔1有圖像10和圖像11，文檔2有圖像20，文檔3有圖像30和圖像31.以上由自動(dòng)裝置進(jìn)行的搜索、存儲(chǔ)、對(duì)應(yīng)能夠在檢索的空閑時(shí)間或者特定的時(shí)刻預(yù)先進(jìn)行。
(2)在檢索文檔時(shí)，提示表現(xiàn)希望檢索的文檔內(nèi)容的圖像(鍵圖像)(圖2的112步驟2)。作為提示方法，例如，有利用掃描儀等輸入裝置14輸入鍵圖像的方法和從已經(jīng)存在的電子文檔選擇鍵圖像的方法。
在圖3的步驟2中，示出采取了4個(gè)鍵圖像的情況。
(3)接著，輸入使用了鍵圖像的檢索邏輯式(圖2的113步驟3)。例如，在搜索與鍵圖像1相似的圖像和與鍵圖像2相似的圖像的雙方都存在的文檔，或者即使沒(méi)有這些圖像但是有與鍵圖像4相似的圖像的文檔的情況下，檢索邏輯式成為圖3的步驟3的例子。
(4)根據(jù)該檢索邏輯式，首先檢索存儲(chǔ)裝置12內(nèi)的圖像。在圖3的例子的情況下，全部抽取出包括與鍵圖像1相似的圖像的文檔的文檔信息地址和包括與鍵圖像2相似的圖像的文檔的文檔信息地址，檢測(cè)在兩者中都存在的地址。另外，還抽取包括與鍵圖像4相似的圖像的文檔的文檔信息地址，加入到檢索地址中。
(5)其次，關(guān)于與檢索的文檔信息地址對(duì)應(yīng)的各文檔，從存儲(chǔ)裝置12抽取出與鍵圖像1類(lèi)似的圖像、與鍵圖像2類(lèi)似的圖像以及與鍵圖像4類(lèi)似的圖像，在顯示裝置13中，在以順序變化的圖像特征為軸的三維空間內(nèi)分組顯示(圖2的114步驟4)。關(guān)于抽取類(lèi)似圖像的技術(shù)，例如有在特開(kāi)2000-029885中記載的技術(shù)。另外，該顯示方法能夠用在特開(kāi)平10-193838「圖像檢索方法以及裝置」，A.Hiroike，Y.Musha，A.Sugimoto and Y.Mori，“Visualization of informationspaces to retrieve and browse image data，”P(pán)roc.Visua199，Springer-Verlag 155-162，1999等中公開(kāi)的眾所周知的方法實(shí)現(xiàn)。通過(guò)用這種結(jié)構(gòu)進(jìn)行檢索顯示能夠?qū)崿F(xiàn)一覽性。另外，圖3的步驟4表示了該顯示內(nèi)容。
(6)然后，檢索者觀察顯示的圖像，用鼠標(biāo)等指示裝置13選擇希望的圖像后，則參照存儲(chǔ)在存儲(chǔ)裝置12中的對(duì)應(yīng)表，在顯示裝置上顯示包括其圖像的該文檔，能夠確認(rèn)內(nèi)容(圖2的115)。圖3的步驟4的畫(huà)面的右上文檔是其例子。
以上是本檢索方法的概略順序。下面，使用圖4到圖9詳細(xì)地說(shuō)明各步驟的處理內(nèi)容的例子。
圖4是使圖2的111的檢索文檔與圖像的對(duì)應(yīng)具體化的一個(gè)例子，通過(guò)1111，由已有技術(shù)的自動(dòng)檢索裝置搜索Web位置，在1112中，在取得圖1的3所示的主頁(yè)文檔的URL的同時(shí)，取得該文檔內(nèi)的圖像。然后，通過(guò)1113，在圖1的存儲(chǔ)裝置12的文檔信息地址、文檔內(nèi)圖像、文檔信息地址圖像對(duì)應(yīng)表的存儲(chǔ)區(qū)中保存搜索出的URL、對(duì)應(yīng)圖像、對(duì)應(yīng)關(guān)系。然后，順序搜索網(wǎng)絡(luò)直到?jīng)]有新的搜索文檔為止。這樣的處理能夠在檢索的空閑時(shí)間或者預(yù)定的時(shí)刻預(yù)先進(jìn)行。
圖5是使圖2的112的要檢索的鍵圖像例的提示具體化的一個(gè)例子，在1121中，首先選擇是用掃描儀輸入鍵圖像還是使用已經(jīng)存在的電子圖像。在前者的情況下，用圖1的掃描儀輸入裝置14取得鍵圖像。另一方面，在后者的情況下，從網(wǎng)絡(luò)或者計(jì)算機(jī)的存儲(chǔ)媒體選擇出鍵圖像。然后，所選擇的多個(gè)鍵圖像在1124中，在圖1的顯示裝置13上將各鍵圖像作為明確的圖標(biāo)進(jìn)行顯示。
圖6是把使用了圖2的113的鍵圖像的檢索式的輸入具體化的一個(gè)例子，由3個(gè)步驟構(gòu)成。在1131中，首先顯示檢索邏輯符號(hào)的工具箱窗口。
圖7表示了用于選擇檢索鍵圖像和檢索邏輯符號(hào)的窗口的例子以及檢索邏輯式的例子。
在工具箱窗口中，顯示如圖7的右上方所示的那樣的邏輯符號(hào)圖標(biāo)。在1132中，顯示生成檢索邏輯式的作業(yè)窗口。另外，在前面說(shuō)明過(guò)的1124中，檢索圖像的圖標(biāo)顯示在圖7的左上方。在1133中，使用計(jì)算機(jī)中已經(jīng)存在的GUI構(gòu)成檢索式。例如，如圖7的中央圖的例1所示那樣，從各窗口選擇邏輯符號(hào)、括號(hào)和鍵圖像，順序地下落到圖7的下部所示的作業(yè)窗口中。例1的情況表示生成“(鍵圖像1AND鍵圖像2)OR鍵圖像4”這樣的檢索邏輯式的例子。例2是在檢索邏輯式中還加入了表現(xiàn)關(guān)鍵詞的文本代碼的例子。
圖8是在圖2的114中，使根據(jù)檢索邏輯式執(zhí)行與使用了類(lèi)似度的鍵圖像相似的圖像的檢索的方法具體化的一個(gè)例子。首先，為了進(jìn)行按照檢索邏輯式的執(zhí)行，進(jìn)行在計(jì)算器等四則運(yùn)算等中所利用的反波蘭記法(Polish notation)的變換。即，在1114中將圖8的檢索邏輯式變換為按照處理順序(數(shù)據(jù)列、記法的元素(邏輯符號(hào))的對(duì)這樣的順序)新寫(xiě)的反波蘭記法。這些信息以一維地壓棧(push)形式存儲(chǔ)在處理裝置11內(nèi)的暫存單元中。在1142中，首先，取出第1對(duì)(在本例的情況下是鍵圖像1、鍵圖像2與AND邏輯)(出棧(pop))。在1143中，當(dāng)沒(méi)有元素(不能夠出棧時(shí))時(shí)，結(jié)束執(zhí)行檢索邏輯式。在有元素時(shí)，在1144中執(zhí)行與第1對(duì)(在本例的情況下是鍵圖像1、鍵圖像2和AND邏輯)相對(duì)應(yīng)的處理。在該例子的情況下，如在前面說(shuō)明過(guò)的那樣，抽出全部包括與鍵圖像1相似的圖像的文檔的文檔信息地址和包括與鍵圖像2相似的圖像的文檔的文檔信息地址，檢測(cè)兩者中存在的共同地址，存儲(chǔ)其數(shù)據(jù)群A(壓棧)。
其次，取出第2對(duì)(在本例的情況下是當(dāng)前壓棧的信息地址群A、鍵圖像4和OR邏輯)(出棧)。在這次的1144中，把包括與鍵圖像4相似的圖像的文檔的文檔信息地址全部添加到文檔信息地址群A中(OR邏輯)，存儲(chǔ)(壓棧)所添加的文檔信息地址群B。在本例的情況下，由于至此為止結(jié)束了所有的對(duì)，因此在1145中，取出文檔信息地址群B，全部顯示其文檔內(nèi)與鍵圖像1、鍵圖像2、鍵圖像4相似的圖像。另外，作為計(jì)算圖像之間的類(lèi)似度的方法的例子，使用求圖像的各種特征量，按照距離進(jìn)行判定的方法。而且，作為顯示方法，如在前面敘述的那樣，如特開(kāi)平10-193838「圖像檢索方法以及裝置」中所示，邊順序選擇特征量的軸邊進(jìn)行3D顯示。通過(guò)這樣做，能夠?qū)崿F(xiàn)檢索圖像的一覽性。
圖9是使圖2的115的特定圖像指示和與其相對(duì)應(yīng)的文檔的顯示具體化的一個(gè)例子。在1151中，從在1145中3D顯示在顯示裝置13的圖像群中，檢索者選擇有興趣的特定圖像。在1152中，參照文檔信息地址圖像對(duì)應(yīng)表特定與該圖像相對(duì)應(yīng)的文檔。然后，在1153中，在顯示裝置13上顯示對(duì)應(yīng)文檔。通過(guò)這樣做，能夠完全地使文檔檢索裝置具體化。
另外，在以上說(shuō)明的例子中，表示了用代表文檔的內(nèi)部圖像表現(xiàn)并檢索的例子，而也可以并用以往的使用關(guān)鍵詞的檢索。在這種情況下，如圖7的例2所示，還可以在檢索邏輯式中加入表現(xiàn)關(guān)鍵詞的文本代碼。當(dāng)然，在這種情況下，需要預(yù)先由檢索自動(dòng)裝置檢索文檔的同時(shí)檢查是否存在文檔內(nèi)的關(guān)鍵詞，在存儲(chǔ)裝置11中，必須預(yù)先存儲(chǔ)文檔信息地址、關(guān)鍵詞群以及它們的對(duì)應(yīng)表。
另外，本發(fā)明不限于上述的實(shí)施對(duì)象，還能夠廣泛運(yùn)用。例如，本發(fā)明不限于互聯(lián)網(wǎng)上的Web文檔，還能夠適用于計(jì)算機(jī)內(nèi)的文檔文件的檢索。
如以上說(shuō)明的那樣，如果依據(jù)本發(fā)明，則通過(guò)多個(gè)內(nèi)部圖像表現(xiàn)文檔，通過(guò)使用這些圖像提高檢索率，另外，通過(guò)在顯示畫(huà)面內(nèi)三維地顯示利用這些圖像檢索的文檔內(nèi)的圖像群，能夠?qū)崿F(xiàn)一覽性。另外，通過(guò)輸入使用了一個(gè)或者多個(gè)該鍵圖像的檢索邏輯式，能夠進(jìn)行利用各種檢索條件的檢索。從而，能夠適用在互聯(lián)網(wǎng)上的Web文檔檢索或者計(jì)算機(jī)內(nèi)的文檔文件檢索，對(duì)于其有效化的貢獻(xiàn)非常大。
權(quán)利要求
1.一種文檔的檢索方法，該文檔包含圖像，其特征在于包括使文檔的數(shù)據(jù)與該文檔中的圖像的數(shù)據(jù)相對(duì)應(yīng)的第1步驟；把規(guī)定圖像指定為鍵圖像的第2步驟；使用上述指定的鍵圖像和運(yùn)算符設(shè)定檢索式的第3步驟；顯示通過(guò)基于上述檢索式的檢索抽取出的多個(gè)圖像的第4步驟；從上述顯示的圖像指定任意圖像的第5步驟；顯示與上述指定了的圖像相對(duì)應(yīng)的文檔的第6步驟。
2.根據(jù)權(quán)利要求1所述的文檔的檢索方法，其特征在于在上述第1步驟中，具有在電子文檔中通過(guò)其代碼內(nèi)容的分析自動(dòng)地進(jìn)行對(duì)應(yīng)的步驟；在圖像文檔中通過(guò)圖像處理自動(dòng)地進(jìn)行對(duì)應(yīng)的步驟。
3.根據(jù)權(quán)利要求1所述的文檔的檢索方法，其特征在于在上述第2步驟中，具有在把應(yīng)該包含在希望檢索的文檔中的圖像指定為鍵圖像時(shí)，用利用了電光元件的掃描儀或者照相機(jī)輸入并指定該圖像的步驟。
4.根據(jù)權(quán)利要求1所述的文檔的檢索方法，其特征在于在上述第3步驟中，具有顯示表示上述鍵圖像的圖標(biāo)和表示上述運(yùn)算符的圖標(biāo)的步驟；從上述顯示的圖標(biāo)選擇構(gòu)成上述檢索式的元素的步驟。
5.根據(jù)權(quán)利要求1所述的文檔的檢索方法，其特征在于在上述第4步驟中，基于上述檢索式的檢索的對(duì)象把與鍵圖像類(lèi)似的圖像包含在對(duì)象中。
6.根據(jù)權(quán)利要求1所述的文檔的檢索方法，其特征在于在上述第4步驟中，具有把抽取出的多個(gè)圖像分組并顯示各個(gè)組的步驟。
7.根據(jù)權(quán)利要求1所述的文檔的檢索方法，其特征在于在上述第4步驟中，具有從上述抽取出的圖像檢測(cè)多個(gè)特征量，使用它們的距離進(jìn)行分組的步驟。
8.根據(jù)權(quán)利要求7所述的文檔的檢索方法，其特征在于具有在由上述多個(gè)特征量的若干個(gè)軸構(gòu)成的空間上顯示上述抽取出的圖像的步驟。
9.一種文檔的檢索方法，該文檔包含圖像，其特征在于包括使文檔的數(shù)據(jù)與該文檔中的圖像的數(shù)據(jù)相對(duì)應(yīng)的步驟；把規(guī)定圖像指定為鍵圖像的步驟；從上述圖像的數(shù)據(jù)中抽取出與上述鍵圖像類(lèi)似的多個(gè)圖像的步驟；顯示上述抽取出的多個(gè)圖像的步驟；從上述顯示的圖像指定任意的圖像的步驟；顯示與上述指定的圖像相對(duì)應(yīng)的文檔的步驟。
10.根據(jù)權(quán)利要求9所述的文檔的檢索方法，其特征在于作為上述鍵圖像指定多個(gè)圖像，對(duì)于所指定的多個(gè)鍵圖像的每一個(gè)，從上述圖像的數(shù)據(jù)抽取出與該鍵圖像類(lèi)似的圖像群，把根據(jù)各個(gè)鍵圖像抽取出的圖像群的集合的邏輯和或者邏輯積作為上述抽取出的多個(gè)圖像的至少一部分進(jìn)行顯示。
11.根據(jù)權(quán)利要求9所述的文檔的檢索方法，其特征在于作為上述鍵圖像指定多個(gè)圖像，顯示表示上述多個(gè)鍵圖像的圖標(biāo)以及表示邏輯運(yùn)算符的圖標(biāo)，把上述顯示的圖標(biāo)進(jìn)行組合并設(shè)定檢索式，基于該檢索式，把根據(jù)上述多個(gè)鍵圖像抽取出的多個(gè)圖像中的至少一個(gè)作為上述抽取出的多個(gè)圖像進(jìn)行顯示。
12.根據(jù)權(quán)利要求9所述的文檔的檢索方法，其特征在于作為上述鍵圖像指定多個(gè)圖像，至少顯示表示上述多個(gè)鍵圖像的圖標(biāo)、表示邏輯積的圖標(biāo)以及表示邏輯和的圖標(biāo)，把上述顯示的圖標(biāo)進(jìn)行組合并設(shè)定檢索式，基于該檢索式，進(jìn)行根據(jù)上述多個(gè)鍵圖像抽取出的多個(gè)圖像群相互的集合運(yùn)算，把該集合運(yùn)算的結(jié)果作為上述抽取出的多個(gè)圖像進(jìn)行顯示。
13.根據(jù)權(quán)利要求9所述的文檔的檢索方法，其特征在于在三維空間中，與各圖像具有的特征量相對(duì)應(yīng)地顯示上述抽取出的多個(gè)圖像。
14.一種文檔檢索裝置，該文檔包含圖像，其特征在于包括對(duì)文檔的數(shù)據(jù)與該文檔中的圖像的數(shù)據(jù)的對(duì)應(yīng)關(guān)系進(jìn)行存儲(chǔ)的存儲(chǔ)裝置；把規(guī)定圖像指定為鍵圖像的鍵圖像指定裝置；從上述圖像的數(shù)據(jù)抽取出與上述鍵圖像類(lèi)似的多個(gè)圖像的處理裝置；顯示上述抽取出的多個(gè)圖像的圖像顯示裝置；從上述顯示的圖像指定任意圖像的圖像指定裝置；顯示與上述指定的圖像相對(duì)應(yīng)的文檔的文檔顯示裝置。
15.根據(jù)權(quán)利要求14所述的文檔檢索裝置，其特征在于上述鍵圖像指定裝置是用于讀入鍵圖像的掃描儀，或者是選擇在監(jiān)視器上顯示的圖像或其圖標(biāo)的指示器。
16.一種文檔檢索裝置，具備輸入裝置、顯示裝置、處理裝置以及存儲(chǔ)裝置，其特征在于上述存儲(chǔ)裝置是對(duì)文檔的數(shù)據(jù)與該文檔中的圖像的數(shù)據(jù)的對(duì)應(yīng)關(guān)系進(jìn)行存儲(chǔ)的存儲(chǔ)裝置，上述處理裝置進(jìn)行控制使得從上述輸入裝置把規(guī)定圖像指定為鍵圖像，從上述存儲(chǔ)裝置抽取出與上述鍵圖像類(lèi)似的多個(gè)圖像，在上述顯示裝置顯示上述抽取出的多個(gè)圖像，由上述輸入裝置從上述顯示的圖像指定任意的圖像，在上述顯示裝置顯示與上述指定的圖像相對(duì)應(yīng)的文檔.
17.根據(jù)權(quán)利要求16所述的文檔檢索裝置，其特征在于具有連接于網(wǎng)絡(luò)的接口，訪問(wèn)存在于網(wǎng)絡(luò)上所連接的其它存儲(chǔ)裝置中的文檔，取得表示該文檔存在位置的地址和存在于該文檔內(nèi)的圖像的數(shù)據(jù)，使它們相對(duì)應(yīng)地存儲(chǔ)在上述存儲(chǔ)裝置中。
18.根據(jù)權(quán)利要求16所述的文檔檢索裝置，其特征在于上述處理裝置進(jìn)行控制使得作為上述鍵圖像指定多個(gè)圖像，在上述顯示裝置上至少顯示表示上述多個(gè)鍵圖像的圖標(biāo)、表示邏輯積的圖標(biāo)以及表示邏輯和的圖標(biāo)，把上述顯示的圖標(biāo)進(jìn)行組合并設(shè)定檢索式，基于該檢索式，抽取根據(jù)上述多個(gè)鍵圖像抽取出的多個(gè)圖像群相互的集合。
19.一種文檔檢索程序，該程序在具備輸入裝置、顯示裝置、處理裝置以及存儲(chǔ)裝置的系統(tǒng)中，為了進(jìn)行文檔的檢索在上述處理裝置中運(yùn)行，其特征在于包括在上述存儲(chǔ)裝置中對(duì)文檔的數(shù)據(jù)與該文檔中的圖像的數(shù)據(jù)的對(duì)應(yīng)關(guān)系進(jìn)行存儲(chǔ)的功能；從上述輸入裝置把規(guī)定圖像指定為鍵圖像的功能；從上述存儲(chǔ)裝置抽取出與上述鍵圖像類(lèi)似的多個(gè)圖像的功能；在上述顯示裝置顯示上述抽取出的多個(gè)圖像的功能；用上述輸入裝置從上述顯示的圖像指定任意的圖像的功能；在上述顯示裝置顯示與上述指定的圖像相對(duì)應(yīng)的文檔的功能。
全文摘要
本發(fā)明提供基于內(nèi)容圖像的文檔檢索方法以及裝置。以往的文檔檢索方法為了斟酌內(nèi)容需要一次讀取文檔，至今為止不能夠?qū)崿F(xiàn)內(nèi)容的一覽性，為此，雖然有預(yù)先生成概要圖像的方法，然而在其生成中非常花費(fèi)時(shí)間或者成本，另外因?yàn)榇嬖谠诒O(jiān)視器的一個(gè)畫(huà)面上難以顯示檢索的全部文檔的概要圖像等理由，所以不能夠完全解決問(wèn)題，本發(fā)明把文檔置換為一覽性高的圖像，即，把文檔內(nèi)的照片、圖、表等圖像作為其文檔的鍵圖像，輸入使用了其鍵圖像的一個(gè)或者多個(gè)檢索邏輯式，在顯示畫(huà)面內(nèi)三維地顯示所有包含滿足檢索邏輯式的類(lèi)似圖像的文檔內(nèi)的圖像，而且檢索者如果選擇顯示了的鍵圖像，則顯示包括其鍵圖像的文檔內(nèi)容。
文檔編號(hào)G06F17/30GK1779681SQ20051009266
公開(kāi)日2006年5月31日 申請(qǐng)日期2005年8月19日 優(yōu)先權(quán)日2004年11月22日
發(fā)明者酒匂裕, 廣池敦 申請(qǐng)人:株式會(huì)社日立制作所