專利名稱：用于向電子日記本加入內(nèi)容或從中獲取內(nèi)容的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及允許人們經(jīng)由語音以及集成的視頻照相機(jī)來向個(gè)人日記本 添加信息的系統(tǒng)和方法。該系統(tǒng)和方法進(jìn)一步允許人們使用語音或通過將 該系統(tǒng)連接到查看裝置來獲取信息。
背景技術(shù)：
幾百年來，來自各行各業(yè)的人們都記錄日記。我們長(zhǎng)久以來就知道寫 下應(yīng)激事件可以引起健康和心理舒適的改善。最近的研究指示出表達(dá)性 寫作減少了有關(guān)消極事件的強(qiáng)迫和回避思想，并且改善暫時(shí)記憶力。研究 人員相信這些改善可以反過來使我們的認(rèn)知資源致力于其它精神活動(dòng)，包 括我們更有效地應(yīng)付壓力的能力。
縱觀歷史，通常將日記手寫在裝訂的筆記本里連續(xù)的頁(yè)面上，在頁(yè)面 上日期是預(yù)先記錄的，或者由日記作者隨著條目的書寫而加入的。這個(gè)傳 統(tǒng)的日記記錄方法的一個(gè)缺點(diǎn)是無法獲取特定的內(nèi)容，例如，在特定的曰 子關(guān)于特定的人說了什么。日記作者不可以容易地返回并找出寫下了什么 以及何時(shí)寫下的。傳統(tǒng)的日記方法的進(jìn)一步的缺點(diǎn)是在以后的日期只能插 入相當(dāng)少量的文本，并且通過墨水的變化或筆跡的細(xì)微變化，或通過添加 是寫在頁(yè)面空白寫上的這個(gè)事實(shí)，可以檢測(cè)出這個(gè)插入。
近來，已經(jīng)引入了電子日記本，其克服了一些上面提到的與傳統(tǒng)日記 本相關(guān)的缺點(diǎn)。已知一種提供了紙質(zhì)日記本的觀感和觸感的電子日記本，
例如來自明尼蘇達(dá)的Regnow/Digital River of Eden Prairie (伊甸園數(shù)字河) 的Star Message DiaryTM軟件。該電子日記本與傳統(tǒng)日記本相比所提供的特 定優(yōu)點(diǎn)包括，例如，高安全性和密碼保護(hù)、用于每個(gè)家庭成員的單獨(dú)日記、 向RTF的輸出能力、從1900年到2100年的任意時(shí)間的不限制數(shù)量的曰記 條目、以及用戶可選擇的字形、顏色、大小以及文本和圖形的風(fēng)格。
然而，這種電子日記本的一個(gè)缺點(diǎn)是必須使用并入設(shè)備中的鍵盤或者使用電子筆加入方式，將日記數(shù)據(jù)加入到個(gè)人計(jì)算機(jī)或移動(dòng)設(shè)備中。這可 以是耗時(shí)并容易出錯(cuò)的。

發(fā)明內(nèi)容
因此本系統(tǒng)的一個(gè)目的是為了提供克服了現(xiàn)有技術(shù)的這些和/或其它限 制的用于書寫和獲取日記注釋的方式。
第一方面，本發(fā)明提供了包括日記功能模塊的電子日記本，該日記功 能模塊用于經(jīng)由語音和視頻輸入的組合來添加日記注釋。該日記功能模塊 進(jìn)一步包括用于使用語音和視頻的組合來獲取日記注釋的模塊。
第二方面，電子日記本優(yōu)選地對(duì)具有諸如日期和時(shí)間的附加元數(shù)據(jù)的 所有注釋進(jìn)行存儲(chǔ)?？梢噪S著將注釋添加到電子日記本中而實(shí)時(shí)地衍生該 元數(shù)據(jù)。
另一個(gè)方面，用戶和/或電子日記本可以發(fā)起內(nèi)容獲取過程。用戶可以 明確地要求電子日記本顯示或者回放以前存儲(chǔ)的日記注釋。在實(shí)施例中， 只要電子日記本檢測(cè)到日記中正在，例如通過語音，加入相似主題，電子 日記本就可以建議獲取以前存儲(chǔ)的日記注釋。
以下是對(duì)于示例性的實(shí)施例的描述，當(dāng)結(jié)合以下附圖時(shí)該實(shí)施例將說 明上述特征和優(yōu)點(diǎn)以及進(jìn)一步的特征和優(yōu)點(diǎn)。在以下描述中，為了解釋而 非限制的目的，描述了用于說明的具體細(xì)節(jié)，例如特定的結(jié)構(gòu)、接口、技 術(shù)等等。然而，對(duì)本領(lǐng)域的普通技術(shù)人員來說，顯然可以將超出這些具體 細(xì)節(jié)的實(shí)施例理解為是在附帶的權(quán)利要求范圍內(nèi)。此外，為了清楚的目的， 將省略對(duì)公知的設(shè)備、電路以及方法的詳細(xì)描述，以免使本發(fā)明的描述變 得難以理解。


應(yīng)當(dāng)清楚地理解所包括的附圖是用于說明的目的而非用于表示本發(fā)明 的范圍。
圖l是根據(jù)本系統(tǒng)的實(shí)施例，包括電子日記本的元件的說明性方框圖； 圖2是根據(jù)本系統(tǒng)的實(shí)施例，用于表示電子日記本的存儲(chǔ)模塊的說明 性圖表；圖3是用于表示根據(jù)本系統(tǒng)的實(shí)施例的注釋的說明性存儲(chǔ)操作的流程
圖4是用于表示根據(jù)本系統(tǒng)的實(shí)施例的注釋的說明性獲取操作的流程圖。
具體實(shí)施例方式
盡管以下描述為了說明的目的包括多個(gè)細(xì)節(jié)，本領(lǐng)域的普通技術(shù)人員 應(yīng)理解對(duì)以下描述的多個(gè)變更和修改是在所要求的系統(tǒng)的范圍之內(nèi)的。將 參考示出的系統(tǒng)來描述本系統(tǒng)和方法。例如，根據(jù)對(duì)于日記的特定類型的 輸入注釋和來自日記的特定類型的輸出注釋，例如視頻和音頻注釋，來描 述本系統(tǒng)。明顯地，本日記可用于多種注釋類型，包括但不限于，視頻注 釋、音頻注釋、圖像/視頻注釋、文本注釋以及其中的組合。為了說明的目 的并且為了簡(jiǎn)化以下討論，將根據(jù)視頻和音頻的注釋來描述本系統(tǒng)將。另 外，每種類型的注釋都具有供用戶輸入和査看的途徑。例如，可以將音頻/ 可視的注釋以可聽的和/或可視的信號(hào)的形式提供給用戶?？梢詫⑽谋咀⑨?提供為可視的信號(hào)。為了簡(jiǎn)潔起見，以下討論中討論了用于加入和獲取注 釋的特定途徑，但是本發(fā)明旨在包括其它用于通過用戶基于注釋的類型和/ 或基于用戶的偏好來合適地加入和獲取注釋的途徑。本系統(tǒng)可用于本領(lǐng)域 的普通技術(shù)人員容易想到的多個(gè)的可替換實(shí)施例?？商鎿Q的系統(tǒng)包括在附 帶的權(quán)利要求之中。因此，下面提出的實(shí)施例不使所要求的發(fā)明喪失一般 性，并且并非用于限制本要求的發(fā)明。
本發(fā)明可以是與設(shè)備的用戶相關(guān)的個(gè)人日記本。這個(gè)情況可以是用于
實(shí)施日記本的設(shè)備實(shí)際上是諸如PDA等個(gè)人設(shè)備。然而，該日記本還可以 通過例如個(gè)人用戶識(shí)別和密碼，為多用戶的環(huán)境提供訪問控制，其中在多 用戶中建立多個(gè)用戶可以訪問的日記。根據(jù)實(shí)施例的日記本可以是家庭日 記本，該家庭日記本實(shí)施在家用計(jì)算機(jī)或網(wǎng)絡(luò)環(huán)境中的服務(wù)器上，每個(gè)家 庭成員對(duì)該家庭日記本具體單獨(dú)的訪問。
由本發(fā)明的日記本100執(zhí)行的典型操作可以包括，例如，從用戶接收 曰記注釋、存儲(chǔ)接收的日記注釋，以及響應(yīng)于對(duì)于以前存儲(chǔ)的日記注釋的 用戶請(qǐng)求而獲取以前存儲(chǔ)的日記注釋。另外，日記本100可以建議以前存儲(chǔ)的注釋響應(yīng)于用戶與日記本100的與用戶的特定請(qǐng)求無關(guān)的交互，從而 獲取注釋。下面更詳細(xì)地討論這些和其它操作將。
根據(jù)日記本100的功能模塊示出了本日記的操作以下描述。很容易看
出，可以將這些模塊中的若干個(gè)人實(shí)現(xiàn)為通過處理器來操作的計(jì)算機(jī)程序 的一部分。處理器可以是根據(jù)本日記本來進(jìn)行操作的專用處理器，或者可 以是根據(jù)本日記本來對(duì)多個(gè)操作中的一個(gè)進(jìn)行操作的通用處理器。處理器 還可以是用于根據(jù)本日記本來進(jìn)行操作的專用集成電路。應(yīng)該理解的是這 里討論的模塊包括這些和其它的實(shí)現(xiàn)，包括可以支持模塊的功能的其它設(shè) 備。
這里參考圖1和3描述本系統(tǒng)的操作。
如圖1所示，日記本100包括輸入模塊20、內(nèi)容管理模塊30、對(duì)話管 理模塊40、話音合成模塊38以及用于非口頭通信的呈現(xiàn)器(RNVC) 42。
語音和視頻日記設(shè)備100通過在步驟310由輸入模塊20接收日記輸入 來進(jìn)行操作，其中輸入模塊20包括語音識(shí)別模塊22、視頻/圖像捕獲模塊 24以及觸摸/感官輸入模塊26。
在輸入模塊20的語音識(shí)別模塊22中處理語音輸入，在視頻Z圖像捕獲 模塊24中處理圖像輸入，例如視頻輸入。可以通過觸摸/感官輸入模塊26 來處理其它類型的輸入，例如打字的、唱針的輸入等等。將向日記本100 的輸入提供給內(nèi)容管理模塊30。本領(lǐng)域的普通技術(shù)人員將會(huì)想到多個(gè)類型 的其它輸入/輸出，并且通過本系統(tǒng)將容易地利用每個(gè)這種類型的輸入/輸 出。同時(shí)很多下述的討論是根據(jù)視頻和語音輸入/輸出來說明性地討論的， 顯然其它類型的輸入/輸出將類似地進(jìn)行操作。應(yīng)當(dāng)理解每個(gè)這些其它輸入/ 輸出是在附加的權(quán)利要求的范圍之內(nèi)的。
如圖1所示，內(nèi)容管理模塊30包括三個(gè)模塊，內(nèi)容獲取管理(CRM) 模塊32、內(nèi)容理解和元數(shù)據(jù)生成(CUMG)模塊34以及存儲(chǔ)模塊36。
CUMG模塊在步驟320從輸入模塊20接收輸入并分析輸入，以確定正 在提供的輸入是何種類型。例如但不限于，輸入的形式可以是如步驟370 指示的用于獲取以前存儲(chǔ)的注釋的用戶請(qǐng)求。輸入的形式還可以是如步驟 330指示的用于表示用戶希望日記本IOO存儲(chǔ)的注釋。CUMG模塊34還可 以分析接收的輸入，以便于進(jìn)行注釋存儲(chǔ)和獲取。CUMG模塊34可以確定
8元數(shù)據(jù)并將其關(guān)聯(lián)到輸入，以幫助管理、識(shí)別、存儲(chǔ)和獲取。在步驟340 確定元數(shù)據(jù)并將其關(guān)聯(lián)到包括注釋的輸入，在將輸入確定為注釋后(例如，
見步驟320和330)說明性地示出了步驟340。元數(shù)據(jù)可以包括關(guān)于輸入或 輸入屬性的描述性信息，例如輸入文件的名稱、輸入的長(zhǎng)度(例如，字節(jié) 數(shù)量)、輸入的數(shù)據(jù)類型(例如，視覺的或聽覺的)等等。元數(shù)據(jù)可以早已 與輸入相關(guān)聯(lián)，例如從遠(yuǎn)程存儲(chǔ)設(shè)備提供的注釋的一部分(例如，附帶的 照片)。還可以通過用于捕獲/創(chuàng)建輸入的設(shè)備，例如用于創(chuàng)建相機(jī)所捕獲的 圖像的諸如相機(jī)設(shè)置、照片時(shí)間之類的元數(shù)據(jù)的數(shù)碼照相機(jī)(例如，視頻 圖像捕獲模塊24)，來對(duì)元數(shù)據(jù)進(jìn)行關(guān)聯(lián)?？梢酝ㄟ^日記本IOO的用戶將元 數(shù)據(jù)與輸入相關(guān)聯(lián)。
這樣，元數(shù)據(jù)可以由以上衍生的元數(shù)據(jù)(從處理的輸入中實(shí)時(shí)獲得的) 和非衍生的數(shù)據(jù)組成，包括輸入條目的日期和時(shí)間。例如，可以使用特征 提取技術(shù)分析視頻/圖像輸入，以識(shí)別入的特征，例如面部、樓房、紀(jì)念碑 以及輸入中描述的其它對(duì)象?？梢酝ㄟ^識(shí)別處理的語音輸入的詞語來衍生 與元數(shù)據(jù)有關(guān)的語音?？梢灶愃频胤治銎渌愋偷妮斎耄靡源_定關(guān)聯(lián)的 元數(shù)據(jù)。
例如如果CUMG模塊34確定輸入類型是對(duì)于存儲(chǔ)的注釋，那么在步 驟360可以將包括視頻和語音元數(shù)據(jù)的元數(shù)據(jù)各自的已處理輸入一起存儲(chǔ) 在存儲(chǔ)模塊36中，以便以后進(jìn)行獲取。這里使用的注釋可以是日記本100 接收的任意的形式，包括視頻和/或語音日記注釋以及任意的關(guān)聯(lián)的元數(shù)據(jù)
(衍生的和非衍生的)。
響應(yīng)于在步驟320的確定所導(dǎo)致的用戶請(qǐng)求，可以從存儲(chǔ)模塊36中獲 取存儲(chǔ)的注釋，和/或獨(dú)立于用戶請(qǐng)求來獲取該注釋(見步驟340)。在特定 實(shí)施例中，當(dāng)用戶在日記本100中書寫注釋時(shí)，日記本100可以在步驟410
(見圖4)分析從注釋衍生的元數(shù)據(jù)，并在步驟430向用戶建議與當(dāng)前正在 書寫的注釋有一定程度相關(guān)性(步驟420)的存儲(chǔ)的注釋。獲取的注釋可以 在步驟440呈現(xiàn)給用戶，例如通過在諸如電視或個(gè)人顯示器的呈現(xiàn)設(shè)備110 上顯示?？梢皂憫?yīng)于用戶請(qǐng)求，從存儲(chǔ)模塊36或者獲取存儲(chǔ)的聽覺注釋， 例如語音注釋，或者可以通過獨(dú)立于用戶的請(qǐng)求的系統(tǒng)獲取該注釋并且將 其提供給用戶。隨后可以將獲取的聽覺注釋通過話音合成模塊38呈現(xiàn)給用戶。
通過合適的用戶接口來支持日記本100的用戶的使用，例如注釋的存 儲(chǔ)和獲取。用戶接口包括文本、圖形、音頻、視頻、自主的和動(dòng)畫元件。
用戶和用戶接口互相作用，因此日記本100使用任意合適的輸入設(shè)備。例
如但不局限于，用戶可以通過使用計(jì)算機(jī)鼠標(biāo)、計(jì)算機(jī)鍵盤、遠(yuǎn)程控制設(shè) 備、通用或?qū)Ｓ玫某樤O(shè)備、輸入按鈕、操縱桿、撥號(hào)盤、觸摸板、導(dǎo)航
按鈕和/或甚至手指或用戶的其它探針，與日記本100互相作用。例如但不 限于，通過RNVC 42和話音合成模塊38中的一個(gè)或多個(gè)來向用戶提供用 戶接口，并且用戶通過輸入模塊20與用戶接口互相作用。當(dāng)然，事實(shí)上圖 1顯示的多個(gè)模塊中的任意一個(gè)可以包括輸入和輸出操作模塊中的一個(gè)。例 如，顯示設(shè)備(例如，RNVC42)可以具有顯示面，用于向用戶顯示輸出， 例如當(dāng)前或以前加入的注釋。顯示設(shè)備還可以是對(duì)觸摸敏感的，從而還可 以支持接收來自用戶的輸入。通過使用合適的用戶接口可以支持每個(gè)這些 操作。
本發(fā)明的一個(gè)特征是用戶用于加入和/獲取日記注釋的方式。具體地， 日記本100可以接收/獲取任意格式的日記注釋，包括視頻和語音。舉例而 言，下面將更完全地描述視頻和語音注釋中的每一個(gè)。
為了進(jìn)行語音注釋，在步驟305為用戶設(shè)想了多個(gè)初始化操作，以向 日記本IOO指示其后通常將跟隨有注釋(例如，任意類型的注釋)、或者初 始化可以指示跟隨的注釋類型(例如，語音注釋)。初始化操作可以包括， 例如，用戶按下按鈕，例如開啟注釋按鈕；語音關(guān)鍵字觸發(fā)器，例如用戶 表明"開啟語音注釋"。日記本100接收的輸入甚至可以是語音關(guān)鍵字觸發(fā) 器和部分注釋兩者，例如用戶使用短語"親愛的日記本……"。在這種情況 下，CUMG模塊可以接收輸入(例如，"親愛的日記本")并將其解釋為語 音關(guān)鍵字觸發(fā)器以及存儲(chǔ)注釋的開始。
當(dāng)然本系統(tǒng)設(shè)想了用戶可用于日記本100發(fā)起輸入的其它任意途徑。 當(dāng)用戶以上述方式或通過其它手段開始語音注釋時(shí)，日記本100可以在步 驟335提供一些形式的反饋，以指示已經(jīng)發(fā)起了語音注釋的輸入。此反饋 可以包括，例如LED、 口頭的反饋提示(例如，"我正在聽……"和/或在 機(jī)器人實(shí)施例情況下的情緒響應(yīng)(例如，點(diǎn)頭或微笑)。在機(jī)器人實(shí)施例的情況下，RNVC模塊42接收來自對(duì)話管理模塊40 的輸入，該對(duì)話管理模塊40指示用戶希望發(fā)起語音注釋。RNVC模塊42 可以包括多個(gè)預(yù)編程的非口頭的響應(yīng)，例如，眨眼、揚(yáng)起眉毛和/或手勢(shì)(例 如，"OK"的手勢(shì))，以向用戶指示發(fā)起了語音注釋。
為了允許使用語音對(duì)日記本100進(jìn)行輸入，例如允許用戶進(jìn)行日記語 音注釋(通過語音的日記條目)，或者其它的滿足用戶用于獲取以前存儲(chǔ)的 日記注釋(例如，視頻和/或語音)的聽覺請(qǐng)求，日記本100可以包括語音 識(shí)別接口模塊22，用于處理日記本100的用戶聽覺輸入。在由語音識(shí)別接 口模塊22進(jìn)行處理之后，將識(shí)別的語音輸入提供給CUMG模塊34，其確 定所識(shí)別的語音輸入的元數(shù)據(jù)。自然地，可以由CUMG模塊34在語音輸 入上直接執(zhí)行語音識(shí)別，這種情況下，輸入模塊20可以僅僅具有聽覺捕獲 設(shè)備，例如麥克風(fēng)。
例如，CUMG模塊34可以通過多種方式確定來自語音輸入的元數(shù)據(jù)， 包括應(yīng)用語法規(guī)則，以提取與識(shí)別的用戶語音輸入相關(guān)的主題信息。以下 句子(左手欄)示出了識(shí)別的語音輸入的代表。語法規(guī)則顯示在右邊。 句子 語法規(guī)則 "馬克是個(gè)俊小伙" 馬克是主語
"我認(rèn)為他喜歡我" 是主語，因?yàn)樵谝郧暗木渥又?我"
指設(shè)備的用戶，并且"他"指馬克
"至少我非常喜歡他" 馬克同樣是主語
根據(jù)CUMG模塊34的操作，元數(shù)據(jù)可以從語法規(guī)則的應(yīng)用(右手邊) 衍生成已處理的語音輸入(也就是，句子)?？梢詫?shí)時(shí)地衍生出衍生的元數(shù) 據(jù)(例如，"SUBJECT=MARK")并且可以將其與存儲(chǔ)模塊36中的已處理 的用戶語音輸入相關(guān)聯(lián)地進(jìn)行存儲(chǔ)。非衍生形式的元數(shù)據(jù)，例如日期和時(shí) 間，還可以與衍生的元數(shù)據(jù)以及已處理的用戶語音輸入一起存儲(chǔ)在存儲(chǔ)模 土央36中?？偠灾?，元數(shù)據(jù)提供了對(duì)應(yīng)存儲(chǔ)注釋的索引，該注釋例如用戶 語音輸入，以便于用戶的獲取和訪問。本發(fā)明設(shè)想了用于確定與注釋相關(guān)元數(shù)據(jù)的其它技術(shù)。例如，可以利 用成像技術(shù)來識(shí)別與圖像注釋相關(guān)的位置特征。可以將識(shí)別的位置特征用
作衍生的元數(shù)據(jù)。2002年11月15日提交的發(fā)明人為Dongge Li等人的標(biāo) 題為的"Content Retrieval Based On Semantic Association" 的美國(guó)專利申請(qǐng) 序列號(hào)10/295668公開了用于分析可識(shí)別對(duì)象的多媒體內(nèi)容并且從不同的 形態(tài)(例如，文本、圖像、聲學(xué))中索引和獲取多媒體內(nèi)容的方法，將其 作為整體一并引入本文作為參考。2001年6月5日發(fā)布發(fā)明人是Nelson等 人禾示題為的"Multimedia Document Retrieval by Application of Multimedia Queries to a Unified Index of Multimedia Data For a Plurality of Multimedia Data Types"的美國(guó)專利號(hào)6243713公開了用于通過將復(fù)合文檔索引成統(tǒng) 一的公共索引，從而獲取多媒體文檔以便于文檔獲取的系統(tǒng)和方法，其中 復(fù)合文檔包括多媒體成分，例如文本、圖像、音頻、或視頻成分，將其作 為整體一并引入本文作為參考。
在任意情況下無論元數(shù)據(jù)是如何衍生的，在步驟360將己處理的語音 輸入和相關(guān)的元數(shù)據(jù)存儲(chǔ)在存儲(chǔ)模塊36中，以便稍后如上所述進(jìn)行獲取。
參考圖2，根據(jù)本發(fā)明的實(shí)施例，表格的條目表示了存儲(chǔ)到日記本100 的存儲(chǔ)模塊36的注釋和相關(guān)元數(shù)據(jù)。表格還包括用于每個(gè)注釋的字段202、 204、 206、 208、 210、 212和214。該字段指定條目的日記日期202、條 目的日記時(shí)間204、用戶標(biāo)識(shí)符206、日記注釋標(biāo)識(shí)符208、注釋文件名210、 文件類型212和其它的元數(shù)據(jù)214。
條目的日記日期字段202、條目的時(shí)間204、用戶ID206、文件類型字 段210、元件的字段214，例如隱私設(shè)置(例如，PRIVACY二1)、圖像獲取 設(shè)置(例如，SETTING=S500F2.8)，等等，可以共同地包括非衍生元數(shù)據(jù)。 注釋208包括用戶給予給條目的名稱。注釋名稱210包括日記本100所添 加的給該條目的實(shí)際文件名稱，例如可以存儲(chǔ)在文件分配表格中(FAT)。 文件類型212指出文件的或與所給注釋相關(guān)的文件的類型。如所示，每個(gè) 注釋可以包括一個(gè)或多個(gè)條目和條目類型，例如單獨(dú)的音頻和圖像文件。 例如，日期為2005年4月2日，時(shí)間為下午1: 20的注釋包括圖像條目 (IMAGE1.BMP)和音頻條目(MP31.MP3)兩者。
其它的元數(shù)據(jù)字段212可以包括從日記注釋208衍生的元數(shù)據(jù)以及以上討論的其它非衍生的元數(shù)據(jù)。以日期為2005年5月7日，時(shí)間為下午3: 30為例，來自字段210的MP33.3文件可以包括關(guān)鍵詞組短語，例如"我 的"、"畢業(yè)"、"下周"，其允許日記本100通過CUMG模塊34的操作將條 目的元數(shù)據(jù)衍生成包括ABOUT=ANNE GRADUATION的其它元數(shù)據(jù)字段 214。
CUMG模塊34還可以從輸入衍生其它內(nèi)容，例如輸入的情緒背景、例 如視頻或視頻片段。例如，具體地從語音片段中，CUMG模塊34可以確定 說話人是否是動(dòng)感情的、清醒的、激動(dòng)的等等(例如，高興、悲傷、瘋狂、 戀愛中)，和/或更一般地，輸入時(shí)高/低的情緒背景以及將背景識(shí)別元數(shù)據(jù) 關(guān)聯(lián)到視頻片段(以及視頻輸入中的那些，等等)。
其它元數(shù)據(jù)字段214還可以包括PRIVACY條目，其可以在多用戶實(shí)施 例中控制哪個(gè)用戶可以訪問給定的輸入。例如，日期為2005年4月1日， 時(shí)間為上午9: 55的注釋具有相關(guān)元數(shù)據(jù)PRIVACY=0。這個(gè)元數(shù)據(jù)是由 USER ID=2 (父親)輸入的，并且可以由日記本100的任意用戶獲取，同 時(shí)曰期為2005年4月1日，時(shí)間為上午8: 02的注釋具有相關(guān)元數(shù)據(jù) PRIVACY=1，并因此僅僅可以由完成輸入的用戶(USERID=1，安妮) 獲取。用戶可以根據(jù)用戶接口的支持，在寫入注釋條目的時(shí)候設(shè)置給定的 注釋的隱私元數(shù)據(jù)。另一點(diǎn)需要注意到的是，給定的注釋可以具有給定的 元數(shù)據(jù)類型的多個(gè)元數(shù)據(jù)。例如，日期為2005年4月1日，時(shí)間為上午9: 55的注釋包括類型為SUBJECT值為TRIP和JEFF MEMORIAL的元數(shù)據(jù)， 可以利用其中的每一個(gè)來進(jìn)行以上討論的注釋獲取。
為了做出視頻注釋，設(shè)想了多種初始化操作，包括以上討論的通用初 始化操作，以及用于特定地向日記本100指示用戶想要的視頻注釋的其它 初始化操作。這些特定的初始化操作可以包括，例如，視頻注釋按鈕和語 音關(guān)鍵字觸發(fā)器("看這里")，等等。
當(dāng)用戶通過以上討論的方式或通過其它模塊發(fā)起視頻注釋時(shí)，日記本 IOO優(yōu)先地提供一些形式的反饋，用以指示已發(fā)起了視頻注釋。此反饋可以 包括，例如LED、系統(tǒng)提供的口頭反饋提示(例如，"向我顯示……")， 和/或在機(jī)器人實(shí)施例的情況下提供感情響應(yīng)(例如，設(shè)備眨眼或點(diǎn)頭)。
為了做出視頻日記注釋，日記本100可以包括圖1所示的視頻/圖像捕獲模塊24，用于處理日記本100的視頻輸入。用戶做出的視頻日記注釋可 以伴隨有其它的注釋類型，例如語音日記注釋。然而，無需包括關(guān)聯(lián)的語 音日記注釋就可以做出視頻日記注釋。
將由視頻/圖像捕獲模塊24處理的視頻輸入作為輸入提供給CUMG模 塊34。如以上關(guān)于文本語音輸入所討論，CUMG模塊34通過檢查圖像中 可識(shí)別的對(duì)象的圖像，從處理的視頻輸入中衍生元數(shù)據(jù)。將從處理的視頻 輸入中衍生的元數(shù)據(jù)存儲(chǔ)在存儲(chǔ)模塊36中，并與已處理的視頻輸入相關(guān)聯(lián)。 例如，日期為2005年4月1日，時(shí)間為上午8: 02的注釋同時(shí)包括視頻條 目(VIDI.mov )和相關(guān)元數(shù)據(jù)兩者，例如SUBJECT=MARK和 LOCATION=HOME。
可以通過用戶發(fā)起的獲取或通過獨(dú)立于用戶獲取請(qǐng)求的日記本100來
獲取日記注釋。在用戶發(fā)起日記注釋的注釋獲取的情況下(例如，視頻和/
或語音)，用戶可以向日記本ioo的做出明確的獲取請(qǐng)求，以獲取以前的曰
記注釋，例如以前記錄的視頻日記注釋和/或其中記錄的音頻日記注釋。在 一個(gè)實(shí)施例中可以將用于獲取日記注釋(例如，視頻的和/或音頻的)的用
戶請(qǐng)求提供為對(duì)于語音識(shí)別接口 22的有聲請(qǐng)求。在這個(gè)或其它實(shí)施例中， 用戶可以通過利用其它的加入系統(tǒng)，例如通過鍵盤、鼠標(biāo)、唱針等等，請(qǐng) 求獲取日記注釋。
舉例而言，用戶可以使將請(qǐng)求有聲化，以獲取日記注釋，例如，"我昨 天說了馬克什么"。由語音識(shí)別接口 22處理用戶請(qǐng)求，并且將己處理的輸 出提供給CUMG模塊34,以生成來自已處理的語音輸入的元數(shù)據(jù)。將生成 的元數(shù)據(jù)(例如，詞語"馬克"和"昨天")轉(zhuǎn)發(fā)到CRM模塊32， CRM 模塊32使用元數(shù)據(jù)來找出存儲(chǔ)模塊36中的相關(guān)元數(shù)據(jù)。如這里使用的， 來自存儲(chǔ)模塊36的相關(guān)元數(shù)據(jù)可以是與在獲取請(qǐng)求期間的元數(shù)據(jù)相同的 (例如，馬克=馬克)，或類似(馬克=馬克的)。CRM模塊32還可以使 用元數(shù)據(jù)的組合來獲取最相關(guān)的保存日記注釋。例如，日記本100可以具 有包括馬克的元數(shù)據(jù)的多個(gè)注釋。然而，僅僅一些這些注釋的子集可能具 有昨天的日期的進(jìn)一步的元數(shù)據(jù)。因此，響應(yīng)于上述請(qǐng)求，CRM模塊32 僅僅獲取那些同時(shí)將馬克和昨天的日期的作為元數(shù)據(jù)的注釋的子集。
還可以根據(jù)背景來獲取元數(shù)據(jù)的注釋，例如用于高感情背景的注釋的請(qǐng)求。這是我們希望的，因?yàn)樘囟ǖ挠脩艨梢岳萌沼涍M(jìn)行表達(dá)性的寫作 以應(yīng)付感情經(jīng)歷。在任一事件中，用戶可能想要回顧涉及特定內(nèi)容的注釋。 例如，用戶可能希望獲取他們傷心時(shí)的注釋。類似于其它元數(shù)據(jù)，背景元 數(shù)據(jù)可以有助于這種類型的注釋獲取請(qǐng)求。
一旦從存儲(chǔ)模塊36定位了合適的日記注釋，則獲取注釋并將其轉(zhuǎn)發(fā)到
對(duì)話管理模塊40。對(duì)話管理模塊40分析獲取的日記注釋，以確定每個(gè)注釋 的類型(例如，是視頻注釋、語音注釋，等等)并將獲取的日記注釋指引 到合適的呈現(xiàn)設(shè)備。例如，可以將獲取的語音注釋指引到話音合成模塊38， 一邊向用戶呈現(xiàn)話音。自然地，其中在獲取的注釋是記錄的語音注釋的情 況下(例如，wav文件)，話音合成模塊38可以簡(jiǎn)單地是用于對(duì)獲取的語 音注釋進(jìn)行可聽見的再生的揚(yáng)聲器?？梢詫@取的其它輸入指引到RNVC 模塊42，用于非口頭的呈現(xiàn)，例如向用戶顯示文本、視頻、等等。對(duì)話管 理模塊40還可以使用背景元數(shù)據(jù)，以便指引話音合成模塊38呈現(xiàn)所獲取 的具有對(duì)應(yīng)背景的注釋。例如，可以通過匹配的背景來呈現(xiàn)獲取的高感情 背景注釋。
在日記本100發(fā)起注釋獲取的情況下，CRM模塊32分析來自CUMG 模塊34的元數(shù)據(jù)輸出，該輸出是從對(duì)于存儲(chǔ)的當(dāng)前注釋衍生的，以便向用 戶建議查看以前存儲(chǔ)的注釋的機(jī)會(huì)，該以前存儲(chǔ)的注釋可以與當(dāng)前的注釋 有一定程度的相關(guān)性。這樣，日記本100可以獨(dú)立于用戶用于注釋獲取的 請(qǐng)求，向用戶提供獲取例如看和/或聽類似的(例如，類似的主題、對(duì)象、 時(shí)間、等等)已存儲(chǔ)的注釋的機(jī)會(huì)。日記本100可以利用例如元數(shù)據(jù)關(guān)鍵 字匹配或可視特征相似技術(shù)之類的匹配技術(shù)，以識(shí)別以前存儲(chǔ)的類似注釋。
例如，當(dāng)日記本100在下午1:40接收2005年4月2日的注釋時(shí)，CRM 模塊32可以接收在字段214中所示的相關(guān)元數(shù)據(jù)。CRM模塊可以查詢存 儲(chǔ)模塊36,以識(shí)別其它具有相同或相似的關(guān)聯(lián)元數(shù)據(jù)的注釋。在這種情況 下，盡管使用用戶的接口，由于當(dāng)前的和存儲(chǔ)的注釋的一個(gè)或多個(gè)元數(shù)據(jù) 之間的相似性(例如，SUBJECT-MARK， ORIG-ANNE)，日記本100可 以向安娜提供用于回顧在2005年4月1日，上午8:02加入的注釋的機(jī)會(huì)。 還可以向安娜建議回顧其它存儲(chǔ)的注釋，例如2005年4月2日，下午1: 40加入的注釋。日記本100還可以利用匹配技術(shù)，例如背景元數(shù)據(jù)匹配/對(duì)比，以識(shí)別 以前存儲(chǔ)的注釋。注釋的背景可以包括用戶的檢測(cè)情緒、注釋加入/獲取的 環(huán)境、以及注釋加入/獲取的其它周圍條件。
例如，已知一種可以檢測(cè)用戶情緒的系統(tǒng)。2005年8月16日提交的發(fā) 明人是Antonio Colmenarez等人標(biāo)題為的"Mood Based Virtual Photo Album" 的美國(guó)專利號(hào)6931147公開了通過圖像樣式識(shí)別來確定用戶情緒的方法， 將其作為整體一并引入本文作為參考。通過將面部表情與以前存儲(chǔ)的多個(gè) 面部表示的圖像進(jìn)行比較完成這種確定，面部表示的圖像具有指示以前存 儲(chǔ)的每個(gè)多個(gè)圖像的情緒的相關(guān)感情標(biāo)識(shí)符。2004年9月21日提交的發(fā)明 人是Hugo Strubbe等人的標(biāo)題為的"User Interface/Entertainment Device That Simulates Personal Interaction And Charges External Database Relevant Data"的美國(guó)專利號(hào)6795808公開了通過分析用戶的音頻和圖像信號(hào)來確定 用戶情緒的方法，將其作為整體一并引入本文作為參考。
根據(jù)本系統(tǒng)可以利用這些和其它的系統(tǒng)。例如，當(dāng)日記本100在下午1: 40接收2005年4月2日的注釋，CRM模塊32可以接收背景元數(shù)據(jù)，例如 通過檢測(cè)用戶在注釋輸入時(shí)孤獨(dú)的背景。CRM模塊可以查詢存儲(chǔ)模塊36， 以識(shí)別其它具有相同、相似、或相反的關(guān)聯(lián)背景元數(shù)據(jù)的注釋。在這種情 況下，由于當(dāng)前的和存儲(chǔ)的注釋的內(nèi)容元數(shù)據(jù)之間的相似性或?qū)Ρ?例如， 相對(duì)的元數(shù)據(jù)、與戀愛中相對(duì)的孤單)，日記本ioo可以通過使用用戶接口 向安娜提供用于回顧在2005年4月1日，上午8: 02輸入的注釋的機(jī)會(huì)。 以這種方式，可以獲取匹配或?qū)Ρ鹊淖⑨尅?br> 以上描述的本發(fā)明的實(shí)施例是僅僅用于說明的目的，并且不應(yīng)解釋為 用于將附帶的權(quán)利要求限制在任意特定的實(shí)施例或?qū)嵤├M中。在不脫離 附帶的權(quán)利要求的精神和范圍的情況下，本領(lǐng)域的普通技術(shù)人員可以設(shè)計(jì) 多個(gè)可替換的實(shí)施例。
為了解釋附帶的權(quán)利要求，應(yīng)當(dāng)理解
a) 單詞"包括"并不排除出現(xiàn)那些在所給權(quán)利要求中列出的元件或步 驟之外的元件或步驟；
b) 元件以前的單詞"一"或"一個(gè)"并不排除出現(xiàn)多個(gè)這些元件；
c) 權(quán)利要求中的任意參考符號(hào)并不限制它們的范圍；d) 多個(gè)"模塊"可以通過相同的項(xiàng)目或硬件或軟件實(shí)現(xiàn)的結(jié)構(gòu)或功能 進(jìn)行表示；
e) 公開的任意元件可以包括硬件部分(例如，包括分離的和集成的電 子電路)、軟件部分(例如，計(jì)算機(jī)程序)和其中的任意組合；
f) 硬件部分可以包括模擬和數(shù)字部分的一個(gè)或兩者；
g) 若非另外明確地聲明，公開的任意設(shè)備或部分可以組合在一起或分 離成進(jìn)一步的部分；以及
h) 若非明確地指示，無需要求具體的動(dòng)作或步驟順序。
權(quán)利要求
1、一種用于允許用戶對(duì)電子日記本進(jìn)行日記注釋的方法，所述方法包括以下步驟創(chuàng)建日記注釋，從所述注釋衍生元數(shù)據(jù)，以及在所述電子日記本中存儲(chǔ)所述日記注釋和所述衍生的元數(shù)據(jù)。
2、 如權(quán)利要求l所述的方法，其中所述創(chuàng)建日記注釋的步驟，進(jìn)一步 包括接收來自用戶的聽覺輸入作為所述日記注釋，以及 處理所述接收的聽覺輸入用以識(shí)別話音詞語。
3、 如權(quán)利要求2所述的方法，其中所述衍生的元數(shù)據(jù)是從所述識(shí)別的 話音詞語中衍生的。
4、 如權(quán)利要求2所述的方法，進(jìn)一步包括以下步驟所述用戶通過專 用按鈕和語音關(guān)鍵字觸發(fā)器中的一個(gè)來發(fā)起語音日記注釋的創(chuàng)建。
5、 如權(quán)利要求4所述的方法，進(jìn)一步包括以下步驟響應(yīng)于所述用戶 發(fā)起所述語音日記注釋的所述創(chuàng)建，提供用戶反饋。
6、 如權(quán)利要求l所述的方法，其中創(chuàng)建所述日記注釋的所述步驟，進(jìn) 一步包括以下步驟接收來自所述用戶的視頻輸入，以及處理所述接收的視頻輸入，以識(shí)別在所述視頻輸入中描述的對(duì)象。
7、 如權(quán)利要求6所述的方法，其中所述衍生的元數(shù)據(jù)是從所述識(shí)別的對(duì)象中衍生的。
8、 如權(quán)利要求6所述的方法，進(jìn)一步包括以下步驟所述用戶通過專 用按鈕和語音關(guān)鍵字觸發(fā)器中的一個(gè)來發(fā)起用于創(chuàng)建所述視頻日記注釋的 愿望。
9、 如權(quán)利要求8所述的方法，進(jìn)一步包括以下步驟響應(yīng)于所述用戶 發(fā)起所述視頻日記注釋的所述創(chuàng)建，提供用戶反饋。
10、 如權(quán)利要求1所述的方法，進(jìn)一步包括以下步驟在所述電子日 記本中存儲(chǔ)相關(guān)的非衍生的元數(shù)據(jù)。
11、 如權(quán)利要求10所述的方法，其中所述非衍生的元數(shù)據(jù)包括注釋日 期、注釋輸入的時(shí)間以及用戶標(biāo)識(shí)符中的至少一個(gè)。
12、 如權(quán)利要求1所述的方法，進(jìn)一步包括以下步驟將以前存儲(chǔ)的 日記注釋呈現(xiàn)給所述用戶。
13、 如權(quán)利要求12所述的方法，其中獨(dú)立于用戶請(qǐng)求，呈現(xiàn)所述以前 存儲(chǔ)的日記注釋。
14、 如權(quán)利要求13所述的方法，進(jìn)一步包括以下步驟確定所述創(chuàng)建 的注釋和所述以前存儲(chǔ)的注釋的元數(shù)據(jù)之間的相關(guān)性，其中基于所述相關(guān) 性選擇所述以前存儲(chǔ)的日記注釋。
15、 一種電子日記本，包括 用于接收日記注釋的模塊，用于從所述日記注釋中衍生元數(shù)據(jù)的模塊，以及用于在數(shù)據(jù)資料庫(kù)中存儲(chǔ)所述日記注釋和所述衍生的元數(shù)據(jù)的模塊。
16、 如權(quán)利要求15所述的電子日記本，進(jìn)一步包括用于響應(yīng)于所述用于接收所述日記注釋的模塊來提供用戶反饋的模塊。
17、 如權(quán)利要求17所述的電子日記本，進(jìn)一步包括用于呈現(xiàn)以前存儲(chǔ) 的日記注釋的模塊。
18、 如權(quán)利要求17所述的電子日記本，其中基于確定的與所述接收的日記注釋的相關(guān)性，呈現(xiàn)所述以前存儲(chǔ)的視頻日記注釋。
19、 一種用于與電子日記本共同使用的編碼有處理指令的計(jì)算機(jī)可讀介質(zhì)，所述處理指令包括用于控制電子注釋的接收的程序部分， 用于從所述電子注釋衍生元數(shù)據(jù)的程序部分，以及用于對(duì)在所述電子日記本中存儲(chǔ)所述電子注釋和所述衍生的元數(shù)據(jù)進(jìn) 行控制的程序部分。
20、 如權(quán)利要求19所述的計(jì)算機(jī)可讀介質(zhì)，所述處理指令包括用于確定以前存儲(chǔ)的日記注釋和所述接收的日記注釋之間的相關(guān)性的 程序部分；以及用于響應(yīng)于所述相關(guān)性，對(duì)呈現(xiàn)所述以前存儲(chǔ)的日記注釋進(jìn)行控制的 程序部分。
全文摘要
一種用于接收日記注釋、從日記注釋中衍生元數(shù)據(jù)，并且對(duì)日記注釋以及衍生的元數(shù)據(jù)進(jìn)行存儲(chǔ)的電子日記本。該電子日記本可以響應(yīng)于接收日記注釋，提供用戶反饋。基于與接收的日記注釋的相關(guān)性，電子日記本可以呈現(xiàn)以前存儲(chǔ)的日記注釋。
文檔編號(hào)G06F17/30GK101297292SQ200680039714
公開日2008年10月29日 申請(qǐng)日期2006年10月24日 優(yōu)先權(quán)日2005年10月27日
發(fā)明者A·J·N·布雷曼, E·M·A·迪德里克, H·C·M·霍恩霍特, P·賓利 申請(qǐng)人:皇家飛利浦電子股份有限公司