專利名稱：圖像相冊創(chuàng)建的制作方法
圖像相冊創(chuàng)建
背景技術(shù)：
隨著數(shù)碼相機(jī)的出現(xiàn)，職業(yè)和非專業(yè)攝影師已經(jīng)能夠更加容易和方便地上傳、存儲、編輯和增強(qiáng)他們的數(shù)字圖像。這些數(shù)碼相機(jī)允許攝影師經(jīng)由數(shù)據(jù)傳輸手段諸如通過直接數(shù)據(jù)傳輸(例如，存儲器至存儲器的傳輸)、電子郵件和互聯(lián)網(wǎng)，發(fā)送數(shù)碼相機(jī)所捕捉的數(shù)字圖像。此外，攝影師可以通過將數(shù)碼相機(jī)所捕捉的數(shù)字圖像發(fā)送到零售商或賣家來定購打印品，所述零售商或賣家隨后上傳數(shù)字圖像、打印數(shù)字圖像并且將打印品發(fā)送給攝像師。攝影師可能希望將他或她的數(shù)字圖像布置在照片相冊(album)或多個圖像的其它匯集(compilation)中。這樣的圖像匯集可以提供若干種功能或者相對于單個圖像打印具有優(yōu)勢。創(chuàng)建圖像匯集的一種優(yōu)勢在于圖像在匯集中的布置或布局在審美上可能是具有吸引力的。創(chuàng)建圖像匯集的另一種優(yōu)勢在于觀看者可以容易地觀看到任意數(shù)量的主體(subject)的若干個圖像，并且整體地欣賞單獨(dú)圖像的匯集以及單獨(dú)圖像自身。這些圖像匯集可以如照片相冊的情況下那樣以有形(tangible)形式來呈現(xiàn)，或者通過使用計(jì)算機(jī)軟件 或網(wǎng)站以無形(intangible)形式來呈現(xiàn)。目前，諸如個人計(jì)算機(jī)之類的計(jì)算設(shè)備以及相關(guān)聯(lián)的軟件可以被用來創(chuàng)建這樣的相冊或匯集。然而，當(dāng)前創(chuàng)建圖像相冊的計(jì)算設(shè)備、軟件和方法可能是不方便的并且在設(shè)計(jì)匯集的各個方面時限制了攝影師的藝術(shù)自由。此外，這些系統(tǒng)并不允許用戶對相冊或其它匯集中的圖像進(jìn)行選擇、編輯和布置同時仍然控制著影響整體匯集的特定設(shè)計(jì)方面。換句話說，這些系統(tǒng)和方法都沒有提供用來使用多級別的設(shè)計(jì)技術(shù)對整個相冊或圖像的其它匯集進(jìn)行優(yōu)化的手段。


附示了這里所描述的原理的各個實(shí)施例并且作為說明書的一部分。所圖示的實(shí)施例僅作為示例而并不對權(quán)利要求的范圍進(jìn)行限制。圖IA是根據(jù)這里所描述的原理的一個實(shí)施例的說明性圖像匯集的框圖。圖IB是根據(jù)這里所描述的原理的一個實(shí)施例的說明性圖像匯集的另一框圖。圖2是根據(jù)這里所描述的原理的一個實(shí)施例的用于在匯集內(nèi)布置多個圖像的說明性計(jì)算設(shè)備的框圖。圖3是圖示根據(jù)這里所描述的原理的一個實(shí)施例的在匯集內(nèi)布置多個圖像的方法的流程圖。貫穿附圖，相同的附圖標(biāo)記表示相似但并不一定相同的元素。
具體實(shí)施例方式本申請公開了多種用于創(chuàng)建圖像的相冊或其它匯集的說明性系統(tǒng)和方法，所述相冊或其它匯集允許設(shè)計(jì)考慮以控制相冊的整體優(yōu)化，并且其反映了熟練或職業(yè)設(shè)計(jì)人員的審美決策。更具體地，本申請公開了用于在滿足許多設(shè)計(jì)約束的同時在相冊或其它匯集中選擇、編輯和布置多個圖像的說明性系統(tǒng)和方法。這些系統(tǒng)和方法可以在滿足這些設(shè)計(jì)約束時采用各種技術(shù)，包括用于在創(chuàng)建具有審美吸引力的圖像匯集時使用的基于內(nèi)容的圖像選擇和布置，以及基于懲罰(penalty)的圖像選擇、編輯和布置，但是并不局限于此。如本說明書和所附權(quán)利要求中所使用的，術(shù)語“相冊”和“匯集”意在被寬泛地理解為多個圖像以有形或無形的形式的任意布置。此外，如本說明書和所附權(quán)利要求中所使用的，術(shù)語“元數(shù)據(jù)”意在被寬泛地理解為提供與應(yīng)用或環(huán)境內(nèi)所管理的其它數(shù)據(jù)相關(guān)的信息或其文件的任意限定性數(shù)據(jù)。如本說明書和所附權(quán)利要求中所使用的，術(shù)語“圖像”意在被寬泛地理解為主體的任何有形或無形的表示，所述主體包括一個或多個人物、動物、場所、事件或事物，但并不局限于此。在以下描述中，出于解釋的目的，給出了多種特定細(xì)節(jié)以便提供對本系統(tǒng)和方法的全面理解。然而，對于本領(lǐng)域技術(shù)人員將會顯而易見的是，可以在沒有這些特定細(xì)節(jié)的情況下來實(shí)踐本裝置、系統(tǒng)和方法。說明書中對于“實(shí)施例”、“示例”或類似語言手段的引用意味著結(jié)合該實(shí)施例或示例所描述的特定特征、結(jié)構(gòu)或特性被至少包括在這一個實(shí)施例中，但是卻不一定包括在其它實(shí)施例中。短語“在一個實(shí)施例中”的各種實(shí)例或者說明書各 處的類似短語并不一定全部指代相同的實(shí)施例。通常，照片相冊或匯集創(chuàng)建方法可以包括以下主要步驟(1)選擇圖像子集，(2)將所選擇的圖像分配到具有主題的頁面上，(3)作為可選步驟，編輯圖像，(4)作為可選步驟，裁剪(包括自動裁剪)圖像，以及(5)在每個頁面上布置圖像(縮放、定位、旋轉(zhuǎn)、重疊等)。創(chuàng)建匯集的現(xiàn)有手段已經(jīng)使其難以創(chuàng)建對與所有構(gòu)建步驟相關(guān)的設(shè)計(jì)考慮的整體效果進(jìn)行優(yōu)化的照片相冊或其它匯集。最佳的系統(tǒng)可以單獨(dú)對特定步驟(諸如自動裁剪或布置)進(jìn)行優(yōu)化，或者它們可以對幾個步驟(諸如自動裁剪和布置一起)進(jìn)行聯(lián)合優(yōu)化。與之相比，本說明書描述了一種用于圖像相冊創(chuàng)建的方法，其能夠找出顧及到許多不同設(shè)計(jì)考慮的最優(yōu)方案，諸如基于頁面的布局選擇不同圖像以獲得審美上更愉悅的布置。作為沒有顧及設(shè)計(jì)考慮的實(shí)例的示例，圖IA是圖示圖像的匯集的框圖。類似地，圖IB是圖示具有不同于圖IA所顯示的布置的圖像匯集的另一框圖。參見圖1A，照片相冊或其它匯集的頁面(100)可以包括三個圖像(110，115，120)。以上所提到的圖像子集選擇步驟可以為照片相冊或其它匯集的頁面(100)選擇這三個圖像(110，115，120)，其中的每一個要以橫向進(jìn)行布置，并且其中每一個都包含有高度的細(xì)節(jié)。因此，三個圖像(110，115，120)中的每一個都需要頁面(100)中的很大區(qū)域。后續(xù)的布置步驟可能無法生成考慮到該設(shè)計(jì)元素的適當(dāng)布置。在一種情況下，三個圖像(110，115，120)可以為等大小，并且被放置在頁面(100)中央。如圖IA所描繪的，這會創(chuàng)建無趣味的布置并且在頁面(100)的側(cè)邊留下大量空白空間。圖IB示出了可以包括三個圖像(125，130，135)的照片相冊或其它匯集的頁面
(140)。同樣，以上所提到的圖像子集選擇步驟為照片相冊或其它匯集的頁面(100)選擇了這三個圖像(125，130，135)，其中每一個要以橫向進(jìn)行布置，并且其中每一個都包含有高度的細(xì)節(jié)。因此，三個圖像(125，130，135)中的每一個都需要頁面(100)中的很大區(qū)域。同樣，布置步驟可能無法生成考慮到該基本設(shè)計(jì)元素的適當(dāng)布置，并且會對這三個圖像(125，130，135)進(jìn)行布置以使得為了第三個圖像(135)而犧牲兩個圖像(125，130)的大小。然而，這種布置也在頁面(140)上留下了大量的空白空間，并且不允許兩個圖像(125，130)具有這樣的詳細(xì)的圖像所需要的大小。
結(jié)合以上情形的第三種選擇可以是在單個頁面(100)上放置兩個圖像并且將第三個圖像移到單獨(dú)的頁面。然而，這不允許最初被選擇為布置在一起的所有圖像出現(xiàn)在相同頁面(100)上，并且也會在額外的頁面上留下大量的空白空間。其它選擇可以包括省略一個圖像，由此在頁面上留下2個大的圖像或者將圖像分配給兩個面對的頁面而不僅僅是一個頁面，并且添加一個或多個額外的圖片來填充兩個面對頁面上的剩余區(qū)域。第四種選擇將是根本不選擇一個或多個圖像。然而，這顯然使得最初被選擇為布置在一起的圖像中的一個或多個被排除在布置之外，并且使得在匯集中包括設(shè)計(jì)考慮的能力不切實(shí)際。適當(dāng)選擇這些操作之一能夠給出更好的整體設(shè)計(jì)。這種選擇會受到多個標(biāo)準(zhǔn)的影響，包括匯集中頁面數(shù)量中所允許的靈活量以及圖像源集合中其它圖像的頁面要求。根據(jù)一種說明性實(shí)施例，以下所描述的圖像相冊創(chuàng)建系統(tǒng)和方法在選擇狀態(tài)、圖像內(nèi)容和布置約束之間提供了全局優(yōu)化。本系統(tǒng)和方法如何改進(jìn)照片相冊或匯集創(chuàng)建的另一個示例是通過考慮圖像中人物的臉部方向。職業(yè)設(shè)計(jì)人員通常在頁面上對圖像進(jìn)行布置，其中圖像中所描繪的人物的 臉部朝向頁面的特定部分(例如，頁面中央)或者頁面上的特定圖像。如果，在一種情形中，圖像子集選擇步驟選擇了過多的包含看向相同方向的人的圖像，則后續(xù)的布置步驟可能就無法以反映職業(yè)設(shè)計(jì)人員的設(shè)計(jì)選擇的方式來布置所述圖像。然而，如果在圖像子集選擇步驟中，選擇裝置至少部分地了解圖像布置中的各種約束或偏好，則可以選擇出能夠以更具審美愉悅感的方式進(jìn)行布置的圖像。根據(jù)一個說明性示例，所述選擇裝置可以簡單地生成多種似乎可能的可選方案。在生成和測試(generate-and-test)方法中，對這些可選方案中的每一種進(jìn)行嘗試并且評估所產(chǎn)生的相冊以確定全局最優(yōu)。與對相冊創(chuàng)建的每個階段進(jìn)行獨(dú)立優(yōu)化而不考慮對后續(xù)階段的影響相比，本系統(tǒng)和方法通過允許設(shè)計(jì)考慮控制相冊的整體優(yōu)化而緩解了這些以及其它的潛在問題。因此，可以自動創(chuàng)建反映了職業(yè)設(shè)計(jì)人員的審美設(shè)計(jì)決策的照片相冊或其它匯集。說明性結(jié)構(gòu)
圖2是圖示根據(jù)本說明性系統(tǒng)和方法的實(shí)施例的用于在匯集內(nèi)對多個圖像進(jìn)行布置的計(jì)算設(shè)備(200)的框圖。圖2所示的計(jì)算設(shè)備(200)可以是被配置為處理并存儲數(shù)據(jù)的任意電子設(shè)備，包括工作站、個人計(jì)算機(jī)、膝上計(jì)算機(jī)、個人數(shù)字助理(PDA)，或者任意其它包含處理器的設(shè)備，但是并不局限于此。計(jì)算設(shè)備(200)的各個組件優(yōu)選地經(jīng)由數(shù)據(jù)總線(260)進(jìn)行電耦合。如圖2所示，計(jì)算設(shè)備(200)包括處理器(210)。處理器(210)控制計(jì)算設(shè)備(200)的操作，其包括懲罰檢測單元(240)。所述懲罰檢測單元(240)可以作為固件、軟件或其組合而存在于硬件之中。此外，懲罰檢測單元(240)可以存在于計(jì)算設(shè)備(200)之外。再進(jìn)一步地，懲罰檢測單元(240)可以在可經(jīng)由互聯(lián)網(wǎng)訪問的服務(wù)器上實(shí)現(xiàn)，其中網(wǎng)站(例如，由惠普提供的位于www2. snapfish. com的Snapfish )可以提供連接到懲罰檢測單元(240)并且與之相關(guān)聯(lián)的服務(wù)。如以下將更為詳細(xì)論述的，懲罰檢測單元(240)被配置為對可能的匯集進(jìn)行評估以使得最具審美吸引力的匯集接收到最低的懲罰值。處理器(210)還控制元數(shù)據(jù)得出單元(230)的操作。元數(shù)據(jù)得出單元(230)可以作為固件、軟件或其組合存在于硬件之中。此外，元數(shù)據(jù)得出單元(230)可以存在于計(jì)算設(shè)備(200)之外。再進(jìn)一步地，元數(shù)據(jù)得出單元(230)可以在可經(jīng)由互聯(lián)網(wǎng)訪問的服務(wù)器上實(shí)現(xiàn)，其中網(wǎng)站(例如，Snapfish )可以提供連接到元數(shù)據(jù)得出單元(230)并且與之相關(guān)聯(lián)的服務(wù)。如以下將更為詳細(xì)論述的，元數(shù)據(jù)得出單元(230)被配置為從數(shù)字圖像得出元數(shù)據(jù)以使得所得出的元數(shù)據(jù)可以在對匯集中的圖像進(jìn)行布置時使用。存儲器(220)被用來存儲表示數(shù)字圖像的數(shù)據(jù)，從數(shù)字圖像得出的元數(shù)據(jù)，以及對于計(jì)算設(shè)備(200)的功能和使用所必需的任意其它數(shù)據(jù)，包括但并不局限于軟件，所述軟件包括操作系統(tǒng)或者被配置為運(yùn)行計(jì)算設(shè)備( 200)上的各種程序的其它軟件。所述存儲器
(220)可以包括例如只讀存儲器(ROM)的非易失性存儲器和例如隨機(jī)存取存儲器(RAM)的易失性存儲器的組合。計(jì)算設(shè)備(200)還可以包括圖像選擇和分組(grouping)單元(280)，其使用元數(shù)據(jù)得出單元(230)的結(jié)果來對圖像進(jìn)行集群化(cluster)，為頁面選擇適當(dāng)?shù)膱D像子集，等等。計(jì)算設(shè)備(200 )還可以包含圖像布置單元(240 )，其用于基于元數(shù)據(jù)得出單元(230 )所得出的元數(shù)據(jù)來創(chuàng)建圖像的合成(composition)。圖像布置單元(240)可以作為固件、軟件或其組合存在于硬件之中。此外，圖像布置單元(240)可以存在于計(jì)算設(shè)備(200)之外。再進(jìn)一步地，圖像布置單元(240)可以在可經(jīng)由互聯(lián)網(wǎng)訪問的服務(wù)器上實(shí)現(xiàn)，其中網(wǎng)站(例如，Snapfish )可以提供連接到圖像布置單元(240)并且與之相關(guān)聯(lián)的服務(wù)。此外，計(jì)算設(shè)備(200)還可以包含自動裁剪單元(270)，其用于針對多個圖像的不同縱橫比確定自動裁剪成本函數(shù)，并且基于所述自動裁剪成本函數(shù)來自動地裁剪圖像。自動裁剪單元(270)可以作為固件、軟件或其組合存在于硬件之中。此外，自動裁剪單元(270)可以存在于計(jì)算設(shè)備(200)之外。再進(jìn)一步地，自動裁剪單元(270)可以在可經(jīng)由互聯(lián)網(wǎng)訪問的服務(wù)器上實(shí)現(xiàn)，其中網(wǎng)站(例如，Snapfish )可以提供連接到自動裁剪單元(270)并且與之相關(guān)聯(lián)的服務(wù)。最后，可以提供多個端口( 250 )以用于向計(jì)算設(shè)備(200 )的存儲器(220 )輸入數(shù)字圖像或其它數(shù)據(jù)，并且輸出表示所完成的圖像合成的數(shù)據(jù)。端口(250)可以是串行或并行端口，包括USB端口和IEEE-1394端口，但是并不局限于此。在一個說明性實(shí)施例中，計(jì)算設(shè)備(200)可以連接到計(jì)算機(jī)的網(wǎng)絡(luò)以允許向和從所連接的各個計(jì)算機(jī)傳輸數(shù)據(jù)。此外，計(jì)算設(shè)備(200)可以連接到多臺打印機(jī)以允許在諸如紙張之類的介質(zhì)上打印圖像。最后，計(jì)算設(shè)備(200)可以連接到網(wǎng)絡(luò)(包括因特網(wǎng))以允許用戶向網(wǎng)頁上傳和/或從網(wǎng)頁下載圖像數(shù)據(jù)，在網(wǎng)頁上存儲數(shù)據(jù)、編輯圖像和/或增強(qiáng)網(wǎng)頁上的數(shù)字圖像。說明性實(shí)施方式和操作
職業(yè)設(shè)計(jì)人員在對任意類型的匯集中的圖像進(jìn)行布置時考慮若干種因素。例如，設(shè)計(jì)人員會考慮圖像中存在的顏色、亮度和/或紋理，圖像的復(fù)雜度、圖像中人物或物體的數(shù)量、圖像中人物和/或物體之間的角度、圖像內(nèi)人物或物體的方向、圖像所要占據(jù)的最小和最大物理區(qū)域(以例如in2的平方單位測量)、圖像應(yīng)當(dāng)占據(jù)的頁面或相冊的最小和最大部分、圖像在頁面或相冊上的相對位置、圖像的對準(zhǔn)以及其組合。此外，設(shè)計(jì)人員會單獨(dú)并且作為整體來考慮以上因素。通常，職業(yè)設(shè)計(jì)人員試圖使得照片相冊或圖像匯集在審美上不愉悅或不合意的元素最小化。本系統(tǒng)和方法通過為可能的照片相冊布置的特定不合意元素分配懲罰來執(zhí)行職業(yè)設(shè)計(jì)人員在創(chuàng)建審美上愉悅的照片相冊或其它圖像匯集時可能采取的步驟。例如，本系統(tǒng)和方法可以為相冊分配懲罰得分Zalbun，其可以被定義為可能的照片相冊布置中所有頁面的平均懲罰。相冊懲罰得分是相冊審美質(zhì)量的量度，其中較低的懲罰得分指示具有更加令人滿意的審美特性的較高質(zhì)量的相冊。如說明書和所附權(quán)利要求中所使用的，審美特性是與相冊和/或頁面相關(guān)的增加視覺吸引力的特定參數(shù)的量度。這些審美特性可以包括從可用圖像池進(jìn)行的圖像選擇、頁面上的圖像變化、圖像大小、圖像裁剪、“喜愛(favorite)”圖像的包含、圖像布置、圖像在頁面上的形狀、圖像在給定頁面或相冊上的內(nèi)容以及其它特性，但是并不局限于此。以下所描述的相冊懲罰得分特別包含了多種定量的審美特性以度量各個圖像相冊的審美質(zhì)量。根據(jù)一個說明性實(shí)施例，本系統(tǒng)和方法可以為具有頁面數(shù)目為P的相冊分配頁面懲罰Zpage i，其中“i”表示范圍為I…P中的頁面編號。所述懲罰檢測單元(圖2，240)被配置為通過創(chuàng)建相冊懲罰得分Zalbun來對可能的照片相冊的審美吸引力進(jìn)行評估，所述懲罰得分Zalbuffl是與構(gòu)成所述相冊的頁面相關(guān)聯(lián)的頁面懲罰的組合。將整體相冊懲罰Zalbuffl定義為所有頁面的Zpage i值的平均值的一種潛在局限性在于 這會掩飾特別差的頁面(即，具有特別高的Zpage i值的頁面)。在一個說明性實(shí)施例中，可以標(biāo)識出具有最差單獨(dú)懲罰的頁面并且將其懲罰得分通過乘數(shù)W1進(jìn)行加權(quán)。該加權(quán)的最大頁面懲罰接著被添加到所有頁面的Zpage i值的平均值。該乘數(shù)W1可以被用來在數(shù)學(xué)上強(qiáng)調(diào)特別差的頁面的Zpag6 i值以偏移整體相冊懲罰Zalbuffl來避免包括特別差的頁面的相冊配置。例如，相冊乘數(shù)W1可以為4，由此與其它頁面相比通過因數(shù)4來增大特別差的頁面的Zpag6 i值。此外，可以在情形中應(yīng)用另一個加權(quán)項(xiàng)Zf-以量化未能在各個圖像之中包括或強(qiáng)調(diào)特定圖像的失敗?？梢宰詣訕?biāo)識喜愛之物。例如，本系統(tǒng)和方法可以被配置為選擇已知具有高情緒(emotional)值的相對獨(dú)特的圖像。例如，典型地示例可以包括大群的人、特寫肖像、在過去的照片相冊中已經(jīng)使用過的圖像，以及經(jīng)常被搜索或觀看的圖像。在另一個說明性實(shí)施例中，可以允許用戶人工標(biāo)識他或她的“喜愛”圖像?！跋矏邸眻D像是本系統(tǒng)和方法必須包括在照片相冊或其它圖像匯集中的圖像。喜愛圖像的存在還會要求系統(tǒng)通過在照片相冊的給定頁面上分配較大量的空間，相對其它圖像以較大尺寸呈現(xiàn)該圖像，將該圖像放置在頁面內(nèi)的特定位置(例如，頁面中央)，或者以其它方式相對于其它圖像對該圖像給予優(yōu)先對待來強(qiáng)調(diào)該圖像。在一個說明性實(shí)施例中，一個或多個喜愛圖像可以占據(jù)比頁面區(qū)域的選定部分更大的區(qū)域Afav。因此，ZfavOTit6S可以表示占據(jù)小于Afav的區(qū)域的每個喜愛圖像的懲罰的總和。在一個說明性實(shí)施例中，加權(quán)喜愛的懲罰組成可以與區(qū)域的表現(xiàn)不足(under-representation)成比例。如它們的加權(quán)乘數(shù)W1和W2所表明的，針對基本頁面平均值(Zpage和Zf-)的這兩種擴(kuò)展是任選的；二者都可以被設(shè)置為0. O。這些擴(kuò)展可以以下面的方式來表示
ZaIbum _ average (Zpage i Zpage P) + W1 * max (Zpage i Zpage P) + W2 * Zfavorites
單獨(dú)相冊頁面的懲罰函數(shù)可以由四個分量的加權(quán)和所構(gòu)成
7 - w ^ 7+ w >|< 7 +W*7+W*7
乙page i"3 乙selection "4 乙crop ”5 zjContent-Iayout "6 zjShape-Iayout
其中 ^selection'' ^crop^ ^content-Iayout 矛口 ^shape-Iayout
在下文中定義。Zs^tim是表示對給定頁面所選擇的圖像的不同屬性或主題的懲罰值。例如，其中圖像的內(nèi)容或主題之間的相似度很大的題材不佳的頁面可以具有大的Zselertim值。ZselMim最為簡單的量度可以是頁面上任意兩個圖像之間的最大差異。Zcmp是表示圖像合成有多差(例如在被自動裁剪之后)的懲罰值。在一個說明性實(shí)施例中，該值可以反映頁面上每個圖像的裁剪懲罰的平均值。Zcontent_layout是未能遵循與頁面上照片的內(nèi)容相關(guān)的布置推薦所導(dǎo)致的懲罰值。例如，本系統(tǒng)和方法可以提供基于圖像的內(nèi)容或主題自動或人工地在照片相冊頁面或其它圖像匯集中布置圖像的手段。更具體地，本系統(tǒng)和方法可以通過應(yīng)用圖像分析技術(shù)基于圖像中呈現(xiàn)的顏色、圖像的整體復(fù)雜度、圖像內(nèi)主體的數(shù)量或者圖像中主體的布局對多個圖像進(jìn)行布置，所述圖像分析技術(shù)諸如在得出反映這些設(shè)計(jì)方面的元數(shù)據(jù)時所進(jìn)行的顏色分割、臉部檢測和臉部特征檢測?；趶膱D像所得出的元數(shù)據(jù)，所述系統(tǒng)可以在頁面上布置圖像。此外，所述系統(tǒng)可以對用戶提供推薦，并且用戶可以在頁面上人工布置圖像。未能遵循基于內(nèi)容的圖像布置推薦會導(dǎo)致頁面遭受Zcontent七rout懲罰。最后，Z-pd—是頁面上的形狀布置不佳所導(dǎo)致的懲罰值。該懲罰可以由動態(tài)圖 像布置方法所使用，所述方法在給定一組圖像的情況下試圖根據(jù)某種布局設(shè)計(jì)標(biāo)準(zhǔn)對圖像布置外觀進(jìn)行優(yōu)化。例如，可以對圖像進(jìn)行布置和縮放以便占據(jù)頁面上的矩形區(qū)域，該矩形區(qū)域占據(jù)盡可能多的頁面區(qū)域，但是保持圖像之間的統(tǒng)一間隙以及頁面邊緣的固定邊距。在這種情況下，Zshape_lay()Ut懲罰將與頁面上沒有被圖像矩形所占據(jù)的浪費(fèi)空間成比例。在這種情況下，在不可能在與頁面相同縱橫比的矩形中布置圖像時會留下浪費(fèi)空間。如以上所討論的，所述系統(tǒng)從給定的源圖像集合生成多個可能的相冊。這些可替換相冊設(shè)計(jì)可以具有不同的圖像選擇、圖像到頁面的不同分配、不同的頁面數(shù)量、不同的圖像大小、頁面上不同的圖像布置，等等。根據(jù)一個說明性實(shí)施例，所述系統(tǒng)對于每一種相冊布置生成相冊懲罰ZalbUffl。在大多數(shù)情況下，每個相冊在設(shè)計(jì)啟發(fā)之間會具有一些沖突并且會具有大于零的相冊懲罰。具有最低懲罰得分的一個或多個相冊被選擇作為返回給用戶的(一個或多個)相冊布置。因此，可以通過選擇具有最低Zalbun值的相冊來從多種可選相冊設(shè)計(jì)中選擇最具審美吸引力的相冊。然而，對所有可能的頁面窮舉地測試圖像選擇、頁面分配、圖像裁剪和圖像布局布置的每種可能組合可能是不切實(shí)際的。相反，可能需要減少可能組合以啟發(fā)式地將所評估的組合數(shù)量減少至可能包含一些良好方案的那些組合。隨后可以使用懲罰函數(shù)Zalbuffl在已經(jīng)被考慮過的經(jīng)縮減的可選方案集合之間進(jìn)行選擇。圖3是圖示根據(jù)本說明性系統(tǒng)和方法的實(shí)施例的在匯集內(nèi)對多個圖像進(jìn)行布置的方法的流程圖。圖3提供了一種縮小可能圖像組合的數(shù)量的手段。然而，對于本領(lǐng)域技術(shù)人員將會顯而易見的是，本系統(tǒng)和方法可以在沒有圖3所包括的多個步驟的情況下進(jìn)行實(shí)踐，并且步驟的任意數(shù)量或組合是任選的。然而，進(jìn)一步對于本領(lǐng)域技術(shù)人員將會顯而易見的是，本方法的各個步驟可以以與圖3所給出的次序不同的次序來實(shí)踐。作為圖3中的初始步驟，可以由用戶選擇多個頁面I…P (步驟305)。在一個說明性實(shí)施例中，可以提示用戶選擇任意數(shù)量的頁面。在另一個說明性實(shí)施例中，可以基于可用圖像的數(shù)量來自動選擇所需頁面的數(shù)量。例如，用戶可以預(yù)先選擇多個圖像，并且基于圖像的大小，本系統(tǒng)和方法可以自動確定所需的圖像數(shù)量。在又另一個說明性實(shí)施例中，可允許的頁面數(shù)量范圍Pmin至Pmax可以自動選擇或者由用戶人工選擇。接下來，可以提示用戶標(biāo)識要從其構(gòu)建相冊的總圖像池(步驟310)。用戶可以以任意多種方式來定義要從其構(gòu)建相冊的總圖像池。在一個說明性實(shí)施例中，這可以包括選擇包含任意數(shù)量的圖像的文件或者文件夾，其中包括專用于存儲用戶的整個圖像集合的文件。在另一個說明性實(shí)施例中，圖像的選擇可以包括選擇在相同地理位置、相同時間段拍攝的圖像或者具有相似質(zhì)量的圖像。例如，用戶可以指示系統(tǒng)選擇在兩日旅行中所拍攝的所有圖像或者在大峽谷所拍攝的所有圖像。在一個實(shí)施例中，用戶可以基于諸如相機(jī)類型或相機(jī)設(shè)置之類的信息對圖像進(jìn)行過濾。例如，用戶可以請求利用Photosmart R967相機(jī)所拍攝的所有特寫鏡頭生成相冊。在另一個說明性實(shí)施例中，本系統(tǒng)和方法可以基于相似題材來自動選擇圖像組。作為可選步驟，接下來可以選擇多個圖像作為“喜愛”圖像(步驟315)。如以上所討論的，在一個說明性實(shí)施例中，可以自動選擇喜愛圖像，其中本系統(tǒng)基于圖像的相對獨(dú)特 性、圖像的情緒值、圖像中人物的臉部表情、圖像中人物的數(shù)量、圖像是否為特寫肖像、圖像是否被用在過去的照片相冊中、圖像之前是否被搜索或觀看過或者任何其它區(qū)分因素來選擇喜愛圖像。在另一個說明性實(shí)施例中，可以由用戶人工選擇喜愛圖像。一旦被選擇，系統(tǒng)就可以被配置以使得這些喜愛圖像必須出現(xiàn)在所有可能的照片相冊匯集中。接下來，可以標(biāo)識出低質(zhì)量圖像并且可以將其從待處理并包括在照片相冊中的總圖像池中去除(步驟320)。低質(zhì)量圖像根據(jù)多個預(yù)先確定的標(biāo)準(zhǔn)而被去除，所述標(biāo)準(zhǔn)諸如圖像離焦、沒有捕捉到圖像的一個或多個主體的整體，或者另外地沒有提供主題的準(zhǔn)確描繪。在一個說明性實(shí)施例中，這些圖像被指定為集合B圖像，并且可能不會出現(xiàn)在相冊中。在另一個說明性實(shí)施例中，這些B圖像將僅在需要它們在所有其它可行圖像填充小于頁面的Pfflin量時填充頁面剩余的Pmin量的情況下才會出現(xiàn)在相冊中。接著可以基于圖像的內(nèi)容從各個圖像得出元數(shù)據(jù)(步驟325)。如以上所討論的，本系統(tǒng)和方法可以基于圖像的內(nèi)容或主題在照片相冊頁面或其它圖像匯集中對圖像進(jìn)行自動或人工布置?？梢酝ㄟ^應(yīng)用圖像分析技術(shù)基于圖像中所出現(xiàn)的顏色、圖像的整體復(fù)雜度、圖像內(nèi)主體的數(shù)量或者圖像中主體的布局對圖像進(jìn)行布置，所述圖像分析技術(shù)諸如在得出反映這些設(shè)計(jì)方面的元數(shù)據(jù)時所進(jìn)行的顏色分割、臉部檢測和臉部特征檢測?；趶膱D像所得出的元數(shù)據(jù)，所述系統(tǒng)可以在頁面上布置圖像。此外，所述系統(tǒng)可以對用戶提供推薦，并且用戶可以在頁面上人工布置圖像。因此，所述系統(tǒng)可以對每個圖像進(jìn)行分析，從每個圖像得出元數(shù)據(jù)，并且基于所得出的元數(shù)據(jù)提供頁面布置推薦或提示。接下來，本系統(tǒng)和方法可以在所選擇的圖像之中標(biāo)識重復(fù)(dupI icate )圖像，并且從重復(fù)圖像中選擇一個或多個最佳圖像(步驟330)。在一個說明性實(shí)施例中，重復(fù)圖像可以被歸類為在所有以下方面中都類似的任意多個圖像相同的顏色表現(xiàn)、相同人數(shù)、相同人物、相同頁面布置推薦及其組合。重復(fù)圖像是那些非常相似以使得包含重復(fù)圖像將不會有助于或增加照片相冊或其它匯集的審美質(zhì)量的那些圖像。在一個說明性實(shí)施例中，當(dāng)在重復(fù)圖像之中確定“最佳”圖像時，所述系統(tǒng)可以被配置為考慮若干因素，包括圖像銳度、愉悅的臉部表情、圖像中臉部數(shù)量、圖像內(nèi)的顏色變化及其組合，但是并不局限于此。在一個說明性實(shí)施例中，重復(fù)圖像被指定為集合D圖像，并且同集合B圖像一樣，僅在排除圖像的B或D集合之外的圖像數(shù)量小于Pmin時才被添加到照片相冊中。在這種情況下，來自圖像的D集合的圖像可以被添加到匯集中以便在相冊中達(dá)到Pmin個頁面。
接下來，本系統(tǒng)和方法可以形成圖像集群C (步驟335)，其中圖像根據(jù)共同的特性或題材進(jìn)行分組。各個圖像可以基于共同的題材進(jìn)行分組或集群化，包括圖像拍攝的時間、圖像中的主色、圖像中是否描繪了相同的人物、圖像拍攝的位置、圖像中所描繪的人群的組成，及其組合，但是并不局限于此。根據(jù)一個說明性實(shí)施例，集群的數(shù)量可以小于或等于照片相冊中的最大頁面數(shù)量P_ (C^ P_)，從而每個集群為一個或多個照片相冊頁面提供“題材”。任選地，步驟335可以利用不同集群標(biāo)準(zhǔn)或較少集群重復(fù)任意次數(shù)以便發(fā)現(xiàn)較少的多頁面集群的可能性。在大多數(shù)情況下 ，排除圖像的B或D集合中的那些圖像之外，圖像的總數(shù)明顯大于要填充最小數(shù)目Pmin的照片相冊頁面的圖像數(shù)量。然而，如果不是這樣的情況，則排除B和D中的那些圖像之外的每個圖像都可以被分配到單個頁面。來自集合D的附加圖像以及隨后必要時還有來自集合B的附加圖像可以被用來填充Pmin個頁面。在許多情況下，在不會由于使得圖像不希望地小而導(dǎo)致高Z_t6nt_laywt懲罰的情況下，圖像的每個集群C將包含比照片相冊或其它圖像匯集的給定頁面上所能夠放置的更多的圖像。因此，可以選擇圖像的子集(步驟340)以使得那些所選擇圖像相關(guān)聯(lián)的頁面布置推薦不發(fā)生沖突。接著可以應(yīng)用多種說明性標(biāo)準(zhǔn)。例如，如果給定集群包含一個或多個“喜愛”圖像，則必須選擇這些圖像。此外，作為確保在圖像的頁面布置推薦之間不存在沖突的說明性示例，可以選擇不多于兩個具有頁面布置推薦的圖像在頁面的相同一側(cè)上。類似地，作為確保在圖像的頁面布置推薦之間不存在沖突的另一示例，將對給定頁面僅選擇一個至少需要50%頁面區(qū)域的圖像。在集群數(shù)量C < Pmax的情況下，包含許多圖像或者擁有具有許多沖突的布置要求的圖像的集群可以生成多個相冊頁面或者雙頁面展開的布局。此外，可以選擇要在頁面或雙頁面上布置的圖像組合以確保低的Zs6l6rfim懲罰。許多可選的圖像組合可以作為可能的頁面組合進(jìn)行測試。以這種方式，整體系統(tǒng)能夠在其搜索具有最低Zalbuffl懲罰的相冊時對不同的相冊變體進(jìn)行評估。在一個實(shí)施例中，使用啟發(fā)來確保僅考慮合理的良好組合。適當(dāng)?shù)膯l(fā)是僅考慮其ZselertiraJg罰值降到低于某一極限的圖像的組合。在一個說明性實(shí)施例中，該預(yù)先確定的懲罰值可以被設(shè)置為小于最低可能的Zs…。 。 懲罰值的I. 25倍。可以使用類似的啟發(fā)約束來避免可能引起高
的潛在 Z c ont ent -1 ay out
懲罰的圖像組合。接下來，對每個圖像計(jì)算不同縱橫比的自動裁剪成本函數(shù)(步驟350)。在一個說明性實(shí)施例中，本系統(tǒng)和方法可以被配置為生成針對不同縱橫比生成成本值的陣列。對于每種縱橫比，可以保留最低成本值。有效地，所述陣列是相對縱橫比的“審美裁剪懲罰”的連續(xù)函數(shù)的采樣。該函數(shù)可以被稱作圖像的“裁剪成本函數(shù)”。該函數(shù)的值是每個縱橫比的最低裁剪成本量度，其與具有該縱橫比的特定裁剪矩形的大小和位置無關(guān)。作為下一個步驟，本系統(tǒng)和方法考慮到關(guān)于大小、位置和對準(zhǔn)方面的圖像布置推薦在照片相冊的給定頁面上對多個圖像進(jìn)行布置，同時納入了從步驟350所獲得的關(guān)于每個圖像的裁剪成本函數(shù)的值的因素(步驟355)。在一個說明性實(shí)施例中，本系統(tǒng)和方法可以采用裁剪成本函數(shù)的集合作為輸入，其中每個待放置的圖像一個。可以執(zhí)行優(yōu)化搜索來為每個圖像選擇縱橫比以及其大小和位置。所述優(yōu)化標(biāo)準(zhǔn)因此是經(jīng)合并的布局和裁剪的量度；裁剪分量由每個圖像的裁剪成本值之和形成，而圖像的裁剪成本值是其裁剪成本函數(shù)針對其所選擇的縱橫比的值。布局分量由形狀分量Zshape_lay()Ut和內(nèi)容分量Zcontent_layout所構(gòu)成，所述形狀分量Zshape_lay()Ut反映圖像邊界形狀的空間布置的審美質(zhì)量的問題，所述內(nèi)容分量則基于其內(nèi)容反映布置中圖像的相對位置和大小的審美質(zhì)量的問題。在一個說明性實(shí)施例中，執(zhí)行優(yōu)化搜索的最為簡單的方式可以是使用特定縱橫比集合利用每個圖像的所有縱橫比組合來重復(fù)基本搜索以便對每個圖像的裁剪成本函數(shù)進(jìn)行采樣。接著可以對每個縱橫比組合進(jìn)行布置，并且可以對經(jīng)組合的布置和裁剪成本函數(shù)進(jìn)行評估。保留最低成本的布置作為最優(yōu)結(jié)果。當(dāng)已經(jīng)選擇了最優(yōu)的縱橫比集合時，接著再次對每個圖像調(diào)用自動裁剪處理，這一次請求所選擇縱橫比的裁剪。返回適當(dāng)?shù)目v橫比裁剪以便插入到頁面布置之中。在一個說明性實(shí)施例中，使得頁面懲罰函數(shù)Zpage最小化。由于Zselertim值對于指定圖像的所有布置是固定的，所以本系統(tǒng)和方法被配置為試圖使得其余項(xiàng)Iaov' zcontent-larout和Zshape;-lay()Ut之和最小化。例如，如果使用進(jìn)取的(aggressive)自動裁剪算法，則可能有必要針對明顯不同的裁剪重新計(jì)算每個圖像的頁面布置推薦以便減小Zpage懲罰值。最后，從以上步驟針對每個集群所生成的頁面組合可以被累積到可能的相冊中(步驟360)?？梢赃x擇頁面組合以使得頁面的計(jì)數(shù)要求得以滿足(例如Pmin〈實(shí)際頁面數(shù)量<Pmax)0接著可以計(jì)算相冊的整體懲罰值Zalbum(步驟365)。如步驟330至365所示出的，接著可以重復(fù)以上過程來確定多個相冊的整體相冊懲罰(步驟370)。如以上所討論的，即使 這些相冊是基于相同的圖像池，但是每個相冊在布局、所包括圖片、長度以及其它因素上可以是唯一的。所述系統(tǒng)接著選擇具有最低Zalbuffl值的一個或多個相冊以便呈現(xiàn)給用戶(步驟375)。因此，公開了允許設(shè)計(jì)考慮控制相冊的整體優(yōu)化的用于創(chuàng)建相冊或其它圖像匯集的系統(tǒng)和方法。更具體地，公開了用于在滿足許多設(shè)計(jì)約束的同時在相冊或其它匯集中選擇、編輯和布置多個圖像的說明性系統(tǒng)和方法。此外，說明性系統(tǒng)和方法可以在滿足這些設(shè)計(jì)約束時采用各種技術(shù)，包括用于在創(chuàng)建具有審美吸引力的圖像匯集時使用的基于內(nèi)容的圖像選擇和布置，圖像的自動裁剪，以及基于懲罰的圖像選擇、編輯和布置，但是并不局限于此。本系統(tǒng)和方法接著允許用戶人工或自動布置圖像以創(chuàng)建審美愉悅的圖像匯集。本系統(tǒng)和方法提供了用于快速且方便地準(zhǔn)備照片相冊或其它圖像匯集的手段而沒有雇用職業(yè)設(shè)計(jì)人員的成本。此外，本系統(tǒng)和方法提供了使得用戶經(jīng)由處于本系統(tǒng)之外的服務(wù)器上所實(shí)現(xiàn)的網(wǎng)頁快速且方便地準(zhǔn)備照片相冊或其它圖像匯集的手段。因此，用戶可以經(jīng)由網(wǎng)頁上傳、存儲、編輯和增強(qiáng)數(shù)字圖像，以及在照片相冊內(nèi)布置所述圖像。因此，本系統(tǒng)和方法可以提供從用戶的個人計(jì)算機(jī)產(chǎn)生照片相冊的打印副本的更為成本有效的手段，而不必購買單獨(dú)的計(jì)算設(shè)備、軟件等。已經(jīng)給出了以上描述僅用于說明和描述所描述原理的實(shí)施例和示例。該描述并非意在是窮舉的或者將這些原理限制為所公開的任意確切形式。可能借助于以上教導(dǎo)進(jìn)行許多的修改和變化。
權(quán)利要求
1.一種用于創(chuàng)建圖像相冊的方法，包括 從源集合選擇圖像子集； 通過在一個或多個頁面上布置所述圖像子集來創(chuàng)建多個圖像相冊； 使用懲罰檢測單元對每個圖像相冊進(jìn)行評估以生成懲罰得分，所述懲罰得分是所述圖像相冊的審美質(zhì)量的量度； 向用戶呈現(xiàn)具有最低懲罰得分的一個或多個圖像相冊。
2.如權(quán)利要求I所述的方法，其中所述懲罰得分包括為圖像相冊內(nèi)的每個頁面所生成的頁面懲罰的平均值。
3.如權(quán)利要求2所述的方法，其中所述懲罰得分進(jìn)一步包括加權(quán)最大頁面懲罰和加權(quán)喜愛懲罰中的至少一個。
4.如權(quán)利要求2所述的方法，其中所述頁面懲罰包括加權(quán)選擇懲罰、加權(quán)裁剪懲罰、力口權(quán)內(nèi)容布局懲罰和加權(quán)形狀布局懲罰中的至少一個。
5.如以上權(quán)利要求中的任一項(xiàng)所述的方法，進(jìn)一步包括根據(jù)預(yù)先確定的標(biāo)準(zhǔn)來標(biāo)識并去除低質(zhì)量圖像。
6.如以上權(quán)利要求中的任一項(xiàng)所述的方法，進(jìn)一步包括 標(biāo)識圖像子集中的重復(fù)圖像；并且 從所述重復(fù)圖像之中選擇至少一個圖像以包括在圖像相冊中。
7.如以上權(quán)利要求中的任一項(xiàng)所述的方法，進(jìn)一步包括從圖像子集之中選擇喜愛圖像，所有喜愛圖像都被包含到圖像相冊中。
8.如以上權(quán)利要求中的任一項(xiàng)所述的方法，進(jìn)一步包括對圖像子集內(nèi)的圖像進(jìn)行分析以得出元數(shù)據(jù)，圖像布置單元(240)在一個或多個相冊頁面上創(chuàng)建圖像布置時將所述元數(shù)據(jù)作為一個因素。
9.如權(quán)利要求8所述的方法，其中所述元數(shù)據(jù)描述圖像中出現(xiàn)的顏色、圖像復(fù)雜度、圖像中的主體數(shù)量和臉部特征檢測中的至少一個。
10.如以上權(quán)利要求中的任一項(xiàng)所述的方法，進(jìn)一步包括將圖像子集劃分為通過共同特性相關(guān)的圖像集群。
11.如權(quán)利要求10所述的方法，其中所述共同特性是共同時間段、共同地理位置、共同主體、共同視覺質(zhì)量和共同圖像元數(shù)據(jù)中的至少一個。
12.如權(quán)利要求10所述的方法，進(jìn)一步包括在圖像相冊的連續(xù)頁面上布置集群內(nèi)的部分圖像。
13.一種用于將多個圖像布置到圖像相冊中的系統(tǒng)，包括 圖像布置單元(240)，其被配置為將所選擇的圖像布置到多個圖像相冊中；和 懲罰檢測單元(215)，其被配置為生成與所述多個圖像相冊中的每一個相關(guān)聯(lián)的懲罰得分，具有最低懲罰得分的圖像相冊被呈現(xiàn)給用戶。
14.如權(quán)利要求13所述的系統(tǒng)，進(jìn)一步包括元數(shù)據(jù)得出單元(230)，其被配置為對所選擇的圖像進(jìn)行評估以得出描述所選擇圖像的一個或多個視覺特性的元數(shù)據(jù)。
15.如權(quán)利要求13或14所述的系統(tǒng),進(jìn)一步包括自動裁剪單元(270),其被配置為針對圖像的不同縱橫比確定自動裁剪成本函數(shù)，所述自動裁剪單元被配置為基于所述自動裁剪成本函數(shù)自動地裁剪圖像。
全文摘要
一種用于創(chuàng)建圖像相冊的方法包括從源集合選擇圖像子集并且通過在一個或多個頁面上布置圖像子集創(chuàng)建多個圖像相冊。每個圖像相冊由懲罰檢測單元(215)進(jìn)行評估以生成懲罰得分，所述懲罰得分是圖像相冊的審美質(zhì)量的量度。具有最低懲罰得分的一個或多個圖像相冊被呈現(xiàn)給用戶。還提供了一種用于將多個圖像布置到圖像相冊中的系統(tǒng)。
文檔編號G06F3/14GK102804759SQ200980160064
公開日2012年11月28日 申請日期2009年6月24日 優(yōu)先權(quán)日2009年6月24日
發(fā)明者S.P.基特爾 申請人:惠普開發(fā)有限公司