本發(fā)明要求2014年5月16日申請的題為“對象運(yùn)動檢測和特征化的成像布置(IMAGING ARRANGEMENT FOR OBJECT MOTION DETECTION AND CHARACTERIZATION)”的第61/994,789號(代理人案號QUALP255PUS/145011P1)美國臨時(shí)專利申請案和2015年5月15日申請且題為“對象運(yùn)動檢測和特征化的成像布置(IMAGING ARRANGEMENT FOR OBJECT MOTION DETECTION AND CHARACTERIZATION)”的第14/714,086號(代理人案號QUALP255US/145011)美國專利申請案的優(yōu)先權(quán)。這些先前申請案的揭示內(nèi)容被視為本發(fā)明的一部分且特此以引用的方式并入本文中。

技術(shù)領(lǐng)域

本發(fā)明涉及用于電子裝置的對象運(yùn)動檢測和特征化的技術(shù)，更確切來說涉及一種用于辨識在運(yùn)動中的對象的特性的成像系統(tǒng)和光學(xué)器件。

背景技術(shù)：

隨著移動裝置在日常生活中變得更加重要，對檢測和區(qū)分移動對象的特征的需要日益增加。舉例來說，極需要例如裝置喚醒、檢測和辨識用戶面部、手部或手指、簡單手勢(輕掃、縮放)、復(fù)雜手勢(指算、收縮)、眼球追蹤、頭部追蹤等新功能。理想地，甚至在裝置處于低功率模式時(shí)，此功能性可始終可用。

因此，用于檢測運(yùn)動和辨識在運(yùn)動中的對象的特性的經(jīng)改良技術(shù)對于眾多類型的電子裝置為合乎需要的，所述電子裝置例如智能電話、平板計(jì)算機(jī)和具有用戶接口和/或顯示器的其它手持式或可佩戴電子裝置。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的系統(tǒng)、方法和裝置各自具有若干創(chuàng)新方面，其中無單個(gè)方面單獨(dú)負(fù)責(zé)本文中所揭示的合乎需要的屬性。

本發(fā)明中所描述的標(biāo)的物的一個(gè)創(chuàng)新方面涉及一種提供低功率(<20mW)計(jì)算機(jī)視覺和/或運(yùn)動檢測的成像系統(tǒng)和相關(guān)聯(lián)光學(xué)器件。光學(xué)器件經(jīng)配置以收集足夠的光以在具有小外形規(guī)格的布置中在高幀速率下獲得足夠明亮的圖像。在一些實(shí)施方案中，避免在電子裝置的軟件/硬件中進(jìn)行圖像處理，以支持用硬件在像素內(nèi)(in-pixel)執(zhí)行運(yùn)動檢測和對象特征化。

根據(jù)一些實(shí)施方案，一種視覺傳感器包含：傳感器組合件，其包含像素陣列和與所述像素陣列光學(xué)耦合的透鏡組合件；以及專用微處理器，其經(jīng)配置以基于從所述傳感器組合件接收的圖像數(shù)據(jù)而執(zhí)行計(jì)算機(jī)視覺計(jì)算。所述專用微處理器包含第二處理器的接口。所述透鏡組合件具有<2的F#、小于4mm的總軌跡長度和至少+/-20度的視野。

在一些實(shí)例中，除了第一非球面透鏡和第二非球面透鏡以外，所述透鏡組合件可不包含透鏡。

在一些實(shí)例中，所述第二處理器的所述接口可包含與所述第二處理器通信的有線或無線通信接口。所述專用微處理器可經(jīng)配置以無論在所述第二處理器處于正常功率模式還是功率節(jié)省模式的情況下都執(zhí)行所述計(jì)算機(jī)視覺計(jì)算。電子裝置可包含所述視覺傳感器和所述第二處理器兩者。在一些實(shí)例中，當(dāng)所述第二處理器處于所述功率節(jié)省模式時(shí)，所述專用微處理器可經(jīng)配置以基于所述計(jì)算機(jī)視覺計(jì)算符合準(zhǔn)則而輸出事件，所述事件經(jīng)配置以將所述第二處理器在所述功率節(jié)省模式與所述正常功率模式之間切換。在一些實(shí)例中，所述準(zhǔn)則可涉及用于將所述處理器從所述功率節(jié)省模式切換到所述正常功率模式的條件。在一些實(shí)例中，所述準(zhǔn)則可涉及檢測人臉。在一些實(shí)例中，所述專用微處理器可消耗比所述第二處理器更少的功率。

在一些實(shí)例中，其中所述像素陣列包括256乘256或更小的像素陣列。

在一些實(shí)例中，所述像素陣列可經(jīng)配置以在大于每秒150幀的幀速率下獲得對象的運(yùn)動和圖像特性信息。

在一些實(shí)例中，所述F#可小于或等于1.5。

根據(jù)一些實(shí)施方案，一種傳感器組合件包含：像素陣列，所述像素陣列包含多個(gè)像素，所述像素陣列與包含第一非球面透鏡和第二非球面透鏡的透鏡組合件光學(xué)耦合。除了所述第一非球面透鏡和所述第二非球面透鏡以外，所述透鏡組合件包含不多于一個(gè)透鏡，且具有<2的F#、小于4mm的總軌跡長度(TTL)和至少+/-20度的視野。每一像素包含檢測器，且所述多個(gè)像素中的至少一些耦合到專用處理電路。所述處理電路經(jīng)配置以獲得以計(jì)算由所述像素陣列在所述視野內(nèi)捕獲的圖像中的對象的計(jì)算機(jī)視覺特征。

在一些實(shí)例中，除了所述第一非球面透鏡和所述第二非球面透鏡以外，所述透鏡組合件可不包含透鏡。

在一些實(shí)例中，所述像素陣列可包含矩形陣列中的M行和N列。M和N可各自在約125到約250的范圍內(nèi)，且所述矩形陣列可具有約4mm²的面積。對于所述視野內(nèi)的所有光，所述透鏡組合件可具有至少為0.4的光學(xué)傳遞函數(shù)的模數(shù)。

在一些實(shí)例中，所述矩形陣列具有總面積，且不少于所述總面積的70％可供用于像素內(nèi)處理電路。在一些實(shí)例中，所述TTL小于3.5mm。在一些實(shí)例中，每一像素具有約250μm²的面積。在一些實(shí)例中，所述F#小于或等于1.5。

根據(jù)一些實(shí)施方案，一種透鏡組合件具有<2.0的F#和對于約550nm波長的可見光不小于8μm的光斑大小。

在一些實(shí)例中，所述透鏡組合件可包含第一非球面透鏡和第二非球面透鏡，且除了所述第一非球面透鏡和所述第二非球面透鏡以外，所述透鏡組合件可不包含透鏡。

在一些實(shí)例中，所述透鏡組合件可具有小于4mm的總軌跡長度和至少+/-20度的視野。在一些實(shí)例中，所述F#可小于或等于1.5。

根據(jù)一些實(shí)施方案，一種視覺傳感器包含：傳感器組合件，其包含像素陣列和與所述像素陣列光學(xué)耦合的透鏡組合件；以及用于基于從所述傳感器組合件接收的圖像數(shù)據(jù)而執(zhí)行計(jì)算機(jī)視覺計(jì)算的裝置。所述透鏡組合件具有<2的F#、小于4mm的總軌跡長度和至少+/-20度的視野。

在一些實(shí)例中，所述用于執(zhí)行計(jì)算機(jī)視覺計(jì)算的裝置可包含單獨(dú)處理器的接口，且可經(jīng)配置以無論在所述單獨(dú)處理器處于正常功率模式還是功率節(jié)省模式的情況下都執(zhí)行所述計(jì)算機(jī)視覺計(jì)算，所述單獨(dú)處理器的所述接口與所述單獨(dú)處理器進(jìn)行有線或無線通信。電子裝置包含所述視覺傳感器和所述單獨(dú)處理器兩者。

附圖說明

本說明書中所描述的標(biāo)的物的一或多個(gè)實(shí)施方案的細(xì)節(jié)闡述于本發(fā)明和附圖中。通過審核本發(fā)明，其它特征、方面和優(yōu)點(diǎn)將變得顯而易見。應(yīng)注意，本發(fā)明的附圖和其它圖的相對尺寸可不按比例繪制。本發(fā)明中所展示和描述的大小、厚度、布置、材料等僅借助于實(shí)例作出且不應(yīng)理解為限制。各個(gè)圖式中的相同參考數(shù)字和名稱指示相同元件。

圖1A展示包含透鏡組合件的低功率計(jì)算機(jī)視覺應(yīng)用的視覺傳感器的實(shí)例。

圖1B展示包含圖1A的視覺傳感器的電子裝置的實(shí)施方案的實(shí)例。

圖2展示成像布置的實(shí)施方案的實(shí)例。

圖3說明圖2中所說明的成像布置實(shí)施方案的透鏡參數(shù)的實(shí)例。

圖4說明所估計(jì)的光學(xué)傳遞函數(shù)的模數(shù)(OTF)作為空間頻率(以每毫米周數(shù)為單位)的函數(shù)。

圖5說明在0、15、20和25度入射光角度下光斑圖像的空間像差。

圖6說明在0、15、20和25度入射光角度下所封閉能量的分?jǐn)?shù)作為來自質(zhì)心的半徑的函數(shù)。

具體實(shí)施方式

以下描述涉及出于描述本發(fā)明的創(chuàng)新方面的目的的某些實(shí)施方案。然而，所屬領(lǐng)域的技術(shù)人員將易于認(rèn)識到，可以許多不同方式應(yīng)用本文中的教示。所描述實(shí)施方案可在包含成像布置的任何裝置、設(shè)備或系統(tǒng)中實(shí)施。舉例來說，預(yù)期所描述的實(shí)施方案可包含在多種電子裝置中或與多種電子裝置相關(guān)聯(lián)，例如(但不限于)：移動電話、具多媒體因特網(wǎng)功能的蜂窩式電話、移動電視接收器、無線裝置、智能電話、裝置、個(gè)人數(shù)據(jù)助理(PDA)、無線電子郵件接收器、手持式或便攜式計(jì)算機(jī)、上網(wǎng)本、筆記本計(jì)算機(jī)、智能本、平板計(jì)算機(jī)、打印機(jī)、復(fù)印機(jī)、掃描儀、傳真裝置、全球定位系統(tǒng)(GPS)接收器/導(dǎo)航儀、相機(jī)、數(shù)字媒體播放器(例如，MP3播放器)、攝錄像機(jī)、游戲控制臺、腕表、時(shí)鐘、計(jì)算器、電視監(jiān)視器、平板顯示器、電子閱讀裝置(例如，電子閱讀器)、移動健康裝置、計(jì)算機(jī)監(jiān)視器、汽車顯示器(包含里程表和速度計(jì)顯示器等)、駕駛艙控制和/或顯示器、相機(jī)視圖顯示器(例如，車輛中的后視相機(jī)的顯示器)、電子相片、電子布告板或標(biāo)牌、投影儀、建筑結(jié)構(gòu)、微波、冰箱、立體聲系統(tǒng)、盒式記錄器或播放器、DVD播放器、CD播放器、VCR、收音機(jī)、便攜式存儲器芯片、洗衣機(jī)、烘干機(jī)、洗衣機(jī)/烘干機(jī)、停車計(jì)時(shí)器、包裝(例如，在機(jī)電系統(tǒng)(EMS)應(yīng)用中，包含微機(jī)電系統(tǒng)(MEMS)應(yīng)用以及非EMS應(yīng)用)、美觀性結(jié)構(gòu)(例如，關(guān)于一件珠寶或服裝的圖像的顯示)和多種EMS裝置。本文中的教示還可用于例如(但不限于)以下應(yīng)用中：電子開關(guān)裝置、射頻濾波器、傳感器、加速度計(jì)、陀螺儀、運(yùn)動感測裝置、磁力計(jì)、用于消費(fèi)型電子裝置的慣性組件、消費(fèi)型電子產(chǎn)品的零件、變?nèi)萜鳌⒁壕аb置、電泳裝置、驅(qū)動方案、制造工藝和電子測試設(shè)備。因而，所述教示并不希望僅限于圖中所描繪的實(shí)施方案，而實(shí)際上具有廣泛適用性，如所屬領(lǐng)域的一般技術(shù)人員將易于顯而易見。

本發(fā)明的系統(tǒng)、方法和裝置各自具有若干創(chuàng)新方面，其中無單個(gè)方面單獨(dú)負(fù)責(zé)本文中所揭示的合乎需要的屬性。本發(fā)明中所描述的標(biāo)的物的一個(gè)創(chuàng)新方面可實(shí)施于例如智能電話、平板計(jì)算機(jī)和具有用戶接口和/或顯示器的其它手持式或可佩戴電子裝置等電子裝置中。根據(jù)本發(fā)明所揭示的技術(shù)，成像布置實(shí)現(xiàn)辨識對象或手勢，例如，檢測或辨識面部或非觸摸用戶輸入，例如與成像布置移開一定距離在空氣中做出的手勢。所揭示成像布置操作同時(shí)消耗最小量的功率(小于20mW，小于10mW或0.5mW或更小)，且因此甚至在電子裝置處于休眠模式或其它功率節(jié)省模式時(shí)，也可“始終開啟”。還有可能提供用消耗小于1mW的成像系統(tǒng)進(jìn)行的運(yùn)動檢測或輪廓檢測。所揭示成像系統(tǒng)和光學(xué)器件可以小外形規(guī)格(小于40立方毫米)加以包裝，且可在足以檢測運(yùn)動的幀速率下提供圖像數(shù)據(jù)且在以短的觀看距離辨識快速移動對象的特性。舉例來說，在一些實(shí)施方案中，預(yù)期大于每秒200幀的幀速率。

本發(fā)明所揭示的技術(shù)實(shí)現(xiàn)檢測和辨識例如用戶的手部、手指、手持式對象或面部等靜止或移動對象的圖像特性。在一些實(shí)施方案中，檢測對象的運(yùn)動。替代地或另外，無論對象是否移動，可識別到對象的主輪廓并將其特征化以允許(例如)基本辨識對象，例如將給定對象識別為手部或面部。因此，可提供涉及裝置喚醒、面部/手部/人體特征檢測和辨識、簡單手勢(輕掃、縮放)、復(fù)雜手勢(指算、收縮)、眼球追蹤、頭部追蹤和使用移動裝置上的深度圖信息的3D成像的新用戶接口功能。在一些實(shí)施方案中，甚至在電子裝置處于“休眠”或其它低功率模式時(shí)，此類用戶接口功能也可用。舉例來說，除了光檢測元件以外，像素陣列還可包含像素內(nèi)處理電路，像素內(nèi)處理電路使得運(yùn)動檢測算法能夠在像素內(nèi)執(zhí)行，而不必將數(shù)據(jù)傳遞到電子裝置的處理器且用電子裝置的處理器處理數(shù)據(jù)。

已發(fā)現(xiàn)，對于某些計(jì)算機(jī)視覺任務(wù)，例如面部檢測(檢測人臉是否存在于場景中)或面部辨識(將檢測到的面部辨識為所指定個(gè)體的面部)以及其它計(jì)算機(jī)視覺任務(wù)，高分辨率圖像并非必需的。因此，在一些實(shí)施方案中，使用低的每幀像素計(jì)數(shù)和相對于常規(guī)(例如，VGA)數(shù)碼相機(jī)系統(tǒng)較大的對應(yīng)像素大小來獲取圖像數(shù)據(jù)。因此，每一圖像幀的數(shù)據(jù)卷甚至顯著小于中等質(zhì)量成像相機(jī)。通常，具有VGA分辨率或更高的數(shù)碼相機(jī)具有每秒30到70幀的幀速率。另外，在用于以約0.2m或更小的距離橫越電子裝置的視野檢測快速移動對象的任選實(shí)施方案中，約200到500Hz的幀速率可改良檢測。

當(dāng)前所揭示的技術(shù)預(yù)期在與所要高幀速率相關(guān)聯(lián)的短曝光時(shí)間期間收集足夠的光的緊密光學(xué)器件布置。在一些實(shí)施方案中，預(yù)期具有(例如)1.5或更小的F#的高性能光學(xué)器件。在一些實(shí)施方案中，通過配置透鏡組合件以包含不多于兩個(gè)透鏡元件來降低成本、復(fù)雜度和光學(xué)器件的體積。

因此，將描述提供低功率(<20mW)計(jì)算機(jī)視覺和/或運(yùn)動檢測的成像系統(tǒng)和相關(guān)聯(lián)光學(xué)器件。光學(xué)器件經(jīng)配置以收集足夠的光以在具有小外形規(guī)格的布置(例如，3mm×3mm×4mm，相對于5mm×5mm×6mm的常規(guī)布置)中在所需幀速率下獲得足夠明亮的圖像。在一些實(shí)施方案中，光學(xué)器件布置可具有3.5mm或更小的總軌跡長度(TTL)。在一些實(shí)施方案中，避免在電子裝置的軟件/硬件中進(jìn)行圖像處理，以支持用硬件在像素內(nèi)執(zhí)行運(yùn)動檢測和對象特征化。

在一些實(shí)施方案中，可在還包含經(jīng)設(shè)計(jì)以用于捕獲高質(zhì)量圖像的常規(guī)相機(jī)的裝置上使用所揭示的成像系統(tǒng)和相關(guān)聯(lián)光學(xué)器件。常規(guī)相機(jī)可具有較高分辨率(最小VGA)、低像差、鮮艷顏色和高動態(tài)范圍，至少其中幀速率相對較低(30到70fps)。此類高分辨率相機(jī)的數(shù)據(jù)處理要求和功率損耗遠(yuǎn)遠(yuǎn)超過當(dāng)前所揭示的成像系統(tǒng)所要求的數(shù)據(jù)處理要求和功率損耗。舉例來說，移動裝置的中等質(zhì)量成像相機(jī)具有VGA分辨率(640×480像素)，但當(dāng)前預(yù)期的分辨率可在125×125到256×256像素的范圍內(nèi)。常規(guī)相機(jī)具有大于2.2的典型F#，且因此，移動裝置中所使用的典型成像相機(jī)不能用短曝光時(shí)間收集足夠的光以便實(shí)現(xiàn)高刷新速率。相比之下，當(dāng)前所揭示的成像系統(tǒng)可在小外形規(guī)格布置中提供在1.4到2.0的范圍內(nèi)的F#。

圖1A展示包含透鏡組合件的低功率計(jì)算機(jī)視覺應(yīng)用的視覺傳感器的實(shí)例。在所說明的實(shí)施方案中，視覺傳感器130包含光學(xué)耦合到像素陣列134的透鏡組合件132。透鏡組合件132和像素陣列134一同形成傳感器組合件140。參考圖2到6進(jìn)一步詳細(xì)描述透鏡組合件132。像素陣列134可包含M×N像素陣列，其中數(shù)目M和N可相同或不同。每一像素可包含檢測器，例如光電二極管或其它光感測元件，且所述像素中的至少一些耦合到和/或包含專用被動和/或主動處理電路(此類處理電路可包含(例如)專用微處理器136和計(jì)算機(jī)視覺計(jì)算硬件138中的一者或兩者，如下文所進(jìn)一步描述)。在不同實(shí)施方案中，像素陣列134可為256×256像素陣列或128×128像素陣列。像素陣列134可電子耦合到專用微處理器136。專用微處理器可為專用低功率微處理器，所述微處理器經(jīng)設(shè)計(jì)以從像素陣列134接收圖像數(shù)據(jù)輸入且執(zhí)行對由像素陣列134捕獲的圖像中的對象的基于計(jì)算機(jī)視覺的辨識和/或檢測。此類基于計(jì)算機(jī)視覺的辨識和/或檢測可包含基于與主體像素相鄰的像素的值針對像素陣列中的每一像素計(jì)算計(jì)算機(jī)視覺特征，例如局部二進(jìn)制模式(local binary patterns)(LBP)。其它計(jì)算機(jī)視覺特征也是已知的，例如局部三進(jìn)制模式、定向梯度直方圖以及其它特征。專用微處理器可隨后使用所計(jì)算的計(jì)算機(jī)視覺特征來執(zhí)行面部檢測和/或辨識。其它基于計(jì)算機(jī)視覺的辨識和/或檢測可包含邊緣檢測、拐角檢測、斑點(diǎn)檢測等?；谒?jì)算的計(jì)算機(jī)視覺特征，基于計(jì)算機(jī)視覺的辨識和/或檢測可包含寬距離任務(wù)，例如確定面部的存在、面部的標(biāo)識、面部所表達(dá)的感情、面部是男性還是女性、面部的大致年齡、手部或其它所指定對象的存在、面部、手部或其它指定對象的追蹤、面部或手部手勢的辨識以及其它基于計(jì)算機(jī)視覺的任務(wù)。

任選地，為了加快在專用微處理器上執(zhí)行的基于計(jì)算機(jī)視覺的辨識和/或檢測，例如專用計(jì)算機(jī)視覺計(jì)算硬件138等計(jì)算加速度硬件可從像素陣列接收圖像數(shù)據(jù)、計(jì)算例如LBP等計(jì)算機(jī)視覺特征并將此類所計(jì)算的計(jì)算機(jī)視覺特征輸出到專用微處理器136。在此任選的實(shí)施方案中，專用微處理器136可隨后基于硬件所計(jì)算的計(jì)算機(jī)視覺特征而執(zhí)行上文所提及的基于計(jì)算機(jī)視覺的辨識和/或檢測任務(wù)。盡管說明為像素陣列134的塊外圍裝置(block peripheral)，但應(yīng)理解，計(jì)算機(jī)視覺計(jì)算硬件138的部分或全部可“在像素內(nèi)”實(shí)施。也就是說，計(jì)算機(jī)視覺計(jì)算硬件138無需在如所說明的像素陣列134外圍，且實(shí)際上可完全或部分地組成作為像素陣列134中的每一像素的部分的像素內(nèi)處理電路。在一些實(shí)施方案中，計(jì)算機(jī)視覺計(jì)算硬件138的部分可經(jīng)由像素內(nèi)電路與像素陣列134集成，且計(jì)算機(jī)視覺計(jì)算硬件138的部分可實(shí)施為在像素陣列134外圍的硬件。

隨后，專用微處理器136無需為通用處理器，但可經(jīng)設(shè)計(jì)以主要用于使用來自像素陣列134的輸入的與計(jì)算機(jī)視覺相關(guān)的任務(wù)(在有或無計(jì)算機(jī)視覺計(jì)算硬件138的情況下)。應(yīng)理解，專用微處理器136可具有基于來自其它傳感器(例如，環(huán)境光傳感器、加速度計(jì)或其它傳感器)的輸入的一些次要的其它處理任務(wù)。除了執(zhí)行與計(jì)算機(jī)視覺相關(guān)的任務(wù)以外，專用微處理器136還可與其它處理器通信。舉例來說，在所說明的實(shí)施方案中，專用微處理器136包含用于與第二處理器104通信的接口139。第二處理器104可包含電子裝置100的應(yīng)用處理器，例如移動電話。在此實(shí)例中，應(yīng)用處理器104可為移動電話的主要處理器。用于通信的接口136可包含能夠與應(yīng)用處理器104通信且經(jīng)配置以使用SPI、I2C、LVDS或其它有線通信協(xié)議中的一者來通信的有線接口。在此實(shí)施方案中，在執(zhí)行與計(jì)算機(jī)視覺相關(guān)的任務(wù)之后，專用微處理器136基于與計(jì)算機(jī)視覺相關(guān)的任務(wù)而將事件發(fā)送到應(yīng)用處理器104。舉例來說，任務(wù)可為面部檢測任務(wù)，且事件可為面部所偵測事件。應(yīng)用處理器104可處于正常功率模式或功率節(jié)省模式。在正常功率模式中，應(yīng)用處理器104的功率損耗可顯著大于專用微處理器136的功率損耗。如果處于功率節(jié)省模式，那么應(yīng)用處理器104可經(jīng)配置以基于事件的接收而喚醒或進(jìn)入正常模式。一旦被喚醒，應(yīng)用處理器104就可執(zhí)行某一任務(wù)。舉例來說，如果事件為面部所偵測事件，那么應(yīng)用處理器104可隨后執(zhí)行與提示用戶用密碼或手勢解鎖裝置有關(guān)的指令。如果事件為面部辨識事件且所辨識到的面部為授權(quán)用戶，那么應(yīng)用處理器104可隨后執(zhí)行與將主屏幕顯示給用戶或顯示授權(quán)用戶最近使用的屏幕有關(guān)的指令。在另一實(shí)例中，如果事件為手勢辨識事件，那么應(yīng)用處理器104可隨后執(zhí)行與所辨識到的手勢有關(guān)的指令。在一些實(shí)施方案中，專用微處理器136可在功率比第二處理器更低的處理器處操作。在其它實(shí)施方案中，應(yīng)用處理器104為電子裝置100的另一種微處理器，例如使用來自視覺傳感器的輸出來做某事(例如，發(fā)出聲音)的玩具。在此實(shí)施方案中，舉例來說，專用微處理器執(zhí)行與計(jì)算機(jī)視覺相關(guān)的任務(wù)，且基于與計(jì)算機(jī)視覺相關(guān)的任務(wù)而將事件發(fā)送到應(yīng)用處理器104，應(yīng)用處理器104可隨后控制玩具中的揚(yáng)聲器以發(fā)出聲音。在此實(shí)施方案中，專用微處理器136和應(yīng)用處理器104可消耗相似量的功率，或在一些實(shí)施方案中，專用微處理器136可甚至比應(yīng)用處理器104消耗更多。盡管接口139被說明為有線接口，但還應(yīng)理解，專用微處理器136可經(jīng)配置以包含無線的接口139以用于(例如，使用紫蜂(IEEE 802.15.4標(biāo)準(zhǔn))、藍(lán)牙、人體局域網(wǎng)絡(luò)(IEEE 802.15.6)、無線USB、Wi-Fi(802.11)、Z-wave或IrDA(基于IR的通信)通信協(xié)議)與應(yīng)用處理器104通信。

圖1B展示包含圖1A的視覺傳感器的電子裝置的實(shí)施方案的實(shí)例。在所說明的實(shí)施方案中，電子裝置100包含第二處理器104和視覺傳感器130。電子裝置100還可包含交互式顯示器102，交互式顯示器102可為觸摸屏顯示器，但這不一定如此。如上文所描述，第二處理器104可為或包含應(yīng)用處理器，且可經(jīng)配置以至少部分地響應(yīng)于用戶輸入而控制包含交互式顯示器102的電子裝置100?？山柚凇笆謩荨弊龀鲇脩糨斎胫械闹辽僖恍?，手勢包含使用用戶的附肢(手部或手指)或手持式對象或其類似者的整體運(yùn)動，以及面部表情或移動，所述手勢可使用視覺傳感器130來接收和解譯。可以與裝置100相距(例如)10cm到200cm的范圍內(nèi)的距離做出手勢。如結(jié)合圖1A所描述，視覺傳感器130(其實(shí)例描述并說明于下文中)可包含像素陣列和執(zhí)行與計(jì)算機(jī)視覺相關(guān)的任務(wù)的專用微處理器?；谂c計(jì)算機(jī)視覺相關(guān)的任務(wù)而由視覺傳感器130輸出的信號(例如，事件)可致使第二處理器104在正常功率模式與功率節(jié)省模式之間切換，和/或致使第二處理器104辨識用戶手勢或面部檢測/辨識的實(shí)例，且響應(yīng)于用戶手勢或面部檢測/辨識而控制電子裝置100和/或交互式顯示器102。在一些實(shí)施方案中，電子裝置100感測用戶的手勢且以確定性的方式對其作出反應(yīng)。

如下文中所更詳細(xì)描述，本發(fā)明所揭示的技術(shù)預(yù)期視覺傳感器130中的像素陣列可為單色的且(例如)與VGA相機(jī)相比相對粗糙。因此，可在高幀速率下收集圖像，且由于在執(zhí)行與計(jì)算機(jī)視覺相關(guān)的任務(wù)時(shí)電子裝置100的較高功率的第二處理器104可處于功率節(jié)省模式，所以可以極低功率成本使用專用微處理器136來執(zhí)行與計(jì)算機(jī)視覺相關(guān)的任務(wù)。因此，非觸摸用戶手勢可有效地將電子裝置100從低功率休眠模式“喚醒”。在一些實(shí)施方案中，圖像布置130可檢測人類附肢、頭部或面部的存在/移動/轉(zhuǎn)動/移位，所述動作可觸發(fā)裝置100的“喚醒”或“關(guān)閉”動作。舉例來說，以與電子裝置100相距10到200cm的距離做出的揮手或手指輕拂類型的手勢可有效地喚醒電子裝置100。

圖2說明傳感器組合件的實(shí)施方案的實(shí)例。傳感器組合件140可包含安置在圖像平面142中的像素陣列和透鏡組合件132。在所說明的實(shí)施方案中，防護(hù)玻璃罩143安置在圖像平面142與透鏡組合件132之間。

在所說明的實(shí)施方案中，透鏡組合件132具有兩個(gè)非球面透鏡，所述非球面透鏡在本文中將被稱作外部透鏡元件132(1)和內(nèi)部透鏡元件132(2)。在一些實(shí)施方案中，僅有的包含在傳感器組合件140中的透鏡為外部透鏡元件132(1)和內(nèi)部透鏡元件132(2)。換句話說，在一些實(shí)施方案中，除了第一非球面透鏡和第二非球面透鏡以外，透鏡組合件132不包含透鏡。

在一些實(shí)施方案中，安置在圖像平面142上的像素陣列經(jīng)設(shè)定大小以具有M行乘N列個(gè)像素，其中M和N的值各自在約100到300之間的范圍內(nèi)。舉例來說，在一些實(shí)施方案中，M和N中的每一者為128。在這些實(shí)施方案中，預(yù)期像素陣列可布置在大小為約2mm×2mm的矩形布置中。在這些實(shí)施方案中，每一像素可具有約250μm²(15.6μm×15.6μm)的平面面積，且可包含面積為像素面積的約20到25％的光檢測元件，且在任選的實(shí)施方案中，剩余的75到80％保留以用于像素內(nèi)處理電路。因此，像素光檢測面積可為約(8μm×8μm)或更小。

仍參考圖2，總軌跡長度(TTL)被定義為沿光軸145在圖像平面142與外部透鏡元件132(1)的外部表面(“表面1”)之間的距離。在一些實(shí)施方案中，傳感器組合件140經(jīng)配置以使得TTL小于4mm，且透鏡布置132的特征在于F#<2。本發(fā)明人已發(fā)現(xiàn)，例如，可獲得不大于1.5的F#，同時(shí)獲得不大于3.5mm的TTL。在一些實(shí)施方案中，F(xiàn)#可在1.0到1.5之間的范圍內(nèi)，且TTL可為約3mm。在一些實(shí)施方案中，上文所提及的F#和TTL可用相對較大的光斑大小同時(shí)實(shí)現(xiàn)，如本文中在別處所描述。

外部透鏡元件132(1)和內(nèi)部透鏡元件132(2)中的一者或兩者可由(例如)折射率在1.5到1.7的范圍內(nèi)的高折射材料制造。舉例來說，外部透鏡元件132(1)和內(nèi)部透鏡元件132(2)中的一者或兩者可由塑料OKP4制造，塑料OKP4可購自大阪燃?xì)饣瘜W(xué)公司(Osaka Gas Chemicals)，且折射率至少為1.6。在一些實(shí)施方案中，防護(hù)玻璃罩143可由例如BK7等冕牌玻璃制造。在一些實(shí)施方案中，防護(hù)玻璃罩可包含至少部分地對紅外光不透明的濾光涂層。

預(yù)期傳感器組合件140可經(jīng)配置以具有至少+/-20°的視野(FOV)。在一些實(shí)施方案中，F(xiàn)OV可在+/-25到30°的范圍內(nèi)。

在一些實(shí)施方案中，傳感器組合件140可經(jīng)配置以使得其具有在約1.5到2mm范圍內(nèi)的系統(tǒng)有效焦距(“f”)。在一些實(shí)施方案中，可針對約1米的物距、小于1米的目標(biāo)對象大小和假設(shè)在約550nm的可見范圍內(nèi)的中心波長來優(yōu)化成像布置。對于圖2中所說明的實(shí)例傳感器組合件140，可忽略色像差，因?yàn)轭A(yù)期傳感器組合件140至少主要僅用于單色(灰階)模式。

在一些實(shí)施方案中，其中外部透鏡元件132(1)和內(nèi)部透鏡元件132(2)中的每一者具有相應(yīng)的有效焦距(“f1”)和(“f2”)和相應(yīng)的中心厚度(“d1”)和(“d2”)，維持以下關(guān)系式。

0.7<f/f1<1.2,

0.35<f/f2<0.7

0.3<f/f1-f/f2<0.7

0.25<d1/TTL<0.55

0.1<d2/TTL<0.25

圖3說明圖2中所說明的成像布置實(shí)施方案的透鏡參數(shù)的實(shí)例。

圖4說明所估計(jì)的光學(xué)傳遞函數(shù)的模數(shù)(OTF)作為空間頻率(以每毫米周數(shù)為單位)的函數(shù)。在本發(fā)明所預(yù)期的實(shí)施方案中，其中像素陣列包含4mm²正方形陣列中的128×128像素，特性空間頻率(尼奎斯特頻率)約為每毫米32周。假設(shè)極限入射光角度為25°，那么所估計(jì)的OTF模數(shù)大于0.75。對于小于20°的入射光角度，所估計(jì)的OTF模數(shù)展示為大于0.85。

圖5說明在0、15、20和25度入射光角度下光斑圖像的空間像差?？捎^測到，光斑大小從約8μm(入射光為0度)向20μm(入射光為25度)變化。鑒于本發(fā)明所揭示的傳感器組合件的像素大小，所說明的性能令人滿意。

圖6說明在0、15、20和25度入射光角度下所封閉能量的分?jǐn)?shù)作為來自質(zhì)心的半徑的函數(shù)。可觀測到，在約7.8μm的所預(yù)期像素半徑內(nèi)，所封閉能量分?jǐn)?shù)超出80％。

因此，已揭示用于對象運(yùn)動檢測和圖像特征化的經(jīng)改良技術(shù)。本發(fā)明所揭示的技術(shù)的額外特征描述于本申請案的附錄A中。

對于所屬領(lǐng)域的技術(shù)人員而言，本發(fā)明中所描述的實(shí)施方案的各種修改可為顯而易見的，且在不脫離本發(fā)明的精神或范圍的情況下，本文中所定義的一般原理可適用于其它實(shí)施方案。因此，權(quán)利要求書并不意圖限于本文中所展示的實(shí)施方案，而應(yīng)符合與本發(fā)明、本文中所揭示的原理和新穎特征相一致的最廣泛范圍。

如本文中所使用，涉及項(xiàng)目列表“中的至少一者”的短語指那些項(xiàng)目的任何組合，包含單個(gè)成員。作為實(shí)例，“a、b或c中的至少一者”意圖涵蓋：a、b、c、a-b、a-c、b-c和a-b-c。

結(jié)合本文中所揭示的實(shí)施方案所描述的各種說明性邏輯、邏輯塊、模塊、電路和算法過程可實(shí)施為電子硬件、計(jì)算機(jī)軟件或兩者的組合。硬件與軟件的互換性已大體在功能性方面加以描述，且在上文所描述的各種說明性組件、塊、模塊、電路和過程中加以說明。此類功能性是實(shí)施為硬件還是軟件取決于特定應(yīng)用和強(qiáng)加于整個(gè)系統(tǒng)的設(shè)計(jì)約束。

結(jié)合本文中所揭示的方面描述的用以實(shí)現(xiàn)各種說明性邏輯、邏輯塊、模塊和電路的硬件和數(shù)據(jù)處理設(shè)備可用以下各者來實(shí)現(xiàn)或執(zhí)行：通用單芯片或多芯片處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)或其它可編程邏輯裝置、離散門或晶體管邏輯、離散硬件組件，或經(jīng)設(shè)計(jì)以執(zhí)行本文中所描述的功能的任何組合。通用處理器可為微處理器或任何常規(guī)處理器、控制器、微控制器或狀態(tài)機(jī)。處理器還可實(shí)施為計(jì)算裝置的組合，例如，DSP與微處理器的組合、多個(gè)微處理器、一或多個(gè)微處理器結(jié)合DSP核心，或任何其它此類配置。在一些實(shí)施方案中，特定過程和方法可由特定于給定功能的電路執(zhí)行。

在一或多個(gè)方面中，可在硬件、數(shù)字電子電路、計(jì)算機(jī)軟件、固件(包含本說明書中所揭示的結(jié)構(gòu)和其結(jié)構(gòu)等效物)或其任何組合中實(shí)施所描述的功能。本說明書中所描述的標(biāo)的物的實(shí)施方案還可實(shí)施為一或多個(gè)計(jì)算機(jī)程序，即，編碼于計(jì)算機(jī)存儲媒體上以供由數(shù)據(jù)處理設(shè)備執(zhí)行或控制數(shù)據(jù)處理設(shè)備的操作的計(jì)算機(jī)程序指令的一或多個(gè)模塊。

如果實(shí)施于軟件中，那么所述功能可作為一或多個(gè)指令或代碼存儲在例如非暫時(shí)性媒體等計(jì)算機(jī)可讀媒體上或經(jīng)由計(jì)算機(jī)可讀媒體傳輸。本文中所揭示的方法或算法的過程可在可駐留于計(jì)算機(jī)可讀媒體上的處理器可執(zhí)行軟件模塊中實(shí)施。計(jì)算機(jī)可讀媒體包含計(jì)算機(jī)存儲媒體和通信媒體兩者，通信媒體包含可經(jīng)啟用以將計(jì)算機(jī)程序從一處傳遞到另一處的任何媒體。存儲媒體可為可由計(jì)算機(jī)存取的任何可供使用的媒體。借助于實(shí)例說明而非限制，非暫時(shí)性媒體可包含RAM、ROM、EEPROM、CD-ROM或其它光盤存儲裝置、磁盤存儲裝置或其它磁性存儲裝置，或可用于以指令或數(shù)據(jù)結(jié)構(gòu)形式存儲所要程序代碼且可由計(jì)算機(jī)存取的任何其它媒體。另外，任何連接可恰當(dāng)?shù)胤Q為計(jì)算機(jī)可讀媒體。如本文中所使用的磁盤和光盤包含壓縮光盤(CD)、激光光盤、光學(xué)光盤、數(shù)字多功能光盤(DVD)、軟盤和藍(lán)光光盤，其中磁盤通常以磁性方式再現(xiàn)數(shù)據(jù)，而光盤用激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。以上各項(xiàng)的組合也應(yīng)包含在計(jì)算機(jī)可讀媒體的范圍內(nèi)。另外，方法或算法的操作可作為代碼及指令中的任一者或任何組合或集合駐留于可并入到計(jì)算機(jī)程序產(chǎn)品中的機(jī)器可讀媒體及計(jì)算機(jī)可讀媒體上。

另外，所屬領(lǐng)域的技術(shù)人員將易于了解，有時(shí)為了易于描述各圖而使用術(shù)語“上部”和“下部”，且所述術(shù)語指示對應(yīng)于在經(jīng)恰當(dāng)定向頁面上的圖的定向的相對位置，且可能并不反映如所實(shí)施的裝置的恰當(dāng)定向。

在本說明書中在單獨(dú)實(shí)施方案的上下文中描述的某些特征也可在單個(gè)實(shí)施方案中組合地實(shí)施。相反地，在單個(gè)實(shí)施方案的上下文中描述的各種特征還可分別在多個(gè)實(shí)施方案中實(shí)施或以任何合適的子組合來實(shí)施。此外，盡管上文可將特征描述為以某些組合起作用或甚至最初如此主張，但在一些情況下，可將來自所主張的組合的一或多個(gè)特征從組合中刪除，且所主張的組合可針對子組合或子組合的變化。

類似地，雖然在圖式中按特定次序描繪操作，但此不應(yīng)被理解為要求按所展示的特定次序或按順序次序執(zhí)行此類操作，或執(zhí)行所有所說明的操作，以實(shí)現(xiàn)所要結(jié)果。另外，圖式可以流程圖形式示意性地描繪多于一個(gè)實(shí)例過程。然而，未描繪的其它操作可并入經(jīng)示意性說明的實(shí)例過程中。舉例來說，可在所說明的操作中的任一者之前、之后、同時(shí)地或之間執(zhí)行一或多個(gè)額外操作。在某些情況下，多任務(wù)和并行處理可為有利的。此外，上文所描述的實(shí)施方案中的各種系統(tǒng)組件的分開不應(yīng)理解為在所有實(shí)施方案中要求此分開，且應(yīng)理解，所描述的程序組件和系統(tǒng)一般可一起集成在單個(gè)軟件產(chǎn)品中或包裝到多個(gè)軟件產(chǎn)品中。另外，其它實(shí)施方案是在所附權(quán)利要求書的范圍內(nèi)。在一些情況下，權(quán)利要求書中所敘述的動作可按不同次序來執(zhí)行且仍實(shí)現(xiàn)合乎需要的結(jié)果。