拍攝裝置制造方法
【專利摘要】本發(fā)明提供一種拍攝元件，具有：拍攝部，其具有由至少一個(gè)像素構(gòu)成的多個(gè)組、和按每個(gè)組而設(shè)置且從像素讀出信號(hào)的多個(gè)信號(hào)讀出部；以及控制部，其控制多個(gè)組中的至少一個(gè)組的信號(hào)讀出部。多個(gè)組可以分別包含多個(gè)像素?？刂撇靠梢赃x擇多個(gè)組中的至少一個(gè)組，并通過與多個(gè)組中的其他組不同的控制參數(shù)來控制信號(hào)讀出部。
【專利說明】拍攝裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及拍攝裝置。

【背景技術(shù)】
[0002]已知有如下拍攝部件，其中，背面照射型拍攝芯片和信號(hào)處理芯片按匯集多個(gè)像素而成的每個(gè)單元單位，經(jīng)由微凸塊(micro-bump)而連接。
[0003]現(xiàn)有技術(shù)文獻(xiàn)
[0004]專利文獻(xiàn)
[0005]專利文獻(xiàn)1:日本特開2006-49361號(hào)公報(bào)


【發(fā)明內(nèi)容】

[0006]在上述拍攝部件中，按每個(gè)單元而具有控制線。但是，沒有精細(xì)地控制單元間的電荷的蓄存時(shí)間及像素信號(hào)的讀出。
[0007]在本發(fā)明的第I方案中，提供一種拍攝元件，具有:拍攝部，其具有由至少一個(gè)像素構(gòu)成的多個(gè)組、和按每個(gè)組而設(shè)置且從像素讀出信號(hào)的多個(gè)信號(hào)讀出部；以及控制部，其控制多個(gè)組中的至少一個(gè)組的信號(hào)讀出部。
[0008]在本發(fā)明的第2方式中，提供一種拍攝元件，具有:拍攝部，其具有由至少一個(gè)像素構(gòu)成的多個(gè)組、和按每個(gè)組而設(shè)置且從像素讀出信號(hào)的多個(gè)信號(hào)讀出部；以及多個(gè)控制部，其按每個(gè)組而設(shè)置，且基于來自像素的信號(hào)來控制信號(hào)讀出部。
[0009]在本發(fā)明的第3方案中，提供一種拍攝元件，具有:拍攝部，其具有設(shè)有第I像素及第2像素的拍攝區(qū)域、讀出從第I像素輸出的第I像素信號(hào)的第I讀出電路、和讀出從第2像素輸出的第2像素信號(hào)的第2讀出電路；第I運(yùn)算部，其基于第I像素信號(hào)對(duì)第I評(píng)估值進(jìn)行運(yùn)算?’第2運(yùn)算部，其基于第2像素信號(hào)對(duì)第2評(píng)估值進(jìn)行運(yùn)算；第I控制部，其基于第I評(píng)估值進(jìn)行與第I像素的曝光或讀出有關(guān)的控制；以及第2控制部，其基于第2評(píng)估值進(jìn)行與第2像素的曝光或讀出有關(guān)的控制。
[0010]在本發(fā)明的第4方案中，提供一種拍攝元件，具有:拍攝部，其具有由至少一個(gè)像素構(gòu)成的多個(gè)組、和按每個(gè)組而設(shè)置且從像素讀出信號(hào)的多個(gè)信號(hào)讀出部；以及運(yùn)算部，其按每個(gè)組而設(shè)置，并將與信號(hào)讀出部的控制有關(guān)的信息傳送到對(duì)信號(hào)實(shí)施圖像處理的圖像處理部。
[0011 ] 在本發(fā)明的第5方案中，提供一種拍攝元件，具有:拍攝部，其具有配置有第I像素及第2像素的拍攝區(qū)域、讀出從第I像素輸出的第I像素信號(hào)的第I讀出電路、和讀出從第2像素輸出的第2像素信號(hào)的第2讀出電路；第I運(yùn)算部，其基于第I像素信號(hào)對(duì)第I評(píng)估值進(jìn)行運(yùn)算，并將運(yùn)算出的第I評(píng)估值傳送到對(duì)與第I像素信號(hào)對(duì)應(yīng)的第I像素?cái)?shù)據(jù)實(shí)施圖像處理的后級(jí)的圖像處理部；以及第2運(yùn)算部，其基于第2像素信號(hào)對(duì)第2評(píng)估值進(jìn)行運(yùn)算，并將運(yùn)算出的第2評(píng)估值傳送到對(duì)與第2像素信號(hào)對(duì)應(yīng)的第2像素?cái)?shù)據(jù)實(shí)施圖像處理的后級(jí)的圖像處理部。
[0012]在本發(fā)明的第6方案中，提供一種拍攝元件，具有:拍攝部，其具有多個(gè)由至少一個(gè)像素構(gòu)成的組；和存儲(chǔ)部，其具有多個(gè)存儲(chǔ)塊，該多個(gè)存儲(chǔ)塊與多個(gè)組對(duì)應(yīng)地設(shè)置，并對(duì)來自對(duì)應(yīng)的組的像素的信號(hào)和來自對(duì)應(yīng)的組以外的像素的信號(hào)分別進(jìn)行存儲(chǔ)。
[0013]此外，上述的發(fā)明概要沒有列舉出本發(fā)明的全部必要特征。另外，這些特征組的子組合也為本發(fā)明。

【專利附圖】

【附圖說明】
[0014]圖1是本實(shí)施方式的背面照射型的MOS型拍攝元件的剖視圖。
[0015]圖2是拍攝芯片的像素排列和單位組的說明圖。
[0016]圖3是與拍攝芯片的單位組對(duì)應(yīng)的電路圖。
[0017]圖4是表示拍攝元件的功能性結(jié)構(gòu)的框圖。
[0018]圖5是表示本實(shí)施方式的拍攝裝置的結(jié)構(gòu)的框圖。
[0019]圖6是圖像處理部的功能框圖。
[0020]圖7是表示拍攝裝置生成并記錄動(dòng)態(tài)圖像的動(dòng)作的流程圖。
[0021]圖8示出由拍攝元件拍攝到的圖像的一例。
[0022]圖9示出由拍攝元件拍攝到的圖像的一例。
[0023]圖10示出各幀頻與圖像信號(hào)的輸出定時(shí)的關(guān)系。
[0024]圖11示意地示出由動(dòng)態(tài)圖像生成部生成的注視區(qū)域動(dòng)態(tài)圖像及周邊區(qū)域動(dòng)態(tài)圖像。
[0025]圖12示出動(dòng)態(tài)圖像生成部所附加的標(biāo)題信息(header informat1n)的一例。
[0026]圖13是表示拍攝裝置再現(xiàn)并顯示動(dòng)態(tài)圖像的動(dòng)作的流程圖。
[0027]圖14是表示拍攝裝置生成并存儲(chǔ)動(dòng)態(tài)圖像的其他動(dòng)作的例子的流程圖。
[0028]圖15示出對(duì)于單位組以間除率(間引務(wù)率)0.5所讀出的像素的例子。
[0029]圖16是表示拍攝裝置再現(xiàn)并顯示動(dòng)態(tài)圖像的動(dòng)作的流程圖。
[0030]圖17是場(chǎng)景例和區(qū)域劃分的說明圖。
[0031]圖18是按基于圖17的例子劃分后的每個(gè)區(qū)域進(jìn)行的電荷蓄存控制的說明圖。
[0032]圖19是表示累計(jì)次數(shù)與動(dòng)態(tài)范圍的關(guān)系的圖。
[0033]圖20是表示攝影動(dòng)作的處理的流程圖。
[0034]圖21是表示作為信號(hào)處理芯片的一例的具體結(jié)構(gòu)的框圖。
[0035]圖22是本實(shí)施方式的其他背面照射型的MOS型拍攝元件的剖視圖。
[0036]圖23是拍攝芯片的像素排列和單位組的說明圖。
[0037]圖24是與拍攝芯片的單位組對(duì)應(yīng)的電路圖。
[0038]圖25是表示本實(shí)施方式的拍攝裝置的結(jié)構(gòu)的框圖。
[0039]圖26是表示作為信號(hào)處理芯片的一例的具體結(jié)構(gòu)的框圖。
[0040]圖27是運(yùn)算電路1415的功能塊的一例。
[0041]圖28不出巾貞間的差量d與巾貞頻f的對(duì)應(yīng)關(guān)系的一例。
[0042]圖29示出由拍攝元件拍攝到的圖像的一例。
[0043]圖30示出由拍攝元件拍攝到的圖像的一例。
[0044]圖31是其他運(yùn)算電路的功能塊的一例。
[0045]圖32示出對(duì)于一個(gè)單位組以間除率0.5所讀出的像素1188的例子。
[0046]圖33示出另一其他運(yùn)算電路的功能塊的一例。
[0047]圖34示意地示出增益與像素信號(hào)的關(guān)系。
[0048]圖35是本實(shí)施方式的背面照射型的MOS型拍攝元件的剖視圖。
[0049]圖36是拍攝芯片的像素排列和像素塊的說明圖。
[0050]圖37是與拍攝芯片的像素塊對(duì)應(yīng)的電路圖。
[0051]圖38是表示拍攝元件的結(jié)構(gòu)的一部分及其動(dòng)作例的圖。
[0052]圖39是表示本實(shí)施方式的拍攝裝置的結(jié)構(gòu)的框圖。
[0053]圖40是圖像處理部的功能框圖。
[0054]圖41是表示拍攝裝置生成并記錄動(dòng)態(tài)圖像的動(dòng)作的流程圖。
[0055]圖42示出由拍攝元件拍攝到的圖像的一例。
[0056]圖43示出由拍攝元件拍攝到的圖像的一例。
[0057]圖44示出各幀頻與圖像信號(hào)的輸出定時(shí)的關(guān)系。
[0058]圖45示意地示出由動(dòng)態(tài)圖像生成部生成的注視區(qū)域動(dòng)態(tài)圖像及周邊區(qū)域動(dòng)態(tài)圖像。
[0059]圖46示出動(dòng)態(tài)圖像生成部所附加的標(biāo)題信息的一例。
[0060]圖47是表示拍攝裝置再現(xiàn)并顯示動(dòng)態(tài)圖像的動(dòng)作的流程圖。
[0061]圖48是表示拍攝裝置生成并記錄動(dòng)態(tài)圖像的其他動(dòng)作的例子的流程圖。
[0062]圖49示出對(duì)于一個(gè)像素塊以間除率0.5所讀出的像素的例子。
[0063]圖50是表示拍攝裝置再現(xiàn)并顯示動(dòng)態(tài)圖像的動(dòng)作的流程圖。
[0064]圖5IA是場(chǎng)景例的說明圖。
[0065]圖51B是區(qū)域劃分的說明圖。
[0066]圖52是按基于圖51B的例子劃分后的每個(gè)區(qū)域進(jìn)行的電荷蓄存控制的說明圖。
[0067]圖53是表示累計(jì)次數(shù)與動(dòng)態(tài)范圍的關(guān)系的圖。
[0068]圖54是表不攝影動(dòng)作的處理的流程圖。
[0069]圖55是表示作為信號(hào)處理芯片的一例的具體結(jié)構(gòu)的框圖。
[0070]圖56是表示周邊像素?cái)?shù)據(jù)處理部的結(jié)構(gòu)的框圖。
[0071]圖57是表示運(yùn)算電路的結(jié)構(gòu)的一例的框圖。
[0072]圖58是表不運(yùn)算電路的動(dòng)作例的流程圖。
[0073]圖59示出通過輸出電路生成的數(shù)據(jù)組(data array)的結(jié)構(gòu)。
[0074]圖60示出圖59所示的數(shù)據(jù)組的內(nèi)容。
[0075]圖61是本實(shí)施方式的背面照射型的MOS型拍攝元件的剖視圖。
[0076]圖62是拍攝芯片的像素排列和像素塊的說明圖。
[0077]圖63是與拍攝芯片的像素塊對(duì)應(yīng)的電路圖。
[0078]圖64A是表示拍攝元件的結(jié)構(gòu)的一部分及其動(dòng)作例的圖。
[0079]圖64B是表示拍攝元件的其他動(dòng)作例的圖。
[0080]圖64C是表示拍攝元件的其他動(dòng)作例的圖。
[0081]圖65是表示本實(shí)施方式的拍攝裝置的結(jié)構(gòu)的框圖。
[0082]圖66是圖像處理部的功能框圖。
[0083]圖67是表示拍攝裝置生成并記錄動(dòng)態(tài)圖像的動(dòng)作的流程圖。
[0084]圖68示出由拍攝元件拍攝到的圖像的一例。
[0085]圖69示出由拍攝元件拍攝到的圖像的一例。
[0086]圖70示出各幀頻與圖像信號(hào)的輸出定時(shí)的關(guān)系。
[0087]圖71示意地示出由動(dòng)態(tài)圖像生成部生成的注視區(qū)域動(dòng)態(tài)圖像及周邊區(qū)域動(dòng)態(tài)圖像。
[0088]圖72示出動(dòng)態(tài)圖像生成部所附加的標(biāo)題信息的一例。
[0089]圖73是表示拍攝裝置再現(xiàn)并顯示動(dòng)態(tài)圖像的動(dòng)作的流程圖。
[0090]圖74是拍攝元件的像素區(qū)域及其動(dòng)作例的俯視圖。
[0091]圖75是拍攝元件的像素區(qū)域的其他結(jié)構(gòu)及其動(dòng)作例的俯視圖。
[0092]圖76是拍攝元件的像素區(qū)域的其他結(jié)構(gòu)及其動(dòng)作例的俯視圖。
[0093]圖77是拍攝元件的像素區(qū)域的其他結(jié)構(gòu)及其動(dòng)作例的俯視圖。
[0094]圖78是表示拍攝元件的像素區(qū)域的其他結(jié)構(gòu)及其動(dòng)作例的圖。
[0095]圖79是表示拍攝裝置生成并記錄動(dòng)態(tài)圖像的其他動(dòng)作例的流程圖。
[0096]圖80示出對(duì)以間除率0.5讀出的像素的例子。
[0097]圖81是表示拍攝裝置再現(xiàn)并顯示動(dòng)態(tài)圖像的動(dòng)作的流程圖。
[0098]圖82A是場(chǎng)景例的說明圖。
[0099]圖82B是區(qū)域劃分的說明圖。
[0100]圖83是按基于圖82B的例子劃分后的每個(gè)區(qū)域進(jìn)行的電荷蓄存控制的說明圖。
[0101]圖84是表示累計(jì)次數(shù)與動(dòng)態(tài)范圍的關(guān)系的圖。
[0102]圖85是表不攝影動(dòng)作的處理的流程圖。
[0103]圖86是表示作為信號(hào)處理芯片的一例的具體結(jié)構(gòu)的框圖。

【具體實(shí)施方式】
[0104]以下，通過發(fā)明的實(shí)施方式對(duì)本發(fā)明進(jìn)行說明，但以下實(shí)施方式并不限定權(quán)利要求書所涉及的發(fā)明。另外，實(shí)施方式中說明的特征組合對(duì)于發(fā)明的解決技術(shù)問題的方案不一定全部是必須的。
[0105]圖1是本實(shí)施方式的背面照射型的拍攝元件100的剖視圖。拍攝元件100具有:輸出與入射光對(duì)應(yīng)的像素信號(hào)的拍攝芯片113 ;對(duì)像素信號(hào)進(jìn)行處理的信號(hào)處理芯片111 ；和存儲(chǔ)像素信號(hào)的存儲(chǔ)芯片112。這些拍攝芯片113、信號(hào)處理芯片111及存儲(chǔ)芯片112層疊在一起，并通過Cu等具有導(dǎo)電性的凸塊109而相互電連接。
[0106]此外，如圖所示，入射光主要朝向以白色空心箭頭示出的Z軸正向入射。在本實(shí)施方式中，在拍攝芯片113中，將入射光入射的一側(cè)的面稱為背面。另外，如坐標(biāo)軸所示，將與Z軸正交的紙面左方向設(shè)為X軸正向，將與Z軸及X軸正交的紙面近前方向設(shè)為Y軸正向。在以后的若干幅圖中，以將圖1的坐標(biāo)軸作為基準(zhǔn)來判明各圖朝向的方式顯示坐標(biāo)軸。
[0107]拍攝芯片113的一例為背面照射型的MOS圖像傳感器。H)層106配置在布線層108的背面?zhèn)取o層106以二維方式配置，并具有對(duì)與入射光相應(yīng)的電荷進(jìn)行蓄存的多個(gè)PD(光電二極管；PhotoD1de) 104及與PD104對(duì)應(yīng)地設(shè)置的晶體管105。
[0108]在H)層106中的入射光的入射側(cè)，隔著鈍化膜(passivat1n film) 103而設(shè)有彩色濾光片102。彩色濾光片102具有供彼此不同的波長(zhǎng)區(qū)域透射的多個(gè)種類，與TO104分別對(duì)應(yīng)地具有特定的排列。關(guān)于彩色濾光片102的排列將在后敘述。彩色濾光片102、roi04及晶體管105的組形成一個(gè)像素。
[0109]在彩色濾光片102中的入射光的入射側(cè)，與各個(gè)像素對(duì)應(yīng)地設(shè)有微透鏡101。微透鏡101朝向?qū)?yīng)的roi04會(huì)聚入射光。
[0110]布線層108具有將來自ro層106的像素信號(hào)向信號(hào)處理芯片111傳送的布線107。布線107可以為多層，另外，也可以設(shè)有無源元件及有源元件。
[0111]在布線層108的表面上配置有多個(gè)凸塊109。該多個(gè)凸塊109與設(shè)置在信號(hào)處理芯片111的相對(duì)面上的多個(gè)凸塊109對(duì)位，通過對(duì)拍攝芯片113和信號(hào)處理芯片111加壓等，使對(duì)位后的凸塊109彼此接合而電連接。
[0112]同樣地，在信號(hào)處理芯片111及存儲(chǔ)芯片112的彼此相對(duì)的面上，配置有多個(gè)凸塊109。這些凸塊109彼此對(duì)位，通過對(duì)信號(hào)處理芯片111和存儲(chǔ)芯片112加壓等，使對(duì)位后的凸塊109彼此接合而電連接。
[0113]此外，對(duì)于凸塊109間的接合，不限于基于固相擴(kuò)散的Cu凸塊接合，也可以采用基于釬焊熔融的微凸塊結(jié)合。另外，凸塊109例如對(duì)于后述的一個(gè)單位組設(shè)置一個(gè)左右即可。因此，凸塊109的大小可以大于TO104的間距。另外，在像素所排列的像素區(qū)域以外的周邊區(qū)域，也可以同時(shí)設(shè)置比像素區(qū)域所對(duì)應(yīng)的凸塊109大的凸塊。
[0114]信號(hào)處理芯片111具有將分別設(shè)置在表背面上的電路相互連接的TSV(硅貫穿電極)110。TSVllO優(yōu)選設(shè)置在周邊區(qū)域。另外，TSVllO也可以設(shè)置在拍攝芯片113的周邊區(qū)域、存儲(chǔ)芯片112上。
[0115]圖2是拍攝芯片113的像素排列和單位組131的說明圖。尤其示出拍攝芯片113的從背面?zhèn)扔^察到的情況。在像素區(qū)域中以矩陣狀排列有2000萬個(gè)以上的像素。在本實(shí)施方式中，相鄰的4像素X4像素的16像素形成一個(gè)單位組131。圖中的格線示出相鄰的像素被成組化而形成單位組131的概念。形成單位組131的像素的數(shù)量不限于此，也可以是1000個(gè)左右、例如32像素X64像素，可以是其以上也可以是其以下。
[0116]如像素區(qū)域的局部放大圖所示，單位組131在上下左右內(nèi)置有四個(gè)由綠色像素Gb、Gr、藍(lán)色像素B及紅色像素R這4個(gè)像素構(gòu)成的所謂拜耳陣列。綠色像素是作為彩色濾光片102而具有綠色濾光片的像素，接受入射光中的綠色波段的光。同樣地，藍(lán)色像素是作為彩色濾光片102而具有藍(lán)色濾光片的像素，接受藍(lán)色波段的光，紅色像素是作為彩色濾光片102而具有紅色濾光片的像素，接受紅色波段的光。
[0117]在本實(shí)施方式中，選擇多個(gè)單位組131中的至少一個(gè)單位組，通過與其他單位組不同的控制參數(shù)，對(duì)各個(gè)單位組所包含的像素進(jìn)行控制。關(guān)于控制參數(shù)的例子，是幀頻、間除率、將像素信號(hào)相加的相加行數(shù)或相加列數(shù)、電荷的蓄存時(shí)間或蓄存次數(shù)、數(shù)字化的位數(shù)等。而且，控制參數(shù)也可以是從像素獲取圖像信號(hào)后的圖像處理中的參數(shù)。
[0118]圖3是與拍攝芯片113的單位組131對(duì)應(yīng)的電路圖。圖中，作為代表，虛線所包圍的矩形示出與一個(gè)像素對(duì)應(yīng)的電路。此外，以下說明的各晶體管的至少一部分與圖1的晶體管105對(duì)應(yīng)。
[0119]如上所述，單位組131由16像素形成。與各個(gè)像素對(duì)應(yīng)的16個(gè)Η)104分別與傳輸晶體管(transfer transistor) 302連接,各傳輸晶體管302的各柵極與供給傳輸脈沖的TX布線307連接。在本實(shí)施方式中，TX布線307相對(duì)于16個(gè)傳輸晶體管302是共用連接的。
[0120]各傳輸晶體管302的漏極與對(duì)應(yīng)的各重置晶體管303的源極連接，并且，傳輸晶體管302的漏極與重置晶體管303的源極間的所謂浮置擴(kuò)散(Floating Diffus1n) FD與放大晶體管304的柵極連接。重置晶體管303的漏極與供給電源電壓的Vdd布線310連接，其柵極與供給重置脈沖的重置布線306連接。在本實(shí)施方式中，重置布線306相對(duì)于16個(gè)重置晶體管303是共用連接的。
[0121]各個(gè)放大晶體管304的漏極與供給電源電壓的Vdd布線310連接。另外，各個(gè)放大晶體管304的源極與對(duì)應(yīng)的各個(gè)選擇晶體管305的漏極連接。選擇晶體管的各柵極與供給選擇脈沖的解碼布線308連接。在本實(shí)施方式中，解碼布線308相對(duì)于16個(gè)選擇晶體管305是分別獨(dú)立設(shè)置的。而且，各個(gè)選擇晶體管305的源極與共同的輸出布線309連接。負(fù)載電流源311向輸出布線309供給電流。即，針對(duì)選擇晶體管305的輸出布線309由源極跟隨器形成。此外，負(fù)載電流源311可以設(shè)置在拍攝芯片113側(cè)，也可以設(shè)置在信號(hào)處理芯片111偵U。
[0122]在此，說明電荷的從蓄存開始直至蓄存結(jié)束后的像素輸出為止的流動(dòng)。若通過重置布線306向重置晶體管303施加重置脈沖，同時(shí)通過TX布線307向傳輸晶體管302施加傳輸脈沖，則Η)104及浮置擴(kuò)散FD的電位被重置。
[0123]當(dāng)解除傳輸脈沖的施加時(shí)，PD104將所接受的入射光轉(zhuǎn)換成電荷并進(jìn)行蓄存。然后，當(dāng)以沒有施加重置脈沖的狀態(tài)再次施加傳輸脈沖時(shí)，所蓄存的電荷被向浮置擴(kuò)散FD傳輸，浮置擴(kuò)散FD的電位從重置電位變?yōu)殡姾尚畲婧蟮男盘?hào)電位。而且，當(dāng)通過解碼布線308向選擇晶體管305施加選擇脈沖時(shí)，浮置擴(kuò)散FD的信號(hào)電位的變動(dòng)經(jīng)由放大晶體管304及選擇晶體管305而傳遞到輸出布線309。由此，與重置電位和信號(hào)電位對(duì)應(yīng)的像素信號(hào)從單位像素輸出到輸出布線309。
[0124]如圖所示，在本實(shí)施方式中，相對(duì)于形成單位組131的16像素，重置布線306和TX布線307是共用的。即，重置脈沖和傳輸脈沖分別對(duì)于全部的16像素是同時(shí)施加的。因此，形成單位組131的全部像素在相同定時(shí)開始電荷蓄存，并在相同定時(shí)結(jié)束電荷蓄存。但是，各個(gè)選擇晶體管305根據(jù)選擇脈沖而被依次施加與所蓄存的電荷對(duì)應(yīng)的像素信號(hào)，并選擇性地輸出到輸出布線309。另外，重置布線306、TX布線307、輸出布線309按每個(gè)單位組131單獨(dú)地設(shè)置。
[0125]通過像這樣以單位組131為基準(zhǔn)來構(gòu)成電路，能夠按每個(gè)單位組131來控制電荷蓄存時(shí)間。換言之，在相鄰的單位組131彼此中，能夠分別輸出基于不同的電荷蓄存時(shí)間而得到的像素信號(hào)。再換言之，在使一個(gè)單位組131進(jìn)行一次電荷蓄存的期間，使另一個(gè)單位組131重復(fù)進(jìn)行多次電荷蓄存并輸出每次的像素信號(hào)，由此，也能夠在這些單位組131彼此中以不同幀頻輸出動(dòng)態(tài)圖像用的各幀。
[0126]圖4是表示拍攝元件100的功能性結(jié)構(gòu)的框圖。模擬的多路復(fù)用器(multiplexer) 411按順序選擇形成單位組131的16個(gè)Η)104，并將各自的像素信號(hào)向與該單位組131對(duì)應(yīng)地設(shè)置的輸出布線309輸出。多路復(fù)用器411與PD104 —起形成在拍攝芯片113上。
[0127]經(jīng)由多路復(fù)用器411而輸出的像素信號(hào)通過形成在信號(hào)處理芯片111上的、進(jìn)行相關(guān)雙采樣(CDS)及模/數(shù)(Α/D)轉(zhuǎn)換的信號(hào)處理電路412，進(jìn)行CDS及Α/D轉(zhuǎn)換。Α/D轉(zhuǎn)換后的像素信號(hào)被交付于信號(hào)分離器(demultiplexer) 413，并存儲(chǔ)到與各個(gè)像素對(duì)應(yīng)的像素存儲(chǔ)器414中。像素存儲(chǔ)器414分別具有能夠存儲(chǔ)與后述的最大累計(jì)次數(shù)對(duì)應(yīng)的像素信號(hào)的容量。信號(hào)分離器413及像素存儲(chǔ)器414形成在存儲(chǔ)芯片112上。
[0128]運(yùn)算電路415在對(duì)存儲(chǔ)于像素存儲(chǔ)器414中的像素信號(hào)進(jìn)行處理后將其交付到后級(jí)的圖像處理部。運(yùn)算電路415可以設(shè)置在信號(hào)處理芯片111上，也可以設(shè)置在存儲(chǔ)芯片112上。此外，圖中示出與一個(gè)單位組131相應(yīng)的連接，但實(shí)際上這些連接按每個(gè)單位組131而存在，且并行地動(dòng)作。但是，運(yùn)算電路415也可以不按每個(gè)單位組131而存在，例如也可以是，一個(gè)運(yùn)算電路415 —邊按順序參照與各個(gè)單位組131對(duì)應(yīng)的像素存儲(chǔ)器414的值一邊按序進(jìn)行處理。
[0129]如上所述，與單位組131分別對(duì)應(yīng)地設(shè)有輸出布線309。拍攝元件100由于將拍攝芯片113、信號(hào)處理芯片111及存儲(chǔ)芯片112層疊而成，所以通過對(duì)這些輸出布線309利用使用了凸塊109的芯片間的電連接，能夠不在面方向上增大各芯片地將布線拉繞。
[0130]圖5是表示本實(shí)施方式的拍攝裝置的結(jié)構(gòu)的框圖。拍攝裝置500具有作為攝影光學(xué)系統(tǒng)的攝影透鏡520，攝影透鏡520將沿著光軸OA入射的被攝物體光束向拍攝元件100引導(dǎo)。攝影透鏡520可以是相對(duì)于拍攝裝置500能夠裝拆的更換式透鏡。拍攝裝置500主要具有拍攝元件100、系統(tǒng)控制部501、驅(qū)動(dòng)部502、測(cè)光部503、工作存儲(chǔ)器(workmemory) 504、記錄部505及顯示部506。
[0131]攝影透鏡520由多個(gè)光學(xué)透鏡組構(gòu)成，并使來自場(chǎng)景的被攝物體光束在其焦點(diǎn)面附近成像。此外，圖1中以配置在光瞳附近的假想的一枚透鏡代表該攝影透鏡520而表示。驅(qū)動(dòng)部502是根據(jù)來自系統(tǒng)控制部501的指示來執(zhí)行拍攝元件100的定時(shí)控制、區(qū)域控制等的電荷蓄存控制的控制電路。在該意義上，驅(qū)動(dòng)部502可以說承擔(dān)了使拍攝元件100執(zhí)行電荷蓄存并輸出像素信號(hào)的拍攝元件控制部的功能。
[0132]拍攝元件100將像素信號(hào)向系統(tǒng)控制部501的圖像處理部511交付。圖像處理部511將工作存儲(chǔ)器504作為工作區(qū)域來實(shí)施各種圖像處理而生成圖像數(shù)據(jù)。例如，在生成JPEG文件格式的圖像數(shù)據(jù)的情況下，從通過拜耳陣列得到的信號(hào)生成彩色影像信號(hào)后執(zhí)行壓縮處理。所生成的圖像數(shù)據(jù)被記錄在記錄部505中，并且，被轉(zhuǎn)換成顯示信號(hào)并在預(yù)先設(shè)定的時(shí)間中，顯示在顯示部506上。
[0133]測(cè)光部503在生成圖像數(shù)據(jù)的一系列攝影過程之前，檢測(cè)場(chǎng)景的亮度分布。測(cè)光部503包含例如100萬像素左右的AE傳感器。系統(tǒng)控制部501的運(yùn)算部512接受測(cè)光部503的輸出并計(jì)算出場(chǎng)景的每個(gè)區(qū)域的亮度。運(yùn)算部512根據(jù)所計(jì)算出的亮度分布來確定快門速度、光圈值、ISO感光度。也可以將拍攝元件100兼用為測(cè)光部503。此外，運(yùn)算部512也執(zhí)行用于使拍攝裝置500動(dòng)作的各種運(yùn)算。
[0134]驅(qū)動(dòng)部502可以是一部分或全部搭載在拍攝芯片113上，也可以是一部分或全部搭載在信號(hào)處理芯片111上。系統(tǒng)控制部501的一部分可以搭載在拍攝芯片113或信號(hào)處理芯片111上。
[0135]圖6是圖像處理部的功能框圖。圖像處理部511除上述的功能以外，還具有被攝物體推定部150、組選擇部152、動(dòng)態(tài)圖像生成部154及動(dòng)態(tài)圖像合成部156。這些各功能將在后敘述。
[0136]圖7是表示拍攝裝置生成并記錄動(dòng)態(tài)圖像的動(dòng)作的流程圖。圖8及圖9示出由拍攝元件拍攝到的圖像的一例。圖10示出各幀頻與圖像信號(hào)的輸出定時(shí)的關(guān)系。
[0137]圖7的動(dòng)作在通過用戶按下錄像按鈕等而對(duì)拍攝裝置500指示生成動(dòng)態(tài)圖像時(shí)開始。首先，被攝物體推定部150對(duì)驅(qū)動(dòng)部502進(jìn)行驅(qū)動(dòng)來獲取基于來自拍攝元件100的圖像信號(hào)的圖像數(shù)據(jù)，并對(duì)包含在該圖像數(shù)據(jù)所表示的圖像中的主要被攝物體進(jìn)行推定(S100)。
[0138]該情況下，優(yōu)選為，驅(qū)動(dòng)部502使圖像信號(hào)從整個(gè)拍攝區(qū)域所包含的單位組131、例如全部單位組131輸出。另外，也可以為，驅(qū)動(dòng)部502使圖像信號(hào)從各單位組131所包含的全部像素輸出，還可以從以預(yù)先確定的間除率間除后的像素輸出圖像信號(hào)。被攝物體推定部150對(duì)從拍攝元件100按時(shí)序得到的多幅圖像進(jìn)行比較，將移動(dòng)中的被攝物體特定為主要被攝物體。此外，對(duì)于主要被攝物體的推定也可以使用其他方法。
[0139]例如，被攝物體推定部150在從拍攝元件100獲取圖8的圖像170及圖9的圖像178作為時(shí)間上的前后圖像的情況下，根據(jù)其差量將兒童特定為主要被攝物體171。此外，圖像170及圖像178中的格線表示單位組131的邊界，但單位組131的數(shù)量?jī)H為例示，不限于這些圖所示的數(shù)量。
[0140]組選擇部152至少選擇一個(gè)由被攝物體推定部150推定的主要被攝物體171的像光所入射的單位組131(S102)。例如，在圖像170中，選擇至少包含主要被攝物體171的一部分的單位組131。而且，考慮到主要被攝物體171會(huì)在拍攝區(qū)域內(nèi)移動(dòng)的情況，優(yōu)選為，組選擇部152還選擇至少包含主要被攝物體171的一部分在內(nèi)的單位組131的進(jìn)一步周圍的單位組131。
[0141]組選擇部152將這些所選擇的單位組131的集合作為注視區(qū)域172。而且組選擇部152將由整個(gè)拍攝區(qū)域中沒有包含于注視區(qū)域172的單位組131構(gòu)成的集合作為周邊區(qū)域176。組選擇部152對(duì)表示注視區(qū)域172相對(duì)于整個(gè)拍攝區(qū)域的范圍的區(qū)域信息174進(jìn)行特定。
[0142]在圖8所示的例子中，注視區(qū)域172是由橫向7個(gè)、縱向4個(gè)、共計(jì)28個(gè)單位組131構(gòu)成的矩形區(qū)域。與之相對(duì)，周邊區(qū)域176由從作為拍攝區(qū)域的橫向21個(gè)、縱向6個(gè)、共計(jì)126個(gè)單位組131除去注視區(qū)域172后的98個(gè)單位組131構(gòu)成。另外，作為區(qū)域信息174，特定出拍攝區(qū)域中的、注視區(qū)域172的圖中左上端的單位組131的從左端及上端所數(shù)的位置(9、2)。而且作為尺寸信息，特定出注視區(qū)域172的橫縱數(shù)7X4。
[0143]組選擇部152將對(duì)注視區(qū)域172所包含的單位組131進(jìn)行特定的信息和對(duì)周邊區(qū)域176進(jìn)行特定的信息傳遞到驅(qū)動(dòng)部502。該情況下，一并傳遞對(duì)注視區(qū)域172和周邊區(qū)域176分別適用的幀頻的信息。在此，優(yōu)選對(duì)注視區(qū)域172適用的幀頻比對(duì)周邊區(qū)域176適用的幀頻高。例如，在對(duì)周邊區(qū)域176適用的幀頻為60fps的情況下，將對(duì)注視區(qū)域172適用的幀頻設(shè)定為180fps。優(yōu)選這些幀頻的值被預(yù)先設(shè)定，并以能夠被組選擇部152參照的方式存儲(chǔ)，但也可以由用戶之后將值修改。
[0144]驅(qū)動(dòng)部502驅(qū)動(dòng)拍攝元件100來以各幀頻進(jìn)行拍攝(S104)。即，驅(qū)動(dòng)部502使注視區(qū)域172所包含的單位組131，以高幀頻執(zhí)行電荷蓄存及圖像信號(hào)的輸出，使周邊區(qū)域176所包含的單位組131，以低幀頻執(zhí)行電荷蓄存及圖像信號(hào)的輸出。換言之，驅(qū)動(dòng)部502在對(duì)于周邊區(qū)域176所包含的單位組131而得到與I幀對(duì)應(yīng)的圖像信號(hào)的期間內(nèi)，對(duì)于注視區(qū)域172所包含的單位組131而得到與時(shí)序排列的多個(gè)幀對(duì)應(yīng)的圖像信號(hào)。
[0145]例如，在周邊區(qū)域176的幀頻為60fps、且將注視區(qū)域172的幀頻設(shè)定為180fps的情況下，如圖10所示，驅(qū)動(dòng)部502在到從周邊區(qū)域176得到I個(gè)幀BI的圖像信號(hào)的時(shí)間l/60s為止的期間內(nèi)，從注視區(qū)域172得到3個(gè)幀Al、A2、A3的圖像信號(hào)(l/60s =3X1/180S)。該情況下，驅(qū)動(dòng)部502通過單獨(dú)地驅(qū)動(dòng)周邊區(qū)域176所包含的單位組131的重置晶體管303、傳輸晶體管302及選擇晶體管305的組、和注視區(qū)域172所包含的單位組131的重置晶體管303、傳輸晶體管302及選擇晶體管305的組，而以不同幀頻得到圖像信號(hào)。
[0146]此外，圖10示出了圖像信號(hào)的輸出定時(shí)，但并不是連曝光時(shí)間的長(zhǎng)度也示出。驅(qū)動(dòng)部502以成為由運(yùn)算部512預(yù)先計(jì)算出的曝光時(shí)間的方式，針對(duì)周邊區(qū)域176和注視區(qū)域172驅(qū)動(dòng)上述晶體管的組。
[0147]除此以外，也可以根據(jù)幀頻來改變曝光時(shí)間的長(zhǎng)度。例如在圖10所示的例子中，也可以將周邊區(qū)域176的I幀的曝光時(shí)間預(yù)先設(shè)為1/3倍，而成為與注視區(qū)域172實(shí)質(zhì)相同的曝光時(shí)間。另外，還可以在圖像信號(hào)的輸出后以幀頻比來修正該圖像信號(hào)。另外，在周邊區(qū)域176與注視區(qū)域172之間，圖像信號(hào)的輸出定時(shí)可以不像圖10那樣地同步，而是非同步的。
[0148]圖像處理部511按每一幀將來自注視區(qū)域172的圖像信號(hào)依次存儲(chǔ)到工作存儲(chǔ)器504的預(yù)先確定的存儲(chǔ)區(qū)域中(S106)。同樣地，圖像處理部511按每一幀將來自周邊區(qū)域176的圖像信號(hào)依次存儲(chǔ)到工作存儲(chǔ)器504的預(yù)先確定的存儲(chǔ)區(qū)域中(同一步驟)。
[0149]動(dòng)態(tài)圖像生成部154讀出存儲(chǔ)在工作存儲(chǔ)器504中的注視區(qū)域172的圖像信號(hào)(S108)，并生成注視區(qū)域172的包含多個(gè)幀的注視區(qū)域動(dòng)態(tài)圖像的數(shù)據(jù)(S110)。同樣地，動(dòng)態(tài)圖像生成部154讀出存儲(chǔ)在工作存儲(chǔ)器504中的周邊區(qū)域176的圖像信號(hào)，并生成周邊區(qū)域176的包含多個(gè)幀的周邊區(qū)域動(dòng)態(tài)圖像的數(shù)據(jù)(同一步驟)。在此，注視區(qū)域動(dòng)態(tài)圖像及周邊區(qū)域動(dòng)態(tài)圖像可以分別以MPEG那樣的通用格式生成并能夠分別單獨(dú)再現(xiàn)，也可以以若不經(jīng)由后述的合成處理則無法再現(xiàn)的專用格式生成。
[0150]圖11示意地示出由動(dòng)態(tài)圖像生成部生成的注視區(qū)域動(dòng)態(tài)圖像及周邊區(qū)域動(dòng)態(tài)圖像。動(dòng)態(tài)圖像生成部154以與驅(qū)動(dòng)部502驅(qū)動(dòng)注視區(qū)域172的幀頻對(duì)應(yīng)的幀頻，來生成注視區(qū)域動(dòng)態(tài)圖像。在圖11所示的例子中，以與驅(qū)動(dòng)部502驅(qū)動(dòng)注視區(qū)域172的幀頻l/180fps相同的巾貞頻l/180fps,來生成注視區(qū)域動(dòng)態(tài)圖像。
[0151]同樣地，動(dòng)態(tài)圖像生成部154以與驅(qū)動(dòng)部502驅(qū)動(dòng)周邊區(qū)域176的幀頻對(duì)應(yīng)的幀頻，來生成周邊區(qū)域動(dòng)態(tài)圖像。在圖11所示的例子中，以與驅(qū)動(dòng)部502驅(qū)動(dòng)周邊區(qū)域176的中貞頻l/60fps相同的巾貞頻l/60fps,來生成周邊區(qū)域動(dòng)態(tài)圖像。此外,在周邊區(qū)域動(dòng)態(tài)圖像中，在與注視區(qū)域172對(duì)應(yīng)的區(qū)域不存在有效值，圖中以斜線表示。
[0152]而且，動(dòng)態(tài)圖像生成部154還對(duì)注視區(qū)域動(dòng)態(tài)圖像及周邊區(qū)域動(dòng)態(tài)圖像附加標(biāo)題信息，并將它們的數(shù)據(jù)記錄到記錄部505中(S112)。標(biāo)題信息包含:表示注視區(qū)域172相對(duì)于整個(gè)拍攝區(qū)域的位置的區(qū)域信息、表示注視區(qū)域172的大小的尺寸信息、及表示注視區(qū)域172的圖像信號(hào)的輸出定時(shí)與周邊區(qū)域176的圖像信號(hào)的輸出定時(shí)之間的關(guān)系的定時(shí)信息。
[0153]系統(tǒng)控制部501判斷是否進(jìn)行下一單位時(shí)間的拍攝(S114)。關(guān)于是否進(jìn)行下一單位時(shí)間的拍攝，通過在該時(shí)刻用戶是否正在按下動(dòng)態(tài)圖像的記錄按鈕來判斷。在進(jìn)行下一單位時(shí)間的拍攝的情況下(S114:是)，返回上述步驟S102，在不進(jìn)行下一單位時(shí)間的拍攝的情況下(SI 14:否)，結(jié)束該動(dòng)作。
[0154]在此，“單位時(shí)間”是預(yù)先設(shè)定于系統(tǒng)控制部501的時(shí)間，為數(shù)秒左右。根據(jù)該單位時(shí)間、注視區(qū)域172的幀頻及單位組數(shù)、以及周邊區(qū)域176的幀頻及單位組數(shù)，來確定在步驟S106中用于存儲(chǔ)的存儲(chǔ)容量。另外，基于這些信息，確定在該存儲(chǔ)容量中存儲(chǔ)注視區(qū)域172的數(shù)據(jù)的區(qū)域、和存儲(chǔ)周邊區(qū)域176的數(shù)據(jù)的區(qū)域。
[0155]根據(jù)以上，能夠從包含主要被攝物體171的注視區(qū)域172以高幀頻得到圖像信號(hào)，并且能夠?qū)⒅苓厖^(qū)域176抑制為低幀頻，從而能夠減少數(shù)據(jù)量。由此，與從全部像素進(jìn)行高速讀出相比，能夠減少驅(qū)動(dòng)及圖像處理的負(fù)荷，并抑制耗電及發(fā)熱。
[0156]此外，在圖7所示的例子中下一單位時(shí)間開始時(shí)，在步驟S102中重新選擇單位組131，并更新區(qū)域信息及尺寸信息。由此，能夠追隨主要被攝物體171將注視區(qū)域172逐次更新。在圖11所示的例子中，在注視區(qū)域動(dòng)態(tài)圖像中的單位時(shí)間的第一幀A7中，選擇由與以前的單位時(shí)間的最后幀A6不同的單位組131構(gòu)成的注視區(qū)域182，并且，與之相伴地也更新了區(qū)域信息184及周邊區(qū)域186。
[0157]圖12示出動(dòng)態(tài)圖像生成部所附加的標(biāo)題信息的一例。圖12的標(biāo)題信息包含:對(duì)注視區(qū)域動(dòng)態(tài)圖像進(jìn)行特定的注視區(qū)域動(dòng)態(tài)圖像ID、注視區(qū)域動(dòng)態(tài)圖像的幀頻、對(duì)與該注視區(qū)域動(dòng)態(tài)圖像對(duì)應(yīng)的周邊區(qū)域動(dòng)態(tài)圖像進(jìn)行特定的周邊區(qū)域動(dòng)態(tài)圖像ID、周邊區(qū)域動(dòng)態(tài)圖像的幀頻、定時(shí)信息、區(qū)域信息及尺寸信息。這些標(biāo)題信息可以作為標(biāo)題信息而附加于注視區(qū)域動(dòng)態(tài)圖像及周邊區(qū)域動(dòng)態(tài)圖像的某一方，也可以附加于其雙方。
[0158]圖13是表示拍攝裝置再現(xiàn)并顯示動(dòng)態(tài)圖像的動(dòng)作的流程圖。該動(dòng)作通過用戶對(duì)以縮略圖顯示在顯示部506上的注視區(qū)域動(dòng)態(tài)圖像的某一個(gè)進(jìn)行特定并按下再現(xiàn)按鈕而開始。
[0159]動(dòng)態(tài)圖像合成部156從記錄部505讀出由用戶特定的注視區(qū)域動(dòng)態(tài)圖像的數(shù)據(jù)(S150)。動(dòng)態(tài)圖像合成部156從記錄部505讀出與該注視區(qū)域動(dòng)態(tài)圖像對(duì)應(yīng)的周邊區(qū)域動(dòng)態(tài)圖像的數(shù)據(jù)(S152)。
[0160]該情況下，動(dòng)態(tài)圖像合成部156通過在步驟S150中讀出的注視區(qū)域動(dòng)態(tài)圖像的標(biāo)題信息所示的周邊區(qū)域動(dòng)態(tài)圖像ID來特定周邊區(qū)域動(dòng)態(tài)圖像。也可以取而代之，檢索將與標(biāo)題信息所示的定時(shí)信息相同的定時(shí)信息包含為標(biāo)題信息的周邊區(qū)域圖像并進(jìn)行特定。
[0161]此外，在上述例子中在注視區(qū)域動(dòng)態(tài)圖像中包含標(biāo)題信息。另一方面，在注視區(qū)域動(dòng)態(tài)圖像中不包含標(biāo)題信息而在周邊區(qū)域動(dòng)態(tài)圖像中包含標(biāo)題信息的情況下，也可以是，首先在步驟S150中，用戶特定周邊區(qū)域動(dòng)態(tài)圖像并讀出，并根據(jù)其標(biāo)題信息在步驟S152中特定注視區(qū)域動(dòng)態(tài)圖像并讀出。
[0162]動(dòng)態(tài)圖像合成部156使用注視區(qū)域動(dòng)態(tài)圖像的幀和周邊區(qū)域動(dòng)態(tài)圖像的幀，來合成顯示動(dòng)態(tài)圖像的幀(S154)。該情況下，首先，將注視區(qū)域動(dòng)態(tài)圖像的第一幀Al嵌入到周邊區(qū)域動(dòng)態(tài)圖像的第一幀BI中的區(qū)域信息174所示的位置，由此合成顯示動(dòng)態(tài)圖像的第一中貞Cl。如圖11所示,動(dòng)態(tài)圖像合成部156使顯示動(dòng)態(tài)圖像的第一巾貞Cl顯示在顯示部506上(S156)。
[0163]動(dòng)態(tài)圖像合成部156判斷在至周邊區(qū)域動(dòng)態(tài)圖像中的下一幀B2之間是否存在注視區(qū)域動(dòng)態(tài)圖像的下一幀(S158)。動(dòng)態(tài)圖像合成部156在存在注視區(qū)域動(dòng)態(tài)圖像的下一幀的情況下(S158:是)，以下面的幀A2、A3將注視區(qū)域172更新并且將周邊區(qū)域176保持為前一幀B1(S162)，由此合成顯示動(dòng)態(tài)圖像的下面的幀C2、C3(S162)并依次進(jìn)行顯示(S156)。
[0164]另一方面，在步驟S158中，在至周邊區(qū)域動(dòng)態(tài)圖像中的下一幀B2之間不存在注視區(qū)域動(dòng)態(tài)圖像的下一幀的情況下(S158)，動(dòng)態(tài)圖像合成部156以下一幀A4將注視區(qū)域172更新并且也以下一幀B2將周邊區(qū)域176更新(S164)，由此合成顯示動(dòng)態(tài)圖像的下一幀C4(S162)并進(jìn)行顯示(S156)。
[0165]只要在周邊區(qū)域動(dòng)態(tài)圖像中存在周邊區(qū)域176的下一幀(S160:是)，則重復(fù)步驟S154至S160。在周邊區(qū)域動(dòng)態(tài)圖像中不存在周邊區(qū)域176的下一幀的情況下(S160:否)，動(dòng)態(tài)圖像合成部156檢索是否存在該注視區(qū)域動(dòng)態(tài)圖像和周邊區(qū)域動(dòng)態(tài)圖像的組的單位時(shí)間的、下一單位時(shí)間中的注視區(qū)域動(dòng)態(tài)圖像和周邊區(qū)域動(dòng)態(tài)圖像的組(S166)。例如，動(dòng)態(tài)圖像合成部156在記錄部505的同一文件夾內(nèi)，檢索是否存在在標(biāo)題信息中包含表示緊接該注視區(qū)域動(dòng)態(tài)圖像的定時(shí)信息所示的定時(shí)之后的定時(shí)信息的注視區(qū)域動(dòng)態(tài)圖像。
[0166]只要存在下一單位時(shí)間中的注視區(qū)域動(dòng)態(tài)圖像和周邊區(qū)域動(dòng)態(tài)圖像的組(S166:是)，就重復(fù)步驟S150至S166。在不存在下一單位時(shí)間中的注視區(qū)域動(dòng)態(tài)圖像和周邊區(qū)域動(dòng)態(tài)圖像的組的情況下(S166:否)，結(jié)束該動(dòng)作。
[0167]根據(jù)以上內(nèi)容，能夠減少整體數(shù)據(jù)量，并能夠針對(duì)包含主要被攝物體171的注視區(qū)域172顯示流暢的動(dòng)態(tài)圖像。此外，在步驟S162中，注視區(qū)域172直接在下一幀被更新來合成顯示圖像的幀，但合成方法不限于此。作為其他例子，也可以是，通過圖像處理來特定注視區(qū)域172中的主要被攝物體171的邊界線，對(duì)于該邊界線所包圍的主要被攝物體171而更新成下一幀，并且對(duì)于注視區(qū)域172內(nèi)但位于主要被攝物體171的邊界線外側(cè)的區(qū)域而維持前一幀，并與周邊區(qū)域176的幀合成。即，對(duì)于注視區(qū)域172中的邊界線外側(cè)可以落入周邊區(qū)域176的幀頻。由此，能夠防止顯示動(dòng)態(tài)圖像中的流暢性的邊界看起來不自然。另夕卜，再現(xiàn)的幀頻不需要與攝影時(shí)的幀頻(注視區(qū)域?yàn)?80fps，周邊區(qū)域?yàn)?0fps)相同，例如可以使注視區(qū)域?yàn)?0fps,使周邊區(qū)域?yàn)?0fps等。該情況下為慢動(dòng)作(slow mot1n)再現(xiàn)。
[0168]圖14是表示拍攝裝置生成并記錄動(dòng)態(tài)圖像的其他動(dòng)作的例子的流程圖。在圖14中對(duì)與圖7相同的動(dòng)作標(biāo)注相同的附圖標(biāo)記并省略說明。
[0169]在圖14的動(dòng)作中，在注視區(qū)域172和周邊區(qū)域176中，取代圖7的幀頻使間除率不同，或者，在圖7的幀頻的基礎(chǔ)上使間除率不同。更詳細(xì)而言，在步驟S120中，驅(qū)動(dòng)部502對(duì)于注視區(qū)域172所包含的單位組131，對(duì)以低間除率間除后的像素執(zhí)行電荷蓄存及圖像信號(hào)的輸出，對(duì)于周邊區(qū)域176所包含的單位組131，對(duì)以高間除率間除后的像素執(zhí)行電荷蓄存及圖像信號(hào)的輸出。例如對(duì)于注視區(qū)域172所包含的單位組131而間除率為0，即讀出全部像素，對(duì)于周邊區(qū)域176所包含的單位組131而間除率為0.5，即讀出一半的像素。
[0170]該情況下，驅(qū)動(dòng)部502個(gè)別地驅(qū)動(dòng)周邊區(qū)域176所包含的單位組131的重置晶體管303、傳輸晶體管302及選擇晶體管305的組、和注視區(qū)域172所包含的單位組131的重置晶體管303、傳輸晶體管302及選擇晶體管305的組，由此以不同的間除率得到圖像信號(hào)。
[0171]在步驟SllO中，動(dòng)態(tài)圖像生成部154基于以低間除率輸出的注視區(qū)域172的圖像信號(hào)，生成與注視區(qū)域172對(duì)應(yīng)的注視區(qū)域動(dòng)態(tài)圖像。動(dòng)態(tài)圖像生成部154同樣地基于以高間除率輸出的周邊區(qū)域176的圖像信號(hào)，生成與周邊區(qū)域176對(duì)應(yīng)的周邊區(qū)域動(dòng)態(tài)圖像。另外在步驟S112中，動(dòng)態(tài)圖像生成部154附加各自的間除率的信息地將注視區(qū)域動(dòng)態(tài)圖像及周邊區(qū)域動(dòng)態(tài)圖像記錄到記錄部505中。
[0172]圖15示出對(duì)于一個(gè)單位組以間除率0.5讀出的像素188的例子。在圖15所示的例子中，在周邊區(qū)域176的單位組132為拜耳陣列的情況下，對(duì)于垂直方向每隔拜耳陣列的一個(gè)單位而讀出，即，對(duì)以像素單位觀察的情況下的每?jī)尚薪惶娴卦O(shè)定要讀出的像素188和不讀出的像素。由此，能夠避免色彩平衡失調(diào)地進(jìn)行間除讀出。
[0173]圖16是與圖14對(duì)應(yīng)的、表示拍攝裝置再現(xiàn)動(dòng)態(tài)圖像來進(jìn)行顯示的動(dòng)作的流程圖。在圖16中對(duì)與圖13相同的動(dòng)作標(biāo)注相同的附圖標(biāo)記并省略說明。
[0174]在圖16的步驟S170中，動(dòng)態(tài)圖像合成部156對(duì)周邊區(qū)域動(dòng)態(tài)圖像的幀的像素進(jìn)行插補(bǔ)來使析像度與注視區(qū)域動(dòng)態(tài)圖像的幀的析像度匹配后，將注視區(qū)域動(dòng)態(tài)圖像的幀嵌入到周邊區(qū)域動(dòng)態(tài)圖像的幀中，從而合成顯示圖像的幀。由此，能夠從包含主要被攝物體171的注視區(qū)域172以高析像度得到圖像信號(hào)，并且能夠?qū)⒅苓厖^(qū)域176抑制為低析像度，從而能夠減少數(shù)據(jù)量。由此，與從全部像素進(jìn)行高速讀出相比，能夠減少驅(qū)動(dòng)及圖像處理的負(fù)荷，并抑制耗電及發(fā)熱。
[0175]此外，在圖1至圖16所示的例子中，注視區(qū)域172為矩形，但注視區(qū)域172的形狀不限于此。注視區(qū)域172只要沿著單位組131的邊界線而存在，則也可以是凸多邊形、凹多邊形、或中間嵌入有周邊區(qū)域176的環(huán)形形狀等。另外，注視區(qū)域172也可以相互隔開地設(shè)有多個(gè)。在該情況下，可以在彼此的注視區(qū)域172中設(shè)定不同的幀頻。
[0176]另外，注視區(qū)域172及周邊區(qū)域176的幀頻可以是可變的。例如，可以每經(jīng)過單位時(shí)間而檢測(cè)主要被攝物體171的移動(dòng)量，主要被攝物體171的移動(dòng)量越大則對(duì)注視區(qū)域172設(shè)定越高的幀頻。另外，也可以在單位時(shí)間內(nèi)隨時(shí)追隨主要被攝物體171并更新應(yīng)包含于注視區(qū)域172的單位組131的選擇。
[0177]圖7及圖14的動(dòng)態(tài)圖像的生成通過用戶按下錄像按鈕而開始，圖13及圖16的動(dòng)態(tài)圖像的再現(xiàn)通過用戶按下再現(xiàn)按鈕而開始，但開始時(shí)刻不限于此。作為其他例子，可以通過由用戶進(jìn)行的一個(gè)按鈕操作，使動(dòng)態(tài)圖像的生成動(dòng)作和再現(xiàn)動(dòng)作連續(xù)地執(zhí)行，而使顯示部506進(jìn)行實(shí)時(shí)取景圖像顯示(也稱作live view display)。該情況下,用于使用戶識(shí)別注視區(qū)域172的顯示可以重疊。例如，可以在顯示部506中，在注視區(qū)域172的邊界線處顯示框，或者降低周邊區(qū)域176的亮度或提高注視區(qū)域172的亮度。
[0178]在圖14的動(dòng)作中，在注視區(qū)域172和周邊區(qū)域176中使間除率不同。也可以取代使間除率不同，而使將相鄰行像素的像素信號(hào)相加時(shí)的行數(shù)不同。例如，在注視區(qū)域172中行數(shù)為1，即，不將相鄰行相加地輸出像素信號(hào)，在周邊區(qū)域176中為比注視區(qū)域172多的行數(shù)，例如行數(shù)為2，輸出相鄰的2行的同列像素的像素信號(hào)。由此，與圖14同樣地，與周邊區(qū)域176相比能夠較高地維持注視區(qū)域172的析像度，并且能夠減少整體的信號(hào)量。另夕卜，也可以取代將相鄰行的像素信號(hào)相加而將相鄰列的像素信號(hào)相加。該情況下，在注視區(qū)域172和周邊區(qū)域176中，使將相鄰列像素的像素信號(hào)相加時(shí)的列數(shù)不同，而且，在上述相加中，還可以包含將該相加值除以相加行數(shù)或列數(shù)而計(jì)算出平均的處理。
[0179]此外，也可以取代將動(dòng)態(tài)圖像合成部156設(shè)置在拍攝裝置500的圖像處理部511上，而設(shè)置在外部的顯示裝置、例如PC上。另外，上述實(shí)施方式不限于生成動(dòng)態(tài)圖像的情況，也可以適用于生成靜態(tài)圖像的情況。
[0180]另外，上述實(shí)施方式均將多個(gè)單位組131分成注視區(qū)域172和周邊區(qū)域176這兩個(gè)區(qū)域，但不限于此，也可以分成三個(gè)以上的區(qū)域。該情況下，可以將與注視區(qū)域172和周邊區(qū)域176的邊界相當(dāng)?shù)膯挝唤M131作為邊界區(qū)域，對(duì)該邊界區(qū)域使用用于注視區(qū)域172的控制參數(shù)的值和用于周邊區(qū)域176的控制參數(shù)的值的中間值來進(jìn)行控制。由此，能夠防止注視區(qū)域172與周邊區(qū)域176的邊界看起來不自然。
[0181]也可以在注視區(qū)域172和周邊區(qū)域176中使電荷的蓄存時(shí)間、蓄存次數(shù)等不同。該情況下，可以基于亮度來劃分注視區(qū)域172和周邊區(qū)域176，而且也可以設(shè)置中間區(qū)域。
[0182]圖17是場(chǎng)景例和區(qū)域劃分的說明圖。圖17的(a)示出拍攝芯片113的像素區(qū)域所捕捉到的場(chǎng)景。具體而言，是同時(shí)映入屋內(nèi)環(huán)境所包含的陰影(shadow)被攝物體601及中間被攝物體602、和在窗框604的內(nèi)側(cè)觀察到的屋外環(huán)境的高光被攝物體603的場(chǎng)景。在對(duì)這樣的從高光部至陰影部的明暗差較大的場(chǎng)景進(jìn)行攝影的情況下，若是以往的拍攝元件，則當(dāng)以高光部為基準(zhǔn)而執(zhí)行電荷蓄存時(shí)，在陰影部中產(chǎn)生全黑(黒崩Λ )，當(dāng)以陰影部為基準(zhǔn)而執(zhí)行電荷蓄存時(shí)，在高光部中產(chǎn)生全白(白飛^)。即，可以說為了使高光部和陰影部一律通過一次電荷蓄存來輸出圖像信號(hào)，相對(duì)于明暗差較大的場(chǎng)景而光電二極管的動(dòng)態(tài)范圍不足。因此，在本實(shí)施方式中，將場(chǎng)景劃分為高光部、陰影部等部分區(qū)域，并使與各個(gè)區(qū)域?qū)?yīng)的光電二極管的電荷蓄存次數(shù)彼此不同，由此謀求動(dòng)態(tài)范圍的實(shí)質(zhì)擴(kuò)大。
[0183]圖17的(b)示出拍攝芯片113的像素區(qū)域中的區(qū)域劃分。運(yùn)算部512對(duì)測(cè)光部503所捕捉到的圖17的(a)的場(chǎng)景進(jìn)行解析，并以亮度為基準(zhǔn)將像素區(qū)域劃分。例如，系統(tǒng)控制部501使測(cè)光部503改變曝光時(shí)間并執(zhí)行多次場(chǎng)景獲取，運(yùn)算部512參照其全白區(qū)域、全黑區(qū)域的分布變化來確定像素區(qū)域的劃分線。在圖17的(b)的例子中，運(yùn)算部512劃分成陰影區(qū)域611、中間區(qū)域612及高光區(qū)域613這三個(gè)區(qū)域。
[0184]劃分線是沿著單位組131的邊界而定義的。即，劃分后的各區(qū)域分別包含整數(shù)個(gè)的組。而且，包含于同一區(qū)域的各組的像素在與由運(yùn)算部512確定的快門速度對(duì)應(yīng)的期間內(nèi)，進(jìn)行相同次數(shù)的電荷蓄存及像素信號(hào)輸出。若所屬區(qū)域不同，則進(jìn)行不同次數(shù)的電荷蓄存及像素信號(hào)輸出。
[0185]圖18是按基于圖17的例子劃分后的每個(gè)區(qū)域進(jìn)行的電荷蓄存控制的說明圖。當(dāng)從用戶接受到攝影準(zhǔn)備指示后，運(yùn)算部512根據(jù)測(cè)光部503的輸出來確定快門速度Tc^而且，如上所述劃分成陰影區(qū)域611、中間區(qū)域612及高光區(qū)域613，并根據(jù)各自的亮度信息來決定電荷蓄存次數(shù)。電荷蓄存次數(shù)以通過每次的電荷蓄存不會(huì)使像素飽和的方式而決定。例如，在一次電荷蓄存動(dòng)作中蓄存可蓄存電荷的八成至九成的電荷，并以此為基準(zhǔn)來決定電荷蓄存次數(shù)。
[0186]在此，使陰影區(qū)域611為一次。即，使所確定的快門速度Ttl與電荷蓄存時(shí)間一致。另外，使中間區(qū)域612的電荷蓄存次數(shù)為兩次。即，使一次的電荷蓄存時(shí)間為1/2，在快門速度Ttl的期間重復(fù)進(jìn)行兩次電荷蓄存。另外，使高光區(qū)域613的電荷蓄存次數(shù)為四次。SP，使一次的電荷蓄存時(shí)間為1/4，在快門速度Ttl的期間重復(fù)進(jìn)行四次電荷蓄存。
[0187]當(dāng)在時(shí)刻t = O從用戶接受到攝影指示時(shí)，驅(qū)動(dòng)部502對(duì)屬于任一區(qū)域的組的像素，均施加重置脈沖和傳輸脈沖。以該施加為契機(jī)，所有像素均開始電荷蓄存。
[0188]在時(shí)刻t = T0/4,驅(qū)動(dòng)部502對(duì)屬于高光區(qū)域613的組的像素施加傳輸脈沖。然后，對(duì)各組內(nèi)的像素依次施加選擇脈沖并將各自的像素信號(hào)輸出到輸出布線309。在輸出組內(nèi)的全部像素的像素信號(hào)后，驅(qū)動(dòng)部502對(duì)屬于高光區(qū)域613的組的像素再次施加重置脈沖和傳輸脈沖，開始第二次的電荷蓄存。
[0189]此外，由于像素信號(hào)的選擇輸出需要時(shí)間，所以在第一次的電荷蓄存的結(jié)束與第二次的電荷蓄存的開始之間會(huì)產(chǎn)生時(shí)間差。若能夠?qū)嵸|(zhì)忽略該時(shí)間差，則如上所述，使對(duì)快門速度Ttl除以電荷蓄存次數(shù)而得到的時(shí)間為一次的電荷蓄存時(shí)間即可。另一方面，若無法忽略，則考慮該時(shí)間，調(diào)整快門速度Ttl,或使一次的電荷蓄存時(shí)間比對(duì)快門速度Ttl除以電荷蓄存次數(shù)而得到的時(shí)間短即可。
[0190]在時(shí)刻t = TQ/2，驅(qū)動(dòng)部502對(duì)屬于中間區(qū)域612的組和屬于高光區(qū)域613的組的像素施加傳輸脈沖。然后，對(duì)各組內(nèi)的像素依次施加選擇脈沖，并將各自的像素信號(hào)輸出到輸出布線309。在輸出組內(nèi)的全部像素的像素信號(hào)后，驅(qū)動(dòng)部502對(duì)屬于中間區(qū)域612的組和屬于高光區(qū)域613的組的像素再次施加重置脈沖和傳輸脈沖，對(duì)中間區(qū)域612開始第二次的電荷蓄存，對(duì)高光區(qū)域613開始第三次的電荷蓄存。
[0191]在時(shí)刻t = 3L/4，驅(qū)動(dòng)部502對(duì)屬于高光區(qū)域613的組的像素施加傳輸脈沖。然后，對(duì)各組內(nèi)的像素依次施加選擇脈沖，并將各自的像素信號(hào)輸出到輸出布線309。在輸出組內(nèi)的全部像素的像素信號(hào)后，驅(qū)動(dòng)部502對(duì)屬于高光區(qū)域613的組的像素再次施加重置脈沖和傳輸脈沖，開始第四次的電荷蓄存。
[0192]在時(shí)刻t = Ttl，驅(qū)動(dòng)部502對(duì)整個(gè)區(qū)域的像素施加傳輸脈沖。然后，對(duì)各組內(nèi)的像素依次施加選擇脈沖，并將各自的像素信號(hào)輸出到輸出布線309。通過以上控制，在與陰影區(qū)域611對(duì)應(yīng)的像素存儲(chǔ)器414中分別存儲(chǔ)有一次的量的像素信號(hào)，在與中間區(qū)域612對(duì)應(yīng)的像素存儲(chǔ)器414中分別存儲(chǔ)有兩次的量的像素信號(hào)，在與高光區(qū)域613對(duì)應(yīng)的像素存儲(chǔ)器414中分別存儲(chǔ)有四次的量的像素信號(hào)。
[0193]這些像素信號(hào)依次向圖像處理部511傳輸。圖像處理部511根據(jù)這些像素信號(hào)而生成高動(dòng)態(tài)范圍的圖像數(shù)據(jù)。具體處理將在后敘述。
[0194]圖19是表示累計(jì)次數(shù)與動(dòng)態(tài)范圍的關(guān)系的圖。與重復(fù)執(zhí)行的電荷蓄存對(duì)應(yīng)的多次的量的像素信號(hào)通過圖像處理部511而被進(jìn)行累計(jì)處理，形成高動(dòng)態(tài)范圍的圖像數(shù)據(jù)的一部分。
[0195]在累計(jì)次數(shù)為I次、即將進(jìn)行了 I次電荷蓄存的區(qū)域的動(dòng)態(tài)范圍作為基準(zhǔn)的情況下，累計(jì)次數(shù)為2次、即進(jìn)行了 2次電荷蓄存并將輸出信號(hào)累計(jì)的區(qū)域的動(dòng)態(tài)范圍的擴(kuò)大量為I級(jí)的量。同樣地，若累計(jì)次數(shù)為4次則為2級(jí)的量，若為128次則為7級(jí)的量。S卩，為了謀求η級(jí)的量的動(dòng)態(tài)范圍擴(kuò)大，只要將2η次的輸出信號(hào)累計(jì)即可。
[0196]在此，圖像處理部511為了識(shí)別哪一劃分區(qū)域進(jìn)行了幾次電荷蓄存，對(duì)圖像信號(hào)賦予表示累計(jì)次數(shù)的3bit的指數(shù)位。如圖所示，指數(shù)位以對(duì)于累計(jì)數(shù)I次為000、對(duì)于2次為001、…對(duì)于128次為111的方式按順序分配。
[0197]圖像處理部511參照從運(yùn)算電路415接收到的各像素信號(hào)的指數(shù)位，在參照結(jié)果為2次以上的累計(jì)數(shù)的情況下，執(zhí)行像素信號(hào)的累計(jì)處理。例如，在累計(jì)次數(shù)為2次的情況(I級(jí))下，對(duì)于2個(gè)像素信號(hào)使與電荷蓄存對(duì)應(yīng)的12bit的像素信號(hào)中的高位Ilbit彼此相加，生成12bit的I個(gè)像素信號(hào)。同樣地，在累計(jì)次數(shù)為128次(7級(jí))的情況，對(duì)于128個(gè)像素信號(hào)使與電荷蓄存對(duì)應(yīng)的12bit的像素信號(hào)中的高位5bit彼此相加，生成12bit的I個(gè)像素信號(hào)。即，使從12減去與累計(jì)次數(shù)對(duì)應(yīng)的級(jí)數(shù)而得到的高位bit彼此相加，生成12bit的I個(gè)像素信號(hào)。此外，除去沒有成為相加對(duì)象的低位bit。
[0198]通過這樣進(jìn)行處理，能夠使賦予灰階的亮度范圍與累計(jì)次數(shù)相應(yīng)地向高亮度側(cè)轉(zhuǎn)變。即，對(duì)高亮度側(cè)的受限范圍分配12bit。因此，能夠?qū)σ酝椎膱D像區(qū)域賦予灰階。
[0199]但是，對(duì)于其他劃分區(qū)域，由于對(duì)不同的亮度范圍分配了 12bit，所以無法簡(jiǎn)單地按每個(gè)區(qū)域通過連接合成來生成圖像數(shù)據(jù)。因此，圖像處理部511為了盡可能維持所得到的灰階并使整個(gè)區(qū)域?yàn)?2bit的圖像數(shù)據(jù)，將最大亮度像素和最低亮度像素作為基準(zhǔn)，進(jìn)行再量化處理。具體而言，實(shí)施伽馬轉(zhuǎn)換來執(zhí)行量化，從而更平滑地維持灰階。通過這樣進(jìn)行處理，能夠得到高動(dòng)態(tài)范圍的圖像數(shù)據(jù)。
[0200]此外，累計(jì)次數(shù)不限于如上述那樣向像素信號(hào)賦予3bit的指數(shù)位的情況，也可以作為與像素信號(hào)不同的附加信息而記述。另外，也可以從像素信號(hào)除去指數(shù)位，取而代之對(duì)存儲(chǔ)在像素存儲(chǔ)器414中的像素信號(hào)的數(shù)量進(jìn)行計(jì)數(shù)，由此在相加處理時(shí)獲取累計(jì)次數(shù)。
[0201]另外，在上述的圖像處理中，執(zhí)行了將整個(gè)區(qū)域收納于12bit的圖像數(shù)據(jù)的再量化處理，但也可以對(duì)于像素信號(hào)的bit數(shù)，與上限累計(jì)次數(shù)相應(yīng)地增加輸出bit數(shù)。例如，若將上限累計(jì)次數(shù)定為16次(4級(jí))，則對(duì)于12bit的像素信號(hào)，使整個(gè)區(qū)域?yàn)?6bit的圖像數(shù)據(jù)即可。若這樣進(jìn)行處理，能夠不降位地生成圖像數(shù)據(jù)。
[0202]接下來，說明一系列的攝影動(dòng)作處理。圖20是表示攝影動(dòng)作的處理的流程圖。流程從拍攝裝置500的電源接通后開始。
[0203]在步驟S201中，系統(tǒng)控制部501待機(jī)直至作出攝影準(zhǔn)備指示即開關(guān)SWl被按下。檢測(cè)到開關(guān)SWl的按下后進(jìn)入步驟S202。
[0204]在步驟S202中，系統(tǒng)控制部501執(zhí)行測(cè)光處理。具體而言，得到測(cè)光部503的輸出，運(yùn)算部512計(jì)算出場(chǎng)景的亮度分布。然后，進(jìn)入步驟S203，如上所述，確定快門速度、區(qū)域劃分、累計(jì)次數(shù)等。
[0205]在攝影準(zhǔn)備動(dòng)作完成后，進(jìn)入步驟S204，待機(jī)直至作出攝影指示即開關(guān)SW2被按下。此時(shí)，若經(jīng)過時(shí)間超過了預(yù)先設(shè)定的時(shí)間Tw (步驟S205為是)，則返回步驟S201。若在超過Tw之前(步驟S205為否)檢測(cè)到開關(guān)SW2的按下，則進(jìn)入步驟S206。
[0206]在步驟S206中，接受了系統(tǒng)控制部501的指示的驅(qū)動(dòng)部502執(zhí)行使用圖18說明的電荷蓄存處理、信號(hào)讀出處理。然后，在全部的信號(hào)讀出完成后進(jìn)入到步驟S207，執(zhí)行使用圖19說明的圖像處理，并執(zhí)行將所生成的圖像數(shù)據(jù)記錄到記錄部中的記錄處理。
[0207]在記錄處理完成后進(jìn)入到步驟S208，判斷拍攝裝置500的電源是否斷開。若電源沒有斷開，則返回步驟S201，若斷開則結(jié)束一系列的攝影動(dòng)作處理。
[0208]圖21是表示作為信號(hào)處理芯片111的一例的具體結(jié)構(gòu)的框圖。在上述的使用了圖4的說明中，示出了信號(hào)分離器413及像素存儲(chǔ)器414形成在存儲(chǔ)芯片112上的一例，但在此說明形成在信號(hào)處理芯片111上的例子。
[0209]信號(hào)處理芯片111承擔(dān)驅(qū)動(dòng)部502的功能。信號(hào)處理芯片111包括作為分擔(dān)化的控制功能的傳感器控制部441、塊控制部442、同步控制部443、信號(hào)控制部444、和總括地控制這些各控制部的驅(qū)動(dòng)控制部420。驅(qū)動(dòng)控制部420將來自系統(tǒng)控制部501的指示轉(zhuǎn)換成各控制部可執(zhí)行的控制信號(hào)并交付至各個(gè)控制部。
[0210]傳感器控制部441承擔(dān)向拍攝芯片113輸出的、與各像素的電荷蓄存、電荷讀出有關(guān)的控制脈沖的輸出控制。具體而言，傳感器控制部441通過對(duì)對(duì)象像素輸出重置脈沖和傳輸脈沖來控制電荷蓄存的開始和結(jié)束，并通過對(duì)讀出像素輸出選擇脈沖來使像素信號(hào)向輸出布線309輸出。
[0211]塊控制部442執(zhí)行向拍攝芯片113輸出的、對(duì)成為控制對(duì)象的單位組131進(jìn)行特定的特定脈沖的輸出。如使用圖17等說明那樣，在劃分后的區(qū)域中包含彼此相鄰的多個(gè)單位組131。這些屬于同一區(qū)域的單位組131形成一個(gè)塊。同一個(gè)塊所包含的像素在相同定時(shí)開始電荷蓄存，并在相同定時(shí)結(jié)束電荷蓄存。因此，塊控制部442承擔(dān)通過基于來自驅(qū)動(dòng)控制部420的指定而向成為對(duì)象的單位組131輸出特定脈沖來使單位組131成塊化的作用。各像素經(jīng)由TX布線307及重置布線306接受到的傳輸脈沖及重置脈沖成為傳感器控制部441所輸出的各脈沖和塊控制部442所輸出的特定脈沖的邏輯積。像這樣，通過將各區(qū)域作為相互獨(dú)立的塊進(jìn)行控制，實(shí)現(xiàn)了使用圖18說明的電荷蓄存控制。關(guān)于來自驅(qū)動(dòng)控制部的成塊化指定，將在后詳細(xì)敘述。
[0212]同步控制部443向拍攝芯片113輸出同步信號(hào)。各脈沖與同步信號(hào)同步地在拍攝芯片113中變得有效(active)。例如，通過調(diào)整同步信號(hào)，實(shí)現(xiàn)了僅將屬于同一單位組131的像素的特定像素作為控制對(duì)象的隨機(jī)控制、間除控制等。
[0213]信號(hào)控制部444主要承擔(dān)針對(duì)Α/D轉(zhuǎn)換器412b的定時(shí)控制。經(jīng)由輸出布線309輸出的像素信號(hào)，經(jīng)由⑶S電路412a及多路復(fù)用器411而輸入到Α/D轉(zhuǎn)換器412b。A/D轉(zhuǎn)換器412b通過信號(hào)控制部444而被控制，并將輸入的像素信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)。轉(zhuǎn)換成數(shù)字信號(hào)的像素信號(hào)被交付到信號(hào)分離器413，然后作為數(shù)字?jǐn)?shù)據(jù)的像素值而存儲(chǔ)到與各個(gè)像素對(duì)應(yīng)的像素存儲(chǔ)器414中。
[0214]信號(hào)處理芯片111具有作為蓄存控制存儲(chǔ)器的定時(shí)存儲(chǔ)器430，該定時(shí)存儲(chǔ)器430存儲(chǔ)關(guān)于將哪個(gè)單位組131組合而形成塊的塊區(qū)分信息、和關(guān)于所形成的各個(gè)塊重復(fù)進(jìn)行幾次電荷蓄存的蓄存次數(shù)信息。定時(shí)存儲(chǔ)器430由例如閃存RAM構(gòu)成。
[0215]如上所述，關(guān)于將哪個(gè)單位組組合來形成塊，基于在一系列的攝影過程之前執(zhí)行的場(chǎng)景的亮度分布檢測(cè)的檢測(cè)結(jié)果，由系統(tǒng)控制部501決定。所決定的塊以例如第I塊、第2塊…的方式區(qū)分，并由各個(gè)塊包含哪個(gè)單位組131而規(guī)定。驅(qū)動(dòng)控制部420從系統(tǒng)控制部501接收該塊區(qū)分信息，并向定時(shí)存儲(chǔ)器430存儲(chǔ)。
[0216]另外，系統(tǒng)控制部501基于亮度分布的檢測(cè)結(jié)果，決定各塊重復(fù)進(jìn)行幾次電荷蓄存。驅(qū)動(dòng)控制部420從系統(tǒng)控制部501接收該蓄存次數(shù)信息，并與對(duì)應(yīng)的塊區(qū)分信息成對(duì)地向定時(shí)存儲(chǔ)器430存儲(chǔ)。通過這樣向定時(shí)存儲(chǔ)器430存儲(chǔ)塊區(qū)分信息和蓄存次數(shù)信息，驅(qū)動(dòng)控制部420能夠逐次參照定時(shí)存儲(chǔ)器430而獨(dú)立地執(zhí)行一系列的電荷蓄存控制。即，若驅(qū)動(dòng)控制部420在一幅圖像的獲取控制中一旦從系統(tǒng)控制部501接收到攝影指示的信號(hào)，則之后對(duì)于各像素的控制，能夠不用每次從系統(tǒng)控制部501接收指示地完成蓄存控制。
[0217]驅(qū)動(dòng)控制部420從系統(tǒng)控制部501接收基于與攝影準(zhǔn)備指示同步地執(zhí)行的測(cè)光結(jié)果(亮度分布的檢測(cè)結(jié)果)而更新的塊區(qū)分信息和蓄存次數(shù)信息，并適當(dāng)更新定時(shí)存儲(chǔ)器430的存儲(chǔ)內(nèi)容。例如，驅(qū)動(dòng)控制部420與攝影準(zhǔn)備指示或攝影指示同步地更新定時(shí)存儲(chǔ)器430。通過這樣地構(gòu)成，能夠?qū)崿F(xiàn)更高速的電荷蓄存控制，并且在驅(qū)動(dòng)控制部420執(zhí)行電荷蓄存控制的期間，系統(tǒng)控制部501能夠并行地執(zhí)行其他處理。
[0218]驅(qū)動(dòng)控制部420不限于在執(zhí)彳丁針對(duì)拍攝芯片113的電荷畜存控制中參照定時(shí)存儲(chǔ)器430，在讀出控制的執(zhí)行中也參照定時(shí)存儲(chǔ)器430。例如，驅(qū)動(dòng)控制部420參照各塊的蓄存次數(shù)信息，將從信號(hào)分離器413輸出的像素信號(hào)存儲(chǔ)到像素存儲(chǔ)器414的對(duì)應(yīng)地址中。
[0219]驅(qū)動(dòng)控制部420根據(jù)來自系統(tǒng)控制部501的交付請(qǐng)求，將對(duì)象像素信號(hào)從像素存儲(chǔ)器414讀出并向圖像處理部511交付。如上所述，像素存儲(chǔ)器414具有對(duì)于各像素能夠存儲(chǔ)與最大累計(jì)次數(shù)對(duì)應(yīng)的像素信號(hào)的存儲(chǔ)空間，并將與執(zhí)行的蓄存次數(shù)對(duì)應(yīng)的各個(gè)像素信號(hào)作為像素值而存儲(chǔ)。例如，在某塊中重復(fù)進(jìn)行了 4次電荷蓄存的情況下，由于該塊所包含的像素輸出4次的量的像素信號(hào)，所以在像素存儲(chǔ)器414上的各像素的存儲(chǔ)空間中存儲(chǔ)有4個(gè)像素值。驅(qū)動(dòng)控制部420在從系統(tǒng)控制部501接受到對(duì)特定像素的像素信號(hào)進(jìn)行請(qǐng)求的交付請(qǐng)求的情況下，指定像素存儲(chǔ)器414上的該特定像素的地址，讀出所存儲(chǔ)的全部像素信號(hào)，并向圖像處理部511交付。例如在存儲(chǔ)有4個(gè)像素值的情況下，將該4個(gè)像素值依次全部交付，在僅存儲(chǔ)有I個(gè)像素值的情況下，將該像素值交付。
[0220]驅(qū)動(dòng)控制部420能夠?qū)⒋鎯?chǔ)在像素存儲(chǔ)器414中的像素信號(hào)讀出至運(yùn)算電路415，并在運(yùn)算電路415中執(zhí)行上述的累計(jì)處理。累計(jì)處理后的像素信號(hào)存儲(chǔ)在像素存儲(chǔ)器414的對(duì)象像素地址中。對(duì)象像素地址可以與累計(jì)處理前的地址空間相鄰地設(shè)置，也可以相對(duì)于累計(jì)處理前的像素信號(hào)以覆蓋的方式成為同一地址。另外，還可以設(shè)置將累計(jì)處理后的各像素的像素值集中地存儲(chǔ)的專用空間。驅(qū)動(dòng)控制部420在從系統(tǒng)控制部501接收到對(duì)特定像素的像素信號(hào)進(jìn)行請(qǐng)求的交付請(qǐng)求的情況下，能夠根據(jù)該交付請(qǐng)求的形式，將累計(jì)處理后的像素信號(hào)向圖像處理部511交付。當(dāng)然，也能夠?qū)⒗塾?jì)處理前后的像素信號(hào)一起交付。
[0221]在像素存儲(chǔ)器414上設(shè)有根據(jù)交付請(qǐng)求來傳送像素信號(hào)的數(shù)據(jù)傳輸接口。數(shù)據(jù)傳輸接口與和圖像處理部511相連的數(shù)據(jù)傳輸線連接。數(shù)據(jù)傳輸線由例如總線中的數(shù)據(jù)總線構(gòu)成。該情況下，從系統(tǒng)控制部501向驅(qū)動(dòng)控制部420的交付請(qǐng)求通過利用了地址總線的地址指定而執(zhí)行。
[0222]基于數(shù)據(jù)傳輸接口進(jìn)行的像素信號(hào)的傳送不限于地址指定方式，能夠采用各種方式。例如，能夠采用在進(jìn)行數(shù)據(jù)傳輸時(shí)，利用在各電路的同步中使用的時(shí)鐘信號(hào)的上升沿、下降沿雙方來進(jìn)行處理的雙倍數(shù)據(jù)速率(double data rate)方式。另外，也能夠采用通過將地址指定等步驟的一部分省略而將數(shù)據(jù)一舉傳輸來謀求高速化的突發(fā)(burst)傳輸方式。另外，還能夠組合采用使用了將控制部、存儲(chǔ)部、輸入輸出部并聯(lián)連接的線路的總線方式、將數(shù)據(jù)串行地一位一位傳輸?shù)拇蟹绞降取?br> [0223]通過這樣地構(gòu)成，圖像處理部511能夠僅接收必要的像素信號(hào)，因此，尤其在形成低析像度的圖像的情況等下，能夠高速地完成圖像處理。另外，在使運(yùn)算電路415執(zhí)行累計(jì)處理的情況下，圖像處理部511可以不執(zhí)行累計(jì)處理，所以能夠通過功能分擔(dān)和并行處理來謀求圖像處理的高速化。
[0224]在上述圖17至圖21的例子中，通過在注視區(qū)域172和周邊區(qū)域176中使電荷的蓄存次數(shù)等不同，而使在將注視區(qū)域172的像素信號(hào)數(shù)字化時(shí)的位數(shù)大于周邊區(qū)域176。在其他方法中，也可以改變注視區(qū)域172和周邊區(qū)域176的數(shù)字化的位數(shù)。例如，也可以是，信號(hào)處理電路412的Α/D電路根據(jù)來自驅(qū)動(dòng)部502的指示，對(duì)于同為一次的蓄存次數(shù)而使注視區(qū)域172以比周邊區(qū)域176高的位數(shù)數(shù)字化。
[0225]也可以使用圖21的信號(hào)處理芯片111，在注視區(qū)域172和周邊區(qū)域176中使用不同的控制參數(shù)獲取像素信號(hào)后進(jìn)行圖像處理。例如，在圖7至圖10中，在注視區(qū)域172和周邊區(qū)域176中從以不同的幀頻獲取的圖像生成了動(dòng)態(tài)圖像，但也可以取而代之，進(jìn)行使以高幀頻獲取的圖像平均化的圖像處理來提高S/N比。該情況下，在例如通過驅(qū)動(dòng)控制部420從周邊區(qū)域176得到一次的像素信號(hào)的期間，從注視區(qū)域142得到多次、例如四次的圖像信號(hào)，并將其存儲(chǔ)到像素存儲(chǔ)器414中。運(yùn)算電路415從像素存儲(chǔ)器414讀出對(duì)于注視區(qū)域142的各像素得到的多個(gè)像素信號(hào)，并按每個(gè)像素進(jìn)行平均。由此，注視區(qū)域172的各像素中的隨機(jī)噪聲減少，能夠提高注視區(qū)域172的S/N比。
[0226]另外，在圖7至圖10中，在注視區(qū)域172和周邊區(qū)域176中從以不同的幀頻獲取的圖像生成了動(dòng)態(tài)圖像，但也可以為基于被攝物體的動(dòng)作速度而不同的幀頻。該情況下，被攝物體推定部150在幀間的被攝物體的位置變化中推定上下左右方向的速度。另外，被攝物體推定部150在該幀間的被攝物體的大小變化中，推定被攝物體的前后方向的速度?；谠撏贫?，組選擇部152特定對(duì)低速或靜止的被攝物體受光的單位組131、對(duì)中速的被攝物體受光的單位組131、和對(duì)高速的被攝物體受光的單位組131。
[0227]驅(qū)動(dòng)部502驅(qū)動(dòng)拍攝元件100，在對(duì)低速或靜止的被攝物體受光的單位組131中以低幀頻進(jìn)行拍攝，在對(duì)中速的被攝物體受光的單位組131中以中等程度的幀頻進(jìn)行拍攝，在對(duì)高速的被攝物體受光的單位組131中以高幀頻進(jìn)行拍攝。各個(gè)幀頻的一例為60fps、120fps、240fps。
[0228]圖22是本實(shí)施方式的其他背面照射型的拍攝元件1100的剖視圖。拍攝元件1100具有:輸出與入射光對(duì)應(yīng)的像素信號(hào)的拍攝芯片1113、對(duì)像素信號(hào)進(jìn)行處理的信號(hào)處理芯片1111、和存儲(chǔ)像素信號(hào)的存儲(chǔ)芯片1112。這些拍攝芯片1113、信號(hào)處理芯片1111及存儲(chǔ)芯片1112層疊在一起，并通過Cu等具有導(dǎo)電性的凸塊1109而相互電連接。
[0229]此外，如圖所示，入射光主要朝向白色空心箭頭所示的Z軸正向入射。在本實(shí)施方式中，在拍攝芯片1113中，將入射光入射的一側(cè)的面稱為背面。另外，如坐標(biāo)軸所示，將與Z軸正交的紙面左方向設(shè)為X軸正向，將與Z軸及X軸正交的紙面近前方向設(shè)為Y軸正向。在以后的若干幅圖中，以將圖22的坐標(biāo)軸作為基準(zhǔn)而判明各圖朝向的方式來顯示坐標(biāo)軸。
[0230]拍攝芯片1113的一例為背面照射型的MOS圖像傳感器。H)層1106配置在布線層1108的背面?zhèn)?。ro層1106以二維方式配置，并具有對(duì)與入射光相應(yīng)的電荷進(jìn)行蓄存的多個(gè)PD(光電二極管)104及與HH104對(duì)應(yīng)地設(shè)置的晶體管1105。
[0231]在H)層1106中的入射光的入射側(cè)，隔著鈍化膜1103而設(shè)有彩色濾光片1102。彩色濾光片1102具有供彼此不同的波長(zhǎng)區(qū)域透射的多個(gè)種類，與roil04分別對(duì)應(yīng)地具有特定的排列。關(guān)于彩色濾光片1102的排列將在后敘述。彩色濾光片1102、HH104及晶體管1105的組形成一個(gè)像素。
[0232]在彩色濾光片1102中的入射光的入射側(cè)，與各個(gè)像素對(duì)應(yīng)地設(shè)有微透鏡1101。微透鏡I1i朝向?qū)?yīng)的roi14會(huì)聚入射光。
[0233]布線層1108具有將來自H)層1106的像素信號(hào)向信號(hào)處理芯片1111傳送的布線1107。布線1107可以為多層，另外，也可以設(shè)有無源元件及有源元件。
[0234]在布線層1108的表面上配置有多個(gè)凸塊1109。該多個(gè)凸塊1109與設(shè)置在信號(hào)處理芯片1111的相對(duì)面上的多個(gè)凸塊1109對(duì)位，通過對(duì)拍攝芯片1113和信號(hào)處理芯片1111加壓等，使對(duì)位后的凸塊1109彼此接合而電連接。
[0235]同樣地，在信號(hào)處理芯片1111及存儲(chǔ)芯片1112的彼此相對(duì)的面上，配置有多個(gè)凸塊1109。這些凸塊1109彼此對(duì)位，通過對(duì)信號(hào)處理芯片1111和存儲(chǔ)芯片1112加壓等，使對(duì)位后的凸塊1109彼此接合而電連接。
[0236]此外，對(duì)于凸塊1109間的接合，不限于基于固相擴(kuò)散的Cu凸塊接合，也可以采用基于釬焊熔融的微凸塊結(jié)合。另外，凸塊1109例如對(duì)于后述的一個(gè)單位組設(shè)置一個(gè)左右即可。因此，凸塊1109的大小可以大于TO1104的間距。另外，在像素所排列的像素區(qū)域以外的周邊區(qū)域，也可以同時(shí)設(shè)置比像素區(qū)域所對(duì)應(yīng)的凸塊1109大的凸塊。
[0237]信號(hào)處理芯片1111具有將分別設(shè)置在表背面上的電路相互連接的TSV (硅貫穿電極)1110。TSV1110優(yōu)選設(shè)置在周邊區(qū)域。另外，TSV1110也可以設(shè)置在拍攝芯片1113的周邊區(qū)域、存儲(chǔ)芯片1112上。
[0238]圖23是拍攝芯片1113的像素排列和單位組1131的說明圖。尤其示出拍攝芯片1113的從背面?zhèn)扔^察到的情況。在像素區(qū)域中以矩陣狀排列有2000萬個(gè)以上的像素。在圖23的例子中，相鄰的4像素X4像素的16像素形成一個(gè)單位組1131。圖中的格線示出相鄰的像素被成組化而形成單位組1131的概念。形成單位組1131的像素的數(shù)量不限于此，也可以是1000個(gè)左右、例如32像素X64像素，可以是其以上也可以是其以下。
[0239]如像素區(qū)域的局部放大圖所示，單位組1131在上下左右內(nèi)置有四個(gè)由綠色像素Gb、Gr、藍(lán)色像素B及紅色像素R這4個(gè)像素構(gòu)成的所謂拜耳陣列。綠色像素是作為彩色濾光片1102而具有綠色濾光片的像素，接受入射光中的綠色波段的光。同樣地，藍(lán)色像素是作為彩色濾光片1102而具有藍(lán)色濾光片的像素，接受藍(lán)色波段的光，紅色像素是作為彩色濾光片1102而具有紅色濾光片的像素，接受紅色波段的光。
[0240]在本實(shí)施方式中，對(duì)多個(gè)單位組1131分別計(jì)算出評(píng)估值，并以基于該評(píng)估值的控制參數(shù)來控制單位組所包含的像素的曝光或讀出。關(guān)于評(píng)估值的例子，是單位組1131內(nèi)的像素信號(hào)的平均、單位組1131內(nèi)外的像素信號(hào)的加權(quán)平均、單位組1131內(nèi)的對(duì)比度(contrast)、單位組1131內(nèi)外的對(duì)比度的加權(quán)平均、單位組1131內(nèi)的亮度、單位組1131內(nèi)外的亮度的加權(quán)平均等。另外，關(guān)于控制參數(shù)的例子，是幀頻、間除率、將像素信號(hào)相加的相加行數(shù)或相加列數(shù)、電荷的蓄存時(shí)間或蓄存次數(shù)、數(shù)字化的位數(shù)等。而且，控制參數(shù)也可以是從像素獲取圖像信號(hào)后的圖像處理中的參數(shù)。
[0241]圖24是與拍攝芯片1113的單位組1131對(duì)應(yīng)的電路圖。圖中，作為代表，虛線所包圍的矩形示出與一個(gè)像素對(duì)應(yīng)的電路。此外，以下說明的各晶體管的至少一部分與圖22的晶體管1105對(duì)應(yīng)。
[0242]如上所述，單位組1131由16像素形成。與各個(gè)像素對(duì)應(yīng)的16個(gè)HH104分別與傳輸晶體管1302連接，各傳輸晶體管1302的各柵極與供給傳輸脈沖的TX布線1307連接。在本實(shí)施方式中，TX布線1307相對(duì)于16個(gè)傳輸晶體管302是共用連接的。
[0243]各傳輸晶體管1302的漏極與對(duì)應(yīng)的各重置晶體管1303的源極連接，并且，傳輸晶體管1302的漏極與重置晶體管1303的源極間的所謂浮置擴(kuò)散FD與放大晶體管1304的柵極連接。重置晶體管1303的漏極與供給電源電壓的Vdd布線1310連接，其柵極與供給重置脈沖的重置布線1306連接。在本實(shí)施方式中，重置布線1306相對(duì)于16個(gè)重置晶體管1303是共用連接的。
[0244]各個(gè)放大晶體管1304的漏極與供給電源電壓的Vdd布線1310連接。另外，各個(gè)放大晶體管1304的源極與對(duì)應(yīng)的各個(gè)選擇晶體管1305的漏極連接。選擇晶體管的各柵極與供給選擇脈沖的解碼布線1308連接。在本實(shí)施方式中，解碼布線1308相對(duì)于16個(gè)選擇晶體管1305是分別獨(dú)立設(shè)置的。而且，各個(gè)選擇晶體管1305的源極與共用的輸出布線1309連接。負(fù)載電流源1311向輸出布線1309供給電流。即，針對(duì)選擇晶體管1305的輸出布線1309由源極跟隨器形成。此外，負(fù)載電流源1311可以設(shè)置在拍攝芯片1113側(cè)，也可以設(shè)置在信號(hào)處理芯片1111偵U。
[0245]在此，說明電荷的從蓄存開始直至蓄存結(jié)束后的像素輸出為止的流動(dòng)。若通過重置布線1306向重置晶體管1303施加重置脈沖，同時(shí)通過TX布線1307向傳輸晶體管1302施加傳輸脈沖，則HH104及浮置擴(kuò)散FD的電位被重置。
[0246]當(dāng)解除傳輸脈沖的施加時(shí)，PD1104將所接受的入射光轉(zhuǎn)換成電荷并進(jìn)行蓄存。然后，當(dāng)以沒有施加重置脈沖的狀態(tài)再次施加傳輸脈沖時(shí)，所蓄存的電荷被向浮置擴(kuò)散FD傳輸，浮置擴(kuò)散FD的電位從重置電位變?yōu)殡姾尚畲婧蟮男盘?hào)電位。而且，當(dāng)通過解碼布線1308向選擇晶體管1305施加選擇脈沖時(shí)，浮置擴(kuò)散FD的信號(hào)電位的變動(dòng)經(jīng)由放大晶體管1304及選擇晶體管1305而傳遞到輸出布線1309。由此，與重置電位和信號(hào)電位對(duì)應(yīng)的像素信號(hào)從單位像素輸出到輸出布線1309。
[0247]如圖所示，在本實(shí)施方式中，對(duì)于形成單位組1131的16像素，重置布線1306和TX布線1307是共用的。即，重置脈沖和傳輸脈沖分別對(duì)于全部的16像素是同時(shí)施加的。因此，形成單位組1131的全部像素在相同定時(shí)開始電荷蓄存，并在相同定時(shí)結(jié)束電荷蓄存。但是，各個(gè)選擇晶體管1305根據(jù)選擇脈沖而依次被施加與所蓄存的電荷對(duì)應(yīng)的像素信號(hào)，并選擇性地輸出到輸出布線1309。另外，重置布線1306、TX布線1307、輸出布線1309按每個(gè)單位組1131單獨(dú)地設(shè)置。
[0248]通過像這樣以單位組1131為基準(zhǔn)來構(gòu)成電路，能夠按每個(gè)單位組1131來控制電荷蓄存時(shí)間。換言之，在相鄰的單位組1131彼此中，能夠分別輸出基于不同的電荷蓄存時(shí)間而得到的像素信號(hào)。再換言之，在使一個(gè)單位組1131進(jìn)行一次電荷蓄存的期間，使另一個(gè)單位組1131重復(fù)進(jìn)行多次電荷蓄存并輸出每次的像素信號(hào)，由此，也能夠在這些單位組1131彼此中以不同幀頻輸出動(dòng)態(tài)圖像用的各幀。
[0249]圖25是表示本實(shí)施方式的拍攝裝置的結(jié)構(gòu)的框圖。拍攝裝置1500具有作為攝影光學(xué)系統(tǒng)的攝影透鏡1520，攝影透鏡1520將沿著光軸OA入射的被攝物體光束向拍攝元件1100引導(dǎo)。攝影透鏡1520可以是相對(duì)于拍攝裝置1500能夠裝拆的更換式透鏡。拍攝裝置1500主要具有拍攝元件1100、系統(tǒng)控制部1501、驅(qū)動(dòng)部1502、測(cè)光部1503、工作存儲(chǔ)器1504、記錄部1505及顯示部1506。
[0250]攝影透鏡1520由多個(gè)光學(xué)透鏡組構(gòu)成，并使來自場(chǎng)景的被攝物體光束在其焦點(diǎn)面附近成像。此外，圖25中以配置在光瞳附近的假想的一枚透鏡代表該攝影透鏡1520而表示。驅(qū)動(dòng)部1502是根據(jù)來自系統(tǒng)控制部1501的指示來執(zhí)行拍攝元件1100的定時(shí)控制、區(qū)域控制等的電荷蓄存控制的控制電路。
[0251]拍攝元件1100將像素信號(hào)向系統(tǒng)控制部1501的圖像處理部1511交付。圖像處理部1511將工作存儲(chǔ)器1504作為工作區(qū)域來實(shí)施各種圖像處理而生成圖像數(shù)據(jù)。例如，在生成JPEG文件格式的圖像數(shù)據(jù)的情況下，從通過拜耳陣列得到的信號(hào)生成彩色影像信號(hào)后執(zhí)行壓縮處理。所生成的圖像數(shù)據(jù)被記錄在記錄部1505中，并且，被轉(zhuǎn)換成顯示信號(hào)并在預(yù)先設(shè)定的時(shí)間中，顯示在顯示部1506上。
[0252]測(cè)光部1503在生成圖像數(shù)據(jù)的一系列的攝影過程之前，檢測(cè)場(chǎng)景的亮度分布。測(cè)光部1503包含例如100萬像素左右的AE傳感器。系統(tǒng)控制部1501的運(yùn)算部1512接受測(cè)光部1503的輸出并計(jì)算出場(chǎng)景的每個(gè)區(qū)域的亮度。運(yùn)算部1512根據(jù)所計(jì)算出的亮度分布來決定快門速度、光圈值、ISO感光度。也可以將拍攝元件1100兼用為測(cè)光部1503。此外，運(yùn)算部1512也執(zhí)行用于使拍攝裝置1500動(dòng)作的各種運(yùn)算。
[0253]驅(qū)動(dòng)部1502可以是一部分或全部搭載在拍攝芯片1113上，也可以是一部分或全部搭載在信號(hào)處理芯片1111上。系統(tǒng)控制部1501的一部分可以搭載在拍攝芯片1113或信號(hào)處理芯片1111上。
[0254]圖26是表示作為信號(hào)處理芯片1111的一例的具體結(jié)構(gòu)的框圖。信號(hào)處理芯片1111承擔(dān)驅(qū)動(dòng)部1502的功能。
[0255]信號(hào)處理芯片1111包括作為分擔(dān)化的控制功能的傳感器控制部1441、塊控制部1442、同步控制部1443、信號(hào)控制部1444、個(gè)別電路部1450A等、和總括地控制這些各控制部的驅(qū)動(dòng)控制部1420。而且，信號(hào)處理芯片1111還包含驅(qū)動(dòng)控制部1420與拍攝裝置1500主體的系統(tǒng)控制部1501之間的Ι/F電路1418。這些傳感器控制部1441、塊控制部1442、同步控制部1443、信號(hào)控制部1444及驅(qū)動(dòng)控制部1420相對(duì)于信號(hào)處理芯片1111各設(shè)置一個(gè)。
[0256]另一方面，個(gè)別電路部1450A、450B、450C、450D、450E 按每個(gè)單位組 1131A、131B、131C、131D、131E而設(shè)置。由于個(gè)別電路部1450A、450B、450C、450D、450E具有相同的結(jié)構(gòu)，所以以下對(duì)個(gè)別電路部1450A進(jìn)行說明。個(gè)別電路部1450A包含⑶S電路1410、多路復(fù)用器1411、A/D轉(zhuǎn)換電路1412、信號(hào)分離器1413、像素存儲(chǔ)器1414及運(yùn)算電路1415。運(yùn)算電路1415經(jīng)由Ι/F電路1418而在與系統(tǒng)控制部1501之間收發(fā)信號(hào)。
[0257]優(yōu)選個(gè)別電路部1450A配置在與對(duì)應(yīng)的單位組1131A的像素所配置的區(qū)域重疊的區(qū)域上。由此，能夠不在面方向上增大各芯片地將個(gè)別電路部1450A分別設(shè)置在多個(gè)單位組1131A上。
[0258]驅(qū)動(dòng)控制部1420參照定時(shí)存儲(chǔ)器1430，將來自系統(tǒng)控制部1501的指示轉(zhuǎn)換成各控制部可執(zhí)行的控制信號(hào)并向各個(gè)控制部交付。尤其是，驅(qū)動(dòng)控制部1420在對(duì)單位組1131A等分別以單獨(dú)的控制參數(shù)進(jìn)行控制的情況下，將該控制參數(shù)與將單位組1131A特定的信息一起交付到各控制部。驅(qū)動(dòng)控制部1420在一幅圖像的獲取控制中一旦從系統(tǒng)控制部1501接收到攝影指示的信號(hào)，則之后對(duì)于各像素的控制，能夠不用每次從系統(tǒng)控制部1501接收指不地完成畜存控制。
[0259]傳感器控制部1441承擔(dān)向拍攝芯片1113輸出的、與各像素的電荷蓄存、電荷讀出有關(guān)的控制脈沖的輸出控制。具體而言，傳感器控制部1441通過對(duì)對(duì)象像素輸出重置脈沖和傳輸脈沖來控制電荷蓄存的開始和結(jié)束，并通過對(duì)讀出像素輸出選擇脈沖來使像素信號(hào)向輸出布線1309輸出。
[0260]塊控制部1442執(zhí)行向拍攝芯片1113輸出的、對(duì)成為控制對(duì)象的單位組1131進(jìn)行特定的特定脈沖的輸出。各像素經(jīng)由TX布線1307及重置布線1306接受到的傳輸脈沖及重置脈沖成為傳感器控制部1441所輸出的各脈沖和塊控制部1442所輸出的特定脈沖的邏輯積。像這樣，能夠?qū)⒏鲄^(qū)域作為相互獨(dú)立的塊來進(jìn)行控制。
[0261]同步控制部1443向拍攝芯片1113輸出同步信號(hào)。各脈沖與同步信號(hào)同步地在拍攝芯片1113中成為有效。例如，通過調(diào)整同步信號(hào)，實(shí)現(xiàn)了僅將屬于同一單位組1131A等的像素的特定像素作為控制對(duì)象的隨機(jī)控制、間除控制等。
[0262]信號(hào)控制部1444主要承擔(dān)針對(duì)Α/D轉(zhuǎn)換器1412的定時(shí)控制。經(jīng)由輸出布線1309輸出的像素信號(hào)，經(jīng)由⑶S電路1410及多路復(fù)用器1411而輸入到Α/D轉(zhuǎn)換器1412。⑶S電路1410從像素/[目號(hào)除去噪聲。
[0263]Α/D轉(zhuǎn)換器1412通過信號(hào)控制部1444而被控制，并將輸入的像素信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)。轉(zhuǎn)換成數(shù)字信號(hào)的像素信號(hào)被交付到信號(hào)分離器1413，然后作為數(shù)字?jǐn)?shù)據(jù)的像素值而存儲(chǔ)到與各個(gè)像素對(duì)應(yīng)的像素存儲(chǔ)器1414中。
[0264]在像素存儲(chǔ)器1414上設(shè)有根據(jù)交付請(qǐng)求來傳送像素信號(hào)的數(shù)據(jù)傳輸接口。數(shù)據(jù)傳輸接口與和圖像處理部1511相連的數(shù)據(jù)傳輸線連接。數(shù)據(jù)傳輸線由例如總線中的數(shù)據(jù)總線構(gòu)成。該情況下，從系統(tǒng)控制部1501向驅(qū)動(dòng)控制部1420的交付請(qǐng)求通過利用了地址總線的地址指定而執(zhí)行。
[0265]基于數(shù)據(jù)傳輸接口進(jìn)行的像素信號(hào)的傳送不限于地址指定方式，能夠采用各種方式。例如，能夠采用在進(jìn)行數(shù)據(jù)傳輸時(shí)，利用在各電路的同步中使用的時(shí)鐘信號(hào)的上升沿、下降沿雙方來進(jìn)行處理的雙倍數(shù)據(jù)速率方式。另外，也能夠采用通過將地址指定等步驟的一部分省略而將數(shù)據(jù)一舉傳輸來謀求高速化的突發(fā)傳輸方式。另外，還能夠組合采用使用了將控制部、存儲(chǔ)部、輸入輸出部并聯(lián)連接的線路的總線方式、將數(shù)據(jù)串行地一位一位傳輸?shù)拇蟹绞降取?br> [0266]通過這樣地構(gòu)成，圖像處理部1511能夠僅接收必要的像素信號(hào)，因此，尤其在形成低析像度的圖像的情況等下，能夠高速地完成圖像處理。另外，在使運(yùn)算電路1415執(zhí)行累計(jì)處理的情況下，圖像處理部1511可以不執(zhí)行累計(jì)處理，所以能夠通過功能分擔(dān)和并行處理來謀求圖像處理的高速化。
[0267]信號(hào)處理芯片1111具有由閃存RAM等形成的定時(shí)存儲(chǔ)器1430。定時(shí)存儲(chǔ)器1430將關(guān)于對(duì)哪個(gè)單位組1131A等重復(fù)進(jìn)行幾次電荷蓄存的蓄存次數(shù)信息等的控制參數(shù)、與將單位組1131A等特定的信息建立對(duì)應(yīng)而存儲(chǔ)?？刂茀?shù)均由個(gè)別電路部1450A等的運(yùn)算電路1415計(jì)算出，并存儲(chǔ)在上述定時(shí)存儲(chǔ)器1430中。
[0268]驅(qū)動(dòng)控制部1420不限于在執(zhí)行針對(duì)拍攝芯片1113的電荷蓄存控制中參照定時(shí)存儲(chǔ)器1430，在讀出控制的執(zhí)行中也參照定時(shí)存儲(chǔ)器1430。例如，驅(qū)動(dòng)控制部1420參照各單位組1131的蓄存次數(shù)信息，將從信號(hào)分離器1413輸出的像素信號(hào)存儲(chǔ)到像素存儲(chǔ)器1414的對(duì)應(yīng)地址中。
[0269]驅(qū)動(dòng)控制部1420根據(jù)來自系統(tǒng)控制部1501的交付請(qǐng)求，將對(duì)象像素信號(hào)從像素存儲(chǔ)器1414讀出并向圖像處理部1511交付。像素存儲(chǔ)器1414具有對(duì)于各像素能夠存儲(chǔ)與最大累計(jì)次數(shù)對(duì)應(yīng)的像素信號(hào)的存儲(chǔ)空間，并將與執(zhí)行的蓄存次數(shù)對(duì)應(yīng)的各個(gè)像素信號(hào)作為像素值而存儲(chǔ)。例如，在某塊中重復(fù)進(jìn)行4次電荷蓄存的情況下，由于該塊所包含的像素輸出4次的量的像素信號(hào)，所以在像素存儲(chǔ)器1414上的各像素的存儲(chǔ)空間中存儲(chǔ)有4個(gè)像素值。驅(qū)動(dòng)控制部1420在從系統(tǒng)控制部1501接受到對(duì)特定像素的像素信號(hào)進(jìn)行請(qǐng)求的交付請(qǐng)求的情況下，指定像素存儲(chǔ)器1414上的該特定像素的地址，讀出所存儲(chǔ)的全部像素信號(hào)，并向圖像處理部1511交付。例如在存儲(chǔ)有4個(gè)像素值的情況下，將該4個(gè)像素值依次全部交付，在僅存儲(chǔ)有I個(gè)像素值的情況下，將該像素值交付。
[0270]驅(qū)動(dòng)控制部1420能夠?qū)⒋鎯?chǔ)在像素存儲(chǔ)器1414中的像素信號(hào)讀出至運(yùn)算電路1415，并在運(yùn)算電路1415中執(zhí)行上述的累計(jì)處理。累計(jì)處理后的像素信號(hào)存儲(chǔ)在像素存儲(chǔ)器1414的對(duì)象像素地址中。對(duì)象像素地址可以與累計(jì)處理前的地址空間相鄰地設(shè)置，也可以相對(duì)于累計(jì)處理前的像素信號(hào)以覆蓋的方式成為同一地址。另外，還可以設(shè)置將累計(jì)處理后的各像素的像素值集中地存儲(chǔ)的專用空間。驅(qū)動(dòng)控制部1420在從系統(tǒng)控制部1501接收到對(duì)特定像素的像素信號(hào)進(jìn)行請(qǐng)求的交付請(qǐng)求的情況下，能夠根據(jù)該交付請(qǐng)求的形式，將累計(jì)處理后的像素信號(hào)向圖像處理部1511交付。當(dāng)然，也能夠?qū)⒗塾?jì)處理前后的像素信號(hào)一起交付。
[0271]如上所述，與單位組1131分別對(duì)應(yīng)地設(shè)有輸出布線1309。拍攝元件1100由于將拍攝芯片1113、信號(hào)處理芯片1111及存儲(chǔ)芯片1112層疊而成，所以通過對(duì)這些輸出布線1309利用使用了凸塊1109的芯片間的電連接，能夠不在面方向上增大各芯片地將布線拉繞。同樣地，對(duì)于從各控制部通向單位組的信號(hào)線，也通過利用使用了凸塊1109的芯片間的電連接，能夠不在面方向上增大各芯片地將布線拉繞。
[0272]圖27是運(yùn)算電路1415的功能塊的一例。運(yùn)算電路1415使用存儲(chǔ)在個(gè)別電路部1450A的像素存儲(chǔ)器1414中的像素信號(hào)對(duì)評(píng)估值進(jìn)行運(yùn)算，并基于該評(píng)估值，輸出對(duì)對(duì)應(yīng)的單位組1131A的曝光或讀出進(jìn)行控制的控制參數(shù)。在圖27所示的例子中，運(yùn)算電路1415基于單位組1131A的像素信號(hào)的時(shí)序中的平均差量，計(jì)算出適用于該像素單位組1131A的幀頻。
[0273]圖27的運(yùn)算電路1415具有平均計(jì)算部1452、平均存儲(chǔ)部1454、差量計(jì)算部1456及幀頻計(jì)算部1458。平均計(jì)算部1452將存儲(chǔ)在像素存儲(chǔ)器1414中的單位組1131A的各像素的G像素信號(hào)簡(jiǎn)單平均，并計(jì)算出平均值A(chǔ)g。該情況下，平均計(jì)算部1452以與預(yù)先確定的幀頻對(duì)應(yīng)的時(shí)間間隔，計(jì)算出此時(shí)的幀中的平均值A(chǔ)g。
[0274]在上述例子中，平均值A(chǔ)g按每個(gè)單位組1131A而計(jì)算出一個(gè)值，并存儲(chǔ)到平均存儲(chǔ)部1454中。由于取前后幀的平均值A(chǔ)g的差量，所以在平均存儲(chǔ)部1454中設(shè)有至少存儲(chǔ)兩個(gè)值的存儲(chǔ)空間。
[0275]差量計(jì)算部1456計(jì)算出存儲(chǔ)在平均存儲(chǔ)部1454中的最新的幀中的平均值A(chǔ)g、與時(shí)間上為其前一幀的幀中的平均值A(chǔ)g之間的差量d。該差量可以以絕對(duì)值輸出。
[0276]幀頻計(jì)算部1458將由差量計(jì)算部1456計(jì)算出的差量d與預(yù)先確定的基準(zhǔn)值d0等進(jìn)行比較，由此計(jì)算出幀頻f。在此，例如，將幀間的差量d越大則幀頻f越高那樣的對(duì)應(yīng)關(guān)系作為表而存儲(chǔ)在幀頻計(jì)算部1458中。
[0277]幀頻計(jì)算部1458將計(jì)算出的幀頻f輸出到驅(qū)動(dòng)控制部1420。也可以取而代之或在此基礎(chǔ)上，幀頻計(jì)算部1458直接將該幀頻f寫入到定時(shí)存儲(chǔ)器1430中。
[0278]圖28示出幀間的差量d與幀頻f的對(duì)應(yīng)關(guān)系的一例。在圖28中，幀間的差量具有2個(gè)基準(zhǔn)值d0、dl，與之對(duì)應(yīng)地，幀頻f設(shè)有3個(gè)級(jí)別的幀頻《K H、f2。
[0279]在幀間的差量d為較低的基準(zhǔn)值d0以下的情況下，幀頻計(jì)算部1458將最低的幀頻f0作為適用于該單位組1131A的幀頻f而輸出。另外，在幀間的差量d位于基準(zhǔn)值d0與較高的基準(zhǔn)值dl之間的情況下，幀頻計(jì)算部1458輸出中間的幀頻f I。在幀間的差量d大于基準(zhǔn)值dl的情況下，幀頻計(jì)算部1458輸出最高的幀頻f2。
[0280]在此，優(yōu)選運(yùn)算電路1415進(jìn)行上述一系列的運(yùn)算的時(shí)間間隔設(shè)定為與最低的幀頻fo的幀間對(duì)應(yīng)的(Ι/fO)秒。由此，與此時(shí)正在進(jìn)行驅(qū)動(dòng)的幀頻無關(guān)地，均能夠在多個(gè)單位組1131AU31B等之間以相同定時(shí)計(jì)算出下一幀頻。另外，即使在以該最低的幀頻f0進(jìn)行驅(qū)動(dòng)的情況下，也能夠基于與上次計(jì)算時(shí)不同的幀而計(jì)算出新的幀頻f。
[0281]圖29及圖30示出由拍攝元件拍攝到的圖像的一例。圖像1170及圖像1178中的格線表示單位組1131的邊界,但單位組1131的數(shù)量?jī)H為例示,不限于這些圖所示的數(shù)量。另外，將單位組1131A等僅以“A”等表示。此外，包含主要被攝物體1171的單位組以粗線表不。
[0282]拍攝元件1100例如作為時(shí)間上的前后圖像而獲取圖29的圖像1170及圖30的圖像1178。當(dāng)著眼于圖中的單位組1131A時(shí)，在前面的幀的圖像1170中，該單位組1131A不包含主要被攝物體1171，但在后面的幀的圖像1178中包含。由此，由平均計(jì)算部1452計(jì)算出的圖像1170與圖像1178中的單位組1131A的平均值A(chǔ)g的差量d表現(xiàn)得較大。
[0283]由此，幀頻計(jì)算部1458基于圖28的對(duì)應(yīng)關(guān)系，將圖像1178以后的單位組1131A的幀頻f計(jì)算得較高。由此，驅(qū)動(dòng)控制部1420以高幀頻f2等驅(qū)動(dòng)圖像1178以后的單位組1131A的各像素。因此，驅(qū)動(dòng)控制部1420對(duì)于在時(shí)間上的前后幀間動(dòng)作較大的被攝物體，能夠以聞巾貞頻f2等獲取像素/[目號(hào)。
[0284]關(guān)于以高幀頻f2驅(qū)動(dòng)的單位組1131，在以低幀頻f0驅(qū)動(dòng)的單位組1131進(jìn)行一次電氣蓄存的期間，能夠進(jìn)行多次的電氣蓄存。由此，能夠使將以高幀頻f2等驅(qū)動(dòng)的單位組1131的像素信號(hào)數(shù)字化時(shí)的位數(shù)大于以低幀頻f0驅(qū)動(dòng)的單位組1131。由此，能夠從以高幀頻f2等驅(qū)動(dòng)的單位組1131生成高灰階的圖像。
[0285]也可以取代使數(shù)字化的位數(shù)增大，而進(jìn)行將以高幀頻f2等獲取的圖像平均化的圖像處理來提高S/N比。該情況下，在以低幀頻f0驅(qū)動(dòng)的單位組1131進(jìn)行一次電氣蓄存的期間，從以高幀頻f2驅(qū)動(dòng)的單位組1131得到多次、例如4次的圖像信號(hào)，并存儲(chǔ)到像素存儲(chǔ)器1414中。運(yùn)算電路1415從像素存儲(chǔ)器1414讀出對(duì)于以高幀頻f2控制的單位組1131的各像素得到的多個(gè)像素信號(hào)，并按每個(gè)像素進(jìn)行平均。由此，能夠減少該單位組1131的各像素中的隨機(jī)噪聲來提高S/N比。
[0286]根據(jù)以上，與后級(jí)的圖像處理部1511獲取圖像1170等整體的像素信號(hào)來推定主要被攝物體之后再計(jì)算各單位組1131A等的幀頻f的情況相比，能夠迅速且省電地計(jì)算出幀頻f。另外，即使某一單位組1131的像素自身、布線、處理電路等發(fā)生不良情況，對(duì)于其他單位組1131,也能夠迅速且省電地計(jì)算出巾貞頻f。
[0287]此外，圖27的平均計(jì)算部1452將對(duì)應(yīng)的單位組1131A的G像素的像素信號(hào)平均。取而代之，平均計(jì)算部1452也可以計(jì)算出包含R像素及B像素的像素信號(hào)的平均。另外，平均計(jì)算部1452還可以計(jì)算出G像素的平均、R像素的平均及B像素的平均。該情況下，幀頻計(jì)算部1458可以基于G像素的平均的差量、R像素的平均的差量及B像素的差量的某一個(gè)是否超過閾值等條件，來計(jì)算出幀頻f。而且，還可以通過以規(guī)定比例將G像素的平均、R像素的平均、B像素的平均相加的結(jié)果來進(jìn)行判斷。另外，關(guān)于平均值的計(jì)算，也可以是配置在單位組內(nèi)的部分區(qū)域的平均值。
[0288]另外，平均計(jì)算部1452也可以從其他個(gè)別電路部1450等的運(yùn)算電路1415獲取圖29等所示的、該單位組1131A的周邊的單位組1131B、131C、131D、131E等的平均值A(chǔ)g，并加進(jìn)該單位組113IA的平均值A(chǔ)g。例如，可以對(duì)這些平均值進(jìn)行加權(quán)平均。平均計(jì)算部1452也可以取代從其他運(yùn)算電路1415等獲取該單位組1131A的周邊的單位組1131B、131C、131D、131E等的平均值A(chǔ)g，而從其他個(gè)別電路部1450B等的像素存儲(chǔ)器1414讀出像素信號(hào)并由自身計(jì)算出平均值A(chǔ)g。
[0289]另外，在圖28的例子中，差量的基準(zhǔn)值為2個(gè)而幀頻為3個(gè)級(jí)別，但差量的基準(zhǔn)值的個(gè)數(shù)及幀頻的級(jí)別數(shù)不限于此。
[0290]圖31是其他運(yùn)算電路1416的功能塊的一例。在圖31所示的例子中，運(yùn)算電路1416基于單位組1131A的像素信號(hào)的對(duì)比度，計(jì)算出適用于該像素單位組1131A的間除率。
[0291]圖31的運(yùn)算電路1416具有高頻成分計(jì)算部1460、總和計(jì)算部1462和間除率計(jì)算部1464。高頻成分計(jì)算部1460讀出存儲(chǔ)在像素存儲(chǔ)器1414中的單位組1131A的各像素的G像素信號(hào)，并進(jìn)行基于其二維排列的高通濾波處理，由此提取出空間上的高頻成分Gh。同樣地,高頻成分計(jì)算部1460計(jì)算出R像素的高頻成分Rh及B像素的高頻成分Bh。
[0292]總和計(jì)算部1462計(jì)算上述高頻成分Gh、Rh、Bh的絕對(duì)值的總和。間除率計(jì)算部1464基于上述總和，計(jì)算對(duì)該單位組1131A所包含的像素進(jìn)行間除讀出的間除率。該情況下，優(yōu)選將表示總和越大而間除率越低的對(duì)應(yīng)關(guān)系的表預(yù)先存儲(chǔ)到間除率計(jì)算部1464中。例如，改變成圖28的對(duì)應(yīng)關(guān)系，將總和的基準(zhǔn)值和間除率建立對(duì)應(yīng)。
[0293]例如，將總和的基準(zhǔn)值設(shè)定為I個(gè)，在總和比基準(zhǔn)值高的情況下沒有間除即讀出全部像素，在總和比基準(zhǔn)值低的情況下計(jì)算出間除率為0.5。間除率計(jì)算部1464將計(jì)算出的間除率輸出到驅(qū)動(dòng)控制部1420。也可以取而代之或在此基礎(chǔ)上，間除率計(jì)算部1464將該間除率直接寫入到定時(shí)存儲(chǔ)器1430中。
[0294]驅(qū)動(dòng)控制部1420以上述間除率計(jì)算部1464計(jì)算出的間除率，將對(duì)應(yīng)的單位組1131所包含的像素間除來執(zhí)行圖像信號(hào)的輸出。該情況下，驅(qū)動(dòng)控制部1420個(gè)別地驅(qū)動(dòng)間除率為0.5的單位組1131的重置晶體管1303、傳輸晶體管1302及選擇晶體管1305的組、和間除率為O的單位組1131的重置晶體管1303、傳輸晶體管1302及選擇晶體管1305的組，由此，以不同的間除率得到像素信號(hào)。
[0295]由此，能夠較高地維持與對(duì)比度高的區(qū)域?qū)?yīng)的單位組1131的析像度，并且能夠減少與對(duì)比度低的區(qū)域?qū)?yīng)的單位組1131的信號(hào)量。而且，該情況下，與通過后級(jí)的圖像處理部1511計(jì)算間除率的情況相比，能夠迅速且省電地計(jì)算出間除率。另外，即使某一單位組1131的像素自身、布線、處理電路等出現(xiàn)不良，對(duì)于其他單位組1131也能夠迅速且省電地計(jì)算出間除率。
[0296]圖32示出對(duì)一個(gè)單位組以間除率0.5讀出的像素1188的例子。在圖32所示的例子中，在單位組1132為拜耳陣列的情況下，對(duì)于垂直方向每隔拜耳陣列的一個(gè)單位而讀出，即，對(duì)以像素單位觀察的情況下的每?jī)尚薪惶娴卦O(shè)定要讀出的像素1188和不讀出的像素。由此，能夠避免色彩平衡失調(diào)地進(jìn)行間除讀出。
[0297]在圖32的例子中，按行進(jìn)行間除讀出，但也可以取而代之，按列進(jìn)行間除讀出。而且，還可以是，高頻成分計(jì)算部1460對(duì)列方向和行方向分別提取出高波長(zhǎng)成分，并由間除率計(jì)算部1464分別計(jì)算出列方向的間除率和行方向的間除率。
[0298]在圖31及圖32的結(jié)構(gòu)中，間除率計(jì)算部1464計(jì)算對(duì)應(yīng)的像素組的間除率。也可以取而代之，計(jì)算將同色相鄰像素的像素信號(hào)相加時(shí)的像素?cái)?shù)。例如，在由總和計(jì)算部1462計(jì)算出的總和為基準(zhǔn)值以上的情況下，行數(shù)為1，即，不將同色相鄰行相加地輸出像素信號(hào)，在小于基準(zhǔn)值的情況下為更多行數(shù)，例如將行數(shù)設(shè)為2，輸出將同色相鄰的2行的同列像素相加后的像素信號(hào)。
[0299]由此，與圖32同樣地，能夠較高地維持對(duì)比度高的區(qū)域的析像度，并且能夠減少整體的信號(hào)量。另外，也可以取代將同色相鄰行的像素信號(hào)相加，而將同色相鄰列的像素信號(hào)相加。而且，在上述相加中，可以包括計(jì)算將該相加值除以相加行數(shù)或列數(shù)的平均的處理。另外，還可以將同色相鄰的行及列的像素信號(hào)相加。
[0300]此外，在上述高頻成分計(jì)算部1460等中，使用了每個(gè)R像素、G像素及B像素的高波長(zhǎng)成分Rh、Gh、Bh。也可以取而代之，使用從R像素、G像素及B像素計(jì)算出的亮度成分來求出高頻成分。該情況下，可以在R像素、G像素及B像素的亮度成分間調(diào)整增益后求出高頻成分。
[0301]另外，在總和計(jì)算部1462中，可以從其他個(gè)別電路部1450B等的運(yùn)算電路1416獲取圖29等所示的、該單位組1131A的周邊的單位組1131B、131C、131D、131E等的高頻成分，并加進(jìn)該單位組1131A的高頻成分中。例如，可以對(duì)這些平均值進(jìn)行加權(quán)平均。也可以是，總和計(jì)算部1462取代從其他運(yùn)算電路1416等獲取該單位組1131A的周邊的單位組1131B、131C、131D、131E等的平均值A(chǔ)g，而從其他個(gè)別電路部1450B等的像素存儲(chǔ)器1414讀出像素信號(hào)并由自身計(jì)算高頻成分。
[0302]另外，對(duì)于在幀頻計(jì)算部1458及間除率計(jì)算部1464中超過了閾值的單位組，可以使像素信號(hào)的數(shù)字化的位數(shù)比閾值以下的單位組大。例如，可以是，Α/D轉(zhuǎn)換電路1412根據(jù)來自驅(qū)動(dòng)部1502的指示，對(duì)同為一次的蓄存次數(shù)以高位數(shù)進(jìn)行數(shù)字化。
[0303]圖33示出另一其他運(yùn)算電路1417的功能塊的一例。運(yùn)算電路1417具有自身平均計(jì)算部1472、相鄰平均計(jì)算部1470、增益計(jì)算部1474和修正部1476。
[0304]自身平均計(jì)算部1472將存儲(chǔ)在像素存儲(chǔ)器1414中的單位組1131A的各像素的G像素信號(hào)簡(jiǎn)單平均，來計(jì)算平均值A(chǔ)g。同樣地，自身平均計(jì)算部1472分別將存儲(chǔ)在像素存儲(chǔ)器1414中的單位組1131A的各像素的R像素信號(hào)、B像素信號(hào)簡(jiǎn)單平均，來計(jì)算平均值A(chǔ)r、Ab。而且，自身平均計(jì)算部1472將單位組1131A的平均值A(chǔ)g、Ar、Ab輸出到周邊的單位組1131B等的相鄰平均計(jì)算部1470。
[0305]相鄰平均計(jì)算部1470從與該單位組1131A相鄰的其他單位組1131B、131C、131D、131E所對(duì)應(yīng)的自身平均計(jì)算部1472獲取平均值A(chǔ)g、Ar、Ab，并計(jì)算這些平均值的加權(quán)平均。增益計(jì)算部1474按每個(gè)RGB對(duì)由自身平均計(jì)算部1472計(jì)算出的平均值A(chǔ)g、Ar、Ab、和由相鄰平均計(jì)算部1470計(jì)算出的平均值A(chǔ)g、Ar、Ab進(jìn)行加權(quán)平均，并基于它們的比而計(jì)算出R像素信號(hào)及B像素信號(hào)相對(duì)于G像素信號(hào)的增益。該情況下，例如，使用將該單位組1131A的平均值的權(quán)重設(shè)為4/8、將相鄰的單位組1131B等的平均值的權(quán)重設(shè)為1/8的加權(quán)平均。
[0306]R像素信號(hào)及B像素信號(hào)的增益經(jīng)由Ι/F電路1418，作為附加信息而發(fā)送到系統(tǒng)控制部1501。此外，也可以是，取代從其他個(gè)別電路部1450B等的運(yùn)算電路1417等獲取相鄰平均計(jì)算部1470、該單位組1131A的周邊的單位組1131B、131C、131D、131E等的平均值A(chǔ)g等，而從其他個(gè)別電路部1450B等的像素存儲(chǔ)器1414讀出像素信號(hào)并由自身計(jì)算平均值A(chǔ)g等。
[0307]修正部1476通過由增益計(jì)算部1474計(jì)算出的增益對(duì)R像素信號(hào)及B像素信號(hào)進(jìn)行修正，并寫入到像素存儲(chǔ)器1414中。該情況下，修正部1476對(duì)各個(gè)R像素信號(hào)乘以R像素信號(hào)用的增益，對(duì)各個(gè)B像素信號(hào)乘以B像素信號(hào)用的增益。此外，也可以是，修正部1476從系統(tǒng)控制部1501獲取反饋信息，并進(jìn)一步對(duì)該增益進(jìn)行修正。
[0308]圖34示意地示出增益與像素信號(hào)的關(guān)系。優(yōu)選計(jì)算增益來對(duì)像素信號(hào)進(jìn)行修正的動(dòng)作按例如幀頻fo的I幀、即按(Ι/fO)秒來進(jìn)行。如圖34所示，按(Ι/fO)秒計(jì)算出R像素信號(hào)的增益和B像素信號(hào)的增益，并對(duì)R像素信號(hào)的輸出值及B像素信號(hào)的輸出值進(jìn)行修正。根據(jù)以上，與通過后級(jí)的圖像處理部1511計(jì)算增益來對(duì)像素信號(hào)進(jìn)行修正的情況相比，能夠迅速且省電地計(jì)算出增益來修正像素信號(hào)。
[0309]在上述實(shí)施方式中，傳感器控制部1441、塊控制部1442、同步控制部1443、信號(hào)控制部1444及驅(qū)動(dòng)控制部1420相對(duì)于信號(hào)處理芯片1111各設(shè)有一個(gè)，個(gè)別電路部1450A、450B、450C、450D、450E按每個(gè)單位組1131A、131B、131C、131D、131E而設(shè)置。也可以取而代之，傳感器控制部1441、塊控制部1442、冋步控制部1443、彳目號(hào)控制部1444及驅(qū)動(dòng)控制部1420相對(duì)于信號(hào)處理芯片1111各設(shè)有多個(gè)，且各自分擔(dān)地控制多個(gè)單位組1131。
[0310]另外，也可以是，個(gè)別電路部1450A等按每多個(gè)單位組1131而各設(shè)有一個(gè)，且被該多個(gè)單位組1131所共用。個(gè)別電路部1450A等還可以按每個(gè)像素而設(shè)置。S卩，在上述實(shí)施方式中，單位組1131可以由單個(gè)像素構(gòu)成。
[0311]圖35是本實(shí)施方式的其他拍攝元件2100的剖視圖。拍攝元件2100具有:輸出與入射光對(duì)應(yīng)的像素信號(hào)的拍攝芯片2113 ;對(duì)像素信號(hào)進(jìn)行處理的信號(hào)處理芯片2111 ;和存儲(chǔ)像素信號(hào)的存儲(chǔ)芯片2112。這些拍攝芯片2113、信號(hào)處理芯片2111及存儲(chǔ)芯片2112層疊在一起，并通過Cu等具有導(dǎo)電性的凸塊2109而相互電連接。
[0312]此外，如圖所示，入射光主要朝向以白色空心箭頭示出的Z軸正向入射。在本說明書中，在拍攝芯片2113中，將入射光入射的一側(cè)的面稱為背面。另外，如坐標(biāo)軸所示，將與Z軸正交的紙面左方向設(shè)為X軸正向，將與Z軸及X軸正交的紙面近前方向設(shè)為Y軸正向。在以后的若干幅圖中，以將圖35的坐標(biāo)軸作為基準(zhǔn)而判明各圖朝向的方式來顯示坐標(biāo)軸。
[0313]拍攝芯片2113的一例為背面照射型的MOS圖像傳感器。PD層2106配置在布線層2108的背面?zhèn)?。ro層2106以二維方式配置，具有對(duì)與入射光相應(yīng)的電荷進(jìn)行蓄存并生成與蓄存的電荷相應(yīng)的像素信號(hào)的多個(gè)ro (光電二極管)2104、及與TO2104對(duì)應(yīng)地設(shè)置的晶體管2105。
[0314]在H)層2106中的入射光的入射側(cè)，隔著鈍化膜2103而設(shè)有彩色濾光片2102。彩色濾光片2102具有供彼此不同的波長(zhǎng)區(qū)域透射的多個(gè)種類，與Η)2104分別對(duì)應(yīng)地具有特定的排列。關(guān)于彩色濾光片2102的排列將在后敘述。彩色濾光片2102、Η)2104及晶體管2105的組形成一個(gè)像素。
[0315]在彩色濾光片2102中的入射光的入射側(cè)，與各個(gè)像素對(duì)應(yīng)地設(shè)有微透鏡2101。微透鏡2101朝向?qū)?yīng)的Η)2104會(huì)聚入射光。
[0316]布線層2108具有將來自H)層2106的像素信號(hào)向信號(hào)處理芯片2111傳送的布線2107。布線2107可以為多層，另外，也可以設(shè)有無源元件及有源元件。
[0317]在布線層2108的表面上配置有多個(gè)凸塊2109。該多個(gè)凸塊2109與設(shè)置在信號(hào)處理芯片2111的相對(duì)面上的多個(gè)凸塊2109對(duì)位，通過對(duì)拍攝芯片2113和信號(hào)處理芯片2111加壓等，使對(duì)位后的凸塊2109彼此接合而電連接。
[0318]同樣地，在信號(hào)處理芯片2111及存儲(chǔ)芯片2112的彼此相對(duì)的面上，配置有多個(gè)凸塊2109。這些凸塊2109彼此對(duì)位，通過對(duì)信號(hào)處理芯片2111和存儲(chǔ)芯片2112加壓等，使對(duì)位后的凸塊2109彼此接合而電連接。
[0319]此外，對(duì)于凸塊2109間的接合，不限于基于固相擴(kuò)散的Cu凸塊接合，也可以采用基于釬焊熔融的微凸塊結(jié)合。另外，凸塊2109例如對(duì)于后述的一個(gè)像素塊設(shè)置一個(gè)左右即可。因此，凸塊2109的大小可以大于TO2104的間距。另外，在像素所排列的拍攝區(qū)域以外的周邊區(qū)域，也可以同時(shí)設(shè)置比拍攝區(qū)域所對(duì)應(yīng)的凸塊2109大的凸塊。
[0320]信號(hào)處理芯片2111具有將分別設(shè)置在表背面上的電路相互連接的TSV(硅貫穿電極)2110。TSV2110優(yōu)選設(shè)置在周邊區(qū)域。另外，TSV2110也可以設(shè)置在拍攝芯片2113的周邊區(qū)域及存儲(chǔ)芯片2112上。
[0321]圖36是拍攝芯片2113的像素排列和像素塊2131的說明圖。在圖36中示出拍攝芯片2113的從背面?zhèn)扔^察到的情況。在拍攝區(qū)域2700中以矩陣狀排列有多個(gè)像素。拍攝區(qū)域2700具有將多個(gè)像素沿行方向及列方向劃分而成的多個(gè)像素塊2131。各像素塊2131在行方向及列方向上具有mXn個(gè)像素。在此，m、η是2以上的整數(shù)。另外，行方向及列方向是指拍攝區(qū)域2700的面內(nèi)的兩個(gè)不同方向，可以不必相互正交。在圖36中，相鄰的4像素X4像素的16像素形成一個(gè)像素塊2131。圖中的格線示出相鄰的像素被成組化而形成像素塊2131的概念。形成像素塊2131的像素的數(shù)量不限于此，也可以是1000個(gè)左右、例如32像素Χ64像素，可以是其以上也可以是其以下。
[0322]如拍攝區(qū)域2700的局部放大圖所示，像素塊2131在上下左右內(nèi)置有四個(gè)由綠色像素Gb、Gr、藍(lán)色像素B及紅色像素R這4個(gè)像素構(gòu)成的所謂拜耳陣列。綠色像素是作為彩色濾光片2102而具有綠色濾光片的像素，接受入射光中的綠色波段的光。同樣地，藍(lán)色像素是作為彩色濾光片2102而具有藍(lán)色濾光片的像素，接受藍(lán)色波段的光，紅色像素是作為彩色濾光片2102而具有紅色濾光片的像素，接受紅色波段的光。
[0323]在本實(shí)施方式中，選擇多個(gè)像素塊2131中的至少一個(gè)像素塊，并以與其他像素塊不同的控制參數(shù)，控制各個(gè)像素塊所包含的像素。關(guān)于控制參數(shù)的例子，是幀頻、間除率、將像素信號(hào)相加的相加行數(shù)、電荷的蓄存時(shí)間或蓄存次數(shù)、數(shù)字化的位數(shù)等。而且，控制參數(shù)也可以是從像素獲取圖像信號(hào)后的圖像處理中的參數(shù)。幀頻是指生成像素信號(hào)的周期。此外在本說明書中，存在幀頻是指每個(gè)像素塊2131的幀頻的情況。例如，基準(zhǔn)幀頻及高速幀頻是指每個(gè)像素塊2131的幀頻。
[0324]圖37是與拍攝芯片2113的像素塊2131對(duì)應(yīng)的電路圖。圖中，作為代表，虛線所包圍的矩形示出與一個(gè)像素對(duì)應(yīng)的電路。此外，以下說明的各晶體管的至少一部分與圖35的晶體管2105對(duì)應(yīng)。
[0325]在圖37中，示出由16像素形成的像素塊2131，但像素塊2131的像素?cái)?shù)不限定于此。與各個(gè)像素對(duì)應(yīng)的16個(gè)HH04分別與傳輸晶體管2302連接，各傳輸晶體管2302的各柵極與供給傳輸脈沖的TX布線2307連接。在圖37所示的例子中，TX布線2307相對(duì)于16個(gè)傳輸晶體管2302是共用連接的。
[0326]各傳輸晶體管2302的漏極與對(duì)應(yīng)的各重置晶體管2303的源極連接，并且，傳輸晶體管2302的漏極與重置晶體管2303的源極間的所謂浮置擴(kuò)散FD與放大晶體管2304的柵極連接。重置晶體管2303的漏極與供給電源電壓的Vdd布線2310連接，其柵極與供給重置脈沖的重置布線2306連接。在圖37所示的例子中，重置布線2306相對(duì)于16個(gè)重置晶體管2303是共用連接的。
[0327]各個(gè)放大晶體管2304的漏極與供給電源電壓的Vdd布線2310連接。另外，各個(gè)放大晶體管2304的源極與對(duì)應(yīng)的各個(gè)選擇晶體管2305的漏極連接。選擇晶體管的各柵極與供給選擇脈沖的解碼布線2308連接。在圖37所示的例子中，解碼布線2308相對(duì)于16個(gè)選擇晶體管2305是分別獨(dú)立設(shè)置的。而且，各個(gè)選擇晶體管2305的源極與共用的輸出布線2309連接。負(fù)載電流源2311向輸出布線2309供給電流。即，針對(duì)選擇晶體管2305的輸出布線2309由源極跟隨器形成。此外，負(fù)載電流源2311可以設(shè)置在拍攝芯片2113偵L也可以設(shè)置在信號(hào)處理芯片2111偵U。
[0328]在此，說明電荷的從蓄存開始直至蓄存結(jié)束后的像素輸出為止的流動(dòng)。若通過重置布線2306向重置晶體管2303施加重置脈沖，同時(shí)通過TX布線2307向傳輸晶體管2302施加傳輸脈沖，則Η)2104及浮置擴(kuò)散H)的電位被重置。
[0329]當(dāng)解除傳輸脈沖的施加時(shí)，TO2104將所接受的入射光轉(zhuǎn)換成電荷并進(jìn)行蓄存。然后，當(dāng)以沒有施加重置脈沖的狀態(tài)再次施加傳輸脈沖時(shí)，所蓄存的電荷被向浮置擴(kuò)散FD傳輸，浮置擴(kuò)散FD的電位從重置電位變?yōu)殡姾尚畲婧蟮男盘?hào)電位。而且，當(dāng)通過解碼布線2308向選擇晶體管2305施加選擇脈沖時(shí)，浮置擴(kuò)散FD的信號(hào)電位的變動(dòng)經(jīng)由放大晶體管2304及選擇晶體管2305而傳遞到輸出布線2309。由此，與重置電位和信號(hào)電位對(duì)應(yīng)的像素信號(hào)從單位像素輸出到輸出布線2309。
[0330]在圖37所示的例子中，對(duì)于形成像素塊2131的16像素，重置布線2306和TX布線2307是共用的。即，重置脈沖和傳輸脈沖分別對(duì)于全部的16像素是同時(shí)施加的。因此，形成像素塊2131的全部像素在相同定時(shí)開始電荷蓄存，并在相同定時(shí)結(jié)束電荷蓄存。但是，各個(gè)選擇晶體管2305根據(jù)選擇脈沖而被依次施加與所蓄存的電荷對(duì)應(yīng)的像素信號(hào)，并選擇性地輸出到輸出布線2309。另外，重置布線2306、TX布線2307、輸出布線2309按每個(gè)像素塊2131單獨(dú)地設(shè)置。
[0331]通過像這樣以像素塊2131為基準(zhǔn)來構(gòu)成電路，能夠按每個(gè)像素塊2131來控制電荷蓄存時(shí)間。換言之，在相鄰的像素塊2131彼此中，能夠分別輸出基于不同的電荷蓄存時(shí)間而得到的像素信號(hào)。再換言之，在使一個(gè)像素塊2131進(jìn)行一次電荷蓄存的期間，使另一個(gè)像素塊2131重復(fù)進(jìn)行多次電荷蓄存并輸出每次的像素信號(hào)，由此，也能夠在這些像素塊2131彼此中以不同幀頻輸出動(dòng)態(tài)圖像用的各幀。此外，圖37所示的各晶體管及各布線的至少一部分作為讀出從各像素輸出的像素信號(hào)的讀出電路而發(fā)揮功能。讀出電路按每個(gè)像素而設(shè)置。每個(gè)像素的讀出電路的布線等一部分結(jié)構(gòu)可以在像素間共有。
[0332]圖38示出拍攝元件2100的結(jié)構(gòu)的一部分及其動(dòng)作例。本例的拍攝元件2100在圖35所示的結(jié)構(gòu)的基礎(chǔ)上，還具有存儲(chǔ)部2114。此外，存儲(chǔ)部2114可以設(shè)置在信號(hào)處理芯片2111上。該情況下，拍攝元件2100可以不具有存儲(chǔ)芯片2112。另外，存儲(chǔ)部2114也可以設(shè)置在存儲(chǔ)芯片2112上。
[0333]拍攝芯片2113具有拍攝區(qū)域2700，該拍攝區(qū)域2700配置有分別生成與入射光相應(yīng)的像素信號(hào)的多個(gè)像素。為便于說明，在圖38中，沿行方向及列方向各示出三個(gè)像素塊2131。優(yōu)選各個(gè)像素塊2131所包含的像素?cái)?shù)相等。另外，優(yōu)選拍攝區(qū)域2700內(nèi)的各像素塊2131所包含的像素?cái)?shù)是固定的。
[0334]本例的信號(hào)處理芯片111按每個(gè)像素塊2131而具有多路復(fù)用器2411、A/D轉(zhuǎn)換器2412、信號(hào)分離器2413、控制部2740及運(yùn)算電路2415。多路復(fù)用器2411依次選擇對(duì)應(yīng)的像素塊2131所包含的像素，并將與所選擇的像素對(duì)應(yīng)的像素信號(hào)輸入到A/D轉(zhuǎn)換器2412。A/D轉(zhuǎn)換器2412將模擬像素信號(hào)轉(zhuǎn)換成數(shù)字像素?cái)?shù)據(jù)，并輸入到信號(hào)分離器2413。信號(hào)分離器2413在對(duì)應(yīng)的存儲(chǔ)塊2730中，將該像素?cái)?shù)據(jù)存儲(chǔ)到與該像素對(duì)應(yīng)的存儲(chǔ)區(qū)域。各個(gè)存儲(chǔ)塊2730將所存儲(chǔ)的像素?cái)?shù)據(jù)交付到后級(jí)的運(yùn)算電路2415。
[0335]存儲(chǔ)部2114與多個(gè)像素塊2131對(duì)應(yīng)地設(shè)置，并具有能夠分別存儲(chǔ)對(duì)應(yīng)的像素塊2131的像素?cái)?shù)據(jù)的多個(gè)存儲(chǔ)塊2730。存儲(chǔ)塊2730與像素塊2131 —一對(duì)應(yīng)。存儲(chǔ)塊2730可以經(jīng)由總線2720而與對(duì)應(yīng)的像素塊2131連接。存儲(chǔ)塊2730可以是緩沖存儲(chǔ)器。
[0336]另外，至少一部分的存儲(chǔ)塊2730也能夠存儲(chǔ)對(duì)應(yīng)的像素塊2131以外的像素塊的像素?cái)?shù)據(jù)。也就是說，一個(gè)存儲(chǔ)塊2730可以被多個(gè)像素塊2131所共有。換言之,控制部2740能夠使一個(gè)像素塊2131的像素?cái)?shù)據(jù)存儲(chǔ)在多個(gè)存儲(chǔ)塊2730中。通過使存儲(chǔ)塊2730被共有，能夠如后述那樣高效地利用多個(gè)存儲(chǔ)塊2730，因此能夠抑制存儲(chǔ)部2114整體的存儲(chǔ)容量。
[0337]此外，關(guān)于全部像素塊2131，優(yōu)選像素?cái)?shù)據(jù)除能夠?qū)懭胗趯?duì)應(yīng)的存儲(chǔ)塊2730以夕卜，也能夠讀寫于至少一個(gè)其他存儲(chǔ)塊2730。該其他存儲(chǔ)塊2730可以按每個(gè)像素塊2131而預(yù)先確定，也可以動(dòng)態(tài)變更。另外，對(duì)于全部存儲(chǔ)塊2730，優(yōu)選除對(duì)應(yīng)的像素塊2131的像素?cái)?shù)據(jù)能夠進(jìn)行讀寫以外，至少一個(gè)其他像素塊2131的像素?cái)?shù)據(jù)也能夠讀寫。該其他像素塊2131可以按每個(gè)存儲(chǔ)塊2730而預(yù)先確定，也可以動(dòng)態(tài)變更。
[0338]此外，各個(gè)存儲(chǔ)塊2730可以是在信號(hào)處理芯片2111中，在與對(duì)應(yīng)的像素塊2131重疊的區(qū)域按各個(gè)像素塊2131而設(shè)置的存儲(chǔ)器。也就是說，存儲(chǔ)塊2730可以在信號(hào)處理芯片2111中，設(shè)置在對(duì)應(yīng)的像素塊2131的正下區(qū)域。該情況下，像素塊2131及存儲(chǔ)塊2730可以通過TSV而電連接。另外，在信號(hào)處理芯片2111中，在與各像素塊2131重疊的上述區(qū)域，設(shè)有對(duì)應(yīng)的存儲(chǔ)塊2730、A/D轉(zhuǎn)換器2412、運(yùn)算電路2415等。另外，各個(gè)存儲(chǔ)塊2730也可以是在信號(hào)處理芯片2111上，分別設(shè)置在與拍攝區(qū)域2700重疊的區(qū)域的外側(cè)的存儲(chǔ)器。
[0339]另外，在各個(gè)存儲(chǔ)塊2730、A/D轉(zhuǎn)換器2412及運(yùn)算電路2415設(shè)置于與對(duì)應(yīng)的像素塊2131重疊的區(qū)域的情況下，在各個(gè)存儲(chǔ)塊2730存儲(chǔ)對(duì)應(yīng)的像素塊2131以外的像素塊2131的像素?cái)?shù)據(jù)時(shí)，可以將模擬像素信號(hào)傳送至該存儲(chǔ)塊2730的設(shè)置區(qū)域，也可以將數(shù)字像素?cái)?shù)據(jù)傳送至該存儲(chǔ)塊2730的設(shè)置區(qū)域。在前者的情況下，與該存儲(chǔ)塊2730對(duì)應(yīng)的A/D轉(zhuǎn)換器2412將像素信號(hào)轉(zhuǎn)換成像素?cái)?shù)據(jù)之后輸入到該存儲(chǔ)塊2730中。在后者的情況下，在與本像素塊2131重疊的區(qū)域上的A/D轉(zhuǎn)換器2412中，將像素信號(hào)轉(zhuǎn)換成像素?cái)?shù)據(jù)之后將該像素?cái)?shù)據(jù)傳送至存儲(chǔ)該像素?cái)?shù)據(jù)的存儲(chǔ)塊2730。在信號(hào)處理芯片2111上設(shè)有用于傳送這些像素信號(hào)或像素?cái)?shù)據(jù)的布線。
[0340]后述的運(yùn)算電路2415在對(duì)存儲(chǔ)于存儲(chǔ)塊2730的像素?cái)?shù)據(jù)進(jìn)行處理后將其交付到后級(jí)的圖像處理部2511。運(yùn)算電路2415可以設(shè)置在信號(hào)處理芯片2111上。此外，圖中示出與一個(gè)像素塊2131相應(yīng)的連接，但實(shí)際上這些連接按每個(gè)像素塊2131而存在，且并行地動(dòng)作。優(yōu)選運(yùn)算電路2415按每個(gè)像素塊2131而設(shè)置。
[0341]如上所述，與像素塊2131分別對(duì)應(yīng)地設(shè)有輸出布線2309。拍攝元件2100由于將拍攝芯片2113、信號(hào)處理芯片2111及存儲(chǔ)部2114層疊，所以通過對(duì)這些輸出布線2309利用使用了凸塊2109的芯片間的電連接，能夠不在面方向上增大各芯片地將布線拉繞。
[0342]此外，在控制部2740中提供有與各像素塊2131的幀頻有關(guān)的頻率信息?？刂撇?740基于該頻率信息，選擇應(yīng)對(duì)高速幀頻的像素塊2131的像素?cái)?shù)據(jù)進(jìn)行存儲(chǔ)的存儲(chǔ)塊2730。例如控制部2740將與基準(zhǔn)幀頻的像素塊2131對(duì)應(yīng)的存儲(chǔ)塊2730作為應(yīng)對(duì)該像素?cái)?shù)據(jù)進(jìn)行存儲(chǔ)的存儲(chǔ)塊2730。
[0343]此外在各圖所示的例子中，說明了運(yùn)算電路2415按包含多個(gè)像素的每個(gè)像素塊2131而設(shè)置的例子。但是，運(yùn)算電路2415也可以按每一個(gè)像素而設(shè)置。此外，運(yùn)算電路2415可以不相對(duì)于全部像素而設(shè)置。S卩，在拍攝區(qū)域2700上至少配置有第I像素及第2像素，拍攝元件2100至少具有與第I像素對(duì)應(yīng)的第I運(yùn)算電路2415、和與第2像素對(duì)應(yīng)的第2運(yùn)算電路2415。
[0344]第I像素輸出的第I像素信號(hào)通過第I讀出電路而被讀出，第2像素輸出的第2像素信號(hào)通過第2讀出電路而被讀出。第I運(yùn)算電路2415基于從第I像素輸出的第I像素信號(hào)對(duì)第I評(píng)估值進(jìn)行運(yùn)算，并傳送到后級(jí)的圖像處理部2511。第2運(yùn)算電路2415基于從第2像素輸出的第2像素信號(hào)對(duì)第2評(píng)估值進(jìn)行運(yùn)算，并傳送到后級(jí)的圖像處理部2511。在此，評(píng)估值是使用像素信號(hào)的值進(jìn)行規(guī)定運(yùn)算而得到的值。例如，可以是規(guī)定像素輸出的像素信號(hào)的值和與該像素相鄰的相鄰像素輸出的相鄰像素信號(hào)的值之間的差量，也可以是平均等。另外，還可以是規(guī)定像素在不同的幀中輸出的多個(gè)像素信號(hào)的值的差量、平均等?？梢詫?duì)該運(yùn)算使用各種參數(shù)。
[0345]圖39是表示本實(shí)施方式的拍攝裝置的結(jié)構(gòu)的框圖。拍攝裝置2500具有作為攝影光學(xué)系統(tǒng)的攝影透鏡2520，攝影透鏡2520將沿著光軸OA入射的被攝物體光束向拍攝元件2100引導(dǎo)。攝影透鏡2520可以是相對(duì)于拍攝裝置2500能夠裝拆的更換式透鏡。拍攝裝置2500主要具有拍攝元件2100、系統(tǒng)控制部2501、驅(qū)動(dòng)部2502、測(cè)光部2503、工作存儲(chǔ)器2504、記錄部2505及顯示部2506。
[0346]攝影透鏡2520由多個(gè)光學(xué)透鏡組構(gòu)成，并使來自場(chǎng)景的被攝物體光束在其焦點(diǎn)面附近成像。此外，圖35中以配置在光瞳附近的假想的一枚透鏡代表該攝影透鏡2520而表示。驅(qū)動(dòng)部2502是根據(jù)來自系統(tǒng)控制部2501的指示來執(zhí)行拍攝元件100的定時(shí)控制、區(qū)域控制等的電荷蓄存控制的控制電路。在該意義上，驅(qū)動(dòng)部2502可以說承擔(dān)了使拍攝元件2100執(zhí)行電荷蓄存并輸出像素信號(hào)的拍攝元件控制部的功能。
[0347]拍攝元件2100將像素信號(hào)向系統(tǒng)控制部2501的圖像處理部2511交付。圖像處理部2511將工作存儲(chǔ)器2504作為工作區(qū)域來實(shí)施各種圖像處理而生成圖像數(shù)據(jù)。第I及第2運(yùn)算電路2415的后級(jí)的圖像處理部2511基于從第I運(yùn)算電路2415接收到的第I評(píng)估值，對(duì)與第I像素信號(hào)對(duì)應(yīng)的圖像的第I像素?cái)?shù)據(jù)實(shí)施圖像處理，基于從第2運(yùn)算電路2415接收到的第2評(píng)估值對(duì)與第2像素信號(hào)對(duì)應(yīng)的圖像的第2像素?cái)?shù)據(jù)實(shí)施圖像處理。例如，在生成JPEG文件格式的圖像數(shù)據(jù)的情況下，從以拜耳陣列得到的信號(hào)生成彩色影像信號(hào)后執(zhí)行壓縮處理。所生成的圖像數(shù)據(jù)被記錄在記錄部2505中，并且，被轉(zhuǎn)換成顯示信號(hào)并在預(yù)先設(shè)定的時(shí)間中，顯示在顯示部2506上。此外，圖像處理部2511可以設(shè)置在拍攝元件2100上，也可以設(shè)置在拍攝元件2100的外部的系統(tǒng)控制部2501上。另外，圖像處理部2511可以按每一個(gè)像素而設(shè)置，也可以按包含多個(gè)像素的每個(gè)像素塊2131而設(shè)置。
[0348]測(cè)光部2503在生成圖像數(shù)據(jù)的一系列攝影過程之前，檢測(cè)場(chǎng)景的亮度分布。測(cè)光部2503包含例如100萬像素左右的AE傳感器。系統(tǒng)控制部2501的運(yùn)算部2512接受測(cè)光部2503的輸出并計(jì)算出場(chǎng)景的每個(gè)區(qū)域的亮度。運(yùn)算部2512根據(jù)所計(jì)算出的亮度分布來確定快門速度、光圈值、ISO感光度。也可以將拍攝元件2100兼用為測(cè)光部2503。此外，運(yùn)算部2512也執(zhí)行用于使拍攝裝置2500動(dòng)作的各種運(yùn)算。
[0349]驅(qū)動(dòng)部2502可以是一部分或全部搭載在拍攝芯片2113上，也可以是一部分或全部搭載在信號(hào)處理芯片2111上。系統(tǒng)控制部2501的一部分可以搭載在拍攝芯片2113或信號(hào)處理芯片2111上。此外，在本例的拍攝裝置2500中，圖像處理部2511的至少一部分的圖像處理功設(shè)置在拍攝元件2100中。
[0350]圖40是圖像處理部的功能框圖。本例的圖像處理部2511將以基準(zhǔn)幀頻動(dòng)作的像素塊2131 (后述的周邊區(qū)域2176)和以高速幀頻動(dòng)作的像素塊2131 (后述的注視區(qū)域2172)提取出。圖像處理部2511除上述功能以外，還具有被攝物體推定部2150、組選擇部2152、動(dòng)態(tài)圖像生成部2154及動(dòng)態(tài)圖像合成部2156。這些各功能將在后敘述。
[0351]圖41是表示拍攝裝置生成并記錄動(dòng)態(tài)圖像的動(dòng)作的流程圖。圖42及圖43示出由拍攝元件拍攝到的圖像的一例。圖44示出各幀頻與圖像信號(hào)的輸出定時(shí)的關(guān)系。
[0352]圖41的動(dòng)作通過用戶按下錄像按鈕等而對(duì)拍攝裝置2500指示生成動(dòng)態(tài)圖像時(shí)開始。首先，被攝物體推定部2150對(duì)驅(qū)動(dòng)部2502進(jìn)行驅(qū)動(dòng)來獲取基于來自拍攝元件2100的圖像信號(hào)的圖像數(shù)據(jù)，并對(duì)包含在該圖像數(shù)據(jù)所表示的圖像中的主要被攝物體進(jìn)行推定(S100)。
[0353]該情況下，優(yōu)選驅(qū)動(dòng)部2502從整個(gè)拍攝區(qū)域所包含的像素塊2131、例如從全部像素塊2131輸出圖像信號(hào)。另外，驅(qū)動(dòng)部2502可以從各像素塊2131所包含的全部像素輸出圖像信號(hào)，也可以從以預(yù)先確定的間除率間除后的像素輸出圖像信號(hào)。被攝物體推定部2150對(duì)從拍攝元件2100按時(shí)序得到的多幅圖像進(jìn)行比較，將移動(dòng)中的被攝物體特定為主要被攝物體。此外，對(duì)于主要被攝物體的推定也可以使用其他方法。
[0354]例如，被攝物體推定部2150在從拍攝元件2100獲取圖42的圖像2170及圖43的圖像2178作為時(shí)間上的前后圖像的情況下，根據(jù)其差量將兒童特定為主要被攝物體2171。此外，圖像2170及圖像2178中的格線表示像素塊2131的邊界，但像素塊2131的數(shù)量?jī)H為例示，不限于這些圖所示的數(shù)量。
[0355]組選擇部2152至少選擇一個(gè)由被攝物體推定部2150推定的主要被攝物體2171的像光所入射的像素塊2131 (S2102)。例如，在圖像2170中，選擇至少包含主要被攝物體2171的一部分的像素塊2131。而且，考慮到主要被攝物體2171會(huì)在拍攝區(qū)域內(nèi)移動(dòng)的情況，優(yōu)選組選擇部2152還選擇至少包含主要被攝物體2171的一部分的像素塊2131的進(jìn)一步周圍的像素塊2131。
[0356]組選擇部152將這些選擇的像素塊2131的集合作為注視區(qū)域2172。而且組選擇部2152將由整個(gè)拍攝區(qū)域中沒有包含于注視區(qū)域2172的像素塊2131構(gòu)成的集合作為周邊區(qū)域2176。組選擇部2152對(duì)表示注視區(qū)域2172相對(duì)于整個(gè)拍攝區(qū)域的范圍的區(qū)域信息2174進(jìn)行特定。
[0357]在圖42所示的例子中，注視區(qū)域2172是由橫向7個(gè)、縱向4個(gè)、共計(jì)28個(gè)像素塊2131構(gòu)成的矩形區(qū)域。與之相對(duì)，周邊區(qū)域2176由從作為拍攝區(qū)域的橫向21個(gè)、縱向6個(gè)、共計(jì)126個(gè)像素塊2131除去注視區(qū)域2172后的98個(gè)像素塊2131構(gòu)成。另外，作為區(qū)域信息2174，特定出拍攝區(qū)域中的、注視區(qū)域2172的圖中左上端的像素塊2131的從左端及上端起所數(shù)的位置(9、2)。而且作為尺寸信息，特定出注視區(qū)域2172的縱橫數(shù)7X4。
[0358]組選擇部2152將對(duì)注視區(qū)域2172所包含的像素塊2131進(jìn)行特定的信息和對(duì)周邊區(qū)域2176進(jìn)行特定的信息傳遞到驅(qū)動(dòng)部2502。該情況下，一并傳遞對(duì)注視區(qū)域2172和周邊區(qū)域2176分別適用的幀頻的信息。在此，優(yōu)選對(duì)注視區(qū)域2172適用的幀頻比對(duì)周邊區(qū)域2176適用的幀頻高。例如，在對(duì)周邊區(qū)域2176適用的幀頻為60fps的情況下，將對(duì)注視區(qū)域2172適用的幀頻設(shè)定為180fps。優(yōu)選這些幀頻的值被預(yù)先設(shè)定，并以能夠被組選擇部2152參照的方式存儲(chǔ)，但也可以由用戶之后將值修改。
[0359]驅(qū)動(dòng)部2502驅(qū)動(dòng)拍攝元件2100來以各幀頻進(jìn)行拍攝(S2104)。S卩，驅(qū)動(dòng)部2502對(duì)于注視區(qū)域2172所包含的像素塊2131，以高幀頻執(zhí)行電荷蓄存及圖像信號(hào)的輸出，對(duì)于周邊區(qū)域2176所包含的像素塊2131，以低幀頻執(zhí)行電荷蓄存及圖像信號(hào)的輸出。換言之，驅(qū)動(dòng)部2502在對(duì)于周邊區(qū)域2176所包含的像素塊2131得到與I幀對(duì)應(yīng)的圖像信號(hào)的期間，對(duì)于注視區(qū)域2172所包含的像素塊2131得到與時(shí)序排列的多個(gè)幀對(duì)應(yīng)的圖像信號(hào)。
[0360]例如，在周邊區(qū)域2176的幀頻為60fps、且將注視區(qū)域2172的幀頻設(shè)定為180fps的情況下，如圖44所示，驅(qū)動(dòng)部2502在到從周邊區(qū)域2176得到I個(gè)幀BI的圖像信號(hào)的時(shí)間l/60s為止的期間，從注視區(qū)域2172得到3個(gè)幀Al、A2、A3的圖像信號(hào)(l/60s =3X l/180s)。該情況下，驅(qū)動(dòng)部2502通過個(gè)別地驅(qū)動(dòng)周邊區(qū)域2176所包含的像素塊2131的重置晶體管2303、傳輸晶體管2302及選擇晶體管2305的組、和注視區(qū)域2172所包含的像素塊2131的重置晶體管2303、傳輸晶體管2302及選擇晶體管2305的組，而以不同幀頻得到圖像信號(hào)。
[0361]此外，圖44示出了圖像信號(hào)的輸出定時(shí)，但并不是連曝光時(shí)間的長(zhǎng)度也示出。驅(qū)動(dòng)部2502以成為由運(yùn)算部2512預(yù)先計(jì)算出的曝光時(shí)間的方式，對(duì)于周邊區(qū)域2176和注視區(qū)域2172驅(qū)動(dòng)上述晶體管的組。
[0362]除此以外，也可以根據(jù)幀頻來改變曝光時(shí)間的長(zhǎng)度。例如在圖44所示的例子中，可以將周邊區(qū)域2176的I幀的曝光時(shí)間預(yù)先設(shè)為1/3倍，而成為與注視區(qū)域2172實(shí)質(zhì)相同的曝光時(shí)間。另外，還可以在圖像信號(hào)的輸出后以幀頻比來修正該圖像信號(hào)。另外，在周邊區(qū)域2176與注視區(qū)域2172之間，圖像信號(hào)的輸出定時(shí)可以不像圖44那樣地同步，而是非同步的。
[0363]圖像處理部2511按每一幀將來自注視區(qū)域2172的圖像信號(hào)依次存儲(chǔ)到工作存儲(chǔ)器2504的預(yù)先確定的存儲(chǔ)區(qū)域中(S2106)。同樣地，圖像處理部2511按每一幀將來自周邊區(qū)域2176的圖像信號(hào)依次存儲(chǔ)到工作存儲(chǔ)器2504的預(yù)先確定的存儲(chǔ)區(qū)域中(同一步驟)。工作存儲(chǔ)器2504如在圖38中說明那樣，具有多個(gè)存儲(chǔ)塊2730。工作存儲(chǔ)器2504可以是由與各個(gè)像素塊2131對(duì)應(yīng)的存儲(chǔ)器組構(gòu)成的存儲(chǔ)器。
[0364]動(dòng)態(tài)圖像生成部2154讀出存儲(chǔ)在工作存儲(chǔ)器2504中的注視區(qū)域2172的圖像信號(hào)(S2108)，并生成注視區(qū)域2172的包含多個(gè)幀的注視區(qū)域動(dòng)態(tài)圖像的數(shù)據(jù)(S2110)。同樣地，動(dòng)態(tài)圖像生成部2154讀出存儲(chǔ)在工作存儲(chǔ)器2504中的周邊區(qū)域2176的圖像信號(hào)，并生成周邊區(qū)域2176的包含多個(gè)幀的周邊區(qū)域動(dòng)態(tài)圖像的數(shù)據(jù)(同一步驟)。在此，注視區(qū)域動(dòng)態(tài)圖像及周邊區(qū)域動(dòng)態(tài)圖像可以分別以MPEG那樣的通用格式生成并能夠分別單獨(dú)再現(xiàn)，也可以以若不經(jīng)由后述的合成處理則無法再現(xiàn)的專用格式生成。
[0365]圖45示意地示出由動(dòng)態(tài)圖像生成部生成的注視區(qū)域動(dòng)態(tài)圖像及周邊區(qū)域動(dòng)態(tài)圖像。動(dòng)態(tài)圖像生成部2154以與驅(qū)動(dòng)部2502驅(qū)動(dòng)注視區(qū)域2172的幀頻對(duì)應(yīng)的幀頻，來生成注視區(qū)域動(dòng)態(tài)圖像。在圖45所示的例子中，以與驅(qū)動(dòng)部2502驅(qū)動(dòng)注視區(qū)域2172的幀頻l/180fps相同的巾貞頻l/180fps,來生成注視區(qū)域動(dòng)態(tài)圖像。
[0366]同樣地，動(dòng)態(tài)圖像生成部2154以與驅(qū)動(dòng)部2502驅(qū)動(dòng)周邊區(qū)域2176的幀頻對(duì)應(yīng)的幀頻，來生成周邊區(qū)域動(dòng)態(tài)圖像。在圖45所示的例子中，以與驅(qū)動(dòng)部2502驅(qū)動(dòng)周邊區(qū)域2176的幀頻l/60fps相同的幀頻l/60fps，來生成周邊區(qū)域動(dòng)態(tài)圖像。此外，在周邊區(qū)域動(dòng)態(tài)圖像中，在與注視區(qū)域2172對(duì)應(yīng)的區(qū)域不存在有效值，圖中以斜線表示。
[0367]而且，動(dòng)態(tài)圖像生成部2154還對(duì)注視區(qū)域動(dòng)態(tài)圖像及周邊區(qū)域動(dòng)態(tài)圖像附加標(biāo)題信息，并將這些數(shù)據(jù)記錄到記錄部2505中(S2112)。標(biāo)題信息包含:表示注視區(qū)域2172相對(duì)于整個(gè)拍攝區(qū)域的位置的區(qū)域信息、表示注視區(qū)域2172的大小的尺寸信息、及表示注視區(qū)域2172的圖像信號(hào)的輸出定時(shí)與周邊區(qū)域2176的圖像信號(hào)的輸出定時(shí)之間的關(guān)系的定時(shí)信息。
[0368]系統(tǒng)控制部2501判斷是否進(jìn)行下一單位時(shí)間的拍攝(S2114)。關(guān)于是否進(jìn)行下一單位時(shí)間的拍攝，以該時(shí)刻是否由用戶按下動(dòng)態(tài)圖像的記錄按鈕來判斷。在進(jìn)行下一單位時(shí)間的拍攝的情況下(S2114:是)，返回上述步驟S2102，在不進(jìn)行下一單位時(shí)間的拍攝的情況下(S2114:否)，結(jié)束該動(dòng)作。
[0369]在此，“單位時(shí)間”是預(yù)先設(shè)定于系統(tǒng)控制部2501的時(shí)間，為數(shù)秒左右。根據(jù)該單位時(shí)間、注視區(qū)域2172的幀頻及像素塊數(shù)、以及周邊區(qū)域2176的幀頻及像素塊數(shù)，來確定在步驟S2106中用于存儲(chǔ)的存儲(chǔ)容量。另外，基于這些信息，確定在該存儲(chǔ)容量中存儲(chǔ)注視區(qū)域2172的數(shù)據(jù)的區(qū)域、和存儲(chǔ)周邊區(qū)域2176的數(shù)據(jù)的區(qū)域。
[0370]根據(jù)以上，能夠從包含主要被攝物體2171的注視區(qū)域2172以高幀頻得到圖像信號(hào)，并且能夠?qū)⒅苓厖^(qū)域2176抑制為低幀頻，從而能夠減少數(shù)據(jù)量。由此，與從全部像素進(jìn)行高速讀出相比，能夠減少驅(qū)動(dòng)及圖像處理的負(fù)荷來抑制耗電及發(fā)熱。
[0371]此外，在圖41所示的例子中下一單位時(shí)間開始時(shí)，在步驟S2102中重新選擇像素塊2131，并更新區(qū)域信息及尺寸信息。由此，能夠追隨主要被攝物體2171將注視區(qū)域2172逐次更新。在圖45所示的例子中，在注視區(qū)域動(dòng)態(tài)圖像中的單位時(shí)間的第一幀A7中，選擇由與以前的單位時(shí)間的最后幀A6不同的像素塊2131構(gòu)成的注視區(qū)域2182，并且，與之相伴地也更新了區(qū)域信息2184及周邊區(qū)域2186。
[0372]圖46示出動(dòng)態(tài)圖像生成部所附加的標(biāo)題信息的一例。圖46的標(biāo)題信息包含:對(duì)注視區(qū)域動(dòng)態(tài)圖像進(jìn)行特定的注視區(qū)域動(dòng)態(tài)圖像ID、注視區(qū)域動(dòng)態(tài)圖像的幀頻、對(duì)與該注視區(qū)域動(dòng)態(tài)圖像對(duì)應(yīng)的周邊區(qū)域動(dòng)態(tài)圖像進(jìn)行特定的周邊區(qū)域動(dòng)態(tài)圖像ID、周邊區(qū)域動(dòng)態(tài)圖像的幀頻、定時(shí)信息、區(qū)域信息及尺寸信息。這些標(biāo)題信息可以作為標(biāo)題信息而附加于注視區(qū)域動(dòng)態(tài)圖像及周邊區(qū)域動(dòng)態(tài)圖像的某一方，也可以附加于其雙方。
[0373]圖47是表示拍攝裝置再現(xiàn)并顯示動(dòng)態(tài)圖像的動(dòng)作的流程圖。該動(dòng)作通過用戶對(duì)以縮略圖顯示在顯示部2506上的注視區(qū)域動(dòng)態(tài)圖像的某一個(gè)進(jìn)行特定并按下再現(xiàn)按鈕而開始。
[0374]動(dòng)態(tài)圖像合成部2156從記錄部2505讀出由用戶特定的注視區(qū)域動(dòng)態(tài)圖像的數(shù)據(jù)(S2150)。動(dòng)態(tài)圖像合成部2156從記錄部2505讀出與該注視區(qū)域動(dòng)態(tài)圖像對(duì)應(yīng)的周邊區(qū)域動(dòng)態(tài)圖像的數(shù)據(jù)(S2152)。
[0375]該情況下，動(dòng)態(tài)圖像合成部2156通過在步驟S2150中讀出的注視區(qū)域動(dòng)態(tài)圖像的標(biāo)題信息所示的周邊區(qū)域動(dòng)態(tài)圖像ID來特定周邊區(qū)域動(dòng)態(tài)圖像。也可以取而代之，檢索將與標(biāo)題信息所示的定時(shí)信息相同的定時(shí)信息包含為標(biāo)題信息的周邊區(qū)域圖像并進(jìn)行特定。
[0376]此外，在上述例子中在注視區(qū)域動(dòng)態(tài)圖像中包含標(biāo)題信息。另一方面，不在注視區(qū)域動(dòng)態(tài)圖像中包含標(biāo)題信息而在周邊區(qū)域動(dòng)態(tài)圖像中包含標(biāo)題信息的情況下，也可以是，首先在步驟S2150中，用戶特定周邊區(qū)域動(dòng)態(tài)圖像并讀出，并根據(jù)其標(biāo)題信息在步驟S2152中特定注視區(qū)域動(dòng)態(tài)圖像并讀出。
[0377]動(dòng)態(tài)圖像合成部2156使用注視區(qū)域動(dòng)態(tài)圖像的幀和周邊區(qū)域動(dòng)態(tài)圖像的幀，來合成顯示動(dòng)態(tài)圖像的幀(S2154)。該情況下，首先，將注視區(qū)域動(dòng)態(tài)圖像的第一幀Al嵌入到周邊區(qū)域動(dòng)態(tài)圖像的第一幀BI中的區(qū)域信息2174所示的位置，由此合成顯示動(dòng)態(tài)圖像的第一巾貞Cl。如圖45所示,動(dòng)態(tài)圖像合成部2156使顯示動(dòng)態(tài)圖像的第一巾貞Cl顯示在顯示部2506 上(S2156)。
[0378]動(dòng)態(tài)圖像合成部2156判斷在至周邊區(qū)域動(dòng)態(tài)圖像中的下一幀B2之間是否存在注視區(qū)域動(dòng)態(tài)圖像的下一幀(S2158)。動(dòng)態(tài)圖像合成部2156在存在注視區(qū)域動(dòng)態(tài)圖像的下一幀的情況下(S2158:是)，以下面的幀A2、A3將注視區(qū)域2172更新并且將周邊區(qū)域2176保持為前一幀BI (S2162)，由此合成顯示動(dòng)態(tài)圖像的下面的幀C2、C3(S2162)并依次進(jìn)行顯示(S2156)。
[0379]另一方面，在步驟S2158中，在至周邊區(qū)域動(dòng)態(tài)圖像中的下一幀B2之間不存在注視區(qū)域動(dòng)態(tài)圖像的下一幀的情況下(S2158)，動(dòng)態(tài)圖像合成部2156以下一幀A4將注視區(qū)域2172更新并且也以下一幀B2將周邊區(qū)域2176更新(S2164)，由此合成顯示動(dòng)態(tài)圖像的下一幀C4(S2162)并進(jìn)行顯示(S2156)。
[0380]只要在周邊區(qū)域動(dòng)態(tài)圖像中存在周邊區(qū)域2176的下一幀(S2160:是)，則重復(fù)步驟S2154至S2160。在周邊區(qū)域動(dòng)態(tài)圖像中不存在周邊區(qū)域2176的下一幀的情況下(S2160:否)，動(dòng)態(tài)圖像合成部2156檢索是否存在該注視區(qū)域動(dòng)態(tài)圖像和周邊區(qū)域動(dòng)態(tài)圖像的組的單位時(shí)間的、下一單位時(shí)間中的注視區(qū)域動(dòng)態(tài)圖像和周邊區(qū)域動(dòng)態(tài)圖像的組(S2166)。例如，動(dòng)態(tài)圖像合成部2156在記錄部2505的同一文件夾內(nèi)，檢索是否存在在標(biāo)題信息中包含表示緊接該注視區(qū)域動(dòng)態(tài)圖像的定時(shí)信息所示的定時(shí)之后的定時(shí)信息的注視區(qū)域動(dòng)態(tài)圖像。
[0381]只要存在下一單位時(shí)間中的注視區(qū)域動(dòng)態(tài)圖像和周邊區(qū)域動(dòng)態(tài)圖像的組(S2166:是)，則重復(fù)步驟S2150至S2166。在不存在下一單位時(shí)間中的注視區(qū)域動(dòng)態(tài)圖像和周邊區(qū)域動(dòng)態(tài)圖像的組的情況下(S2166:否)，結(jié)束該動(dòng)作。
[0382]根據(jù)以上，能夠減少整體數(shù)據(jù)量，并能夠針對(duì)包含主要被攝物體2171的注視區(qū)域2172顯示流暢的動(dòng)態(tài)圖像。此外，在步驟S2162中，注視區(qū)域2172直接以下一幀更新來合成顯示圖像的幀，但合成方法不限于此。作為其他例子，也可以是，通過圖像處理來特定注視區(qū)域2172中的主要被攝物體2171的邊界線，對(duì)于該邊界線所包圍的主要被攝物體2171而更新成下一幀，并且對(duì)于注視區(qū)域2172內(nèi)但位于主要被攝物體2171的邊界線外側(cè)的區(qū)域而維持前一幀，并與周邊區(qū)域2176的幀合成。即，對(duì)于注視區(qū)域2172中的邊界線外側(cè)可以落入周邊區(qū)域2176的幀頻。由此，能夠防止顯示動(dòng)態(tài)圖像中的流暢性的邊界看起來不自然。另外，再現(xiàn)幀頻不需要與攝影時(shí)的幀頻(注視區(qū)域?yàn)?80fps，周邊區(qū)域?yàn)?0fps)相同，例如可以使注視區(qū)域?yàn)?0fps，使周邊區(qū)域?yàn)?0fps等。該情況下為慢動(dòng)作再現(xiàn)。
[0383]圖48是表示拍攝裝置生成并記錄動(dòng)態(tài)圖像的其他動(dòng)作的例子的流程圖。在圖48中對(duì)與圖41相同的動(dòng)作標(biāo)注相同的附圖標(biāo)記并省略說明。
[0384]在圖48的動(dòng)作中，在注視區(qū)域2172和周邊區(qū)域2176，取代圖41的幀頻而使間除率不同，或者，在圖41的幀頻的基礎(chǔ)上使間除率不同。更詳細(xì)而言，在步驟S2120中，驅(qū)動(dòng)部2502關(guān)于注視區(qū)域2172所包含的像素塊2131，對(duì)以低間除率間除后的像素執(zhí)行電荷蓄存及圖像信號(hào)的輸出，關(guān)于周邊區(qū)域2176所包含的像素塊2131，對(duì)以高間除率間除后的像素執(zhí)行電荷蓄存及圖像信號(hào)的輸出。例如對(duì)于注視區(qū)域2172所包含的像素塊2131而間除率為0，即讀出全部像素，對(duì)于周邊區(qū)域2176所包含的像素塊2131而間除率為0.5，即讀出一半的像素。
[0385]該情況下，驅(qū)動(dòng)部2502個(gè)別地驅(qū)動(dòng)周邊區(qū)域2176所包含的像素塊2131的重置晶體管2303、傳輸晶體管2302及選擇晶體管2305的組、和注視區(qū)域2172所包含的像素塊2131的重置晶體管2303、傳輸晶體管2302及選擇晶體管2305的組，由此以不同的間除率得到圖像信號(hào)。
[0386]在步驟S2110中，動(dòng)態(tài)圖像生成部2154基于以低間除率輸出的注視區(qū)域2172的圖像信號(hào)，生成與注視區(qū)域2172對(duì)應(yīng)的注視區(qū)域動(dòng)態(tài)圖像。動(dòng)態(tài)圖像生成部2154同樣地基于以高間除率輸出的周邊區(qū)域2176的圖像信號(hào)，生成與周邊區(qū)域2176對(duì)應(yīng)的周邊區(qū)域動(dòng)態(tài)圖像。另外在步驟S2112中，動(dòng)態(tài)圖像生成部2154附加各自間除率的信息并將注視區(qū)域動(dòng)態(tài)圖像及周邊區(qū)域動(dòng)態(tài)圖像記錄到記錄部2505中。
[0387]圖49示出對(duì)一個(gè)像素塊以間除率0.5讀出的像素2188的例子。在圖49所示的例子中，在周邊區(qū)域2176的像素塊2132為拜耳陣列的情況下，對(duì)于垂直方向每隔拜耳陣列的一個(gè)單位而讀出，即，對(duì)以像素單位觀察的情況下的每?jī)尚薪惶娴卦O(shè)定要讀出的像素2118和不讀出的像素。由此，能夠避免色彩平衡失調(diào)地進(jìn)行間除讀出。
[0388]圖50是與圖48對(duì)應(yīng)的、表示拍攝裝置再現(xiàn)并顯示動(dòng)態(tài)圖像的動(dòng)作的流程圖。在圖50中對(duì)與圖47相同的動(dòng)作標(biāo)注相同的附圖標(biāo)記并省略說明。
[0389]在圖50的步驟S2170中，動(dòng)態(tài)圖像合成部2156對(duì)周邊區(qū)域動(dòng)態(tài)圖像的幀的像素進(jìn)行插補(bǔ)來使析像度與注視區(qū)域動(dòng)態(tài)圖像的幀的析像度匹配后，將注視區(qū)域動(dòng)態(tài)圖像的幀嵌入到周邊區(qū)域動(dòng)態(tài)圖像的幀中，由此合成顯示圖像的幀。由此，能夠從包含主要被攝物體2171的注視區(qū)域2172以高析像度得到圖像信號(hào)，并且能夠?qū)⒅苓厖^(qū)域2176抑制為低析像度，從而能夠減少數(shù)據(jù)量。由此，與從全部像素進(jìn)行高速讀出相比，能夠減少驅(qū)動(dòng)及圖像處理的負(fù)荷，并抑制耗電及發(fā)熱。
[0390]此外，在圖35至圖50所示的例子中，注視區(qū)域2172為矩形，但注視區(qū)域2172的形狀不限于此。注視區(qū)域2172只要沿著像素塊2131的邊界線而存在，則可以是凸多邊形、凹多邊形、或中間嵌入周邊區(qū)域2176的環(huán)形形狀等。另外，注視區(qū)域2172也可以相互隔開地設(shè)有多個(gè)。在該情況下，可以在彼此的注視區(qū)域2172中設(shè)定不同的幀頻。
[0391]另外，注視區(qū)域2172及周邊區(qū)域2176的幀頻可以是可變的。例如，可以每經(jīng)過單位時(shí)間而檢測(cè)主要被攝物體2171的移動(dòng)量，主要被攝物體2171的移動(dòng)量越大則對(duì)注視區(qū)域2172設(shè)定越高的幀頻。另外，也可以在單位時(shí)間內(nèi)隨時(shí)追隨主要被攝物體2171并更新應(yīng)包含于注視區(qū)域2172的像素塊2131的選擇。
[0392]圖41及圖48的動(dòng)態(tài)圖像的生成通過用戶按下錄像按鈕而開始，圖47及圖50的動(dòng)態(tài)圖像的再現(xiàn)通過用戶按下再現(xiàn)按鈕而開始，但開始時(shí)刻不限于此。作為其他例子，可以通過由用戶進(jìn)行的一個(gè)按鈕操作，使動(dòng)態(tài)圖像的生成動(dòng)作和再現(xiàn)動(dòng)作連續(xù)地執(zhí)行，而使顯示部2506進(jìn)行實(shí)時(shí)取景圖像顯示(也稱作live view display)。該情況下,用于使用戶識(shí)別注視區(qū)域2172的顯示可以重疊。例如，可以在顯示部2506中，在注視區(qū)域2172的邊界線處顯示框，或者降低周邊區(qū)域2176的亮度或提高注視區(qū)域2172的亮度。
[0393]在圖48的動(dòng)作中，在注視區(qū)域172和周邊區(qū)域176中使間除率不同。也可以取代使間除率不同，而使將相鄰行像素的像素信號(hào)相加時(shí)的行數(shù)不同。例如，在注視區(qū)域172中行數(shù)為1，即，不將相鄰行相加地輸出像素信號(hào)，在周邊區(qū)域176中為比注視區(qū)域172多的行數(shù)，例如行數(shù)為2，輸出相鄰的2行的同列像素的像素信號(hào)。由此，與圖48同樣地，與周邊區(qū)域176相比能夠較高地維持注視區(qū)域172的析像度，并且能夠減少整體的信號(hào)量。
[0394]此外，也可以取代將動(dòng)態(tài)圖像合成部2156設(shè)置在拍攝裝置2500的圖像處理部2511上，而設(shè)置在外部的顯示裝置、例如PC上。另外，上述實(shí)施方式不限于生成動(dòng)態(tài)圖像的情況，也可以適用于生成靜態(tài)圖像的情況。
[0395]另外，上述實(shí)施方式均將多個(gè)像素塊2131分成注視區(qū)域2172和周邊區(qū)域2176這兩個(gè)區(qū)域，但不限于此，也可以分成三個(gè)以上的區(qū)域。該情況下，可以將與注視區(qū)域2172和周邊區(qū)域2176的邊界相當(dāng)?shù)南袼貕K2131作為邊界區(qū)域，對(duì)該邊界區(qū)域使用用于注視區(qū)域2172的控制參數(shù)的值和用于周邊區(qū)域2176的控制參數(shù)的值的中間值來進(jìn)行控制。由此，能夠防止注視區(qū)域2172與周邊區(qū)域2176的邊界看起來不自然。
[0396]也可以在注視區(qū)域2172和周邊區(qū)域2176中使電荷的蓄存時(shí)間、蓄存次數(shù)等不同。該情況下，可以基于亮度來劃分注視區(qū)域2172和周邊區(qū)域2176，而且也可以設(shè)置中間區(qū)域。
[0397]圖51A及圖51B是場(chǎng)景例和區(qū)域劃分的說明圖。圖51A示出拍攝芯片2113的拍攝區(qū)域所捕捉到的場(chǎng)景。具體而言，是同時(shí)映入屋內(nèi)環(huán)境所包含的陰影被攝物體2601及中間被攝物體2602、和在窗框2604的內(nèi)側(cè)觀察到的屋外環(huán)境的高光被攝物體2603的場(chǎng)景。在對(duì)這樣的從高光部至陰影部的明暗差較大的場(chǎng)景進(jìn)行攝影的情況下，若是以往的拍攝元件，則當(dāng)以高光部為基準(zhǔn)而執(zhí)行電荷蓄存時(shí)，在陰影部中產(chǎn)生全黑，當(dāng)以陰影部為基準(zhǔn)而執(zhí)行電荷蓄存時(shí)，在高光部中產(chǎn)生全白。即，可以說為了使高光部和陰影部一律通過一次電荷蓄存來輸出圖像信號(hào)，相對(duì)于明暗差較大的場(chǎng)景而光電二極管的動(dòng)態(tài)范圍不足。因此，在本實(shí)施方式中，將場(chǎng)景劃分為高光部、陰影部等部分區(qū)域，并使與各個(gè)區(qū)域?qū)?yīng)的光電二極管的電荷蓄存次數(shù)彼此不同，由此謀求動(dòng)態(tài)范圍的實(shí)質(zhì)擴(kuò)大。
[0398]圖51B示出拍攝芯片2113的像素區(qū)域中的區(qū)域劃分。運(yùn)算部2512對(duì)測(cè)光部2503所捕捉到的圖51A的場(chǎng)景進(jìn)行解析，并以亮度為基準(zhǔn)將像素區(qū)域劃分。例如，系統(tǒng)控制部2501使測(cè)光部2503改變曝光時(shí)間并執(zhí)行多次場(chǎng)景獲取，運(yùn)算部2512參照其全白區(qū)域、全黑區(qū)域的分布變化來決定像素區(qū)域的劃分線。在圖51B的例子中，運(yùn)算部2512劃分成陰影區(qū)域2611、中間區(qū)域2612及高光區(qū)域2613這三個(gè)區(qū)域。
[0399]劃分線是沿著像素塊2131的邊界而定義的。即，劃分后的各區(qū)域分別包含整數(shù)個(gè)的組。而且，包含于同一區(qū)域的各組的像素在與由運(yùn)算部2512決定的快門速度對(duì)應(yīng)的期間內(nèi)，進(jìn)行相同次數(shù)的電荷蓄存及像素信號(hào)輸出。若所屬區(qū)域不同，則進(jìn)行不同次數(shù)的電荷蓄存及像素信號(hào)輸出。
[0400]圖52是按基于圖51A及圖51B的例子劃分后的每個(gè)區(qū)域進(jìn)行的電荷蓄存控制的說明圖。當(dāng)從用戶接受到攝影準(zhǔn)備指示后，運(yùn)算部2512根據(jù)測(cè)光部2503的輸出來決定快門速度T。。而且，如上所述劃分成陰影區(qū)域2611、中間區(qū)域2612及高光區(qū)域2613，并根據(jù)其各自亮度信息來決定電荷蓄存次數(shù)。電荷蓄存次數(shù)以通過每次的電荷蓄存不會(huì)使像素飽和的方式而決定。例如，在一次電荷蓄存動(dòng)作中蓄存可蓄存電荷的八成至九成的電荷，并以此為基準(zhǔn)來決定電荷蓄存次數(shù)。
[0401]在此，使陰影區(qū)域2611為一次。即，使所決定的快門速度Ttl與電荷蓄存時(shí)間一致。另外，使中間區(qū)域2612的電荷蓄存次數(shù)為兩次。即，使一次的電荷蓄存時(shí)間為TV2，在快門速度Ttl的期間重復(fù)進(jìn)行兩次電荷蓄存。另外，使高光區(qū)域2613的電荷蓄存次數(shù)為四次。即，使一次的電荷蓄存時(shí)間為1/4，在快門速度Ttl的期間重復(fù)進(jìn)行四次電荷蓄存。
[0402]當(dāng)在時(shí)刻t = O從用戶接受到攝影指示時(shí)，驅(qū)動(dòng)部2502對(duì)屬于任一區(qū)域的組的像素，均施加重置脈沖和傳輸脈沖。以該施加為契機(jī)，所有像素均開始電荷蓄存。
[0403]在時(shí)刻t = T0/4,驅(qū)動(dòng)部2502對(duì)屬于高光區(qū)域2613的組的像素施加傳輸脈沖。然后，對(duì)各組內(nèi)的像素依次施加選擇脈沖并將各自的像素信號(hào)輸出到輸出布線2309。在輸出組內(nèi)的全部像素的像素信號(hào)后，驅(qū)動(dòng)部2502對(duì)屬于高光區(qū)域2613的組的像素再次施加重置脈沖和傳輸脈沖，開始第二次的電荷蓄存。
[0404]此外，由于像素信號(hào)的選擇輸出需要時(shí)間，所以在第一次的電荷蓄存的結(jié)束與第二次的電荷蓄存的開始之間會(huì)產(chǎn)生時(shí)間差。若能夠?qū)嵸|(zhì)忽略該時(shí)間差，則如上所述，使對(duì)快門速度Ttl除以電荷蓄存次數(shù)而得到的時(shí)間為一次的電荷蓄存時(shí)間即可。另一方面，若無法忽略，則考慮其時(shí)間，調(diào)整快門速度Ttl,或使一次的電荷蓄存時(shí)間比對(duì)快門速度Ttl除以電荷蓄存次數(shù)而得到的時(shí)間短即可。
[0405]在時(shí)刻t = 1/2，驅(qū)動(dòng)部2502對(duì)屬于中間區(qū)域2612的組和屬于高光區(qū)域2613的組的像素施加傳輸脈沖。然后，對(duì)各組內(nèi)的像素依次施加選擇脈沖，并將各自的像素信號(hào)輸出到輸出布線2309。在輸出組內(nèi)的全部像素的像素信號(hào)后，驅(qū)動(dòng)部2502對(duì)屬于中間區(qū)域2612的組和屬于高光區(qū)域2613的組的像素再次施加重置脈沖和傳輸脈沖，對(duì)中間區(qū)域2612開始第二次的電荷蓄存，對(duì)高光區(qū)域2613開始第三次的電荷蓄存。
[0406]在時(shí)刻t = 3T0/4,驅(qū)動(dòng)部2502對(duì)屬于高光區(qū)域2613的組的像素施加傳輸脈沖。然后，對(duì)各組內(nèi)的像素依次施加選擇脈沖，并將各自的像素信號(hào)輸出到輸出布線2309。在輸出組內(nèi)的全部像素的像素信號(hào)后，驅(qū)動(dòng)部2502對(duì)屬于高光區(qū)域2613的組的像素再次施加重置脈沖和傳輸脈沖，開始第四次的電荷蓄存。
[0407]在時(shí)刻t = Ttl，驅(qū)動(dòng)部2502對(duì)整個(gè)區(qū)域的像素施加傳輸脈沖。然后，對(duì)各組內(nèi)的像素依次施加選擇脈沖，并將各自的像素信號(hào)輸出到輸出布線2309。通過以上控制，在與陰影區(qū)域2611對(duì)應(yīng)的像素存儲(chǔ)器2414中分別存儲(chǔ)有一次的量的像素信號(hào)，在與中間區(qū)域2612對(duì)應(yīng)的像素存儲(chǔ)器2414中分別存儲(chǔ)有兩次的量的像素信號(hào)，在與高光區(qū)域2613對(duì)應(yīng)的像素存儲(chǔ)器2414中分別存儲(chǔ)有四次的量的像素信號(hào)。
[0408]此外，驅(qū)動(dòng)部2502也可以對(duì)屬于任一區(qū)域的組的像素依次施加重置脈沖，來依次重置屬于各個(gè)區(qū)域的組的像素。另外，驅(qū)動(dòng)部2502也可以對(duì)重置后的組的像素依次施加傳輸脈沖。以該施加為契機(jī)，各個(gè)組的像素可以依次開始電荷蓄存。也可以是，在對(duì)屬于全部區(qū)域的組的像素結(jié)束電荷蓄存后，驅(qū)動(dòng)部2502對(duì)整個(gè)區(qū)域的像素施加傳輸脈沖。而且，可以在對(duì)各組內(nèi)的像素依次施加選擇脈沖后，將各自的像素信號(hào)輸出到輸出布線2309。
[0409]這些像素信號(hào)依次向圖像處理部2511傳輸。圖像處理部2511根據(jù)該像素信號(hào)生成高動(dòng)態(tài)范圍的圖像數(shù)據(jù)。具體處理將在后敘述。
[0410]圖53是表示累計(jì)次數(shù)與動(dòng)態(tài)范圍的關(guān)系的圖。與重復(fù)執(zhí)行的電荷蓄存對(duì)應(yīng)的多次的量的像素?cái)?shù)據(jù)通過圖像處理部2511而被進(jìn)行累計(jì)處理，并形成高動(dòng)態(tài)范圍的圖像數(shù)據(jù)的一部分。
[0411]在累計(jì)次數(shù)為I次、即將進(jìn)行了 I次電荷蓄存的區(qū)域的動(dòng)態(tài)范圍作為基準(zhǔn)的情況下，累計(jì)次數(shù)為2次、即進(jìn)行了 2次電荷蓄存并將輸出信號(hào)累計(jì)的區(qū)域的動(dòng)態(tài)范圍的擴(kuò)大量為I級(jí)的量。同樣地，若累計(jì)次數(shù)為4次則為2級(jí)的量，若為128次則為7級(jí)的量。S卩，為了謀求η級(jí)的量的動(dòng)態(tài)范圍擴(kuò)大，只要將2η次的輸出信號(hào)累計(jì)即可。
[0412]在此，圖像處理部2511為了識(shí)別哪個(gè)劃分區(qū)域進(jìn)行了幾次電荷蓄存，對(duì)圖像信號(hào)賦予表示累計(jì)次數(shù)的3bit的指數(shù)位。如圖所示，指數(shù)位以對(duì)于累計(jì)數(shù)I次為000、對(duì)于2次為001、…對(duì)于128次為111的方式按順序分配。
[0413]圖像處理部2511參照從運(yùn)算電路2415接收到的各像素?cái)?shù)據(jù)的指數(shù)位，在參照結(jié)果為2次以上的累計(jì)數(shù)的情況下，執(zhí)行像素?cái)?shù)據(jù)的累計(jì)處理。例如，在累計(jì)次數(shù)為2次的情況(I級(jí))下，對(duì)于2個(gè)像素?cái)?shù)據(jù)使與電荷蓄存對(duì)應(yīng)的12bit的像素?cái)?shù)據(jù)中的高位Ilbit彼此相加，生成12bit的I個(gè)像素?cái)?shù)據(jù)。同樣地，在累計(jì)次數(shù)為128次(7級(jí))的情況下，對(duì)于128個(gè)像素?cái)?shù)據(jù)使與電荷蓄存對(duì)應(yīng)的12bit的像素?cái)?shù)據(jù)中的高位5bit彼此相加，生成12bit的I個(gè)像素?cái)?shù)據(jù)。即，使從12減去與累計(jì)次數(shù)對(duì)應(yīng)的級(jí)數(shù)而得到的高位bit彼此相力口，生成12bit的I個(gè)像素?cái)?shù)據(jù)。此外，除去沒有成為相加對(duì)象的低位bit。
[0414]通過這樣進(jìn)行處理，能夠使賦予灰階的亮度范圍與累計(jì)次數(shù)相應(yīng)地向高亮度側(cè)轉(zhuǎn)變。即，對(duì)高亮度側(cè)的受限范圍分配12bit。因此，能夠?qū)σ酝椎膱D像區(qū)域賦予灰階。
[0415]但是，對(duì)于其他劃分區(qū)域，由于對(duì)不同的亮度范圍分配了 12bit，所以無法簡(jiǎn)單地按每個(gè)區(qū)域通過連接合成來生成圖像數(shù)據(jù)。因此，圖像處理部2511為了盡可能維持所得到的灰階并使整個(gè)區(qū)域?yàn)?2bit的圖像數(shù)據(jù)，將最大亮度像素和最低亮度像素作為基準(zhǔn)，進(jìn)行再量化處理。具體而言，實(shí)施伽馬轉(zhuǎn)換來執(zhí)行量化，從而更平滑地維持灰階。通過這樣進(jìn)行處理，能夠得到高動(dòng)態(tài)范圍的圖像數(shù)據(jù)。
[0416]此外，累計(jì)次數(shù)不限于如上述那樣向像素?cái)?shù)據(jù)賦予3bit的指數(shù)位的情況，也可以作為與像素?cái)?shù)據(jù)不同的附加信息而記述。另外，也可以從像素?cái)?shù)據(jù)除去指數(shù)位，取而代之對(duì)存儲(chǔ)在像素存儲(chǔ)器2414中的像素?cái)?shù)據(jù)的數(shù)量進(jìn)行計(jì)數(shù)，由此在相加處理時(shí)獲取累計(jì)次數(shù)。
[0417]另外，在上述的圖像處理中，執(zhí)行了將整個(gè)區(qū)域收納于12bit的圖像數(shù)據(jù)的再量化處理，但也可以對(duì)于像素?cái)?shù)據(jù)的bit數(shù)，與上限累計(jì)次數(shù)相應(yīng)地增加輸出bit數(shù)。例如，若將上限累計(jì)次數(shù)定為16次(4級(jí))，則對(duì)于12bit的像素?cái)?shù)據(jù)，使整個(gè)區(qū)域?yàn)?6bit的圖像數(shù)據(jù)即可。若這樣進(jìn)行處理，能夠不降位地生成圖像數(shù)據(jù)。
[0418]接下來，說明一系列的攝影動(dòng)作處理。圖54是表示攝影動(dòng)作的處理的流程圖。流程從拍攝裝置500的電源接通后開始。
[0419]在步驟S2201中，系統(tǒng)控制部2501待機(jī)直至作出攝影準(zhǔn)備指示即開關(guān)SWl被按下。檢測(cè)到開關(guān)SWl的按下后進(jìn)入步驟S2202。
[0420]在步驟S2202中，系統(tǒng)控制部2501執(zhí)行測(cè)光處理。具體而言，得到測(cè)光部2503的輸出，運(yùn)算部2512計(jì)算出場(chǎng)景的亮度分布。然后，進(jìn)入步驟S2203，如上所述，決定快門速度、區(qū)域劃分、累計(jì)次數(shù)等。
[0421]在攝影準(zhǔn)備動(dòng)作完成后，進(jìn)入步驟S2204，待機(jī)直至作出攝影指示即開關(guān)SW2被按下。此時(shí)，若經(jīng)過時(shí)間超過預(yù)先設(shè)定的時(shí)間Tw(步驟S2205為是)，則返回步驟S2201。若在超過Tw之前(步驟S2205為否)檢測(cè)到開關(guān)SW2的按下，則進(jìn)入步驟S2206。
[0422]在步驟S2206中，接受到系統(tǒng)控制部2501的指示的驅(qū)動(dòng)部2502執(zhí)行使用圖52說明的電荷蓄存處理、信號(hào)讀出處理。然后，在全部的信號(hào)讀出完成后進(jìn)入到步驟S2207，執(zhí)行使用圖53說明的圖像處理，并執(zhí)行將所生成的圖像數(shù)據(jù)記錄到記錄部中的記錄處理。
[0423]在記錄處理完成后進(jìn)入到步驟S2208，判斷拍攝裝置2500的電源是否斷開。若電源沒有斷開，則返回步驟S2201，若斷開則結(jié)束一系列的攝影動(dòng)作處理。
[0424]圖55是表示作為信號(hào)處理芯片2111的一例的具體結(jié)構(gòu)的框圖。圖55所示的像素?cái)?shù)據(jù)處理部2910按每個(gè)像素塊2131而設(shè)置。但是，和與圖38關(guān)聯(lián)說明的運(yùn)算電路2415同樣地，像素?cái)?shù)據(jù)處理部2910也可以對(duì)于2個(gè)以上的像素按每個(gè)像素而設(shè)置。另外，像素?cái)?shù)據(jù)處理部2910的結(jié)構(gòu)中的、運(yùn)算電路2415以外的結(jié)構(gòu)可以按每個(gè)像素塊2131而設(shè)置。
[0425]本例的信號(hào)處理芯片2111中的控制部2740承擔(dān)驅(qū)動(dòng)部2502的功能的一部分或全部?？刂撇?740包括作為分擔(dān)化的控制功能的傳感器控制部2441、塊控制部2442、同步控制部2443、信號(hào)控制部2444、和總括控制這些各控制部的驅(qū)動(dòng)控制部2420。驅(qū)動(dòng)控制部2420將來自系統(tǒng)控制部2501的指示轉(zhuǎn)換成各控制部可執(zhí)行的控制信號(hào)并交付至各個(gè)控制部。
[0426]傳感器控制部2441承擔(dān)向拍攝芯片2113輸出的、與各像素的電荷蓄存、電荷讀出有關(guān)的控制脈沖的輸出控制。具體而言，傳感器控制部2441通過對(duì)對(duì)象像素輸出重置脈沖和傳輸脈沖來控制電荷蓄存的開始和結(jié)束，并通過對(duì)讀出像素輸出選擇脈沖來使像素信號(hào)向輸出布線2309輸出。
[0427]塊控制部2442執(zhí)行向拍攝芯片2113輸出的、對(duì)成為控制對(duì)象的像素塊2131進(jìn)行特定的特定脈沖的輸出。如使用圖51B等說明那樣，在劃分成注視區(qū)域2172及周邊區(qū)域2176的各區(qū)域中，能夠包含彼此相鄰的多個(gè)像素塊2131。這些屬于同一區(qū)域的像素塊2131形成一個(gè)塊組。同一塊組所包含的像素在相同定時(shí)開始電荷蓄存，并在相同定時(shí)結(jié)束電荷蓄存。因此，塊控制部2442承擔(dān)通過向基于來自驅(qū)動(dòng)控制部2420的指定而成為對(duì)象的像素塊2131輸出特定脈沖來使像素塊2131成塊化的作用。各像素經(jīng)由TX布線2307及重置布線2306接受到的傳輸脈沖及重置脈沖成為傳感器控制部2441所輸出的各脈沖和塊控制部2442所輸出的特定脈沖的邏輯積。
[0428]像這樣，通過將各區(qū)域作為相互獨(dú)立的塊組進(jìn)行控制，實(shí)現(xiàn)了使用圖52說明的電荷蓄存控制。驅(qū)動(dòng)控制部2420可以對(duì)同一塊組所包含的像素，以不同定時(shí)施加重置脈沖及傳輸脈沖。另外，驅(qū)動(dòng)控制部2420也可以在使同一塊組所包含的像素的電荷蓄存在相同定時(shí)結(jié)束后，對(duì)塊組內(nèi)的像素依次施加選擇脈沖，并依次讀出各自的像素信號(hào)。
[0429]同步控制部2443向拍攝芯片2113輸出同步信號(hào)。各脈沖與同步信號(hào)同步地在拍攝芯片2113中變得有效。例如，通過調(diào)整同步信號(hào)，實(shí)現(xiàn)了僅將屬于同一像素塊2131的像素的特定像素作為控制對(duì)象的隨機(jī)控制、間除控制等。
[0430]信號(hào)控制部2444主要承擔(dān)針對(duì)A/D轉(zhuǎn)換器2412的定時(shí)控制。經(jīng)由輸出布線2309輸出的像素信號(hào)，經(jīng)由⑶S電路2410及多路復(fù)用器2411而輸入到A/D轉(zhuǎn)換器2412。A/D轉(zhuǎn)換器2412通過信號(hào)控制部2444而被控制，并將輸入的像素信號(hào)轉(zhuǎn)換成數(shù)字像素?cái)?shù)據(jù)。轉(zhuǎn)換成數(shù)字信號(hào)的像素?cái)?shù)據(jù)被交付到信號(hào)分離器2413，然后作為數(shù)字?jǐn)?shù)據(jù)的像素值而存儲(chǔ)到與各個(gè)像素對(duì)應(yīng)的像素存儲(chǔ)器2414中。像素存儲(chǔ)器2414為存儲(chǔ)塊2730的一例。
[0431]信號(hào)處理芯片2111具有作為蓄存控制存儲(chǔ)器的定時(shí)存儲(chǔ)器2430，該定時(shí)存儲(chǔ)器2430存儲(chǔ)關(guān)于將哪個(gè)像素塊2131組合而形成注視區(qū)域2172及周邊區(qū)域2176的塊組的塊區(qū)分信息、和關(guān)于所形成的各個(gè)塊組重復(fù)進(jìn)行幾次電荷蓄存的蓄存次數(shù)信息。定時(shí)存儲(chǔ)器2430由例如閃存RAM構(gòu)成。
[0432]如上所述，關(guān)于將哪個(gè)像素塊2131組合來形成塊組，基于在一系列的攝影過程之前執(zhí)行的場(chǎng)景的亮度分布檢測(cè)的檢測(cè)結(jié)果，由系統(tǒng)控制部2501決定。所決定的塊組以例如第I塊組、第2塊組…的方式區(qū)分，并由各個(gè)塊組包含哪個(gè)像素塊2131而規(guī)定。驅(qū)動(dòng)控制部2420從系統(tǒng)控制部2501接收該塊區(qū)分信息，并向定時(shí)存儲(chǔ)器2430存儲(chǔ)。
[0433]另外，系統(tǒng)控制部2501基于亮度分布的檢測(cè)結(jié)果，確定各塊組重復(fù)進(jìn)行幾次電荷蓄存。驅(qū)動(dòng)控制部2420從系統(tǒng)控制部2501接收該蓄存次數(shù)信息，并與對(duì)應(yīng)的塊區(qū)分信息成對(duì)地向定時(shí)存儲(chǔ)器2430存儲(chǔ)。通過這樣向定時(shí)存儲(chǔ)器2430存儲(chǔ)塊區(qū)分信息和蓄存次數(shù)信息，驅(qū)動(dòng)控制部2420能夠逐次參照定時(shí)存儲(chǔ)器2430而獨(dú)立地執(zhí)行一系列的電荷蓄存控制。即，驅(qū)動(dòng)控制部2420在一幅圖像的獲取控制中一旦從系統(tǒng)控制部2501接收到攝影指示的信號(hào)，則之后對(duì)于各像素的控制，能夠不用每次從系統(tǒng)控制部2501接收指示地完成蓄存控制。
[0434]驅(qū)動(dòng)控制部2420從系統(tǒng)控制部2501接收基于與攝影準(zhǔn)備指示同步地執(zhí)行的測(cè)光結(jié)果(亮度分布的檢測(cè)結(jié)果)而更新的塊區(qū)分信息和蓄存次數(shù)信息，并適當(dāng)更新定時(shí)存儲(chǔ)器2430的存儲(chǔ)內(nèi)容。例如，驅(qū)動(dòng)控制部2420與攝影準(zhǔn)備指示或攝影指示同步地更新定時(shí)存儲(chǔ)器2430。通過這樣地構(gòu)成，能夠?qū)崿F(xiàn)更高速的電荷蓄存控制，并且在驅(qū)動(dòng)控制部2420執(zhí)行電荷蓄存控制的期間，系統(tǒng)控制部2501能夠并行地執(zhí)行其他處理。
[0435]驅(qū)動(dòng)控制部2420不限于在執(zhí)行針對(duì)拍攝芯片2113的電荷蓄存控制中參照定時(shí)存儲(chǔ)器2430，在讀出控制的執(zhí)行中也參照定時(shí)存儲(chǔ)器2430。例如，驅(qū)動(dòng)控制部2420參照各塊組的蓄存次數(shù)信息，將從信號(hào)分離器2413輸出的像素?cái)?shù)據(jù)存儲(chǔ)到像素存儲(chǔ)器2414的對(duì)應(yīng)地址中。
[0436]驅(qū)動(dòng)控制部2420根據(jù)來自系統(tǒng)控制部2501的交付請(qǐng)求，將按每個(gè)像素塊的對(duì)象像素?cái)?shù)據(jù)從像素存儲(chǔ)器2414讀出并向圖像處理部2511交付。此時(shí)，驅(qū)動(dòng)控制部2420將與各個(gè)對(duì)象像素?cái)?shù)據(jù)對(duì)應(yīng)的附加數(shù)據(jù)一并向圖像處理部2511交付。
[0437]運(yùn)算電路2415對(duì)于與對(duì)應(yīng)的像素塊2131所生成的像素信號(hào)相應(yīng)的像素?cái)?shù)據(jù)，按每個(gè)像素塊2131進(jìn)行預(yù)先確定的運(yùn)算。也就是說，運(yùn)算電路415與像素塊2131對(duì)應(yīng)地設(shè)置，并按每個(gè)像素塊2131而進(jìn)行運(yùn)算處理。此外，運(yùn)算電路2415與像素塊2131以一對(duì)一的關(guān)系設(shè)置。也就是說，運(yùn)算電路2415是設(shè)置在像素塊2131正下方的信號(hào)處理芯片2111上的電路。驅(qū)動(dòng)控制部2420將存儲(chǔ)在像素存儲(chǔ)器2414中的像素?cái)?shù)據(jù)讀出至運(yùn)算電路2415，并在運(yùn)算電路2415中執(zhí)行預(yù)先確定的運(yùn)算處理。
[0438]在像素存儲(chǔ)器2414上設(shè)有根據(jù)交付請(qǐng)求而傳送像素?cái)?shù)據(jù)或后述的差量數(shù)據(jù)的數(shù)據(jù)傳輸接口。數(shù)據(jù)傳輸接口和與圖像處理部2511相連的數(shù)據(jù)傳輸線2920連接。數(shù)據(jù)傳輸線2920由例如串行總線構(gòu)成。該情況下，從系統(tǒng)控制部2501向驅(qū)動(dòng)控制部2420的交付請(qǐng)求通過利用了地址總線的地址指定而執(zhí)行。
[0439]可以使用圖55的信號(hào)處理芯片2111，在注視區(qū)域2172和周邊區(qū)域2176中使用不同的控制參數(shù)獲取像素?cái)?shù)據(jù)后執(zhí)行規(guī)定的運(yùn)算。例如，在圖41至圖44中，在注視區(qū)域2172和周邊區(qū)域2176中從以不同的幀頻獲取的圖像生成了動(dòng)態(tài)圖像，但也可以取而代之，進(jìn)行使以高幀頻獲取的圖像平均化的圖像處理來提高S/N比。該情況下，在例如通過驅(qū)動(dòng)控制部2420從周邊區(qū)域2176得到一次的像素信號(hào)的期間，從注視區(qū)域2142得到多次、例如四次的圖像信號(hào)，并將像素?cái)?shù)據(jù)存儲(chǔ)到像素存儲(chǔ)器2414中。運(yùn)算電路2415從像素存儲(chǔ)器2414讀出對(duì)于注視區(qū)域2142的各像素得到的多個(gè)像素?cái)?shù)據(jù)，并按每個(gè)像素進(jìn)行平均。由此，注視區(qū)域2172的各像素中的隨機(jī)噪聲減少，能夠提高注視區(qū)域2172的S/N比。
[0440]此外，在數(shù)據(jù)傳輸線2920上連接有存儲(chǔ)器2940。存儲(chǔ)器2940可以是將像素?cái)?shù)據(jù)從像素存儲(chǔ)器2414依次存儲(chǔ)到指定地址的易失性存儲(chǔ)器。例如，存儲(chǔ)器2940是DRAM。存儲(chǔ)器2940存儲(chǔ)所接收的使用了各像素塊2131的像素?cái)?shù)據(jù)的I幀量的RGB數(shù)據(jù)。
[0441]控制部2740在本像素塊2131所對(duì)應(yīng)的運(yùn)算電路2415中，與周邊的像素塊2131所對(duì)應(yīng)的運(yùn)算電路2415之間進(jìn)行數(shù)據(jù)的授受。在圖55的例子中，驅(qū)動(dòng)控制部2420在多個(gè)運(yùn)算電路2415間傳送數(shù)據(jù)。各個(gè)運(yùn)算電路2415接收與其他像素塊2131對(duì)應(yīng)的其他運(yùn)算電路2415中的其他運(yùn)算結(jié)果的至少一部分。各個(gè)運(yùn)算電路2415可以還基于所接收到的其他運(yùn)算結(jié)果，而生成自身運(yùn)算結(jié)果。
[0442]另外，運(yùn)算電路2415將運(yùn)算處理得到的按每個(gè)像素塊2131的運(yùn)算結(jié)果輸出到輸出電路2922。輸出電路2922將運(yùn)算電路2415中的運(yùn)算結(jié)果與像素?cái)?shù)據(jù)建立對(duì)應(yīng)并向系統(tǒng)控制部2501輸出。在此，與像素?cái)?shù)據(jù)建立對(duì)應(yīng)并輸出是指，將運(yùn)算電路2415對(duì)本像素塊2131的像素?cái)?shù)據(jù)實(shí)施運(yùn)算的運(yùn)算結(jié)果、與表示被實(shí)施該運(yùn)算的像素?cái)?shù)據(jù)屬于哪個(gè)像素塊的信息建立關(guān)聯(lián)并輸出。
[0443]此外，經(jīng)由輸出電路2922傳輸?shù)较到y(tǒng)控制部2501的數(shù)據(jù)是按每個(gè)像素塊2131的運(yùn)算結(jié)果，但是，只要知道系統(tǒng)控制部2501所接收到的數(shù)據(jù)是在各個(gè)像素塊2131中實(shí)施怎樣的運(yùn)算的結(jié)果而得到的數(shù)據(jù)，就能夠利用該數(shù)據(jù)。在本例中，輸出電路2922將表示各個(gè)運(yùn)算電路2415中的運(yùn)算內(nèi)容的數(shù)據(jù)代碼(data code)附加于運(yùn)算結(jié)果而輸出。該數(shù)據(jù)代碼可以按每個(gè)運(yùn)算電路2415而預(yù)先確定。另外，在運(yùn)算電路2415能夠進(jìn)行多種運(yùn)算的情況下，優(yōu)選運(yùn)算電路2415向輸出電路2922通知表示進(jìn)行了何種運(yùn)算的信息。也就是說，輸出電路2922將按每個(gè)像素塊2131進(jìn)行的運(yùn)算內(nèi)容、運(yùn)算結(jié)果及控制信息作為一個(gè)數(shù)據(jù)組生成并輸出。輸出電路2922輸出的具體數(shù)據(jù)組的例子將在后敘述。
[0444]圖56示出相互交付運(yùn)算結(jié)果的多個(gè)運(yùn)算電路2415。例如第I運(yùn)算電路2415接收第2運(yùn)算電路2415中的第2評(píng)估值，或者，第2運(yùn)算電路2415接收對(duì)第2評(píng)估值進(jìn)行運(yùn)算過程中的運(yùn)算結(jié)果。該情況下，第I運(yùn)算電路2415基于第2評(píng)估值或該運(yùn)算結(jié)果對(duì)第I評(píng)估值進(jìn)行運(yùn)算。或者，也可以是，各個(gè)運(yùn)算電路2415從與運(yùn)算電路2415對(duì)應(yīng)的像素存儲(chǔ)器2414讀出與其他運(yùn)算電路2415對(duì)應(yīng)的像素信號(hào)，并由自身進(jìn)行針對(duì)該像素信號(hào)的運(yùn)算。例如第I運(yùn)算電路2415讀出與第2運(yùn)算電路2415對(duì)應(yīng)的第2像素信號(hào)。該情況下，第I運(yùn)算電路2415基于所讀出的第2像素信號(hào)對(duì)第I評(píng)估值進(jìn)行運(yùn)算。
[0445]在本例中，與運(yùn)算電路2415-1、運(yùn)算電路2415_2及運(yùn)算電路2415_4對(duì)應(yīng)的各像素塊2131在列方向上相鄰，與運(yùn)算電路2415-1、運(yùn)算電路2415-3及運(yùn)算電路2415-5對(duì)應(yīng)的各像素塊2131在行方向上相鄰。各個(gè)運(yùn)算電路2415接收與自身所對(duì)應(yīng)的像素塊2131相鄰的像素塊2131所對(duì)應(yīng)的其他運(yùn)算電路2415中的其他運(yùn)算結(jié)果的至少一部分。在此，相鄰不限定于在行方向及列方向上相鄰的情況?？梢园袼貕K2131在對(duì)角方向上相鄰的情況。在本例中，說明在行方向及列方向上相鄰的情況。
[0446]相鄰的各個(gè)運(yùn)算電路2415經(jīng)由將運(yùn)算結(jié)果輸出到與相鄰的像素塊2131對(duì)應(yīng)的運(yùn)算電路2415的輸出總線、以及將運(yùn)算結(jié)果輸入到與相鄰的像素塊2131對(duì)應(yīng)的運(yùn)算電路2415的輸入總線而連接?？刂撇?740在與本像素塊2131對(duì)應(yīng)的運(yùn)算電路2415中，基于來自與相鄰的其他像素塊2131對(duì)應(yīng)的運(yùn)算電路2415的運(yùn)算結(jié)果，而生成本像素塊2131的自身的運(yùn)算結(jié)果。
[0447]圖57是表不運(yùn)算電路2415的結(jié)構(gòu)的一例的框圖。各個(gè)運(yùn)算電路2415具有本塊計(jì)算部2912、平均計(jì)算部2913、平均-平均計(jì)算部2914、周邊塊計(jì)算部2911和像素-平均計(jì)算部2915。本塊計(jì)算部2912的輸入與本像素塊2131所對(duì)應(yīng)的像素存儲(chǔ)器2414的輸出連接，本塊計(jì)算部2912的輸出與平均計(jì)算部2913的輸入、平均-平均計(jì)算部2914的輸入、及輸出電路2922的輸入、以及相鄰的像素塊2131所對(duì)應(yīng)的各個(gè)運(yùn)算電路2415連接。例如本塊計(jì)算部2912輸出對(duì)應(yīng)的像素塊2131中的各顏色的像素值的平均。
[0448]周邊塊計(jì)算部2911具有多個(gè)輸入，各個(gè)輸入和與本像素塊2131相鄰的多個(gè)像素塊2131所對(duì)應(yīng)的運(yùn)算電路2415的輸出連接。周邊塊計(jì)算部2911的輸出與平均計(jì)算部913的輸入連接。例如可以是，周邊塊計(jì)算部2911基于從其他運(yùn)算電路2415接收到的各顏色的像素值的平均，而計(jì)算出其平均。另外，也可以是，周邊塊計(jì)算部2911將從其他運(yùn)算電路2415接收到的各顏色的像素值的平均直接輸出。
[0449]平均計(jì)算部2913具有兩個(gè)輸入部，一方的輸入與本塊計(jì)算部2912的輸出連接，另一方的輸入與周邊塊計(jì)算部2911的輸出連接。例如平均計(jì)算部2913基于本塊計(jì)算部2912輸出的平均值、和周邊塊計(jì)算部2911輸出的平均值，而輸出對(duì)應(yīng)的像素塊2131及相鄰的像素塊2131中的各顏色的像素值的平均。
[0450]平均-平均計(jì)算部2914具有兩個(gè)輸入，一方的輸入與平均計(jì)算部2913的輸出連接，另一方的輸入與本塊計(jì)算部2912的輸出連接。平均-平均計(jì)算部2914的輸出與輸出電路2922的輸入連接。例如平均-平均計(jì)算部2914對(duì)平均計(jì)算部2913計(jì)算出的各顏色的像素值的平均、與本塊計(jì)算部2912計(jì)算出的各顏色的像素值的平均之間的差量進(jìn)行計(jì)算。
[0451]像素-平均計(jì)算部2915具有兩個(gè)輸入，一方的輸入與平均計(jì)算部2913的輸出連接，另一方的輸入與本像素塊2131所對(duì)應(yīng)的像素存儲(chǔ)器2414的輸出連接。像素-平均計(jì)算部2915的輸出與本像素塊2131所對(duì)應(yīng)的像素存儲(chǔ)器2414的輸入連接。例如像素-平均計(jì)算部2915輸出本像素塊2131中的各像素值、與平均計(jì)算部2913計(jì)算出的各顏色的像素值的平均中的對(duì)應(yīng)顏色的平均值之間的差量。
[0452]控制部2740將本塊計(jì)算部2912中的運(yùn)算結(jié)果傳送到其他運(yùn)算電路2415及輸出電路2922。另外，控制部2740將平均-平均計(jì)算部2914中的運(yùn)算結(jié)果傳送到輸出電路2922。而且，控制部2740將像素-平均計(jì)算部2915中的運(yùn)算結(jié)果反饋于本像素塊2131的像素存儲(chǔ)器2414。
[0453]此外，運(yùn)算電路2415的各計(jì)算部能夠由加法電路、減法電路及除法電路構(gòu)成。像這樣，通過將運(yùn)算電路2415的電路結(jié)構(gòu)簡(jiǎn)化，能夠按每個(gè)像素塊2131來安裝運(yùn)算電路2415。
[0454]圖58是說明運(yùn)算電路2415的動(dòng)作的一例的流程圖。在運(yùn)算電路2415開始動(dòng)作后，在步驟S2300中，控制部2740從與本像素塊2131對(duì)應(yīng)的像素存儲(chǔ)器2414讀出以本像素塊2131的幀頻拍攝的本像素塊2131的RGB像素?cái)?shù)據(jù)，并輸入到本塊計(jì)算部2912。在步驟S2310中，控制部2740與步驟S2300同步地，將相鄰像素塊2131中的運(yùn)算結(jié)果的至少一部分從相鄰的運(yùn)算電路2415輸入到周邊塊計(jì)算部2911。在本例中，各運(yùn)算電路2415計(jì)算按每個(gè)RGB像素的像素值的平均，周邊塊計(jì)算部2911接收相鄰的運(yùn)算電路2415計(jì)算出的按每個(gè)RGB像素的像素值的平均。
[0455]在步驟S2320中，控制部2740在本塊計(jì)算部2912中進(jìn)行對(duì)自身所對(duì)應(yīng)的像素塊2131的像素?cái)?shù)據(jù)預(yù)先確定的運(yùn)算。例如，本塊計(jì)算部2912計(jì)算本像素塊2131的按每個(gè)RGB像素的相加平均值(Ar、Ag、Ab)。相加平均值通過Ai = Σ (像素塊內(nèi)的i像素)/(像素塊內(nèi)的i像素?cái)?shù))(i = r，g，b)來計(jì)算。在步驟S2322中，控制部2740使本塊計(jì)算部2912向輸出電路2922的輸入及四個(gè)相鄰像素塊2131的對(duì)應(yīng)的各個(gè)運(yùn)算電路2415的輸入輸入平均值(Ar、Ag、Ab)。
[0456]在步驟S2340中，控制部2740在周邊塊計(jì)算部2911中，基于相鄰的像素塊2131的按每個(gè)RGB像素的相加平均值，計(jì)算出相鄰的多個(gè)像素塊2131中的平均(Br、Bg、Bb)(進(jìn)行相鄰像素塊平均)。例如，相鄰像素塊平均通過Bi = ΣΑ?/4(? = r, g，b)來計(jì)算(其中，相鄰的像素塊2131的數(shù)量為4)。在步驟S2350中，控制部2740在平均計(jì)算部2913中，對(duì)從其他運(yùn)算電路2415接收到的其他運(yùn)算結(jié)果、和本塊計(jì)算部2912中的運(yùn)算結(jié)果，進(jìn)行預(yù)先確定的運(yùn)算。例如，平均計(jì)算部2913對(duì)在步驟S2340中計(jì)算出的四個(gè)相鄰像素塊平均值?!■、88、813)、和在步驟52320中計(jì)算出的本像素塊2131的相加平均值(Ar、Ag、Ab)的總平均(Cr、Cg、Cb)進(jìn)行計(jì)算?？偲骄ㄟ^Ci = (Bi+Ai)/2(i = r, g, b)來計(jì)算。
[0457]在步驟S2360中，控制部2740在平均-平均計(jì)算部2914中，對(duì)在步驟S2320中本塊計(jì)算部2912計(jì)算出的本塊的相加平均值(Ar、Ag、Ab)、與在步驟S2350中平均計(jì)算部2913計(jì)算出的總平均值(Cr、Cg、Cb)之間的差量值(AAr、AAg、AAb)進(jìn)行計(jì)算。差量值通過AAi = (A1-Ci) (i=r,g,b)來計(jì)算?？刂撇?740在步驟S2370中，在平均-平均計(jì)算部2914中使差量值(Λ Ar、Λ Ag、AAb)向輸出電路2922輸入。此外，也可以是，運(yùn)算電路2415不具有平均-平均計(jì)算部2914，取代平均-平均計(jì)算部2914中的運(yùn)算結(jié)果，而將平均計(jì)算部2913中的運(yùn)算結(jié)果向輸出電路2922輸入。
[0458]控制部2740在步驟S2380中，在像素-平均計(jì)算部2915中，對(duì)在步驟S2310中獲取的本像素塊的RGB像素?cái)?shù)據(jù)、與在步驟S2350中平均計(jì)算部2913計(jì)算出的總平均值(Cr、CgXb)之間的差量值(ACr、ACg、ACb)進(jìn)行計(jì)算。差量值通過ACi = (C1-本像素塊內(nèi)的i像素)(i = r，g，b)來計(jì)算。由此，能夠使用值較小的差量值和平均值來保存原像素?cái)?shù)據(jù)的信息。也就是說，能夠基于平均計(jì)算部2913中的運(yùn)算結(jié)果，使自身所對(duì)應(yīng)的像素塊2131的像素?cái)?shù)據(jù)壓縮。
[0459]在步驟S2390中，控制部2740將(Λ Cr、Λ Cg、Λ Cb)向本像素塊2131的像素存儲(chǔ)器2414反饋。在步驟S2392中，控制部2740判斷是否繼續(xù)運(yùn)算，在前者的情況下返回步驟S2300，在后者的情況下結(jié)束運(yùn)算處理。
[0460]控制部2740按每個(gè)像素塊2131來執(zhí)行運(yùn)算電路2415的以上動(dòng)作。此外，運(yùn)算電路2415可以對(duì)當(dāng)前幀中的像素?cái)?shù)據(jù)，使用以前的幀中的像素?cái)?shù)據(jù)來進(jìn)行預(yù)先確定的運(yùn)算。該情況下，控制部2740對(duì)于運(yùn)算電路2415，取代相鄰的像素塊2131的按每個(gè)RGB像素的平均值，而使用自身的像素塊2131的、例如前一幀中的按每個(gè)RGB像素的相加平均值(Dr、Dg、Db)即可。前面的幀的相加平均值通過Di = Σ (前面的幀的像素塊內(nèi)的i像素)/(前面的幀的像素塊內(nèi)的i像素?cái)?shù))(i = r，g，b)來求出?？刂撇?740從存儲(chǔ)器2940讀出前面的幀的RGB像素?cái)?shù)據(jù)，并在第4運(yùn)算部中計(jì)算相加平均值(Dr、Dg、Db)。除此以外的動(dòng)作與圖58相同，因此省略說明。
[0461]像這樣，根據(jù)本例，能夠?qū)疵總€(gè)像素塊2131的運(yùn)算結(jié)果及運(yùn)算內(nèi)容、以及基于控制部2740生成的按每個(gè)像素塊2131的控制信息從像素塊2131經(jīng)由輸出電路2922向系統(tǒng)控制部2501輸送。其結(jié)果為，能夠大幅降低系統(tǒng)控制部2501中的圖像處理的負(fù)荷。另夕卜，由于運(yùn)算電路2415只要將與周邊的像素塊2131的像素?cái)?shù)據(jù)之間的相關(guān)值作為本像素塊2131的評(píng)估值而輸出即可，所以能夠減少應(yīng)向系統(tǒng)控制部501發(fā)送的數(shù)據(jù)量。而且，由于本例的運(yùn)算電路2415能夠?qū)⒉盍恐?ACr、ACg、Δ Cb)向本像素塊2131所對(duì)應(yīng)的像素存儲(chǔ)器2414反饋，所以能夠相應(yīng)地減少向系統(tǒng)控制部2501發(fā)送的數(shù)據(jù)量。而且，系統(tǒng)控制部2501所包含的圖像處理部2511能夠基于從各個(gè)輸出電路2922接收的運(yùn)算結(jié)果，而生成一個(gè)圖像數(shù)據(jù)，因此，與將全部像素塊2131的RGB像素?cái)?shù)據(jù)一旦存儲(chǔ)于存儲(chǔ)器2940中后，讀出并再次構(gòu)成一個(gè)圖像的情況相比，能夠提高圖像處理的速度。此外，本例的信號(hào)處理芯片2111具有圖像處理部2511中的圖像處理功能的至少一部分功能。例如運(yùn)算電路2415還作為基于各評(píng)估值對(duì)對(duì)應(yīng)的像素信號(hào)所對(duì)應(yīng)的圖像的圖像數(shù)據(jù)實(shí)施圖像處理的圖像處理部而發(fā)揮功能。作為一例，該圖像處理功能可以是將差量值(ACr、ACg、Λ Cb)向像素存儲(chǔ)器2414反饋的功能。此外，關(guān)于評(píng)估值的例子，是像素塊2131內(nèi)的像素信號(hào)的平均、像素塊2131內(nèi)外的像素信號(hào)的加權(quán)平均、像素塊2131內(nèi)的對(duì)比度、像素塊2131內(nèi)外的對(duì)比度的加權(quán)平均、像素塊2131內(nèi)的亮度、像素塊2131內(nèi)外的亮度的加權(quán)平均等。而且，評(píng)估值可以是將G像素的平均、R像素的平均、B像素的平均以規(guī)定比例相加而得到的值。另夕卜，關(guān)于平均值的計(jì)算，也可以是配置在單位組內(nèi)的部分區(qū)域的平均值。
[0462]圖59示出輸出電路2922基于來自運(yùn)算電路2415的輸入而生成的數(shù)據(jù)組2950的一例。數(shù)據(jù)組2950具有數(shù)據(jù)代碼區(qū)域2952及數(shù)據(jù)區(qū)域2954。在數(shù)據(jù)代碼區(qū)域2952中，可以對(duì)數(shù)據(jù)代碼用分配4位。在本例中，對(duì)數(shù)據(jù)代碼分配D12至D15。在數(shù)據(jù)區(qū)域2954中，可以分配各個(gè)數(shù)據(jù)代碼所對(duì)應(yīng)的附加數(shù)據(jù)用的12位。在本例中，對(duì)數(shù)據(jù)代碼用分配DO至Dll0數(shù)據(jù)組2950的位數(shù)不限定于16位，應(yīng)對(duì)數(shù)據(jù)代碼和附加數(shù)據(jù)分配的位數(shù)也能夠任意設(shè)定。
[0463]此外，控制部2740可以將來自運(yùn)算電路2415的運(yùn)算結(jié)果數(shù)據(jù)與來自像素存儲(chǔ)器2414的像素?cái)?shù)據(jù)以不同路線輸出。例如，控制部2740可以將運(yùn)算電路415的運(yùn)算結(jié)果通過輸出電路2922而發(fā)送到系統(tǒng)控制部2501。另外，控制部2740可以將像素存儲(chǔ)器2414的像素?cái)?shù)據(jù)經(jīng)由數(shù)據(jù)傳輸線2920而存儲(chǔ)到存儲(chǔ)器2940。在其他例子中，控制部2740也可以對(duì)像素塊2131的像素?cái)?shù)據(jù)附加本像素塊2131的像素?cái)?shù)據(jù)的運(yùn)算結(jié)果并一同從輸出電路2922向系統(tǒng)控制部2501發(fā)送。
[0464]此外，以上說明了對(duì)像素值的平均進(jìn)行計(jì)算的例子，但運(yùn)算電路2415中的運(yùn)算內(nèi)容不限定于此。用于運(yùn)算電路2415的參數(shù)可以包含像素值以外的信息。例如，運(yùn)算電路2415可以使用像素的XY平面上的位置、至被攝物體的距離的信息、光圈值、TO2104中的電荷蓄存時(shí)間、本像素塊2131中的電荷電壓轉(zhuǎn)換增益、本像素塊2131中的驅(qū)動(dòng)幀頻率(幀頻)等參數(shù)來進(jìn)行規(guī)定的運(yùn)算。
[0465]圖60示出圖59所示的數(shù)據(jù)組2950的內(nèi)容的一例。在數(shù)據(jù)代碼區(qū)域2952中存儲(chǔ)有16種數(shù)據(jù)代碼(O?9，a?f)。對(duì)數(shù)據(jù)代碼O分配本像素塊2131的R像素相加平均值(Ar)，并作為12位的附加數(shù)據(jù)而輸出。對(duì)數(shù)據(jù)代碼I分配本像素塊2131的G像素相加平均值(Ag)，并作為12位的附加數(shù)據(jù)而輸出。對(duì)數(shù)據(jù)代碼2分配本像素塊2131的B像素相加平均值(Ar)，并作為12位的附加數(shù)據(jù)而輸出。對(duì)數(shù)據(jù)代碼3分配總平均值Cr與Ar的差量AAr，并作為12位的附加數(shù)據(jù)而輸出。對(duì)數(shù)據(jù)代碼4分配總平均值Cg與Ag的差量AAg,并作為12位的附加數(shù)據(jù)而輸出。對(duì)數(shù)據(jù)代碼5分配總平均值Cb與Ab的差量Λ Ab，并作為12位的附加數(shù)據(jù)而輸出。以上是運(yùn)算電路2415輸出的運(yùn)算內(nèi)容及運(yùn)算結(jié)果的數(shù)據(jù)的一例。
[0466]數(shù)據(jù)組2950還包含控制部2740的控制信息。在本例中，對(duì)數(shù)據(jù)代碼d分配本像素塊2131的電荷電壓轉(zhuǎn)換增益，并作為12位的附加數(shù)據(jù)而輸出。對(duì)數(shù)據(jù)代碼e分配本像素塊2131的驅(qū)動(dòng)幀頻率，并作為12位的附加數(shù)據(jù)而輸出。對(duì)數(shù)據(jù)代碼f分配本像素塊2131的蓄存時(shí)間，并作為12位的附加數(shù)據(jù)而輸出。通過對(duì)數(shù)據(jù)組2950附加控制部2740的控制信息(控制日志)，能夠?qū)⒈硎究刂撇?740怎樣控制各像素塊2131的控制信息從像素塊側(cè)向系統(tǒng)控制部2501傳輸。
[0467]也就是說，系統(tǒng)控制部2501由于能夠按每個(gè)像素塊2131來接收?qǐng)D59例示的數(shù)據(jù)組2950，所以通過基于數(shù)據(jù)組2950的數(shù)據(jù)代碼來處理對(duì)存儲(chǔ)在存儲(chǔ)器2940中的本像素塊2131的按每個(gè)RGB像素的差量數(shù)據(jù)進(jìn)行訪問而讀出的數(shù)據(jù)，能夠容易地執(zhí)行按每個(gè)像素塊2131的圖像處理。也就是說，由于通過運(yùn)算電路2415進(jìn)行系統(tǒng)控制部2501中的處理的一部分，所以能夠大幅降低系統(tǒng)控制部2501在動(dòng)態(tài)圖像生成中的像素?cái)?shù)據(jù)處理的負(fù)荷。此夕卜，系統(tǒng)控制部2501能夠有效利用輸出電路2922所輸出的數(shù)據(jù)組2950的內(nèi)容，并且能夠減少系統(tǒng)控制部2501自身的負(fù)荷。例如，系統(tǒng)控制部2501能夠基于數(shù)據(jù)組2950的內(nèi)容，按每個(gè)像素塊2131改變壓縮率來生成動(dòng)態(tài)圖像。
[0468]圖61是本實(shí)施方式的其他拍攝元件3100的剖視圖。拍攝元件3100具有:輸出與入射光對(duì)應(yīng)的像素信號(hào)的拍攝芯片3113 ;對(duì)像素信號(hào)進(jìn)行處理的信號(hào)處理芯片3111 ;和存儲(chǔ)像素信號(hào)的存儲(chǔ)芯片3112。這些拍攝芯片3113、信號(hào)處理芯片3111及存儲(chǔ)芯片3112層疊在一起，并通過Cu等具有導(dǎo)電性的凸塊3109而相互電連接。
[0469]此外，如圖所示，入射光主要朝向以白色空心箭頭示出的Z軸正向入射。在本說明書中，在拍攝芯片3113中，將入射光入射的一側(cè)的面稱為背面。另外，如坐標(biāo)軸所示，將與Z軸正交的紙面左方向設(shè)為X軸正向，將與Z軸及X軸正交的紙面近前方向設(shè)為Y軸正向。在以后的若干幅圖中，以將圖61的坐標(biāo)軸作為基準(zhǔn)而判明各圖朝向的方式來顯示坐標(biāo)軸。
[0470]拍攝芯片3113的一例為背面照射型的MOS圖像傳感器。PD層3106配置在布線層3108的背面?zhèn)?。H)層3106以二維方式配置，具有對(duì)與入射光相應(yīng)的電荷進(jìn)行蓄存并生成與所蓄存的電荷相應(yīng)的像素信號(hào)的多個(gè)H)(光電二極管)104及與TO3104對(duì)應(yīng)地設(shè)置的晶體管3105。
[0471]在H)層3106中的入射光的入射側(cè)，隔著鈍化膜3103而設(shè)有彩色濾光片3102。彩色濾光片3102具有供彼此不同的波長(zhǎng)區(qū)域透射的多個(gè)種類，與Η)3104分別對(duì)應(yīng)地具有特定的排列。關(guān)于彩色濾光片3102的排列將在后敘述。彩色濾光片3102、Η)3104及晶體管3105的組形成一個(gè)像素。
[0472]在彩色濾光片3102中的入射光的入射側(cè)，與各個(gè)像素對(duì)應(yīng)地設(shè)有微透鏡3101。微透鏡3101朝向?qū)?yīng)的Η)3104會(huì)聚入射光。
[0473]布線層3108具有將來自H)層3106的像素信號(hào)向信號(hào)處理芯片3111傳送的布線3107。布線3107可以為多層，另外，也可以設(shè)有無源元件及有源元件。
[0474]在布線層3108的表面上配置有多個(gè)凸塊3109。該多個(gè)凸塊3109與設(shè)置在信號(hào)處理芯片3111的相對(duì)面上的多個(gè)凸塊3109對(duì)位，通過對(duì)拍攝芯片3113和信號(hào)處理芯片3111加壓等，使對(duì)位后的凸塊3109彼此接合而電連接。
[0475]同樣地，在信號(hào)處理芯片3111及存儲(chǔ)芯片3112的彼此相對(duì)的面上，配置有多個(gè)凸塊3109。這些凸塊3109彼此對(duì)位，通過對(duì)信號(hào)處理芯片3111和存儲(chǔ)芯片3112加壓等，使對(duì)位后的凸塊3109彼此接合而電連接。
[0476]此外，對(duì)于凸塊3109間的接合，不限于基于固相擴(kuò)散的Cu凸塊接合，也可以采用基于釬焊熔融的微凸塊結(jié)合。另外，凸塊3109例如對(duì)于后述的一個(gè)像素塊設(shè)置一個(gè)左右即可。因此，凸塊3109的大小可以大于TO3104的間距。另外，在像素所排列的像素區(qū)域以外的周邊區(qū)域，也可以同時(shí)設(shè)置比像素區(qū)域所對(duì)應(yīng)的凸塊3109大的凸塊。
[0477]信號(hào)處理芯片3111具有將分別設(shè)置在表背面上的電路相互連接的TSV(硅貫穿電極)110。TSV3110優(yōu)選設(shè)置在周邊區(qū)域。另外，TSV3110也可以設(shè)置在拍攝芯片3113的周邊區(qū)域及存儲(chǔ)芯片3112上。
[0478]圖62是拍攝芯片3113的像素排列和像素塊3131的說明圖。在圖62中示出拍攝芯片3113的從背面?zhèn)扔^察到的情況。在像素區(qū)域3700中以矩陣狀排列有多個(gè)像素。在圖62中，相鄰的4像素X4像素的16像素形成一個(gè)像素塊3131。圖中的格線示出相鄰的像素被成組化而形成像素塊3131的概念。形成像素塊3131的像素的數(shù)量不限于此，也可以是1000個(gè)左右、例如32像素X64像素，可以是其以上也可以是其以下。
[0479]如像素區(qū)域3700的局部放大圖所示，像素塊3131在上下左右內(nèi)置有四個(gè)由綠色像素Gb、Gr、藍(lán)色像素B及紅色像素R這4個(gè)像素構(gòu)成的所謂拜耳陣列。綠色像素是作為彩色濾光片3102而具有綠色濾光片的像素，接受入射光中的綠色波段的光。同樣地，藍(lán)色像素是作為彩色濾光片3102而具有藍(lán)色濾光片的像素，接受藍(lán)色波段的光，紅色像素是作為彩色濾光片3102而具有紅色濾光片的像素，接受紅色波段的光。
[0480]在本實(shí)施方式中，選擇多個(gè)像素塊3131中的至少一個(gè)像素塊，在與其他像素塊不同的控制參數(shù)下，對(duì)各個(gè)像素塊所包含的像素進(jìn)行控制。關(guān)于控制參數(shù)的例子，是幀頻、間除率、將像素信號(hào)相加的相加行數(shù)、電荷的蓄存時(shí)間或蓄存次數(shù)、數(shù)字化的位數(shù)等。而且，控制參數(shù)也可以是從像素獲取圖像信號(hào)后的圖像處理中的參數(shù)。幀頻是指生成像素信號(hào)的周期。此外，在本說明書中，具有幀頻是指按每個(gè)像素塊3131的幀頻的情況。例如，基準(zhǔn)幀頻及高速幀頻是指按每個(gè)像素塊3131的幀頻。
[0481]圖63是與拍攝芯片3113的像素塊3131對(duì)應(yīng)的電路圖。圖中，作為代表，虛線所包圍的矩形示出與一個(gè)像素對(duì)應(yīng)的電路。此外，以下說明的各晶體管的至少一部分與圖61的晶體管3105對(duì)應(yīng)。
[0482]在圖63中，示出由16像素形成的像素塊3131，但像素塊3131的像素?cái)?shù)不限定于此。與各個(gè)像素對(duì)應(yīng)的16個(gè)TO3104分別與傳輸晶體管3302連接，各傳輸晶體管3302的各柵極與供給傳輸脈沖的TX布線3307連接。在圖63所示的例子中，TX布線3307相對(duì)于16個(gè)傳輸晶體管3302是共用連接的。
[0483]各傳輸晶體管3302的漏極與對(duì)應(yīng)的各重置晶體管3303的源極連接，并且，傳輸晶體管3302的漏極與重置晶體管3303的源極間的所謂浮置擴(kuò)散FD與放大晶體管3304的柵極連接。重置晶體管3303的漏極與供給電源電壓的Vdd布線3310連接，其柵極與供給重置脈沖的重置布線3306連接。在圖63所示的例子中，重置布線3306相對(duì)于16個(gè)重置晶體管3303是共用連接的。
[0484]各個(gè)放大晶體管3304的漏極與供給電源電壓的Vdd布線3310連接。另外，各個(gè)放大晶體管3304的源極與對(duì)應(yīng)的各個(gè)選擇晶體管3305的漏極連接。選擇晶體管的各柵極與供給選擇脈沖的解碼布線3308連接。在圖63所示的例子中，解碼布線3308相對(duì)于16個(gè)選擇晶體管3305是分別獨(dú)立設(shè)置的。而且，各個(gè)選擇晶體管3305的源極與共用的輸出布線3309連接。負(fù)載電流源3311向輸出布線3309供給電流。即，針對(duì)選擇晶體管3305的輸出布線3309由源極跟隨器形成。此外，負(fù)載電流源3311可以設(shè)置在拍攝芯片3113偵L也可以設(shè)置在信號(hào)處理芯片3111偵U。
[0485]在此，說明電荷的從蓄存開始直至蓄存結(jié)束后的像素輸出為止的流動(dòng)。若通過重置布線3306向重置晶體管3303施加重置脈沖，同時(shí)通過TX布線3307向傳輸晶體管3302施加傳輸脈沖，則Η)3104及浮置擴(kuò)散FD的電位被重置。
[0486]當(dāng)解除傳輸脈沖的施加時(shí)，PD3104將所接受的入射光轉(zhuǎn)換成電荷并進(jìn)行蓄存。然后，當(dāng)以沒有施加重置脈沖的狀態(tài)再次施加傳輸脈沖時(shí)，所蓄存的電荷被向浮置擴(kuò)散FD傳輸，浮置擴(kuò)散FD的電位從重置電位變?yōu)殡姾尚畲婧蟮男盘?hào)電位。而且，當(dāng)通過解碼布線3308向選擇晶體管3305施加選擇脈沖時(shí)，浮置擴(kuò)散FD的信號(hào)電位的變動(dòng)經(jīng)由放大晶體管3304及選擇晶體管3305而傳遞到輸出布線3309。由此，與重置電位和信號(hào)電位對(duì)應(yīng)的像素信號(hào)從單位像素輸出到輸出布線3309。
[0487]在圖63所示的例子中，對(duì)于形成像素塊3131的16像素，重置布線3306和TX布線3307是共用的。即，重置脈沖和傳輸脈沖分別對(duì)于全部的16像素是同時(shí)施加的。因此，形成像素塊3131的全部像素在相同定時(shí)開始電荷蓄存，并在相同定時(shí)結(jié)束電荷蓄存。但是，各個(gè)選擇晶體管3305根據(jù)選擇脈沖而被依次施加與所蓄存的電荷對(duì)應(yīng)的像素信號(hào)，并選擇性地輸出到輸出布線3309。另外，重置布線3306、TX布線3307、輸出布線3309按每個(gè)像素塊3131而單獨(dú)設(shè)置。
[0488]通過像這樣以像素塊3131為基準(zhǔn)來構(gòu)成電路，能夠按每個(gè)像素塊3131來控制電荷蓄存時(shí)間。換言之，在相鄰的像素塊3131彼此中，能夠分別輸出基于不同的電荷蓄存時(shí)間而得到的像素信號(hào)。再換言之，在使一個(gè)像素塊3131進(jìn)行一次電荷蓄存的期間，使另一個(gè)像素塊3131重復(fù)進(jìn)行多次電荷蓄存并輸出每次的像素信號(hào)，由此，也能夠在這些像素塊3131彼此中以不同幀頻輸出動(dòng)態(tài)圖像用的各幀。
[0489]圖64A示出拍攝元件3100的結(jié)構(gòu)的一部分及其動(dòng)作例。本例的拍攝元件3100除圖61所示的結(jié)構(gòu)以外，還具有存儲(chǔ)部3114。此外，存儲(chǔ)部3114可以設(shè)置在信號(hào)處理芯片3111上。該情況下，拍攝元件3100可以不具有存儲(chǔ)芯片3112。另外，存儲(chǔ)部3114也可以設(shè)置在存儲(chǔ)芯片3112上。
[0490]拍攝芯片3113具有像素區(qū)域3700，該像素區(qū)域3700配置有分別生成與入射光相應(yīng)的像素信號(hào)的多個(gè)像素。在此，像素區(qū)域3700可以將多個(gè)像素以二維方式排列而構(gòu)成。各像素塊3131在行方向及列方向上具有mXn個(gè)像素。在此，m、η為2以上的整數(shù)。像素區(qū)域3700具有沿行方向及列方向劃分的多個(gè)像素塊3131。如圖62所示，像素塊3131是指多個(gè)像素以矩陣狀配置而成的像素集合體。另外，行方向及列方向是指像素區(qū)域3700的面內(nèi)的兩個(gè)不同方向，可以不必相互正交。
[0491]為便于說明，在圖64Α至圖64C中，在行方向及列方向上各示出三個(gè)像素塊3131，但像素區(qū)域3700所包含的像素塊3131的數(shù)量可以更多。優(yōu)選各個(gè)像素塊3131所包含的像素?cái)?shù)相等。另外，優(yōu)選像素區(qū)域3700內(nèi)的各像素塊3131所包含的像素?cái)?shù)是固定的。像素塊3131由例如32X64像素構(gòu)成。
[0492]本例的信號(hào)處理芯片3111按每個(gè)像素塊3131具有多路復(fù)用器3411、A/D轉(zhuǎn)換器3412、信號(hào)分離器3413及控制部3740。多路復(fù)用器3411依次選擇對(duì)應(yīng)的像素塊3131所包含的像素，并將與所選擇的像素對(duì)應(yīng)的像素信號(hào)輸入到A/D轉(zhuǎn)換器3412。A/D轉(zhuǎn)換器3412將模擬像素信號(hào)轉(zhuǎn)換成數(shù)字像素?cái)?shù)據(jù)，并輸入到信號(hào)分離器3413。信號(hào)分離器3413在對(duì)應(yīng)的存儲(chǔ)塊3730中，將該像素?cái)?shù)據(jù)存儲(chǔ)到與該像素對(duì)應(yīng)的存儲(chǔ)區(qū)域。各個(gè)存儲(chǔ)塊3730將所存儲(chǔ)的像素?cái)?shù)據(jù)交付到后級(jí)的運(yùn)算電路。
[0493]存儲(chǔ)部3114與多個(gè)像素塊3131對(duì)應(yīng)地設(shè)置，并具有分別能夠存儲(chǔ)對(duì)應(yīng)的像素塊3131的像素?cái)?shù)據(jù)的多個(gè)存儲(chǔ)塊3730。存儲(chǔ)塊3730與像素塊3131 —一對(duì)應(yīng)。存儲(chǔ)塊3730可以經(jīng)由總線3720而與對(duì)應(yīng)的像素塊3131連接。存儲(chǔ)塊3730可以是緩沖存儲(chǔ)器。
[0494]另外，至少一部分的存儲(chǔ)塊3730也能夠存儲(chǔ)對(duì)應(yīng)的像素塊3131以外的像素塊的像素?cái)?shù)據(jù)。也就是說，一個(gè)存儲(chǔ)塊3730可以被多個(gè)像素塊3131所共有。換言之，控制部3740能夠使一個(gè)像素塊3131的像素?cái)?shù)據(jù)存儲(chǔ)在多個(gè)存儲(chǔ)塊3730中。通過使存儲(chǔ)塊3730被共有，能夠如后述那樣高效地利用多個(gè)存儲(chǔ)塊3730，因此能夠抑制存儲(chǔ)部3114整體的存儲(chǔ)容量。
[0495]此外，對(duì)于全部像素塊3131，優(yōu)選像素?cái)?shù)據(jù)除對(duì)應(yīng)的存儲(chǔ)塊3730以外，也能夠讀寫于至少一個(gè)其他存儲(chǔ)塊3730。該其他存儲(chǔ)塊3730可以按每個(gè)像素塊3131而預(yù)先確定，也可以動(dòng)態(tài)變更。另外，對(duì)于全部存儲(chǔ)塊3730，優(yōu)選除對(duì)應(yīng)的像素塊3131以外，也能夠?qū)χ辽僖粋€(gè)其他像素塊3131的像素?cái)?shù)據(jù)進(jìn)行讀寫。該其他像素塊3131可以按每個(gè)存儲(chǔ)塊3730而預(yù)先確定，也可以動(dòng)態(tài)變更。
[0496]此外，各個(gè)存儲(chǔ)塊3730可以是在信號(hào)處理芯片3111中，在與對(duì)應(yīng)的像素塊3131重疊的區(qū)域按各個(gè)像素塊3131而設(shè)置的存儲(chǔ)器。也就是說，存儲(chǔ)塊3730可以在信號(hào)處理芯片3111中，設(shè)置在對(duì)應(yīng)的像素塊3131的正下區(qū)域。該情況下，像素塊3131及存儲(chǔ)塊3730可以通過TSV而電連接。另外，在信號(hào)處理芯片3111中，在與各像素塊3131重疊的區(qū)域，設(shè)有對(duì)應(yīng)的存儲(chǔ)塊3730及A/D轉(zhuǎn)換器3412等。另外，各個(gè)存儲(chǔ)塊3730也可以是在信號(hào)處理芯片3111上，分別設(shè)置在與拍攝區(qū)域3700重疊的區(qū)域的外側(cè)的存儲(chǔ)器。
[0497]另外，在各個(gè)存儲(chǔ)塊3730及A/D轉(zhuǎn)換器3412設(shè)置于與對(duì)應(yīng)的像素塊3131重疊的區(qū)域的情況下，在各個(gè)存儲(chǔ)塊3730存儲(chǔ)對(duì)應(yīng)的像素塊3131以外的像素塊3131的像素?cái)?shù)據(jù)時(shí)，可以將模擬像素信號(hào)傳送至該存儲(chǔ)塊3730的設(shè)置區(qū)域，也可以將數(shù)字像素?cái)?shù)據(jù)傳送至該存儲(chǔ)塊3730的設(shè)置區(qū)域。在前者的情況下，與該存儲(chǔ)塊3730對(duì)應(yīng)的A/D轉(zhuǎn)換器3412將像素信號(hào)轉(zhuǎn)換成像素?cái)?shù)據(jù)之后輸入到該存儲(chǔ)塊3730中。在后者的情況下，在與本像素塊3131重疊的區(qū)域上的A/D轉(zhuǎn)換器3412中，將像素信號(hào)轉(zhuǎn)換成像素?cái)?shù)據(jù)之后將該像素?cái)?shù)據(jù)傳送到應(yīng)存儲(chǔ)該像素?cái)?shù)據(jù)的存儲(chǔ)塊3730。在信號(hào)處理芯片3111上設(shè)有用于傳送這些像素信號(hào)或像素?cái)?shù)據(jù)的布線。
[0498]圖64B示出拍攝元件3100的其他動(dòng)作例。此外，在圖64B中，省略了圖64A所示的信號(hào)處理芯片3111的結(jié)構(gòu)。在本例中，將多個(gè)像素塊3131中的、像素塊3712的像素?cái)?shù)據(jù)存儲(chǔ)到對(duì)應(yīng)的存儲(chǔ)塊3734以外的其他存儲(chǔ)塊3731、732及733的任一個(gè)中。在本例中，將像素塊3712所生成的模擬像素信號(hào)通過與其他存儲(chǔ)塊3731?733對(duì)應(yīng)的A/D轉(zhuǎn)換器3412而轉(zhuǎn)換成數(shù)字像素?cái)?shù)據(jù)。像這樣，由于能夠?qū)⑷我幌袼貕K3712的像素?cái)?shù)據(jù)存儲(chǔ)到多個(gè)存儲(chǔ)塊3731?734中，所以能夠提高存儲(chǔ)器的使用效率。
[0499]例如，多個(gè)像素塊3131可以在與幀頻相應(yīng)的定時(shí)生成以按每個(gè)像素塊3131而不同的幀頻拍攝到的被攝物體的像素信號(hào)。如后所述，控制部3740至少根據(jù)基準(zhǔn)幀頻及周期比該基準(zhǔn)幀頻短的高速幀頻這雙方，按每個(gè)像素塊3131來選擇對(duì)應(yīng)的存儲(chǔ)塊3730。高速幀頻的周期可以是基準(zhǔn)幀頻的周期的整數(shù)量的I倍。各個(gè)像素塊3131可以按幀頻的每個(gè)周期來輸出I塊的量的像素信號(hào)。
[0500]在本例中，說明像素塊3712的幀頻為基準(zhǔn)幀頻的5倍的情況。另外，在與基準(zhǔn)幀頻的像素塊3131輸出像素信號(hào)大致同時(shí)，高速幀頻的像素塊3712也輸出像素信號(hào)。該情況下，至像素塊3131輸出下一像素信號(hào)為止，像素塊3712輸出四次像素信號(hào)。
[0501]控制部3740在基準(zhǔn)幀頻的像素塊3131不輸出像素信號(hào)時(shí)，將與高速幀頻的像素塊3712四次輸出的像素信號(hào)相應(yīng)的像素?cái)?shù)據(jù)分別存儲(chǔ)到多個(gè)存儲(chǔ)塊3731?734中。此夕卜，和各個(gè)像素塊與基準(zhǔn)幀頻同步地輸出的像素信號(hào)相應(yīng)的、I幀量的像素?cái)?shù)據(jù)可以存儲(chǔ)在與多個(gè)存儲(chǔ)塊3730不同的存儲(chǔ)器中，另外，也可以在暫時(shí)存儲(chǔ)于多個(gè)存儲(chǔ)塊3730中后，在以高速幀頻動(dòng)作的像素塊3712的下一像素?cái)?shù)據(jù)輸入到多個(gè)存儲(chǔ)塊3730之前，交付到存儲(chǔ)塊3730的后級(jí)的存儲(chǔ)器或電路。由此，能夠高效地使用多個(gè)存儲(chǔ)塊。
[0502]控制部3740在與高速幀頻的像素塊3712對(duì)應(yīng)的存儲(chǔ)塊3734中已經(jīng)存儲(chǔ)有像素?cái)?shù)據(jù)的情況下，將與本像素塊3712對(duì)應(yīng)的像素?cái)?shù)據(jù)存儲(chǔ)到?jīng)]有存儲(chǔ)像素?cái)?shù)據(jù)的存儲(chǔ)塊3731、732、或733的任一個(gè)中。也就是說，控制部3740將高速幀頻的像素塊3712的像素?cái)?shù)據(jù)分配存儲(chǔ)到對(duì)應(yīng)的存儲(chǔ)塊3734以外的、沒有存儲(chǔ)像素?cái)?shù)據(jù)的存儲(chǔ)塊3731、732及733中。此時(shí)，所分配的像素?cái)?shù)據(jù)可以具有自身所對(duì)應(yīng)的像素塊3712的像素區(qū)域3700中的位置數(shù)據(jù)、及表示自身所屬的幀的幀數(shù)據(jù)來作為附加數(shù)據(jù)。應(yīng)被分配像素?cái)?shù)據(jù)的存儲(chǔ)塊3730的位置可以按每個(gè)像素塊3712而固定，也可以動(dòng)態(tài)變化。在應(yīng)被進(jìn)行分配的存儲(chǔ)塊3730的位置按每個(gè)像素塊3131而固定的情況下，能夠從附加數(shù)據(jù)省略位置數(shù)據(jù)。
[0503]圖64C示出拍攝元件3100的其他動(dòng)作例。此外，在圖64C中，省略了圖64A所示的信號(hào)處理芯片3111的結(jié)構(gòu)。本例也與圖64B的例子同樣地，將像素塊3712的像素?cái)?shù)據(jù)存儲(chǔ)到對(duì)應(yīng)的存儲(chǔ)塊3734以外的其他存儲(chǔ)塊3735?3737的任一個(gè)中。但是本例中，在與像素塊3712重疊的區(qū)域上的A/D轉(zhuǎn)換器3412中將像素信號(hào)轉(zhuǎn)換成像素?cái)?shù)據(jù)后，將該像素?cái)?shù)據(jù)向應(yīng)存儲(chǔ)該像素?cái)?shù)據(jù)的存儲(chǔ)塊傳送。在本例中，該像素?cái)?shù)據(jù)在各存儲(chǔ)塊間移動(dòng)。
[0504]本例的控制部3740在與高速幀頻的像素塊3712對(duì)應(yīng)的存儲(chǔ)塊3734中已經(jīng)存儲(chǔ)有像素?cái)?shù)據(jù)的情況下，使存儲(chǔ)塊3734的像素?cái)?shù)據(jù)向沒有存儲(chǔ)像素?cái)?shù)據(jù)的存儲(chǔ)塊3735、3736、3737、3738移動(dòng)，并存儲(chǔ)到各個(gè)存儲(chǔ)塊中，在該方面與圖64B所示的實(shí)施方式不同。也就是說，在本例中，存儲(chǔ)部3114以能夠在存儲(chǔ)塊間實(shí)現(xiàn)數(shù)據(jù)收發(fā)的方式，使存儲(chǔ)塊彼此通過布線而連接。
[0505]控制部3740使存儲(chǔ)塊3734的像素?cái)?shù)據(jù)向沒有存儲(chǔ)像素?cái)?shù)據(jù)的存儲(chǔ)塊3735、3736、3737,3738的任一個(gè)移動(dòng)并存儲(chǔ)。優(yōu)選的是，控制部3740以朝向與像素區(qū)域3700的最外周的像素塊3131對(duì)應(yīng)的存儲(chǔ)塊的方式，使存儲(chǔ)塊3734的像素?cái)?shù)據(jù)移動(dòng)并存儲(chǔ)。由于隨著從幀頻高的像素塊3712向像素區(qū)域3700的外周方向遠(yuǎn)離而像素塊3131的幀頻降低的情況較多，所以優(yōu)選控制部3740使像素?cái)?shù)據(jù)向外周方向以二維方式分散。由此，即使不增加緩沖存儲(chǔ)器的容量，通過平均地利用多個(gè)存儲(chǔ)塊3730，也能夠抑制存儲(chǔ)部3114整體的存儲(chǔ)器的容量。此外，控制部3740可以基于各像素塊3131的幀頻信息，選擇與最外周以外的像素塊3131對(duì)應(yīng)的存儲(chǔ)塊3730并將該像素?cái)?shù)據(jù)寫入。
[0506]在本例中，應(yīng)有像素?cái)?shù)據(jù)分散的存儲(chǔ)塊的位置可以是固定的，也可以是動(dòng)態(tài)變化的。在應(yīng)有分散的存儲(chǔ)塊的位置是固定的情況下，能夠從應(yīng)附加于移動(dòng)的像素?cái)?shù)據(jù)的附加數(shù)據(jù)省略位置數(shù)據(jù)。該情況下，更優(yōu)選應(yīng)有像素?cái)?shù)據(jù)分散的存儲(chǔ)塊是與像素區(qū)域3700的最外周的像素塊3131對(duì)應(yīng)的存儲(chǔ)塊。另外，各個(gè)存儲(chǔ)塊3730所存儲(chǔ)的像素?cái)?shù)據(jù)可以與高速幀頻同步地依次移動(dòng)。由此，能夠?qū)⑾袼財(cái)?shù)據(jù)在分開的存儲(chǔ)塊3730之間傳送。通過重復(fù)該像素?cái)?shù)據(jù)的移動(dòng)，能夠使像素?cái)?shù)據(jù)移動(dòng)到任意存儲(chǔ)塊3730中。
[0507]后述的運(yùn)算電路3415對(duì)存儲(chǔ)在存儲(chǔ)塊3730中的像素?cái)?shù)據(jù)進(jìn)行處理后將其交付到后級(jí)的圖像處理部。運(yùn)算電路3415可以設(shè)置在信號(hào)處理芯片3111上，也可以設(shè)置在存儲(chǔ)部3114上。此外，圖中示出與一個(gè)像素塊3131相應(yīng)的連接，但實(shí)際上這些連接按每個(gè)像素塊3131而存在，且并行地動(dòng)作。但是，運(yùn)算電路3415可以不按每個(gè)像素塊3131而存在，也可以是例如，一個(gè)運(yùn)算電路一邊按順序參照與各個(gè)像素塊3131對(duì)應(yīng)的存儲(chǔ)塊3730的值一邊按序進(jìn)行處理。
[0508]如上所述，與像素塊3131分別對(duì)應(yīng)地設(shè)有輸出布線3309。拍攝元件3100由于將拍攝芯片3113、信號(hào)處理芯片3111及存儲(chǔ)部3114層疊，所以通過對(duì)這些輸出布線3309利用使用了凸塊3109的芯片間的電連接，能夠不在面方向上增大各芯片地將布線拉繞。
[0509]此外，在控制部3740中提供有與各像素塊3131的幀頻有關(guān)的頻率信息?？刂撇?740基于該頻率信息，選擇應(yīng)對(duì)高速幀頻的像素塊3131的像素?cái)?shù)據(jù)進(jìn)行存儲(chǔ)的存儲(chǔ)塊3730。例如控制部3740將與基準(zhǔn)幀頻的像素塊3131對(duì)應(yīng)的存儲(chǔ)塊3730作為應(yīng)對(duì)該像素?cái)?shù)據(jù)進(jìn)行存儲(chǔ)的存儲(chǔ)塊3730。另外，也可以是，控制部3740基于該頻率信息，在圖64C所示的方式中，確定供像素?cái)?shù)據(jù)移動(dòng)的路線。例如控制部3740在使各存儲(chǔ)塊3730的像素?cái)?shù)據(jù)移動(dòng)的情況下，選擇與該存儲(chǔ)塊3730相鄰且與基準(zhǔn)幀頻對(duì)應(yīng)的存儲(chǔ)塊3730中的、與高速幀頻所對(duì)應(yīng)的存儲(chǔ)塊3730的距離增大的存儲(chǔ)塊3730。
[0510]圖65是表示本實(shí)施方式的拍攝裝置的結(jié)構(gòu)的框圖。拍攝裝置3500具有作為攝影光學(xué)系統(tǒng)的攝影透鏡3520，攝影透鏡3520將沿著光軸OA入射的被攝物體光束向拍攝元件3100引導(dǎo)。攝影透鏡3520可以是相對(duì)于拍攝裝置3500能夠裝拆的更換式透鏡。拍攝裝置3500主要具有拍攝元件3100、系統(tǒng)控制部3501、驅(qū)動(dòng)部3502、測(cè)光部3503、工作存儲(chǔ)器3504、記錄部3505及顯示部3506。
[0511]攝影透鏡3520由多個(gè)光學(xué)透鏡組構(gòu)成，并使來自場(chǎng)景的被攝物體光束在其焦點(diǎn)面附近成像。此外，圖61中以配置在光瞳附近的假想的一枚透鏡代表該攝影透鏡3520而表示。驅(qū)動(dòng)部3502是根據(jù)來自系統(tǒng)控制部3501的指示來執(zhí)行拍攝元件3100的定時(shí)控制、區(qū)域控制等的電荷蓄存控制的控制電路。在該意義上，驅(qū)動(dòng)部3502可以說承擔(dān)了使拍攝元件3100執(zhí)行電荷蓄存并輸出像素信號(hào)的拍攝元件控制部的功能。
[0512]拍攝元件3100將像素信號(hào)向系統(tǒng)控制部3501的圖像處理部3511交付。圖像處理部3511將工作存儲(chǔ)器3504作為工作區(qū)域來實(shí)施各種圖像處理而生成圖像數(shù)據(jù)。例如，在生成JPEG文件格式的圖像數(shù)據(jù)的情況下，從以拜耳陣列得到的信號(hào)生成彩色影像信號(hào)后執(zhí)行壓縮處理。所生成的圖像數(shù)據(jù)被記錄在記錄部3505中，并且，被轉(zhuǎn)換成顯示信號(hào)并在預(yù)先設(shè)定的時(shí)間中，顯示在顯示部3506上。
[0513]測(cè)光部3503在生成圖像數(shù)據(jù)的一系列攝影過程之前，檢測(cè)場(chǎng)景的亮度分布。測(cè)光部3503包含例如100萬像素左右的AE傳感器。系統(tǒng)控制部3501的運(yùn)算部3512接受測(cè)光部3503的輸出并計(jì)算出場(chǎng)景的每個(gè)區(qū)域的亮度。運(yùn)算部3512根據(jù)所計(jì)算出的亮度分布來確定快門速度、光圈值、ISO感光度。也可以將拍攝元件3100兼用為測(cè)光部3503。此外，運(yùn)算部3512也執(zhí)行用于使拍攝裝置3500動(dòng)作的各種運(yùn)算。
[0514]驅(qū)動(dòng)部3502可以是一部分或全部搭載在拍攝芯片3113上，也可以是一部分或全部搭載在信號(hào)處理芯片3111上。系統(tǒng)控制部3501的一部分可以搭載在拍攝芯片3113或信號(hào)處理芯片3111上。
[0515]圖66是圖像處理部的功能框圖。本例的圖像處理部3511將以基準(zhǔn)幀頻動(dòng)作的像素塊3131 (后述的周邊區(qū)域3176)、和以高速幀頻動(dòng)作的像素塊3131 (后述的注視區(qū)域3172)提取出。圖像處理部3511除上述功能以外，還具有被攝物體推定部3150、組選擇部3152、動(dòng)態(tài)圖像生成部3154及動(dòng)態(tài)圖像合成部3156。這些各功能將在后敘述。
[0516]圖67是表示拍攝裝置生成并記錄動(dòng)態(tài)圖像的動(dòng)作的流程圖。圖68及圖69示出由拍攝元件拍攝到的圖像的一例。圖70示出各幀頻與圖像信號(hào)的輸出定時(shí)的關(guān)系。
[0517]圖67的動(dòng)作在通過用戶按下錄像按鈕等而對(duì)拍攝裝置3500指示生成動(dòng)態(tài)圖像時(shí)開始。首先，被攝物體推定部3150對(duì)驅(qū)動(dòng)部3502進(jìn)行驅(qū)動(dòng)來獲取基于來自拍攝元件3100的圖像信號(hào)的圖像數(shù)據(jù)，并對(duì)包含在該圖像數(shù)據(jù)所表示的圖像中的主要被攝物體進(jìn)行推定(S3100)。
[0518]該情況下，優(yōu)選驅(qū)動(dòng)部3502從整個(gè)拍攝區(qū)域所包含的像素塊3131、例如全部像素塊3131輸出圖像信號(hào)。另外，驅(qū)動(dòng)部3502可以從各像素塊3131所包含的全部像素輸出圖像信號(hào)，也可以從以預(yù)先確定的間除率間除后的像素輸出圖像信號(hào)。被攝物體推定部3150對(duì)從拍攝元件3100按時(shí)序得到的多幅圖像進(jìn)行比較，將移動(dòng)中的被攝物體特定為主要被攝物體。此外，對(duì)于主要被攝物體的推定也可以使用其他方法。
[0519]例如，被攝物體推定部3150在從拍攝元件3100獲取圖68的圖像3170及圖69的圖像3178作為時(shí)間上的前后圖像的情況下，根據(jù)其差量將兒童特定為主要被攝物體3171。此外，圖像3170及圖像3178中的格線表示像素塊3131的邊界，但像素塊3131的數(shù)量?jī)H為例示，不限于這些圖所示的數(shù)量。
[0520]組選擇部3152至少選擇一個(gè)由被攝物體推定部3150推定的主要被攝物體3171的像光所入射的像素塊3131 (S3102)。例如，在圖像3170中，選擇至少包含主要被攝物體3171的一部分的像素塊3131。而且，考慮到主要被攝物體3171會(huì)在拍攝區(qū)域內(nèi)移動(dòng)的情況，優(yōu)選組選擇部3152還選擇至少包含主要被攝物體3171的一部分的像素塊3131的進(jìn)一步周圍的像素塊3131。
[0521]組選擇部3152將這些選擇的像素塊3131的集合作為注視區(qū)域3172。而且組選擇部3152將由整個(gè)拍攝區(qū)域中沒有包含于注視區(qū)域3172的像素塊3131構(gòu)成的集合作為周邊區(qū)域3176。組選擇部3152對(duì)表示注視區(qū)域3172相對(duì)于整個(gè)拍攝區(qū)域的范圍的區(qū)域信息3174進(jìn)行特定。
[0522]在圖68所示的例子中，注視區(qū)域3172是由橫向7個(gè)、縱向4個(gè)、共計(jì)28個(gè)像素塊3131構(gòu)成的矩形區(qū)域。與之相對(duì)，周邊區(qū)域3176由從作為拍攝區(qū)域的橫向21個(gè)、縱向6個(gè)、共計(jì)126個(gè)像素塊3131除去注視區(qū)域3172后的98個(gè)像素塊3131構(gòu)成。另外，作為區(qū)域信息3174，特定出拍攝區(qū)域中的、注視區(qū)域3172的圖中左上端的像素塊3131的從左端及上端起所數(shù)的位置(9、2)。而且作為尺寸信息，特定出注視區(qū)域3172的橫縱數(shù)7X4。
[0523]組選擇部3152將對(duì)注視區(qū)域3172所包含的像素塊3131進(jìn)行特定的信息和對(duì)周邊區(qū)域3176進(jìn)行特定的信息傳遞到驅(qū)動(dòng)部3502。該情況下，一并傳遞對(duì)注視區(qū)域3172和周邊區(qū)域3176分別適用的幀頻的信息。在此，優(yōu)選對(duì)注視區(qū)域3172適用的幀頻比對(duì)周邊區(qū)域3176適用的幀頻高。例如，在對(duì)周邊區(qū)域3176適用的幀頻為60fps的情況下，將對(duì)注視區(qū)域3172適用的幀頻設(shè)定為180fps。優(yōu)選這些幀頻的值被預(yù)先設(shè)定，并以能夠被組選擇部3152參照的方式存儲(chǔ)，但也可以由用戶之后將值修改。
[0524]驅(qū)動(dòng)部3502驅(qū)動(dòng)拍攝元件3100來以各幀頻進(jìn)行拍攝(S3104)。S卩，驅(qū)動(dòng)部3502對(duì)于注視區(qū)域3172所包含的像素塊3131，以高幀頻執(zhí)行電荷蓄存及圖像信號(hào)的輸出，對(duì)于周邊區(qū)域3176所包含的像素塊3131，以低幀頻執(zhí)行電荷蓄存及圖像信號(hào)的輸出。換言之，驅(qū)動(dòng)部3502在對(duì)于周邊區(qū)域3176所包含的像素塊3131得到與I幀對(duì)應(yīng)的圖像信號(hào)的期間，對(duì)于注視區(qū)域3172所包含的像素塊3131得到與時(shí)序排列的多個(gè)幀對(duì)應(yīng)的圖像信號(hào)。
[0525]例如，在周邊區(qū)域3176的幀頻為60fps、且將注視區(qū)域3172的幀頻設(shè)定為180fps的情況下，如圖70所示，驅(qū)動(dòng)部3502在到從周邊區(qū)域3176得到I個(gè)幀BI的圖像信號(hào)的時(shí)間l/60s為止的期間，從注視區(qū)域3172得到3個(gè)幀Al、A2、A3的圖像信號(hào)(l/60s =3X l/180s)。該情況下，驅(qū)動(dòng)部3502通過個(gè)別地驅(qū)動(dòng)周邊區(qū)域3176所包含的像素塊3131的重置晶體管3303、傳輸晶體管3302及選擇晶體管3305的組、和注視區(qū)域3172所包含的像素塊3131的重置晶體管3303、傳輸晶體管3302及選擇晶體管3305的組，而以不同幀頻得到圖像信號(hào)。
[0526]此外，圖70示出了圖像信號(hào)的輸出定時(shí)，但并不是連曝光時(shí)間的長(zhǎng)度也示出。驅(qū)動(dòng)部3502以成為由運(yùn)算部3512預(yù)先計(jì)算出的曝光時(shí)間的方式，對(duì)于周邊區(qū)域3176和注視區(qū)域3172驅(qū)動(dòng)上述晶體管的組。
[0527]除此以外，也可以根據(jù)幀頻來改變曝光時(shí)間的長(zhǎng)度。例如在圖70所示的例子中，也可以將周邊區(qū)域3176的I幀的曝光時(shí)間設(shè)為1/3倍，而成為與注視區(qū)域3172實(shí)質(zhì)相同的曝光時(shí)間。另外，還可以在圖像信號(hào)的輸出后以幀頻比來修正該圖像信號(hào)。另外，在周邊區(qū)域3176與注視區(qū)域3172之間，圖像信號(hào)的輸出定時(shí)可以不像圖70那樣同步，而是非同步的。
[0528]圖像處理部3511按每一幀將來自注視區(qū)域3172的圖像信號(hào)依次存儲(chǔ)到工作存儲(chǔ)器3504的預(yù)先確定的存儲(chǔ)區(qū)域中(S3106)。同樣地，圖像處理部3511按每一幀將來自周邊區(qū)域3176的圖像信號(hào)依次存儲(chǔ)到工作存儲(chǔ)器3504的預(yù)先確定的存儲(chǔ)區(qū)域中(同一步驟)。如在圖64A至圖64C中說明那樣，工作存儲(chǔ)器3504具有多個(gè)存儲(chǔ)塊3730。工作存儲(chǔ)器3504可以是由與各個(gè)像素塊3131對(duì)應(yīng)的存儲(chǔ)器組構(gòu)成的存儲(chǔ)器。
[0529]動(dòng)態(tài)圖像生成部3154讀出存儲(chǔ)在工作存儲(chǔ)器3504中的注視區(qū)域3172的圖像信號(hào)(S3108)，并生成注視區(qū)域3172的包含多個(gè)幀的注視區(qū)域動(dòng)態(tài)圖像的數(shù)據(jù)(S3110)。同樣地，動(dòng)態(tài)圖像生成部3154讀出存儲(chǔ)在工作存儲(chǔ)器3504中的周邊區(qū)域3176的圖像信號(hào)，并生成周邊區(qū)域3176的包含多個(gè)幀的周邊區(qū)域動(dòng)態(tài)圖像的數(shù)據(jù)(同一步驟)。在此，注視區(qū)域動(dòng)態(tài)圖像及周邊區(qū)域動(dòng)態(tài)圖像可以分別以MPEG那樣的通用格式生成并能夠分別單獨(dú)再現(xiàn)，也可以以若不經(jīng)由后述的合成處理則無法再現(xiàn)的專用格式生成。
[0530]圖71示意地示出由動(dòng)態(tài)圖像生成部生成的注視區(qū)域動(dòng)態(tài)圖像及周邊區(qū)域動(dòng)態(tài)圖像。動(dòng)態(tài)圖像生成部3154以與驅(qū)動(dòng)部3502驅(qū)動(dòng)注視區(qū)域3172的幀頻對(duì)應(yīng)的幀頻，來生成注視區(qū)域動(dòng)態(tài)圖像。在圖71所示的例子中，以與驅(qū)動(dòng)部3502驅(qū)動(dòng)注視區(qū)域3172的幀頻l/180fps相同的巾貞頻l/180fps,來生成注視區(qū)域動(dòng)態(tài)圖像。
[0531]同樣地，動(dòng)態(tài)圖像生成部3154以與驅(qū)動(dòng)部3502驅(qū)動(dòng)周邊區(qū)域3176的幀頻對(duì)應(yīng)的幀頻，來生成周邊區(qū)域動(dòng)態(tài)圖像。在圖71所示的例子中，以與驅(qū)動(dòng)部3502驅(qū)動(dòng)周邊區(qū)域3176的幀頻l/60fps相同的幀頻l/60fps，來生成周邊區(qū)域動(dòng)態(tài)圖像。此外，在周邊區(qū)域動(dòng)態(tài)圖像中，在與注視區(qū)域3172對(duì)應(yīng)的區(qū)域不存在有效值，圖中以斜線表示。
[0532]而且，動(dòng)態(tài)圖像生成部3154還對(duì)注視區(qū)域動(dòng)態(tài)圖像及周邊區(qū)域動(dòng)態(tài)圖像附加標(biāo)題信息，并將其數(shù)據(jù)記錄到記錄部3505中(S3112)。標(biāo)題信息包含:表示注視區(qū)域3172相對(duì)于整個(gè)拍攝區(qū)域的位置的區(qū)域信息、表示注視區(qū)域3172的大小的尺寸信息、及表示注視區(qū)域3172的圖像信號(hào)的輸出定時(shí)與周邊區(qū)域3176的圖像信號(hào)的輸出定時(shí)之間的關(guān)系的定時(shí)信息。
[0533]系統(tǒng)控制部3501判斷是否進(jìn)行下一單位時(shí)間的拍攝(S3114)。關(guān)于是否進(jìn)行下一單位時(shí)間的拍攝，以該時(shí)刻是否由用戶按下動(dòng)態(tài)圖像的記錄按鈕來判斷。在進(jìn)行下一單位時(shí)間的拍攝的情況下(S3114:是)，返回上述步驟S3102，在不進(jìn)行下一單位時(shí)間的拍攝的情況下(S3114:否)，結(jié)束該動(dòng)作。
[0534]在此，“單位時(shí)間”是預(yù)先設(shè)定于系統(tǒng)控制部3501的時(shí)間，為數(shù)秒左右。根據(jù)該單位時(shí)間、注視區(qū)域3172的幀頻及像素塊數(shù)、以及周邊區(qū)域3176的幀頻及像素塊數(shù)，來確定在步驟S3106中用于存儲(chǔ)的存儲(chǔ)容量。另外，基于這些信息，確定在該存儲(chǔ)容量中存儲(chǔ)注視區(qū)域3172的數(shù)據(jù)的區(qū)域、和存儲(chǔ)周邊區(qū)域3176的數(shù)據(jù)的區(qū)域。
[0535]根據(jù)以上，能夠從包含主要被攝物體3171的注視區(qū)域3172以高幀頻得到圖像信號(hào)，并且能夠?qū)⒅苓厖^(qū)域3176抑制為低幀頻，從而能夠減少數(shù)據(jù)量。由此，與從全部像素進(jìn)行高速讀出相比，能夠減少驅(qū)動(dòng)及圖像處理的負(fù)荷，并抑制耗電及發(fā)熱。
[0536]此外，在圖67所示的例子中下一單位時(shí)間開始時(shí)，在步驟S3102中重新選擇像素塊3131，并更新區(qū)域信息及尺寸信息。由此，能夠追隨主要被攝物體3171而將注視區(qū)域3172逐次更新。在圖71所示的例子中，在注視區(qū)域動(dòng)態(tài)圖像中的單位時(shí)間的第一幀A7中，選擇由與以前的單位時(shí)間的最后幀A6不同的像素塊3131構(gòu)成的注視區(qū)域3182，并且，與之相伴地也更新了區(qū)域信息3184及周邊區(qū)域3186。
[0537]圖72示出動(dòng)態(tài)圖像生成部所附加的標(biāo)題信息的一例。圖72的標(biāo)題信息包含:對(duì)注視區(qū)域動(dòng)態(tài)圖像進(jìn)行特定的注視區(qū)域動(dòng)態(tài)圖像ID、注視區(qū)域動(dòng)態(tài)圖像的幀頻、對(duì)與該注視區(qū)域動(dòng)態(tài)圖像對(duì)應(yīng)的周邊區(qū)域動(dòng)態(tài)圖像進(jìn)行特定的周邊區(qū)域動(dòng)態(tài)圖像ID、周邊區(qū)域動(dòng)態(tài)圖像的幀頻、定時(shí)信息、區(qū)域信息及尺寸信息。這些標(biāo)題信息可以作為標(biāo)題信息而附加于注視區(qū)域動(dòng)態(tài)圖像及周邊區(qū)域動(dòng)態(tài)圖像的某一方，也可以附加于其雙方。
[0538]圖73是表示拍攝裝置再現(xiàn)動(dòng)態(tài)圖像來進(jìn)行顯示的動(dòng)作的流程圖。該動(dòng)作通過用戶對(duì)以縮略圖顯示在顯示部3506上的注視區(qū)域動(dòng)態(tài)圖像的某一個(gè)進(jìn)行特定并按下再現(xiàn)按鈕而開始。
[0539]動(dòng)態(tài)圖像合成部3156從記錄部3505讀出由用戶特定的注視區(qū)域動(dòng)態(tài)圖像的數(shù)據(jù)(S3150)。動(dòng)態(tài)圖像合成部3156從記錄部3505讀出與該注視區(qū)域動(dòng)態(tài)圖像對(duì)應(yīng)的周邊區(qū)域動(dòng)態(tài)圖像的數(shù)據(jù)(S3152)。
[0540]該情況下，動(dòng)態(tài)圖像合成部3156通過在步驟S3150中讀出的注視區(qū)域動(dòng)態(tài)圖像的標(biāo)題信息所示的周邊區(qū)域動(dòng)態(tài)圖像ID來特定周邊區(qū)域動(dòng)態(tài)圖像。也可以取而代之，檢索將與標(biāo)題信息所示的定時(shí)信息相同的定時(shí)信息包含為標(biāo)題信息的周邊區(qū)域圖像并進(jìn)行特定。
[0541]此外，在上述例子中在注視區(qū)域動(dòng)態(tài)圖像中包含標(biāo)題信息。另一方面，在注視區(qū)域動(dòng)態(tài)圖像中不包含標(biāo)題信息而在周邊區(qū)域動(dòng)態(tài)圖像中包含標(biāo)題信息的情況下，也可以是，首先在步驟S150中，用戶特定周邊區(qū)域動(dòng)態(tài)圖像并讀出，并根據(jù)其標(biāo)題信息在步驟S152中特定注視區(qū)域動(dòng)態(tài)圖像并讀出。
[0542]動(dòng)態(tài)圖像合成部3156使用注視區(qū)域動(dòng)態(tài)圖像的幀和周邊區(qū)域動(dòng)態(tài)圖像的幀，來合成顯示動(dòng)態(tài)圖像的幀(S3154)。該情況下，首先，將注視區(qū)域動(dòng)態(tài)圖像的第一幀Al嵌入到周邊區(qū)域動(dòng)態(tài)圖像的第一幀BI中的區(qū)域信息3174所示的位置，由此合成顯示動(dòng)態(tài)圖像的第一巾貞Cl。如圖71所示,動(dòng)態(tài)圖像合成部3156使顯示動(dòng)態(tài)圖像的第一巾貞Cl顯示在顯示部3506 上(S3156)。
[0543]動(dòng)態(tài)圖像合成部3156判斷在至周邊區(qū)域動(dòng)態(tài)圖像中的下一幀B2之間是否存在注視區(qū)域動(dòng)態(tài)圖像的下一幀(S3158)。動(dòng)態(tài)圖像合成部3156在存在注視區(qū)域動(dòng)態(tài)圖像的下一幀的情況下(S3158:是)，以下面的幀A2、A3將注視區(qū)域3172更新并且將周邊區(qū)域3176保持為前一幀BI (S3162)，由此合成顯示動(dòng)態(tài)圖像的下面的幀C2、C3(S162)并依次進(jìn)行顯示(S3156)。
[0544]另一方面，在步驟S3158中，在至周邊區(qū)域動(dòng)態(tài)圖像中的下一幀B2之間不存在注視區(qū)域動(dòng)態(tài)圖像的下一幀的情況下(S3158)，動(dòng)態(tài)圖像合成部3156以下一幀A4將注視區(qū)域3172更新并且也以下一幀B2將周邊區(qū)域3176更新(S3164)，由此合成顯示動(dòng)態(tài)圖像的下一幀C4(S3162)并進(jìn)行顯示(S3156)。
[0545]只要在周邊區(qū)域動(dòng)態(tài)圖像中存在周邊區(qū)域3176的下一幀(S3160:是)，則重復(fù)步驟S154至S3160。在周邊區(qū)域動(dòng)態(tài)圖像中不存在周邊區(qū)域3176的下一幀的情況下(S3160:否)，動(dòng)態(tài)圖像合成部3156檢索是否存在該注視區(qū)域動(dòng)態(tài)圖像和周邊區(qū)域動(dòng)態(tài)圖像的組的單位時(shí)間的、下一單位時(shí)間中的注視區(qū)域動(dòng)態(tài)圖像和周邊區(qū)域動(dòng)態(tài)圖像的組(S3166)。例如，動(dòng)態(tài)圖像合成部3156在記錄部3505的同一文件夾內(nèi)，檢索是否存在在標(biāo)題信息中包含表示緊接該注視區(qū)域動(dòng)態(tài)圖像的定時(shí)信息所示的定時(shí)之后的定時(shí)信息的注視區(qū)域動(dòng)態(tài)圖像。
[0546]只要存在下一單位時(shí)間中的注視區(qū)域動(dòng)態(tài)圖像和周邊區(qū)域動(dòng)態(tài)圖像的組(S3166:是)，則重復(fù)步驟S150至S3166。在不存在下一單位時(shí)間中的注視區(qū)域動(dòng)態(tài)圖像和周邊區(qū)域動(dòng)態(tài)圖像的組的情況下(S3166:否)，結(jié)束該動(dòng)作。
[0547]根據(jù)以上，能夠減少整體數(shù)據(jù)量，并能夠針對(duì)包含主要被攝物體3171的注視區(qū)域3172顯示流暢的動(dòng)態(tài)圖像。此外，在步驟S162中，注視區(qū)域3172直接以下一幀更新來合成顯示圖像的幀，但合成方法不限于此。作為其他例子，也可以是，通過圖像處理來特定注視區(qū)域3172中的主要被攝物體3171的邊界線，對(duì)于該邊界線所包圍的主要被攝物體3171而更新成下一幀，并且對(duì)于注視區(qū)域3172內(nèi)但位于主要被攝物體3171的邊界線外側(cè)的區(qū)域而維持前一幀，并與周邊區(qū)域3176的幀合成。即，對(duì)于注視區(qū)域3172中的邊界線外側(cè)可以落入周邊區(qū)域3176的幀頻。由此，能夠防止顯示動(dòng)態(tài)圖像中的流暢的邊界看起來不自然。另外，再現(xiàn)幀頻不需要與攝影時(shí)的幀頻(注視區(qū)域?yàn)?80fps，周邊區(qū)域?yàn)?0fps)相同，例如可以使注視區(qū)域?yàn)?0fps，使周邊區(qū)域?yàn)?0fps等。該情況下為慢動(dòng)作再現(xiàn)。
[0548]圖74示出拍攝元件3100的像素區(qū)域3700的結(jié)構(gòu)及其動(dòng)作例的俯視圖。此外，在圖74至圖77中，示出將像素區(qū)域3700中的各像素塊3131和存儲(chǔ)部3114中的各存儲(chǔ)塊3730投影到同一平面上而得到的圖。各個(gè)像素塊3131在像素區(qū)域3700的整體范圍內(nèi)沿行列方向隔開固定間隔地配置。像素塊3131具有mXn個(gè)像素，n、m為2以上。像素塊3131可以由矩陣狀地配置的32 X 64像素構(gòu)成。在本例中，各個(gè)存儲(chǔ)塊3730是按各個(gè)像素塊3131的每一個(gè)而設(shè)置的存儲(chǔ)器。也就是說，各個(gè)像素塊3131具有一一對(duì)應(yīng)的存儲(chǔ)塊3730。各個(gè)存儲(chǔ)塊3730在信號(hào)處理芯片3111上設(shè)置在與對(duì)應(yīng)的像素塊3131重疊的區(qū)域內(nèi)。
[0549]各個(gè)像素塊3131按在像素區(qū)域3700內(nèi)隔開固定間隔地分布的每多個(gè)像素塊3131而成組化。與組內(nèi)的像素塊3131對(duì)應(yīng)的存儲(chǔ)塊3730被組內(nèi)的像素塊3131所共有。共有是指，多個(gè)像素塊3131的像素?cái)?shù)據(jù)能夠直接或間接地被讀寫至該存儲(chǔ)塊3730。優(yōu)選以使一個(gè)組內(nèi)的像素塊3131間的距離最大的方式將像素區(qū)域3700所包含的全部像素塊3131成組化。另外，更優(yōu)選像素塊3131的組包含拍攝芯片3113上的位于像素區(qū)域3700最外周的多個(gè)像素塊3131。該情況下，控制部3740以比高速幀頻低的幀頻(在本例中為基準(zhǔn)幀頻)固定地控制該位于最外周的多個(gè)像素塊3131。
[0550]在此，以坐標(biāo)(x，y)表示像素塊3131的位置。在本例中，設(shè)于位置(4，4)、(4，I)、(1,4), (1,1)的四個(gè)像素塊3131被成組化。其他像素塊3131也同樣地，按隔開固定間隔的每個(gè)像素塊3131而被成組化。
[0551]與組內(nèi)的像素塊3131對(duì)應(yīng)的各個(gè)存儲(chǔ)塊3730被組內(nèi)的全部像素塊3131所共有。由此，能夠?qū)⒏咚賻l的像素塊3131的像素?cái)?shù)據(jù)存儲(chǔ)到與組內(nèi)的基準(zhǔn)幀頻的像素塊3131對(duì)應(yīng)的存儲(chǔ)塊3730中。在本例中，以斜線表示的位置(4，4)的高速幀頻的像素塊3131的像素?cái)?shù)據(jù)按順序存儲(chǔ)在與位置(4，4)、(4，I)、(1,4)、(I, I)的像素塊3131對(duì)應(yīng)的存儲(chǔ)塊3730中的基準(zhǔn)幀頻的存儲(chǔ)塊3730中。
[0552]也就是說，控制部3740在與高速幀頻的像素塊3131對(duì)應(yīng)的存儲(chǔ)塊3730中已經(jīng)存儲(chǔ)有像素?cái)?shù)據(jù)的情況下，使與像素塊3131對(duì)應(yīng)的像素?cái)?shù)據(jù)存儲(chǔ)到與本像素塊3131為同一組內(nèi)的任一存儲(chǔ)塊3730中。在此，如圖68所示，注視區(qū)域3172由連續(xù)地配置的像素塊3131形成。因此，通過在像素區(qū)域3700內(nèi)按隔開固定間隔地分布的每多個(gè)像素塊3131而成組化，能夠提高高速幀頻的像素塊3131和基準(zhǔn)幀頻的像素塊3131混合于組內(nèi)的概率。由此，能夠不增加存儲(chǔ)塊3730的存儲(chǔ)容量地提高存儲(chǔ)器的使用效率。另外，由于將存儲(chǔ)塊3730共有的組是固定的，所以能夠減少或省略表示各存儲(chǔ)塊3730所存儲(chǔ)的像素?cái)?shù)據(jù)與哪個(gè)像素塊3131對(duì)應(yīng)的附加數(shù)據(jù)。
[0553]圖75是圖74所示的拍攝元件3100的其他結(jié)構(gòu)的一例的俯視圖。本例的拍攝元件3100取代存儲(chǔ)部3114，而具有位于像素區(qū)域3700的外側(cè)且沿行方向及列方向各自的一邊設(shè)置的存儲(chǔ)部3810，在該方面與圖74所記載的實(shí)施方式不同。此外，存儲(chǔ)部3810除其物理位置以外，其他可以與存儲(chǔ)部3114相同。
[0554]本例的存儲(chǔ)部3810由在行方向及列方向上且在與像素區(qū)域3700的最外周的像素塊3131重疊的區(qū)域上相對(duì)地設(shè)置的多個(gè)存儲(chǔ)區(qū)域3812構(gòu)成。各個(gè)存儲(chǔ)區(qū)域3812可以由2X2的存儲(chǔ)塊3730構(gòu)成。各個(gè)存儲(chǔ)塊3730是按每個(gè)組設(shè)置的存儲(chǔ)器中的存儲(chǔ)區(qū)域3812?？刂撇?740基于與成組化的像素塊3131各自的位置、幀頻、定時(shí)有關(guān)的信息而生成地址信息，并將像素?cái)?shù)據(jù)依次寫入到存儲(chǔ)塊3730中。
[0555]在本例中，與成組化的像素塊3131對(duì)應(yīng)的存儲(chǔ)塊3730構(gòu)成了 2X2的存儲(chǔ)區(qū)域3812。也就是說，由于與成組化的像素塊3131對(duì)應(yīng)的存儲(chǔ)塊3730相鄰地集中于一處，所以不需要如存儲(chǔ)塊3730按與像素塊3131重復(fù)的每個(gè)區(qū)域設(shè)置的情況那樣將分開的存儲(chǔ)塊3730彼此經(jīng)由布線而連接。因此，可以減少基于RC延遲而導(dǎo)致的像素?cái)?shù)據(jù)的寫入/讀出所需要的時(shí)間。另外，在將像素?cái)?shù)據(jù)向下級(jí)的運(yùn)算電路輸入時(shí)，相對(duì)于存儲(chǔ)區(qū)域3812設(shè)置一條總線即可。而且，相較于按與像素塊3131重復(fù)的每個(gè)區(qū)域設(shè)置存儲(chǔ)塊的情況，能夠?qū)⑾袼財(cái)?shù)據(jù)的寫入/讀出所需要的電路結(jié)構(gòu)簡(jiǎn)化。
[0556]圖76是表示圖74所示的拍攝元件3100的其他動(dòng)作例的俯視圖。在本例中,還具有在與相鄰的像素塊3131對(duì)應(yīng)的存儲(chǔ)塊3730之間傳送像素?cái)?shù)據(jù)的傳送路徑3710，在該方面與圖74所示的實(shí)施方式不同。傳送路徑3710可以是將各存儲(chǔ)塊3730彼此連接的布線。傳送路徑3710將控制部3740與全部存儲(chǔ)塊3730連接。控制部3740使高速幀頻的像素塊3131所對(duì)應(yīng)的像素?cái)?shù)據(jù)與高速幀頻同步地，依次向相鄰的存儲(chǔ)塊3730移動(dòng)。在此，與高速幀頻同步是指，以與幀頻高的像素塊3131讀出像素?cái)?shù)據(jù)的定時(shí)相同的定時(shí)，使像素?cái)?shù)據(jù)依次存儲(chǔ)到相鄰的多個(gè)存儲(chǔ)塊3730中。
[0557]在此，以位置(4，4)的像素塊3131的幀頻是基準(zhǔn)幀頻的5倍的情況為例進(jìn)行說明。若將基準(zhǔn)幀頻設(shè)為60fps，則高速幀頻為300fps。在高速幀頻下的拍攝定時(shí)中，將時(shí)刻t = O時(shí)的定時(shí)設(shè)為T0，將時(shí)刻t = l/300s時(shí)的定時(shí)設(shè)為Tl，將時(shí)刻t = 2/300s時(shí)的定時(shí)設(shè)為T2，將時(shí)刻t = 3/300s時(shí)的定時(shí)設(shè)為T3，將時(shí)刻t = 4/300s時(shí)的定時(shí)設(shè)為T4，將時(shí)刻t = 5/300s時(shí)的定時(shí)設(shè)為T5。
[0558]控制部3740在TO的定時(shí)分別使所拍攝的被攝物體的像素?cái)?shù)據(jù)存儲(chǔ)到與全部像素塊3131分別對(duì)應(yīng)的存儲(chǔ)塊3730中。接著，控制部3740在Tl的定時(shí)，使幀頻較低且存儲(chǔ)于相鄰的位置(3，4)的存儲(chǔ)塊3730中的像素?cái)?shù)據(jù)向外周方向的位置(2，4)的存儲(chǔ)塊3730移動(dòng)，并使存儲(chǔ)在與位置(4，4)的像素塊3131對(duì)應(yīng)的存儲(chǔ)塊3730中的像素?cái)?shù)據(jù)移動(dòng)并存儲(chǔ)在成為空置狀態(tài)的位置(3，4)的存儲(chǔ)塊3730中。同時(shí)，控制部3740使在Tl的定時(shí)獲取的位置(4，4)的像素塊3131的像素?cái)?shù)據(jù)存儲(chǔ)到對(duì)應(yīng)的位置(4，4)的存儲(chǔ)塊3730中。
[0559]控制部3740在T2的定時(shí)，使存儲(chǔ)在位置(4，3)的存儲(chǔ)塊3730中的像素?cái)?shù)據(jù)移動(dòng)并存儲(chǔ)到外周方向的位置(4，2)的存儲(chǔ)塊3730中，使與位置(4，4)的像素塊3131對(duì)應(yīng)的存儲(chǔ)塊3730的像素?cái)?shù)據(jù)移動(dòng)并存儲(chǔ)到成為空置狀態(tài)的位置(4，3)的存儲(chǔ)塊3730中。同時(shí)，控制部3740使在T2的定時(shí)所獲取的位置(4，4)的像素塊3131的像素?cái)?shù)據(jù)存儲(chǔ)到對(duì)應(yīng)的位置(4,4)的存儲(chǔ)塊3730中。
[0560]控制部3740在T3的定時(shí)，使存儲(chǔ)在位置(5，4)的存儲(chǔ)塊3730中的像素?cái)?shù)據(jù)移動(dòng)并存儲(chǔ)到外周方向的位置(6，4)的存儲(chǔ)塊3730中，使與位置(4，4)的像素塊3131對(duì)應(yīng)的存儲(chǔ)塊3730的像素?cái)?shù)據(jù)移動(dòng)并存儲(chǔ)到成為空置狀態(tài)的位置(5，4)的存儲(chǔ)塊3730中。同時(shí)，控制部3740使在T3的定時(shí)所獲取的位置(4，4)的像素塊3131的像素?cái)?shù)據(jù)存儲(chǔ)到對(duì)應(yīng)的位置(4,4)的存儲(chǔ)塊3730中。
[0561]控制部3740在T4的定時(shí)，使存儲(chǔ)在位置(4，5)的存儲(chǔ)塊3730中的像素?cái)?shù)據(jù)移動(dòng)并存儲(chǔ)到外周方向的位置(4，6)的存儲(chǔ)塊3730中，使與位置(4，4)的像素塊3131對(duì)應(yīng)的存儲(chǔ)塊3730的像素?cái)?shù)據(jù)移動(dòng)并存儲(chǔ)到成為空置狀態(tài)的位置(4，5)的存儲(chǔ)塊3730中。同時(shí)，控制部3740使在T4的定時(shí)所獲取的位置(4，4)的像素塊3131的像素?cái)?shù)據(jù)存儲(chǔ)到對(duì)應(yīng)的位置(4，4)的存儲(chǔ)塊3730中。此時(shí)，在與位置(4，4)的像素塊3131對(duì)應(yīng)的位置(4，4)的存儲(chǔ)塊3730中及以二維方式包圍該存儲(chǔ)塊3730的位置(3,4), (4,3), (5,4), (4,5)的存儲(chǔ)塊3730中，存儲(chǔ)有定時(shí)TO至T4的像素?cái)?shù)據(jù)。
[0562]控制部3740可以使存儲(chǔ)在位置(3，4)、(4，3)、(5，4)、(4，5)的存儲(chǔ)塊3730中的各個(gè)像素?cái)?shù)據(jù)向相鄰的存儲(chǔ)塊3730中的、離像素區(qū)域3700的邊緣最近的存儲(chǔ)塊3730移動(dòng)。也就是說，控制部3740可以使存儲(chǔ)在位置(3,4)、(4,3)、(5,4)、(4,5)的存儲(chǔ)塊3730中的各個(gè)像素?cái)?shù)據(jù)移動(dòng)并存儲(chǔ)到位于像素區(qū)域3700的邊緣的、位置(1，4)、(4，I)、(6,4)、(4,6)的存儲(chǔ)塊3730中。
[0563]控制部3740在T5的定時(shí)，將像素區(qū)域3700的存儲(chǔ)在存儲(chǔ)塊3730中的全部像素?cái)?shù)據(jù)通過總線交付到后級(jí)的存儲(chǔ)器或運(yùn)算電路。控制部3740更新幀的循環(huán)，并重復(fù)上述的定時(shí)TO至T4的動(dòng)作。
[0564]控制部3740將多個(gè)像素塊3131中的沿著像素區(qū)域3700最外周的像素塊3131的幀頻固定于基準(zhǔn)幀頻。然而，當(dāng)高速幀頻的像素塊3131位于像素區(qū)域3700的邊緣時(shí)，由于相鄰的存儲(chǔ)塊3730受限，所以難以使像素?cái)?shù)據(jù)以二維方式分散。因此，控制部3740不使高速幀頻的像素塊3131位于像素區(qū)域3700的最外周。例如，控制部3740將像素區(qū)域3700的最外周的像素塊3131的幀頻固定于基準(zhǔn)幀頻。
[0565]控制部3740同時(shí)向與全部像素塊3131分別對(duì)應(yīng)的存儲(chǔ)塊3730寫入新的像素?cái)?shù)據(jù)，并將按每個(gè)像素塊3131的像素?cái)?shù)據(jù)集中地向后級(jí)的運(yùn)算處理電路發(fā)送。像這樣，控制部3740使高速幀頻的像素塊3131的像素?cái)?shù)據(jù)朝向接近像素區(qū)域3700邊緣的方向依次移動(dòng)到與相鄰的像素塊3131對(duì)應(yīng)的存儲(chǔ)塊3730中，由此能夠使存儲(chǔ)塊3730為多個(gè)像素塊3131所共有，因此，能夠減少存儲(chǔ)容量。被分配于相鄰的多個(gè)存儲(chǔ)塊3730的像素?cái)?shù)據(jù)，作為標(biāo)題信息，可以具有與自身對(duì)應(yīng)的像素塊3131的像素區(qū)域3700中的位置數(shù)據(jù)、及表示自身所屬的幀的幀數(shù)據(jù)來作為附加數(shù)據(jù)。
[0566]在本例中，控制部3740使高速幀頻的像素塊3131的像素?cái)?shù)據(jù)依次移動(dòng)并存儲(chǔ)到與相鄰的像素塊3131對(duì)應(yīng)的存儲(chǔ)塊3730中，但也可以使像素?cái)?shù)據(jù)移動(dòng)到相隔一個(gè)的存儲(chǔ)塊3730中，還可以使像素?cái)?shù)據(jù)移動(dòng)并存儲(chǔ)到對(duì)角方向上的存儲(chǔ)塊3730中而非行列方向上的存儲(chǔ)塊中?？刂撇?740還可以基于各像素塊3131的幀頻信息，來選擇像素?cái)?shù)據(jù)所要移動(dòng)的存儲(chǔ)塊3730。
[0567]圖77是表示拍攝元件3100的其他結(jié)構(gòu)例的俯視圖。在本例中，與圖76所示的拍攝元件3100同樣地，在與相鄰的像素塊3131對(duì)應(yīng)的存儲(chǔ)塊3730之間傳送像素?cái)?shù)據(jù)。但是，本例的拍攝元件3100與圖75所示的拍攝元件3100同樣地，在信號(hào)處理芯片3111上具有設(shè)置在與像素區(qū)域3700重疊的區(qū)域的外側(cè)的存儲(chǔ)部3810。存儲(chǔ)部3810具有以行方向上像素塊3131的數(shù)量(在本例中為6個(gè))劃分的存儲(chǔ)區(qū)域3820及以列方向上的像素塊3131的數(shù)量(在本例中為6個(gè))劃分的存儲(chǔ)區(qū)域3822?？刂撇?740使高速幀頻的像素塊3131所對(duì)應(yīng)的像素?cái)?shù)據(jù)與高速幀頻同步地存儲(chǔ)到規(guī)定的存儲(chǔ)區(qū)域3820、3822中。
[0568]控制部3740可以與幀頻同步地將位置(4，4)的高速幀頻的像素塊3131的像素?cái)?shù)據(jù)寫入到與低幀頻的最外周的像素塊3131建立了對(duì)應(yīng)的存儲(chǔ)區(qū)域3820、3822中。此外，控制部3740也可以基于各像素塊3131的幀頻信息，選擇與最外周以外的像素塊3131建立了對(duì)應(yīng)的存儲(chǔ)區(qū)域3820、3822，并寫入該像素?cái)?shù)據(jù)。存儲(chǔ)區(qū)域3820、3822被高速幀頻的像素塊3131的像素?cái)?shù)據(jù)及低速幀頻的像素塊3131的像素?cái)?shù)據(jù)所共有。在本例中，只要按每個(gè)存儲(chǔ)區(qū)域3820、3822進(jìn)行寫入/讀出即可，由于不需要對(duì)按每個(gè)像素塊3131設(shè)置的每個(gè)存儲(chǔ)塊3730進(jìn)行寫入/讀出，所以能夠?qū)㈦娐方Y(jié)構(gòu)簡(jiǎn)化。另外，本例的存儲(chǔ)部3810內(nèi)的存儲(chǔ)區(qū)域3820、3822各自的存儲(chǔ)空間的大小相等。而且，存儲(chǔ)區(qū)域3820、3822的存儲(chǔ)空間的位置在存儲(chǔ)部3810內(nèi)可以是固定的，也可以是動(dòng)態(tài)變化的。
[0569]圖78示出其他實(shí)施方式的拍攝元件3100的一部分結(jié)構(gòu)及其動(dòng)作。在本例中，存儲(chǔ)部3114由多層構(gòu)造的緩沖存儲(chǔ)器構(gòu)成，在該方面與上述的實(shí)施方式不同。本例的存儲(chǔ)部3114包含臨時(shí)存儲(chǔ)器3850及傳輸存儲(chǔ)器3860。臨時(shí)存儲(chǔ)器3850具有與各像素塊3131對(duì)應(yīng)的存儲(chǔ)塊3830，是在高速數(shù)據(jù)速率的像素塊3712的像素?cái)?shù)據(jù)的控制中使用的存儲(chǔ)器。傳輸存儲(chǔ)器3860接收從臨時(shí)存儲(chǔ)器3850輸入的像素?cái)?shù)據(jù)，并將像素?cái)?shù)據(jù)向下級(jí)的存儲(chǔ)器或運(yùn)算電路傳輸。傳輸存儲(chǔ)器3860相對(duì)于多個(gè)存儲(chǔ)塊3730的總存儲(chǔ)區(qū)域具有至少相同大小的存儲(chǔ)區(qū)域。在此，總存儲(chǔ)區(qū)域是指臨時(shí)存儲(chǔ)器3850所具有的存儲(chǔ)空間的大小。本例的臨時(shí)存儲(chǔ)器3850具有與圖76所示的存儲(chǔ)塊3730相同的功能及結(jié)構(gòu)。
[0570]在此，以像素塊3712的幀頻是基準(zhǔn)幀頻的5倍的情況為例進(jìn)行說明。若將基準(zhǔn)幀頻設(shè)為60fps，則高速幀頻為300fps。在高速幀頻下的拍攝定時(shí)中，將時(shí)刻t = O時(shí)的定時(shí)設(shè)為T0，將時(shí)刻t = l/300s時(shí)的定時(shí)設(shè)為Tl，將時(shí)刻t = 2/300s時(shí)的定時(shí)設(shè)為T2，將時(shí)刻t = 3/300s時(shí)的定時(shí)設(shè)為T3，將時(shí)刻t = 4/300s時(shí)的定時(shí)設(shè)為T4，將時(shí)刻t = 5/300s時(shí)的定時(shí)設(shè)為T5。
[0571]控制部3740使在TO的定時(shí)拍攝到的被攝物體的全部像素?cái)?shù)據(jù)存儲(chǔ)到與全部像素塊3131分別對(duì)應(yīng)的存儲(chǔ)塊3830中?？刂撇?740在Tl之前的定時(shí)將所存儲(chǔ)的像素?cái)?shù)據(jù)向傳輸存儲(chǔ)器3860傳輸。也就是說，控制部3740在從以高速幀頻動(dòng)作的像素塊3712輸入下一像素?cái)?shù)據(jù)之前，使在TO的定時(shí)拍攝到的被攝物體的全部像素?cái)?shù)據(jù)復(fù)制并存儲(chǔ)到傳輸存儲(chǔ)器3860的對(duì)應(yīng)的存儲(chǔ)區(qū)域3870中。
[0572]控制部3740在與高速幀頻同步的Tl的定時(shí)，使像素?cái)?shù)據(jù)從高速幀頻的像素塊3712經(jīng)由總線3720而存儲(chǔ)到臨時(shí)存儲(chǔ)器3850的對(duì)應(yīng)的存儲(chǔ)塊3853中?？刂撇?740使存儲(chǔ)在存儲(chǔ)塊3853中的像素?cái)?shù)據(jù)在T2的定時(shí)或T2之前的定時(shí)移動(dòng)并存儲(chǔ)到相鄰的存儲(chǔ)塊3854中?？刂撇?740在T2的定時(shí)，與高速幀頻同步地，使像素?cái)?shù)據(jù)從像素塊3712經(jīng)由總線3720而存儲(chǔ)到臨時(shí)存儲(chǔ)器3850的對(duì)應(yīng)的存儲(chǔ)塊3853中。
[0573]控制部3740使存儲(chǔ)在存儲(chǔ)塊3853中的像素?cái)?shù)據(jù)在T3的定時(shí)或T3之前的定時(shí)移動(dòng)并存儲(chǔ)到相鄰的存儲(chǔ)塊3855中。控制部3740在T3的定時(shí)，與高速幀頻同步地，使像素?cái)?shù)據(jù)從像素塊3712經(jīng)由總線3720而存儲(chǔ)到臨時(shí)存儲(chǔ)器3850的對(duì)應(yīng)的存儲(chǔ)塊3853中?？刂撇?740在T4的定時(shí)或T4之前的定時(shí)，使存儲(chǔ)在存儲(chǔ)塊3853中的像素?cái)?shù)據(jù)移動(dòng)并存儲(chǔ)到相鄰的存儲(chǔ)塊3856中。控制部3740在T4的定時(shí)，與高速幀頻同步地，使像素?cái)?shù)據(jù)從像素塊3712經(jīng)由總線3720而存儲(chǔ)到臨時(shí)存儲(chǔ)器3850的對(duì)應(yīng)的存儲(chǔ)塊3853中。
[0574]控制部3740在T5的定時(shí)或T5之前的定時(shí)，使存儲(chǔ)在臨時(shí)存儲(chǔ)器3850的存儲(chǔ)塊
3854、3855、3856、3857中的像素?cái)?shù)據(jù)經(jīng)由總線3840而存儲(chǔ)到傳輸存儲(chǔ)器3860的對(duì)應(yīng)的存儲(chǔ)區(qū)域3864、3865、3866、3867中。也就是說，臨時(shí)存儲(chǔ)器3850在接收到高速幀頻中的、即將成為基準(zhǔn)定時(shí)之前的高速幀頻中的像素?cái)?shù)據(jù)后，至接收到下一基準(zhǔn)定時(shí)的像素?cái)?shù)據(jù)的期間，將像素?cái)?shù)據(jù)向傳輸存儲(chǔ)器3860傳輸。
[0575]此外，控制部3740以可以與高速幀頻同步地將與存儲(chǔ)塊3853相鄰的存儲(chǔ)塊3854、
3855、3856、3857所存儲(chǔ)的像素?cái)?shù)據(jù)進(jìn)一步向相鄰的其他存儲(chǔ)塊移動(dòng)?？刂撇?740將存儲(chǔ)在傳輸存儲(chǔ)器3860中的全部像素?cái)?shù)據(jù)向后級(jí)的存儲(chǔ)器或運(yùn)算電路傳輸。
[0576]根據(jù)本實(shí)施方式，由于只要將與高速幀頻的像素塊3712對(duì)應(yīng)的存儲(chǔ)塊3853和與該存儲(chǔ)塊3853相鄰的各個(gè)存儲(chǔ)塊3854、3855、3856、3857通過傳送路徑3710連接即可，所以不需要將全部存儲(chǔ)塊通過傳送路徑3710連接。因此，能夠高速地進(jìn)行像素?cái)?shù)據(jù)的移動(dòng)。另外，作為臨時(shí)存儲(chǔ)器3850，由于能夠使用SRAM等高速緩沖存儲(chǔ)器，所以能夠高速地進(jìn)行讀出/寫入。而且，在臨時(shí)存儲(chǔ)器3850中，由于存儲(chǔ)塊3830不是共有的，所以能夠?qū)懭?讀出所需要的電路結(jié)構(gòu)簡(jiǎn)化。而且，在傳輸存儲(chǔ)器3860中，共有的存儲(chǔ)區(qū)域僅為與高速幀頻的像素塊3712所對(duì)應(yīng)的存儲(chǔ)區(qū)域3863相鄰的存儲(chǔ)區(qū)域。由此，在傳輸存儲(chǔ)器3860中，不需要將存儲(chǔ)區(qū)域3863彼此連接的布線。另外，以臨時(shí)存儲(chǔ)器3850具有圖76所示的存儲(chǔ)塊3730的結(jié)構(gòu)的情況為例進(jìn)行了說明，但臨時(shí)存儲(chǔ)器3850也可以是圖74至圖77的任一存儲(chǔ)塊3730的結(jié)構(gòu)。
[0577]圖79是表示拍攝裝置生成并記錄動(dòng)態(tài)圖像的其他動(dòng)作的例子的流程圖。在圖79中對(duì)與圖67相同的動(dòng)作標(biāo)注相同的附圖標(biāo)記并省略說明。
[0578]在圖79的動(dòng)作中，在注視區(qū)域3172和周邊區(qū)域3176，取代圖67的幀頻而使間除率不同，或者，在圖67的幀頻的基礎(chǔ)上使間除率不同。更詳細(xì)而言，在步驟S3120中，驅(qū)動(dòng)部3502對(duì)于注視區(qū)域3172所包含的像素塊3131，對(duì)以低間除率間除后的像素執(zhí)行電荷蓄存及圖像信號(hào)的輸出，對(duì)于周邊區(qū)域3176所包含的像素塊3131，對(duì)以高間除率間除后的像素執(zhí)行電荷蓄存及圖像信號(hào)的輸出。例如對(duì)于注視區(qū)域3172所包含的像素塊2131而間除率為0，即讀出全部像素，對(duì)于周邊區(qū)域3176所包含的像素塊3131而間除率為0.5，即讀出一半的像素。
[0579]該情況下，驅(qū)動(dòng)部3502單獨(dú)地驅(qū)動(dòng)周邊區(qū)域3176所包含的像素塊3131的重置晶體管3303、傳輸晶體管3302及選擇晶體管3305的組、和注視區(qū)域3172所包含的像素塊3131的重置晶體管3303、傳輸晶體管3302及選擇晶體管3305的組，由此以不同的間除率得到圖像信號(hào)。
[0580]在步驟S3110中，動(dòng)態(tài)圖像生成部3154基于以低間除率輸出的注視區(qū)域3172的圖像信號(hào)，生成與注視區(qū)域3172對(duì)應(yīng)的注視區(qū)域動(dòng)態(tài)圖像。動(dòng)態(tài)圖像生成部3154同樣地基于以高間除率輸出的周邊區(qū)域3176的圖像信號(hào)，生成與周邊區(qū)域3176對(duì)應(yīng)的周邊區(qū)域動(dòng)態(tài)圖像。另外在步驟S3112中，動(dòng)態(tài)圖像生成部3154附加各自間除率的信息并將注視區(qū)域動(dòng)態(tài)圖像及周邊區(qū)域動(dòng)態(tài)圖像記錄到記錄部3505中。
[0581]圖80示出對(duì)一個(gè)像素塊以間除率0.5讀出的像素3188的例子。在圖80所示的例子中，在周邊區(qū)域3176的像素塊3132為拜耳陣列的情況下，對(duì)于垂直方向每隔拜耳陣列的一個(gè)單位而讀出，即，對(duì)以像素單位觀察的情況下的每?jī)尚薪惶娴卦O(shè)定要讀出的像素3188和不讀出的像素。由此，能夠避免色彩平衡失調(diào)地進(jìn)行間除讀出。
[0582]圖81是與圖79對(duì)應(yīng)的、表示拍攝裝置再現(xiàn)動(dòng)態(tài)圖像來進(jìn)行顯示的動(dòng)作的流程圖。在圖81中對(duì)與圖73相同的動(dòng)作標(biāo)注相同的附圖標(biāo)記并省略說明。
[0583]在圖81的步驟S3170中，動(dòng)態(tài)圖像合成部3156對(duì)周邊區(qū)域動(dòng)態(tài)圖像的幀的像素進(jìn)行插補(bǔ)來使析像度與注視區(qū)域動(dòng)態(tài)圖像的幀的析像度匹配后，將注視區(qū)域動(dòng)態(tài)圖像的幀嵌入到周邊區(qū)域動(dòng)態(tài)圖像的幀中，由此合成顯示圖像的幀。由此，能夠從包含主要被攝物體3171的注視區(qū)域3172以高析像度得到圖像信號(hào)，并且能夠?qū)⒅苓厖^(qū)域3176抑制為低析像度，從而能夠減少數(shù)據(jù)量。由此，與從全部像素進(jìn)行高速讀出相比，能夠減少驅(qū)動(dòng)及圖像處理的負(fù)荷，并抑制耗電及發(fā)熱。
[0584]此外，在圖61至圖81所示的例子中，注視區(qū)域3172為矩形，但注視區(qū)域3172的形狀不限于此。注視區(qū)域3172只要沿著像素塊3131的邊界線而存在，則可以是凸多邊形、凹多邊形、或中間嵌入周邊區(qū)域3176的環(huán)形形狀等。另外，注視區(qū)域3172也可以相互隔開地設(shè)有多個(gè)。在該情況下，可以在彼此的注視區(qū)域3172中設(shè)定不同的幀頻。
[0585]另外，注視區(qū)域3172及周邊區(qū)域3176的幀頻可以是可變的。例如，可以每經(jīng)過單位時(shí)間而檢測(cè)主要被攝物體3171的移動(dòng)量，主要被攝物體3171的移動(dòng)量越大則對(duì)注視區(qū)域3172設(shè)定越高的幀頻。另外，也可以在單位時(shí)間內(nèi)隨時(shí)追隨主要被攝物體3171并更新應(yīng)包含于注視區(qū)域3172的像素塊3131的選擇。
[0586]圖67及圖79的動(dòng)態(tài)圖像的生成通過用戶按下錄像按鈕而開始，圖73及圖81的動(dòng)態(tài)圖像的再現(xiàn)通過用戶按下再現(xiàn)按鈕而開始，但開始時(shí)刻不限于此。作為其他例子，可以通過由用戶進(jìn)行的一個(gè)按鈕操作，使動(dòng)態(tài)圖像的生成動(dòng)作和再現(xiàn)動(dòng)作連續(xù)地執(zhí)行，而使顯示部3506進(jìn)行實(shí)時(shí)取景圖像顯示(也稱作live view display)。該情況下,用于使用戶識(shí)別注視區(qū)域3172的顯示可以重疊。例如，可以在顯示部3506中，在注視區(qū)域3172的邊界線處顯示框，或者降低周邊區(qū)域3176的亮度或提高注視區(qū)域3172的亮度。
[0587]在圖79的動(dòng)作中，在注視區(qū)域3172和周邊區(qū)域3176中使間除率不同。也可以取代使間除率不同，而使將相鄰行像素的像素信號(hào)相加時(shí)的行數(shù)不同。例如，在注視區(qū)域3172中行數(shù)為I，即，不將相鄰行相加地輸出像素信號(hào)，在周邊區(qū)域3176中為比注視區(qū)域3172多的行數(shù)，例如行數(shù)為2，輸出相鄰的2行的同列像素的像素信號(hào)。由此，與圖79同樣地，與周邊區(qū)域3176相比能夠較高地維持注視區(qū)域3172的析像度，并且能夠減少整體的信號(hào)量。
[0588]此外，也可以取代將動(dòng)態(tài)圖像合成部3156設(shè)置在拍攝裝置3500的圖像處理部3511上，而設(shè)置在外部的顯示裝置、例如PC上。另外，上述實(shí)施方式不限于生成動(dòng)態(tài)圖像的情況，也可以適用于生成靜態(tài)圖像的情況。
[0589]另外，上述實(shí)施方式均將多個(gè)像素塊3131分成注視區(qū)域3172和周邊區(qū)域3176這兩個(gè)區(qū)域，但不限于此，也可以分成三個(gè)以上的區(qū)域。該情況下，可以將與注視區(qū)域3172和周邊區(qū)域3176的邊界相當(dāng)?shù)南袼貕K3131作為邊界區(qū)域，對(duì)該邊界區(qū)域使用用于注視區(qū)域3172的控制參數(shù)的值和用于周邊區(qū)域3176的控制參數(shù)的值的中間值來進(jìn)行控制。由此，能夠防止注視區(qū)域3172與周邊區(qū)域3176的邊界看起來不自然。
[0590]也可以在注視區(qū)域3172和周邊區(qū)域3176中使電荷的蓄存時(shí)間、蓄存次數(shù)等不同。該情況下，可以基于亮度來劃分注視區(qū)域3172和周邊區(qū)域3176，而且也可以設(shè)置中間區(qū)域。
[0591]圖82A及圖82B是場(chǎng)景例和區(qū)域劃分的說明圖。圖82A示出拍攝芯片3113的像素區(qū)域所捕捉到的場(chǎng)景。具體而言，是同時(shí)映入屋內(nèi)環(huán)境所包含的陰影被攝物體3601及中間被攝物體3602、和在窗框3604的內(nèi)側(cè)觀察到的屋外環(huán)境的高光被攝物體3603的場(chǎng)景。在對(duì)這樣的從高光部至陰影部的明暗差較大的場(chǎng)景進(jìn)行攝影的情況下，若是以往的拍攝元件，則當(dāng)以高光部為基準(zhǔn)而執(zhí)行電荷蓄存時(shí)，在陰影部中產(chǎn)生全黑，當(dāng)以陰影部為基準(zhǔn)而執(zhí)行電荷蓄存時(shí)，在高光部中產(chǎn)生全白。即，可以說為了使高光部和陰影部一律通過一次電荷蓄存來輸出圖像信號(hào)，相對(duì)于明暗差較大的場(chǎng)景而光電二極管的動(dòng)態(tài)范圍不足。因此，在本實(shí)施方式中，將場(chǎng)景劃分為高光部、陰影部等部分區(qū)域，并使與各個(gè)區(qū)域?qū)?yīng)的光電二極管的電荷蓄存次數(shù)彼此不同，由此謀求動(dòng)態(tài)范圍的實(shí)質(zhì)擴(kuò)大。
[0592]圖82B示出拍攝芯片3113的像素區(qū)域中的區(qū)域劃分。運(yùn)算部3512對(duì)測(cè)光部3503所捕捉到的圖82A的場(chǎng)景進(jìn)行解析，并以亮度為基準(zhǔn)將像素區(qū)域劃分。例如，系統(tǒng)控制部3501使測(cè)光部3503改變曝光時(shí)間并執(zhí)行多次場(chǎng)景獲取，運(yùn)算部3512參照其全白區(qū)域、全黑區(qū)域的分布變化來確定像素區(qū)域的劃分線。在圖82B的例子中，運(yùn)算部3512劃分成陰影區(qū)域3611、中間區(qū)域3612及高光區(qū)域3613這三個(gè)區(qū)域。
[0593]劃分線是沿著像素塊3131的邊界而定義的。即，劃分后的各區(qū)域分別包含整數(shù)個(gè)的組。而且，包含于同一區(qū)域的各組的像素在與由運(yùn)算部3512決定的快門速度對(duì)應(yīng)的期間內(nèi)，進(jìn)行相同次數(shù)的電荷蓄存及像素信號(hào)輸出。若所屬區(qū)域不同，則進(jìn)行不同次數(shù)的電荷蓄存及像素信號(hào)輸出。
[0594]圖83是按基于圖82A及圖82B的例子劃分后的每個(gè)區(qū)域進(jìn)行的電荷蓄存控制的說明圖。當(dāng)從用戶接受到攝影準(zhǔn)備指示后，運(yùn)算部3512根據(jù)測(cè)光部3503的輸出來決定快門速度T。。而且，如上所述劃分成陰影區(qū)域3611、中間區(qū)域3612及高光區(qū)域3613，并根據(jù)其各自亮度信息來確定電荷蓄存次數(shù)。電荷蓄存次數(shù)以通過每次的電荷蓄存不會(huì)使像素飽和的方式而決定。例如，在一次電荷蓄存動(dòng)作中蓄存可蓄存電荷的八成至九成的電荷，并以此為基準(zhǔn)來決定電荷蓄存次數(shù)。
[0595]在此，使陰影區(qū)域3611為一次。即，使所決定的快門速度Ttl與電荷蓄存時(shí)間一致。另外，使中間區(qū)域3612的電荷蓄存次數(shù)為兩次。即，使一次的電荷蓄存時(shí)間為TV2，在快門速度Ttl的期間重復(fù)進(jìn)行兩次電荷蓄存。另外，使高光區(qū)域3613的電荷蓄存次數(shù)為四次。即，使一次的電荷蓄存時(shí)間為1/4，在快門速度Ttl的期間重復(fù)進(jìn)行四次電荷蓄存。
[0596]當(dāng)在時(shí)刻t = O從用戶接受到攝影指示時(shí)，驅(qū)動(dòng)部3502對(duì)屬于任一區(qū)域的組的像素，均施加重置脈沖和傳輸脈沖。以該施加為契機(jī)，所有像素均開始電荷蓄存。
[0597]在時(shí)刻t = 1/4，驅(qū)動(dòng)部3502對(duì)屬于高光區(qū)域3613的組的像素施加傳輸脈沖。然后，對(duì)各組內(nèi)的像素依次施加選擇脈沖并將各自的像素信號(hào)輸出到輸出布線3309。在輸出組內(nèi)的全部像素的像素信號(hào)后，驅(qū)動(dòng)部3502對(duì)屬于高光區(qū)域3613的組的像素再次施加重置脈沖和傳輸脈沖，開始第二次的電荷蓄存。
[0598]此外，由于像素信號(hào)的選擇輸出需要時(shí)間，所以在第一次的電荷蓄存的結(jié)束與第二次的電荷蓄存的開始之間會(huì)產(chǎn)生時(shí)間差。若能夠?qū)嵸|(zhì)忽略該時(shí)間差，則如上所述，使對(duì)快門速度Ttl除以電荷蓄存次數(shù)而得到的時(shí)間為一次的電荷蓄存時(shí)間即可。另一方面，若無法忽略，則考慮其時(shí)間，調(diào)整快門速度Ttl,或使一次的電荷蓄存時(shí)間比對(duì)快門速度Ttl除以電荷蓄存次數(shù)而得到的時(shí)間短即可。
[0599]在時(shí)刻t = TQ/2，驅(qū)動(dòng)部3502對(duì)屬于中間區(qū)域3612的組和屬于高光區(qū)域3613的組的像素施加傳輸脈沖。然后，對(duì)各組內(nèi)的像素依次施加選擇脈沖，并將各自的像素信號(hào)輸出到輸出布線3309。在輸出組內(nèi)的全部像素的像素信號(hào)后，驅(qū)動(dòng)部3502對(duì)屬于中間區(qū)域3612的組和屬于高光區(qū)域3613的組的像素再次施加重置脈沖和傳輸脈沖，對(duì)中間區(qū)域3612開始第二次的電荷蓄存，對(duì)高光區(qū)域3613開始第三次的電荷蓄存。
[0600]在時(shí)刻t = 3T0/4,驅(qū)動(dòng)部3502對(duì)屬于高光區(qū)域3613的組的像素施加傳輸脈沖。然后，對(duì)各組內(nèi)的像素依次施加選擇脈沖，并將各自的像素信號(hào)輸出到輸出布線3309。在輸出組內(nèi)的全部像素的像素信號(hào)后，驅(qū)動(dòng)部3502對(duì)屬于高光區(qū)域3613的組的像素再次施加重置脈沖和傳輸脈沖，開始第四次的電荷蓄存。
[0601]在時(shí)刻t = Ttl，驅(qū)動(dòng)部3502對(duì)整個(gè)區(qū)域的像素施加傳輸脈沖。然后，對(duì)各組內(nèi)的像素依次施加選擇脈沖，并將各自的像素信號(hào)輸出到輸出布線3309。通過以上控制，在與陰影區(qū)域3611對(duì)應(yīng)的像素存儲(chǔ)器3414中分別存儲(chǔ)一次的量的像素信號(hào)，在與中間區(qū)域3612對(duì)應(yīng)的像素存儲(chǔ)器3414中分別存儲(chǔ)兩次的量的像素信號(hào)，在與高光區(qū)域3613對(duì)應(yīng)的像素存儲(chǔ)器3414中分別存儲(chǔ)四次的量的像素信號(hào)。
[0602]此外，驅(qū)動(dòng)部3502也可以對(duì)屬于任一區(qū)域的組的像素依次施加重置脈沖及傳輸脈沖，來依次重置屬于各個(gè)區(qū)域的組的像素。以該施加為契機(jī)，各個(gè)組的像素可以依次開始電荷蓄存。也可以是，在對(duì)屬于全部區(qū)域的組的像素結(jié)束電荷蓄存后，驅(qū)動(dòng)部3502對(duì)于全部區(qū)域的像素施加傳輸脈沖。而且，可以對(duì)各組內(nèi)的像素依次施加選擇脈沖而使各個(gè)像素信號(hào)輸出到輸出布線3309。
[0603]這些像素信號(hào)依次向圖像處理部3511傳輸。圖像處理部3511根據(jù)這些像素信號(hào)而生成高動(dòng)態(tài)范圍的圖像數(shù)據(jù)。具體處理將在后敘述。
[0604]圖84是表示累計(jì)次數(shù)與動(dòng)態(tài)范圍的關(guān)系的圖。與重復(fù)執(zhí)行的電荷蓄存對(duì)應(yīng)的多次的量的像素信號(hào)通過圖像處理部3511而被進(jìn)行累計(jì)處理，并形成高動(dòng)態(tài)范圍的圖像數(shù)據(jù)的一部分。
[0605]在累計(jì)次數(shù)為I次、即將進(jìn)行了 I次電荷蓄存的區(qū)域的動(dòng)態(tài)范圍作為基準(zhǔn)的情況下，累計(jì)次數(shù)為2次、即進(jìn)行了 2次電荷蓄存并將輸出信號(hào)累計(jì)的區(qū)域的動(dòng)態(tài)范圍的擴(kuò)大量為I級(jí)的量。同樣地，若累計(jì)次數(shù)為4次則為2級(jí)的量，若為128次則為7級(jí)的量。S卩，為了謀求η級(jí)的量的動(dòng)態(tài)范圍擴(kuò)大，只要將2η次的輸出信號(hào)累計(jì)即可。
[0606]在此，圖像處理部3511為了識(shí)別哪個(gè)劃分區(qū)域進(jìn)行了幾次電荷蓄存，對(duì)圖像信號(hào)賦予表示累計(jì)次數(shù)的3bit的指數(shù)位。如圖所示，指數(shù)位以對(duì)于累計(jì)數(shù)I次為000、對(duì)于2次為001、…對(duì)于128次為111的方式按順序分配。
[0607]圖像處理部3511參照從運(yùn)算電路3415接收到的各像素?cái)?shù)據(jù)的指數(shù)位，在參照結(jié)果為2次以上的累計(jì)數(shù)的情況下，執(zhí)行像素?cái)?shù)據(jù)的累計(jì)處理。例如，在累計(jì)次數(shù)為2次的情況(I級(jí))下，對(duì)于2個(gè)像素信號(hào)使與電荷蓄存對(duì)應(yīng)的12bit的像素?cái)?shù)據(jù)中的高位Ilbit彼此相加，生成12bit的I個(gè)像素?cái)?shù)據(jù)。同樣地，在累計(jì)次數(shù)為128次(7級(jí))的情況，對(duì)于128個(gè)像素?cái)?shù)據(jù)使與電荷蓄存對(duì)應(yīng)的12bit的像素?cái)?shù)據(jù)中的高位5bit彼此相加，生成12bit的I個(gè)像素?cái)?shù)據(jù)。即，使從12減去與累計(jì)次數(shù)對(duì)應(yīng)的級(jí)數(shù)而得到的高位bit彼此相加，生成12bit的I個(gè)像素?cái)?shù)據(jù)。此外，除去沒有成為相加對(duì)象的低位bit。
[0608]通過這樣進(jìn)行處理，能夠使賦予灰階的亮度范圍與累計(jì)次數(shù)相應(yīng)地向高亮度側(cè)轉(zhuǎn)移。即，對(duì)高亮度側(cè)的受限范圍分配12bit。因此，能夠?qū)σ酝椎膱D像區(qū)域賦予灰階。
[0609]但是，對(duì)于其他劃分區(qū)域，由于對(duì)不同的亮度范圍分配了 12bit，所以無法簡(jiǎn)單地按每個(gè)區(qū)域通過連接合成來生成圖像數(shù)據(jù)。因此，圖像處理部3511為了盡可能維持所得到的灰階并使整個(gè)區(qū)域?yàn)?2bit的圖像數(shù)據(jù)，將最大亮度像素和最低亮度像素作為基準(zhǔn)，進(jìn)行再量化處理。具體而言，實(shí)施伽馬轉(zhuǎn)換來執(zhí)行量化，從而更平滑地維持灰階。通過這樣進(jìn)行處理，能夠得到高動(dòng)態(tài)范圍的圖像數(shù)據(jù)。
[0610]此外，累計(jì)次數(shù)不限于如上述那樣向像素?cái)?shù)據(jù)賦予3bit的指數(shù)位的情況，也可以作為與像素?cái)?shù)據(jù)不同的附加信息而記述。另外，也可以從像素?cái)?shù)據(jù)除去指數(shù)位，取而代之對(duì)存儲(chǔ)在像素存儲(chǔ)器3414中的像素?cái)?shù)據(jù)的數(shù)量進(jìn)行計(jì)數(shù)，由此在相加處理時(shí)獲取累計(jì)次數(shù)。
[0611]另外，在上述的圖像處理中，執(zhí)行了將整個(gè)區(qū)域收納于12bit的圖像數(shù)據(jù)的再量化處理，但也可以對(duì)于像素?cái)?shù)據(jù)的bit數(shù)，與上限累計(jì)次數(shù)相應(yīng)地增加輸出bit數(shù)。例如，若將上限累計(jì)次數(shù)定為16次(4級(jí))，則對(duì)于12bit的像素?cái)?shù)據(jù)，使整個(gè)區(qū)域?yàn)?6bit的圖像數(shù)據(jù)即可。若這樣進(jìn)行處理，能夠不降位地生成圖像數(shù)據(jù)。
[0612]接下來，說明一系列的攝影動(dòng)作處理。圖85是表示攝影動(dòng)作的處理的流程圖。流程從拍攝裝置3500的電源接通后開始。
[0613]在步驟S3201中，系統(tǒng)控制部3501待機(jī)直至作出攝影準(zhǔn)備指示即開關(guān)SWl被按下。檢測(cè)到開關(guān)SWl的按下后進(jìn)入步驟S3202。
[0614]在步驟S3202中，系統(tǒng)控制部3501執(zhí)行測(cè)光處理。具體而言，得到測(cè)光部3503的輸出，運(yùn)算部3512計(jì)算出場(chǎng)景的亮度分布。然后，進(jìn)入步驟S3203，如上所述，決定快門速度、區(qū)域劃分、累計(jì)次數(shù)等。
[0615]在攝影準(zhǔn)備動(dòng)作完成后，進(jìn)入步驟S3204，待機(jī)直至作出攝影指示即開關(guān)SW2被按下。此時(shí)，若經(jīng)過時(shí)間超過預(yù)先設(shè)定的時(shí)間Tw(步驟S3205為是)，則返回步驟S3201。若在超過Tw之前(步驟S3205為否)檢測(cè)到開關(guān)SW2的按下，則進(jìn)入步驟S3206。
[0616]在步驟S3206中，接受到系統(tǒng)控制部3501的指示的驅(qū)動(dòng)部3502執(zhí)行使用圖83說明的電荷蓄存處理、信號(hào)讀出處理。然后，在全部的信號(hào)讀出完成后進(jìn)入到步驟S3207，執(zhí)行使用圖84說明的圖像處理，并執(zhí)行將所生成的圖像數(shù)據(jù)記錄到記錄部中的記錄處理。
[0617]在記錄處理完成后進(jìn)入到步驟S3208，判斷拍攝裝置3500的電源是否斷開。若電源沒有斷開，則返回步驟S3201，若斷開則結(jié)束一系列的攝影動(dòng)作處理。
[0618]圖86是表示作為信號(hào)處理芯片3111的一例的具體結(jié)構(gòu)的框圖。圖中，由虛線包圍的區(qū)域示出按每個(gè)像素塊3131設(shè)置的像素?cái)?shù)據(jù)處理部3910。
[0619]信號(hào)處理芯片3111承擔(dān)驅(qū)動(dòng)部3502的功能。信號(hào)處理芯片3111包括作為分擔(dān)化的控制功能的傳感器控制部3441、塊控制部3442、同步控制部3443、信號(hào)控制部3444、和總括地控制這些各控制部的驅(qū)動(dòng)控制部3420。驅(qū)動(dòng)控制部3420將來自系統(tǒng)控制部3501的指示轉(zhuǎn)換成各控制部可執(zhí)行的控制信號(hào)并交付至各個(gè)控制部。
[0620]傳感器控制部3441承擔(dān)向拍攝芯片3113輸出的、與各像素的電荷蓄存、電荷讀出有關(guān)的控制脈沖的輸出控制。具體而言，傳感器控制部3441通過對(duì)對(duì)象像素輸出重置脈沖和傳輸脈沖來控制電荷蓄存的開始和結(jié)束，并通過對(duì)讀出像素輸出選擇脈沖來使像素信號(hào)向輸出布線3309輸出。
[0621]塊控制部3442執(zhí)行向拍攝芯片3113輸出的、對(duì)成為控制對(duì)象的像素塊3131進(jìn)行特定的特定脈沖的輸出。如使用圖82B等說明那樣，在劃分后的區(qū)域中包含彼此相鄰的多個(gè)像素塊3131。這些屬于同一區(qū)域的像素塊3131形成一個(gè)塊。同一塊所包含的像素在相同定時(shí)開始電荷蓄存，并在相同定時(shí)結(jié)束電荷蓄存。因此，塊控制部3442承擔(dān)通過向基于來自驅(qū)動(dòng)控制部3420的指定而成為對(duì)象的像素塊3131輸出特定脈沖來使像素塊3131成塊化的作用。各像素經(jīng)由TX布線3307及重置布線3306接受到的傳輸脈沖及重置脈沖成為傳感器控制部3441所輸出的各脈沖和塊控制部3442所輸出的特定脈沖的邏輯積。
[0622]像這樣，通過將各區(qū)域作為相互獨(dú)立的塊來進(jìn)行控制，實(shí)現(xiàn)了使用圖83說明的電荷蓄存控制。關(guān)于來自驅(qū)動(dòng)控制部的成塊化指定，將在后詳細(xì)敘述。此外，同一塊所包含的像素也可以不在相同定時(shí)開始電荷蓄存。也就是說驅(qū)動(dòng)控制部3420也可以對(duì)同一塊所包含的像素以不同定時(shí)施加重置脈沖及傳輸脈沖。另外，驅(qū)動(dòng)控制部3420也可以在使同一塊所包含的像素的電荷蓄存在相同蓄存時(shí)間結(jié)束后，對(duì)塊內(nèi)的像素依次施加選擇脈沖，并依次讀出各個(gè)像素信號(hào)。
[0623]同步控制部3443向拍攝芯片3113輸出同步信號(hào)。各脈沖與同步信號(hào)同步地在拍攝芯片3113中變得有效。例如，通過調(diào)整同步信號(hào)，實(shí)現(xiàn)了僅將屬于同一像素塊3131的像素的特定像素作為控制對(duì)象的隨機(jī)控制、間除控制等。
[0624]信號(hào)控制部3444主要承擔(dān)針對(duì)A/D轉(zhuǎn)換器3412的定時(shí)控制。經(jīng)由輸出布線3309輸出的像素信號(hào)，經(jīng)由⑶S電路3410及多路復(fù)用器3411而輸入到A/D轉(zhuǎn)換器3412。A/D轉(zhuǎn)換器3412通過信號(hào)控制部3444而被控制，并將輸入的像素信號(hào)轉(zhuǎn)換成數(shù)字像素?cái)?shù)據(jù)。將轉(zhuǎn)換成數(shù)字信號(hào)的像素?cái)?shù)據(jù)交付到信號(hào)分離器3413，然后將其作為數(shù)字?jǐn)?shù)據(jù)的像素值存儲(chǔ)到與各個(gè)像素對(duì)應(yīng)的像素存儲(chǔ)器3414中。像素存儲(chǔ)器3414為存儲(chǔ)塊3730的一例。
[0625]信號(hào)處理芯片3111具有作為蓄存控制存儲(chǔ)器的定時(shí)存儲(chǔ)器3430，該定時(shí)存儲(chǔ)器3430存儲(chǔ)關(guān)于將哪個(gè)像素塊3131組合而形成塊的塊區(qū)分信息、和關(guān)于所形成的各個(gè)塊重復(fù)進(jìn)行幾次電荷蓄存的蓄存次數(shù)信息。定時(shí)存儲(chǔ)器3430由例如閃存RAM構(gòu)成。
[0626]如上所述，關(guān)于將哪個(gè)像素塊3131組合來形成塊，基于在一系列的攝影過程之前執(zhí)行的場(chǎng)景的亮度分布檢測(cè)的檢測(cè)結(jié)果，由系統(tǒng)控制部3501決定。所決定的塊以例如第I塊、第2塊…的方式區(qū)分，并由各個(gè)塊包含哪個(gè)像素塊3131而規(guī)定。驅(qū)動(dòng)控制部3420從系統(tǒng)控制部3501接收該塊區(qū)分信息，并向定時(shí)存儲(chǔ)器3430存儲(chǔ)。
[0627]另外，系統(tǒng)控制部3501基于亮度分布的檢測(cè)結(jié)果，決定各塊重復(fù)進(jìn)行幾次電荷蓄存。驅(qū)動(dòng)控制部3420從系統(tǒng)控制部3501接收該蓄存次數(shù)信息，并與對(duì)應(yīng)的塊區(qū)分信息成對(duì)地向定時(shí)存儲(chǔ)器430存儲(chǔ)。通過這樣向定時(shí)存儲(chǔ)器3430存儲(chǔ)塊區(qū)分信息和蓄存次數(shù)信息，驅(qū)動(dòng)控制部3420能夠逐次參照定時(shí)存儲(chǔ)器3430而獨(dú)立地執(zhí)行一系列的電荷蓄存控制。SP，若驅(qū)動(dòng)控制部3420在一幅圖像的獲取控制中一旦從系統(tǒng)控制部3501接收到攝影指示的信號(hào)，則之后對(duì)于各像素的控制，能夠不用每次從系統(tǒng)控制部3501接受指示地完成蓄存控制。
[0628]驅(qū)動(dòng)控制部3420從系統(tǒng)控制部3501接收基于與攝影準(zhǔn)備指示同步地執(zhí)行的測(cè)光結(jié)果(亮度分布的檢測(cè)結(jié)果)而更新的塊區(qū)分信息和蓄存次數(shù)信息，并適當(dāng)更新定時(shí)存儲(chǔ)器3430的存儲(chǔ)內(nèi)容。例如，驅(qū)動(dòng)控制部3420與攝影準(zhǔn)備指示或攝影指示同步地更新定時(shí)存儲(chǔ)器3430。通過這樣地構(gòu)成，能夠?qū)崿F(xiàn)更高速的電荷蓄存控制，并且在驅(qū)動(dòng)控制部3420執(zhí)行電荷蓄存控制的期間，系統(tǒng)控制部3501能夠并行地執(zhí)行其他處理。
[0629]驅(qū)動(dòng)控制部3420不限于在執(zhí)行針對(duì)拍攝芯片3113的電荷蓄存控制中參照定時(shí)存儲(chǔ)器3430，在讀出控制的執(zhí)行中也參照定時(shí)存儲(chǔ)器3430。例如，驅(qū)動(dòng)控制部3420參照各塊的蓄存次數(shù)信息，將從信號(hào)分離器3413輸出的像素?cái)?shù)據(jù)存儲(chǔ)到像素存儲(chǔ)器3414的對(duì)應(yīng)地址中。
[0630]驅(qū)動(dòng)控制部3420根據(jù)來自系統(tǒng)控制部3501的交付請(qǐng)求，將按每個(gè)像素塊的對(duì)象像素?cái)?shù)據(jù)從像素存儲(chǔ)器3414讀出并向圖像處理部3511交付。此時(shí)，驅(qū)動(dòng)控制部3420將與各個(gè)對(duì)象像素?cái)?shù)據(jù)對(duì)應(yīng)的附加數(shù)據(jù)一并向圖像處理部3511交付。如上所述，像素存儲(chǔ)器3414具有對(duì)于各像素塊能夠存儲(chǔ)與最大累計(jì)次數(shù)對(duì)應(yīng)的像素信號(hào)的存儲(chǔ)空間，并將與執(zhí)行的蓄存次數(shù)對(duì)應(yīng)的各個(gè)像素?cái)?shù)據(jù)作為像素值而存儲(chǔ)。例如，在某塊中重復(fù)進(jìn)行4次電荷蓄存的情況下，由于該塊所包含的像素輸出4次的量的像素信號(hào)，所以在像素存儲(chǔ)器3414上的各像素的存儲(chǔ)空間中存儲(chǔ)有4個(gè)像素值。驅(qū)動(dòng)控制部3420在從系統(tǒng)控制部3501接受到對(duì)特定像素的像素?cái)?shù)據(jù)進(jìn)行請(qǐng)求的交付請(qǐng)求的情況下，指定像素存儲(chǔ)器3414上的該特定像素的地址，讀出所存儲(chǔ)的全部像素?cái)?shù)據(jù)，并向圖像處理部3511交付。例如在存儲(chǔ)有4個(gè)像素值的情況下，將該4個(gè)像素值依次全部交付，在僅存儲(chǔ)有I個(gè)像素值的情況下，將該像素值交付。
[0631]驅(qū)動(dòng)控制部3420能夠?qū)⒋鎯?chǔ)在像素存儲(chǔ)器3414中的像素?cái)?shù)據(jù)讀出至運(yùn)算電路3415，并在運(yùn)算電路3415中執(zhí)行上述的累計(jì)處理。累計(jì)處理后的像素?cái)?shù)據(jù)存儲(chǔ)在像素存儲(chǔ)器3414的對(duì)象像素地址中。對(duì)象像素地址可以與累計(jì)處理前的地址空間相鄰地設(shè)置，也可以相對(duì)于累計(jì)處理前的像素?cái)?shù)據(jù)以覆蓋的方式成為同一地址。另外，還可以設(shè)置將累計(jì)處理后的各像素的像素值集中地存儲(chǔ)的專用空間。驅(qū)動(dòng)控制部3420在從系統(tǒng)控制部3501接受到對(duì)特定像素的像素?cái)?shù)據(jù)進(jìn)行請(qǐng)求的交付請(qǐng)求的情況下，能夠根據(jù)該交付請(qǐng)求的形式，將累計(jì)處理后的像素?cái)?shù)據(jù)向圖像處理部3511交付。當(dāng)然，也能夠?qū)⒗塾?jì)處理前后的像素?cái)?shù)據(jù)一起交付。
[0632]在像素存儲(chǔ)器3414上設(shè)有根據(jù)交付請(qǐng)求來傳送像素?cái)?shù)據(jù)的數(shù)據(jù)傳輸接口。數(shù)據(jù)傳輸接口與和圖像處理部3511相連的數(shù)據(jù)傳輸線連接。數(shù)據(jù)傳輸線3920由例如串行總線構(gòu)成。該情況下，從系統(tǒng)控制部3501向驅(qū)動(dòng)控制部3420的交付請(qǐng)求通過利用了地址總線的地址指定而執(zhí)行。
[0633]基于數(shù)據(jù)傳輸接口進(jìn)行的像素?cái)?shù)據(jù)的傳送不限于地址指定方式，能夠采用各種方式。例如，能夠采用在進(jìn)行數(shù)據(jù)傳輸時(shí)，利用在各電路的同步中使用的時(shí)鐘信號(hào)的上升沿、下降沿雙方來進(jìn)行處理的雙倍數(shù)據(jù)速率方式。另外，也能夠采用通過將地址指定等步驟的一部分省略而將數(shù)據(jù)一舉傳輸來謀求高速化的突發(fā)傳輸方式。另外，還能夠組合采用使用了將控制部、存儲(chǔ)部、輸入輸出部并聯(lián)連接的線路的總線方式、將數(shù)據(jù)串行地一位一位傳輸?shù)拇蟹绞降取?br> [0634]通過這樣地構(gòu)成，圖像處理部3511能夠僅接收必要的像素?cái)?shù)據(jù)，因此，尤其在形成低析像度的圖像的情況等下，能夠高速地完成圖像處理。另外，在使運(yùn)算電路3415執(zhí)行累計(jì)處理的情況下，圖像處理部3511可以不執(zhí)行累計(jì)處理，所以能夠通過功能分擔(dān)和并行處理來謀求圖像處理的高速化。
[0635]也可以使用圖86的信號(hào)處理芯片3111，在注視區(qū)域3172和周邊區(qū)域3176中使用不同的控制參數(shù)獲取像素?cái)?shù)據(jù)后進(jìn)行圖像處理。例如，在圖67至圖70中，在注視區(qū)域3172和周邊區(qū)域3176中從以不同的幀頻獲取的圖像生成了動(dòng)態(tài)圖像，但也可以取而代之，進(jìn)行使以高幀頻獲取的圖像平均化的圖像處理來提高S/N比。該情況下，在例如通過驅(qū)動(dòng)控制部3420從周邊區(qū)域3176得到一次的像素信號(hào)的期間，從注視區(qū)域3142得到多次、例如四次的圖像信號(hào)，并將像素?cái)?shù)據(jù)存儲(chǔ)到像素存儲(chǔ)器3414中。運(yùn)算電路3415從像素存儲(chǔ)器3414讀出對(duì)于注視區(qū)域3142的各像素得到的多個(gè)像素?cái)?shù)據(jù)，并按每個(gè)像素進(jìn)行平均。由此，注視區(qū)域3172的各像素中的隨機(jī)噪聲減少，能夠提高注視區(qū)域3172的S/N比。
[0636]此外，可以在數(shù)據(jù)傳輸線3920上連接有存儲(chǔ)器930。存儲(chǔ)器930可以是將像素?cái)?shù)據(jù)從像素存儲(chǔ)器3414依次存儲(chǔ)到指定地址的易失性存儲(chǔ)器。例如，存儲(chǔ)器930是DRAM。像素?cái)?shù)據(jù)從像素存儲(chǔ)器3414向存儲(chǔ)器930的傳輸速率可以與基準(zhǔn)幀頻相同或與基準(zhǔn)幀頻相比較低。存儲(chǔ)器930作為從像素存儲(chǔ)器3414向圖像處理部3511進(jìn)行數(shù)據(jù)傳送的緩存器而發(fā)揮功能。也就是說，存儲(chǔ)器930在從多個(gè)像素存儲(chǔ)器3414的數(shù)據(jù)傳輸速率快于圖像處理部3511的數(shù)據(jù)處理速率的情況下，將像素存儲(chǔ)器3414輸出的像素?cái)?shù)據(jù)的至少一部分緩存。例如存儲(chǔ)器930從像素存儲(chǔ)器3414將按每個(gè)基準(zhǔn)幀頻的像素?cái)?shù)據(jù)和以高速幀頻動(dòng)作的像素塊3131的像素?cái)?shù)據(jù)存儲(chǔ)。
[0637]以上，使用實(shí)施方式對(duì)本發(fā)明進(jìn)行了說明，但本發(fā)明的技術(shù)范圍不限于上述實(shí)施方式所記載的范圍。本領(lǐng)域技術(shù)人員可以明確能夠?qū)ι鲜鰧?shí)施方式施加多種變更或改進(jìn)。根據(jù)權(quán)利要求書的記載可知，施加了這樣的變更或改進(jìn)的方式也能夠包含在本發(fā)明的技術(shù)范圍內(nèi)。
[0638]應(yīng)注意的是，權(quán)利要求書、說明書及附圖中示出的裝置、系統(tǒng)、程序及方法中的動(dòng)作、順序、步驟及級(jí)別等各處理的執(zhí)行順序只要沒有特別明示為“之前”，“在……之前”等，另外，只要前處理的輸出不在后處理中使用，就能夠以任意順序?qū)崿F(xiàn)。關(guān)于權(quán)利要求書、說明書及附圖中的動(dòng)作流程，即使為了便于說明而使用了“首先，”，“接著，”等進(jìn)行了說明，也不意味著必須按照該順序來實(shí)施。
【權(quán)利要求】
1.一種拍攝元件，其特征在于，具有: 拍攝部，其具有由至少一個(gè)像素構(gòu)成的多個(gè)組、和按每個(gè)所述組而設(shè)置且將來自所述像素的信號(hào)讀出的多個(gè)信號(hào)讀出部；和 控制部，其控制所述多個(gè)組中的至少一個(gè)組的所述信號(hào)讀出部。
2.如權(quán)利要求1所述的拍攝元件，其特征在于， 所述多個(gè)組的每一個(gè)包含多個(gè)所述像素。
3.如權(quán)利要求1或2所述的拍攝元件，其特征在于， 所述控制部選擇所述多個(gè)組中的至少一個(gè)組，并通過與所述多個(gè)組中的其他組不同的控制參數(shù)，來控制所述信號(hào)讀出部。
4.如權(quán)利要求3所述的拍攝元件，其特征在于， 所述控制參數(shù)包含巾貞頻， 所述控制部以第I幀頻控制與所述至少一個(gè)組對(duì)應(yīng)的所述信號(hào)讀出部，并且以與所述第I幀頻不同的第2幀頻控制與所述其他組對(duì)應(yīng)的所述信號(hào)讀出部。
5.一種拍攝裝置，其特征在于， 具有權(quán)利要求4所述的拍攝元件， 并具有動(dòng)態(tài)圖像生成部，該動(dòng)態(tài)圖像生成部基于以所述第I幀頻輸出的所述至少一個(gè)組的信號(hào)，來生成與所述至少一個(gè)組對(duì)應(yīng)的第I部分區(qū)域的動(dòng)態(tài)圖像，并且基于以所述第2幀頻輸出的所述其他組的信號(hào)，來生成與所述其他組對(duì)應(yīng)的第2部分區(qū)域的動(dòng)態(tài)圖像。
6.如權(quán)利要求5所述的拍攝裝置，其特征在于， 所述動(dòng)態(tài)圖像生成部將表示所述第I部分區(qū)域相對(duì)于由所述拍攝部拍攝到的整個(gè)區(qū)域的范圍的區(qū)域信息、和表示以所述第I幀頻輸出的信號(hào)及以所述第2幀頻輸出的信號(hào)的輸出定時(shí)的關(guān)系的定時(shí)信息，與所述第I部分區(qū)域的動(dòng)態(tài)圖像及所述第2部分區(qū)域的動(dòng)態(tài)圖像建立對(duì)應(yīng)地存儲(chǔ)到存儲(chǔ)部中。
7.如權(quán)利要求3所述的拍攝元件，其特征在于， 所述控制參數(shù)包含間除率， 所述控制部以第I間除率控制與所述至少一個(gè)組對(duì)應(yīng)的所述信號(hào)讀出部，并且以與所述第I間除率不同的第2間除率控制與所述其他組對(duì)應(yīng)的所述信號(hào)讀出部。
8.一種拍攝裝置，其特征在于， 具有權(quán)利要求7所述的拍攝元件， 并具有動(dòng)態(tài)圖像生成部，該動(dòng)態(tài)圖像生成部基于以所述第I間除率輸出的所述至少一個(gè)組的信號(hào)，來生成與所述至少一個(gè)組對(duì)應(yīng)的第I部分區(qū)域的動(dòng)態(tài)圖像，并且基于以所述第2間除率輸出的所述其他組的信號(hào)，來生成與所述其他組對(duì)應(yīng)的第2部分區(qū)域的動(dòng)態(tài)圖像。
9.如權(quán)利要求8所述的拍攝裝置，其特征在于， 所述動(dòng)態(tài)圖像生成部將表示所述第I部分區(qū)域相對(duì)于由所述拍攝部拍攝到的整個(gè)區(qū)域的范圍的區(qū)域信息、和表示所述第I間除率及第2間除率的關(guān)系的間除信息，與所述第I部分區(qū)域的動(dòng)態(tài)圖像及所述第2部分區(qū)域的動(dòng)態(tài)圖像建立對(duì)應(yīng)地存儲(chǔ)到存儲(chǔ)部中。
10.如權(quán)利要求3所述的拍攝元件，其特征在于， 所述控制參數(shù)包含將來自像素的信號(hào)相加的相加行數(shù)或相加列數(shù)， 所述控制部控制應(yīng)以第I行數(shù)或列數(shù)將信號(hào)相加的、與所述至少一個(gè)組對(duì)應(yīng)的所述信號(hào)讀出部，并且控制應(yīng)以與所述第I行數(shù)或列數(shù)不同的第2行數(shù)或列數(shù)將信號(hào)相加的、與所述其他組對(duì)應(yīng)的所述信號(hào)讀出部。
11.如權(quán)利要求3所述的拍攝元件，其特征在于， 所述控制參數(shù)包含電荷的蓄存時(shí)間， 所述控制部在使所述多個(gè)組執(zhí)行一次電荷蓄存的期間，使所述至少一個(gè)組執(zhí)行多次電荷蓄存并輸出各自的信號(hào)。
12.如權(quán)利要求3所述的拍攝元件，其特征在于， 所述控制參數(shù)包含將像素信號(hào)數(shù)字化的位數(shù)， 所述控制部以比所述多個(gè)組中的其他組大的位數(shù)將所述至少一個(gè)組的信號(hào)數(shù)字化。
13.如權(quán)利要求1至4、7、10至12中任一項(xiàng)所述的拍攝元件，其特征在于，還具有: 被攝物體推定部，其基于由所述拍攝部拍攝到的圖像來推定主要被攝物體；和 組選擇部，其將由所述被攝物體推定部推定的所述主要被攝物體的像光所入射的組選擇為所述至少一個(gè)組。
14.如權(quán)利要求3、4、7、10至12中任一項(xiàng)所述的拍攝元件，其特征在于， 所述控制部對(duì)于所述多個(gè)組中的存在于所述至少一個(gè)組與所述其他組的邊界上的組，將所述至少一個(gè)組的所述控制參數(shù)的值與所述其他單位組的所述控制參數(shù)的值的中間值用作所述控制參數(shù)。
15.如權(quán)利要求1至4、7、10至14中任一項(xiàng)所述的拍攝元件，其特征在于， 層疊有以二維方式配置有所述多個(gè)組的拍攝芯片、和配置有所述控制部的至少一部分的信號(hào)處理芯片。
16.如權(quán)利要求15所述的拍攝元件，其特征在于， 所述拍攝芯片由背面照射型CMOS芯片形成。
17.一種拍攝元件，其特征在于，具有: 拍攝部，其具有由至少一個(gè)像素構(gòu)成的多個(gè)組、和按每個(gè)所述組而設(shè)置且將來自所述像素的信號(hào)讀出的多個(gè)信號(hào)讀出部；和 多個(gè)控制部，其按每個(gè)所述組而設(shè)置、且基于來自所述像素的信號(hào)來控制所述信號(hào)讀出部。
18.如權(quán)利要求17所述的拍攝元件，其特征在于， 所述多個(gè)組的每一個(gè)包含多個(gè)所述像素。
19.一種拍攝元件，其特征在于，具有: 拍攝部，其具有設(shè)有第I像素及第2像素的拍攝區(qū)域、讀出從所述第I像素輸出的第I像素信號(hào)的第I讀出電路、和讀出從所述第2像素輸出的第2像素信號(hào)的第2讀出電路；第I運(yùn)算部，其基于所述第I像素信號(hào)對(duì)第I評(píng)估值進(jìn)行運(yùn)算； 第2運(yùn)算部，其基于所述第2像素信號(hào)對(duì)第2評(píng)估值進(jìn)行運(yùn)算； 第I控制部，其基于所述第I評(píng)估值進(jìn)行與所述第I像素的曝光或讀出有關(guān)的控制；以及 第2控制部，其基于所述第2評(píng)估值進(jìn)行與所述第2像素的曝光或讀出有關(guān)的控制。
20.如權(quán)利要求19所述的拍攝元件，其特征在于， 所述拍攝區(qū)域具有設(shè)有多個(gè)所述第I像素的第I區(qū)域、和設(shè)有多個(gè)所述第2像素的第2區(qū)域， 所述第I控制部進(jìn)行與設(shè)置在所述第I區(qū)域中的多個(gè)所述第I像素的曝光或讀出有關(guān)的控制， 所述第2控制部進(jìn)行與設(shè)置在所述第2區(qū)域中的多個(gè)所述第2像素的曝光或讀出有關(guān)的控制。
21.如權(quán)利要求19或20所述的拍攝元件，其特征在于， 所述第I控制部基于所述第I評(píng)估值來控制將所述第I像素讀出的幀頻， 所述第2控制部基于所述第2評(píng)估值來控制將所述第2像素讀出的幀頻。
22.如權(quán)利要求20所述的拍攝元件，其特征在于， 所述第I控制部基于所述第I評(píng)估值，控制將設(shè)置在所述第I區(qū)域中的多個(gè)所述第I像素間除而讀出的間除率， 所述第2控制部基于所述第2評(píng)估值，控制將設(shè)置在所述第2區(qū)域中的多個(gè)所述第2像素間除而讀出的間除率。
23.如權(quán)利要求20所述的拍攝元件，其特征在于， 所述第I控制部基于所述第I評(píng)估值，控制將設(shè)置在所述第I區(qū)域中的多個(gè)所述第I像素相加而讀出的相加像素?cái)?shù)， 所述第2控制部基于所述第2評(píng)估值，控制將設(shè)置在所述第2區(qū)域中的多個(gè)所述第2像素相加而讀出的相加像素?cái)?shù)。
24.如權(quán)利要求19至23中任一項(xiàng)所述的拍攝元件，其特征在于， 所述第I運(yùn)算部根據(jù)所述第2像素信號(hào)對(duì)所述第I評(píng)估值進(jìn)行運(yùn)算。
25.如權(quán)利要求19至23中任一項(xiàng)所述的拍攝元件，其特征在于， 所述第I運(yùn)算部根據(jù)所述第2評(píng)估值對(duì)所述第I評(píng)估值進(jìn)行運(yùn)算。
26.如權(quán)利要求19至25中任一項(xiàng)所述的拍攝元件，其特征在于，由以下部分構(gòu)成: 具有所述拍攝部的拍攝芯片；和 具有所述第I運(yùn)算部及所述第2運(yùn)算部且通過層疊而與所述拍攝芯片接合的信號(hào)處理-H-* I I心/T O
27.如權(quán)利要求26所述的拍攝元件，其特征在于， 所述拍攝芯片由背面照射型CMOS芯片形成。
28.一種拍攝裝置，其特征在于，具有權(quán)利要求19至27中任一項(xiàng)所述的拍攝元件。
29.一種拍攝元件，其特征在于，具有: 拍攝部，其具有由至少一個(gè)像素構(gòu)成的多個(gè)組、和按每個(gè)所述組而設(shè)置且將來自所述像素的信號(hào)讀出的多個(gè)信號(hào)讀出部；和 多個(gè)運(yùn)算部，其按每個(gè)所述組而設(shè)置，且將與所述信號(hào)讀出部的控制有關(guān)的信息傳送到對(duì)所述信號(hào)實(shí)施圖像處理的圖像處理部。
30.如權(quán)利要求1所述的拍攝元件，其特征在于， 所述多個(gè)組的每一個(gè)由多個(gè)像素構(gòu)成。
31.一種拍攝元件，其特征在于，具有: 拍攝部，其具有配置有第I像素及第2像素的拍攝區(qū)域、讀出從所述第I像素輸出的第I像素信號(hào)的第I讀出電路、和讀出從所述第2像素輸出的第2像素信號(hào)的第2讀出電路；第I運(yùn)算部，其基于所述第I像素信號(hào)對(duì)第I評(píng)估值進(jìn)行運(yùn)算，并將運(yùn)算出的所述第I評(píng)估值傳送到對(duì)與所述第I像素信號(hào)對(duì)應(yīng)的第I像素?cái)?shù)據(jù)實(shí)施圖像處理的后級(jí)的圖像處理部；以及 第2運(yùn)算部，其基于所述第2像素信號(hào)對(duì)第2評(píng)估值進(jìn)行運(yùn)算，并將運(yùn)算出的所述第2評(píng)估值傳送到對(duì)與所述第2像素信號(hào)對(duì)應(yīng)的第2像素?cái)?shù)據(jù)實(shí)施圖像處理的后級(jí)的圖像處理部。
32.如權(quán)利要求31所述的拍攝元件，其特征在于， 所述拍攝區(qū)域具有配置有多個(gè)所述第I像素的第I像素塊、和配置有多個(gè)所述第2像素的第2像素塊， 所述第I運(yùn)算部基于所述第I像素塊所包含的多個(gè)所述第I像素輸出的多個(gè)所述第I像素信號(hào)來計(jì)算所述第I評(píng)估值， 所述第2運(yùn)算部基于所述第2像素塊所包含的多個(gè)所述第2像素輸出的多個(gè)所述第2像素信號(hào)來計(jì)算所述第2評(píng)估值。
33.如權(quán)利要求31或32所述的拍攝元件，其特征在于， 所述第I運(yùn)算部將所述第I評(píng)估值與所述第I像素?cái)?shù)據(jù)建立對(duì)應(yīng)， 所述第2運(yùn)算部將所述第2評(píng)估值與所述第2像素?cái)?shù)據(jù)建立對(duì)應(yīng)。
34.如權(quán)利要求31至33中任一項(xiàng)所述的拍攝元件，其特征在于， 所述第I運(yùn)算部對(duì)所述第I評(píng)估值賦予表示所述第I評(píng)估值的運(yùn)算內(nèi)容的數(shù)據(jù)代碼， 所述第2運(yùn)算部對(duì)所述第2評(píng)估值賦予表示所述第2評(píng)估值的運(yùn)算內(nèi)容的數(shù)據(jù)代碼。
35.如權(quán)利要求31至34中任一項(xiàng)所述的拍攝元件，其特征在于， 所述第I運(yùn)算部還基于所述第2像素信號(hào)對(duì)所述第I評(píng)估值進(jìn)行運(yùn)算。
36.如權(quán)利要求31至35中任一項(xiàng)所述的拍攝元件，其特征在于， 所述第I運(yùn)算部還基于所述第2運(yùn)算部的所述第2評(píng)估值、或所述第2運(yùn)算部運(yùn)算所述第2評(píng)估值過程中的運(yùn)算結(jié)果，對(duì)所述第I評(píng)估值進(jìn)行運(yùn)算。
37.如權(quán)利要求36所述的拍攝元件，其特征在于， 所述第I運(yùn)算部具有: 本塊計(jì)算部，其對(duì)所述第I像素?cái)?shù)據(jù)進(jìn)行預(yù)先確定的運(yùn)算；和平均計(jì)算部，其對(duì)所述第2運(yùn)算部的所述第2評(píng)估值或所述運(yùn)算結(jié)果和本塊計(jì)算部的運(yùn)算結(jié)果進(jìn)行預(yù)先確定的運(yùn)算， 所述第I運(yùn)算部將本塊計(jì)算部的運(yùn)算結(jié)果傳送到所述第2運(yùn)算部， 將所述平均計(jì)算部的運(yùn)算結(jié)果作為所述第I評(píng)估值而傳送到所述圖像處理部。
38.如權(quán)利要求37所述的拍攝元件，其特征在于， 所述第I運(yùn)算部還具有基于所述平均計(jì)算部的運(yùn)算結(jié)果對(duì)所述第I像素?cái)?shù)據(jù)進(jìn)行壓縮的平均-平均計(jì)算部。
39.如權(quán)利要求31至34中任一項(xiàng)所述的拍攝元件，其特征在于， 所述第I運(yùn)算部及所述第2運(yùn)算部的至少一方對(duì)當(dāng)前幀中的所述像素?cái)?shù)據(jù)，使用以前的幀中的所述像素?cái)?shù)據(jù)來進(jìn)行預(yù)先確定的運(yùn)算。
40.如權(quán)利要求32所述的拍攝元件，其特征在于，還具有: 第1A/D轉(zhuǎn)換器，其與所述第I像素塊對(duì)應(yīng)地設(shè)置，并將各自的所述第I像素信號(hào)轉(zhuǎn)換成所述第I像素?cái)?shù)據(jù)；和 第2A/D轉(zhuǎn)換器，其與所述第2像素塊對(duì)應(yīng)地設(shè)置，并將各自的所述第2像素信號(hào)轉(zhuǎn)換成所述第2像素?cái)?shù)據(jù)。
41.如權(quán)利要求31至40中任一項(xiàng)所述的拍攝元件，其特征在于， 所述拍攝部形成在拍攝芯片上， 所述第I運(yùn)算部及所述第2運(yùn)算部形成在與所述拍攝芯片層疊的信號(hào)處理芯片上。
42.如權(quán)利要求41所述的拍攝元件，其特征在于， 所述拍攝芯片為背面照射型CMOS芯片。
43.如權(quán)利要求31至42中任一項(xiàng)所述的拍攝元件，其特征在于， 所述圖像處理部設(shè)置在所述拍攝元件上，并基于所述第I評(píng)估值及所述第2評(píng)估值對(duì)所述第I像素?cái)?shù)據(jù)及所述第2像素?cái)?shù)據(jù)實(shí)施圖像處理。
44.一種拍攝裝置，具有權(quán)利要求31至42中任一項(xiàng)所述的拍攝元件。
45.如權(quán)利要求44所述的拍攝裝置，其特征在于， 所述圖像處理部設(shè)置在所述拍攝元件的外部，并基于所述第I評(píng)估值及所述第2評(píng)估值對(duì)所述第I像素?cái)?shù)據(jù)及所述第2像素?cái)?shù)據(jù)實(shí)施圖像處理。
46.一種拍攝元件，其特征在于，具有: 拍攝部，其具有由至少一個(gè)像素構(gòu)成的多個(gè)組；和 存儲(chǔ)部，其具有多個(gè)存儲(chǔ)塊，該多個(gè)存儲(chǔ)塊與所述多個(gè)組對(duì)應(yīng)地設(shè)置，并分別進(jìn)行來自對(duì)應(yīng)的組的像素的信號(hào)的存儲(chǔ)和來自所述對(duì)應(yīng)的組以外的像素的信號(hào)的存儲(chǔ)。
47.如權(quán)利要求46所述的拍攝元件，其特征在于， 所述多個(gè)組的每一個(gè)由多個(gè)像素構(gòu)成。
48.如權(quán)利要求46或47所述的拍攝元件，其特征在于， 能夠按每個(gè)所述組至少?gòu)幕鶞?zhǔn)幀頻及周期比所述基準(zhǔn)幀頻短的高速幀頻這兩者來選擇表示在所述多個(gè)組中生成所述信號(hào)的周期的幀頻， 還具有控制部，該控制部使與所述高速幀頻的所述組對(duì)應(yīng)的所述存儲(chǔ)塊的所述信號(hào)存儲(chǔ)到與所述基準(zhǔn)幀頻的所述組對(duì)應(yīng)的所述存儲(chǔ)塊中。
49.如權(quán)利要求48所述的拍攝元件，其特征在于， 各自的所述組在像素區(qū)域的整體范圍內(nèi)按沿行列方向隔開固定間隔地分布的每多個(gè)所述組而成塊化，與塊內(nèi)的所述組對(duì)應(yīng)的各自的所述存儲(chǔ)塊被塊內(nèi)的全部所述組所共有，所述控制部在與所述高速幀頻的所述組對(duì)應(yīng)的所述存儲(chǔ)塊中已經(jīng)存儲(chǔ)有所述信號(hào)的情況下，使與該組對(duì)應(yīng)的所述信號(hào)存儲(chǔ)到與該組為同一塊內(nèi)的任一所述存儲(chǔ)塊中。
50.如權(quán)利要求46或47所述的拍攝元件，其特征在于， 能夠按每個(gè)所述組至少?gòu)幕鶞?zhǔn)幀頻及周期比所述基準(zhǔn)幀頻短的高速幀頻這兩者來選擇表示在所述組中生成所述信號(hào)的周期的幀頻， 還具有控制部，該控制部在與所述高速幀頻的所述組對(duì)應(yīng)的所述存儲(chǔ)塊中已經(jīng)存儲(chǔ)有所述信號(hào)的情況下，使該存儲(chǔ)塊的所述信號(hào)向與所述基準(zhǔn)幀頻的所述組對(duì)應(yīng)的所述存儲(chǔ)塊移動(dòng)，并使與該組對(duì)應(yīng)的所述信號(hào)存儲(chǔ)到對(duì)應(yīng)的所述存儲(chǔ)塊中。
51.如權(quán)利要求50所述的拍攝元件，其特征在于， 還具有在相鄰的與所述組對(duì)應(yīng)的所述存儲(chǔ)塊之間傳送所述信號(hào)的傳送路徑， 所述控制部與所述高速幀頻同步地，使與所述高速幀頻的所述組對(duì)應(yīng)的所述信號(hào)依次向相鄰的所述存儲(chǔ)塊移動(dòng)。
52.如權(quán)利要求51所述的拍攝元件，其特征在于， 所述控制部使各自的所述信號(hào)向相鄰的所述存儲(chǔ)塊中的、離像素區(qū)域的邊緣最近的所述存儲(chǔ)塊移動(dòng)。
53.如權(quán)利要求52所述的拍攝元件，其特征在于， 所述控制部將所述多個(gè)組中的、沿著像素區(qū)域的最外周的所述組的所述幀頻固定為所述基準(zhǔn)幀頻。
54.如權(quán)利要求48至53中任一項(xiàng)所述的拍攝元件，其特征在于， 各自的所述存儲(chǔ)塊是按各自的每個(gè)所述組而設(shè)置的存儲(chǔ)器。
55.如權(quán)利要求46至54中任一項(xiàng)所述的拍攝元件，其特征在于， 所述存儲(chǔ)部相對(duì)于多個(gè)所述存儲(chǔ)塊的總存儲(chǔ)區(qū)域具有至少相同大小的存儲(chǔ)區(qū)域，還具有將多個(gè)所述存儲(chǔ)塊所存儲(chǔ)的所述信號(hào)按預(yù)先確定的每個(gè)周期而傳輸?shù)膫鬏敶鎯?chǔ)器。
56.一種拍攝裝置，其特征在于，具有權(quán)利要求46至55中任一項(xiàng)所述的拍攝元件。
57.如權(quán)利要求1所述的拍攝元件，其特征在于， 還具有按每所述多個(gè)組而設(shè)置且將來自所述像素的信號(hào)轉(zhuǎn)換成像素?cái)?shù)據(jù)的多個(gè)A/D轉(zhuǎn)換器。
58.如權(quán)利要求17所述的拍攝元件，其特征在于， 還具有按每所述多個(gè)組而設(shè)置且將來自所述像素的信號(hào)轉(zhuǎn)換成像素?cái)?shù)據(jù)的多個(gè)A/D轉(zhuǎn)換器。
59.如權(quán)利要求20所述的拍攝元件，其特征在于，還具有: 第1A/D轉(zhuǎn)換器，其與所述第I區(qū)域?qū)?yīng)地設(shè)置，并將各自的所述第I像素信號(hào)轉(zhuǎn)換成第I像素?cái)?shù)據(jù)；和 第2A/D轉(zhuǎn)換器，其與所述第2區(qū)域?qū)?yīng)地設(shè)置，并將各自的所述第2像素信號(hào)轉(zhuǎn)換成第2像素?cái)?shù)據(jù)。
60.如權(quán)利要求29所述的拍攝元件，其特征在于， 還具有按每所述多個(gè)組而設(shè)置且將來自所述像素的信號(hào)轉(zhuǎn)換成像素?cái)?shù)據(jù)的多個(gè)A/D轉(zhuǎn)換器。
61.如權(quán)利要求46所述的拍攝元件，其特征在于， 還具有按每所述多個(gè)組而設(shè)置且將來自所述像素的信號(hào)轉(zhuǎn)換成像素?cái)?shù)據(jù)的多個(gè)A/D轉(zhuǎn)換器。
【文檔編號(hào)】H04N5/353GK104272721SQ201380022701
【公開日】2015年1月7日 申請(qǐng)日期:2013年5月2日 優(yōu)先權(quán)日:2012年5月2日
【發(fā)明者】栗山孝司, 村田寬信, 綱井史郎, 小西哲也, 鈴木政央 申請(qǐng)人:株式會(huì)社尼康