CN104769930B - 具有多个像素阵列的成像装置 - Google Patents

具有多个像素阵列的成像装置 Download PDF

Info

Publication number
CN104769930B
CN104769930B CN201380048658.3A CN201380048658A CN104769930B CN 104769930 B CN104769930 B CN 104769930B CN 201380048658 A CN201380048658 A CN 201380048658A CN 104769930 B CN104769930 B CN 104769930B
Authority
CN
China
Prior art keywords
image
pel array
pixel data
exposure period
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380048658.3A
Other languages
English (en)
Other versions
CN104769930A (zh
Inventor
缪潇宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN104769930A publication Critical patent/CN104769930A/zh
Application granted granted Critical
Publication of CN104769930B publication Critical patent/CN104769930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

一种成像装置包含经布置以捕获第一图像的第一像素阵列及经布置以捕获第二图像的第二像素阵列。所述第一像素阵列及所述第二像素阵列面向实质上相同的方向。所述成像装置还包含耦合到所述第一像素阵列以起始所述第一像素阵列的第一曝光期以捕获所述第一图像的快门控制电路。所述快门控制电路还耦合到所述第二像素阵列以起始所述第二像素阵列的第二曝光期以捕获所述第二图像。所述成像装置还包含经耦合以接收所述第一图像的第一像素数据及经耦合以接收所述第二图像的第二像素数据的处理逻辑。所述处理逻辑经配置成使用所述第一像素数据及所述第二像素数据产生至少一个图像。

Description

具有多个像素阵列的成像装置
技术领域
本发明大体上涉及光学器件，且更特定来说(但不排它地)，涉及数字成像装置。
背景技术
常规的数字成像装置或摄像机具有(可包含多个透镜元件的)透镜，所述透镜使图像光聚焦到测量图像光并基于所述测量产生图像的图像传感器上。图1说明数字成像装置100的通用配置。图1包含图像传感器101及安置于图像传感器101之上的光学效率透镜110。光学效率透镜110用以将尽可能多的光引入到像素中供测量。光学效率透镜110可为安置于图像传感器101的每一像素之上的微透镜。红外线(“IR”)滤光器115可安置于光学效率透镜110及图像传感器101之上以过滤掉IR光以免被图像传感器101测量到。透镜120安置于图像传感器101之上以使图像光190聚焦到图像传感器101的像素上。透镜120可包含赋予透镜120某一焦距的凸透镜及/或凹透镜元件123。透镜120的所述焦距可与景深对应。景深指的是图像传感器的视野中的看似能很好地聚焦到图像传感器101所捕获的图像中的距离范围。
为了达到给定的分辨率，常规数字成像装置可需要给定的纵横比(例如，4：3，16：9)的某种覆盖区。常规数字成像装置对于给定的图像捕获还可具有有限的视野。常规数字成像装置还可限制于在特定的时间量内给定数量的图像捕获(例如，每秒30帧)。一些常规数字成像装置还可限制于在给定的图像捕获中给定的曝光时间。这可限制所捕获的图像的动态范围。常规数字成像装置在任何给定的所捕获图像中也通常仅有一个景深，这是因为透镜120一次具有一个焦距。举例来说，图像的前景因为在所述图像的景深之内所以可很清晰，但所述图像的背景因为不在所述图像的景深之内而可为模糊的。因此，允许数字成像装置克服所有这些限制或这些限制中的一些的装置或方法将是有利的。
附图说明
参考以下诸图描述本发明的非限制性及非穷举实施例，其中相似参考数字指代贯穿各种视图的相同部件，除非另有说明。
图1是包含使图像光聚焦到图像传感器上的透镜的常规数字成像装置的侧视图。
图2A及2B展示根据本发明的实施例的包含不同像素组的实例图像传感器。
图2C展示根据本发明的实施例的包含不同视野的不同像素组的实例图像传感器。
图3是根据本发明的实施例的包含图像传感器及电子组件以促进人机交互的实例可穿戴式眼镜的透视图。
图4说明根据本发明的实施例的包含数字成像装置的元件的实例方框图。
图5说明根据本发明的实施例的用图像传感器产生高动态范围(“HDR”)图像的实例方框图及实例时序图。
图6说明根据本发明的实施例的用图像传感器产生高帧速率视频的实例方框图及实例时序图。
图7说明根据本发明的实施例的用图像传感器产生HDR高帧速率视频的实例方框图及实例时序图。
图8说明根据本发明的实施例的用图像传感器产生具有扩大视野的图像的实例方框图及实例时序图。
图9说明根据本发明的实施例的用图像传感器产生超分辨率图像的实例方框图及实例时序图。
图10说明根据本发明的实施例的包含使图像光聚焦到图像传感器的不同像素组上的不同透镜的数字成像装置的实例透镜系统。
图11说明根据本发明的实施例的包含使图像光聚焦到图像传感器的不同像素组上的不同透镜以产生捕获后聚焦视频的实例方框图。
图12A及12B说明根据本发明的实施例的包含使图像光聚焦到图像传感器的不同像素组上的不同透镜以产生HDR捕获后聚焦图像的实例时序图及实例方框图。
图13说明根据本发明的实施例的对导向图像传感器的不同像素组的图像光进行滤光的实例滤光器系统。
图14展示实例方框图，其说明根据本发明的实施例的接收穿过透镜及滤光器的图像光及产生光增强的捕获后聚焦图像的图像传感器的不同像素组。
具体实施方式
本文描述用于捕获图像的系统及方法的实施例。在以下描述中，阐述许多具体细节以提供对所述实施例的透彻理解。然而，相关领域的技术人员应认识到，本文所描述的所述技术可在没有一或多个具体细节，或利用其它方法、组件、材料等的情况下实践。在其它情况下，为避免模糊某些方面，未展示或详细描述众所周知的结构、材料或操作。
贯穿本说明书对“一个实施例”或“实施例”的参考指的是在本发明的至少一个实施例中包含与所述实施例相结合描述的特定特征、结构或特性。因此，短语“在一个实施例中”或“在实施例中”在本说明书中多个地方的出现并不必然都指代相同的实施例。另外，在一或多个实施例中，特定的特征、结构或特性可以任何合适的方式进行组合。
图2A及2B展示根据本发明的实施例的包含不同像素组(或阵列)的实例图像传感器。图像传感器201包含第一像素组211、第二像素组212、第三像素组213及第四像素组214。在所说明实施例中，图像传感器201实质上呈矩形并四等分为四个区段，及一个像素组占用所述四个区段的每一者。在所说明实施例中，每一像素组面向实质上相同的方向。第一像素组211、第二像素组212、第三像素组213及第四像素组214可都被安置于相同的半导体裸片上。
图像传感器202包含第一像素组220、第二像素组230、第三像素组240及第四像素组250。在所说明实施例中，每一像素组面向实质上相同的方向。在所说明实施例中，图像传感器202实质上成形为被划分为四个区段的细长矩形，一像素组占用每一区段。第一像素组220、第二像素组230、第三像素组240及第四像素组250可都被安置在相同的半导体裸片上。
图2C展示根据本发明的实施例的包含有不同视野的不同像素组的实例图像传感器。图像传感器203包含第一像素组221、第二像素组222、第三像素组223及第四像素组224。在一个实施例中，每一像素组有60度的视野，尽管具有不同角度的不同视野是可能的。在所说明实施例中，第一像素组221有从0°到60°的视野，第二像素组222有从20°到80°的视野，第三像素组223有从40°到100°的视野及第四像素组224有60°到120°的视野。在这个实施例中，每一像素组具有重叠另一个像素组的视野。图像传感器203可包含四个不同的半导体裸片，其中各自包含一个像素组，且每一半导体裸片可横向相对于另一半导体裸片成角度地定位以赋予每一像素组不同的视野。应理解，每一像素组的视野可由放置于所述像素组之上的透镜或滤光器影响。
在图2A、2B及2C的所说明实施例中，图像传感器201、202及203中的像素组含有相同的像素数且为相同的尺寸，但是具有不同像素数及不同尺寸的配置是可能的。在一个实施例中，所述第一像素组、第二像素组、第三像素组及第四像素组具有通用图像分辨率(例如，640x480、1280x720、1920x1080等)的像素尺寸。
本发明所呈现的许多图说明包含四个像素组的图像传感器。在一些实施例中，需要四个或四个以上像素组以捕获所要的图像，但在其它实施例中，可与使用来自四个像素组的图像数据类似的方式利用来自两个或三个像素组的图像数据产生图像。因此，应了解，一些实施例可经缩放以包含比所说明的四个像素组多或少的像素组。
图3是根据本发明的实施例的包含图像传感器(例如，图像传感器202或203)及电子组件(例如，控制器305)以促进人机交互的实例可穿戴式眼镜300的透视图。在一些情况下，所述可穿戴式眼镜为头戴式显示器(“HMD”)。HMD为戴于头部上或头部周围的显示装置。HMD通常并入有某种近眼光学系统以在与人眼相距几厘米距离内放射光图像。可穿戴式眼镜300的所说明实施例包含安置于框架325(包含左镜脚330及右镜脚340)内的透镜345。尽管图3说明传统眼镜框架325，本发明的实施例适用于多种多样的框架类型及样式(例如，面罩、发带、护目镜)。传统眼镜框架325可具有细框架，其并不包含足够空间以固定具有可接受分辨率(例如，5兆像素)的传统图像传感器。具有细长形状的图像传感器(例如图像传感器202或图像传感器203)可更适合细的眼镜框架。当然，具有传统形状的图像传感器或图像传感器201也可安装于可穿戴式眼镜300上。
尽管图3说明细长的图像传感器(例如，图像传感器202或203)，但应了解，可穿戴式眼镜300可包含非细长图像传感器(例如，图像传感器201)。在一个实施例中，可穿戴式眼镜300包含图像传感器201(像素组的2x2阵列)。在一个实施例中，图像传感器201安装在可穿戴式眼镜300的中心，在鼻梁架上或周围。在一个实施例中，两个图像传感器(例如，图像传感器201、202或203)安置于可穿戴式眼镜300上。在一个实例中，一个图像传感器(面向前)安置在左镜脚330与框架325的紧固透镜345的部分会合处的附近，且第二图像传感器(面向前)安置在右镜脚340与框架325的紧固透镜345的部分会合处的附近。
可穿戴式眼镜300可包含控制器305且控制器305可包含具有硬件、固件、及/或软件逻辑的集成电路。控制器305可用以接收、发射及处理数据。控制器305可接收及处理图像数据并基于软件算法产生图像。控制器305可定位于不同于右镜脚340的一或多个位置。
图4说明根据本发明的实施例的包含数字成像装置的元件的实例方框图。在所说明实施例中，第一像素组420、第二像素组430、第三像素组440及第四像素组450分别耦合到第一控制电路419、第二控制电路429、第三控制电路439及第四控制电路449。应了解，在一个实施例中，第一控制电路419、第二控制电路429、第三控制电路439及第四控制电路449可共享电组件且可被认为是单一控制电路模块。在所说明实施例中，第一控制电路419、第二控制电路429、第三控制电路439及第四控制电路449耦合以分别接收第一图像捕获信号418、第二图像捕获信号428、第三图像捕获信号438及第四图像捕获信号448。
快门控制器405经耦合以发射图像捕获信号。快门控制器405经耦合以通过发送第一图像捕获信号418到第一控制电路419来起始第一像素组420的第一曝光期，从而促进了所述第一曝光期。快门控制器405还发射图像捕获信号428、438及448到控制电路429、439及449以分别促进像素组430、440及450的第二、第三及第四曝光期。
在所说明实施例中，第一读出电路421从第一像素组420中读出第一图像数据，及读出电路431、441及451类似地用以读出来自第二、第三及第四像素组的第二、第三及第四图像数据。图像处理逻辑490接收来自相应读出电路的第一图像422、第二图像432、第三图像442及第四图像452以做进一步处理。图像处理逻辑490可包含处理器及存储器以编辑、处理及组合图像数据。应了解，在一个实施例中，第一读出电路421、第二读出电路431及第三读出电路441可共享电组件且可被认为是单一读出电路模块。在所说明实施例中，第一像素组420、第二像素组430、第三像素组440及第四像素组450安置于图像传感器201或202中且其它电路不与图像传感器201相集成。在一个实施例中，图像传感器201或202包含所说明控制电路及读出电路。本发明的其它图可能未具体展示与每一像素组相关联的控制电路及读出电路，但如图4的描述中所描述，每一像素组可包含控制电路及读出电路。
图5说明根据本发明的实施例的用图像传感器产生高动态范围(“HDR”)图像的实例方框图及实例时序图。图5展示面向实质上相同的方向并接收图像光503的第一像素组520、第二像素组530、第三像素组540及第四像素组550。第一像素组520、第二像素组530、第三像素组540及第四像素组550可为与图像传感器201及202相结合而展示的像素组的实例。在所说明实施例中，第一图像捕获信号518使第一像素组520曝露于图像光503历时第一曝光期，所述第一曝光期的持续时间小于其它像素组的曝光期。类似地，第二图像捕获信号528、第三图像捕获信号538、及第四图像捕获信号548使相应像素组曝光不同的持续时间。所述图像捕获信号可来自快门控制器405。在所说明实施例中，所述第一、第二、第三及第四曝光期在时间TSTART开始，这意味着至少部分地同时捕获图像522、532、542及552。如果摄影师希望捕获运动场景，那么所述半同时图像捕获在与包含连续捕获图像的HDR图像产生方法相比时是有利的。连续捕获图像(一个接着一个)以生成HDR图像具有以下固有风险：场景中的物体移动得太快以致不能有效使用HDR算法。
HDR算法逻辑590接收来自相应像素组的第一图像522、第二图像532、第三图像542、及第四图像552并产生HDR图像595。在接收所述图像之后，HDR算法逻辑590可使用已知的HDR方法智能地组合所述图像以产生HDR图像595。应了解，HDR算法逻辑590可需要对第一图像522、第二图像532、第三图像542及第四图像552执行某些其它附加算法以产生HDR图像595。举例来说，如果所述第一、第二、第三及第四像素组面向实质上相同的方向且对实质上相同的场景或视野成像，那么HDR算法逻辑590可需要裁剪接收到的图像以产生相同视野的HDR图像595。
图6说明根据本发明的实施例的用图像传感器产生高帧速率视频的实例方框图及实例时序图。图6展示面向实质上相同的方向并接收图像光503的第一像素组620、第二像素组630、第三像素组640、及第四像素组650。第一像素组520、第二像素组530、第三像素组540、及第四像素组550可为与图像传感器201及202相结合而展示的像素组的实例。在所说明实施例中，第一图像捕获信号618、第二图像捕获信号628、第三图像捕获信号638及第四图像捕获信号648起始其相应的像素组的曝光期(连续地)。在这个实施例中，第一像素组620捕获图像，接着第二像素组630捕获图像，接着第三像素组640捕获图像，接着第四像素组650捕获图像。
图像处理逻辑690从所述像素组接收这些图像并使用所述图像产生高帧速率视频695。图像处理逻辑690经耦合以输出通过交织从所述像素组接收到的像素数据的至少一部分产生的高帧速率视频695。举例来说，来自第一像素组620的第一像素数据、来自第二像素组630的第二像素数据、来自第三像素组640的第三像素数据及来自第四像素组650的第四像素数据可被交织以产生高帧速率视频695。应了解，图像处理逻辑690可需要对所述接收到的图像执行某些其它附加的算法以产生高帧速率视频695。举例来说，如果所述第一、第二、第三及第四像素组面向实质上相同的方向且对实质上相同的场景或视野成像，那么图像处理逻辑690可需要裁剪所述接收到的图像以产生高帧速率视频695。举例来说，图像处理逻辑690可需要将第二像素数据与第一像素数据及第三像素数据比较以在高帧速率视频695中完成第二图像之前确定所述图像之间的视野共同性。
使用两个或两个以上像素组以产生高帧速率视频比使用单个像素组或像素阵列产生高帧速率视频更具有潜在优势，这是因为视频的帧速率将不必受像素组的像素读出时间限制。在一个实例中，四个像素组每秒捕获30帧。随着图像处理逻辑690交织来自每一像素组的像素数据，高帧速率视频可能为每秒120帧。如果图像传感器201或202只具有以每秒30帧的速率捕获图像的三个像素组，那么图像处理逻辑可交织所述像素数据及可能产生每秒90帧的高帧速率视频。
图7说明根据本发明的实施例的用图像传感器产生HDR高帧速率视频的实例方框图及实例时序图。图7展示面向实质上相同的方向并接收图像光503的第一像素组620、第二像素组630、第三像素组640、及第四像素组650。在所说明实施例中，第一图像捕获信号718使第一像素组620暴露在图像光503下的持续时间比第二图像捕获信号728使第二像素组630暴露在图像光503下的持续时间短。同样在所说明实施例中，在第二像素组630暴露到图像光503下之后，第三图像捕获信号738使第三像素组640暴露到图像光503下。第三图像捕获信号738使第三像素组640暴露在图像光503下的持续时间比第四图像捕获信号748使第四像素组650暴露到图像光503下的持续时间短。本质上，第一像素组620及第二像素组630捕获用于第一合成图像(例如，第一HDR图像756)的图像数据，且第三像素组640及第四像素组捕获用于第二合成图像(例如，第二HDR图像758)的图像数据，所述图像数据是在用以产生所述第一合成图像的所述图像数据之后被捕获。
在所说明实施例中，第一HDR处理逻辑755接收来自第一像素组620的第一像素数据及接收来自第二像素组630的第二像素数据，并产生合成图像(例如第一HDR图像756)。第二HDR处理逻辑757接收来自第三像素组640的第三像素数据及接收来自第四像素组650的第四像素数据，并产生合成图像(例如第二HDR图像758)。仍然参考所说明实施例，图像处理逻辑790接收第一HDR图像756及第二HDR图像758并交织所述HDR图像(或所述HDR图像的经编辑版本)到HDR高帧速率视频795中。图像处理逻辑790可需要对第一HDR图像756及第二HDR图像758执行附加的算法以产生HDR高帧速率视频795，例如裁剪所述接收到的HDR图像。应了解，第一HDR处理逻辑755、第二HDR处理逻辑757及图像处理逻辑790可组合成一个处理器、现场可编程门阵列(“FPGA”)，或以其它方式组合。应了解，可在组合所述第一、第二、第三、及第四像素数据到包含在HDR高帧速率视频795内的HDR图像之前对所述像素数据执行附加的算法。
图8说明根据本发明的实施例的用图像传感器产生有扩大视野的图像的实例方框图及实例时序图。图8展示接收图像光503的第一像素组821、第二像素组822、第三像素组823及第四像素组824。第一像素组821具有部分重叠第二像素组822的第二视野的第一视野。第三像素组823具有部分重叠第二像素组822的第二视野的第三视野，及第四像素组824具有部分重叠第三像素组823的第三视野的第四视野。在一个实例中，每一像素组具有大约60°的视野。在一个实例中，第一像素组821具有从0°到60°的视野，第二像素组822具有从20°到80°的视野，第三像素组823具有从40°到100°的视野，及第四像素组824具有从60°到120°的视野。
在所说明实施例中，图像捕获信号818、828、838及848使其相应的像素组暴露历时具有相同持续时间的曝光期。快门控制电路(例如，快门控制器405)可用于同时起始所述曝光期。拼结算法逻辑890接收第一图像826、第二图像827、第三图像828及第四图像829(来自它们相应的像素组)及组合所述图像以产生合成图像。在一个实施例中，拼结算法逻辑890通过将第一图像826、第二图像827、第三图像828及第四图像829拼结在一起来组合所述图像及输出全景图像895。全景图像可包含基于所述四个像素组的组合视野的120°(或更大)视野。由于所述曝光期同时起始，因此全景图像895可包含同时捕获的图像而不是连续捕获的图像。应了解，尽管所说明实施例说明四个像素组，但所述设计还可应用于两个或三个像素组以产生全景图像。
图9说明根据本发明的实施例的用图像传感器产生超分辨率图像的实例方框图及实例时序图。图9展示面向实质上相同的方向并接收图像光503的第一像素组620、第二像素组630、第三像素组640、及第四像素组650。在所说明实施例中，图像捕获信号918、928、938及948使其相应的像素组暴露历时具有相同持续时间的曝光期。在所说明实施例中，超分辨率算法逻辑900接收来自第一像素组620的第一图像926及接收来自第二像素组630的第二图像927。超分辨率算法逻辑990分别接收来自第三像素组640及第四像素组650的第三图像928及第四图像929。超分辨率算法逻辑990经耦合以通过对所述接收到的图像的像素数据执行超分辨率算法来输出合成图像(例如，超分辨率图像995)。用这种方式，超分辨率算法逻辑990产生分辨率比所述像素组中的每一者的个别分辨率更高的图像。
在一个实施例中，所述像素组620、630、640及650中的每一者为大约1百万像素(“MP”)。然而，可通过组合第一图像926、第二图像927、第三图像928及第四图像929产生具有比1MP更高分辨率的图像。在装置(例如，HMD或可穿戴式眼镜300)具有有限的面积(realestate)来放置较高分辨率图像传感器(例如，5MP)的情况下，其仍然能够使用图像传感器(例如，图像传感器202)产生相对高分辨率图像。
图10说明根据本发明的实施例的包含使图像光聚焦到图像传感器的不同像素组上的不同透镜的数字成像装置的实例透镜系统。数字成像装置1000包含图像传感器1001，图像传感器1001包含第一像素组1020、第二像素组1030、第三像素组1040及第四像素组1050。在所说明实施例中，第一像素组1020、第二像素组1030、第三像素组1040、及第四像素组1050含有相同的像素数及具有相同的尺寸，但具有不同的像素数及不同的尺寸的配置是可能的。在一个实施例中，第一像素组1020、第二像素组1030、第三像素组1040、及第四像素组1050具有通用图像分辨率(例如，640x480、1280x720、1920x1080等)的像素尺寸。
透镜系统1002包含第一透镜1060、第二透镜1070、第三透镜1080及第四透镜1090。第一透镜1060使图像光503聚焦在第一像素组1020上。第一透镜光1053是图像光503的行进经过第一透镜1060并聚焦在第一像素组1020上的部分。第二透镜光1063是图像光503的行进经过第二透镜1070并聚焦在第二像素组1030上的部分。第三透镜光1070是图像光503的行进经过第三透镜1080并聚焦在第三像素数组1040上的部分。且，第四透镜光1083是图像光503的行进经过第四透镜1090并聚焦在第四像素组1050上的部分。应了解，第一透镜1060、第二透镜1070、第三透镜1080及第四透镜1090的每一者可包含多于一个单一透镜，其可轴向对齐。
在所说明实施例中，第一透镜1060经配置成聚焦于距图像传感器1001大约20厘米的对象；第二透镜1070经配置成聚焦于距图像传感器1001大约2米的对象；第三透镜1080经配置成聚焦于距图像传感器1001大约10米的对象；及第四透镜1090聚焦于本质上无限远处的对象。因此，图像传感器1001将能用多个景深(以20cm、2米、10米及本质上无限远为中心)对场景成像。第一透镜1060可经配置以促进读取QR码及/或条形码。应了解，数字成像装置1000可具有四个会聚或重叠的不同景深。在一个实施例中，第一透镜1060、第二透镜1070、第三透镜1080及第四透镜1090实质上是相同的，但具有与其相应的像素组不同的分离距离，从而对不同像素组提供不同的焦距。
当然，经配置成以不同于上文指定的距离的距离聚焦的不同透镜是可能的。类似的成像系统可并入有更多或更少的透镜及像素组。在一个实施例中，透镜系统1002包含安置在三个像素组之上的三个透镜。在一个实施例中，透镜系统1002包含使图像光503聚焦到两个像素组上的仅仅两个透镜。
在所说明实施例中，不同像素组的像素与其它像素组的接界像素接界或非常靠近。然而，在一些实施例中，不同像素组的像素可以隔开一定距离，而不是彼此接界。
图11说明根据本发明的实施例的包含使图像光聚焦到图像传感器的不同像素组上以产生捕获后聚焦视频的不同透镜的实例方框图。图11展示第一像素组1020、第二像素组1030、第三像素组1040及第四像素组1050。第一像素组1020、第二像素组1030、第三像素组1040及第四像素组1050可都响应于可自快门控制器405发送的通用的图像捕获信号测量透镜光。透镜光的测量可为同时的。
响应于所述图像捕获信号，第一像素组1020测量已行进经过第一透镜1060的第一透镜光1053。响应于所述图像捕获信号，第二像素组1030测量第二透镜光1063。同样地，响应于所述图像捕获信号，第三像素组1040及第四像素组1050分别测量第三透镜光1073及第四透镜光1083。
通过测量所述透镜光捕获四个图像(例如，第一图像1122、第二图像1132、第三图像1142及第四图像1152)的第一集合，且所述图像被发送到捕获后聚焦(“ACF”)逻辑1190。ACF逻辑1190使用第一图像1122、第二图像1132、第三图像1142及第四图像1152以产生第一ACF图像。快门控制器405可接着起始另一个图像捕获信号，且所述像素组可捕获四个图像的第二集合。ACF逻辑1190可接着使用四个图像的所述第二集合以产生第二ACF图像。这个过程可重复以致产生一系列ACF图像(例如，第一ACF图像、第二ACF图像、第三ACF图像……)及所述一系列ACF图像可被制成ACF视频1195。
为了产生每一ACF图像，可对第一图像1122、第二图像1132、第三图像1142及第四图像1152执行ACF处理。举例来说，ACF逻辑1190可分析来自接收到的图像的图像数据以确定所述图像数据中的焦点对准的区域。ACF逻辑1190可基于分析在存储器中保存或丢弃全部第一及第二图像数据或其部分。在一个实施例中，图像评估逻辑基于对所述焦点的分析选择图像及传递所述图像数据到附加的处理器(未展示)以做进一步处理。因为可用不同焦距同时捕获两个或两个以上(例如，四个)图像，所以可在可在处理器中执行的后处理算法(由ACF逻辑1190执行)中组合来自所述两个或两个以上图像的图像数据。给定在场景中收集到的所有所述图像数据(具有不同焦距)，在捕获所述图像(例如，1122、1132、1142及1152)之后，有可能构造可使用后处理重聚焦的图像。如同本发明中呈现的许多实施例，在图11中展示的所述系统可由四个像素组及四个透镜修改为包含任何数量的像素组及对应透镜。
图12A及12B说明根据本发明的实施例的包含使图像光聚焦到图像传感器的不同像素组上以产生HDR/ACF图像的不同透镜的实例时序图及实例方框图。图12A展示分别经由第一透镜1260、第二透镜1270、第三透镜1280及第四透镜1290接收图像光503的第一像素组1020、第二像素组1030、第三像素组1040及第四像素组1050。第一透镜1260及第二透镜1270经配置成使来自相同的距离(例如，本质上无限远)的图像光503聚焦到第一像素组1020及第二像素组1030上。在一个实施例中，第一透镜1260及第二透镜1270组合成一个透镜。第三透镜1280及第四透镜1290经配置成使来自相同的距离(例如，10米)的图像光聚焦到第三像素组1040及第四像素组1050上。在一个实施例中，第三透镜1280及第四透镜1290组合成一个透镜。第一透镜1260及第二透镜1270可经配置成通过使用不同光功率，使图像光503在不同于第三透镜1280及第四透镜1290使图像光503聚焦的距离(例如，10米)的某距离(例如，本质上无限远)上聚焦。第一透镜1260及第二透镜1270可经配置成通过在距相应像素组的不同距离上定位相应透镜，使图像光503在不同于第三透镜1280及第四透镜1290使图像光503聚焦的距离(例如，10米)的某距离(例如，本质上无限远)上聚焦。
图12B展示可与图12A相结合使用的实例时序图。在所说明实施例中，图像捕获信号1218使第一像素组1020暴露的第一持续时间比响应于图像捕获信号1228使第二像素组1030的像素暴露在图像光503下的第二持续时间短。同样在所说明实施例中，图像捕获信号1238使第三像素组1040暴露的第三持续时间比响应于图像捕获信号1248使第四像素组1050的像素暴露在图像光503下的第四持续时间短。快门控制器(例如快门控制器405)可起始所述图像捕获信号。
在所说明实施例中，HDR/ACF图像逻辑1290接收来自第一像素组1020的第一图像1222及接收来自第二像素组1030的第二图像1232。HDR/ACF图像逻辑1290分别接收来自第三像素组1040及第四像素组1050的第三图像1242及第四图像1252。HDR/ACF图像逻辑1290经耦合以通过对从四个图像接收到的所述像素数据执行HDR算法及ACF算法来输出HDR/ACF图像1295。本质上，在所说明实施例中，第一像素组1020及第二像素组1030经配置成在第一焦距(例如，本质上无限远)上产生第一HDR图像。同时，第三像素组1040及第四像素组1050经配置成在第二焦距(例如，10米)处产生第二HDR图像。在一个实施例中，在产生第一及第二HDR图像之后，HDR/ACF图像逻辑1290接着对所述两个HDR图像执行ACF算法。结果是HDR/ACF图像逻辑1290产生及输出HDR/ACF图像1295，HDR/ACF图像1295是在图像捕获之后被聚焦的HDR图像。
图13说明根据本发明的实施例的对导向图像传感器的不同像素组的图像光进行滤光的实例滤光器系统。图13展示第一像素组1020及第三像素组1040接收穿过彩色滤光器1360的图像光503。第一像素组1020接收的图像光503的部分是第一透镜光1353。第三像素组1040接收的图像光503的部分是第三透镜光1373。第二像素组1030及第四像素组1050接收穿过黑白滤光器1370的图像光503。第二像素组1030接收的图像光503的部分是第二透镜光1363。第四像素组1050接收的图像光503的部分是第四透镜光1383。在一个实施例中，黑白滤光器1370被替换为无滤光器，换句话说，第二像素组1030及第四像素组1050不接收穿过彩色滤光器的图像光503。不存在彩色滤光器可赋予第二像素组1030及第四像素组1050在低光情况下接收更好的光数据(且可能具有更高动态范围)的能力。彩色滤光器1360可为红/绿/蓝(“RGB”)滤光器或拜尔滤镜。彩色滤光器1360可安置在比图13所示更靠近所述像素组的像素的地方。
快门控制电路(例如，快门控制器405)可耦合到像素组及引起像素组同时在相同曝光期中测量光。图像处理逻辑(例如，图像处理逻辑490)可接收由所述像素组中的每一者产生的每一图像且接着产生光增强图像。所述图像处理逻辑可使用光增强算法，所述算法获取来自第二像素组1030及第四像素组1050的光强度数据并将所述光强度数据与来自第一像素组1020及第三像素组1040的颜色数据组合。组合所述光强度数据及所述颜色数据以赋予光增强图像更好的动态范围。
图14展示实例方框图，其说明根据本发明的实施例的接收穿过透镜及滤光器的图像光及产生光增强的捕获后聚焦图像的图像传感器的不同像素组。图14展示接收图像光503的第一像素组1020、第二像素组1030、第三像素组1040及第四像素组1050。第一像素组1020接收穿过第一透镜1260及彩色滤光器1360的图像光503。第二像素组1030接收穿过第二透镜1270及黑白滤光器1370的图像光503。第三像素组1040接收穿过第三透镜1280及黑白滤光器1360的图像光503。第四像素组1050接收穿过第四透镜1290及黑白滤光器1370的图像光503。
第一透镜1260及第二透镜1270经配置成使图像光503自相同的距离(例如，本质上无限远)聚焦在第一像素组1020及第二像素组1030上。在一个实施例中，第一透镜1260及第二透镜1270被组合成一个透镜。第三透镜1280及第四透镜1290经配置成使图像光503自相同的距离(例如，10米)聚焦在第三像素组1040及第四像素组1050上。在一个实施例中，第三透镜1280及第四透镜1290被组合成一个透镜。
快门控制器(例如快门控制器405)可起始图像捕获信号，其使所述像素组中的每一者(同时)暴露历时相同的持续时间，从而产生第一图像1422、第二图像1432、第三图像1442及第四图像1452。光增强/ACF逻辑1490分别从第一像素组1020、第二像素组1030、第三像素组1040及第四像素组1050接收第一图像1422、第二图像1432、第三图像1442及第四图像1452。
光增强/ACF逻辑1490经耦合以输出光增强/ACF图像1495。光增强/ACF逻辑可接收第一图像1422及第二图像1432及组合所述像素数据以产生第一光增强图像。光增强/ACF逻辑可接收第三图像1442及第四图像1452及组合所述像素数据以产生第二光增强图像。所述第一光增强图像可聚焦在距图像传感器1001的第一距离(例如，本质上无限远)。所述第二光增强图像可聚焦在距图像传感器1001的第二距离(例如，10米)。光增强/ACF逻辑1490可接着对所述第一光增强图像及所述第二光增强图像执行ACF算法(如上文所述)以产生光增强/ACF图像1495。
返回参照图3，利用至少一个柔性印刷电路板(“PCB”)以建造图4至14中所描述的实施例可为有利的。在一个实施例中，图像处理逻辑490(或逻辑590、690、790、890、990、1190、1290或1490)及/或快门控制器405安置在左镜脚330或右镜脚340中。柔性PCB(又名PCB柔性(PCB flex))可将图像捕获信号、数据及时钟信号载运到本发明中所描述的任何图像传感器(及其相应像素组)。所述快门控制电路、图像处理逻辑及图像传感器可组装在相同的柔性PCB上。使用柔性PCB可为有利的，因为它可允许铰接左镜脚330或右镜脚340，同时仍然维持与安置于所述镜脚中的电子器件的连接。在一个实施例中，柔性PCB部分(或全部)嵌入在可穿戴式眼镜300的框架中。使用柔性PCB可为有利的，这是因为它可在制造可穿戴式眼镜300中允许更大的设计自由(例如，具有弯曲的框架)。如果一个以上传感器安置在可穿戴式眼镜300中，所述传感器中的每一者可安置在相同的柔性PCB上。
以上说明的过程或方法是依据计算机软件及硬件来描述。所描述的技术可构成体现于有形或非暂时性机器(例如，计算机)可读存储媒体中的机器可执行指令，其当由机器执行时会引起所述机器执行所描述的操作。此外，所述过程可体现于硬件内，例如专用集成电路(“ASIC”)或其它硬件。
有形非暂时性机器可读存储媒体包含按可由机器(例如，计算机、网络装置、个人数字助理、制造工具、具有一组一或多个处理器的任何装置等)存取的形式提供信息的任何机制。举例来说，机器可读存储媒体包含可记录/非可记录媒体(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、快闪存储器装置等)。
本发明的所说明实施例的以上描述(包含说明书摘要中描述的)并不旨在为详尽的或将本发明限制为所公开的精确形式。相关领域的技术人员会认识到，虽然为了说明的目的在本文中描述了本发明的具体实施例及实例，但在本发明的范围内的多种修改是可能的。
根据以上详细的描述，可对本发明进行这些修改。随附权利要求书中使用的术语不应当被解释为将本发明限制到在说明书中公开的具体实施例。实情是，本发明的范围将完全由将根据权利要求解释的公认准则来解释的随附权利要求书确定。

Claims (21)

1.一种成像装置，其包括：
经布置以捕获第一图像的第一像素阵列；
经布置以捕获第二图像的第二像素阵列；
经布置以捕获第三图像的第三像素阵列；
经布置以捕获第四图像的第四像素阵列，其中所述第一像素阵列、所述第二像素阵列、所述第三像素阵列及所述第四像素阵列面向实质上相同的方向；
滤光器系统，其包括对应于所述第一像素阵列的彩色滤光器和对应于所述第三像素阵列的彩色滤光器，其中所述第一及所述第三像素阵列接收穿过各自彩色滤光器的图像光，而所述第二及第四像素阵列不接收穿过任何彩色滤光器的图像光；
透镜系统，其经配置以从第一焦距使图像光聚焦到所述第一像素阵列及所述第二像素阵列上，及经配置以从不同于所述第一焦距的第二焦距使所述图像光聚焦到所述第三像素阵列及所述第四像素阵列上；
快门控制电路，其耦合到所述第一像素阵列以起始所述第一像素阵列的第一曝光期以捕获所述第一图像，耦合到所述第二像素阵列以起始所述第二像素阵列的第二曝光期以捕获所述第二图像，耦合到所述第三像素阵列以起始所述第三像素阵列的第三曝光期以捕获所述第三图像，及耦合到所述第四像素阵列以起始所述第四像素阵列的第四曝光期以捕获所述第四图像；以及
处理逻辑，其用于接收所述第一图像的第一像素数据、所述第二图像的第二像素数据、所述第三图像的第三像素数据及所述第四图像的第四像素数据，其中所述处理逻辑经配置成使用所述第一像素数据、所述第二像素数据、所述第三像素数据及所述第四像素数据产生至少一个图像。
2.根据权利要求1所述的成像装置，其中所述第一曝光期是历时第一持续时间，所述第一持续时间比所述第二曝光期的第二持续时间短。
3.根据权利要求2所述的成像装置，其中所述处理逻辑经耦合以输出通过组合所述第一像素数据及所述第二像素数据产生的合成图像。
4.根据权利要求3所述的成像装置，其中所述处理逻辑经配置以执行高动态范围“HDR”算法以将所述第一像素数据及所述第二像素数据组合成所述合成图像。
5.根据权利要求1所述的成像装置，其中所述快门控制电路经配置以在所述第一曝光期开始之后起始所述第二曝光期。
6.根据权利要求5所述的成像装置，其中所述处理逻辑经耦合以输出通过交织所述第一像素数据的至少第一部分与所述第二像素的至少第二部分产生的图像序列。
7.根据权利要求1所述的成像装置，其中所述快门控制电路经配置以在实质上相同的开始时间起始所述第一曝光期及所述第二曝光期，且其中所述第一曝光期及所述第二曝光期是历时实质上相同的持续时间，所述处理逻辑经耦合以输出通过对所述第一像素数据及所述第二像素数据执行超分辨率算法产生的合成图像。
8.根据权利要求1所述的成像装置，其中所述处理逻辑经配置以将所述第一像素数据及所述第二像素数据组合成第一合成图像及经配置以将所述第三像素数据及所述第四像素数据组合成第二合成图像，且其中所述处理逻辑经配置以将所述第一合成图像及所述第二合成图像交织到视频中。
9.根据权利要求1所述的成像装置，其进一步包括：
其中所述第一曝光期比所述第二曝光期短及所述第三曝光期比所述第四曝光期短，
且其中所述处理逻辑经配置以对所述第一及第二像素数据执行高动态范围“HDR”算法，经配置以对所述第三及第四像素数据执行所述HDR算法，经配置以对所述第一及第三像素数据执行捕获后聚焦“ACF”算法，及经配置以对所述第二及第四像素数据执行所述ACF算法，所述处理逻辑进一步经配置以输出HDR/ACF图像。
10.根据权利要求1所述的成像装置，其中所述快门控制电路经配置以交错起始所述第一、所述第二、所述第三及所述第四曝光期，且其中所述处理逻辑经配置以将所述第一、所述第二、所述第三及所述第四像素数据交织到高帧速率视频中。
11.根据权利要求1所述的成像装置，其进一步包括头戴式显示器“HMD”，其中所述第一像素阵列、所述第二像素阵列、所述快门控制电路及所述处理逻辑安置在所述HMD上，且嵌入在所述HMD的框架中的柔性印刷电路板“PCB”将所述第一像素数据及所述第二像素数据载运到所述处理逻辑。
12.一种成像装置，其包括：
经布置以捕获第一图像的第一像素阵列；
经布置以捕获第二图像的第二像素阵列；
经布置以捕获第三图像的第三像素阵列；
经布置以捕获第四图像的第四像素阵列，其中所述第一、第二、第三及第四像素阵列的每个视野部分重叠相邻的所述第一、第二、第三及第四像素阵列中的一个的视野；
滤光器系统，其包括对应于所述第一像素阵列的彩色滤光器和对应于所述第三像素阵列的彩色滤光器，其中所述第一及所述第三像素阵列接收穿过各自彩色滤光器的图像光，而所述第二及第四像素阵列不接收穿过任何彩色滤光器的图像光；
透镜系统，其经配置以从第一焦距使图像光聚焦到所述第一像素阵列及所述第二像素阵列上，及经配置以从不同于所述第一焦距的第二焦距使所述图像光聚焦到所述第三像素阵列及所述第四像素阵列上；
快门控制电路，其经耦合以同时起始所述第一像素阵列的第一曝光期以捕获所述第一图像、所述第二像素阵列的第二曝光期以捕获所述第二图像、所述第三像素阵列的第三曝光期以捕获所述第三图像及所述第四像素阵列的第四曝光期以捕获所述第四图像；以及
处理逻辑，其经耦合以接收所述第一图像的第一像素数据、经耦合以接收所述第二图像的第二像素数据、经耦合以接收所述第三图像的第三像素数据及经耦合以接收所述第四图像的第四像素数据，其中所述处理逻辑经耦合以输出通过将所述第一像素数据、所述第二像素数据、所述第三像素数据及所述第四像素数据拼结在一起产生的合成图像。
13.根据权利要求12所述的成像装置，其中所述第一曝光期及所述第二曝光期有相同的持续时间。
14.根据权利要求12所述的成像装置，其进一步包括头戴式显示器“HMD”，其中所述第一像素阵列、所述第二像素阵列、所述快门控制电路及所述处理逻辑安置在所述HMD上，及嵌入在所述HMD的框架中的柔性印刷电路板“PCB”将所述第一像素数据及所述第二像素数据载运到所述处理逻辑。
15.一种成像方法，其包括：
起始第一像素阵列的第一曝光期以捕获第一图像；
起始第二像素阵列的第二曝光期以捕获第二图像，其中所述第一像素阵列及所述第二像素阵列以第一光功率接收图像光；
起始第三像素阵列的第三曝光期以捕获第三图像；
起始第四像素阵列的第四曝光期以捕获第四图像，其中所述第三像素阵列及所述第四像素阵列以不同于所述第一光功率的第二光功率接收图像光，其中所述第一、第二、第三及第四像素阵列面向实质上相同的方向，并且所述第一像素阵列和所述第三像素阵列接收穿过滤光器系统的至少一个彩色滤光器的所述图像光，所述第二像素阵列和所述第四像素阵列不接收穿过任何彩色滤光器的所述图像光；以及
产生基于来自所述第一图像的第一像素数据和来自所述第二图像的第二像素数据的第一光增强的图像以及基于来自所述第三图像的第三像素数据和来自所述第四图像的第四像素数据的第二光增强的图像，并产生基于所述第一光增强的图像和所述第二光增强的图像的捕获后聚焦(ACF)的图像。
16.根据权利要求15所述的方法，其中所述第一曝光期是历时第一持续时间，所述第一持续时间比所述第二曝光期的第二持续时间短，及所述第三曝光期是历时第三持续时间，所述第三持续时间比所述第四曝光期的第四持续时间短，且其中产生所述至少一个图像包含用所述第一及第二像素数据产生第一合成图像及用所述第三及第四像素数据产生第二合成图像且将所述第一合成图像及第二合成图像交织到图像序列中。
17.根据权利要求15所述的方法，其中所述第一、第二、第三、及第四曝光期是交错的，且其中产生所述至少一个图像包含将所述第一、第二、第三及第四像素数据交织到高帧速率视频中。
18.根据权利要求15所述的方法，其中所述第一曝光期是历时第一持续时间，所述第一持续时间比所述第二曝光期的第二持续时间短，及所述第三曝光期是历时第三持续时间，所述第三持续时间比所述第四曝光期的第四持续时间短，
所述产生所述至少一个图像包含执行高动态范围“HDR”算法。
19.根据权利要求15所述的方法，其中所述第一曝光期是历时第一持续时间，所述第一持续时间比所述第二曝光期的第二持续时间短，且其中产生所述至少一个图像包含产生高动态范围“HDR”图像。
20.根据权利要求15所述的方法，其中所述第一曝光期及所述第二曝光期是交错的，且其中产生所述至少一个图像包含交织至少所述第一像素数据的第一部分及所述第二像素数据的第二部分以产生高帧速率视频。
21.根据权利要求15所述的方法，其中产生所述至少一个图像包含通过对所述第一像素数据及所述第二像素数据执行超分辨率算法产生合成图像。
CN201380048658.3A 2012-09-19 2013-09-18 具有多个像素阵列的成像装置 Active CN104769930B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/622,654 2012-09-19
US13/622,654 US9143673B2 (en) 2012-09-19 2012-09-19 Imaging device with a plurality of pixel arrays
PCT/US2013/060469 WO2014047216A1 (en) 2012-09-19 2013-09-18 Imaging device with a plurality of pixel arrays

Publications (2)

Publication Number Publication Date
CN104769930A CN104769930A (zh) 2015-07-08
CN104769930B true CN104769930B (zh) 2018-06-26

Family

ID=50274086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380048658.3A Active CN104769930B (zh) 2012-09-19 2013-09-18 具有多个像素阵列的成像装置

Country Status (4)

Country Link
US (2) US9143673B2 (zh)
EP (1) EP2898664A4 (zh)
CN (1) CN104769930B (zh)
WO (1) WO2014047216A1 (zh)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2569935B1 (en) 2010-05-12 2016-12-28 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8305456B1 (en) 2011-05-11 2012-11-06 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
CN107230236B (zh) 2011-09-28 2020-12-08 快图有限公司 用于编码和解码光场图像文件的系统及方法
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US9100635B2 (en) 2012-06-28 2015-08-04 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays and optic arrays
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
WO2014031795A1 (en) 2012-08-21 2014-02-27 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
CN104685513B (zh) 2012-08-23 2018-04-27 派力肯影像公司 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
CN104685860A (zh) 2012-09-28 2015-06-03 派力肯影像公司 利用虚拟视点从光场生成图像
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9658443B2 (en) * 2013-03-15 2017-05-23 The Board Of Trustees Of The Leland Stanford Junior University Optics apparatus with detection of light rays received at different angles for output indicative of aliased views
JP2016524125A (ja) 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US20150103146A1 (en) * 2013-10-16 2015-04-16 Qualcomm Incorporated Conversion of at least one non-stereo camera into a stereo camera
US9264592B2 (en) 2013-11-07 2016-02-16 Pelican Imaging Corporation Array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9426361B2 (en) * 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
CN103926695B (zh) * 2014-04-16 2016-02-24 济南中景电子科技有限公司 一种视频眼镜及其控制方法
WO2016048402A2 (en) * 2014-09-26 2016-03-31 Reald Multiscopic image capture system
WO2016054089A1 (en) 2014-09-29 2016-04-07 Pelican Imaging Corporation Systems and methods for dynamic calibration of array cameras
KR102285391B1 (ko) * 2015-02-09 2021-08-04 삼성디스플레이 주식회사 표시 장치 및 표시 장치 구동 방법
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
JP7029961B2 (ja) * 2015-05-19 2022-03-04 マジック リープ， インコーポレイテッド セミグローバルシャッタイメージャ
KR102003629B1 (ko) 2015-08-19 2019-07-24 선전 로욜 테크놀로지스 컴퍼니 리미티드 헤드 장착 전자 장치
KR20170134606A (ko) 2015-08-19 2017-12-06 선전 로욜 테크놀로지스 컴퍼니 리미티드 착용가능한 디스플레이 장비
JP6524333B2 (ja) 2015-08-19 2019-06-05 シェンジェン ロイオル テクノロジーズ カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｒｏｙｏｌｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． ヘッドマウント電子デバイス
CN107209374A (zh) 2015-08-19 2017-09-26 深圳市柔宇科技有限公司 头戴式电子装置
JP2018530230A (ja) * 2015-09-27 2018-10-11 シェンジェン ロイオル テクノロジーズ カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｒｏｙｏｌｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． ヘッドマウントディスプレイデバイス
KR101823238B1 (ko) * 2016-05-09 2018-01-29 삼성전기주식회사 이미지 센서
AU2017296074B2 (en) 2016-07-15 2020-03-26 Light Field Lab, Inc. Selective propagation of energy in light field and holographic waveguide arrays
KR20180023644A (ko) * 2016-08-26 2018-03-07 삼성전기주식회사 이미지 센서 및 이를 포함하는 카메라 모듈
CN106534677B (zh) * 2016-10-27 2019-12-17 成都西纬科技有限公司 一种图像过曝优化方法及装置
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
JP6933059B2 (ja) * 2017-08-30 2021-09-08 株式会社リコー 撮影装置、情報処理システム、プログラム、画像処理方法
CN108564558A (zh) * 2018-01-05 2018-09-21 广州广电运通金融电子股份有限公司 宽动态图像处理方法、装置、设备和存储介质
US11650354B2 (en) 2018-01-14 2023-05-16 Light Field Lab, Inc. Systems and methods for rendering data from a 3D environment
CN112074773B (zh) 2018-01-14 2024-02-02 光场实验室公司 四维能量场封装组合件
CN108833788A (zh) * 2018-07-27 2018-11-16 苏州睿仟医疗科技有限公司 一种倾斜图像采集设备提高景深的自动聚焦装置及自动聚焦方法
CN110381272B (zh) * 2019-08-22 2022-05-13 睿镞科技(北京)有限责任公司 图像传感器组合系统及产生单一和复合视野图像的装置
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
KR20230004423A (ko) 2019-10-07 2023-01-06 보스턴 폴라리메트릭스, 인크. 편광을 사용한 표면 법선 감지 시스템 및 방법
JP7329143B2 (ja) 2019-11-30 2023-08-17 ボストン ポーラリメトリックス，インコーポレイティド 偏光キューを用いた透明な物体のセグメンテーションのためのシステム及び方法
KR20220132620A (ko) 2020-01-29 2022-09-30 인트린식 이노베이션 엘엘씨 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
CN111526299B (zh) * 2020-04-28 2022-05-17 荣耀终端有限公司 一种高动态范围图像合成方法和电子设备
TWI730746B (zh) * 2020-04-30 2021-06-11 群邁通訊股份有限公司 高動態範圍圖像生成方法、裝置及可讀存儲介質
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
CN111638600B (zh) * 2020-06-30 2022-04-12 京东方科技集团股份有限公司 一种近眼显示的方法、装置及可穿戴设备
US11966048B1 (en) * 2020-07-09 2024-04-23 Apple Inc. Head-mounted devices with dual gaze tracking systems
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003026016A3 (fr) * 2001-09-14 2004-02-19 Atmel Grenoble Sa Capteur d'image avec creusement des couches de planarisation et procede de fabrication
CN1605046A (zh) * 2001-12-14 2005-04-06 麦克罗尼克激光系统公司 工件构图方法和装置
CN101179659A (zh) * 2006-11-07 2008-05-14 富士胶片株式会社 用于拍摄的装置、方法和程序
CN101887516A (zh) * 2009-05-14 2010-11-17 索尼公司 静脉成像设备、静脉图像插值方法和程序

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711280B2 (en) 2001-05-25 2004-03-23 Oscar M. Stafsudd Method and apparatus for intelligent ranging via image subtraction
GB0317679D0 (en) * 2003-07-29 2003-09-03 Amersham Biosciences Uk Ltd Analysing biological entities
US20050117017A1 (en) 2003-12-01 2005-06-02 Baer Richard L. System and method for imaging regions of interest
JP4364002B2 (ja) * 2004-02-06 2009-11-11 オリンパス株式会社 頭部装着型カメラ及び頭部装着型カメラによる撮影方法
US7417674B2 (en) * 2004-08-25 2008-08-26 Micron Technology, Inc. Multi-magnification color image sensor
US7564019B2 (en) * 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
KR100827238B1 (ko) 2006-08-21 2008-05-07 삼성전기주식회사 고화질 영상을 위한 영상 표시 방법 및 장치
US7714903B2 (en) 2006-08-29 2010-05-11 Zoran Corporation Wide dynamic range image capturing system method and apparatus
US8031258B2 (en) * 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US8242426B2 (en) 2006-12-12 2012-08-14 Dolby Laboratories Licensing Corporation Electronic camera having multiple sensors for capturing high dynamic range images and related methods
KR100976284B1 (ko) * 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
US8072503B2 (en) * 2007-10-23 2011-12-06 At&T Intellectual Property I, L.P. Methods, apparatuses, systems, and computer program products for real-time high dynamic range imaging
EP4336447A1 (en) * 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8497920B2 (en) * 2008-06-11 2013-07-30 Nokia Corporation Method, apparatus, and computer program product for presenting burst images
EP2486450B1 (en) * 2008-11-02 2021-05-19 David Chaum Near to eye display system and appliance
US20100309340A1 (en) 2009-06-03 2010-12-09 Border John N Image sensor having global and rolling shutter processes for respective sets of pixels of a pixel array
US8514491B2 (en) * 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN102131044B (zh) * 2010-01-20 2014-03-26 鸿富锦精密工业（深圳）有限公司 相机模组
EP2569935B1 (en) * 2010-05-12 2016-12-28 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8542288B2 (en) * 2010-11-03 2013-09-24 Sony Corporation Camera system and imaging method using multiple lens and aperture units
US8947555B2 (en) * 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
US8933985B1 (en) * 2011-06-06 2015-01-13 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for on-camera HDR panorama
US8628016B2 (en) * 2011-06-17 2014-01-14 Hand Held Products, Inc. Terminal operative for storing frame of image data
US9229096B2 (en) * 2011-07-27 2016-01-05 Semiconductor Components Industries, Llc Time-of-flight imaging systems
JP5917054B2 (ja) * 2011-09-12 2016-05-11 キヤノン株式会社 撮像装置、画像データ処理方法、およびプログラム
US9185307B2 (en) * 2012-02-21 2015-11-10 Semiconductor Components Industries, Llc Detecting transient signals using stacked-chip imaging systems
US20130242057A1 (en) * 2012-03-16 2013-09-19 Research In Motion Limited Methods and devices for producing an enhanced image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003026016A3 (fr) * 2001-09-14 2004-02-19 Atmel Grenoble Sa Capteur d'image avec creusement des couches de planarisation et procede de fabrication
CN1605046A (zh) * 2001-12-14 2005-04-06 麦克罗尼克激光系统公司 工件构图方法和装置
CN101179659A (zh) * 2006-11-07 2008-05-14 富士胶片株式会社 用于拍摄的装置、方法和程序
CN101887516A (zh) * 2009-05-14 2010-11-17 索尼公司 静脉成像设备、静脉图像插值方法和程序

Also Published As

Publication number Publication date
CN104769930A (zh) 2015-07-08
EP2898664A4 (en) 2016-08-24
US9560283B2 (en) 2017-01-31
WO2014047216A1 (en) 2014-03-27
EP2898664A1 (en) 2015-07-29
US20150373276A1 (en) 2015-12-24
US20140078333A1 (en) 2014-03-20
US9143673B2 (en) 2015-09-22

Similar Documents

Publication Publication Date Title
CN104769930B (zh) 具有多个像素阵列的成像装置
CN107959778B (zh) 基于双摄像头的成像方法和装置
CN104813141B (zh) 图像生成装置
CN102833569B (zh) 用于估计3d场景的元素深度的设备
CN107948519A (zh) 图像处理方法、装置及设备
US10334216B2 (en) Imaging system including lens with longitudinal chromatic aberration, endoscope and imaging method
JP5818697B2 (ja) 画像生成方法、撮像装置および表示装置、プログラム、記憶媒体
US9398272B2 (en) Low-profile lens array camera
CN108024054A (zh) 图像处理方法、装置及设备
EP2630789A1 (en) System and method for imaging and image processing
CN108024056B (zh) 基于双摄像头的成像方法和装置
CN104125394B (zh) 摄像装置及其控制方法
JP2010183316A (ja) 撮像装置
WO2015190616A1 (en) Image sensor for depth estimation
CN107113379A (zh) 红外光源的亮度调节方法与装置、光学动捕摄像机
JP2017017690A (ja) プレンオプティック・フォービエイテッド・カメラ
CN105245867A (zh) 图像拾取装置、系统和控制方法以及图像处理装置
WO2019082820A1 (ja) カメラシステム
JP2014153890A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
CN108053438A (zh) 景深获取方法、装置及设备
JPWO2019026287A1 (ja) 撮像装置および情報処理方法
CN107872631A (zh) 基于双摄像头的图像拍摄方法、装置及移动终端
EP3247107B1 (en) Method and device for obtaining a hdr image by graph signal processing
US20080238820A1 (en) Motion picture image processing system and motion picture image processing method
CN104184936B (zh) 基于光场相机的影像对焦处理方法及其系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant