CN115244570A - 合并分离像素数据以获得更深景深 - Google Patents

合并分离像素数据以获得更深景深 Download PDF

Info

Publication number
CN115244570A
CN115244570A CN202180006421.3A CN202180006421A CN115244570A CN 115244570 A CN115244570 A CN 115244570A CN 202180006421 A CN202180006421 A CN 202180006421A CN 115244570 A CN115244570 A CN 115244570A
Authority
CN
China
Prior art keywords
pixel
focus
weight
depth
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180006421.3A
Other languages
English (en)
Inventor
R.加格
N.沃德瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN115244570A publication Critical patent/CN115244570A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

一种方法包括获得包括第一子图像和第二子图像的分离像素图像数据。该方法还包括：对于分离像素图像数据的每个相应像素，确定由相应像素表示的场景特征相对于景深的对应位置，并且基于对应位置识别离焦像素。该方法附加地包括：对于每个相应离焦像素，基于对应位置、相应离焦像素在分离像素图像数据内的位置、以及第一子图像中对应的第一像素的第一值或第二子图像中对应的第二像素的第二值中的至少一个，确定对应像素值。该方法还包括基于对应像素值生成具有扩展景深的增强图像。

Description

合并分离像素数据以获得更深景深
背景技术
由于场景的对应部分位于捕获图像的相机设备的景深之外，图像的一部分可能变得模糊。模糊的程度可以取决于场景的对应部分相对于景深的位置，其中，随着场景的对应部分在朝向相机的方向或远离相机的方向上远离景深，模糊量增加。在一些情况下，图像模糊是不期望的，并且可以使用各种图像处理技术、模型和/或算法来调整或校正。
发明内容
分离像素相机可以被配置为生成包括多个子图像的分离像素图像数据。对于分离像素图像数据的离焦像素，子图像的频率内容可以作为(i)图像数据内的离焦像素的位置以及(ii)由离焦像素表示的场景特征相对于分离像素相机的景深(即像素深度)的位置的函数而变化。具体地，对于给定的离焦像素，取决于与给定的离焦像素相关联的位置和深度，子图像之一可能看起来比其他子图像更鲜明(sharper)。相应地，像素位置、像素深度和子图像频率内容之间的关系可以针对分离像素相机来表征，并且被用于提高分离像素图像数据的部分的锐度(sharpness)。特别地，不是对子图像的像素求和或相等地加权，而是可以给予包含低频内容和高频内容两者的子图像像素比仅包含低频内容的子图像像素更大的权重，从而增加所得图像的表观锐度。
在第一示例实施例中，一种方法可以包括获得由分离像素相机捕获的分离像素图像数据。分离像素图像数据可以包括第一子图像和第二子图像。该方法还可以包括：对于分离像素图像数据的多个像素中的每个相应像素，确定由相应像素表示的场景特征相对于分离像素相机的景深的对应位置。该方法还可以包括：基于由多个像素中的每个相应像素表示的场景特征的对应位置，识别多个像素中的一个或多个离焦像素，其中一个或多个离焦像素位于景深之外。该方法还可以包括：对于一个或多个离焦像素中的每个相应离焦像素，基于以下各项确定对应像素值：(i)由相应离焦像素表示的场景特征相对于景深的对应位置，(ii)相应离焦像素在分离像素图像数据内的位置，以及(iii)第一子图像中对应的第一像素的第一值或第二子图像中对应的第二像素的第二值中的至少一个。该方法还可以包括基于为每个相应离焦像素确定的对应像素值来生成具有扩展景深的增强图像。
在第二示例实施例中，一种系统可以包括处理器和其上存储有指令的非暂时性计算机可读介质，当由处理器执行时，该指令使得处理器执行操作。操作可以包括获得由分离像素相机捕获的分离像素图像数据。分离像素图像数据可以包括第一子图像和第二子图像。操作还可以包括：对于分离像素图像数据的多个像素中的每个相应像素，确定由相应像素表示的场景特征相对于分离像素相机的景深的对应位置。操作还可以包括：基于由多个像素中的每个相应像素表示的场景特征的对应位置，识别多个像素中的一个或多个离焦像素，其中一个或多个离焦像素位于景深之外。操作还可以包括：对于一个或多个离焦像素中的每个相应离焦像素，基于以下各项确定对应像素值：(i)由相应离焦像素表示的场景特征相对于景深的对应位置，(ii)相应离焦像素在分离像素图像数据内的位置，以及(iii)第一子图像中对应的第一像素的第一值或第二子图像中对应的第二像素的第二值中的至少一个。操作还可以包括基于为每个相应离焦像素确定的对应像素值来生成具有扩展景深的增强图像。
在第三示例实施例中，一种非暂时性计算机可读介质可以在其上存储有指令，当由计算设备执行时，该指令使得计算设备执行操作。操作可以包括获得由分离像素相机捕获的分离像素图像数据。分离像素图像数据可以包括第一子图像和第二子图像。操作还可以包括：对于分离像素图像数据的多个像素中的每个相应像素，确定由相应像素表示的场景特征相对于分离像素相机的景深的对应位置。操作还可以包括：基于由多个像素中的每个相应像素表示的场景特征的对应位置，识别多个像素中的一个或多个离焦像素，其中一个或多个离焦像素位于景深之外。操作还可以包括：对于一个或多个离焦像素中的每个相应离焦像素，基于以下各项确定对应像素值：(i)由相应离焦像素表示的场景特征相对于景深的对应位置，(ii)相应离焦像素在分离像素图像数据内的位置，以及(iii)第一子图像中对应的第一像素的第一值或第二子图像中对应的第二像素的第二值中的至少一个。操作还可以包括基于为每个相应离焦像素确定的对应像素值来生成具有扩展景深的增强图像。
在第四示例实施例中，一种系统可以包括用于获得由分离像素相机捕获的分离像素图像数据的部件。分离像素图像数据可以包括第一子图像和第二子图像。该系统还可以包括用于对于分离像素图像数据的多个像素中的每个相应像素确定由相应像素表示的场景特征相对于分离像素相机的景深的对应位置的部件。该系统还可以包括用于基于由多个像素中的每个相应像素表示的场景特征的对应位置来识别多个像素中的一个或多个离焦像素的部件，其中一个或多个离焦像素位于景深之外。该系统还可以包括用于对于一个或多个离焦像素中的每个相应离焦像素基于以下各项确定对应像素值的部件：(i)由相应离焦像素表示的场景特征相对于景深的对应位置，(ii)相应离焦像素在分离像素图像数据内的位置，以及(iii)第一子图像中对应的第一像素的第一值或第二子图像中对应的第二像素的第二值中的至少一个。该系统还可以包括用于基于为每个相应离焦像素确定的对应像素值来生成具有扩展景深的增强图像的部件。
通过适当参考附图阅读以下详细描述，这些以及其他的实施例、方面、优点和替代方案对于本领域普通技术人员来说将变得显而易见。此外，本文提供的本发明内容以及其他描述和附图旨在仅通过示例的方式来说明实施例，因而许多变化是可能的。例如，结构元素和过程步骤可以被重新布置、组合、分布、消除或以其他方式改变，同时保持在所要求保护的实施例的范围内。
附图说明
图1示出了根据本文描述的示例的计算设备。
图2示出了根据本文描述的示例的计算系统。
图3示出了根据本文描述的示例的双像素图像传感器。
图4示出了根据本文描述的示例的与分离像素(split-pixel)图像数据相关联的点扩展函数。
图5示出了根据本文描述的示例的系统。
图6A、图6B、图6C、图6D、图6E和图6F示出了根据本文描述的示例的与双像素图像数据的像素深度和像素位置的不同组合相对应的像素源。
图6G是根据本文描述的示例的总结了图6A、图6B、图6C、图6D、图6E和图6F中所示的关系的表格。
图7A、图7B、图7C、图7D、图7E和图7F示出了根据本文描述的示例的与四像素图像数据的像素深度和像素位置的不同组合相对应的像素源。
图7G是根据本文描述的示例的总结了图7A、图7B、图7C、图7D、图7E和图7F中所示的关系的表格。
图8是根据本文描述的示例的流程图。
具体实施方式
本文描述了示例的方法、设备和系统。应当理解，在本文中使用词语“示例”和“示例性的”意在“用作示例、实例或说明”。在本文中被描述为“示例”、“示例性”和/或“说明性”的任何实施例或特征不一定被解释为优选的或优于其他实施例或特征，除非如此陈述。因此，在不脱离本文呈现的主题的范围的情况下，可以利用其他实施例，并且可以进行其他改变。
相应地，本文描述的示例实施例不意味着是限制性的。将容易理解的是，如本文一般描述的和在附图中示出的，本公开的方面可以以多种不同的配置来布置、替换、组合、分离和设计。
此外，除非上下文另有暗示，否则每个附图中所示的特征可以彼此结合使用。因此，附图通常应被视为一个或多个总体实施例的组成方面，其中应当理解并非所有示出的特征对于每个实施例都是必要的。
此外，本说明书或权利要求中的元素、方框或步骤的任何列举都是为了清楚的目的。因此，这种列举不应被解释为要求或暗示这些元素、方框或步骤遵循特定的布置或以特定的次序执行。除非另有说明，否则附图不是按比例绘制的。
I.概述
分离像素相机可以用来生成包括两个或更多个子图像的分离像素图像数据，每个子图像由分离像素相机的感光点(photosite)的对应子集生成。例如，分离像素相机可以包括双像素图像传感器，双像素图像传感器的每个像素由两个感光点组成。相应地，分离像素图像数据可以是双像素图像数据，双像素图像数据包括由像素的左侧感光点生成的第一子图像和由像素的右侧感光点生成的第二子图像。在另一示例中，分离像素相机可以包括四像素图像传感器，四像素图像传感器的每个像素由四个感光点组成。相应地，分离像素图像数据可以是四像素图像数据，四像素图像数据包括由像素的左上感光点生成的第一子图像、由像素的右上感光点生成的第二子图像、由像素的左下感光点生成的第三子图像以及由像素的右下感光点生成的第四子图像。
当分离像素相机被用来捕获离焦(即，位于分离像素相机的景深之外)的场景特征(例如，对象或其一部分)的图像时，子图像的频率内容可能不同。具体地，对于每个离焦像素，分离像素图像数据的至少一个分离像素子图像(称为高频像素源)可以表示高于阈值频率的空间频率，该高于阈值频率的空间频率不由分离像素图像数据的其他分离像素子图像(称为(多个)低频像素源)表示。子图像的频率内容的差可以是(i)场景特征(例如，对象或其一部分)相对于景深的位置(因此还有表示场景特征的图像的相对于相机焦深的位置)以及(ii)表示场景特征的(多个)离焦像素的相对于图像传感器区域的(例如，由图像内的坐标表示的)位置的函数。
当这两个子图像被相加以生成分离像素图像时，由于高于阈值频率的空间频率仅在其中一个子图像中被表示，高频像素源的一些锐度可能会丢失。相应地，通过对高频像素源进行比低频像素源更重的加权(而不仅仅是对子图像求和)，可以增强由组合子图像产生的总体分离像素图像的锐度，从而导致高于阈值频率的空间频率的提升。
在一些情况下，高频像素源和低频像素源可以在图像空间中合并。在一个示例中，每个离焦像素可以是子图像中空间对应像素的加权和，其中给予空间对应的高频像素源比空间对应的低频像素源更大的权重。在另一示例中，可以从子图像的空间对应像素当中为每个离焦像素选择对应的源像素。具体地，可以选择空间对应的高频像素源作为源像素，并且可以丢弃空间对应的低频像素源。
在其他情况下，高频像素源和低频像素源可以在频率空间中合并。具体地，高频像素源和低频像素源可以各自被指派频率特定权重。例如，对于高于阈值频率的频率，存在于高频像素源中、但不存在于低频像素源中或在低频像素源中未充分表示的频率可以被提升，以增加所得增强图像的锐度。低于阈值频率的频率和/或存在于高频像素源和低频像素源两者中的频率可以被相等地加权，从而在这些频率下保留两个子图像的内容。
子图像的频率内容的差可能是分离像素相机设备的光路中存在的光学缺陷的结果。因此，在一些情况下，频率内容、像素深度和像素位置之间的关系可以在每个相机的基础上和/或在每个相机型号的基础上进行确定，并且可以随后结合对应的相机实例和/或相机型号来使用，以增强由此捕获的分离像素图像的锐度。
II.示例计算设备和系统
图1示出了示例计算设备100。计算设备100以移动电话的形状因数示出。然而，计算设备100可以替代地被实施为膝上型计算机、平板计算机和/或可穿戴计算设备，以及其他可能性。计算设备100可以包括各种元件，诸如机身102、显示器106以及按钮108和110。计算设备100还可以包括一个或多个相机，诸如前置相机104和后置相机112，其中的一个或多个可以被配置为生成双像素图像数据。
前置相机104可以位于机身102在操作时通常面向用户的一侧(例如，与显示器106在同一侧)。后置相机112可以位于机身102与前置相机104相对的一侧。将相机称为前置和后置是任意的，并且计算设备100可以包括放置在机身102的各个侧面上的多个相机。
显示器106可以表示阴极射线管(CRT)显示器、发光二极管(LED)显示器、液晶(LCD)显示器、等离子体显示器、有机发光二极管(OLED)显示器或本领域已知的任何其他类型的显示器。在一些示例中，显示器106可以显示由前置相机104和/或后置相机112捕获的当前图像的数字表示、可由这些相机中的一个或多个相机捕获的图像、这些相机中的一个或多个相机最近捕获的图像、和/或这些图像中的一个或多个图像的修改版本。因此，显示器106可以充当相机的取景器。显示器106还可以支持能够调整计算设备100的一个或多个方面的设置和/或配置的触摸屏功能。
前置相机104可以包括图像传感器和相关联的光学元件，诸如镜头。前置相机104可以提供变焦能力，或者可以具有固定的焦距。在其他示例中，可互换的镜头可以与前置相机104一起使用。前置相机104可以具有可变的机械光圈以及机械快门和/或电子快门。前置相机104也可以被配置为捕获静止图像、视频图像或两者。此外，前置相机104可以表示例如单视场相机。后置相机112可以类似或不同地布置。此外，一个或多个前置相机104和/或后置相机112可以是一个或多个相机的阵列。
前置相机104和/或后置相机112中的一个或多个可以包括或关联于提供光场来照明目标对象的照明组件。例如，照明组件可以提供对目标对象的闪光或恒定照明。照明组件也可以被配置为提供包括结构光、偏振光和具有特定光谱内容的光中的一种或多种的光场。在本文的示例的上下文内，已知的并且用于从对象恢复三维(3D)模型的其他类型的光场是可能的。
计算设备100还可以包括环境光传感器，环境光传感器可以连续地或不时地确定相机104和/或112可以捕获的场景的环境亮度。在一些实施方式中，环境光传感器可以用于调节显示器106的显示亮度。此外，环境光传感器可以用于确定相机104或112中的一个或多个的曝光长度，或者帮助该确定。
计算设备100可以被配置为使用显示器106以及前置相机104和/或后置相机112来捕获目标对象的图像。捕获的图像可以是多个静止图像或视频流。可以通过激活按钮108、按下显示器106上的软键或者通过一些其他机制来触发图像捕获。取决于实施方式，可以以特定的时间间隔自动捕获图像，例如，在按下按钮108时，在目标对象的适当照明条件下，在将数字相机设备100移动预定距离时，或者根据预定的捕获时间表。
图2是示出示例计算系统200的一些组件的简化框图。作为示例而非限制，计算系统200可以是蜂窝移动电话(例如，智能电话)、计算机(诸如台式、笔记本、平板或手持计算机)、家庭自动化组件、数字录像机(DVR)、数字电视、遥控器、可穿戴计算设备、游戏控制台、机器人设备、交通工具或一些其他类型的设备。计算系统200可以表示例如计算设备100的方面。
如图2所示，计算系统200可以包括通信接口202、用户接口204、处理器206、数据存储208和相机组件224，所有这些都可以通过系统总线、网络或其他连接机制210通信地链接在一起。计算系统200可以配备有至少一些图像捕获和/或图像处理能力。应当理解，计算系统200可以表示物理图像处理系统、其上有图像感测和/或处理应用以软件进行操作的特定物理硬件平台、或者被配置为执行图像捕获和/或处理功能的硬件和软件的其他组合。
通信接口202可以允许计算系统200使用模拟或数字调制与其他设备、接入网络和/或传输网络进行通信。因此，通信接口202可以促进电路交换和/或分组交换通信，诸如普通老式电话服务(POTS)通信和/或因特网协议(IP)或其他分组化通信。例如，通信接口202可以包括被布置用于与无线电接入网络或接入点进行无线通信的芯片组和天线。此外，通信接口202可以采取有线接口的形式或者包括有线接口，诸如以太网、通用串行总线(USB)或高清多媒体接口(HDMI)端口。通信接口202也可以采取无线接口的形式或者包括无线接口，诸如Wi-Fi、
Figure BDA0003637926130000081
全球定位系统(GPS)或广域无线接口(例如，WiMAX或3GPP长期演进(LTE))。然而，可以在通信接口202上使用其他形式的物理层接口和其他类型的标准或专有通信协议。此外，通信接口202可以包括多个物理通信接口(例如，Wi-Fi接口、
Figure BDA0003637926130000082
接口和广域无线接口)。
用户接口204可以用于允许计算系统200与人类或非人类用户进行交互，以诸如接收来自用户的输入并向用户提供输出。因此，用户接口204可以包括输入组件，诸如小键盘、键盘、触敏面板、计算机鼠标、轨迹球、操纵杆、麦克风等。用户接口204还可以包括一个或多个输出组件，诸如显示屏，例如，显示屏可以与触敏面板组合。显示屏可以基于CRT、LCD和/或LED技术，或者现在已知或以后开发的其他技术。用户接口204还可以被配置为经由扬声器、扬声器插孔、音频输出端口、音频输出设备、耳机和/或其他类似设备来生成(多个)可听输出。用户接口204还可以被配置为通过麦克风和/或其他类似设备来接收和/或捕获(多个)可听的话语、噪声和/或信号。
在一些示例中，用户接口204可以包括显示器，显示器用作由计算系统200支持的静态相机功能和/或视频相机功能的取景器。此外，用户接口204可以包括促进相机功能的配置和聚焦以及图像的捕获的一个或多个按钮、开关、旋钮和/或拨号盘。这些按钮、开关、旋钮和/或拨号盘中的一些或全部可以通过触敏面板来实施。
处理器206可以包括一个或多个通用处理器(例如，微处理器)和/或一个或多个专用处理器(例如，数字信号处理器(DSP)、图形处理单元(GPU)、浮点单元(FPU)、网络处理器或专用集成电路(ASIC))。在一些情况下，专用处理器可以能够进行图像处理、图像对准和合并图像，以及其他可能性。数据存储208可以包括一个或多个易失性和/或非易失性的存储组件，诸如磁、光、闪速或有机的存储，并且可以整体或部分地与处理器206集成。数据存储208可以包括可移动和/或不可移动的组件。
处理器206可以能够执行存储在数据存储208中的程序指令218(例如，编译或非编译的程序逻辑和/或机器代码)，以执行本文描述的各种功能。因此，数据存储208可以包括其上存储有程序指令的非暂时性计算机可读介质，在由计算系统200执行时，该程序指令使得计算系统200执行本说明书和/或附图中公开的任何方法、过程或操作。处理器206对程序指令218的执行可以导致处理器206使用数据212。
作为示例，程序指令218可以包括安装在计算系统200上的操作系统222(例如，操作系统内核、(多个)设备驱动程序和/或其他模块)和一个或多个应用程序220(例如，相机功能、地址簿、电子邮件、网页浏览、社交网络、音频到文本功能、文本翻译功能和/或游戏应用)。类似地，数据212可以包括操作系统数据216和应用数据214。操作系统数据216可以主要是可由操作系统222访问的，并且应用数据214可以主要是可由应用程序220中的一个或多个访问的。应用数据214可以被布置在对计算系统200的用户可见或隐藏的文件系统中。
应用程序220可以通过一个或多个应用编程接口(API)与操作系统222进行通信。这些API可以促进例如应用程序220读取和/或写入应用数据214、经由通信接口202发送或接收信息、在用户接口204上接收和/或显示信息等等。
在一些情况下，应用程序220可以简称为“app”。此外，应用程序220可以是通过一个或多个在线应用商店或应用市场可下载到计算系统200的。然而，应用程序也可以以其他方式安装在计算系统200上，诸如经由网络浏览器或通过计算系统200上的物理接口(例如，USB端口)。
相机组件224可以包括但不限于光圈、快门、记录表面(例如，摄影胶片和/或图像传感器)、镜头、快门按钮、红外投影仪和/或可见光投影仪。相机组件224可以包括被配置用于捕获可见光谱(例如，波长为380-700纳米的电磁辐射)中的图像的组件和被配置用于捕获红外光谱(例如，波长为701纳米-1毫米的电磁辐射)中的图像的组件。相机组件224可以至少部分地由处理器206所执行的软件来控制。
III.示例双像素图像传感器
图3示出了被配置为生成分离像素图像数据的分离像素图像传感器300。具体地，分离像素图像传感器300被示为包括布置在网格中的多个像素的双像素图像传感器，该网格包括列302、304、306和308至310(即，列302-310)以及行312、314、316和318至320(即，行312-320)。每个像素被示为划分成用对应的阴影区域表示的第一(例如，左侧)感光点以及用对应的白色填充区域表示的第二(例如，右侧)感光点。因此，位于列302、行312的像素的右半部分被标记为“R”以指示右侧感光点，并且该像素的左半部分被标记为“L”以指示左侧感光点。
尽管每个像素的感光点被示为将每个像素划分成两个相等的垂直半部，但是感光点可以替代地以其他方式划分每个像素。例如，每个像素可以被划分成上方感光点和下方感光点。感光点的面积可能不相等。此外，虽然分离像素图像传感器300被示为每个像素包括两个感光点的双像素图像传感器，但是分离像素图像传感器300可以替代地被实施为每个像素被划分成不同数量的感光点。例如，分离像素图像传感器300可以被实施为四像素图像传感器，其中四像素图像传感器的每个相应像素被划分成定义相应像素的四个象限(例如，(第一)左上象限、(第二)右上象限、(第三)左下象限和(第四)右下象限)的四个感光点。
给定像素的每个感光点可以包括对应的光电二极管，该光电二极管的输出信号可以独立于其他光电二极管被读取。此外，分离像素图像传感器300的每个像素可以与对应的滤色器(例如，红色、绿色或蓝色)相关联。可以对分离像素图像传感器300的输出应用去马赛克算法，以生成彩色图像。在一些情况下，比分离像素图像传感器300的所有像素少的像素可以被划分成多个感光点。例如，与绿色滤色器相关联的每个像素可以被划分成两个独立的感光点，而与红色或蓝色滤色器相关联的每个像素可以包括单个感光点。在一些情况下，分离像素图像传感器300可以用于实施前置相机104和/或后置相机112，并且可以形成相机组件224的一部分。
分离像素图像传感器300可以被配置为生成分离像素图像数据。在一个示例中，分离像素图像数据可以是双像素图像数据，其包括由第一组感光点(例如，仅左侧感光点)生成的第一子图像和由第二组感光点(例如，仅右侧感光点)生成的第二子图像。在另一示例中，分离像素图像数据可以是四像素图像数据，其包括由第一组感光点(例如，仅左上感光点)生成的第一子图像，由第二组感光点(例如，仅右上感光点)生成的第二子图像，由第三组感光点(例如，仅左下感光点)生成的第三子图像，以及由第四组感光点(例如，仅右下感光点)生成的第四子图像。
子图像可以作为单次曝光的一部分而生成。例如，可以基本上同时捕获子图像，其中一个子图像的捕获时间在另一子图像的捕获时间的阈值时间内。由给定像素的每个感光点生成的信号可以被组合成单个输出信号，从而生成传统的(例如，RGB)图像数据。
当被成像的场景特征(诸如前景对象、背景对象、环境和/或其(多个)部分)被聚焦时(即，场景特征在相机的景深内，和/或从其反射的光被聚焦在相机的焦深内)，由给定像素的每个感光点生成的相应信号可以基本上相同(例如，分离像素的信号可以在彼此的阈值内)。当被成像的场景特征离焦时(即，场景特征在相机的景深之前或之后，和/或从其反射的光被聚焦在相机的焦深之前或之后)，由给定像素的第一感光点生成的相应信号可以不同于由给定像素的(多个)其他感光点生成的(多个)相应信号。这种差的程度可以与离焦的程度成比例，并且可以指示场景特征相对于景深的位置(以及从其反射的光相对于焦深所聚焦的位置)。相应地，分离像素图像数据可以用于确定被拍摄的场景特征是否在相机设备的景深内、景深之前和/或景深之后。
IV.分离像素图像数据的示例点扩展函数
图4示出了与对离焦平面进行成像相关联的双像素图像传感器(例如，分离像素图像传感器300)的点扩展函数(point spread function，PSF)的示例空间变化。具体地，图4示出了区域400、402和404，每个区域对应于双像素图像传感器的区域。区域402中的PSF示出了与左侧子图像相关联的PSF的空间变化，区域404中的PSF示出了与右侧子图像相关联的PSF的空间变化，并且区域400中的PSF表示与整体双像素图像相关联的PSF的空间变化，每个PSF同时都在对离焦平面进行成像。如图4所示，整体双像素图像的PSF等于左侧子图像和右侧子图像的PSF之和。为了说明清楚，选择了与双像素图像传感器的尺寸相关的PSF的尺寸比例，并且在各种实施方式中可以不同。
区域400、402和404的每个相应区域包括被布置成行410、412、414和416以及列420、422、424和426的16个PSF。此外，对应的虚线示出了每个相应区域的垂直中线，从而将相应区域划分成两个相等的半部：左半部分和右半部分。区域402的左半部分包括允许比区域402的右半部分的PSF捕获更大范围的空间高频信息的PSF，如这些PSF的阴影图案的差异所指示的。具体地，区域402的列420和422中的PSF比区域402的列424和426中的PSF具有更高的截止空间频率。类似地，区域404的右半部分包括允许比区域404的左半部分的PSF捕获更大范围的空间高频信息的PSF，如这些PSF的阴影图案的差异所指示的。具体地，区域404的列424和426中的PSF比区域404的列420和422中的PSF具有更高的截止空间频率。
相应地，当对场景的离焦区域进行成像时，与区域402相对应的第一子图像的左半部分可能看起来比(i)第一子图像的右半部分以及(ii)与区域404相对应的第二子图像的左半部分更鲜明。类似地，当对场景的离焦区域进行成像时，与区域404相对应的第二子图像的右半部分看起来比(i)第二子图像的左半部分以及(ii)与区域402相对应的第一子图像的右半部分更鲜明。
跨分离像素子图像的频率内容的这种空间可变性可能是双像素相机设备的光路中的各种现实世界缺陷的结果，并且可能从理想化的光学模型中并不明显。在一些情况下，空间可变性可以在每个相机型号的基础上凭经验表征，并且随后用于生成由该相机型号捕获的图像的增强版本。
当第一子图像和第二子图像相加时，所得的整体双像素图像对应于区域400。也就是说，所得的双像素图像看起来是使用与区域400的PSF相关联的双像素图像传感器生成的。相应地，第一子图像(对应于区域402)的左半部分的相对更鲜明的内容与第二子图像(对应于区域404)的左半部分的内容进行组合，从而被其模糊。类似地，第二子图像(对应于区域404)的右半部分的相对更鲜明的内容与第一子图像(对应于区域402)的右半部分的内容进行组合，从而被其模糊。
具体地，在区域402的右半部分和/或区域404的左半部分中高达PSF的第一截止频率的频率在区域402和404的每一个的两个半部中被表示。然而，在区域402的左半部分和/或区域404的右半部分中的PSF的(i)第一截止频率与(ii)第二截止频率之间的频率在区域402的左半部分和区域404的右半部分中被表示，而不在区域402的右半部分和区域404的左半部分中被表示。相应地，当区域402和404的PSF相加以形成区域400的PSF时，与低于第一截止频率的频率相比，第一截止频率与第二截止频率之间的频率未被充分表示(例如，它们的相对功率较低)。因此，对子图像的像素值求和没有利用存在于子图像的不同部分处的空间频率内容的差异。
图4中的PSF对应于位于焦平面和/或景深的第一侧的离焦平面(例如，在(i)相机设备与(ii)焦平面和/或景深之间)。当离焦平面转而位于焦平面的第二侧时(例如，在焦平面之外)，图4所示的PSF的图案可以不同。例如，PSF的图案可以翻转，并且可以通过区域402和区域404的PSF交换位置来近似。当每个分离像素转而被划分成上方感光点和下方感光点、和/或被划分成将分离像素划分成四个象限的四个感光点、以及其他可能性时，可以附加地或替代地观察到对应的PSF变化。跨图像传感器区域的PSF截止频率与相对于景深的场景特征位置之间的关系可以在相机型号之间变化，从而可以在每个相机型号的基础上凭经验确定。
V.用于生成增强图像的示例系统
在分离像素子图像的不同部分中的高频空间信息的存在可以用于通过提高分离像素图像的锐度来增强分离像素图像，从而有效地扩展对应的景深。具体地，图5示出了用于通过利用分离像素子图像的某些部分中存在的高频信息来生成增强图像的示例系统。图5示出了被配置为基于分离像素图像数据502生成增强图像528的系统500。系统500可以包括像素深度计算器508、像素深度分类器512、像素频率分类器520和像素值合并器526。系统500的组件可以被实施为硬件、软件或其组合。
分离像素图像数据502可以包括子图像504至子图像506(即，子图像504-506)。分离像素图像数据502可以由分离像素图像传感器300捕获。子图像504-506中的每个子图像可以具有与分离像素图像数据502相同的分辨率，并且可以作为单次曝光的一部分被捕获。相应地，分离像素图像数据502的每个相应像素可以与子图像504-506中的每个子图像的对应像素相关联。在一个示例中，分离像素图像数据502可以包括两个子图像，从而可以被称为双像素图像数据。在另一示例中，分离像素图像数据502可以包括四个子图像，从而可以被称为四像素图像数据。
当分离像素图像数据502表示位于分离像素相机的景深之外的场景特征时(导致对应的光聚焦在分离像素相机的焦深之外)，子图像504-506中的一些子图像可以包括可能不存在于子图像504-506中的其他子图像中的高频空间信息。本文使用的术语“高频”和/或其变体是指高于阈值频率的频率，其中第一分离像素子图像包含高于阈值频率的频率内容，而对应的第二分离像素子图像则不包含。相反，本文使用的术语“低频”和/或其变体是指低于并包括阈值频率的频率。阈值频率可以取决于分离像素相机和/或被拍摄的场景以及其他因素而变化。
像素深度计算器508可以被配置为确定分离像素图像数据502的多个像素的(多个)像素深度510。例如，(多个)像素深度510可以对应于分离像素图像数据502的所有像素，或者少于分离像素图像数据502的所有像素。(多个)像素深度510可以指示(多个)对应的场景特征(例如，对象和/或其一部分)相对于分离像素相机的景深的深度，和/或(多个)场景特征的对应图像相对于分离像素相机的焦深的深度。在一些实施方式中，(多个)像素深度510可以包括例如与对应的场景特征相关联的深度的二元表示，以指示对应的场景特征是位于分离像素相机的景深之后(例如，在第一侧)还是位于分离像素相机的景深之前(例如，在第二侧)。在一些情况下，(多个)像素深度可以包括三元表示，该三元表示还被配置为指示例如对应的场景特征被定位和/或聚焦在分离像素相机的景深内。
在其他实施方式中，(多个)像素深度510可以采用三个以上的值，从而可以指示例如对应的场景特征位于景深之前多远和/或景深之后多远。应当理解，当场景特征位于分离像素相机的景深(即，镜头前面的区域，在该区域内的场景特征将产生看起来足够聚焦的图像)之外时，对应的图像(即，表示对应的场景特征的光)也定位(即，聚焦)在分离像素相机的景深(即，镜头后面的区域，在该区域内图像看起来足够聚焦)之外。
像素深度计算器508可以被配置为基于(i)子图像504-506中的第一子图像中对应的第一像素与(ii)子图像504-506中的第二子图像中对应的第二像素之间的信号视差来确定相应像素的深度值。具体地，当场景特征位于景深的第一侧时，信号视差可以是正的，并且当场景特征位于景深的第二侧时，信号视差可以是负的。因此，视差的符号可以指示相应像素的深度值相对于景深的方向，而视差的幅度可以指示深度值的幅度。在四像素图像数据的情况下，深度值可以附加地或替代地基于子图像504-506中的第三子图像中对应的第三像素和子图像504-506中的第四子图像中对应的第四像素。
像素深度分类器512可以被配置为基于(多个)像素深度510来识别(i)分离像素图像数据502的(多个)聚焦像素514以及(ii)分离像素图像数据502的(多个)离焦像素516。(多个)聚焦像素514可以表示位于景深内(例如，在焦平面任一侧的阈值距离之内)的场景特征，从而可能不会经历景深和/或锐度增强。(多个)离焦像素516可以表示位于景深之外(例如，在焦平面任一侧的阈值距离之外)的场景特征，从而可以经历景深和/或锐度增强。(多个)离焦像素516中的每个相应离焦像素可以与(多个)像素位置518中对应的像素位置相关联，其中对应的像素位置指示例如分离像素图像数据502内的相应离焦像素的坐标。每个相应离焦像素也可以与(多个)像素深度510中对应的像素深度相关联。
像素频率分类器520可以被配置为对于(多个)离焦像素516中的每个相应离焦像素，识别(多个)高频像素源522和(多个)低频像素源524。具体地，像素频率分类器520可以被配置为基于分离像素图像数据502内相应像素的位置和与相应像素相关联的深度值来识别(多个)高频像素源522和(多个)低频像素源524。相应离焦像素的(多个)高频像素源522可以包括子图像504-506的第一子集的(多个)位置对应的像素，而相应离焦像素的(多个)低频像素源524可以包括子图像504-506的第二子集的(多个)位置对应的像素。为相应像素确定的第一子集和第二子集可以是互斥的。
在双像素图像数据的情况下，(多个)高频像素源522可以指示例如子图像504包含相应像素的较鲜明(即，较高频率)的图像内容，并且(多个)低频像素源524可以指示子图像506包含相应像素的较不鲜明(即，较低频率)的图像内容。在四像素图像数据的情况下，(多个)高频像素源522可以指示例如子图像506包含相应像素的较鲜明的图像内容，并且(多个)低频像素源524可以指示所有其他子图像(包括子图像504)包含相应像素的较不鲜明的图像内容。关于图6A-图7G更详细地说明和讨论了像素源选择。
像素值合并器526可以被配置为基于(i)(多个)聚焦像素514以及(ii)为(多个)离焦像素516中的每个相应离焦像素确定的(多个)高频像素源522和(多个)低频像素源524来生成增强图像528。具体地，像素值合并器526可以被配置为通过对子图像504-506的空间对应的像素值求和来生成(多个)聚焦像素514的相应像素值。对于(多个)离焦像素516，像素值合并器526可以被配置为通过给予(多个)高频像素源522比(多个)低频像素源524(至少相对于一些频率)更大的权重来生成相应像素值，从而增加分离像素图像数据502的对应部分的表观锐度和/或景深。
VI.像素深度、像素位置和子图像频率内容之间的示例关系
图6A-图6F示出了双像素图像数据内相应像素的位置、与相应像素相关联的深度值和包含高频图像内容的子图像之间的示例映射。具体地，图6A-图6F中的每一个在左侧示出了被划分成标有对应的深度的四个象限的双像素图像区域，并且在右侧示出了对应的子图像象限，这些子图像象限在给定对应的深度的情况下为双像素图像的每个象限提供高频内容。
图像的象限可以是跨越图像帧的四分之一的矩形区域，并且由图像帧的水平和垂直的二等分产生。因此，四个象限可以跨越整个图像帧，并且将图像帧划分成四个相等的子部分。类似地，图像的一半可以是两个相邻象限的并集。例如，两个水平相邻象限的并集可以定义上半部分或下半部分，并且两个垂直相邻象限的并集可以定义左半部分或右半部分。换句话说，图像的上半部分和下半部分可以通过将图像水平二等分成两个相等的矩形区域来定义，而图像的左半部分和右半部分可以通过将图像垂直二等分成两个相等的矩形区域来定义。整体分离像素图像(例如，图像数据502)、子图像(例如，子图像504-506)和/或增强图像(例如，增强图像528)可以各自被划分成对应的一半和/或四分之一。
图6A示出了当双像素图像传感器的象限600、602、604和606各自用于对位于景深的第一侧(例如，之后)(如“深度：-1”所示)的平面(即，相对于分离像素相机具有恒定深度的场景)进行成像时，那么：(i)第一双像素子图像的象限610比第二双像素子图像的相对应地定位的象限620包含象限600的更高频的内容，(ii)第二子图像的象限622比第一子图像的相对应地定位的象限612包含象限602的更高频的内容，(iii)第一子图像的象限614比第二子图像的相对应地定位的象限624包含象限604的更高频的内容，以及(iv)第二子图像的象限626比第一子图像的相对应地定位的象限616包含象限606的更高频的内容。
图6B示出了当双像素图像传感器的象限600、602、604和606各自用于对位于景深的第二侧(例如，之前)(如“深度：+1”所示)的平面进行成像时，那么：(i)第二子图像的象限620比第一子图像的相对应地定位的象限610包含象限600的更高频的内容，(ii)第一子图像的象限612比第二子图像的相对应地定位的象限622包含象限602的更高频的内容，(iii)第二子图像的象限624比第一子图像的相对应地定位的象限614包含象限604的更高频的内容，以及(iv)第一子图像的象限616比第二子图像的相对应地定位的象限626包含象限606的更高频的内容。
图6C示出了当象限600和604各自用于对位于景深的第一侧的平面(如“深度：-1”所示)进行成像，并且象限602和606各自用于对位于景深的第二侧的平面(如“深度：+1”所示)进行成像时，那么第一子图像的象限610、612、614和616分别比第二子图像的象限620、622、624和626分别包含象限600、602、604和606的更高频的内容。
图6D示出了当象限600和604各自用于对位于景深的第二侧的平面(如“深度：+1”所示)进行成像，并且象限602和606各自用于对位于景深的第一侧的平面(如“深度：-1”所示)进行成像时，那么第二子图像的象限620、622、624和626分别比第一子图像的象限610、612、614和616分别包含象限600、602、604和606的更高频的内容。
图6E示出了当象限600和602各自用于对位于景深的第二侧的平面(如“深度：+1”所示)进行成像，并且象限604和606各自用于对位于景深的第一侧的平面(如“深度：-1”所示)进行成像时，那么：(i)第一子图像的象限612和614分别比第二子图像的象限622和624分别包含象限602和604的更高频的内容，并且(ii)第二子图像的象限620和626分别比第一子图像的象限610和616分别包含象限600和606的更高频的内容。
图6F示出了当象限600和602各自用于对位于景深的第一侧的平面(如“深度：-1”所示)进行成像，并且象限604和606各自用于对位于景深的第二侧的平面(如“深度：+1”所示)进行成像时，那么：(i)第一子图像的象限610和616分别比第二子图像的象限620和626分别包含象限600和606的更高频的内容，并且(ii)第二子图像的象限622和624分别比第一子图像的象限612和614分别包含象限602和604的更高频的内容。
图6G示出了表格630，表格630总结了由图6A-图6F的示例像素位置和像素深度的组合所示的关系。具体地，当场景特征位于景深内时(即，场景深度＝0)，第一子图像的频率内容基本上和/或近似地与第二子图像的频率内容相同(例如，每频率信号功率相差不超过阈值量)。因此，聚焦像素的像素值可以通过将第一子图像和第二子图像中对应的像素的值相加来获得，而无需对这些值应用不相等的加权来提高锐度。
当场景特征位于景深的第一侧时(即，场景深度＝-1)，第一(例如，左侧)子图像为位于双像素图像的第一(例如，左)半部分(例如，象限600和604)的离焦像素提供更高频的内容，并且第二(例如，右侧)子图像为位于双像素图像的第二(例如，右)半部分(例如，象限602和606)的离焦像素提供更高频的内容。当场景特征位于景深的第二侧时(即，场景深度＝+1)，第二子图像为位于双像素图像的第一半部分中的离焦像素提供更高频的内容，并且第一子图像为位于双像素图像的第二半部分中的离焦像素提供更高频的内容。
图7A-图7F示出了四像素图像数据内相应像素的位置、与相应像素相关联的深度值和包含高频图像内容的子图像之间的示例映射。具体地，图7A-图7F中的每一个在左侧示出了被划分成标有对应的深度的象限的四像素图像区域，并且在右侧示出了子图像象限，这些子图像象限在给定对应的深度的情况下为四像素图像的每个象限提供高频内容。
图7A示出了当四像素图像传感器的象限700、702、704和706各自用于对位于景深的第一侧的平面(如“深度：-1”所示)进行成像时，那么：(i)第一四像素子图像的象限710比其他三个四像素子图像的对应象限(例如，第四四像素子图像的相对应地定位的象限740)包含象限700的更高频的内容，(ii)第二四像素子图像的象限722比其他三个四像素子图像的对应象限(例如，第三四像素子图像的相对应地定位的象限732)包含象限702的更高频的内容，(iii)第三四像素子图像的象限734比其他三个四像素子图像的对应象限(例如，第二四像素子图像的相对应地定位的象限724)包含象限704的更高频的内容，以及(iv)第四四像素子图像的象限746比其他三个四像素子图像的对应象限(例如，第一四像素子图像的相对应地定位的象限716)包含象限706的更高频的内容。
图7B示出了当四像素图像传感器的象限700、702、704和706各自用于对位于景深的第二侧的平面(如“深度：+1”所示)进行成像时，那么：(i)第四子图像的象限740比其他三个子图像的对应象限(例如，第一子图像的相对应地定位的象限710)包含象限700的更高频的内容，(ii)第三子图像的象限732比其他三个子图像的对应象限(例如，第二子图像的相对应地定位的象限722)包含象限702的更高频的内容，(iii)第二子图像的象限724比其他三个子图像的对应象限(例如，第三子图像的相对应地定位的象限734)包含象限704的更高频的内容，以及(iv)第一子图像的象限716比其他三个子图像的对应象限(例如，第四子图像的相对应地定位的象限746)包含象限706的更高频的内容。
图7C示出了当象限700和704各自用于对位于景深的第一侧的平面(如“深度：-1”所示)进行成像，并且象限702和706各自用于对位于景深的第二侧的平面(如“深度：+1”所示)进行成像时，那么：(i)第一子图像的象限710和716分别比其他三个子图像的对应象限(例如，分别是第四子图像的象限740和746)包含象限700和706的更高频的内容，以及(ii)第三子图像的象限732和734分别比其他三个子图像的对应象限(例如，分别是第二子图像的象限722和724)包含象限702和704的更高频的内容。
图7D示出了当象限700和704各自用于对位于景深的第二侧的平面(如“深度：+1”所示)进行成像，并且象限702和706各自用于对位于景深的第一侧的平面(如“深度：-1”所示)进行成像时，那么：(i)第四子图像的象限740和746分别比其他三个子图像的对应象限(例如，分别是第一子图像的象限710和716)包含象限700和706的更高频的内容，以及(ii)第二子图像的象限722和724分别比其他三个子图像的对应象限(例如，分别是第三子图像的象限732和734)包含象限702和704的更高频的内容。
图7E示出了当象限700和702各自用于对位于景深的第二侧的平面(如“深度：+1”所示)进行成像，并且象限704和706各自用于对位于景深的第一侧的平面(如“深度：-1”所示)进行成像时，那么：(i)第四子图像的象限740和746分别比其他三个子图像的对应象限(例如，分别是第一子图像的象限710和716)包含象限700和706的更高频的内容，以及(ii)第三子图像的象限732和734分别比其他三个子图像的对应象限(例如，分别是第二子图像的象限722和724)包含象限702和704的更高频的内容。
图7F示出了当象限700和702各自用于对位于景深的第一侧的平面(如“深度：-1”所示)进行成像，并且象限704和706各自用于对位于景深的第二侧的平面(如“深度：+1”所示)进行成像时，那么：(i)第一子图像的象限710和716分别比其他三个子图像的对应象限(例如，分别是第四子图像的象限740和746)包含象限700和706的更高频的内容，以及(ii)第二子图像的象限722和724分别比其他三个子图像的对应象限(例如，分别是第三子图像的象限732和734)包含象限702和704的更高频的内容。
图7G示出了表格750，表格750总结了由图7A-图7F的示例像素位置和像素深度的组合所示的关系。具体地，当场景特征位于景深内时(即，场景深度＝0)，第一子图像、第二子图像、第三子图像和第四子图像的频率内容基本上和/或近似地相同。因此，可以通过将第一至第四子图像中对应的像素的值相加来获得聚焦像素的像素值，而无需对这些值应用不相等的加权来提高锐度。
当场景特征位于景深的第一侧时(即，场景深度＝-1)，第一子图像为位于四像素图像的第一象限(例如，象限700)的离焦像素提供更高频的内容，第二子图像为位于四像素图像的第二象限(例如，象限702)的离焦像素提供更高频的内容，第三子图像为位于四像素图像的第三象限(例如，象限704)的离焦像素提供更高频的内容，并且第四子图像为位于四像素图像的第四象限(例如，象限706)的离焦像素提供更高频的内容。
当场景特征位于景深的第二侧时(即，场景深度＝+1)，第四子图像为位于四像素图像的第一象限(例如，象限700)的离焦像素提供更高频的内容，第三子图像为位于四像素图像的第二象限(例如，象限702)的离焦像素提供更高频的内容，第二子图像为位于四像素图像的第三象限(例如，象限704)的离焦像素提供更高频的内容，并且第一子图像为位于四像素图像的第四象限(例如，象限706)的离焦像素提供更高频的内容。
虽然图6A–图6G和图7A-图7G在每象限的级别上示出了像素位置、像素深度和高频数据源之间的关系(为了说明清楚)，但是实际上，高频像素源的确定可以在每像素的级别上(基于每像素位置和每像素深度)进行。因此，基于(i)特定像素的对应深度和(ii)特定像素所在的分离像素图像的半部(在双像素图像的情况下)或象限(在四像素图像的情况下)，可以使用图6A-图6G和/或图7A-图7G所示的关系来确定特定像素的高频源。相应地，尽管图6A-图6F和图7A-图7F分别出于说明图6G和图7G中所示关系的目的示出了像素深度的特定布置，但是在实践中可以观察到像素深度的不同分布和/或组合。图6G和图7G中所示的关系可以用于对于分离像素图像中的每个像素，识别包含可能不存在于其他分离像素图像中的高频信息的对应子图像。
VII.示例像素值合并
转回图5，像素值合并器526可以被配置为以多种方式组合(多个)高频像素源522和(多个)低频像素源524的对应像素值。特别地，对于(多个)离焦像素516，像素值合并器526可以被配置为更倾向于(多个)高频像素源522，或者给予(多个)高频像素源522比(多个)低频像素源524更大的权重。在一些情况下，相对于所有频率，可以给予(多个)高频像素源522比(多个)低频像素源524更大的权重。在其他情况下，相对于高于阈值频率(例如，将不同子图像的频率内容分隔开的截止频率)的频率，可以给予(多个)高频像素源522比(多个)低频像素源524更大的权重，同时可以给予低于或等于阈值频率的频率相等的权重。
在一个示例中，像素值的组合可以在空间域中执行。与分离像素图像数据502的离焦像素相对应的增强图像528的给定像素(即，其中
Figure BDA0003637926130000211
景深(Depth of Field,DOF))可以被表示为
Figure BDA0003637926130000212
Figure BDA0003637926130000213
其中Pi,j表示给定图像的像素位置(即，坐标)i,j处的像素值，PENHANCED表示增强图像528，P1表示子图像504，PN表示子图像506，Di,j表示与像素位置i,j处的像素相关联的深度值，并且w1(i,j,Di,j)至wN(i,j,Di,j)是被配置为相对于(多个)低频像素源524更倾向于对应的(多个)高频像素源522的加权函数。在一些情况下，对于每个相应的像素位置(i,j)，权重之和可以被归一化为预定值，诸如N(例如，
Figure BDA0003637926130000214
与分离像素图像数据502的聚焦像素相对应的增强图像528的给定像素(即，其中Di,j∈DOF)可以被表示为
Figure BDA0003637926130000215
Figure BDA0003637926130000216
其中w1(i,j,Di,j)＝...＝wN(i,j,Di,j)＝1。
在一个示例中，在双像素图像数据的情况下，当P1是像素位置i,j的高频像素源(且P2因此是低频像素源)时，
Figure BDA0003637926130000217
也就是说，对于分离像素图像数据502的给定离焦像素，来自高频像素源的像素值可以比来自低频像素源的像素值加权得更重(即，被指派更大的权重)，以便锐化给定的离焦像素。在另一示例中，在双像素图像数据的情况下，当P1是像素位置i,j的高频像素源(且P2因此是低频像素源)时，
Figure BDA0003637926130000218
Figure BDA0003637926130000219
也就是说，对于分离像素图像数据502的给定离焦像素，可以选择高频像素源作为像素值的专属来源，并且可以丢弃低频像素源。
加权函数w1(i,j,Di,j)至wN(i,j,Di,j)可以是Di,j的离散函数或连续函数。加权函数w1(i,j,Di,j)至wN(i,j,Di,j)可以是Di,j的线性函数，或者可以是Di,j的指数函数，以及其他可能性。由其对应的加权函数指派给特定高频像素源的权重可以导致高频像素源形成在(i)增强图像528中对应的像素的信号的50％(例如，当Di,j∈DOF时)与(ii)增强图像528中对应的像素的信号的100％(例如，当|Di,j|>DTHRESHOLD时)之间。
在另一示例中，像素值的组合可以在频域中执行。例如，与分离像素图像数据502的离焦像素相对应的增强图像528的给定像素(即，其中
Figure BDA00036379261300002110
Figure BDA00036379261300002111
)可以被表示为
Figure BDA00036379261300002112
Figure BDA0003637926130000221
其中ω＝(ωx,ωy)分别表示可能存在于分离像素图像数据502中的水平空间频率和垂直空间频率，FENHANCED表示频域中的增强图像528，F1(ω)表示频域中的子图像504，FN(ω)表示频域中的子图像506，Di,j表示与坐标i,j处的像素相关联的深度值，IFT()表示逆频率变换(例如，逆傅立叶变换、逆余弦变换等)，并且v1(ω,i,j,Di,j)至vN(ω,i,j,Di,j)是频率特定加权函数，该频率特定加权函数被配置为相对于在对应的(多个)高频像素源522和对应的(多个)低频像素源524中都存在的低频来提升在对应的(多个)高频像素源522中存在的高频。在一些情况下，对于给定像素的每个相应空间频率ω，权重之和可以被归一化为预定值，诸如N(例如，
Figure BDA0003637926130000222
)。与分离像素图像数据502的聚焦像素相对应的增强图像528的给定像素(即，其中Di，j∈DOF)可以被表示为
Figure BDA0003637926130000225
其中v1(ω,i,j,Di,j)＝...＝vN(ω,i,j,Di,j)＝1。
在一些实施方式中，加权函数v1(ω,i,j,Di,j)至vN(ω,i,j,Di,j)可以附加地或替代地是子图像之间的频率内容的差的函数。例如，对于高于阈值频率的空间频率(即，
Figure BDA0003637926130000226
)，当高频像素源与低频像素源之间的差超过阈值差时，高频像素源可以比低频像素源加权更重，并且如果这两个像素源之间的差低于或等于阈值差，则这两个像素源可以相等地加权。对于低于或等于阈值频率的空间频率(即，
Figure BDA0003637926130000227
)，高频像素源和低频像素源可以被相等地加权。
因此，在双像素图像数据的情况下，
Figure BDA0003637926130000228
当F1(ω)-F2(ω)>FTHRESHOLD时(其中F1(ω)是高频像素源)，W1(ω,i,j,Di,j)>W2(ω,i,j,Di,j)，当F2(ω)-F1(ω)>FTHRESHOLD时(其中F2(ω)是高频像素源)，W2(ω,i,j,Di,j)>W1(ω,i,j,Di,j)，并且当|F1(ω)-F2(ω)|≤FTHRESHOLD时，W1(ω,i,j,Di,j)＝W2(ω,i,j,Di,j)。
Figure BDA0003637926130000229
W1(ω,i,j,Di,j)＝W2(ω,i,j,Di,j)。
阈值频率可以基于(例如，等于)低频像素源的截止频率。阈值差可以基于在不同频率处子图像中预期存在的噪声水平(例如，大于该噪声水平的平均值或峰值的两倍)。因此，对于离焦像素，(多个)高频像素源522的高频内容(其不存在于低频像素源中)可以被提升以锐化分离像素图像，而像素源522和524两者中存在的低频内容可以被相等地加权以保留这两个源在这些频率处的内容。
加权函数v1(ω,i,j,Di,j)至vN(ω,i,j,Di,j)可以是Di,j的离散函数或连续函数，和/或可以是Di,j的线性或指数函数，以及其他可能性。由其对应的加权函数指派给高频像素源中存在的特定频率的权重可以导致高频像素源形成在(i)增强图像528中对应的像素的频率特定信号的50％(例如，当Di,j∈DOF时和/或当ω≤ωTHRESHOLD时)与(ii)增强图像528中对应的像素的频率特定信号的100％(例如，当|Di,j|>DTHRESHOLD时和/或当ω>ωTHRESHOLD时)之间。
在另一示例中，可以使用被配置为合并图像焦点堆栈(image focus stack)的一个或多个算法来执行像素值的组合。具体地，图像焦点堆栈可以包括多个图像，其中每个图像在对应的不同焦点处被捕获(导致不同的焦深和/或景深位置)。因此，图像焦点堆栈的不同图像可以包括不同的聚焦部分和离焦部分。被配置为合并图像焦点堆栈的算法可以涉及例如：(i)基于像素的对比度计算每像素的权重，并且使用每像素的权重来组合焦点堆栈的图像，(ii)确定焦点堆栈中每个图像的深度图，并且使用深度图来识别焦点堆栈中最高锐度(sharpest)的像素值，和/或(iii)使用基于金字塔的方法来识别最高锐度的像素，以及其他可能性。
在非分离像素图像数据的上下文中，由于图像焦点堆栈中的不同图像在不同时间被捕获，图像焦点堆栈可能包括运动模糊。因此，对于包括运动的场景，重建具有增强锐度的图像可能是困难的。
在分离像素图像数据的上下文中，分离像素图像数据的多个子图像可以用于形成图像焦点堆栈。分离像素图像数据的离焦区域中的子图像的空间频率内容的变化可以近似不同的聚焦级别(从而还近似不同的焦深和景深位置)。因为子图像的空间频率内容变化可以在无需明确调整分离像素相机的焦距的情况下实现，所以分离像素子图像可以作为单次曝光的一部分被捕获，从而可以不包括运动模糊(或者可以至少包括比可比较的非分离像素图像焦点堆栈更少的运动模糊)。相应地，可以使用一种或多种聚焦堆栈算法来合并分离像素子图像，从而用于生成静态场景和/或动态场景的增强图像。
VIII.附加示例操作
图8示出了与生成具有增强的锐度和/或景深的图像相关的操作的流程图。操作可以由计算设备100、计算系统200和/或系统500以及其他可能性来执行。图8的实施例可以通过去除其中所示的任何一个或多个特征来简化。此外，这些实施例可以与任何先前附图的或本文以其他方式描述的特征、方面和/或实施方式组合。
方框800可以涉及获得由分离像素相机捕获的分离像素图像数据，其中分离像素图像数据包括第一子图像和第二子图像。
方框802可以涉及：对于分离像素图像数据的多个像素中的每个相应像素，确定由相应像素表示的场景特征相对于分离像素相机的景深的对应位置。
方框804可以涉及：基于由多个像素中的每个相应像素表示的场景特征的对应位置，识别多个像素中的一个或多个离焦像素，其中一个或多个离焦像素位于景深之外。
方框806可以涉及：对于一个或多个离焦像素中的每个相应离焦像素，基于以下确定对应像素值：(i)由相应离焦像素表示的场景特征相对于景深的对应位置，(ii)相应离焦像素在分离像素图像数据内的位置，以及(iii)第一子图像中对应的第一像素的第一值或第二子图像中对应的第二像素的第二值中的至少一个。
方框808可以涉及基于为每个相应离焦像素确定的对应像素值来生成具有扩展景深的增强图像。
在一些实施例中，确定对应像素值可以包括：对于每个相应离焦像素，基于(i)由相应离焦像素表示的场景特征相对于景深的对应位置以及(ii)相应离焦像素在分离像素图像数据内的位置，选择对应的第一像素或对应的第二像素之一作为相应离焦像素的源像素。可以基于源像素的值为每个相应离焦像素确定对应像素值。
在一些实施例中，对于位于分离像素图像数据的第一半部分中的离焦像素：当由相应离焦像素表示的场景特征位于景深之后时，可以选择对应的第一像素作为源像素，并且当由相应离焦像素表示的场景特征位于景深之前时，可以选择对应的第二像素作为源像素。对于位于分离像素图像数据的第二半部分中的离焦像素：当由相应离焦像素表示的场景特征位于景深之后时，可以选择对应的第二像素作为源像素，并且当由相应离焦像素表示的场景特征位于景深之前时，可以选择对应的第一像素作为源像素。
在一些实施例中，选择相应离焦像素的源像素可以包括：对于位于分离像素图像数据的第一半部分中的离焦像素，确定由相应离焦像素表示的场景特征是位于景深之后还是景深之前。选择相应离焦像素的源像素还可以包括：对于位于分离像素图像数据的第一半部分中的离焦像素，基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之后，选择对应的第一像素作为源像素，或者基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之前，选择对应的第二像素作为源像素。
选择相应离焦像素的源像素可以附加地包括：对于位于分离像素图像数据的第二半部分中的离焦像素，确定由相应离焦像素表示的场景特征是位于景深之后还是景深之前。选择相应离焦像素的源像素还可以包括：对于位于分离像素图像数据的第二半部分中的离焦像素，基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之后，选择对应的第二像素作为源像素，或者基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之前，选择对应的第一像素作为源像素。
在一些实施例中，确定对应像素值可以包括：对每个相应离焦像素，基于(i)由相应离焦像素表示的场景特征相对于景深的对应位置以及(ii)相应离焦像素在分离像素图像数据内的位置，确定对应的第一像素的第一权重和对应的第二像素的第二权重。可以基于(i)对应的第一像素的第一权重和第一值的第一乘积以及(ii)对应的第二像素的第二权重和第二值的第二乘积，为每个相应离焦像素确定对应像素值。
在一些实施例中，对于位于分离像素图像数据的第一半部分中的离焦像素：当由相应离焦像素表示的场景特征位于景深之后时，对应的第一像素的第一权重可以大于对应的第二像素的第二权重，并且当由相应离焦像素表示的场景特征位于景深之前时，对应的第二像素的第二权重可以大于对应的第一像素的第一权重。对于位于分离像素图像数据的第二半部分中的离焦像素：当由相应离焦像素表示的场景特征位于景深之后时，对应的第二像素的第二权重可以大于对应的第一像素的第一权重，并且当由相应离焦像素表示的场景特征位于景深之前时，对应的第一像素的第一权重可以大于对应的第二像素的第二权重。
在一些实施例中，确定第一权重和第二权重可以包括：对于位于分离像素图像数据的第一半部分中的离焦像素，确定由相应离焦像素表示的场景特征是位于景深之后还是景深之前。确定第一权重和第二权重还可以包括：对于位于分离像素图像数据的第一半部分中的离焦像素，基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之后，确定大于第二权重的第一权重，或者基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之前，确定大于第一权重的第二权重。
确定第一权重和第二权重可以附加地包括：对于位于分离像素图像数据的第二半部分中的离焦像素，确定由相应离焦像素表示的场景特征是位于景深之后还是景深之前。确定第一权重和第二权重还可以包括：对于位于分离像素图像数据的第二半部分中的离焦像素，基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之后，确定大于第一权重的第二权重，或者基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之前，确定大于第二权重的第一权重。
在一些实施例中，确定第一权重和第二权重可以包括：对于分离像素图像数据中存在的多个空间频率中的每个相应空间频率，确定(i)相应空间频率在第一子图像内的第一幅度，以及(ii)相应空间频率在第二子图像内的第二幅度。可以为每个相应空间频率确定第一幅度与第二幅度之间的差。可以为每个相应空间频率确定第一幅度的第一权重和第二幅度的第二权重。对于高于阈值频率并且与超过阈值的差相关联的每个相应空间频率，第一权重可以不同于第二权重，并且第一权重和第二权重可以基于由相应离焦像素表示的场景特征相对于景深的对应位置。对于(i)低于阈值频率或者(ii)高于阈值频率并且与不超过阈值的差相关联的每个相应空间频率，第一权重可以等于第二权重。可以基于(i)由对应的第一像素的第一值表示的每个相应空间频率的第一权重和第一幅度的第一多个乘积以及(ii)由对应的第二像素的第二值表示的每个相应空间频率的第二权重和第二幅度的第二多个乘积的总和，为每个相应离焦像素确定对应像素值。
在一些实施例中，分离像素图像数据可以包括第一子图像、第二子图像、第三子图像和第四子图像。确定对应像素值可以包括：对于每个相应离焦像素，基于(i)由相应离焦像素表示的场景特征相对于景深的对应位置以及(ii)相应离焦像素在分离像素图像数据内的位置，选择第一子图像中对应的第一像素、第二子图像中对应的第二像素、第三子图像中对应的第三像素或第四子图像中对应的第四像素之一，作为相应离焦像素的源像素。可以基于源像素的值为每个相应离焦像素确定对应像素值。
在一些实施例中，对于位于分离像素图像数据的第一象限中的离焦像素：当由相应离焦像素表示的场景特征位于景深之后时，可以选择对应的第一像素作为源像素，并且当由相应离焦像素表示的场景特征位于景深之前时，可以选择对应的第四像素作为源像素。对于位于分离像素图像数据的第二象限中的离焦像素：当由相应离焦像素表示的场景特征位于景深之后时，可以选择对应的第二像素作为源像素，并且当由相应离焦像素表示的场景特征位于景深之前时，可以选择对应的第三像素作为源像素。对于位于分离像素图像数据的第三象限中的离焦像素：当由相应离焦像素表示的场景特征位于景深之后时，可以选择对应的第三像素作为源像素，并且当由相应离焦像素表示的场景特征位于景深之前时，可以选择对应的第二像素作为源像素。对于位于分离像素图像数据的第四象限中的离焦像素：当由相应离焦像素表示的场景特征位于景深之后时，可以选择对应的第四像素作为源像素，并且当由相应离焦像素表示的场景特征位于景深之前时，可以选择对应的第一像素作为源像素。
在一些实施例中，选择相应离焦像素的源像素可以包括：对于位于分离像素图像数据的第一象限中的离焦像素，确定由相应离焦像素表示的场景特征是位于景深之后还是景深之前。选择相应离焦像素的源像素还可以包括：对于位于分离像素图像数据的第一象限中的离焦像素，基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之后，选择对应的第一像素作为源像素，或者基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之前，选择对应的第四像素作为源像素。
选择相应离焦像素的源像素还可以包括：对于位于分离像素图像数据的第二象限中的离焦像素，确定由相应离焦像素表示的场景特征是位于景深之后还是景深之前。选择相应离焦像素的源像素还可以包括：对于位于分离像素图像数据的第二象限中的离焦像素，基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之后，选择对应的第二像素作为源像素，或者基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之前，选择对应的第三像素作为源像素。
选择相应离焦像素的源像素还可以包括：对于位于分离像素图像数据的第三象限中的离焦像素，确定由相应离焦像素表示的场景特征是位于景深之后还是景深之前。选择相应离焦像素的源像素还可以包括：对于位于分离像素图像数据的第三象限中的离焦像素，基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之后，选择对应的第三像素作为源像素，或者基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之前，选择对应的第二像素作为源像素。
选择相应离焦像素的源像素可以附加地包括：对于位于分离像素图像数据的第四象限中的离焦像素，确定由相应离焦像素表示的场景特征是位于景深之后还是景深之前。选择相应离焦像素的源像素还可以包括：对于位于分离像素图像数据的第四象限中的离焦像素，基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之后，选择对应的第四像素作为源像素，或者基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之前，选择对应的第一像素作为源像素。
在一些实施例中，分离像素图像数据可以包括第一子图像、第二子图像、第三子图像和第四子图像。确定对应像素值可以包括：对于每个相应离焦像素，基于(i)由相应离焦像素表示的场景特征相对于景深的对应位置以及(ii)相应离焦像素在分离像素图像数据内的位置，确定对应的第一像素的第一权重、对应的第二像素的第二权重、第三子图像中对应的第三像素的第三权重和第四子图像中对应的第四像素的第四权重。可以基于(i)对应的第一像素的第一权重和第一值的第一乘积、(ii)对应的第二像素的第二权重和第二值的第二乘积、(iii)对应的第三像素的第三权重和第三值的第三乘积以及(ii)对应的第四像素的第四权重和第四值的第四乘积，为每个相应离焦像素确定对应像素值。
在一些实施例中，对于位于分离像素图像数据的第一象限中的离焦像素：当由相应离焦像素表示的场景特征位于景深之后时，对应的第一像素的第一权重可以大于对应的第二像素的第二权重、对应的第三像素的第三权重和对应的第四像素的第四权重，并且当由相应离焦像素表示的场景特征位于景深之前时，对应的第四像素的第四权重可以大于对应的第一像素的第一权重、对应的第二像素的第二权重和对应的第三像素的第三权重。对于位于分离像素图像数据的第二象限中的离焦像素：当由相应离焦像素表示的场景特征位于景深之后时，对应的第二像素的第二权重可以大于对应的第一像素的第一权重、对应的第三像素的第三权重和对应的第四像素的第四权重，并且当由相应离焦像素表示的场景特征位于景深之前时，对应的第三像素的第三权重可以大于对应的第一像素的第一权重、对应的第二像素的第二权重和对应的第四像素的第四权重。对于位于分离像素图像数据的第三象限中的离焦像素：当由相应离焦像素表示的场景特征位于景深之后时，对应的第三像素的第三权重可以大于对应的第一像素的第一权重、对应的第二像素的第二权重和对应的第四像素的第四权重，并且当由相应离焦像素表示的场景特征位于景深之前时，对应的第二像素的第二权重可以大于对应的第一像素的第一权重、对应的第三像素的第三权重和对应的第四像素的第四权重。对于位于分离像素图像数据的第四象限中的离焦像素：当由相应离焦像素表示的场景特征位于景深之后时，对应的第四像素的第四权重可以大于对应的第一像素的第一权重、对应的第二像素的第二权重和对应的第三像素的第三权重，并且当由相应离焦像素表示的场景特征位于景深之前时，对应的第一像素的第一权重可以大于对应的第二像素的第二权重、对应的第三像素的第三权重和对应的第四像素的第四权重。
在一些实施例中，确定第一权重、第二权重、第三权重和第四权重可以包括：对于位于分离像素图像数据的第一象限中的离焦像素，确定由相应离焦像素表示的场景特征是位于景深之后还是景深之前。确定第一权重、第二权重、第三权重和第四权重还可以包括：对于位于分离像素图像数据的第一象限中的离焦像素，基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之后，确定大于第二权重、第三权重和第四权重的第一权重，或者基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之前，确定大于第一权重、第二权重和第三权重的第四权重。
确定第一权重、第二权重、第三权重和第四权重还可以包括：对于位于分离像素图像数据的第二象限中的离焦像素，确定由相应离焦像素表示的场景特征是位于景深之后还是景深之前。确定第一权重、第二权重、第三权重和第四权重还可以包括：对于位于分离像素图像数据的第二象限中的离焦像素，基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之后，确定大于第一权重、第三权重和第四权重的第二权重，或者基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之前，确定大于第一权重、第二权重和第四权重的第三权重。
确定第一权重、第二权重、第三权重和第四权重还可以包括：对于位于分离像素图像数据的第三象限中的离焦像素，确定由相应离焦像素表示的场景特征是位于景深之后还是景深之前。确定第一权重、第二权重、第三权重和第四权重还可以包括：对于位于分离像素图像数据的第三象限中的离焦像素，基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之后，确定大于第一权重、第二权重和第四权重的第三权重，或者基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之前，确定大于第一权重、第三权重和第四权重的第二权重。
确定第一权重、第二权重、第三权重和第四权重还可以包括：对于位于分离像素图像数据的第四象限中的离焦像素，确定由相应离焦像素表示的场景特征是位于景深之后还是景深之前。确定第一权重、第二权重、第三权重和第四权重还可以包括：对于位于分离像素图像数据的第四象限中的离焦像素，基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之后，确定大于第一权重、第二权重和第三权重的第四权重，或者基于和/或响应于确定由相应离焦像素表示的场景特征位于景深之前，确定大于第二权重、第三权重和第四权重的第一权重。
在一些实施例中，分离像素图像数据的相应子图像可以已经作为单次曝光的一部分被分离像素相机的对应感光点所捕获。
在一些实施例中，基于由多个像素中的每个相应像素表示的场景特征的对应位置，可以识别多个像素中的一个或多个聚焦像素。由一个或多个聚焦像素表示的场景特征可以位于景深内。对于一个或多个聚焦像素中的每个相应聚焦像素，可以通过将第一子图像中对应的第一像素的第一值和第二子图像中对应的第二像素的第二值相加来确定对应像素值。可以进一步基于为每个相应聚焦像素确定的对应像素值来生成增强图像。
在一些实施例中，确定由相应像素表示的场景特征相对于分离像素相机的景深的对应位置可以包括：对于分离像素图像数据的多个像素中的每个相应像素，确定第一子图像中对应的第一像素与第二子图像中对应的第二像素之间的差，并且对于分离像素图像数据的多个像素中的每个相应像素，基于所述差确定对应位置。
IX.结论
本公开并不会在本申请中描述的特定实施例方面进行限制，这些实施例旨在说明各个方面。对于本领域技术人员来说将会显而易见的是，在不脱离其范围的情况下，可以进行许多修改和变化。除了本文描述的方法和装置之外，对于本领域技术人员来说，根据前面的描述，在本公开范围内的功能等同的方法和装置是显而易见的。这种修改和变化旨在落入所附权利要求的范围内。
以上详细描述参考附图描述了所公开的系统、设备和方法的各种特征和操作。在附图中，相似的符号通常标识相似的组件，除非上下文另有指示。本文和附图中描述的示例实施例并不意味着是限制性的。在不脱离本文呈现的主题的范围的情况下，可以利用其他实施例，并且可以进行其他改变。将容易理解的是，如本文一般描述的和在附图中示出的，本公开的方面可以以多种不同的配置来布置、替换、组合、分离和设计。
关于附图中的任何或所有消息流程图示、场景和流程图，并且如本文所讨论的，根据示例实施例，每个步骤、方框和/或通信可以表示信息的处理和/或信息的传输。替代实施例被包括在这些示例实施例的范围内。在这些替代实施例中，例如，被描述为步骤、方框、传输、通信、请求、响应和/或消息的操作可以不按照所示或所讨论的次序来执行，包括基本上并发地执行或以相反的次序来执行，这取决于所涉及的功能。此外，更多或更少的方框和/或操作可以与本文讨论的任何消息流程图示、场景和流程图一起使用，并且这些消息流程图示、场景和流程图可以部分地或整体地彼此组合。
表示信息的处理的步骤或方框可以对应于可以被配置为执行本文描述的方法或技术的特定逻辑功能的电路。替代地或附加地，表示信息的处理的方框可以对应于程序代码的模块、片段或一部分(包括相关数据)。程序代码可以包括可由处理器执行以实施方法或技术中的特定逻辑操作或动作的一个或多个指令。程序代码和/或相关数据可以被存储在任何类型的计算机可读介质上，诸如包括随机存取存储器(RAM)的存储设备、磁盘驱动器、固态驱动器或另一存储介质。
计算机可读介质还可以包括非暂时性计算机可读介质，诸如短期存储数据的计算机可读介质，如寄存器存储器、处理器高速缓存和RAM。计算机可读介质还可以包括长期存储程序代码和/或数据的非暂时性计算机可读介质。因此，计算机可读介质可以包括二级或永久长期存储，如只读存储器(ROM)、光盘或磁盘、固态驱动器、光盘只读存储器(CD-ROM)。计算机可读介质也可以是任何其他易失性或非易失性的存储系统。例如，计算机可读介质可以被认为是计算机可读存储介质，或者有形存储设备。
此外，表示一个或多个信息传输的步骤或方框可以对应于同一物理设备中的软件和/或硬件模块之间的信息传输。然而，其他信息传输可以在不同物理设备中的软件模块和/或硬件模块之间进行。
附图中所示的特定布置不应被视为限制性的。应当理解，其他实施例可以包括给定附图中所示的更多或更少的每种元素。此外，一些示出的元素可以被组合或省略。此外，示例实施例可以包括附图中未示出的元素。
虽然本文已经公开了各种方面和实施例，但是其他方面和实施例对于本领域技术人员来说将是显而易见的。本文公开的各种方面和实施例是为了说明的目的，而不是为了限制，真正的范围由所附权利要求指示。

Claims (15)

1.一种计算机实施的方法，包括：
获得由分离像素相机捕获的分离像素图像数据，其中所述分离像素图像数据包括第一子图像和第二子图像；
对于所述分离像素图像数据的多个像素中的每个相应像素，确定由所述相应像素表示的场景特征相对于所述分离像素相机的景深的对应位置；
基于由所述多个像素中的每个相应像素表示的场景特征的对应位置，识别所述多个像素中的一个或多个离焦像素，其中由所述一个或多个离焦像素表示的场景特征位于所述景深之外；
对于所述一个或多个离焦像素中的每个相应离焦像素，基于(i)由所述相应离焦像素表示的场景特征相对于所述景深的所述对应位置，(ii)所述相应离焦像素在所述分离像素图像数据内的位置，以及(iii)所述第一子图像中对应的第一像素的第一值或所述第二子图像中对应的第二像素的第二值中的至少一个，确定对应像素值；以及
基于为每个相应离焦像素确定的所述对应像素值，生成具有扩展景深的增强图像。
2.根据权利要求1所述的计算机实施的方法，其中，确定所述对应像素值包括：
对于每个相应离焦像素，基于(i)由所述相应离焦像素表示的场景特征相对于所述景深的所述对应位置以及(ii)所述相应离焦像素在所述分离像素图像数据内的位置，选择所述对应的第一像素或所述对应的第二像素之一作为所述相应离焦像素的源像素；以及
对于每个相应离焦像素，基于所述源像素的值确定所述对应像素值。
3.根据权利要求2所述的计算机实施的方法，其中：
对于位于所述分离像素图像数据的第一半部分中的离焦像素：
当由所述相应离焦像素表示的场景特征位于所述景深之后时，选择所述对应的第一像素作为所述源像素；以及
当由所述相应离焦像素表示的场景特征位于所述景深之前时，选择所述对应的第二像素作为所述源像素；以及
对于位于所述分离像素图像数据的第二半部分中的离焦像素：
当由所述相应离焦像素表示的场景特征位于所述景深之后时，选择所述对应的第二像素作为所述源像素；以及
当由所述相应离焦像素表示的场景特征位于所述景深之前时，选择所述对应的第一像素作为所述源像素。
4.根据权利要求1所述的计算机实施的方法，其中，确定所述对应像素值包括：
对于每个相应离焦像素，基于(i)由所述相应离焦像素表示的场景特征相对于所述景深的所述对应位置以及(ii)所述相应离焦像素在所述分离像素图像数据内的位置，确定所述对应的第一像素的第一权重和所述对应的第二像素的第二权重；以及
对于每个相应离焦像素，基于(i)所述对应的第一像素的第一权重和第一值的第一乘积以及(ii)所述对应的第二像素的第二权重和第二值的第二乘积，确定所述对应像素值。
5.根据权利要求4所述的计算机实施的方法，其中：
对于位于所述分离像素图像数据的第一半部分中的离焦像素：
当由所述相应离焦像素表示的场景特征位于所述景深之后时，所述对应的第一像素的第一权重大于所述对应的第二像素的第二权重；以及
当由所述相应离焦像素表示的场景特征位于所述景深之前时，所述对应的第二像素的第二权重大于所述对应的第一像素的第一权重；以及对于位于所述分离像素图像数据的第二半部分中的离焦像素：
当由所述相应离焦像素表示的场景特征位于所述景深之后时，所述对应的第二像素的第二权重大于所述对应的第一像素的第一权重；以及
当由所述相应离焦像素表示的场景特征位于所述景深之前时，所述对应的第一像素的第一权重大于所述对应的第二像素的第二权重。
6.根据权利要求4-5中任一项所述的计算机实施的方法，其中，确定所述第一权重和所述第二权重包括：
对于所述分离像素图像数据内存在的多个空间频率中的每个相应空间频率，确定(i)所述相应空间频率在所述第一子图像内的第一幅度以及(ii)所述相应空间频率在所述第二子图像内的第二幅度；
对于每个相应空间频率，确定所述第一幅度与所述第二幅度之间的差；
对于每个相应空间频率，确定所述第一幅度的第一权重和所述第二幅度的第二权重，其中：
对于高于阈值频率并且与超过阈值的差相关联的每个相应空间频率，所述第一权重不同于所述第二权重，并且所述第一权重和所述第二权重基于由所述相应离焦像素表示的场景特征相对于所述景深的所述对应位置，
对于(i)低于所述阈值频率或(ii)高于所述阈值频率并且与不超过所述阈值的差相关联的每个相应空间频率，所述第一权重等于所述第二权重；以及
对于每个相应离焦像素，基于(i)由所述对应的第一像素的第一值表示的每个相应空间频率的第一权重和第一幅度的第一多个乘积以及(ii)由所述对应的第二像素的第二值表示的每个相应空间频率的第二权重和第二幅度的第二多个乘积的总和，确定所述对应像素值。
7.根据权利要求1所述的计算机实施的方法，其中，所述分离像素图像数据包括所述第一子图像、所述第二子图像、第三子图像和第四子图像，并且其中，确定所述对应像素值包括：
对于每个相应离焦像素，基于(i)由所述相应离焦像素表示的场景特征相对于所述景深的所述对应位置以及(ii)所述相应离焦像素在所述分离像素图像数据内的位置，选择所述第一子图像中对应的第一像素、所述第二子图像中对应的第二像素、所述第三子图像中对应的第三像素或所述第四子图像中对应的第四像素之一，作为所述相应离焦像素的源像素；以及
对于每个相应离焦像素，基于所述源像素的值确定所述对应像素值。
8.根据权利要求7所述的计算机实施的方法，其中：
对于位于所述分离像素图像数据的第一象限中的离焦像素：
当由所述相应离焦像素表示的场景特征位于所述景深之后时，选择所述对应的第一像素作为所述源像素；以及
当由所述相应离焦像素表示的场景特征位于所述景深之前时，选择所述对应的第四像素作为所述源像素；
对于位于所述分离像素图像数据的第二象限中的离焦像素：
当由所述相应离焦像素表示的场景特征位于所述景深之后时，选择所述对应的第二像素作为所述源像素；以及
当由所述相应离焦像素表示的场景特征位于所述景深之前时，选择所述对应的第三像素作为所述源像素；
对于位于所述分离像素图像数据的第三象限中的离焦像素：
当由所述相应离焦像素表示的场景特征位于所述景深之后时，选择所述对应的第三像素作为所述源像素；以及
当由所述相应离焦像素表示的场景特征位于所述景深之前时，选择所述对应的第二像素作为所述源像素；以及
对于位于所述分离像素图像数据的第四象限中的离焦像素：
当由所述相应离焦像素表示的场景特征位于所述景深之后时，选择所述对应的第四像素作为所述源像素；以及
当由所述相应离焦像素表示的场景特征位于所述景深之前时，选择所述对应的第一像素作为所述源像素。
9.根据权利要求1所述的计算机实施的方法，其中，所述分离像素图像数据包括所述第一子图像、所述第二子图像、第三子图像和第四子图像，并且其中，确定所述对应像素值包括：
对于每个相应离焦像素，基于(i)由所述相应离焦像素表示的场景特征相对于所述景深的对应位置以及(ii)所述相应离焦像素在所述分离像素图像数据内的位置，确定所述对应的第一像素的第一权重、所述对应的第二像素的第二权重、所述第三子图像中对应的第三像素的第三权重和所述第四子图像中对应的第四像素的第四权重；以及
对于每个相应离焦像素，基于(i)所述对应的第一像素的第一权重和第一值的第一乘积、(ii)所述对应的第二像素的第二权重和第二值的第二乘积、(iii)所述对应的第三像素的第三权重和第三值的第三乘积以及(ii)所述对应的第四像素的第四权重和第四值的第四乘积，确定所述对应像素值。
10.根据权利要求9所述的计算机实施的方法，其中：
对于位于所述分离像素图像数据的第一象限中的离焦像素：
当由所述相应离焦像素表示的场景特征位于所述景深之后时，所述对应的第一像素的第一权重大于所述对应的第二像素的第二权重、所述对应的第三像素的第三权重和所述对应的第四像素的第四权重；以及
当由所述相应离焦像素表示的场景特征位于所述景深之前时，所述对应的第四像素的第四权重大于所述对应的第一像素的第一权重、所述对应的第二像素的第二权重和所述对应的第三像素的第三权重；
对于位于所述分离像素图像数据的第二象限中的离焦像素：
当由所述相应离焦像素表示的场景特征位于所述景深之后时，所述对应的第二像素的第二权重大于所述对应的第一像素的第一权重、所述对应的第三像素的第三权重和所述对应的第四像素的第四权重；以及
当由所述相应离焦像素表示的场景特征位于所述景深之前时，所述对应的第三像素的第三权重大于所述对应的第一像素的第一权重、所述对应的第二像素的第二权重和所述对应的第四像素的第四权重；
对于位于所述分离像素图像数据的第三象限中的离焦像素：
当由所述相应离焦像素表示的场景特征位于所述景深之后时，所述对应的第三像素的第三权重大于所述对应的第一像素的第一权重、所述对应的第二像素的第二权重和所述对应的第四像素的第四权重；以及
当由所述相应离焦像素表示的场景特征位于所述景深之前时，所述对应的第二像素的第二权重大于所述对应的第一像素的第一权重、所述对应的第三像素的第三权重和所述对应的第四像素的第四权重；以及对于位于所述分离像素图像数据的第四象限中的离焦像素：
当由所述相应离焦像素表示的场景特征位于所述景深之后时，所述对应的第四像素的第四权重大于所述对应的第一像素的第一权重、所述对应的第二像素的第二权重和所述对应的第三像素的第三权重；以及
当由所述相应离焦像素表示的场景特征位于所述景深之前时，所述对应的第一像素的第一权重大于所述对应的第二像素的第二权重、所述对应的第三像素的第三权重和所述对应的第四像素的第四权重。
11.根据权利要求1-10中任一项所述的计算机实施的方法，其中，所述分离像素图像数据的相应子图像是通过所述分离像素相机的对应感光点作为单次曝光的一部分而捕获的。
12.根据权利要求1-11中任一项所述的计算机实施的方法，还包括：
基于由所述多个像素中的每个相应像素表示的场景特征的所述对应位置，识别所述多个像素中的一个或多个聚焦像素，其中由所述一个或多个聚焦像素表示的场景特征位于所述景深内；以及
对于所述一个或多个聚焦像素中的每个相应聚焦像素，通过将所述第一子图像中所述对应的第一像素的第一值和所述第二子图像中所述对应的第二像素的第二值相加，确定对应像素值，其中进一步基于为每个相应聚焦像素确定的所述对应像素值来生成所述增强图像。
13.根据权利要求1-12中任一项所述的计算机实施的方法，其中，确定由所述相应像素表示的场景特征相对于所述分离像素相机的景深的对应位置包括：
对于所述分离像素图像数据的多个像素中的每个相应像素，确定所述第一子图像中对应的第一像素与所述第二子图像中对应的第二像素之间的差；以及
对于所述分离像素图像数据的多个像素中的每个相应像素，基于所述差确定所述对应位置。
14.一种系统，包括：
处理器；以及
非暂时性计算机可读介质，其上存储有指令，当由处理器执行时，所述指令使得所述处理器执行根据权利要求1-13中任一项所述的操作。
15.一种非暂时性计算机可读介质，其上存储有指令，当由计算设备执行时，所述指令使得所述计算设备执行根据权利要求1-13中任一项所述的操作。
CN202180006421.3A 2021-02-24 2021-02-24 合并分离像素数据以获得更深景深 Pending CN115244570A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2021/019390 WO2022182340A1 (en) 2021-02-24 2021-02-24 Merging split-pixel data for deeper depth of field

Publications (1)

Publication Number Publication Date
CN115244570A true CN115244570A (zh) 2022-10-25

Family

ID=74875375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180006421.3A Pending CN115244570A (zh) 2021-02-24 2021-02-24 合并分离像素数据以获得更深景深

Country Status (6)

Country Link
US (1) US12118697B2 (zh)
EP (1) EP4121938A1 (zh)
JP (1) JP7527368B2 (zh)
KR (1) KR102664373B1 (zh)
CN (1) CN115244570A (zh)
WO (1) WO2022182340A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230034727A1 (en) * 2021-07-29 2023-02-02 Rakuten Group, Inc. Blur-robust image segmentation
CN116363351A (zh) * 2021-12-27 2023-06-30 安霸国际有限合伙企业 用于低位宽浮点表示的高分辨率图像和深度图的加速对齐

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10239606B2 (en) 2013-12-04 2019-03-26 Tamarack Aerospace Group, Inc. Airflow interrupting devices
JP6254843B2 (ja) 2013-12-19 2017-12-27 キヤノン株式会社 画像処理装置およびその制御方法
WO2019070299A1 (en) 2017-10-04 2019-04-11 Google Llc DEPTH ESTIMATION USING A SINGLE CAMERA
JP7091048B2 (ja) 2017-10-11 2022-06-27 キヤノン株式会社 撮像装置およびその制御方法
JP7237450B2 (ja) 2018-01-23 2023-03-13 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体及び撮像装置

Also Published As

Publication number Publication date
JP7527368B2 (ja) 2024-08-02
US12118697B2 (en) 2024-10-15
KR102664373B1 (ko) 2024-05-10
JP2023519467A (ja) 2023-05-11
WO2022182340A1 (en) 2022-09-01
KR20220123219A (ko) 2022-09-06
EP4121938A1 (en) 2023-01-25
US20230153960A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
CN111164647B (zh) 使用单个相机估算深度
CN105814875B (zh) 选择用于立体成像的相机对
US9591237B2 (en) Automated generation of panning shots
US11315274B2 (en) Depth determination for images captured with a moving camera and representing moving features
US8624964B2 (en) Depth dependent filtering of image signal
KR20170005009A (ko) ３ｄ 라돈 이미지의 생성 및 사용
US12008738B2 (en) Defocus blur removal and depth estimation using dual-pixel image data
US11282176B2 (en) Image refocusing
KR20180008588A (ko) 스테레오 오토포커스
US8995784B2 (en) Structure descriptors for image processing
JP7527368B2 (ja) より深い被写界深度の分割ピクセルデータの合併
CN105791793A (zh) 图像处理方法及其电子装置
JP6270413B2 (ja) 画像処理装置、撮像装置、および画像処理方法
WO2021145913A1 (en) Estimating depth based on iris size
JP5861114B2 (ja) 画像処理装置、及び画像処理方法
CN105939471B (zh) 图像处理装置、摄像装置以及图像处理方法
JP2013026773A (ja) 画像処理装置および画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination