CN115631291B - 用于增强现实的实时重光照方法和装置、设备和介质 - Google Patents

用于增强现实的实时重光照方法和装置、设备和介质 Download PDF

Info

Publication number
CN115631291B
CN115631291B CN202211442289.3A CN202211442289A CN115631291B CN 115631291 B CN115631291 B CN 115631291B CN 202211442289 A CN202211442289 A CN 202211442289A CN 115631291 B CN115631291 B CN 115631291B
Authority
CN
China
Prior art keywords
real
target
illumination
scene
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211442289.3A
Other languages
English (en)
Other versions
CN115631291A (zh
Inventor
王灵丽
李臻
顾晓东
潘慈辉
唐艺创
高翊峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
You Can See Beijing Technology Co ltd AS
Original Assignee
You Can See Beijing Technology Co ltd AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by You Can See Beijing Technology Co ltd AS filed Critical You Can See Beijing Technology Co ltd AS
Priority to CN202211442289.3A priority Critical patent/CN115631291B/zh
Publication of CN115631291A publication Critical patent/CN115631291A/zh
Application granted granted Critical
Publication of CN115631291B publication Critical patent/CN115631291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开实施例提供一种用于增强现实的实时重光照方法和装置、设备和介质。该用于增强现实的实时重光照方法，包括：预先确定真实目标在真实场景中每个目标位置的第一光照信息，以及预设虚拟场景中融合位置的第二光照信息；基于真实目标的预设几何模型以及第一光照信息，确定真实目标在每个目标位置的真实照度，以及融合位置在预设虚拟场景中的虚拟照度；响应于接收到真实场景视频，依次对真实场景视频中的每一帧图像，基于真实目标的预设反射模型，利用虚拟照度、真实照度以及对应目标位置的图像的像素值，在虚拟场景中，对每一帧图像中的真实目标的像素值进行调整。利用本公开实施例的实时重光照方法，可以提高计算速度并降低成本。

Description

用于增强现实的实时重光照方法和装置、设备和介质
技术领域
本公开涉及计算机图形学、增强现实技术，尤其是一种用于增强现实的实时重光照方法和装置、电子设备和存储介质。
背景技术
随着社会经济和科技的发展，对于增强现实技术的应用也越发广泛，所述增强现实技术是将真实场景与虚拟场景进行数字融合的技术。在实施或应用所述增强显示技术的过程中的一项重要技术环节是重光照，所述重光照是指根据虚拟场景的光照对真实场景进行重新打光，使得真实场景具有与虚拟场景一致光照视觉感受。
相关技术中，关于重光照的实现方式主要是基于传统的算法，通过多相机从不同角度拍摄真实目标在真实场景的图像，然后以多角度观测分析真实目标的材质和几何信息，依赖材质与几何信息推测真实目标在真实场景中的光照；但是，该方案需要更多的成像设备，因此成本较高，并且所得重光照结果依赖于设备之间定标的精度，另外，由于真实场景光照、材质和几何信息较为复杂，因此上述相关技术的方案对光照、材质和几何的解耦也难以满足快速实时处理的需求。
因此，如何提供一种在提高计算速度的同时还可以降低成本的重光照方案，成为目前亟需解决的问题。
发明内容
本公开实施例提供一种用于增强现实的实时重光照方法和装置、电子设备和存储介质，可以提高计算速度并降低成本。
本公开实施例的一个方面，提供一种用于增强现实的实时重光照方法，包括：预先确定真实目标在真实场景中每个目标位置的第一光照信息，以及预设虚拟场景中融合位置的第二光照信息，其中，融合位置为虚实融合时真实目标在预设虚拟场景中所处的位置；基于真实目标的预设几何模型以及第一光照信息，确定真实目标在每个目标位置的真实照度，以及基于融合位置的预设几何模型以及第二光照信息，确定融合位置在预设虚拟场景中的虚拟照度；响应于接收到视频采集设备采集的包括真实目标的真实场景视频，依次对真实场景视频中的每一帧图像，基于真实目标的预设反射模型，利用虚拟照度、真实目标在真实场景中对应目标位置的真实照度以及对应目标位置的图像的像素值，在虚拟场景中，对每一帧图像中的真实目标的像素值进行调整，其中，每一帧图像记录真实目标在真实场景中的一个目标位置。
本公开实施例的另一个方面，提供一种用于增强现实的实时重光照装置，包括：第一预处理模块，被配置为：预先确定真实目标在真实场景中每个目标位置的第一光照信息，以及预设虚拟场景中融合位置的第二光照信息，其中，融合位置为虚实融合时真实目标在预设虚拟场景中所处的位置；第二预处理模块，被配置为：基于真实目标的预设几何模型以及第一光照信息，确定真实目标在每个目标位置的真实照度，以及基于融合位置的预设几何模型以及第二光照信息，确定融合位置在预设虚拟场景中的虚拟照度；重光照执行模块，被配置为：响应于接收到视频采集设备采集的包括真实目标的真实场景视频，依次对真实场景视频中的每一帧图像，基于真实目标的预设反射模型，利用虚拟照度、真实目标在真实场景中对应目标位置的真实照度、以及对应目标位置的图像的像素值，在虚拟场景中，对每一帧图像中的真实目标的像素值进行调整，其中，每一帧图像记录真实目标在真实场景中的一个目标位置。
本公开实施例的又一个方面，提供一种电子设备，其中，包括：存储器，用于存储计算机程序；处理器，用于执行存储器中存储的计算机程序，且计算机程序被执行时，实现本公开用于增强现实的实时重光照方法。
本公开实施例的再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本公开用于增强现实的实时重光照方法。
利用本公开上述实施例的实时重光照方法，通过预先确定真实目标在真实场景中每个目标位置的第一光照信息，以及预设虚拟场景中融合位置的第二光照信息，基于真实目标的预设几何模型以及第一光照信息，确定真实目标在每个目标位置的真实照度，以及基于融合位置的预设几何模型以及第二光照信息，确定融合位置在预设虚拟场景中的虚拟照度，从而实现对光照信息、真实照度以及虚拟照度的事先处理；在接收到视频采集设备采集的包括真实目标的真实场景视频时，依次对真实场景视频中的每一帧图像，基于真实目标的预设反射模型，利用虚拟照度、真实目标在真实场景中对应目标位置的真实照度以及对应目标位置的图像的像素值，在虚拟场景中对每一帧图像中的真实目标进行像素值调整，即，实现对视频中真实目标逐帧进行实时重光照，由于前述“事先处理”可减少实时处理的计算量，从而可提高对视频中真实目标逐帧进行重光照的处理速度，进而可满足快速实时处理的需求。
另外，上述实施例的实时重光照方法，只需要测光设备和视频采集设备接满足数据采集需要求，不需要更多的成像设备，因此也可减低成本。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1是本公开实施例的用于增强现实的实时重光照方法一个流程图；
图2是本公开实施例的真实场景一个示意图；
图3a是本公开实施例的真实目标在真实场景中一个示意图；
图3b是本公开实施例的真实目标与虚拟场景融合的一个示意图；
图3c是本公开实施例的真实目标与虚拟场景融合的另一个示意图；
图4是本公开实施例的用于增强现实的实时重光照方法另一个流程图；
图5a是本公开实施例的视频相机的标准色卡示意图；
图5b是本公开实施例的测光设备的标准色卡示意图；
图6是本公开实施例的用于增强现实的实时重光照方法再一个流程图；
图7是本公开实施例的用于增强现实的实时重光照方法又一个流程图；
图8是本公开实施例的用于增强现实的实时重光照装置一个结构示意图；
图9是本公开电子设备一个应用实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令（诸如程序模块）的一般语境下描述。通常，程序模块可以包括例程、程序、真实目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
示例性方法
在本公开的一个方面，提供了一种用于增强现实的实时重光照方法。执行于电子设备或装置中。
图1是本公开实施例的用于增强现实的实时重光照方法一个流程图。如图1所示，用于增强现实的实时重光照方法包括步骤S110、S120以及S130。下面针对每个步骤具体描述。
S110、预先确定真实目标在真实场景中每个目标位置的第一光照信息，以及预设虚拟场景中融合位置的第二光照信息，其中，融合位置为虚实融合时真实目标在预设虚拟场景中所处的位置。
其中，真实场景是指真实的三维（或物理）世界中的场景；而真实目标是指在真实场景中的目标。目标位置是指真实目标在真实场景中某一时刻所处的位置。例如，以图2所示的人作为真实目标，其可以在图1所示的真实场景中走动，那么人走动的轨迹中对应任一时刻的位置就是一个目标位置。
本公开对真实场景以及真实目标的类型不作限定。例如，真实场景可以是室内场景（例如，图2所示室内场景）或室外场景；真实目标可以是真实场景中的被选为待融合对象的目标，可以是人、物体、动物、植物等任意目标，例如图3a中的人即为一个真实目标。
其中，真实目标在预设虚拟场景中所处的“位置”是指：在虚拟场景所在的空间坐标系中的一个三维空间区域，该三维空间区域在执行真实目标与虚拟场景融合时，用于容纳或放置上述真实目标。例如，参照图3b或3c，图中真实目标（即，人）所在三维空间区域，就是一个融合位置。
至于如何“预先确定”，将在下文中描述。
S120、基于真实目标的预设几何模型以及第一光照信息，确定真实目标在每个目标位置的真实照度，以及基于融合位置的预设几何模型以及第二光照信息，确定融合位置在预设虚拟场景中的虚拟照度。
其中，照度即光照强度，是指单位面积上所接受可见光的光通量，用于指示光照的强弱和物体表面积被照明程度的量。
另外，真实目标的预设几何模型用于模拟真实目标在真实场景中的几何形状；融合位置的预设几何模型用于模拟真实目标在融合位置所占空间。
S130、响应于接收到视频采集设备采集的包括真实目标的真实场景视频，依次对真实场景视频中的每一帧图像，基于真实目标的预设反射模型，利用虚拟照度、真实目标在真实场景中对应目标位置的真实照度以及对应目标位置的图像的像素值，在虚拟场景中对每一帧图像中的真实目标进行像素值调整，其中，每一帧图像记录真实目标在真实场景中的一个目标位置。
其中，参照图2，上述“采集包括真实目标的真实场景视频”即可为拍摄人在真实场景中走动的过程，可以理解，视频中每一帧图像对应一个采集时刻，而每一帧图像记录了对应该时刻的真实目标在真实场景中的位置，即上述目标位置。其中，本公开对每一帧图像的像素值的获取方式不作限定；例如，可通过相关算法（例如，GetPixel算法）提取。
需要说明的是，上述步骤S110~S130中，步骤S130是响应于接收到包括真实目标的真实场景视频而实时执行的，步骤S110以及S120是可以事先执行的，即，可提前处理得到真实照度和虚拟照度，而事先处理的优点是可减少实时处理的计算量，从而提高对视频中真实目标逐帧进行重光照的处理速度。
另外，本公开对上述视频采集设备不作限定，例如可以包括但不限于视频相机。
利用上述实施例的实时重光照方法，通过预先确定真实目标在真实场景中每个目标位置的第一光照信息，以及预设虚拟场景中融合位置的第二光照信息，基于真实目标的预设几何模型以及第一光照信息，确定真实目标在每个目标位置的真实照度，以及基于融合位置的预设几何模型以及第二光照信息，确定融合位置在预设虚拟场景中的虚拟照度，从而实现对光照信息、真实照度以及虚拟照度的事先处理；在接收到视频采集设备采集的包括真实目标的真实场景视频时，依次对真实场景视频中的每一帧图像，基于真实目标的预设反射模型，利用虚拟照度、真实目标在真实场景中对应目标位置的真实照度以及对应目标位置的图像的像素值，在虚拟场景中对每一帧图像中的真实目标进行像素值调整，即，实现对视频中真实目标逐帧进行实时重光照，由于前述“事先处理”可减少实时处理的计算量，从而可提高对视频中真实目标逐帧进行重光照的处理速度，进而可满足快速实时处理的需求。
另外，上述实施例的实时重光照方法，只需要测光设备和视频采集设备接满足数据采集需要求，不需要更多的成像设备，因此也可减低成本。
作为一种可选实施方式，在图1实施例的基础上，第一光照信息包括真实目标在真实场景中对应的目标位置接收到的所有方向光照的光亮度；第二光照信息包括融合位置在预设虚拟场景中接收到的所有方向光照的光亮度。其中，光亮度是指一个表面的明亮程度，例如图3a~3c中的人的表面明亮程度，可以灰度值衡量，灰度值越大，明亮程度越高；反之，灰度值越小，明亮程度越低。
作为一种可选实施方式，在图1实施例的基础上，参照图4，步骤S110中的“预先确定真实目标在真实场景中每个目标位置的第一光照信息”，可通过如下步骤实现：
S1110、在每个目标位置，利用测光设备分别以不同曝光参数对真实场景进行拍摄，得到对应目标位置的一组低动态范围全景图。S1120、将一组低动态范围全景图进行融合，得到对应目标位置的真实场景高动态范围全景图。S1130、利用真实场景高动态范围全景图，获取真实目标在真实场景中对应目标位置接收到的所有方向光照的光亮度。
其中，本公开对曝光参数不作限定，例如，可包括但不限于成像参数敏感度、曝光时间以及白平衡色温中至少一个。其中，成像参数敏感度的取值范围可为90~110，曝光时间的取值范围可为1/8000s～1/2s，白平衡色温的取值范围可为5400K~5600K。
作为一个可选示例，步骤S1120中“融合”例如可通过如下方式实现：利用不同曝光时间，将上述一组低动态范围全景图进行图像融合，得到HDR全景样本图像。
需要解释的是，由于测光设备是在每个目标位置对真实场景进行拍摄，即采集光照信息；因此测光设备实际上是在模拟真实目标的在每个目标位置上的视角，并以该视角采集真实场景的光照信息。由此可以理解，上述针对每个目标位置得到的真实场景高动态范围全景图中，携带有对应视角的所有方向的光照信息；其中，所有方向的光照信息中包括真实目标在真实场景中对应的目标位置接收到的所有方向光照的光亮度。
作为另一个可选示例，步骤S1130中获取“光亮度”的方式例如为：利用图像处理算法，提取真实场景高动态范围全景图在各个方向上的对应像素点的灰度值，作为对应各个方向的光亮度。
作为又一个可选示例，在步骤S1110执行之前，本公开的实时重光照方法还包括：根据视频采集设备的标准色卡与测光设备的标准色卡之间的差异，利用色彩校正矩阵对测光设备进行标定，以使得测光设备的色彩与视频采集设备的色彩一致。
其中，参照图5a，即为视频采集设备（例如，视频相机）的标准色卡，参照图5b，即为测光设备的标准色卡。
参照图5a和5b，对测光设备进行标定的方式可概述为：步骤1、以视频相机的标准色卡为基准，确定测光设备的标准色卡中每个色块与视频相机的标准色卡对应的色块之间的差异；步骤2、根据每组色块之间的差异，利用色彩校正矩阵（CCM）对测光设备进行标定，使得测光设备的色彩与视频相机的色彩一致。
作为一种可选实施方式，在图1实施例的基础上，参照图6，步骤S110中的“预先确定预设虚拟场景中融合位置的第二光照信息”，可通过如下步骤实现：
S1110'、在预设虚拟场景中，获取对应融合位置的虚拟场景高动态范围全景图。S1120'、利用虚拟场景高动态范围全景图，获取融合位置在预设虚拟场景中接收到的所有方向光照的光亮度。
步骤S1110'中，由于执行增强现实的虚拟场景都是预设的，因此可根据系统中配置参数（例如，虚拟光源的位置、亮度、数量等），基于虚拟场景的坐标系，确定对应融合位置的虚拟场景高动态范围全景图。
步骤S1120'中，获取“光亮度”的方式可参照步骤S1130的相关扩展，这里不赘述。
作为一种可选实施方式，在图1实施例的基础上，步骤S120中的“基于真实目标的预设几何模型以及第一光照信息，确定真实目标在每个目标位置的真实照度”可通过如下方式实现：
按照如下公式（1），计算真实目标在真实场景中对应每个目标位置的真实照度，
Figure 983629DEST_PATH_IMAGE001
（1）
其中，
Figure 992514DEST_PATH_IMAGE002
表示真实目标在目标位置的基于真实场景的半球面的照度，基于真实场景的半球面朝向视频采集设备的中心（例如，在图1中，就是朝向垂直纸面向里的方向，换言之，以纸面为分界，基于真实场景的半球面位于纸面内部，从读者视角看，亦可叫做第一前半球面）；
Figure 430580DEST_PATH_IMAGE003
表示基于真实场景的半球面；
Figure 932362DEST_PATH_IMAGE004
表示所述基于真实场景的半球面
Figure 619826DEST_PATH_IMAGE003
中的光照方向向量；
Figure 996581DEST_PATH_IMAGE005
表示基于真实场景的半球面
Figure 69579DEST_PATH_IMAGE003
中方向为
Figure 880278DEST_PATH_IMAGE004
的光照的光亮度；
Figure 304306DEST_PATH_IMAGE006
表示真实目标基于预设几何模型的法向量，朝向视频采集设备的中心；其中，真实目标的预设几何模型为平面；
Figure 953593DEST_PATH_IMAGE007
表示向量
Figure 428568DEST_PATH_IMAGE006
与向量
Figure 895322DEST_PATH_IMAGE004
之间的点乘。
需要说明的是，将真实目标的预设几何模型简化为平面，可简化法向量的设置，从而可降低照度的计算复杂度，从而整体上可以加快处理速度，有利于满足针对增强现实场景中的实时视频处理需求。并且，简化的几何模型例如平面，可根据真实目标的位置、姿态进行适应性配置，例如图3a~3c中的人，其对应的简化模型例如平面可以是与人身高、宽度匹配的平面，并且也处于站立姿态。
作为一种可选实施方式，在图1实施例的基础上，步骤S120中的“以及基于融合位置的预设几何模型以及第二光照信息，确定融合位置在预设虚拟场景中的虚拟照度”可通过如下方式实现：
按照如下公式（2），计算融合位置在预设虚拟场景中的虚拟照度，
Figure 947591DEST_PATH_IMAGE008
（2）
其中，
Figure 42980DEST_PATH_IMAGE009
表示融合位置在虚拟场景中的基于虚拟场景的半球面的照度，基于虚拟场景的半球面朝向虚拟场景观察者视角方向；
Figure 497095DEST_PATH_IMAGE010
表示基于虚拟场景的半球面；
Figure 134750DEST_PATH_IMAGE011
表示所述基于虚拟场景的半球面
Figure 284102DEST_PATH_IMAGE010
中的光照方向向量；
Figure 806350DEST_PATH_IMAGE012
表示基于虚拟场景的半球面
Figure 239606DEST_PATH_IMAGE010
中方向为
Figure 923528DEST_PATH_IMAGE011
的光照的光亮度；
Figure 576489DEST_PATH_IMAGE013
表示融合位置的预设几何模型的法向量，朝向虚拟场景观察者视角方向，其中融合位置的预设几何模型为平面；
Figure 636848DEST_PATH_IMAGE014
表示向量
Figure 659031DEST_PATH_IMAGE013
与向量
Figure 123642DEST_PATH_IMAGE011
之间的点乘。
作为一种可选实施方式，在图1实施例的基础上，参照图7，步骤S130可包括如下步骤：
S1310、针对每一帧图像，利用真实目标在真实场景中对应目标位置的真实照度以及该帧图像的像素值，实时计算该帧图像中真实目标的基于预设反射模型的反射率。
可按照如下公式（3），实时计算该帧图像中真实目标的基于预设反射模型的反射率，
Figure 496854DEST_PATH_IMAGE015
（3）
其中，
Figure 360905DEST_PATH_IMAGE016
表示帧图像中真实目标的基于预设反射模型的反射率；
Figure 752441DEST_PATH_IMAGE017
表示图像帧中各个像素点像素值；
Figure 309324DEST_PATH_IMAGE002
表示真实目标在真实场景中对应目标位置的基于真实场景的半球面的照度。
S1320、利用反射率和虚拟照度，实时调整该帧图像的像素值，以实现实时重光照。
可按照如下公式（4），实时调整该帧图像的像素值，
Figure 169833DEST_PATH_IMAGE018
（4）
其中，
Figure 181782DEST_PATH_IMAGE019
表示重光照后图像帧中各个像素点像素值；
Figure 53923DEST_PATH_IMAGE016
表示帧图像中真实目标的基于预设反射模型的反射率；
Figure 906342DEST_PATH_IMAGE009
表示融合位置在虚拟场景中的基于虚拟场景的半球面的照度。
其中，预设反射模型为各向均匀的漫反射Lambert模型。漫反射模型是一种当被光线照射时，反射的光线亮度与观察该模型的角度无关的模型；参照图3a~3c，真实目标“人”简化后的平面可以采用上述各向均匀的漫反射Lambert模型，作用是可以简化上述反射率的计算，从而可提高处理速度，有利于满足针对增强现实场景中的实时视频处理需求。
结合图3a~3c，以一帧图像为例，简述上述“实时重光照”的实现过程如下：
步骤1），针对图3a，利用公式（1）、（3）计算该帧图像中真实目标的基于预设反射模型的反射率
Figure 863933DEST_PATH_IMAGE016
；
步骤2），利用上述公式（2），分别计算图3b、3c所示虚拟场景的虚拟照度
Figure 181039DEST_PATH_IMAGE009
；
步骤3），在融合阶段，响应于利用图3b、3c所示虚拟场景替换图3a所示真实场景，则利用公式（4），实时计算图3a中“人”（即，真实目标）基于图3b、3c所示虚拟场景的像素值，从而实现“实时重光照”。
综上所述，利用上述实施例的实时重光照方法，首先可预先确定真实目标在真实场景中每个目标位置的第一光照信息，以及预设虚拟场景中融合位置的第二光照信息，然后可基于真实目标的预设几何模型以及第一光照信息，确定真实目标在每个目标位置的真实照度，以及基于融合位置的预设几何模型以及第二光照信息，确定融合位置在预设虚拟场景中的虚拟照度，因此可实现对光照信息、真实照度以及虚拟照度的事先处理；之后可响应于接收到视频采集设备采集的包括真实目标的真实场景视频，依次对真实场景视频中的每一帧图像，基于真实目标的预设反射模型，利用虚拟照度、真实目标在真实场景中对应目标位置的真实照度以及对应目标位置的图像的像素值，在虚拟场景中对每一帧图像中的真实目标进行像素值调整，即，实现对视频中真实目标逐帧进行实时重光照，由于前述“事先处理”可减少实时处理的计算量，从而可提高对视频中真实目标逐帧进行重光照的处理速度，进而可满足快速实时处理的需求。
另外，上述实施例的实时重光照方法，只需要测光设备和视频采集设备接满足数据采集需要求，不需要更多的成像设备，因此也可减低成本。并且，将真实目标的预设几何模型简化为平面，可简化法向量的设置，从而可降低照度的计算复杂度，进一步地，平面采用上述各向均匀的漫反射Lambert模型，可以简化真实目标的反射率的计算，从而可提高处理速度，也有利于满足针对增强现实场景中的实时视频处理需求。
示例性装置
应理解，本文中前述实施例关于用于增强现实的实时重光照方法也可类似地应用于以下用于增强现实的实时重光照装置中进行类似扩展。为简化起见，未对其进行详细描述。
在本公开的另一个方面，提供了一种用于增强现实的实时重光照装置。
图8是本公开实施例的用于增强现实的实时重光照装置一个结构示意图。如图8所示，用于增强现实的实时重光照装置包括：第一预处理模块810，被配置为：预先确定真实目标在真实场景中每个目标位置的第一光照信息，以及预设虚拟场景中融合位置的第二光照信息，其中，融合位置为虚实融合时真实目标在预设虚拟场景中所处的位置；第二预处理模块820，被配置为：基于真实目标的预设几何模型以及第一光照信息，确定真实目标在每个目标位置的真实照度，以及基于融合位置的预设几何模型以及第二光照信息，确定融合位置在预设虚拟场景中的虚拟照度；重光照执行模块830，被配置为：响应于接收到视频采集设备采集的包括真实目标的真实场景视频，依次对真实场景视频中的每一帧图像，基于真实目标的预设反射模型，利用虚拟照度、真实目标在真实场景中对应目标位置的真实照度以及对应目标位置的图像的像素值，在虚拟场景中，对每一帧图像中的真实目标的像素值进行调整，其中，每一帧图像记录真实目标在真实场景中的一个目标位置。
可选地，第一光照信息包括：真实目标在真实场景中对应的目标位置接收到的所有方向光照的光亮度；第二光照信息包括：融合位置在预设虚拟场景中接收到的所有方向光照的光亮度。
可选地，第一预处理模块810，被进一步配置为：在每个目标位置，利用测光设备分别以不同曝光参数对真实场景进行拍摄，得到对应目标位置的一组低动态范围全景图；将一组低动态范围全景图进行融合，得到对应目标位置的真实场景高动态范围全景图；利用真实场景高动态范围全景图，获取真实目标在真实场景中对应目标位置接收到的所有方向光照的光亮度；其中，曝光参数包括成像参数敏感度、曝光时间以及白平衡色温中至少一个。
可选地，第一预处理模块810，被进一步配置为：根据视频采集设备的标准色卡与测光设备的标准色卡之间的差异，利用色彩校正矩阵对测光设备进行标定，以使得测光设备的色彩与视频采集设备的色彩一致。
可选地，第一预处理模块810，被进一步配置为：在预设虚拟场景中，获取对应融合位置的虚拟场景高动态范围全景图；利用虚拟场景高动态范围全景图，获取融合位置在预设虚拟场景中接收到的所有方向光照的光亮度。
可选地，第二预处理模块820，被进一步配置为：按照如下公式（1），计算真实目标在真实场景中对应每个目标位置的真实照度，
Figure 32320DEST_PATH_IMAGE001
（1）
其中，
Figure 540793DEST_PATH_IMAGE002
表示真实目标在目标位置的基于真实场景的半球面的照度，基于真实场景的半球面朝向视频采集设备的中心；
Figure 218637DEST_PATH_IMAGE020
表示基于真实场景的半球面；
Figure 572389DEST_PATH_IMAGE004
表示所述基于真实场景的半球面
Figure 419122DEST_PATH_IMAGE020
中的光照方向向量；
Figure 613343DEST_PATH_IMAGE005
表示基于真实场景的半球面
Figure 125620DEST_PATH_IMAGE020
中方向为
Figure 938855DEST_PATH_IMAGE004
的光照的光亮度；
Figure 30308DEST_PATH_IMAGE021
表示真实目标基于预设几何模型的法向量，朝向视频采集设备的中心；其中，真实目标的预设几何模型为平面；
Figure 615004DEST_PATH_IMAGE022
表示向量
Figure 300064DEST_PATH_IMAGE021
与向量
Figure 510465DEST_PATH_IMAGE004
之间的点乘。
可选地，第二预处理模块820，被进一步配置为：按照如下公式（2），计算融合位置在预设虚拟场景中的虚拟照度，
Figure 440113DEST_PATH_IMAGE008
（2）
其中，
Figure 585923DEST_PATH_IMAGE009
表示融合位置在虚拟场景中的基于虚拟场景的半球面的照度，基于虚拟场景的半球面朝向虚拟场景观察者视角方向
Figure 617333DEST_PATH_IMAGE010
表示基于虚拟场景的半球面；
Figure 772371DEST_PATH_IMAGE011
表示所述基于虚拟场景的半球面
Figure 385886DEST_PATH_IMAGE010
中的光照方向向量；
Figure 968177DEST_PATH_IMAGE012
表示基于虚拟场景的半球面
Figure 918905DEST_PATH_IMAGE010
中方向为
Figure 471109DEST_PATH_IMAGE011
的光照的光亮度；
Figure 876814DEST_PATH_IMAGE013
表示融合位置的预设几何模型的法向量，朝向虚拟场景观察者视角方向，其中融合位置的预设几何模型为平面；
Figure 630006DEST_PATH_IMAGE014
表示向量
Figure 682014DEST_PATH_IMAGE013
与向量
Figure 178854DEST_PATH_IMAGE011
之间的点乘。
可选地，重光照执行模块830，被进一步配置为：针对每一帧图像，利用真实目标在真实场景中对应目标位置的真实照度以及该帧图像的像素值，实时计算该帧图像中真实目标的基于预设反射模型的反射率；利用反射率和虚拟照度，实时调整该帧图像的像素值，以实现实时重光照；其中，预设反射模型为各向均匀的漫反射Lambert模型。
综上所述，利用上述实施例的实时重光照装置，通过预先确定真实目标在真实场景中每个目标位置的第一光照信息，以及预设虚拟场景中融合位置的第二光照信息，基于真实目标的预设几何模型以及第一光照信息，确定真实目标在每个目标位置的真实照度，以及基于融合位置的预设几何模型以及第二光照信息，确定融合位置在预设虚拟场景中的虚拟照度，从而实现对光照信息、真实照度以及虚拟照度的事先处理；在接收到视频采集设备采集的包括真实目标的真实场景视频时，依次对真实场景视频中的每一帧图像，基于真实目标的预设反射模型，利用虚拟照度、真实目标在真实场景中对应目标位置的真实照度以及对应目标位置的图像的像素值，在虚拟场景中对每一帧图像中的真实目标进行像素值调整，即，实现对视频中真实目标逐帧进行实时重光照，由于前述“事先处理”可减少实时处理的计算量，从而可提高对视频中真实目标逐帧进行重光照的处理速度，进而可满足快速实时处理的需求。
另外，上述实施例的实时重光照方法，只需要测光设备和视频采集设备接满足数据采集需要求，不需要更多的成像设备，因此也可减低成本。并且，将真实目标的预设几何模型简化为平面，可简化法向量的设置，从而可降低照度的计算复杂度，进一步地，平面采用上述各向均匀的漫反射Lambert模型，可以简化真实目标的反射率的计算，从而可提高处理速度，也有利于满足针对增强现实场景中的实时视频处理需求。
示例性电子设备
另外，本公开实施例还提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的实时重光照方法。
图9是本公开电子设备一个应用实施例的结构示意图。下面，参考图9来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
如图9所示，电子设备包括一个或多个处理器和存储器。
处理器可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现上文所述的本公开的各个实施例的实时重光照方法以及/或者其他期望的功能。
在一个示例中，电子设备还可以包括：输入装置和输出装置，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。
此外，该输入设备还可以包括例如键盘、鼠标等等。
该输出装置可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图9中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的实时重光照方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的实时重光照方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种用于增强现实的实时重光照方法，包括：
预先确定真实目标在真实场景中每个目标位置的第一光照信息，以及预设虚拟场景中融合位置的第二光照信息，其中，所述融合位置为虚实融合时所述真实目标在所述预设虚拟场景中所处的位置；
基于所述真实目标的预设几何模型以及所述第一光照信息，确定所述真实目标在每个目标位置的真实照度，以及基于所述融合位置的预设几何模型以及所述第二光照信息，确定所述融合位置在所述预设虚拟场景中的虚拟照度；
响应于接收到视频采集设备采集的包括所述真实目标的真实场景视频，依次对所述真实场景视频中的每一帧图像，基于所述真实目标的预设反射模型，利用所述虚拟照度、所述真实目标在所述真实场景中对应所述目标位置的真实照度以及对应所述目标位置的图像的像素值，在所述虚拟场景中对所述每一帧图像中的真实目标的像素值进行调整，其中，每一帧图像记录所述真实目标在所述真实场景中的一个所述目标位置；
其中，基于所述真实目标的预设反射模型，利用所述虚拟照度、所述真实目标在所述真实场景中对应目标位置的真实照度以及对应所述目标位置的图像的像素值，在所述虚拟场景中对所述每一帧图像中的真实目标的像素值进行调整，包括：
利用所述真实目标在所述真实场景中对应目标位置的真实照度以及对应的所述图像的像素值，实时计算所述图像中所述真实目标的基于预设反射模型的反射率；
利用所述反射率和所述虚拟照度，实时调整所述图像中真实目标的像素值，以实现所述实时重光照。
2.根据权利要求1所述的实时重光照方法，其特征在于，
所述第一光照信息包括：所述真实目标在所述真实场景中对应的所述目标位置接收到的所有方向光照的光亮度；
所述第二光照信息包括：所述融合位置在所述预设虚拟场景中接收到的所有方向光照的光亮度。
3.根据权利要求2所述的实时重光照方法，其特征在于，预先确定真实目标在真实场景中每个目标位置的第一光照信息，包括：
在所述每个目标位置，利用测光设备分别以不同曝光参数对所述真实场景进行拍摄，得到对应所述目标位置的一组低动态范围全景图；
将所述一组低动态范围全景图进行融合，得到对应所述目标位置的真实场景高动态范围全景图；
利用所述真实场景高动态范围全景图，获取所述真实目标在所述真实场景中对应所述目标位置接收到的所有方向光照的光亮度；
其中，所述曝光参数包括成像参数敏感度、曝光时间以及白平衡色温中至少一个。
4.根据权利要求3所述的实时重光照方法，其特征在于，在利用测光设备分别以不同曝光参数对所述真实场景进行拍摄，得到对应所述目标位置的一组低动态范围全景图之前，所述实时重光照方法还包括：
根据所述视频采集设备的标准色卡与所述测光设备的标准色卡之间的差异，利用色彩校正矩阵对所述测光设备进行标定，以使得所述测光设备的色彩与所述视频采集设备的色彩一致。
5.根据权利要求2所述的实时重光照方法，其特征在于，预先确定预设虚拟场景中融合位置的第二光照信息，包括：
在所述预设虚拟场景中，获取对应所述融合位置的虚拟场景高动态范围全景图；
利用所述虚拟场景高动态范围全景图，获取所述融合位置在所述预设虚拟场景中接收到的所有方向光照的光亮度。
6.根据权利要求2所述的实时重光照方法，其特征在于，基于所述真实目标的预设几何模型以及所述第一光照信息，确定所述真实目标在每个目标位置的真实照度，包括：
按照如下公式（1），计算所述真实目标在每个目标位置的真实照度，
Figure QLYQS_1
（1）
其中，
Figure QLYQS_2
表示所述真实目标在所述目标位置的基于真实场景的半球面的照度，所述基于真实场景的半球面朝向所述视频采集设备的中心；
Figure QLYQS_3
表示所述基于真实场景的半球面；
Figure QLYQS_4
表示所述基于真实场景的半球面
Figure QLYQS_5
中的光照方向向量；
Figure QLYQS_6
表示所述基于真实场景的半球面
Figure QLYQS_7
中方向为
Figure QLYQS_8
的光照的光亮度；
Figure QLYQS_9
表示所述真实目标的预设几何模型的法向量，朝向所述视频采集设备的中心；其中，所述真实目标的预设几何模型为平面；
Figure QLYQS_10
表示向量
Figure QLYQS_11
与向量
Figure QLYQS_12
之间的点乘。
7.根据权利要求2所述的实时重光照方法，其特征在于，基于所述融合位置的预设几何模型以及所述第二光照信息，确定所述融合位置在所述预设虚拟场景中的虚拟照度，包括：
按照如下公式（2），计算所述融合位置在所述预设虚拟场景中的虚拟照度，
Figure QLYQS_13
（2）
其中，
Figure QLYQS_14
表示所述融合位置在所述虚拟场景中的基于虚拟场景的半球面的照度，所述基于虚拟场景的半球面朝向所述虚拟场景观察者视角方向；
Figure QLYQS_15
表示所述基于虚拟场景的半球面；
Figure QLYQS_16
表示所述基于虚拟场景的半球面
Figure QLYQS_17
中的光照方向向量；
Figure QLYQS_18
表示所述基于虚拟场景的半球面
Figure QLYQS_19
中方向为
Figure QLYQS_20
的光照的光亮度；
Figure QLYQS_21
表示所述融合位置的预设几何模型的法向量，朝向所述虚拟场景观察者视角方向，其中所述融合位置的预设几何模型为平面；
Figure QLYQS_22
表示向量
Figure QLYQS_23
与向量
Figure QLYQS_24
之间的点乘。
8.根据权利要求2所述的实时重光照方法，其特征在于，所述预设反射模型为各向均匀的漫反射Lambert模型。
9.一种用于增强现实的实时重光照装置，包括：
第一预处理模块，被配置为：预先确定真实目标在真实场景中每个目标位置的第一光照信息，以及预设虚拟场景中融合位置的第二光照信息，其中，所述融合位置为虚实融合时所述真实目标在所述预设虚拟场景中所处的位置；
第二预处理模块，被配置为：基于所述真实目标的预设几何模型以及所述第一光照信息，确定所述真实目标在每个目标位置的真实照度，以及基于所述融合位置的预设几何模型以及所述第二光照信息，确定所述融合位置在所述预设虚拟场景中的虚拟照度；
重光照执行模块，被配置为：响应于接收到视频采集设备采集的包括所述真实目标的真实场景视频，依次对所述真实场景视频中的每一帧图像，基于所述真实目标的预设反射模型，利用所述虚拟照度、所述真实目标在所述真实场景中对应所述目标位置的真实照度以及对应所述目标位置的图像的像素值，在所述虚拟场景中，对所述每一帧图像中的真实目标的像素值进行调整，其中，每一帧图像记录所述真实目标在所述真实场景中的一个所述目标位置；
其中，所述重光照执行模块，被进一步配置为：利用所述真实目标在所述真实场景中对应目标位置的真实照度以及对应的所述图像的像素值，实时计算所述图像中所述真实目标的基于预设反射模型的反射率；利用所述反射率和所述虚拟照度，实时调整所述图像中真实目标的像素值，以实现所述实时重光照。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-8任一项所述的用于增强现实的实时重光照方法。
CN202211442289.3A 2022-11-18 2022-11-18 用于增强现实的实时重光照方法和装置、设备和介质 Active CN115631291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211442289.3A CN115631291B (zh) 2022-11-18 2022-11-18 用于增强现实的实时重光照方法和装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211442289.3A CN115631291B (zh) 2022-11-18 2022-11-18 用于增强现实的实时重光照方法和装置、设备和介质

Publications (2)

Publication Number Publication Date
CN115631291A CN115631291A (zh) 2023-01-20
CN115631291B true CN115631291B (zh) 2023-03-10

Family

ID=84910906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211442289.3A Active CN115631291B (zh) 2022-11-18 2022-11-18 用于增强现实的实时重光照方法和装置、设备和介质

Country Status (1)

Country Link
CN (1) CN115631291B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118447151A (zh) * 2023-02-03 2024-08-06 华为技术有限公司 重光照方法和装置
CN116363337B (zh) * 2023-04-04 2024-06-11 如你所视(北京)科技有限公司 模型游览方法、装置和电子设备
CN117082359B (zh) * 2023-10-16 2024-04-19 荣耀终端有限公司 图像处理方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426695A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种单幅图像场景的虚实光照融合方法
CN108986199A (zh) * 2018-06-14 2018-12-11 北京小米移动软件有限公司 虚拟模型处理方法、装置、电子设备及存储介质
CN114827711A (zh) * 2022-06-24 2022-07-29 如你所视(北京)科技有限公司 图像信息显示方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766270B (zh) * 2015-03-20 2017-10-03 北京理工大学 一种基于鱼眼镜头的虚实光照融合方法
CN111415422B (zh) * 2020-04-17 2022-03-18 Oppo广东移动通信有限公司 虚拟对象调整方法、装置、存储介质与增强现实设备
CN111710049B (zh) * 2020-06-18 2022-07-12 三星电子（中国）研发中心 Ar场景中的环境光照确定方法和装置
CN114663632A (zh) * 2022-03-04 2022-06-24 海信视像科技股份有限公司 基于空间位置的光照显示虚拟物体的方法及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426695A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种单幅图像场景的虚实光照融合方法
CN108986199A (zh) * 2018-06-14 2018-12-11 北京小米移动软件有限公司 虚拟模型处理方法、装置、电子设备及存储介质
CN114827711A (zh) * 2022-06-24 2022-07-29 如你所视(北京)科技有限公司 图像信息显示方法和装置

Also Published As

Publication number Publication date
CN115631291A (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
CN115631291B (zh) 用于增强现实的实时重光照方法和装置、设备和介质
Gardner et al. Deep parametric indoor lighting estimation
Gardner et al. Learning to predict indoor illumination from a single image
JP5871862B2 (ja) ３ｄ深度情報に基づいたイメージぼかし
CN108307675B (zh) 用于vr/ar应用中的深度增强的多基线相机阵列系统架构
CN110148204B (zh) 用于在真实环境的视图中表示虚拟对象的方法和系统
Grossberg et al. The raxel imaging model and ray-based calibration
US20180014003A1 (en) Measuring Accuracy of Image Based Depth Sensing Systems
CN108737738A (zh) 一种全景相机及其曝光方法和装置
JP2016537901A (ja) ライトフィールド処理方法
CN110213491B (zh) 一种对焦方法、装置及存储介质
US12112419B2 (en) Image processing apparatus, image processing method, and storage medium
JP2018163648A (ja) 画像処理装置、画像処理方法、及びプログラム
CN113572978A (zh) 全景视频的生成方法和装置
CN107563329A (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN114004890A (zh) 姿态确定方法、装置、电子设备和存储介质
KR20180080618A (ko) 증강현실 기반 실감 렌더링 방법 및 장치
US20240054667A1 (en) High dynamic range viewpoint synthesis
US20230316640A1 (en) Image processing apparatus, image processing method, and storage medium
CN112995635B (zh) 图像的白平衡处理方法、装置、电子设备和存储介质
JP2014164497A (ja) 画像処理装置、画像処理方法及びプログラム
KR20110074442A (ko) 화상 처리 장치, 화상 처리 방법 및 기록매체
CN107370963B (zh) 图像处理方法、图像处理装置和电子设备
WO2018180860A1 (ja) 画像処理装置、画像処理方法、及びプログラム
CN112184823A (zh) 环视系统快速标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant