CN104584075B - 用于描述对象空间的对象点以及用于其执行的连接方法 - Google Patents

用于描述对象空间的对象点以及用于其执行的连接方法 Download PDF

Info

Publication number
CN104584075B
CN104584075B CN201380045519.5A CN201380045519A CN104584075B CN 104584075 B CN104584075 B CN 104584075B CN 201380045519 A CN201380045519 A CN 201380045519A CN 104584075 B CN104584075 B CN 104584075B
Authority
CN
China
Prior art keywords
point
capture apparatus
image
object space
grating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380045519.5A
Other languages
English (en)
Other versions
CN104584075A (zh
Inventor
雅尼克·帕沃尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beistar3d Ltd
Original Assignee
Awe Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Awe Ltd By Share Ltd filed Critical Awe Ltd By Share Ltd
Publication of CN104584075A publication Critical patent/CN104584075A/zh
Application granted granted Critical
Publication of CN104584075B publication Critical patent/CN104584075B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Stored Programmes (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

描述来自对象空间(1)的对象(11)的点(12)的方法,其特征在于,对于在拍摄设备(3)的光栅(35)上显示的对象空间(1)的对象(11)的每个点(12),登记有关距离拍摄设备(3)的点距离(I)的信息,并且随后将这种信息作为附加数据存储到图像的光栅(35)的每个点(36)。用于执行根据前述权利要求的描述来自对象空间(1)的对象(11)的点(12)的方法的连接,覆盖拍摄设备(3),其实质是拍摄系统(2),其包括连接于CPU(4)中央控制单元的输入的至少两个拍摄设备(3),所述CPU包括软件应用的块(5)和具有评估软件的计算模块的块(6),具有评估软件的计算模块的块(6)和软件应用的块(5)经由数据总线与CPU(4)进行通信,CPU(4)的输出被连接到内部存储器和/或可移除存储器的块(7)以及在线输出的块(8)两者。

Description

用于描述对象空间的对象点以及用于其执行的连接方法
技术领域
本发明涉及用于描述对象空间的对象点和图像信息的登记以及用于其执行的连接方法。
背景技术
人们使用眼睛以观看周围的世界,并且人类受益于眼睛,能够基于有关景深的信息来在空间内行动。查尔斯惠特斯通先生已经在1830年描述了静态图像的维度(立体式)感知,其是人类大脑在观看相同场景的两个平面移动图像时产生的。当观看二维图像时,我们并不能清楚地区分深度信息。在一只眼观看的情况下,这个人可以仅基于单眼的现象来感知深度。需要两只眼观看三维(立体的)图像。双眼视野是用两眼感知场景或图像。在视网膜和大脑反映出得到的图像,以对维度表现的感知进行相同的重建。立体视觉是涉及显示多维图像或帧的分支,然而对左眼和右眼创建的两个帧被称为立体对。立体视频频率是对于连续帧的序列进行观看。近来,在娱乐产业或其他领域中,立体视觉已经被广泛地应用于不同的科学分支。已知可视化技术已经被用于三维(立体的)成像很长时间。这些系统并非仅向双眼投影一张图像,而是尝试向每个眼睛投射一对分离视野中的一个。已知对彼此相邻显示的两张图像进行的立体成像。这是历史上至今仍被使用的最古老的技术。使用立体观看设备(也被称作立体镜),通过眼镜观看到水平偏移眼距(约7cm)并且彼此相邻放置的相机捕捉到的两个静态图像。与音频技术类似,这种距离通常被称作立体基础。为了这些目的,曾经并且仍然生产具有两个透镜的特殊相机。受益于数字成像,可以使用特殊软件应用根据数字图像创建所需要的偏移图像。眼镜允许直接观看偏移图像(其中右眼观看右侧部分的图像并且左眼观看左侧部分的图像)或交叉观看偏移图像(其中右眼观看左侧部分的图像并且左眼观看右侧部分的图像)。实验显示“交叉”观看可以扩展视野并且改善立体效果深度。已经研发了具有特殊棱镜镜片的眼镜用于这种成像。在这种情况下,多个部分的图像也被交叉。这种原理对可移动图像同样有用,并且因此,理论上可以应用于电视,然而需要特殊的水平扫描。由于充分增加了多个部分的图像的亮度分布,所以这些系统的优点包括得到的图像的充足亮度。多个部分的图像经常发生图片滑动。这些3D成像原理的另一个是对两个偏移图像的叠加进行的立体成像(立体影片系统)。由同时由两个相机所拍摄的两个部分的图像的叠加组成的观看到的图像(所谓立体电影)同样水平移动眼睛的距离,并且因此,以不同的角度投影场景。在电影摄影或投影电视屏幕中,经由颜色过滤器(蓝绿色和红色)将多个部分的图像投影在帆布上。观看者利用具有对应颜色的镜片的眼镜观看屏幕。颜色过滤确保每只眼睛仅感知一个部分的图像并且大脑生成空间感知。这种分离的方法可以在彩色图像的情况下失真得到的虚拟图像的颜色感知。已经逐渐开发了这种系统的多个版本。其中之一是例如彩色编码3D系统,其中使用了不同的颜色组合(在投影仪的过滤器中的深黄和蓝,以及在眼镜的过滤器中的深琥珀和蓝)。关于Anachrome(非无色)技术还应提到其在实质上缩窄了立体基础,目的在于甚至无需眼镜(当然也没有维度感知)也可以观看立体电影。这种方法的缺点除了必须使用特殊的眼镜以外,观看者的位置与显示空间感知(立体效果)的图像轴之间存在微小的允许偏差。现今,在数字摄影的时代,存在许多软件应用,以根据标准的2D数字图像生成立体图。观看的另一种方法是装备有各种偏振滤光器(具有正交或圆形偏振)的3D眼镜。同样在这种情况下,得到的图像由偏移的相机拍摄的两个部分的图像的同时叠加组成。由装备有不同正交或偏振方向的偏振滤光器的两个投影仪进行投影,来在投影屏幕上生成叠加。观看者利用对于每只眼睛具有不同偏振的对应的偏振滤光器的眼镜来观看屏幕。这种略昂贵的方法的有点是减少颜色感知的颜色失真。然而,由于可能不改变入射和反射光通量的偏振(去偏振),所以投影屏幕是非常昂贵的(特别地用银帆布处理)。
上述描述的方案的基本缺点是通过大脑从眼睛接收的信号的时间不连续的问题。这种时间不连续的原因是穿过左眼和右眼的信号到达大脑视觉中心的时间有所偏移的事实。这导致由于不自然地接收图像信号而引起的大脑不稳定。视觉中心必须处理不连续的信号而该中心并非为此而构成的。对于接收到的信息进行的这种处理的后果可能包括癫痫或头痛。一种替选是用遮蔽(遮蔽方法,Eclipse Method)连续地立体成像多个部分的图像。通过偏移的相机拍摄的多个部分的图像被连续地显示在显示器上或被投影到投影屏幕上。他们的序列可以与例如半帧的周期相等。为了减少在快速内容改变的一些列图像的情况下的失真,可以减小交替周期,例如使用100HZ的曝光。由于相同原因,所使用的显示器的发光体(特别是绿色)或投影屏幕必须不显示出长时间的余辉。并且在这种情况下需要特殊的眼镜。以与多个部分的图像的交替同步的方式连续地遮蔽和打开左眼和右眼的光圈。通常在IR辐射带中发射所需的同步信号并且这可能实际上限制观看者的观看空间和数量。技术可应用性可以通过例如LCD SH快门眼镜)提供。对于这个版本,观看角度更宽。对于最后描述的方法,信号从第一和第二投影仪同时被发射并且在信号之间的唯一差别是第一图像具有阻挡蓝色的部分而另一个图像具有阻挡红色的部分。由于人眼对绿色最敏感(高达70%的图像信息由绿色组成),因此大脑变得困惑,并且虽然在色调上略微偏移,但是人类仍将图像感知为立体图像。当然,这呈现出了不同的感知负担,但是缓和了上述问题(头痛和癫痫)。最后描述的方法可以以在不需要观看者的眼镜功能控制的被动异步形式进行实施。在此情况下,通过装有具有不同偏振方向的偏振滤光器的两个投影仪,按照时间顺序投影多个部分的图像。观看者与较早描述的方法类似地,使用对每只眼镜具有不同偏振的对应的偏振滤光器的眼镜。在该章节中描述的用于所有3D系统的共同缺点是必须使用特殊眼镜。另外,韩国光州科学技术院的Sung-Yeol Kim和Yo-Sung Ho所著的文献描述了"Mesh-BasedDepth Coding For 3d Video Using Hierarchical Decomposition Of Depth Maps",(Sung-Yeol Kim and Yo-Sung Ho,Gwangju Institute of Science and Technology(GIST,光州科学技术院)1Oryong-dong Buk-gu,500-712,Gwangju,Korea)。这篇文章描述了基于连接为平面网格结构的三角域的结构对3D成像的处理。系统基于用右相机和左相机。随后从左相机和右相机拍摄的照片重叠,并且此处的图像区域可以被彼此定义和计算,用每个方向上至少若干点来定义单个颜色的三角。考虑到右侧图像和左侧图像的侧偏移,可以计算哪个三角会比较高或比较低。虚拟的、并且被放置在虚拟中心的三角产生紧压区域,其取决于空间挤压系统而破裂。因此,可以以这种方式创建部分图像可塑性。然而这个三角网格可以表现得例如在压缩模具中的金属片表面,可以达到特定图像轮廓,但是,绝不可能达到如同真实成像所需的高度图像深度动态以及精准的点结构。问题在于通过三角区域计算表面,并且对它们的向上或向下挤压产生空间幻觉。但是,这仍是无法生成视觉图像保真度的、具有不同变形的三角域的紧压网格。当描述2D图像时,这种系统只能作为对三角域的可能性的展示而工作。但是,重要的是,当观看变形的2D空间时,人类无法看见3D图像,而只能看见部分描述彩色区域产生的图像表面的印记,并且因此不可能对图像细节进行任何定义。此处,没有以完全深度动态对图像定义,而是相当于实际三维感知的很少的百分比。另外,三角域将所描述的图像创建为具有挤压的颜色区域的三角结构的不存在中心的图像。这是对于使用通常仅在计算机游戏中使用的技术的可能性进行的展示。但是,这种技术被构建用于创建虚拟现实。基于三角网格的这个过程和计算,几乎不可能得到能够使人类眼睛相信其在观看实际图像的3D成像。
发明内容
本发明的目的是设计用于描述来自对象空间的点的新方式,其将允许以3D方式工作,而无需使用附加的光电子和其他辅助。
消除了上面描述的缺点,并且通过描述来自对象空间的对象点的方法实现目的,其实质是为拍摄设备的光栅上所显示的对象空间的每个对象点记录关于与拍摄设备相距的距离信息,并且将以这种方式生成的信息作为附加数据存储到每个图像光栅点。
当使用彼此相距特定距离而布置的至少两个拍摄设备记录距离信息“I”时,完美地描述对象空间中的对象点是有益的。
另外,当为每个对象点注册来自从对象空间的对象点到图像光栅点的“z”轴上方向上的光栅点的距离信息“I”时,是优选的。
当为包含不同半透明度程度的遮蔽点的对象空间的对象点记录有关他们距离拍摄设备的距离“I”的信息时,精确地描述包含不同半透明度程度的遮蔽点的对象空间中的对象是有益的,近路所述遮蔽点的亮度和颜色信息,以及所述层的点的半透明程度,并且将以这种方式生成的信息存储到图像光栅点。
为显示不同半透明度程度和不同深度信息的层点的若干重叠区域的图像分配有关这些点距离拍摄设备的其他距离的深度信息,并且同时,与层中的点半透明度程度一起,对图像点的亮度和颜色信息进行记录。
本发明的基础是将下面的信息添加到通过任何已知编解码器编码的每个图像信息。
-有关来自对象空间的每个帧或图像点(像素)距离单个的或者成组的拍摄设备的距离的信息(深度印记)。
-有关不同半透明程度和不同“I”距离的深度印记点后面的图像点轴线中所隐藏的遮蔽点的信息,例如,在不完全透明的玻璃、烟雾等之后的场景。-有关在不透明点的边缘后面的遮蔽点的信息,因为在离每个不透明点后面都有可能存在距离拍摄设备内部“I”距离、具有内部亮度和颜色信息的遮蔽点。
这中解决方案的优点是100%向后兼容了编码和图像数据传送的现有系统。根据此发明的登记方法允许当前的专业技术如同利用2D图像(和其他方面)一样利用这些数据来工作,使用基于我们的设计所生成的附加数据的信息,以2D进行编辑和切割,并且随后转换为真实的3D图像。对于适当的编解码器和当前压缩的广播标准二者来说,组合必须的数据并不成问题,其中,所述编解码器直接存储每个图像点的颜色成分(包括放送标准);并且所述广播标准使用亮度和颜色成分的不相称分割,被成为色度采样(从最通用的变量4:2:2到所有其他的变量和组合,包括非标准的例如3:1:1HDCAM的变量)。色度子采样的当前记录:
4:4:4:4 4:在轴X和轴Y上的点位置
4:点颜色信息
4:点亮度信息
4.用于在图像上进行亮度校平的点亮度信息
4:4:4 4:在轴X和轴Y上的点位置
4:点颜色信息
4:点亮度信息
4:2:2 4:在轴X和轴Y上的点位置
2:点颜色信息
2:点亮度信息
4:2:0 4:在轴X和轴Y上的点位置
2:点颜色信息
0:点亮度信息
4:1:1 4:在轴X和轴Y上的点位置
1:点颜色信息
1:点亮度信息
基于根据此发明的有关深度印记的信息,记录将是如下:
4:4:4:4+深度信息
4:4:4+深度信息
4:2:2+深度信息
4:2:0+深度信息
4:1:1+深度信息
4:4:4:4+深度信息+4:4+深度信息
4:4:4+深度信息+4:4+深度信息
4:2:2+深度信息+2:2+深度信息
4:2:0+深度信息+2:0+深度信息
4:4:4:4+深度信息+4:4+深度信息+4:4+深度信息
4:4:4+深度信息+4:4+深度信息+4:4+深度信息
4:2:2+深度信息+2:2+深度信息+2:2+深度信息
4:2:0+深度信息+2:0+深度信息+2:0+深度信息
有利的是,以这方式编译的3D图像格式将主要地成为不同设备的输出,所述不同设备来自专业摄影机,直到用于消费者市场的平板、计算机和基本移动电话。
随后,可以将相同格式作为输入,用于进一步用用于视频处理的特殊剪辑应用或者用于用静止图像工作的对应的图像软件处理;同时,这也可以是输出格式。
等同地,3D图像格式可以被用作用于3D成像设备或适用于此目的的单元的输入格式。
最后,如果需要的话,其也适用于存储和存档图像数据,因为其允许全面地记录可以有效生成简化形式的三维场景(例如,用于当前的“三维”投影系统、或用于立体图的成像设备的2×2D格式图像;或者用于通用成像单元,或用于打印的2D格式图像)。根据这种方法的3D格式图像针对数据流来说是高效的(并且因此需要存档设备的容量),通常来说,受益于仅保存必要的重叠。
根据本发明的方法的优点是,总是可以为对象空间的每个点精准地分配距离拍摄设备的距离(即,深度信息)。如果需要描述一个位置上的色度信息具有低于100%的饱和度(半透明度是因素)的对象点,或从拍摄设备的位置点不可视一个点,那么描述就包含亮度和色度信息以及另一个“I”距离组成,在所述位置上。
为了精确地描述对象空间的对象点,使用用于执行根据前述方法权利要求的方法的连接,其覆盖实质上是拍摄系统的拍摄设备,所述连接包括连接于CPU中央控制单元的输入的至少两个拍摄设备,其包括软件应用的块以及具有评估软件的计算模块的块,具有评估软件的计算模块的块和软件应用的块经由数据总线与CPU进行通信,CPU的输出被连接到内部存储器的块和/或可移除存储器以及在线输出的块两者。
如果拍摄设备包括主要拍摄设备和至少一个次级拍摄设备,则对于确保对象空间的对象点的深度信息以及将他们分配到主要拍摄设备的光栅点是有益的。
如果次级拍摄设备包括辐射(距离)检测器和辐射发射器,则对于描述对象空间中的对象是有利的。
如果主要拍摄设备或次级拍摄设备由摄影机组成,则对于描述对象空间中的对象的颜色和形状是有利的。
当辐射(距离)检测器由在光学上匹配的CCD或CMOS传感器组成并且辐射发射器由激光组成时是优选的。
如果使用围绕对象(对象空间)在特定距离上布置的至少三个拍摄系统,则对于从直到360°d多个视觉点,描述作为彩色的或与形状相关的空间中的对象点是有利的。
以这种方式设计的连接允许校正定义和深度信息的分配,并且创建对象空间的深度信息。在这些连接中包括的拍摄系统允许以多种方式为对象空间的每个点获得并且分配深度信息,因此为每个2D图像创建全面的深度信息。
附图中的图画清单
将使用图画说明本发明,其中图1表示所选择的拍摄设备的图像光栅图的点。图2表示用“z”坐标描绘的特定光栅点的“I”距离。图3表述拍摄设备的光栅点以及用对象空间的对象点的特定“I”距离的指示指定的“z”坐标。图4表述拍摄设备的光栅点以及用对象空间的第一和第二对象点的特定“I”距离的指示指定的“z”坐标。图5表示三个拍摄设备可视的对象空间的对象点。图6表示两个拍摄设备可视的对象空间的对象点。图7表示一个次级拍摄设备可视的对象空间的对象点。图8表示通过主要拍摄设备可视的对象空间。图9表示被布置为相互间隔120°的三个拍摄设备的系统可视的对象空间的对象点。图10表示主要拍摄设备可视的对象空间的对象点以及辐射检测器和发射器。图11表示覆盖两个拍摄设备的拍摄系统的连接和CPU与相关服务块的连接的基本框图。图12表示拍摄系统的连接的框图,其中拍摄设备是由摄影机组成的主要拍摄设备以及至少一个由辐射发射器和辐射检测器组成的次级拍摄设备。图13表示拍摄系统的连接的框图,其中拍摄设备是由摄影机组成的主要拍摄设备。图14表示拍摄系统的连接的框图,其中主要拍摄设备是由摄影机组成的主要拍摄设备并且次级拍摄设备由摄影机以及辐射发射器和检测器两者组成。图15示意性地表示拍摄系统的连接的框图,其中主要拍摄设备和次级拍摄设备由辐射发射器和检测器组成。图16表示使用应用软件在单条线上指定图像光栅的各个点的识别符的一个实施例。图17表示3D编解码器以及基于将用于与“深度信息”进行组合的三种编解码器类型对所述3D编解码器进行注册的方法。以及图18表示通过布置得彼此相距特定距离的三个拍摄设备的系统所拍摄的对象空间的对象点。
具体实施方式
将使用本发明实施例详细描述本发明。显然,这些例子是应用此发明原理的象征性实施例。
为了描述根据本发明的方法以及用于实施其连接的目的,我们据此给出本文的以下描述中所使用的以下术语定义。
所使用的术语定义,鉴于在拍摄的时刻我们以2D工作并且使用如下术语:
拍摄设备-使用图像传感器拍摄目标空间并且随后为了存储、处理或成像所获取的数据的目的而记录所获取的关于对象空间的数据的设备(所谓的拍摄设备,在本发明的定义之内可以例如是摄像机、摄影机、X光设备、发射器和检测器系统和/或此类型的类似设备)。
图像传感器-由一组感光元件组成的电子组件(例如,CCD芯片或CMOS),被布置在将入射光辐射转换为电信号的光栅中。
拍摄设备光栅-在本发明内,感光图像传感器的元件的网络。典型地,这些感光元件被布置成光栅并且在处理期间,由元件所拍摄的值被布置为矩阵。
感光元件-图像传感器的最小拍摄单元,其捕捉有关对象空间的一节(section)(最小光栅单元)的图像信息。
对象空间-位于拍摄设备的透镜前方的空间。拍摄对象位于对象空间中。这些对象可以相互重叠或者遮挡,或者它们可以被不等地破碎。它们可以是不同的颜色以及半透明度的。每个对象的特征在于其纯度和半透明度。
对象空间的节-通过感光拍摄设备的元件所捕捉的对象空间的一部分。
图像/帧-通过承载图像信息的一组图像的点所代表的摄对象空间。
图像点(像素)-具有图像信息(颜色和亮度)的最小图像(帧)单位,其代表通过感光拍摄设备光栅的一个元件所捕捉的对象空间的一节。图像点的数量与感光拍摄设备(图像传感器)光栅元件的数量对应。
我们添加如下术语以处理和转换到3D:
对象空间的深度印记-指定给从对象空间(由多个节代表)的多个节中的多个对象到拍摄设备的图像传感器的平面的图像点(到目前为止仅知晓其亮度和颜色信息)的一组“I”距离。例如在对从两个不同的拍摄设备所拍摄的至少两个图像进行处理的过程中,通过三角测量来获取这些距离。仅为每个图像分配一个距离。如果对象空间的节包括特征为纯度和半透明度的多个对象,其中,它们中的一些被从图像传感器的视野中完全地覆盖,或者,受益于邻近对象的半透明度,仅仅能够部分程度地可视所述对象,那么图像点就获得对象距离,该对象距离是从位于与拍摄设备的图像传感器的平面或图像传感器最近的对象空间的上述节开始分配的。实际上,深度印记因此确定了对象空间的外形。深度印记点-距离位于与拍摄设备的图像传感器的平面或图像传感器最近的对象空间的组成部分的对象的表示。
遮蔽点/深度印记点的遮蔽点-在本发明的观点中,从对象空间的节中、位于深度印记点之后的对象空间的组成部分到对象的代表,即位于距离拍摄设备的图像光栅平面的距离超过对象离位于与拍摄设备的图像光栅平面最近的对象空间的组成部分的距离的位置。通过“I”距离、亮度和颜色信息或半透明度来定义点,其中“I”距离是距离拍摄设备的图像光栅的平面或距离特定点(深度印记点或遮蔽点)的距离,所述点位于该特定点之后。
深度信息-通过深度印记和关于遮蔽点信息的组合所创建。由此,深度信息包括在对象空间中识别各个对象和它们在对象空间内的位置所需的许多信息、在拍摄对象空间的时刻的颜色、亮度和半透明度。
3D编解码器-为了此发明的目的,用于每个图像点的有关深度信息的信息+标准编解码器。或者用于在“z”轴上的其他点的有关深度信息的数据,所述“z”轴用各个点在“z”轴上的距离“I”和亮度及纯度信息的登记,定义各个点距离拍摄设备的“I”距离。
纯度信息-为了此发明的目的,有关所述点的颜色的信息
视觉线-为了此发明的目的,与Am和L或Am和P或Am和S点交叉的线。
通常,根据此发明,用于描述对象空间1的对象11的点12的方法依赖于如下步骤。第一步骤是对于位于对象空间1的、以2D格式登记的每个对象11,使用彼此相距特定距离而布置的至少两个拍摄设备3在它的每个点上,为它的每个点登记有关其距离的深度信息,并且第二步骤是为每个图像存储以此方式生成的信息,作为附加数据。如上所述,对于对象空间1,例如以2D格式登记的图像,深度印记被添加到所登记的、有关对象图像的各个点12距离对象空间1的信息。
在图11上表示了用于根据此发明方法的连接的基本布置,其是拍摄位于对象空间1中的对象11的各个点12。此布置中的连接包括包含至少两个拍摄设备3的拍摄系统2。拍摄设备3与中央处理单元4(以下仅称为“CPU”)连接。CPU 4集成软件应用5的块,并且还集成了具有软件应用61的计算模块6的块,其中,所述软件应用5的块包括用于辐射发射器34和检测器33控制的软件应用51和用于拍摄设备3控制的软件应用52,以及用于评估光栅35的点36的软件应用53。另外,CPU 4将它的一些输出连接到内部存储器和/或可移动存储器的块7以及在线输出的块8
以下描述CPU 4和拍摄系统2之间的通信。从拍摄系统3将拍摄数据经由辐射发射器38和检测器39和/或图像处理器37的计算模块引入到CPU 4的输入,并且后者经由软件应用5的块进行通信,在所述软件应用5中包含用于与辐射发射器38和检测器39和/或辐射监测器12通信的软件模块51、用于与主要拍摄设备10和/或次级拍摄设备11的图像处理器37通信的软件应用52和用于评估光栅35的点36的软件应用53以及用于计算3D编解码器的软件应用61的计算模块6。使用用于评估光栅35的点36的软件应用53执行深度信息的数据计算,并且随后,该距离信息被存储到对象11的每个点12作为附加数据,并且生成深度印记。随后,使用用于计算3D编解码器的软件应用61来计算3D编解码器并且将其作为附加数据写入到文件,并且在重复成像具有附加数据的文件时,必须使用到该3D编解码器。
例如,根据本发明的拍摄图像,用于3D拍摄对象空间1的对象11的拍摄系统2的另一个可能连接被示出在图13上。这种连接的目的在于得到深度信息,该深度信息包括位于主要拍摄设备31的角度之外但是次级拍摄设备32可视的对象11的点12的定义。在这种布置中的拍摄系统2的连接包括三个拍摄设备3,其中它们之一是主要设备31,所谓的中央的一个以及两个次级拍摄设备32,所谓侧面的。拍摄系统2的拍摄设备3同样被连接到CPU 4的输入。CPU 4集成软件应用5的块,其包括用于拍摄设备3的软件应用52和用于拍摄设备3控制的软件应用52,以及用于评估光栅35的点36的软件应用53,并且还集成了具有软件应用61的计算模块6的块。另外,CPU 4将它的一些输入连接到内部存储器和/或可移动存储器的块7以及在线输出的块8
这是可能的实施例中的一个。实践中,可以使用不同数量的次级拍摄设备32,并且它们不需被安装在单个轴上、与主要拍摄设备31相同的平面上。但是需要具有关于它们在由X、Y和Z坐标划分的空间中的相互位置的信息。另外,需要知晓拍摄装备3的拍摄角度“u”以及拍摄设备3的拍摄角度“u”,所述拍摄设备3感应在对象空间1中的对象11。此处,必须知晓使用次级拍摄设备32在拍摄对象空间1上的观看方向是否与对主要拍摄设备31的对象空间1的观看方向相同或者不同,并且如果不同,则需要知晓在何种方向、多少角度。这适用于用于识别位于空间中的对象的点12的过程与后续的深度信息的生成是相同的所有条件。只有在次级拍摄设备32的不同数量并且取决于它们在空间内的位置的情况下,被处理的数据量才发生改变。在这里,计算原理不改变,仅会添加校正拍摄设备3的相互位置的一些新的值和公式。
可以与在离中央主要拍摄设备31各种距离上布置的多个次级拍摄设备32一起、或两对或一对一起使用拍摄系统2。以这种方式,实现了实质上更深的视觉,并且在处理或投影期间它可以被旋转和编辑。基于对作为对象空间1的对象11的点12的成像的主要图像的光栅35的每个点36和作为对象空间1的对象11的点12的成像的次级图像的光栅35的所有点36的位置的知晓,数学公式将允许根据布置有拍摄设备3的平面(轴)计算每个单个图像点的距离。
在图9中表示用于经由拍摄系统2描述对象空间1的对象11的点12的另一个方法。在这种情况下,将拍摄系统2相对彼此间隔120°放置,并且在这种布置(具有至少3系统)中,可以拍摄点的表面的360°之内的对象空间1中的对象11的点12。在此情况下,我们必须知晓拍摄系统2的相互位置以及这些拍摄系统2的拍摄角度“u”。像这样放置的每个拍摄系统2记录来自主要拍摄设备31的图像和深度信息。我们所选择的这些拍摄系统2中的一个被定义为拍摄系统2的全组的主要拍摄系统2。为我们定义为主要拍摄系统2的拍摄系统,将以下数据添加到主要拍摄设备31图像:来自拍摄系统2的这种集聚的深度信息。这意味着,利用深度信息完成来自主要拍摄系统2的主要拍摄设备31的图像,该深度信息包括用于来自高达360°视觉的多个点的、对象空间中的对象11的点12的图像数据。
如果拍摄设备3装备有可变焦透镜,那么变焦的特征在于透镜的最长可能焦距与最小可能焦距的比例。由此,变焦基于能够调节所谓的变焦透镜或可调焦透镜的焦距的透镜。光学变焦变为基于透镜的偏移而制成的透镜的焦距。通过重新布置拍摄设备的透镜中的各个光学构件来实现对焦距的改变。在这样做时,各个光学组以特定梯度在螺旋线上移动,并且从而相对彼此移动。此处,用于变焦功能的两个实施例是很明显的。对于第一实施例,其中主要拍摄设备31仅仅装备有变焦特征,通过与用于评估点的软件应用53进行通信将变焦信息传送到CPU 4,然而次级拍摄设备32使它们的拍摄角度“u”不变。使用软件应用的数学处理使得所有拍摄数据与主要拍摄设备31的焦距(变焦)一致。
对于第二实施例,次级拍摄设备32也将装备有变焦特征。变焦可以是光学的(见以上说明)或数字的。
图14中表示了布置拍摄系统2用于3D拍摄的另一个实施例。此实施例的拍摄系统2包括在左手和右手侧具有次级拍摄设备32的中央主要拍摄设备31(例如具有中央透镜的摄影机和具有布置在主要拍摄设备31两侧的透镜的一对CCD传感器)以及具有(例如波/粒子发射器的)辐射发射器34和检测器33的次级拍摄设备32。安装在次级拍摄设备32中的辐射发射器34和检测器33以counter-tact模式工作,或以不同的频率工作。辐射发射器34和检测器33同时测量对象11的各个点12的距离。
使用用于评估点的软件应用53数学地处理用于对象11的各个点12的拍摄距离数据并且将其分配给各个图像点。这个实施例改善了“深度信息”的计算。通过发射器34和检测器33额外测量的距离被用作对计算的检查并且消除了潜在的计算错误。随后使用用于评估点的软件应用53在编解码器中为主要拍摄设备31的每个图像点登记深度信息。
拍摄系统2的布置的另一个实施例是拍摄设备3与辐射发射器34和检测器33的连接,例如波/粒子发射器。参见图15,这个拍摄系统2还可以被直接用于可视图像光谱之外。这是当不存在可视光谱辐射或辐射足够弱小以允许写入纯度信息的情况下,并且即便如此,也需要拍摄对象空间1中的对象11的情况,即便没有纯度信息,也需要生成深度信息。如果我们使用装备有辐射发射器34和检测器33的一个拍摄设备3作为主要,并且使用装备有辐射发射器34和检测器33的至少两个拍摄设备3作为次级,我们就可以生成包括除了纯度、亮度和半透明度数据以外的其他所有数据的深度信息。
具体实施例是使用移动电话或平板布置拍摄系统2用于拍摄对象空间1的对象11;参见图12作为用于拍摄对象11的拍摄设备3。拍摄系统2由两个拍摄设备3组成。在这个实施例中的拍摄系统2的连接仅包含两个拍摄设备3,它们中的一个是由摄影机组成的主要拍摄设备31(所谓的中央),并且第二个是次级拍摄设备32(所谓的侧面设备),由辐射发射器34和检测器33组成,例如波/粒子发射器。
在与透镜中心或偏心(后者的情况下,必须也包括位置的数学校正)的轴中的透镜相邻的一侧,存在辐射发射器34,例如扫描激光、强IR或UV二极管或任何其他类型的波/粒子发射器。在透镜的另一侧,存在辐射监测器33来拍摄由辐射发射器34发生的辐射反射。此处,辐射发射器38和检测器39的各个计算模块计算输出和输入辐射束之间的时延,并且将在CPU 4中使用软件应用51计算以此方式获取的时延信息,并且基于此,将分配距主要拍摄设备31所拍摄的2D场景的距离。像这样的拍摄系统2是组成移动电话或平板的一部分。将在3D编解码器中注册这一数据。由此,我们能够实现使用诸如移动电话或平板的设备来得到3D编解码器,用于后续处理。这个实施例可以被应用于非常便宜的手提摄影机,其由于经济原因而不能使用一个主要拍摄设备31和至少一个次级拍摄设备32
例如可以使用在图13所示的拍摄系统2的连接来实施根据此发明的描述来自对象空间1的对象11的点12的方法。全部三个拍摄设备3被精确地放置在相同平面上,此处,通过轴x和y限定所述平面,其包含与z轴的α和β角来,然而角α和β优选地与z轴形成90°。在这种情况下,拍摄设备3由主要拍摄设备31、位于主要拍摄设备31的左手和右手侧与主要拍摄设备31距离相等的两个次级拍摄设备32构成。我们知晓全部三个拍摄设备3的相互位置。拍摄设备3同步拍摄对象空间1。在这种情况下,拍摄三张对象空间1中对象11的图像,然而通过所谓中央拍摄设备的主要拍摄设备31拍摄一张图像,所谓的主要图像,并且通过左手和右手的次级拍摄设备32拍摄另外两张图像,所谓的次级图像。次级图像相对于参考图像有所偏移。使用所示计算方案的数学处理来计算光栅35的点36,其中多个方案中的第一个表示用于计算并且向对象空间1的对象11的各个点12分配“I”距离的计算方案。
以下将定义用于说明上图的深度信息的计算的术语和符号。
Am-被拍摄的对象空间1中的任意点12,其中“m”是任意整数
S-拍摄设备3–为了此方案的目的,其尺寸被定义为无限小(点)
L-拍摄设备3-(在我们的技术设置中,位于至少另外两个拍摄设备的左手侧);为了此方案的目的,其尺寸被定义为无限小(点)
P-拍摄设备3-(在我们的技术设置中,位于至少另外两个拍摄设备的右手侧);为了此方案的目的,其尺寸被定义为无限小(点)S,L和P处于X轴上
I-Am点离X轴的最短距离
uS-S拍摄设备的拍摄角,uS角的轴线与垂直于X轴同时穿过S点的直线相同
uL-L拍摄设备的拍摄角,uL角的轴线与垂直于X轴同时穿过L点的直线相同
uP-P拍摄设备的拍摄角,uP角的轴线与垂直于X轴同时穿过P点的直线相同
kS-以S为中心以及rS为半径的圆
kL-以L为中心以及rL为半径的圆
kP-以P为中心以及rP为半径的圆
d'S-在我们方案中,根据坐标系统中的X轴,对象空间1的数字成像(其结果是例如照片)的尺度,然而通过S拍摄设备来拍摄对象空间
d'L-在我们方案中,根据坐标系统中的X轴,对象空间1的数字成像(其结果是例如照片)的尺度,然而通过L拍摄设备来拍摄对象空间
d'P-在我们方案中,根据坐标系统中的X轴,对象空间1的数字成像(其结果是例如照片)的尺度,然而通过P拍摄设备来拍摄对象空间
A'mS-在对象空间1的成像中(例如照片上)所示的Am点,然而通过S拍摄对象空间1
A'mL-在对象空间1的成像中(例如照片上)所示的Am点,然而通过L拍摄对象空间1
A'mP-在对象空间1的成像中(例如照片上)所示的Am点,然而通过P拍摄对象空间1
dS-kS圆的一部分,然而dS的长度等于d'S,并且同时端点dS位于uS角的臂上,并且同时至少一个内部dS点位于由S中心和uS角所定义的圆的部分
dL-kL圆的一部分,然而dL的长度等于d'L,并且同时端点dL位于uL角的臂上,并且同时至少一个内部dL点位于由L中心和uL角所定义的圆的部分
dP-kP圆的一部分,然而dP的长度等于d'P,并且同时端点dP位于uP角的臂上,并且同时至少一个内部dP点位于由P中心和uP角所定义的圆的部分
AmS-点,是dS与穿过Am和S点的直线的交叉点
AmL-点,是dL与穿过Am和L点的直线的交叉点
AmP-点,是dP与穿过Am和P点的直线的交叉点
vL-S和L点之间的距离
vP-S和P点之间的距离
u'L-由X轴和直线所夹的角,经过Am,AmL和L点
u'S-由X轴和直线所夹的角,经过Am,AmS和S点
u'P-由X轴和直线所夹的角,经过Am,AmP和P点
“I”距离的计算:
“o”是圆的长度
“r”是圆的半径
“pi”是圆周率数
“u”是拍摄角度
“d”是属于拍摄角(其是所述圆的中心角)的臂所定义的部分的圆的部分的长度
随后,以下通常应用
o=2×pi×r
d=(u×pi×r)/180
r=(180×d)/(u×pi)
并且对于我们的方案
dS=(uS×pi×rS)/180
dL=(uL×pi×rL)/180
dP=(uP×pi×rP)/180
dS=d’S,dL=d’L,dP=d’P
dS=dSa+dSb,dL=dLa+dLb,dP=dPa+dPb
rS=(180×dS)/(uS×pi)
rL=(180×dL)/(uL×pi)
rP=(180×dP)/(uP×pi)
u’S=((180-uS)/2)+((dSa×180)/(rS×pi))
u’S=((180-uS)/2)+((dSa×180)/(((180×dS)/(uS×pi))×pi))
u’S=((180-uS)/2)+((dSa×uS)/dS)
u’L=((180-uL)/2)+((dLa×180)/(rL×pi))
u’L=((180-uL)/2)+((dLa×180)/(((180×dL)/(uL×pi))×pi))
u’L=((180-uL)/2)+((dLa×uL)/dL)
u’P=((180-uP)/2)+((dPa×180)/(rP×pi))
u’P=((180-uP)/2)+((dPa×180)/(((180×dP)/(uP×pi))×pi))
u’P=((180-uP)/2)+((dPa×uP)/dP)
I=vL/(cotg(u’S)+cotg(u’L))
或者
I=vP/(cotg(u’S)+cotg(u’P))
其中它们的第二个表示“u”拍摄角度定义。
在我们的文件中,拍摄设备3的拍摄角度“u”是穿过拍摄设备3的角度轴线,这是为了被定义为点的这个方案的目的,并且同时,通过角度轴线和角臂创建的平面与通过投影对象空间1的拍摄部分的投影所创建的平面垂直。另外,穿过拍摄角臂和对象空间1(其可被拍摄设备3拍照)的交叉点的直线平行于拍摄设备3的水平轴。
因此,我们具有三幅可用的图像,基于他们,我们可以使用软件应用53,使用通过计算方案所代表的数学处理并且基于对次级图像上的参考中央图像的光栅35的每个点36的位置的知晓,计算从布置拍摄设备3的平面(轴)、在图像上拍摄的对象空间11的对象的每个单个点12的距离。
参见图5和图18,使用图像光栅35的各个线上的光栅35的点36表示的识别对象空间1的对象11的各个点12的方法,在此由说明书末尾的方块图上描述的步骤序列发生。
深度信息的确定是识别方法的结果。
这个实施例的全部三幅图像具有相同的点分辨率,即,主要拍摄设备31的光栅35和次级拍摄设备32的光栅35是相同的。必须符合将使用拍摄设备3同时拍摄所有三幅图像的条件。
显然,考虑到在拍摄系统2中布置的各个拍摄设备3的光学和物理特性,各个图像将具有不同的颜色呈现,例如,不同颜色和亮度。因此,当在最开始的第一步确定“深度信息”时,必须消除这种不均衡。这是通过将主要拍摄设备31的ICC属性分配给次级拍摄设备32的属性、以得到全部三幅图像的平衡的颜色呈现来实现的。通过主要拍摄设备31拍摄的图像总是用于颜色匹配的参考图像。
另外,对通过光栅35的点36和各个线拍摄的图像的光栅35进行比较。这反映被比较的图像的各个光栅线35上的各个点36是如何相对彼此偏移的。
可以在图像的光栅35的水平方向和垂直方向两个方向上执行各个图像的光栅35的点36的比较。为了解释与这个例子相关的根据本发明描述的处理,让我们假设我们将从光栅35的上方的第一条线开始直到向下的最后一条线,计数水平线,用于描述该计算。
在通过主要拍摄设备31和次级拍摄设备32拍摄每张图像时,如同在上面所示的计算方案明显可见的,为每个拍摄设备3等级关于“u”拍摄角的信息。对于主要拍摄设备31,拍摄角被识别为“uS”,然而对于次级拍摄设备32,通过字母“uP-uL”识别拍摄角。拍摄角数据定义在计算公式中需要使用焦距的哪些数。一旦将这一信息读取到CPU 4,用于评估点的软件应用53可以使用来自主要拍摄设备31拍摄的图像的、有关光栅35的第一线的点36的信息。这是参考图像。随后,我们可以使用来自右和左次级拍摄设备32所拍摄的图像的、有关光栅35的第一线的点36的信息。显然,在标准模式中,纯度信息具有1670万个颜色。我们将比较这些第一个三条线上的各个点36的颜色属性,并且,用于与位于次级图像的光栅的下一个第一线中的其他点36进行比较的参考数据是关于来自由主要拍摄设备31拍摄的图像的光栅35的第一线的点36的数据。随后,实施用于评估的软件应用53,以在CPU 4中比较这三条线的所有图像点,然而很重要的是,来自光栅35的全部所三个比较的线的点36的所有数据,在计算期间,在彼此以下。用于评估的软件应用53的计算结果指示光栅线35上有多少个光栅的点36,来自右和左次级拍摄设备32的光栅35的第一线上的相同颜色的光栅的光栅点36相对于有关光栅35的参考线的点36的数据向右或者向左偏移,所述参考线是主要拍摄设备31拍摄的图像的光栅35的第一线。沿着整条线,一个点一个点地执行对进行比较的光栅35的线的点36的偏移进行比较。随后,我们会使用用于评估的软件应用53,以对于来自主要拍摄设备31的参考图像的光栅35的第一线上的点36计算“z”轴上的距离“I”。在此情况下,来自次级拍摄设备32的图像的光栅35的第一线的点36被用于确定在主要拍摄设备31的图像上所示的各个点36的位置。以这种方式,我们可以为光栅35的这些点36计算“深度信息”。
为了计算光栅35的各个点36的深度信息,我们必须为通过次级拍摄设备32拍摄的图像上光栅35的第一线上的点36的执行相同的距离计算,但是,按照计算来自右侧次级设备32的,随后计算来自左侧次级设备32的图像的第一线35的光栅35的点36的距离的优先顺序进行。然而,拍摄设备3从“u”拍摄角拍摄对象空间1,在左侧次级设备32的情况下拍摄角被识别为“uL”,这与在右侧次级设备32的情况下不同,在右侧次级设备32的情况下,拍摄角被识别为“uP”。以这种方式,我们可以为来自主要拍摄设备31的图像,在线35的光栅35的点36之后,在相同的“z”轴放置额外的点12。这些点是用“(抖个)遮蔽点”补充“深度信息”的遮蔽点。以这种方式我们可以得到用于(用于主要拍摄设备31的参考图像的)光栅线35上的光栅35的特定点36的“深度信息”。使用上面描述的方法,在光栅线35上的光栅35的全部点36被比较,并且将等同地处理参考图像的光栅35的所有的线。
为了改善了的、在光栅边缘35上光栅35的点36的绘画,为次级拍摄设备32使用更大的光栅35是有益的。如果为次级拍摄设备31采用更大的光栅,将会更好地绘出具有“深度信息”的得到的图像的光栅35边缘上的点36
为了校正对参考图像后面的遮蔽点12的分配(仅能够通过一个拍摄设备3可视所述遮蔽点),我们可以使用“边缘、区域和不连续检测”技术。这是用于计算只来自一个拍摄设备3的图像上的可视光栅35的点36的过程。从图7中可以显而易见的,计算仅通过一个拍摄设备3可视的对象11的点12,以及如同从图8中可以显而易见的,计算通过主要拍摄设备31可视的点12
-参见图5,计算通过三个拍摄设备3可视的对象空间1的对象11的点12
-参见图6,计算通过两个拍摄设备3可视的对象空间1的对象11的点12
-参见图7和图8,计算通过一个拍摄设备3可视的对象空间1的对象11的点12
参见图5,计算通过两个拍摄设备3可视的对象空间1的对象11的点12,其中左侧和右侧中央拍摄设备3的光栅35的点36和点12之间的链接形成了视觉直线9。这一过程与目的在于计算“z”轴上的点12的先前文本相同。
参见图6,计算通过两个拍摄设备3可视的对象空间1的对象11的点12,其中左侧和右侧中央拍摄设备3和点12之间的链接形成了视觉直线9。这一过程与目的在与计算“z”轴上的点12的先前文本相同。
参见图7,计算通过一个拍摄设备3可视的对象空间1的对象11的点12,其中在点12(=Am)和左侧或中央拍摄设备3之间的链接形成了与Am和L点相交的视觉直线9。这一视觉直线9自身不能直接定义“z”轴上的点12的“I”距离。因此,过程如下:我们首先确定在视觉直线9上什么距离“I”中,对象空间1的对象11的点12不可以位于视觉直线9上。以这种方式,我们可以排除不能找到与其他视觉直线9'和9”相交的(其是在两个或三个视觉直线9'和9”上相交的数学排除)、位于视觉直线9上的点12的所有“I”距离,其中所述其他视觉直线9'和9”形成了点12(在计算方案中被识别为Am点)与其他拍摄设备3的S和P点之间的链接。通过将点12与已经分配的他们的“I”距离进行比较,来实现对视觉直线9上的点12的“I”距离的精准识别,并且因此,可以通过至少两个拍摄设备3可视它们。这些点12位于视觉直线9'9”上。在先前的计算在与Am和L点交叉的多个视觉直线9上可视的对象空间1的对象11的点12的过程中,我们已经实现了对对象的绝大多数点12的“I”距离的精确分配。参见图7,此刻并没有定义对与Am和L点交叉的视觉直线9上的对象空间1的对象11的点12与连接点12(Am)和拍摄设备3(L)之间的“I”距离的精确分配(见图7)。在此刻,我们仅直到在视觉直线9上的哪些位置不可能存在与Am和L交叉的点12
另外,为了计算点12(启示通过一个拍摄设备3可视的所谓的未分类的遮蔽点),在下面描述该过程。
进行比较的、所拍摄的图像(参考和次级)的光栅35在被比较的图像上的光栅35的各个线上反映出各个点36相对彼此的实际偏移。在我们在光栅35的图像线上遇到光栅35的未分类点36的情况下,应用以下过程,即,在点识别期间,不能指定相对于相邻图像上的点36的点的位置。对于未分类的点36,我们只在其中添加点不能位于视觉直线9上的什么距离“I”,和在什么“u'L”角度以下根据图7进行识别相关的信息,并且仅仅在完成计算所述对象11(图像)的全部点12之后,才可以对视觉直线9上的“I”位置进行精准定义。在图像计算的末尾,参见图5和图6,我们因此可以通过两个或三个视觉直线9为对象空间1的对象11的全部点12定义精确的深度信息。在图像上的光栅35的点36(它们是对象空间1的对象11的点12的代表)仍将维持为仅可以通过一个视觉直线9记录的、未被分配“I”距离,见图7。将有关于光栅35线上的点36位置的信息添加到点36,其包括“u'L”角度数据,在该角度以下,视觉直线9指向点12,以及有关在什么“I”距离上,点12可能不位于视觉直线上的信息。还未在视觉直线9定义的、不具有精确“I”距离的每个点12是具有已经根据先前的计算被分配有“I”距离的点12的系统的一部分和后续部分。对象空间1的对象11的每个点12是图像的任意相邻部分的一部分。每个点12是具有已经并且精准定义的点12的组的一部分,所述点12是相同或者非常接近的颜色,位于非常靠近我们需要在视觉直线9上分配“I”距离的点12。与在视觉直线9上未分配“I”距离的(一个或多个)点12紧密相邻的对象空间1的对象11的每个点12具有与在对象空间1的对象11上非常邻接它们的一个或多个点12相同或类似的颜色。使用通常所使用的图像分析方法(边缘、区域和不连续检测)可以识别并分析这些颜色和它们的结构。这意味着我们可以在评估边缘、区域和不连续检测之后,在对象空间1的对象11的点12的组之后,基于多个点12与在视觉直线9上位于精准的“I”距离上的那些点12紧密相邻的、其他精准定义的点12的对比,来正确地限定这些点12。使用图像的光栅35上的点36表示的每个点12形成图像的整体光栅35的一部分,并且因此,可以定义他们,并且可以将视觉直线9上的“I”距离分配给它们。参照图7,如果用单个视觉直线9定义对象空间1的对象11,当存在点12时,同样可以为图像正确地定义计算出的光栅35的点36和深度信息。
在这个计算之后,完成“深度信息”结果格式。添加具有“深度信息”数据的主要拍摄设备31的参考图像。这是具有对象空间1的对象11的点12的精准定义的完整的3D图像。
这个格式是通用的,并且其可以被登记到任何图像照片或视频编解码器。根据本发明,在图17以及在下面的编解码框图中所示的图像编解码器意为创建,以及将附加信息(所谓的“深度印记”或“深度信息”)放置到标准编解码器的方法。
3D编解码框图描述了如何使用深度信息,以及将其分配到当前正在使用的不同的编解码器,用于注册视频格式和2D照片。
3D编解码框图
2D编解码器可以被如下划分:
●支持用户流的编解码器
●不支持用户流的编解码器,具有元数据支持的文件系统
●不支持用户流的编解码器,不具有元数据支持的文件系统
这是2D编解码器的基本划分。从上面显而易见的是,对于每个编解码器类型,将以不同的方式分配深度信息。然而,最终全部这些选项将允许以两种不同方式来完全读取修正后的3D编解码器。
第一种是使用2D设备读取3D编解码器,其中3D编解码器被处理为2D信息,并且将完全不使用深度信息。在这种情况下,可以仅在2D设备上执行3D编解码器的完全处理,并且2D或3D编解码器将被用于最终剪切和分发。
第二种是使用3D设备对3D编解码器进行读取和处理以及对其进行成像,其中3D编解码器被处理为3D信息并且在此使用了深度信息。
在图17和3D编解码器的框图中所示的全部三种类型的编解码器可以被如下划分:
●支持用户流的编解码器
●不支持用户流的3D编解码器,具有元数据支持的文件系统
●不支持用户流的3D编解码器,不具有元数据支持的文件系统
上面提及的3D编解码器包括本发明的上下本中的相同的数据。这是深度信息,其同样还包括“深度印记”。在上文中定义了该深度信息,并且其是用于对象空间1的对象11的每个点12的精确数据文件(例如照片、影片等)。根据我们的分类,这一数据分配和编解码器类型(3D编解码框图和图17)是:
●支持用户流的3D编解码器-在这种3D编解码器的情况下,将深度信息作为元数据容器,编码为3D编解码器结构,并且变为包括在对象空间1中以2D格式登记的对象11的完整部分。
●不支持用户流的3D编解码器,具有元数据支持的文件系统-在这种3D编解码的情况下,将深度信息作为元数据容器,编码为3D编解码器结构,然而,元数据和在对象空间1中以2D格式登记的对象11可以被分开登记。
在这种情况下,其形成3D编解码器的完整部分。
●不支持用户流的3D编解码,不具有元数据支持的文件系统-在这种3D编解码的情况下,将深度信息与具有原始2D编解码器的数据容器一起进行登记。在这种情况下,深度信息形成3D编解码器的独立部分。为各个图像经由时间线进行原始2D编解码器和深度信息的结合。这两个成分形成具有深度信息的数据容器+原始2D编解码,3D编解码器。
根据此发明的描述来自对象空间1的对象11的点12的方法,例如可以使用在图12上所示的拍摄系统2的连接来执行。在这种情况下,移动电话或平板与拍摄系统2相配合,用于拍摄对象11。拍摄系统2由两个拍摄设备3组成。在此实施例中的拍摄系统2的连接仅包括两个拍摄设备3,它们中的一个是主要拍摄设备31,所谓的中央,由摄影机组成,并且它们中的第二个是次级拍摄设备32,所谓侧面的设备,由辐射发射器34和检测器33组成,例如波/粒子发射器。在这种情况下,用于计算深度信息的信息缺失,并且因此,我们只能具有用于这种拍摄方法的深度信息。根据图10,对于深度信息的计算,用框图描述了用于为位于对象空间1的对象11的每个点12接收“I”距离信息的处理,以及随后与光栅35的点36的连接,其包括主要和次级拍摄设备3,其中主要拍摄设备3是中央摄影机31并且次级拍摄设备3由辐射发射器34和检测器33组成。
参见图5,使用框图(用于为拍摄系统2计算深度信息的框图,其中,所述拍摄系统2包括主要拍摄设备31和次级拍摄设备32,所述次级拍摄设备32由辐射发射器34和检测器33组成)中所示的步骤序列执行识别对象空间1的拍摄部分的各个点12的方法,其被使用图像光栅35的各条线上的光栅35的多个点36示出。识别方法的结果的对深度信息的确定。主要拍摄设备31生成一张图像或一系列图像。次级拍摄设备3被用于使用辐射发射器34测量“I”距离,其发送出辐射(波/粒子),并且在从对象11的拍摄点12反射回来,并且随后由辐射检测器33检测反射回来的辐射之后,计算在发送辐射和检测辐射之间的时延。使用发射的辐射与辐射检测之间的时间差,轻易地为拍摄的每个单个点计算“z”轴上的“I”距离。以这种方式对对象11的点12一个点一个点地进行处理,并且对这些点“z”轴上的“I”距离信息进行排列,将这种距离信息作为作为附加数据的深度信息,分配给主要拍摄设备31所拍摄的图像。因为在主拍摄设备的光栅35上的拍摄图像以及从次级拍摄设备32的发射器34发射辐射这两者在相同的光栅35处发生,并且在对于拍摄设备31的相同“u”角下发生,所以可以结合这一数据。下面的结构性方案优选地被用于计算。初级拍摄设备31位于中心。次级拍摄设备32由布置在主要拍摄设备31的一侧、与其相距一距离的辐射检测器33和布置在主要拍摄设备31的另一侧、与其相距相同距离的辐射发射器34构成,所述次级拍摄设备32距离主要拍摄设备31相同的距离,并且位于与主要拍摄设备31同轴线的平面上。对于这一类型的布置,在检测辐射检测器33后,不需要数学上的时间测量校正。
用于使用主要拍摄设备31和包括辐射发射器34和检测器33组成的次级拍摄设备32计算深度信息的框图
这种格式非常通用,足以登记到任何图像(照片或视频)编解码器。(见3D框图和图17)
工业实用性
描述来自对象空间的对象点的方法适用于拍摄、处理和成像图像信息发生之处。其适用于与用于拍摄、处理和成像图像信息的所有设备结合使用,诸如相机、摄影机和扫描仪。
参考标记的列表
1 对象空间
11 对象空间中的对象
12 对象点
2 拍摄系统
3 拍摄设备
31 主拍摄设备
32 次级拍摄设备
33 辐射检测器
34 辐射发射器
35 光栅
36 光栅的点
37 拍摄设备的图像处理器
38 发射器的计算模块
39 检测器的计算模块
4 中央处理单元
41 拍摄设备的中央处理单元
5 软件应用的块
51 用于辐射发射器和检测器控制的软件应用
52 用于拍摄设备控制的软件应用
53 用于评估点的应用
6 具有声呐应用的计算模块
7 具有存储器的数据模块
8 在线输出块
81 数字输出
82 独立的深度信息
83 模拟输出
9 视觉直线

Claims (7)

1.描述来自对象空间(1)的对象(11)的点(12)的方法,使用彼此相距一定距离而布置的至少两个拍摄设备(3),其特征在于,对于在主要拍摄设备(31)的光栅(35)上显示的对象空间(1)的对象(11)的每个点(12),登记关于在Z轴方向上从主要拍摄设备(31)的光栅(35)的点(36)到对象空间(1)的对象(11)的点(12)的点距离(I)的信息,并且随后将这种信息作为提供对象空间(1)的主要的中心图像的附加数据存储到图像的光栅(35)的每个点(36),
其中,与主要拍摄设备(31)相距一定距离而布置的至少一个次级拍摄设备(32),登记关于从次级拍摄设备(32)的光栅(35)的点(36)到对象空间(1)的对象(11)的点(12)的点距离(I)的信息,提供对象空间(1)的次级附加图像,次级附加图像包括对象空间(1)的遮蔽点。
2.根据权利要求1所述的描述来自对象空间(1)的对象(11)的点(12)的方法,其特征在于,对于包含不同半透明度程度的遮蔽点的对象空间(1)的对象(11),登记有关距离主要和次级拍摄设备(31,32)的点距离(I)的信息,同时通过次级拍摄设备(32)登记对象(11)的遮蔽点的亮度和纯度信息,以及那个层的点(12)的半透明度程度,并且将以这种方式生成的信息存储到次级拍摄设备(32)的光栅(35)的点(36)。
3.一种用于执行根据权利要求1或2所述的描述来自对象空间(1)的对象(11)的点(12)的方法的拍摄系统,包括彼此相距一定距离而布置的至少两个拍摄设备(3),其特征在于,拍摄系统(2)包括主要拍摄设备(31)和至少一个次级拍摄设备(32),其中主要拍摄设备(31)提供在Z轴方向上距离主要拍摄设备(31)的光栅(35)的点(36)的对象空间(1)的主要的中心图像,并且次级拍摄设备(32)提供在另一轴方向上距离次级拍摄设备(32)的光栅(35)的点(36)的对象空间(1)的次级附加图像,其中通过次级拍摄设备(32)拍摄的所述另一轴方向与Z轴形成角度,其中拍摄设备(3)连接到CPU(4)的输入,所述CPU(4)包括软件应用块(5)和具有评估软件的计算块(6),其中具有评估软件的计算块(6)和软件应用块(5)经由数据总线与CPU(4)进行通信,其中CPU(4)的输出被连接到内部存储器块(7)和/或可移除存储器和在线输出块(8)两者。
4.根据权利要求3所述的拍摄系统,其特征在于,次级拍摄设备(32)由辐射检测器(33)和辐射发射器(34)组成。
5.根据权利要求3所述的拍摄系统,其特征在于,主要拍摄设备(31)或次级拍摄设备(32)由摄影机组成。
6.根据权利要求4所述的拍摄系统,其特征在于,辐射检测器(33)由装备了光学器件的CCD或CMOS传感器组成,并且辐射发射器(34)由激光器组成。
7.根据权利要求3所述的拍摄系统,其特征在于,围绕对象(11)在一定距离上布置至少三个拍摄系统(2)。
CN201380045519.5A 2012-08-29 2013-05-13 用于描述对象空间的对象点以及用于其执行的连接方法 Expired - Fee Related CN104584075B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CZPV2012-586 2012-08-29
CZ2012-586A CZ308335B6 (cs) 2012-08-29 2012-08-29 Způsob popisu bodů předmětů předmětového prostoru a zapojení k jeho provádění
PCT/IB2013/000913 WO2014033511A1 (en) 2012-08-29 2013-05-13 Method for description of object points of the object space and connection for its implementation

Publications (2)

Publication Number Publication Date
CN104584075A CN104584075A (zh) 2015-04-29
CN104584075B true CN104584075B (zh) 2018-12-21

Family

ID=50182593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380045519.5A Expired - Fee Related CN104584075B (zh) 2012-08-29 2013-05-13 用于描述对象空间的对象点以及用于其执行的连接方法

Country Status (11)

Country Link
US (1) US9918070B2 (zh)
EP (1) EP2904586A4 (zh)
JP (1) JP6367803B2 (zh)
KR (1) KR102112491B1 (zh)
CN (1) CN104584075B (zh)
AU (1) AU2013308155B2 (zh)
CA (1) CA2881037C (zh)
CZ (1) CZ308335B6 (zh)
EA (1) EA033516B1 (zh)
IN (1) IN2015DN01209A (zh)
WO (1) WO2014033511A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017092369A1 (zh) * 2015-12-03 2017-06-08 北京小鸟看看科技有限公司 一种头戴设备、三维视频通话系统和三维视频通话实现方法
US11683450B2 (en) * 2020-06-04 2023-06-20 FLIR Unmanned Aerial Systems AS Shutter and light signal synchronization systems and methods
US12069228B2 (en) * 2021-12-28 2024-08-20 Faro Technologies, Inc. Artificial panorama image production and in-painting for occluded areas in images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157280A1 (en) * 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
CN102137267A (zh) * 2011-03-28 2011-07-27 彩虹集团公司 一种人物场景2d转3d算法
CN102165495A (zh) * 2008-09-25 2011-08-24 皇家飞利浦电子股份有限公司 三维图像数据处理
CN102224738A (zh) * 2008-11-24 2011-10-19 皇家飞利浦电子股份有限公司 在三维图形用户界面中扩展二维图形
CN102640504A (zh) * 2009-11-13 2012-08-15 三星电子株式会社 产生用于调整3维附加视频再现信息的深度的多媒体流的方法和设备,以及接收用于调整3维附加视频再现信息的多媒体流的深度的方法和设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6858826B2 (en) * 1996-10-25 2005-02-22 Waveworx Inc. Method and apparatus for scanning three-dimensional objects
US20020122045A1 (en) * 1998-12-19 2002-09-05 Morgan Woodson Font anti-aliasing system
JP3280001B2 (ja) * 1999-09-16 2002-04-30 富士重工業株式会社 ステレオ画像の位置ずれ調整装置
JP4032843B2 (ja) * 2002-06-25 2008-01-16 富士重工業株式会社 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法
US20100002070A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
WO2005065085A2 (en) * 2003-12-21 2005-07-21 Kremen Stanley H System and apparatus for recording, transmitting, and projecting digital three-dimensional images
MX2011000728A (es) * 2008-07-21 2011-03-29 Thomson Licensing Dispositivo de codificacion multiestandar para señales de video en 3d.
JP5614902B2 (ja) * 2009-05-01 2014-10-29 トムソン ライセンシングThomson Licensing 3dvのレイヤ間依存関係情報
RU2551789C2 (ru) * 2009-10-02 2015-05-27 Конинклейке Филипс Электроникс Н.В. Выбор точек обзора для формирования дополнительных видов в 3d видео
US8908045B2 (en) * 2011-03-15 2014-12-09 David Alexander Stewart Camera device to capture and generate target lead and shooting technique data and images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102165495A (zh) * 2008-09-25 2011-08-24 皇家飞利浦电子股份有限公司 三维图像数据处理
CN102224738A (zh) * 2008-11-24 2011-10-19 皇家飞利浦电子股份有限公司 在三维图形用户界面中扩展二维图形
US20100157280A1 (en) * 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
CN102640504A (zh) * 2009-11-13 2012-08-15 三星电子株式会社 产生用于调整3维附加视频再现信息的深度的多媒体流的方法和设备,以及接收用于调整3维附加视频再现信息的多媒体流的深度的方法和设备
CN102137267A (zh) * 2011-03-28 2011-07-27 彩虹集团公司 一种人物场景2d转3d算法

Also Published As

Publication number Publication date
JP2016500162A (ja) 2016-01-07
KR20150047604A (ko) 2015-05-04
AU2013308155B2 (en) 2019-02-07
AU2013308155A1 (en) 2015-02-26
KR102112491B1 (ko) 2020-06-05
WO2014033511A1 (en) 2014-03-06
US9918070B2 (en) 2018-03-13
US20150195508A1 (en) 2015-07-09
CA2881037C (en) 2022-01-04
IN2015DN01209A (zh) 2015-06-26
EA033516B1 (ru) 2019-10-31
CZ2012586A3 (cs) 2014-03-12
CA2881037A1 (en) 2014-03-06
CZ308335B6 (cs) 2020-05-27
EP2904586A4 (en) 2016-07-13
EP2904586A1 (en) 2015-08-12
JP6367803B2 (ja) 2018-08-01
EA201590374A1 (ru) 2015-11-30
CN104584075A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
JP7048995B2 (ja) 3dライトフィールドカメラ及び撮影方法
US20190019299A1 (en) Adaptive stitching of frames in the process of creating a panoramic frame
JPH04504333A (ja) 2次元画像を3次元画像に変換する方法
US7583307B2 (en) Autostereoscopic display
US20070122029A1 (en) System and method for capturing visual data and non-visual data for multi-dimensional image display
JP2010004530A (ja) 立体映像表示装置
JP2004088757A (ja) 3次元画像表示方法、及びその装置、光方向検出器、光方向検出方法
CN104584075B (zh) 用于描述对象空间的对象点以及用于其执行的连接方法
CN106526843B (zh) 一种裸眼3d光栅的模拟方法和装置
JP2011197675A (ja) 投影システム
Park et al. 48.2: Light field rendering of multi‐view contents for high density light field 3D display
JP2010213124A (ja) 画像撮影・表示方法、画像撮影・表示装置、プログラムおよび記録媒体
Drazic et al. Optimal design and critical analysis of a high-resolution video plenoptic demonstrator
JP2006267767A (ja) 画像表示装置
KR101883883B1 (ko) 플립영상을 차단하는 무안경 원통형 홀로그램 디스플레이 방법
KR102204074B1 (ko) 3차원공간영상 디스플레이 시스템
WO2023005606A1 (zh) 一种显示装置及其显示方法
KR100489213B1 (ko) 입체영상용 뷰 파인더 시스템
Taherkhani et al. Designing a high accuracy 3D auto stereoscopic eye tracking display, using a common LCD monitor
TW202406332A (zh) 裸視三維顯示方法及裸視三維顯示裝置
JP2002027494A (ja) 立体実写映像撮影提示システム
Chen Monitoring 3D camera rigs for film production

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180611

Address after: Slovakia

Applicant after: Beistar3D Ltd.

Address before: Room 1010, 10 / F, Mei Hua building, 132 Nathan Road, Tsim Sha Tsui, Hongkong, China

Applicant before: Beistar3D Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181221

CF01 Termination of patent right due to non-payment of annual fee