CN109788195A - 电子设备和移动平台 - Google Patents
电子设备和移动平台 Download PDFInfo
- Publication number
- CN109788195A CN109788195A CN201910007545.8A CN201910007545A CN109788195A CN 109788195 A CN109788195 A CN 109788195A CN 201910007545 A CN201910007545 A CN 201910007545A CN 109788195 A CN109788195 A CN 109788195A
- Authority
- CN
- China
- Prior art keywords
- optical receiver
- laser pulse
- transmitting set
- optical
- application processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 586
- 230000008859 change Effects 0.000 claims description 30
- 230000000712 assembly Effects 0.000 claims description 11
- 238000000429 assembly Methods 0.000 claims description 11
- 210000001367 artery Anatomy 0.000 claims description 10
- 238000004080 punching Methods 0.000 claims description 10
- 210000003462 vein Anatomy 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000001727 in vivo Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000010006 flight Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009183 running Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请公开了一种电子设备和移动平台。电子设备包括本体和设置在本体上的多个飞行时间组件。多个飞行时间组件分别位于本体的多个不同方位。每个飞行时间组件均包括光发射器和光接收器。光发射器用于向本体外发射激光脉冲,光接收器用于接收被摄目标反射的对应的光发射器发射的激光脉冲。相邻方位的飞行时间组件中的光发射器分时发射激光脉冲,相邻方位的飞行时间组件中的光接收器分时曝光,以获取全景深度图像。本申请实施方式的电子设备和移动平台中,位于本体的相邻方位的光发射器分时发射激光、光接收器分时曝光,以获取全景深度图像,能够一次性获取到较为全面的深度信息。
Description
技术领域
本申请涉及图像采集技术领域,更具体而言,涉及一种电子设备和移动平台。
背景技术
为了使得电子设备的功能更加多样化,电子设备上可以设置有深度图像获取装置,以获取被摄目标的深度图像。然而,目前的深度图像获取装置只能够获取一个方向或一个角度范围内的深度图像,获取到的深度信息较少。
发明内容
本申请实施方式提供一种电子设备和移动平台。
本申请实施方式的电子设备包括本体和设置在所述本体上的多个飞行时间组件,多个所述飞行时间组件分别位于所述本体的多个不同方位,每个所述飞行时间组件均包括光发射器和光接收器,所述光发射器用于向所述本体外发射激光脉冲,所述光接收器用于接收被摄目标反射的对应的所述光发射器发射的所述激光脉冲;相邻方位的所述飞行时间组件中的所述光发射器分时发射所述激光脉冲,相邻方位的所述飞行时间组件中的所述光接收器分时曝光,以获取全景深度图像。
本申请实施方式的移动平台包括本体和设置在所述本体上的多个飞行时间组件,多个所述飞行时间组件分别位于所述本体的多个不同方位,每个所述飞行时间组件均包括光发射器和光接收器,所述光发射器用于向所述本体外发射激光脉冲,所述光接收器用于接收被摄目标反射的对应的所述光发射器发射的所述激光脉冲;相邻方位的所述飞行时间组件中的所述光发射器分时发射所述激光脉冲,相邻方位的所述飞行时间组件中的所述光接收器分时曝光,以获取全景深度图像。
本申请实施方式的电子设备和移动平台中,位于本体的相邻方位的光发射器分时发射激光、光接收器分时曝光,以获取全景深度图像,能够一次性获取到较为全面的深度信息。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本申请某些实施方式的电子设备的结构示意图;
图2是本申请某些实施方式的电子设备的模块示意图;
图3是本申请某些实施方式的多个光发射器分时发射激光脉冲的时间以及多个光接收器分时曝光的时间示意图;
图4(a)和图4(b)是本申请某些实施方式的多个光发射器分时发射激光脉冲的时间以及多个光接收器分时曝光的时间示意图;
图5(a)和图5(b)是本申请某些实施方式的多个光发射器分时发射激光脉冲的时间以及多个光接收器分时曝光的时间示意图;
图6(a)至图6(c)是本申请某些实施方式的多个光发射器分时发射激光脉冲的时间以及多个光接收器分时曝光的时间示意图;
图7是本申请某些实施方式的相邻方位的光发射器分时发射激光脉冲的时间以及相邻方位的光接收器分时曝光的时间示意图;
图8是本申请某些实施方式的电子设备的模块示意图;
图9是本申请某些实施方式的电子设备的应用场景示意图;
图10是本申请某些实施方式的初始深度图像拼接的坐标系示意图;
图11至图15是本申请某些实施方式的电子设备的应用场景示意图;
图16至图19是本申请某些实施方式的移动平台的结构示意图。
具体实施方式
以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图描述的本申请的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的限制。
请一并参阅图1和图2,本申请实施方式的电子设备100包括本体10、飞行时间组件20、摄像头组件30、微处理器40和应用处理器50。
本体10包括多个不同方位。例如图1中,本体10可具有四个不同方位,沿顺时针方向依次为:第一方位、第二方位、第三方位和第四方位,第一方位与第三方位相背,第二方位与第四方位相背。第一方位即为与本体10的右侧对应的方位、第二方位即为与本体10的下方对应的方位、第三方位即为与本体10的左侧对应的方位、第四方位即为与本体10的上方对应的方位。
飞行时间组件20设置在本体10上。飞行时间组件20的数量可以为多个,多个飞行时间组件20分别位于本体10的多个不同方位。具体地,飞行时间组件20的数量可为四个,分别为飞行时间组件20a、飞行时间组件20b、飞行时间组件20c和飞行时间组件20d。飞行时间组件20a设置在第一方位,飞行时间组件20b设置在第二方位,飞行时间组件20c设置在第三方位,飞行时间组件20d设置在第四方位。当然,飞行时间组件20的数量也可以为八个(或其他任意大于两个的数量,尤其是任意大于四个的数量),第一方位、第二方位、第三方位和第四方位可各设置两个(或其他数量)飞行时间组件20。本申请实施方式以飞行时间组件20的数量是四个为例进行说明,可以理解,四个飞行时间组件20即可实现获取全景深度图像(全景深度图像指的是该全景深度图像的视场角大于或等于180度,例如,全景深度图像的视场角可为180度、240度、360度、480度、720度等等),且有利于节省电子设备100的制造成本、以及减小电子设备100的体积和功耗等。本实施方式的电子设备100可以是设置有多个飞行时间组件20的手机、平板电脑、笔记本电脑等便携式电子装置,此时,本体10可以为手机机身,平板电脑机身,笔记本电脑机身等。
每个飞行时间组件20均包括光发射器22和光接收器24。光发射器22用于向本体10外发射激光脉冲,光接收器24用于接收被摄目标反射的对应的光发射器22发射的激光脉冲。具体地,飞行时间组件20a包括光发射器22a和光接收器24a,飞行时间组件20b包括光发射器22b和光接收器24b,飞行时间组件20c包括光发射器22c和光接收器24c,飞行时间组件20d包括光发射器22d和光接收器24d。光发射器22a、光发射器22b、光发射器22c和光发射器22d分别用于向本体10外第一方位、第二方位、第三方位和第四方位发射激光脉冲,光接收器24a、光接收器24b、光接收器24c和光接收器24d分别用于接收第一方位的被摄目标反射的光发射器22a发射的激光脉冲、第二方位的被摄目标反射的光发射器22b发射的激光脉冲、第三方位的被摄目标反射的光发射器22c发射的激光脉冲、第四方位的被摄目标反射的光发射器22d发射的激光脉冲,从而能够覆盖本体10外的各个不同区域,相较于现有的需要旋转360度才能获取较为全面的深度信息而言,本实施方式的电子设备100能够不旋转就可一次性获取较为全面的深度信息,执行简单且响应速度迅速。
每个光发射器22及每个光接收器24的视场角均为80度~100度中的任意值。下面以光接收器24的视场角为例进行说明,光发射器22的视场角可以与对应的光接收器24的视场角相同或近似相同,在此不重复说明。
在一个实施例中,光接收器24a、光接收器24b、光接收器24c和光接收器24d的视场角均为80度。当光接收器24的视场角不超过80度时,镜头畸变较小,获取的初始深度图像质量较好,从而得到的全景深度图像质量也较好,且能够获取到较为准确的深度信息。
在一个实施例中,光接收器24a、光接收器24b、光接收器24c和光接收器24d的视场角之和等于360度。具体地,光接收器24a、光接收器24b、光接收器24c和光接收器24d的视场角可以均为90度,且四个光接收器24相互之间的视场角互不交叠,以实现获取360度或近似360度的全景深度图像。或者,光接收器24a的视场角可为80度、光接收器24b的视场角为100度、光接收器24c的视场角为80度、光接收器24d的视场角为100度等,四个光接收器24通过角度互补实现获取360度或近似360度的全景深度图像。
在一个实施例中,光接收器24a、光接收器24b、光接收器24c和光接收器24d的视场角之和大于360度,四个光接收器24中的至少两个光接收器24相互之间的视场角交叠。具体地,光接收器24a、光接收器24b、光接收器24c和光接收器24d的视场角可以均为100度,四个光接收器24两两之间的视场角相互交叠。在获取全景深度图像时,可以先识别四个初始深度图像的边缘交叠部分,再将四个初始深度图像拼接为360度的全景深度图像。由于四个光接收器24两两之间的视场角相互交叠,可以确保获取的全景深度图像覆盖本体10外360度的深度信息。
当然,每个光接收器24(及每个光发射器22)的视场角的具体数值并不限于上述举例,本领域的技术人员可以根据需要将光接收器24(及光发射器22)的视场角设定为80度~100度之间的任意数值,例如:光接收器24的视场角为80度、82度、84度、86度、90度、92度、94度、96度、98度、100度或任意二者之间的任意值,光发射器22的视场角为80度、82度、84度、86度、90度、92度、94度、96度、98度、100度或任意二者之间的任意值,在此不作限制。
请继续参阅图1和图2,一般情况下,相邻方位的光发射器22发射的激光脉冲相互之间容易造成干扰,而处于对立方位的光发射器22发射的激光脉冲相互之间不易造成干扰。因此,为了避免这种相互干扰,提高获取的深度信息的准确性,相邻方位的光发射器22可以分时发射激光脉冲,与之对应的,相邻方位的光接收器24也分时曝光,以获取全景深度图像。具体地,第一方位的光发射器22a与第二方位的光发射器22b分时发射激光脉冲,第一方位的光发射器22a与第四方位的光发射器22d分时发射激光脉冲,第三方位的光发射器22c与第二方位的光发射器22b分时发射激光脉冲,第三方位的光发射器22c与第四方位的光发射器22d分时发射激光脉冲。而第一方位的光发射器22a与第三方位的光发射器22c可以同时发射激光脉冲,或者分时发射激光脉冲;第二方位的光发射器22b与第四方位的光发射器22d可以同时发射激光脉冲,或者分时发射激光脉冲,在此不作限制。同理,第一方位的光接收器24a与第二方位的光接收器24b分时曝光,第一方位的光接收器24a与第四方位的光接收器24d分时曝光,第三方位的光接收器24c与第二方位的光接收器24b分时曝光,第三方位的光接收器24c与第四方位的光接收器24d分时曝光。而第一方位的光接收器24a与第三方位的光接收器24c可以同时曝光,或者分时曝光;第二方位的光接收器24b与第四方位的光接收器24d可以同时曝光,或者分时曝光,在此不作限制。
较佳地,多个飞行时间组件20中的光发射器22分时发射激光脉冲,与之对应的,多个飞行时间组件20中的光接收器24也分时曝光,以获取全景深度图像。其中,当任意一个飞行时间组件20中的光接收器24曝光时,其他的飞行时间组件20中的光发射器22均关闭。每个光接收器24仅能接收到对应的光发射器22发射的激光脉冲,而不会接收到其余光发射器22发射的激光脉冲,从而可以更好地避免上述的干扰问题,保证接收的激光脉冲的准确性。
具体地,请参阅图3和图4,在一个实施例中,多个飞行时间组件20中的多个光发射器22依次接续且不间断地发射激光脉冲,每个飞行时间组件20中的光接收器24的曝光时间位于该光发射器22发射激光脉冲的时间范围内。光发射器22a、光发射器22b、光发射器22c和光发射器22d分时发射激光脉冲,且在光发射器22a停止发射激光脉冲的时刻,光发射器22b立即从该时刻开始发射激光脉冲,在光发射器22b停止发射激光脉冲的时刻,光发射器22c立即从该时刻开始发射激光脉冲,在光发射器22c停止发射激光脉冲的时刻,光发射器22d立即从该时刻开始发射激光脉冲,在光发射器22d停止发射激光脉冲的时刻,光发射器22a立即从该时刻开始发射激光脉冲。光发射器22a、光发射器22b、光发射器22c和光发射器22d发射激光脉冲的时间共同组成一个交替周期T。此时,光接收器24a、光接收器24b、光接收器24c和光接收器24d的曝光方式可以包括以下两种:
(1)光接收器24a、光接收器24b、光接收器24c和光接收器24d依次接续且不间断地曝光。具体地,四个光接收器24的曝光时间分别与对应的光发射器22发射激光脉冲的时间一致。如图3所示,光接收器24a、光接收器24b、光接收器24c和光接收器24d依次交替曝光。光接收器24a的曝光开始时刻与当前交替周期T的光发射器22a发射激光脉冲的开始时刻一致,光接收器24a的曝光截止时刻与当前交替周期T的光发射器22a发射激光脉冲的截止时刻一致;光接收器24b的曝光开始时刻与当前交替周期T的光发射器22b发射激光脉冲的开始时刻一致,光接收器24b的曝光截止时刻与当前交替周期T的光发射器22b发射激光脉冲的截止时刻一致;光接收器24c的曝光开始时刻与当前交替周期T的光发射器22c发射激光脉冲的开始时刻一致,光接收器24c的曝光截止时刻与当前交替周期T的光发射器22c发射激光脉冲的截止时刻一致;光接收器24d的曝光开始时刻与当前交替周期T的光发射器22d发射激光脉冲的开始时刻一致,光接收器24d的曝光截止时刻与当前交替周期T的光发射器22d发射激光脉冲的截止时刻一致。此时,光接收器24a仅能接收到光发射器22a发射的激光脉冲,而接收不到光发射器22b、光发射器22c和光发射器22d发射的激光脉冲;光接收器24b仅能接收到光发射器22b发射的激光脉冲,而接收不到光发射器22a、光发射器22c和光发射器22d发射的激光脉冲;光接收器24c仅能接收到光发射器22c发射的激光脉冲,而接收不到光发射器22a、光发射器22b和光发射器22d发射的激光脉冲;光接收器24d仅能接收到光发射器22d发射的激光脉冲,而接收不到光发射器22a、光发射器22b和光发射器22c发射的激光脉冲。光接收器24a、光接收器24b、光接收器24c和光接收器24d依次接续且不间断地曝光的控制方式中,光接收器24a和光发射器22a同步控制,光接收器24b和光发射器22b同步控制,光接收器24c和光发射器22c同步控制,光接收器24d和光发射器22d同步控制,控制逻辑较为简单。
(2)如图4所示,光接收器24a、光接收器24b、光接收器24c和光接收器24d依次接续且间隔预定时间曝光。其中,至少一个光接收器24的曝光时间要小于对应的光发射器22发射激光脉冲的时间。具体地,如图4(a)所示,在一个例子中,光接收器24a、光接收器24b、光接收器24c和光接收器24d依次交替曝光。光接收器24a的曝光时间小于光发射器22a发射激光脉冲的时间,光接收器24b的曝光时间等于光发射器22b发射激光脉冲的时间,光接收器24c的曝光时间小于光发射器22c发射激光脉冲的时间,光接收器24d的曝光时间等于光发射器22d发射激光脉冲的时间。光接收器24a的曝光开始时刻大于当前交替周期T的光发射器22a发射激光脉冲的开始时刻,曝光截止时刻小于当前交替周期T的光发射器22a发射激光脉冲的截止时刻;光接收器24b的曝光开始时刻和曝光截止时刻分别与当前交替周期T的光发射器22b发射激光脉冲的开始时刻和截止时刻一致;光接收器24c的曝光开始时刻大于当前交替周期T的光发射器22c发射激光脉冲的开始时刻,曝光截止时刻小于当前交替周期T的光发射器22c发射激光脉冲的截止时刻;光接收器24d的曝光开始时刻和曝光截止时刻分别与当前交替周期T的光发射器22d发射激光脉冲的开始时刻和截止时刻一致。光接收器24a曝光截止时刻与当前交替周期T的光接收器24b的曝光开始时刻之间间隔预定时间Δt1,光接收器24b曝光截止时刻与当前交替周期T的光接收器24c的曝光开始时刻之间间隔预定时间Δt2,光接收器24c曝光截止时刻与当前交替周期T的光接收器24d的曝光开始时刻之间间隔预定时间Δt3,光接收器24d的曝光截止时刻与下一交替周期T的光接收器24a的曝光开始时刻之间间隔预定时间Δt4,Δt1、Δt2、Δt3和Δt4可以全部相等,或者全部不等,或者部分相等、部分不等。光接收器24a仅能接收到光发射器22a发射的激光脉冲,光接收器24b仅能接收到光发射器22b发射的激光脉冲,光接收器24c仅能接收到光发射器22c发射的激光脉冲,光接收器24d仅能接收到光发射器22d发射的激光脉冲。如图4(b)所示,在另一个例子中,光接收器24a、光接收器24b、光接收器24c和光接收器24d依次交替曝光。光接收器24a的曝光时间小于光发射器22a发射激光脉冲的时间,光接收器24b的曝光时间小于光发射器22b发射激光脉冲的时间,光接收器24c的曝光时间小于光发射器22c发射激光脉冲的时间,光接收器24d的曝光时间小于光发射器22d发射激光脉冲的时间。光接收器24a的曝光开始时刻大于当前交替周期T的光发射器22a发射激光脉冲的开始时刻,曝光截止时刻小于当前交替周期T的光发射器22a发射激光脉冲的截止时刻;光接收器24b的曝光开始时刻大于当前交替周期T的光发射器22b发射激光脉冲的开始时刻,曝光截止时刻小于当前交替周期T的光发射器22b发射激光脉冲的截止时刻;光接收器24c的曝光开始时刻大于当前交替周期T的光发射器22c发射激光脉冲的开始时刻,曝光截止时刻小于当前交替周期T的光发射器22c发射激光脉冲的截止时刻;光接收器24d的曝光开始时刻大于当前交替周期T的光发射器22d发射激光脉冲的开始时刻,曝光截止时刻小于当前交替周期T的光发射器22d发射激光脉冲的截止时刻。光接收器24a曝光截止时刻与当前交替周期T的光接收器24b的曝光开始时刻之间间隔预定时间Δt1,光接收器24b曝光截止时刻与当前交替周期T的光接收器24c的曝光开始时刻之间间隔预定时间Δt2,光接收器24c曝光截止时刻与当前交替周期T的光接收器24d的曝光开始时刻之间间隔预定时间Δt3,光接收器24d的曝光截止时刻与下一交替周期T的光接收器24a的曝光开始时刻之间间隔预定时间Δt4,Δt1、Δt2、Δt3和Δt4可以全部相等,或者全部不等,或者部分相等、部分不等。光接收器24a仅能接收到光发射器22a发射的激光脉冲,光接收器24b仅能接收到光发射器22b发射的激光脉冲,光接收器24c仅能接收到光发射器22c发射的激光脉冲,光接收器24d仅能接收到光发射器22d发射的激光脉冲。光接收器24a、光接收器24b、光接收器24c和光接收器24d依次接续且间隔预定时间曝光的控制方式中,至少一个光接收器24的曝光时间相较于对应的光发射器22发射激光脉冲的时间更短,有利于减小电子设备100的功耗。
多个飞行时间组件20中的多个光发射器22依次接续且不间断地发射激光脉冲的控制方式中,飞行时间组件20采集初始深度图像的帧率较高,适用于对采集初始深度图像的帧率要求较高的场景。
请参阅图5和图6,在另一个实施例中,多个飞行时间组件20中的多个光发射器22依次接续且间隔预定时间发射激光脉冲,即光发射器22a、光发射器22b、光发射器22c和光发射器22d交替发射激光脉冲,光发射器22a发射激光脉冲的截止时刻与当前交替周期T中的光发射器22b发射激光脉冲的开始时刻之间间隔预定时间Δt5,光发射器22b发射激光脉冲的截止时刻与当前交替周期T中的光发射器22c发射激光脉冲的开始时刻之间间隔预定时间Δt6,光发射器22c发射激光脉冲的截止时刻与当前交替周期T中的光发射器22d发射激光脉冲的开始时刻之间间隔预定时间Δt7,光发射器22d发射激光脉冲的截止时刻与下一交替周期T中的光发射器22a发射激光脉冲的开始时刻之间间隔预定时间Δt8,Δt5、Δt6、Δt7和Δt8可以全部相等,或者全部不等,或者部分相等、部分不等,其中,光发射器22a、光发射器22b、光发射器22c和光发射器22d发射激光脉冲的时间、以及预定时间Δt5、预定时间Δt6、预定时间Δt7和预定时间Δt8共同组成一个交替周期T。此时,光接收器24a、光接收器24b、光接收器24c和光接收器24d的曝光方式可以包括以下两种:
(1)光接收器24a、光接收器24b、光接收器24c和光接收器24d依次接续且不间断地曝光。具体地,如图5(a)所示,在一个例子中,光接收器24a的曝光开始时刻与当前交替周期T的光发射器22a发射激光脉冲的开始时刻一致,曝光截止时刻与当前交替周期T的光发射器22a发射激光脉冲的截止时刻一致;光接收器24b的曝光开始时刻与当前交替周期T的光发射器22a发射激光脉冲的截止时刻一致,曝光截止时刻与当前交替周期T的光发射器22c发射激光脉冲的开始时刻一致;光接收器24c的曝光开始时刻与当前交替周期T的光发射器22c发射激光脉冲的开始时刻一致,曝光截止时刻与当前交替周期T的光发射器22c发射激光脉冲的截止时刻一致;光接收器24d的曝光开始时刻与当前交替周期T的光发射器22c发射激光脉冲的截止时刻一致,曝光截止时刻与下一交替周期T的光发射器22a发射激光脉冲的开始时刻一致。光接收器24a仅能接收到光发射器22a发射的激光脉冲,光接收器24b仅能接收到光发射器22b发射的激光脉冲,光接收器24c仅能接收到光发射器22c发射的激光脉冲,光接收器24d仅能接收到光发射器22d发射的激光脉冲。如图5(b)所示,在另一个例子中,光接收器24a的曝光开始时刻与当前交替周期T的光发射器22a发射激光脉冲的开始时刻一致,曝光截止时刻与当前交替周期T的光发射器22b发射激光脉冲的开始时刻一致;光接收器24b的曝光开始时刻与当前交替周期T的光发射器22b发射激光脉冲的开始时刻一致,曝光截止时刻与当前交替周期T的光发射器22c发射激光脉冲的开始时刻一致;光接收器24c的曝光开始时刻与当前交替周期T的光发射器22c发射激光脉冲的开始时刻一致,曝光截止时刻与当前交替周期T的光发射器22d发射激光脉冲的开始时刻一致;光接收器24d的曝光开始时刻与当前交替周期T的光发射器22d发射激光脉冲的开始时刻一致,曝光截止时刻与下一交替周期T光发射器22a发射激光脉冲的开始时刻一致。光接收器24a仅能接收到光发射器22a发射的激光脉冲,光接收器24b仅能接收到光发射器22b发射的激光脉冲,光接收器24c仅能接收到光发射器22c发射的激光脉冲,光接收器24d仅能接收到光发射器22d发射的激光脉冲。
(2)光接收器24a、光接收器24b、光接收器24c和光接收器24d依次接续且间隔预定时间曝光。具体地,如图6(a)所示,在一个例子中,光接收器24a的曝光开始时刻与曝光截止时刻分别与当前交替周期T的光发射器22a发射激光脉冲的开始时刻和截止时刻一致;光接收器24b的曝光开始时刻与曝光截止时刻分别与当前交替周期T的光发射器22b发射激光脉冲的开始时刻和截止时刻一致;光接收器24c的曝光开始时刻与曝光截止时刻分别与当前交替周期T的光发射器22c发射激光脉冲的开始时刻和截止时刻一致;光接收器24d的曝光开始时刻和曝光截止时刻分别与当前交替周期T的光发射器22d发射激光脉冲的开始时刻和截止时刻一致。光接收器24a的曝光截止时刻与当前交替周期T的光接收器24b的曝光开始时刻间隔预定时间Δt5,光接收器24b的曝光截止时刻与当前交替周期T的光接收器24c的曝光开始时刻间隔预定时间Δt6,光接收器24c的曝光截止时刻与当前交替周期T的光接收器24d的曝光开始时刻间隔预定时间Δt7,光接收器24d的曝光截止时刻与下一交替周期T的光接收器24a的曝光开始时刻间隔预定时间Δt8。Δt5、Δt6、Δt7和Δt8可以全部相等,或者全部不等,或者部分相等、部分不等。光接收器24a仅能接收到光发射器22a发射的激光脉冲,光接收器24b仅能接收到光发射器22b发射的激光脉冲,光接收器24c仅能接收到光发射器22c发射的激光脉冲,光接收器24d仅能接收到光发射器22d发射的激光脉冲。如图6(b)所示,在另一个例子中,光接收器24a的曝光开始时刻与曝光截止时刻分别与当前交替周期T的光发射器22a发射激光脉冲的开始时刻和截止时刻一致;光接收器24b的曝光开始时刻小于当前交替周期T的光发射器22b发射激光脉冲的开始时刻,曝光截止时刻小于当前交替周期T的光发射器22c发射激光脉冲的开始时刻;光接收器24c的曝光开始时刻与曝光截止时刻分别与当前交替周期T的光发射器22c发射激光脉冲的开始时刻和截止时刻一致;光接收器24d的曝光开始时刻小于当前交替周期T的光发射器22d发射激光脉冲的开始时刻,曝光截止时刻小于下一交替周期T的光发射器22a发射激光脉冲的开始时刻。光接收器24a的曝光截止时刻与当前交替周期T的光接收器24b的曝光开始时刻间隔预定时间Δt9,光接收器24b的曝光截止时刻与当前交替周期T的光接收器24c的曝光开始时刻间隔预定时间Δt10,光接收器24c的曝光截止时刻与当前交替周期T的光接收器24d的曝光开始时刻间隔预定时间Δt11,光接收器24d的曝光截止时刻与下一交替周期T的光接收器24a的曝光开始时刻间隔预定时间Δt12。Δt9、Δt10、Δt11和Δt12可以全部相等,或者全部不等,或者部分相等、部分不等。光接收器24a仅能接收到光发射器22a发射的激光脉冲,光接收器24b仅能接收到光发射器22b发射的激光脉冲,光接收器24c仅能接收到光发射器22c发射的激光脉冲,光接收器24d仅能接收到光发射器22d发射的激光脉冲。如图6(c)所示,在又一个例子中,光接收器24a的曝光开始时刻大于前一交替周期T的光发射器22d发射激光脉冲的截止时刻,曝光截止时刻小于当前交替周期T的光发射器22b发射激光脉冲的开始时刻;光接收器24a的曝光开始时刻大于前一交替周期T的光接收器24d的曝光截止时刻,曝光截止时刻小于当前交替周期T的光接收器24b的曝光开始时刻。光接收器24b的曝光开始时刻大于当前交替周期T的光发射器22a发射激光脉冲的截止时刻,曝光截止时刻小于当前交替周期T的光发射器22c发射激光脉冲的开始时刻;光接收器24b的曝光开始时刻大于当前交替周期T的光接收器24a的曝光截止时刻,曝光截止时刻小于当前交替周期T的光接收器24c的曝光开始时刻。光接收器24c的曝光开始时刻大于当前交替周期T的光发射器22b发射激光脉冲的截止时刻,曝光截止时刻小于当前交替周期T的光发射器22d发射激光脉冲的开始时刻;光接收器24c的曝光开始时刻大于当前交替周期T的光接收器24b的曝光截止时刻,曝光截止时刻小于当前交替周期T的光接收器24d的曝光开始时刻。光接收器24d的曝光开始时刻大于当前交替周期T的光发射器22c发射激光脉冲的截止时刻,曝光截止时刻小于下一交替周期T的光发射器22a发射激光脉冲的开始时刻;光接收器24d的曝光开始时刻大于当前交替周期T的光接收器24c的曝光截止时刻,曝光截止时刻小于下一交替周期T的光接收器24a的曝光开始时刻。光接收器24a的曝光截止时刻与当前交替周期T的光接收器24b的曝光开始时刻间隔预定时间Δt9,光接收器24b的曝光截止时刻与当前交替周期T的光接收器24c的曝光开始时刻间隔预定时间Δt10,光接收器24c的曝光截止时刻与当前交替周期T的光接收器24d的曝光开始时刻间隔预定时间Δt11,光接收器24d的曝光截止时刻与下一交替周期T的光接收器24a的曝光开始时刻间隔预定时间Δt12。Δt9、Δt10、Δt11和Δt12可以全部相等,或者全部不等,或者部分相等、部分不等。
多个飞行时间组件20中的多个光发射器22依次接续且间隔预定时间发射激光脉冲的控制方式中,飞行时间组件20采集初始深度图像的帧率较低,适用于对采集初始深度图像的帧率要求较低的场景,同时有利于减小电子设备100的功耗。
另外,如前所述,当相邻方位的光发射器22分时发射激光脉冲、相邻方位的光接收器24分时曝光时,第一方位的光发射器22a与第三方位的光发射器22c可以同时发射激光脉冲,第一方位的光接收器24a与第三方位的光接收器24c可以同时曝光,第二方位的光发射器22b与第四方位的光发射器22d可以同时发射激光脉冲,第二方位的光接收器24b与第四方位的光接收器24d可以同时曝光。此时请参阅图7,光发射器22a发射激光脉冲的时间(即光发射器22c发射激光脉冲的时间)和光发射器22b发射激光脉冲的时间(即光发射器22d发射激光脉冲的时间)共同组成一个交替周期T(一个交替周期T内也可包括前述各个预定时间Δt)。光发射器22a、光发射器22b、光发射器22c和光发射器22d可以当成两个光发射器22来进行控制,光接收器24a、光接收器24b、光接收器24c和光接收器24d也可以当成两个光接收器24来进行控制,控制方式参照前述图3~图6及其对应解释,在此不详细展开说明。
请参阅图1和图2,摄像头组件30设置在本体10上。摄像头组件30的数量可以为多个,每个摄像头组件30对应一个飞行时间组件20。例如,当飞行时间组件20的数量为四个时,摄像头组件30的数量也为四个,四个摄像头组件30分别设置在第一方位、第二方位、第三方位和第四方位。
多个摄像头组件30均与应用处理器50连接。每个摄像头组件30用于采集被摄目标的场景图像并输出至应用处理器50。本实施方式中,四个摄像头组件30分别用于采集第一方位的被摄目标的场景图像、第二方位的被摄目标的场景图像、第三方位的被摄目标的场景图像、第四方位的被摄目标的场景图像并分别输出至应用处理器50。可以理解,每个摄像头组件30与对应的飞行时间组件20的光接收器24的视场角相同或近似相同,以使得每个场景图像能够与对应的初始深度图像能够更好的匹配。
摄像头组件30可以是可见光摄像头32,或者是红外光摄像头34。当摄像头组件30为可见光摄像头32时,场景图像为可见光图像;当摄像头组件30为红外光摄像头34时,场景图像为红外光图像。
请参阅图2,微处理器40可以是处理芯片。微处理器40的数量可以为多个,每个微处理器40对应一个飞行时间组件20。例如,本实施方式中,当飞行时间组件20的数量为四个,微处理器40的数量也为四个。每个微处理器40与对应的飞行时间组件20中的光发射器22和光接收器24均连接。每个微处理器40可通过驱动电路驱动对应的光发射器22发射激光,并通过多个微处理器40的控制实现多个光发射器22同时发射激光。每个微处理器40还用于给对应的光接收器24提供接收激光脉冲的时钟信息以使得光接收器24曝光,并通过多个微处理器40的控制实现多个光接收器24的同时曝光。每个微处理器40还用于根据对应的光发射器22发射的激光脉冲和光接收器24接收的激光脉冲得到初始深度图像。例如,四个微处理器40分别根据光发射器22a发射的激光脉冲和光接收器24a接收的激光脉冲得到初始深度图像P1、根据光发射器22b发射的激光脉冲和光接收器24b接收的激光脉冲得到初始深度图像P2、根据光发射器22c发射的激光脉冲和光接收器24c接收的激光脉冲得到初始深度图像P3、根据光发射器22d发射的激光脉冲和光接收器24d接收的激光脉冲得到初始深度图像P4(如图9的上部分所示)。每个微处理器40还可以对初始深度图像进行面片化、畸变校正、自校准等算法处理,以提高初始深度图像的质量。
在另一个实施例中,如图8所示,微处理器40的数量也可以为一个。此时,微处理器40同时与多个飞行时间组件20中的光发射器22和光接收器24连接。具体地,微处理器40同时与光发射器22a、光接收器24a、光发射器22b、光接收器24b、光发射器22c、光接收器24c、光发射器22d和光接收器24d连接。一个微处理器40可以分时控制多个不同的驱动电路分别驱动多个光发射器22发射激光脉冲,还可以分时给多个光接收器24提供接收激光脉冲的时钟信息使得多个光接收器24分时曝光,并依次根据多个光发射器22发射的激光脉冲和多个光接收器24接收的激光脉冲得到多个初始深度图像。例如,微处理器40先根据光发射器22a发射的激光脉冲和光接收器24a接收的激光脉冲得到初始深度图像P1,再根据光发射器22b发射的激光脉冲和光接收器24b接收的激光脉冲得到初始深度图像P2,再根据光发射器22c发射的激光脉冲和光接收器24c接收的激光脉冲得到初始深度图像P3,最后根据光发射器22d发射的激光脉冲和光接收器24d接收的激光脉冲得到初始深度图像P4(如图9的上部分所示)。多个微处理器40相对于一个微处理器40而言,处理速度更快,延时较小。但一个微处理器40相对于多个微处理器40而言,有利于减小电子设备100的体积,还有利于减少电子设备100的制造成本。
当微处理器40为多个时,多个微处理器40均与应用处理器50连接,以将初始深度图像传输至应用处理器50。当微处理器40为一个时,一个微处理器40与应用处理器50连接,以将初始深度图像传输至应用处理器50。在一个实施例中,微处理器40可通过移动产业处理器接口(Mobile Industry Processor Interface,MIPI)与应用处理器50连接,具体地,微处理器40通过移动产业处理器接口与应用处理器50的可信执行环境(TrustedExecution Environment,TEE)连接,以将微处理器40中的数据(初始深度图像)直接传输到可信执行环境中,以提高电子设备100内的信息的安全性。其中,可信执行环境中的代码和内存区域都是受访问控制单元控制的,不能被非可信执行环境(Rich ExecutionEnvironment,REE)中的程序所访问,可信执行环境和非可信执行环境均可以形成在应用处理器50中。
应用处理器50可以作为电子设备100的系统。应用处理器50可以重置微处理器40、唤醒(wake)微处理器40、纠错(debug)微处理器40等。应用处理器50还可以与电子设备100的多个电子元器件连接并控制该多个电子元器件按照预定的模式运行,例如应用处理器50与可见光摄像头32和红外光摄像头34连接,以控制可见光摄像头32和红外光摄像头34拍摄可见光图像和红外光图像,并处理该可见光图像和红外光图像;当电子设备100包括显示屏时,应用处理器50可以控制显示屏显示预定的画面;应用处理器50还可以控制电子设备100的天线发送或接收预定的数据等。
请参阅图9,在一个实施例中,应用处理器50用于根据光接收器24的视场角将多个微处理器40获取的多个初始深度图像合成为一帧全景深度图像,或者根据光接收器24的视场角将一个微处理器40依次获取的多个初始深度图像合成为一帧全景深度图像。
具体地,请结合图1,以本体10的中心为圆心O,以横轴线为X轴,以纵轴线为Y轴建立直角坐标系XOY,在该直角坐标系XOY中,光接收器24a的视场位于45度~315度之间(顺时针旋转,后同),光接收器24b的视场位于315度~225度之间,光接收器24c的视场位于225度~135度之间,光接收器24d的视场位于135度~45度之间,则应用处理器50根据四个光接收器24的视场角将初始深度图像P1、初始深度图像P2、初始深度图像P3、初始深度图像P4依次拼接为一帧360度的全景深度图像P1234,以便深度信息的使用。
微处理器40根据光发射器22发射的激光脉冲和光接收器24接收的激光脉冲得到的初始深度图像中,每个像素的深度信息为对应方位的被摄目标与该方位上的光接收器24之间的距离。即,初始深度图像P1中每个像素的深度信息为第一方位的被摄目标与光接收器24a之间的距离;初始深度图像P2中每个像素的深度信息为第二方位的被摄目标与光接收器24b之间的距离;初始深度图像P3中每个像素的深度信息为第三方位的被摄目标与光接收器24c之间的距离;初始深度图像P4中每个像素的深度信息为第四方位的被摄目标与光接收器24d之间的距离。在将多个方位的多个初始深度图像拼接为一帧360度的全景深度图像的过程中,首先要将每个初始深度图像中每个像素的深度信息转化成统一化深度信息,统一化深度信息表示各个方位的各个被摄目标与某个基准位置的距离。深度信息转化为统一化深度信息后,方便应用处理器40根据统一化深度信息做初始深度图像的拼接。
具体地,选择一个基准坐标系,基准坐标系可以是以某一个方位的光接收器24的图像坐标系作为基准坐标系,也可以是选择其他的坐标系作为基准坐标系。以图10为例,以xo-yo-zo坐标系为基准坐标系。图10所示的坐标系xa-ya-za为光接收器24a的图像坐标系,坐标系xb-yb-zb为光接收器24b的图像坐标系,坐标系xc-yc-zc为光接收器24c的图像坐标系,坐标系xd-yd-zd为光接收器24d的图像坐标系。应用处理器50根据坐标系xa-ya-za与基准坐标系xo-yo-zo之间的旋转矩阵和平移矩阵将初始深度图像P1中每个像素的深度信息转换为统一化深度信息,根据坐标系xb-yb-zb与基准坐标系xo-yo-zo之间的旋转矩阵和平移矩阵将初始深度图像P2中每个像素的深度信息转换为统一化深度信息,根据坐标系xc-yc-zc与基准坐标系xo-yo-zo之间的旋转矩阵和平移矩阵将初始深度图像P3中每个像素的深度信息转换为统一化深度信息;根据坐标系xd-yd-zd与基准坐标系xo-yo-zo之间的旋转矩阵和平移矩阵将初始深度图像P4中每个像素的深度信息转换为统一化深度信息。
深度信息转化完成后,多个初始深度图像位于一个统一的基准坐标系下,每一张初始深度图像的一个像素点对应一个坐标(xo,yo,zo),那么可以通过坐标匹配做初始深度图像的拼接。例如,在初始深度图像P1中某一个像素点Pa的坐标为(xo1,yo1,zo1),在初始深度图像P2中某一个像素点Pb的坐标也为(xo1,yo1,zo1),由于Pa和Pb在当前的基准坐标系下具有相同的坐标值,则说明像素点Pa与像素点Pb实际上为同一个点,初始深度图像P1和初始深度图像P2拼接时,像素点Pa需要和像素点Pb重合。如此,应用处理器50即可通过坐标的匹配关系进行多个初始深度图像的拼接,并得到360度的全景深度图像。
需要说明的是,基于坐标的匹配关系进行初始深度图像的拼接要求初始深度图像的分辨率需要大于一个预设分辨率。可以理解,如果初始深度图像的分辨率较低,则坐标(xo,yo,zo)的精确度也会相对较低,此时,直接根据坐标进行匹配,可能出现Pa点和Pb点实际上没有重合,而是相差一个偏移量offset,且offset的值超过误差界限值的问题。如果图像的分辨率较高,则坐标(xo,yo,zo)的精确度也会相对较高,此时,直接根据坐标进行匹配,即使Pa点和Pb点实际上没有重合,相差一个偏移量offset,但offset的值也会小于误差界限值,即处于误差允许的范围内,不会对初始深度图像的拼接造成太大影响。
可以理解,后续实施方式均可采用上述方式将两个或两个以上的初始深度图像进行拼接或合成,不再一一说明。
应用处理器50还可以将多个初始深度图像与对应的多个可见光图像合成为三维场景图像,以进行显示供用户观看。例如,多个可见光图像分别为可见光图像V1、可见光图像V2、可见光图像V3和可见光图像V4。则应用处理器50分别将初始深度图像P1与可见光图像V1合成、将初始深度图像P2与可见光图像V2合成、将初始深度图像P3与可见光图像V3合成、将初始深度图像P4与可见光图像V4合成,再将合成后的四个图像进行拼接得到一帧360度的三维场景图像。或者,应用处理器50先将初始深度图像P1、初始深度图像P2、初始深度图像P3和初始深度图像P4拼接得到一帧360度的全景深度图像,并将可见光图像V1、可见光图像V2、可见光图像V3和可见光图像V4拼接得到一帧360度的全景可见光图像;再将全景深度图像与全景可见光图像合成为360度的三维场景图像。
请参阅图11,在一个实施例中,应用处理器50用于根据多个微处理器40获取的多个初始深度图像及多个摄像头组件30采集的多个场景图像识别被摄目标,或者根据一个微处理器40依次获取的多个初始深度图像及多个摄像头组件30采集的多个场景图像识别被摄目标。
具体地,当场景图像为红外光图像时,多个红外光图像可以分别是红外光图像I1、红外光图像I2、红外光图像I3和红外光图像I4。应用处理器50分别根据初始深度图像P1和红外光图像I1识别第一方位的被摄目标、根据初始深度图像P2和红外光图像I2识别第二方位的被摄目标、根据初始深度图像P3和红外光图像I3识别第三方位的被摄目标、根据初始深度图像P4和红外光图像I4识别第四方位的被摄目标。当场景图像为可见光图像时,多个可见光图像分别是可见光图像V1、可见光图像V2、可见光图像V3和可见光图像V4。应用处理器50分别根据初始深度图像P1和可见光图像V1识别第一方位的被摄目标、根据初始深度图像P2和可见光图像V2识别第二方位的被摄目标、根据初始深度图像P3和可见光图像V3识别第三方位的被摄目标、根据初始深度图像P4和可见光图像V4识别第四方位的被摄目标。
当识别被摄目标为进行人脸识别时,应用处理器50采用红外光图像作为场景图像进行人脸识别准确性更高。应用处理器50根据初始深度图像和红外光图像进行人脸识别的过程可如下:
首先,根据红外光图像进行人脸检测确定目标人脸区域。由于红外光图像包括有场景的细节信息,在获取到红外光图像之后,可以根据红外光图像进行人脸检测,从而检测出红外光图像中是否包含人脸。若红外光图像中包含人脸,则提取红外光图像中人脸所在的目标人脸区域。
然后,根据初始深度图像对目标人脸区域进行活体检测处理。由于每个初始深度图像和红外光图像是对应的,初始深度图像中包括有对应的红外光图像的深度信息,因此,可以根据初始深度图像获取与目标人脸区域对应的深度信息。进一步地,由于活体人脸是立体的,而例如图片、屏幕等显示的人脸则是平面的,因此,可以根据获取的目标人脸区域的深度信息判断目标人脸区域是立体还是平面的,从而对目标人脸区域进行活体检测。
若活体检测成功,则获取目标人脸区域对应的目标人脸属性参数,并根据目标人脸属性参数对红外光图像中的目标人脸区域进行人脸匹配处理,得到人脸匹配结果。目标人脸属性参数是指可以表征目标人脸的属性的参数,根据目标人脸属性参数可以对目标人脸进行识别和匹配处理。目标人脸属性参数包括但不限于为人脸偏转角度、人脸亮度参数、五官参数、肤质参数、几何特征参数等。电子设备100可以预先存储用于匹配的人脸属性参数。在获取到目标人脸属性参数之后,就可以将目标人脸属性参数与预先存储的人脸属性参数进行比较。若目标人脸属性参数与预先存储的人脸属性参数匹配,则人脸识别通过。
需要指出的是,应用处理器50根据初始深度图像和红外光图像进行人脸识别的具体过程并不限于此,例如应用处理器50还可以根据初始深度图像辅助检测人脸轮廓,以提高人脸识别精度等。应用处理器50根据初始深度图像和可见光图像进行人脸识别的过程与应用处理器50根据初始深度图像和红外光图像进行人脸识别的过程类似,在此不再另行阐述。
请参阅图11和图12,应用处理器50还用于在根据多个初始深度图像及多个场景图像识别被摄目标失败时,根据光接收器24的视场角将至少两个微处理器40获取的至少两个初始深度图像合成为一帧合并深度图像,将至少两个摄像头组件30采集的至少两个场景图像合成为一帧合并场景图像,并根据合并深度图像和合并场景图像识别被摄目标;或者,应用处理器50还用于在根据多个初始深度图像及多个场景图像识别被摄目标失败时,根据光接收器24的视场角将一个微处理器40依次获取的至少两个初始深度图像合成为一帧合并深度图像,将至少两个摄像头组件30采集的至少两个场景图像合成为一帧合并场景图像,并根据合并深度图像和合并场景图像识别被摄目标。
具体地,图11和图12所示的实施例中,由于每个飞行时间组件20的光接收器24的视场角有限,可能存在人脸的一半位于初始深度图像P2、另一半位于初始深度图像P3的情形,应用处理器50将初始深度图像P2和初始深度图像P3合成为一帧合并深度图像P23,并对应将红外光图像I2和红外光图像I3(或可见光图像V2和可见光图像V3)合成为一帧合并场景图像I23(或V23),以重新根据合并深度图像P23和合并场景图像I23(或V23)识别被摄目标。
可以理解,当被摄目标同时分布在更多个初始深度图像中时,应用处理器50可以将更多个初始深度图像(对应不同方位)合成为一帧合并深度图像,并对应将更多个红外光图像(对应不同方位)或可见光图像(对应不同方位)合成为一帧合并场景图像,以重新识别被摄目标。
请参阅图13和图14,在一个实施例中,应用处理器50用于根据(每个飞行时间组件20对应的)多个初始深度图像判断被摄目标与电子设备100之间的距离变化。
具体地,每个光发射器22可以多次发射激光,对应地,每个光接收器24可以多次曝光。当微处理器40的个数为多个时,每个微处理器40处理对应的光发射器22多次发射的激光脉冲和光接收器24多次接收的激光脉冲得到多个初始深度图像;当微处理器40的个数为一个时,一个微处理器40依次处理多个光发射器22多次发射的激光脉冲和多个光接收器24多次接收的激光脉冲以得到多个初始深度图像。
例如,在第一时刻t1光发射器22a发射激光脉冲,光接收器24a接收激光脉冲,在第二时刻t2光发射器22b发射激光脉冲,光接收器24b接收激光脉冲,在第三时刻t3光发射器22c发射激光脉冲,光接收器24c接收激光脉冲,在第四时刻t4光发射器22d发射激光脉冲,光接收器24d接收激光脉冲(第一时刻t1、第二时刻t2、第一时刻t3和第四时刻t4位于同一交替周期T内),多个微处理器40对应得到初始深度图像P11、初始深度图像P21、初始深度图像P31、初始深度图像P41,或者,一个微处理器40依次得到初始深度图像P11、初始深度图像P21、初始深度图像P31、初始深度图像P41;在第五时刻t5光发射器22a发射激光脉冲,光接收器24a接收激光脉冲,在第六时刻t6光发射器22b发射激光脉冲,光接收器24b接收激光脉冲,在第七时刻t7光发射器22c发射激光脉冲,光接收器24c接收激光脉冲,在第八时刻t8光发射器22d发射激光脉冲,光接收器24d接收激光脉冲(第五时刻t5、第六时刻t6、第七时刻t7和第八时刻t8位于同一交替周期T内),多个微处理器40对应得到初始深度图像P12、初始深度图像P22、初始深度图像P32、初始深度图像P42,或者,一个微处理器40依次得到初始深度图像P12、初始深度图像P22、初始深度图像P32、初始深度图像P42。然后,应用处理器50分别根据初始深度图像P11和初始深度图像P12判断第一方位的被摄目标与电子设备100之间的距离变化;根据初始深度图像P21和初始深度图像P22判断第二方位的被摄目标与电子设备100之间的距离变化;根据初始深度图像P31和初始深度图像P32判断第三方位的被摄目标与电子设备100之间的距离变化;根据初始深度图像P41和初始深度图像P42判断第四方位的被摄目标与电子设备100之间的距离变化。
可以理解,由于初始深度图像中包括有被摄目标的深度信息,因此,应用处理器50可以根据多个连续时刻的深度信息变化判断对应方位的被摄目标与电子设备100之间的距离变化。
请参阅图15,应用处理器50还用于在根据多个初始深度图像判断距离变化失败时,根据光接收器24的视场角将至少两个微处理器40获取的至少两个初始深度图像合成为一帧合并深度图像,应用处理器50连续执行合成步骤以得到多帧连续的合并深度图像,并根据多帧合并深度图像判断距离变化;或者,应用处理器50还用于在根据每个飞行时间组件20对应的多个初始深度图像判断距离变化失败时,根据光接收器24的视场角将一个微处理器40依次获取的至少两个飞行时间组件20对应的至少两个初始深度图像合成为一帧合并深度图像,应用处理器50连续执行合成步骤以得到多帧连续的合并深度图像,并根据多帧合并深度图像判断距离变化。
具体地,图15所示的实施例中,由于每个飞行时间组件20的光接收器24的视场角有限,可能存在人脸的一半位于初始深度图像P21、另一半位于初始深度图像P31的情形,应用处理器50将第二时刻t2的初始深度图像P21和第三时刻t3初始深度图像P31合成为一帧合并深度图像P231,并对应将第六时刻t6的初始深度图像P22和第七时刻t7初始深度图像P32合成为一帧合并深度图像P232,然后根据合并后的这两帧合并深度图像P231和P232重新判断距离变化。
可以理解,当被摄目标同时分布在更多个初始深度图像中时,应用处理器50可以将更多个初始深度图像(对应不同方位)合成为一帧合并深度图像,并针对多个时刻连续执行该合成步骤。
请参阅图14,当根据多个初始深度图像判断距离变化为距离减小时,或者根据多帧合并深度图像判断距离变化为距离减小时,应用处理器50会提高从微处理器40传输的多个初始深度图像中采集用以判断距离变化的初始深度图像的帧率。具体地,当微处理器40的个数为多个时,应用处理器50会提高从至少一个微处理器40传输的多张初始深度图像中采集用以判断距离变化的初始深度图像的帧率;当微处理器40的个数为一个时,应用处理器50会提高从该微处理器40传输的多张初始深度图像中采集用以判断距离变化的初始深度图像的帧率。
可以理解,当被摄目标与电子设备100之间的距离减小时,电子设备100无法预判该距离减小是否存在危险性,因此,应用处理器50可提高从微处理器40传输的多个初始深度图像中采集用以判断距离变化的初始深度图像的帧率,以更加密切的关注该距离变化。具体地,当判断某一个方位对应的距离减小时,应用处理器50可提高该方位从微处理器40传输的多个初始深度图像中采集用以判断距离变化的初始深度图像的帧率。
例如,在第一时刻t1、第二时刻t2、第三时刻t3和第四时刻t4,多个微处理器40分别获得或一个微处理器40依次获得初始深度图像P11、初始深度图像P21、初始深度图像P31、初始深度图像P41;在第五时刻t5、第六时刻t6、第七时刻t7和第八时刻t8,多个微处理器40分别获得或一个微处理器40依次获得初始深度图像P12、初始深度图像P22、初始深度图像P32、初始深度图像P42;在第九时刻t9、第十时刻t10、第十一时刻t11和第十二时刻t12,多个微处理器40分别获得或一个微处理器40依次获得初始深度图像P13、初始深度图像P23、初始深度图像P33、初始深度图像P43;在第十三时刻t13、第十四时刻t14、第十五时刻t15和第十六时刻t16,多个微处理器40分别获得或一个微处理器40依次获得初始深度图像P14、初始深度图像P24、初始深度图像P34、初始深度图像P44。其中,第一时刻t1、第二时刻t2、第三时刻t3和第四时刻t4位于同一个交替周期T内,第五时刻t5、第六时刻t6、第七时刻t7和第八时刻t8位于同一个交替周期T内,第九时刻t9、第十时刻t10、第十一时刻t11和第十二时刻t12位于同一个交替周期T内,第十三时刻t13、第十四时刻t14、第十五时刻t15和第十六时刻t16位于同一个交替周期T内。
在正常情况下,应用处理器50选取初始深度图像P11和初始深度图像P14判断第一方位的被摄目标与电子设备100之间的距离变化;选取初始深度图像P21和初始深度图像P24判断第二方位的被摄目标与电子设备100之间的距离变化;选取初始深度图像P31和初始深度图像P34判断第三方位的被摄目标与电子设备100之间的距离变化;选取初始深度图像P41和初始深度图像P44判断第四方位的被摄目标与电子设备100之间的距离变化。应用处理器50在各个方位采集初始深度图像的帧率均为每间隔两帧采集一帧,即每三帧选取一帧。
当根据初始深度图像P11和初始深度图像P14判断出第一方位对应的距离减小时,应用处理器50则会选取初始深度图像P11和初始深度图像P13判断第一方位的被摄目标与电子设备100之间的距离变化。应用处理器50采集第一方位的初始深度图像的帧率变为每间隔一帧采集一帧,即每两帧选取一帧。而其他方位的帧率保持不变,即应用处理器50仍选取初始深度图像P21和初始深度图像P24判断距离变化;选取初始深度图像P31和初始深度图像P34判断距离变化;选取初始深度图像P41和初始深度图像P44判断距离变化。
当根据初始深度图像P11和初始深度图像P14判断出第一方位对应的距离减小,同时根据初始深度图像P21和初始深度图像P24判断出第二方位对应的距离减小时,应用处理器50则会选取初始深度图像P11和初始深度图像P13判断第一方位的被摄目标与电子设备100之间的距离变化,选取初始深度图像P21和初始深度图像P23判断第二方位的被摄目标与电子设备100之间的距离变化,应用处理器50采集第一方位和第二方位的初始深度图像的帧率变为每间隔一帧采集一帧,即每两帧选取一帧。而其他方位的帧率保持不变,即应用处理器50仍选取初始深度图像P31和初始深度图像P34判断第三方位的被摄目标与电子设备100之间的距离变化;选取初始深度图像P41和初始深度图像P44判断第四方位的被摄目标与电子设备100之间的距离变化。
当然,应用处理器50也可以在判断出任一个方位对应的距离减小时,提高从微处理器40传输的每个方位的多个初始深度图像中采集用以判断距离变化的初始深度图像的帧率。即:当根据初始深度图像P11和初始深度图像P14判断出第一方位的被摄目标与电子设备100之间的距离减小时,应用处理器50则会选取初始深度图像P11和初始深度图像P13判断第一方位的被摄目标与电子设备100之间的距离变化、选取初始深度图像P21和初始深度图像P23判断第二方位的被摄目标与电子设备100之间的距离变化、选取初始深度图像P31和初始深度图像P33判断第三方位的被摄目标与电子设备100之间的距离变化、及选取初始深度图像P41和初始深度图像P43判断第四方位的被摄目标与电子设备100之间的距离变化。
应用处理器50还可以在距离减小时,结合可见光图像或红外光图像来判断该距离变化。具体地,应用处理器50先根据可见光图像或红外光图像识别被摄目标,然后再根据多个时刻的初始深度图像判断距离变化,从而针对不同的被摄目标与不同的距离控制电子设备100执行不同的操作。或者,在距离减小时,微处理器40控制提高对应光发射器22发射激光及光接收器24曝光的频率等。
需要说明的是,本实施方式的电子设备100还可以作为一个外置终端,固定安装或可拆卸安装在例如手机、平板电脑、笔记本电脑等便携式电子装置上使用外,还可固定安装在车辆本体(如图12和图13所示)、无人机机身、机器人本体或船舶本体等可移动物体上使用。具体使用时,当电子设备100如前所述根据多个初始深度图像合成为一帧全景深度图像,全景深度图像可以用于三维建模、即时定位与地图构建(simultaneous localizationand mapping,SLAM)、增强现实显示。当电子设备100如前所述识别被摄目标时,则可应用于便携式电子装置的人脸识别解锁、支付,或应用于机器人、车辆、无人机、船舶等的避障。当电子设备100如前所述判断被摄目标与电子设备100之间的距离变化时,则可应用于机器人、车辆、无人机、船舶等自动行驶、物体追踪等。
请参阅图2和图16,本申请实施方式还提供一种移动平台300。移动平台300包括本体10和设置在本体10上的多个飞行时间组件20。多个飞行时间组件20分别位于本体10的多个不同方位。每个飞行时间组件20均包括光发射器22和光接收器24。光发射器22用于向本体10外发射激光脉冲,光接收器24用于接收被摄目标反射的对应的光发射器22发射的激光脉冲。相邻方位的飞行时间组件20中的光发射器22分时发射激光脉冲,相邻方位的飞行时间组件20中的光接收器24分时曝光,以获取全景深度图像。
具体地,本体10可以为车辆本体、无人机机身、机器人本体或船舶本体。
请参阅图16,当本体10为车辆本体时,多个飞行时间组件20的数量为四个,四个飞行时间组件20分别安装在车辆本体的四侧,例如,车头、车尾、车身左侧、车身右侧。车辆本体可以带动多个飞行时间组件20在道路上移动,构建行进路线上的360度全景深度图像,以作为参考地图等;或者获取多个不同方位的初始深度图像,以识别被摄目标、判断被摄目标与移动平台300之间的距离变化,从而控制车辆本体加速、减速、停车、绕行等,实现无人驾驶避障,例如,在车辆在道路上移动时,若识别到被摄目标与车辆的距离减小且被摄目标为道路上的凹坑,则车辆以第一加速度减速,若识别到被摄目标与车辆的距离减小且被摄目标为人,则车辆以第二加速度减速,其中第一加速度的绝对值小于第二加速度的绝对值。如此,在距离减小时根据不同的被摄目标执行不同的操作,可以使得车辆更加智能化。
请参阅图17,当本体10为无人机机身时,多个飞行时间组件20的数量为四个,四个飞行时间组件20分别安装在无人机机身的前、后、左、右四侧,或者安装在无人机机身上搭载的云台的前、后、左、右四侧。无人机机身可以带动多个飞行时间组件20在空中飞行,以进行航拍、巡检等,无人机可将获取的全景深度图像传回给地面控制端,也可直接进行SLAM。多个飞行时间组件20可实现无人机加速、减速、停止、避障、物体追踪。
请参阅图18,当本体10为机器人本体时,例如扫地机器人,多个飞行时间组件20的数量为四个,四个飞行时间组件20分别安装在机器人本体的前、后、左、右四侧。机器人本体可以带动多个飞行时间组件20在家中运动,获取多个不同方位的初始深度图像,以识别被摄目标、判断被摄目标与移动平台300之间的距离变化,从而控制机器人本体运动,实现机器人清除垃圾、避障等。
请参阅图19,当本体10为船舶本体时,多个飞行时间组件20的数量为四个,四个飞行时间组件20分别安装在船舶本体的前、后、左、右四侧。船舶本体可以带动飞行时间组件20运动,获取多个不同方位的初始深度图像,从而在恶劣环境(例如起雾环境下)准确地识别被摄目标、判断被摄目标与移动平台300之间的距离变化,提高海上航行的安全性等。
本申请实施方式的移动平台300为能够独立移动的平台,多个飞行时间组件20安装在移动平台300的本体10上,以获取全景深度图像。而本申请实施方式的电子设备100本身一般不能够独立移动,电子设备100可进一步搭载于类似于移动平台300等能够移动的装置上,从而帮助该装置获取全景深度图像。
需要指出的是,上述对电子设备100的本体10、飞行时间组件20、摄像头组件30、微处理器40和应用处理器50的解释说明同样适用于本申请实施方式的移动平台300,在此不再重复说明。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。
Claims (19)
1.一种电子设备,其特征在于,所述电子设备包括:
本体;和
设置在所述本体上的多个飞行时间组件,多个所述飞行时间组件分别位于所述本体的多个不同方位,每个所述飞行时间组件均包括光发射器和光接收器,所述光发射器用于向所述本体外发射激光脉冲,所述光接收器用于接收被摄目标反射的对应的所述光发射器发射的所述激光脉冲;
相邻方位的所述飞行时间组件中的所述光发射器分时发射所述激光脉冲,相邻方位的所述飞行时间组件中的所述光接收器分时曝光,以获取全景深度图像。
2.根据权利要求1所述的电子设备,其特征在于,所述飞行时间组件包括四个,每个所述光发射器及每个所述光接收器的视场角均为80度~100度中的任意值。
3.根据权利要求1所述的电子设备,其特征在于,多个所述飞行时间组件中的所述光发射器分时发射所述激光脉冲,多个所述飞行时间组件中的所述光接收器分时曝光,当任意一个所述飞行时间组件中的所述光接收器曝光时,其他的所述飞行时间组件中的所述光发射器均关闭。
4.根据权利要求3所述的电子设备,其特征在于,多个所述飞行时间组件中的多个所述光发射器依次接续且不间断地发射所述激光脉冲,每个所述飞行时间组件中的所述光接收器的曝光时间位于对应的所述光发射器的发射时间范围内。
5.根据权利要求3所述的电子设备,其特征在于,多个所述飞行时间组件中的多个所述光发射器依次接续且间隔预定时间发射所述激光脉冲,多个所述飞行时间组件中的多个所述光接收器依次接续且间隔预定时间曝光。
6.根据权利要求3所述的电子设备,其特征在于,多个所述飞行时间组件中的多个所述光发射器依次接续且间隔预定时间发射所述激光脉冲,多个所述飞行时间组件中的多个所述光接收器依次接续且不间断地曝光。
7.根据权利要求1所述的电子设备,其特征在于,所述电子设备还包括应用处理器及多个微处理器,每个所述微处理器对应一个所述飞行时间组件,多个所述微处理器均与所述应用处理器连接,每个所述微处理器用于根据对应的所述飞行时间组件的所述光发射器发射的所述激光脉冲及所述光接收器接收的所述激光脉冲得到初始深度图像并传输至所述应用处理器;所述应用处理器用于根据所述光接收器的视场角将多个所述微处理器获取的多个所述初始深度图像合成为一帧所述全景深度图像。
8.根据权利要求1所述的电子设备,其特征在于,所述电子设备还包括应用处理器及一个微处理器,所述微处理器与所述应用处理器连接,所述微处理器用于依次根据多个所述飞行时间组件的所述光发射器发射的所述激光脉冲及所述光接收器接收的所述激光脉冲得到多个初始深度图像并传输至所述应用处理器;所述应用处理器用于根据所述光接收器的视场角将所述微处理器获取的多个所述初始深度图像合成为一帧所述全景深度图像。
9.根据权利要求1所述的电子设备,其特征在于,所述电子设备还包括应用处理器及多个微处理器,每个所述微处理器对应一个所述飞行时间组件,多个所述微处理器均与所述应用处理器连接,每个所述微处理器用于根据对应的所述飞行时间组件的所述光发射器发射的所述激光脉冲及所述光接收器接收的所述激光脉冲得到初始深度图像并传输至所述应用处理器;
所述电子设备还包括设置在所述本体上的多个摄像头组件,每个所述摄像头组件对应一个所述飞行时间组件,多个所述摄像头组件均与所述应用处理器连接,每个所述摄像头组件用于采集所述被摄目标的场景图像并输出至所述应用处理器;
所述应用处理器用于根据多个所述微处理器获取的多个所述初始深度图像及多个所述摄像头组件采集的多个所述场景图像识别所述被摄目标。
10.根据权利要求9所述的电子设备,其特征在于,所述应用处理器还用于在根据多个所述初始深度图像及多个所述场景图像识别所述被摄目标失败时,根据所述光接收器的视场角将至少两个所述微处理器获取的至少两个所述初始深度图像合成为一帧合并深度图像,将至少两个所述摄像头组件采集的至少两个所述场景图像合成为一帧合并场景图像,并根据所述合并深度图像和所述合并场景图像识别所述被摄目标。
11.根据权利要求1所述的电子设备,其特征在于,所述电子设备还包括应用处理器及一个微处理器,所述微处理器与所述应用处理器连接,所述微处理器用于依次根据多个所述飞行时间组件的所述光发射器发射的所述激光脉冲及所述光接收器接收的所述激光脉冲得到多个初始深度图像并传输至所述应用处理器;
所述电子设备还包括设置在所述本体上的多个摄像头组件,每个所述摄像头组件对应一个所述飞行时间组件,多个所述摄像头组件均与所述应用处理器连接,每个所述摄像头组件用于采集所述被摄目标的场景图像并输出至所述应用处理器;
所述应用处理器用于根据所述微处理器获取的多个所述初始深度图像及多个所述摄像头组件采集的多个所述场景图像识别所述被摄目标。
12.根据权利要求11所述的电子设备,其特征在于,所述应用处理器还用于在根据多个所述初始深度图像及多个所述场景图像识别所述被摄目标失败时,根据所述光接收器的视场角将所述微处理器获取的至少两个所述初始深度图像合成为一帧合并深度图像,将至少两个所述摄像头组件采集的至少两个所述场景图像合成为一帧合并场景图像,并根据所述合并深度图像和所述合并场景图像识别所述被摄目标。
13.根据权利要求1所述的电子设备,其特征在于,所述电子设备还包括应用处理器及多个微处理器,每个所述微处理器对应一个所述飞行时间组件,多个所述微处理器均与所述应用处理器连接,每个所述微处理器用于根据对应的所述飞行时间组件的所述光发射器多次发射的所述激光脉冲及所述光接收器多次接收的所述激光脉冲得到多个初始深度图像并传输至所述应用处理器;所述应用处理器用于根据多个所述初始深度图像判断所述被摄目标与所述电子设备之间的距离变化。
14.根据权利要求13所述的电子设备,其特征在于,所述应用处理器还用于在根据多个所述初始深度图像判断所述距离变化失败时,根据所述光接收器的视场角将至少两个所述微处理器获取的至少两个所述初始深度图像合成为一帧合并深度图像,所述应用处理器连续执行合成步骤以得到多帧连续的所述合并深度图像,并根据多帧所述合并深度图像判断所述距离变化。
15.根据权利要求1所述的电子设备,其特征在于,所述电子设备还包括应用处理器及一个微处理器,所述微处理器与所述应用处理器连接,所述微处理器用于依次根据多个所述飞行时间组件的所述光发射器多次发射的所述激光脉冲及所述光接收器多次接收的所述激光脉冲以得到多个初始深度图像并传输至所述应用处理器;所述应用处理器用于根据每个所述飞行时间组件对应的多个所述初始深度图像判断所述被摄目标与所述电子设备之间的距离变化。
16.根据权利要求15所述的电子设备,其特征在于,所述应用处理器还用于在根据每个所述飞行时间组件对应的多个所述初始深度图像判断所述距离变化失败时,根据所述光接收器的视场角将所述微处理器获取的至少两个所述飞行时间组件对应的至少两个所述初始深度图像合成为一帧合并深度图像,所述应用处理器连续执行合成步骤以得到多帧连续的所述合并深度图像,并根据多帧所述合并深度图像判断所述距离变化。
17.根据权利要求13至16任意一项所述的电子设备,其特征在于,所述应用处理器还用于在判断所述距离变化为距离减小时,提高从所述微处理器传输的多个所述初始深度图像中采集用以判断所述距离变化的所述初始深度图像的帧率。
18.一种移动平台,其特征在于,所述移动平台包括:
本体;和
设置在所述本体上的多个飞行时间组件,多个所述飞行时间组件分别位于所述本体的多个不同方位,每个所述飞行时间组件均包括光发射器和光接收器,所述光发射器用于向所述本体外发射激光脉冲,所述光接收器用于接收被摄目标反射的对应的所述光发射器发射的所述激光脉冲;
相邻方位的所述飞行时间组件中的所述光发射器分时发射所述激光脉冲,相邻方位的所述飞行时间组件中的所述光接收器分时曝光,以获取全景深度图像。
19.根据权利要求18所述的移动平台,其特征在于,所述本体为车辆本体、无人机机身、机器人本体或船舶本体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910007545.8A CN109788195B (zh) | 2019-01-04 | 2019-01-04 | 电子设备和移动平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910007545.8A CN109788195B (zh) | 2019-01-04 | 2019-01-04 | 电子设备和移动平台 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109788195A true CN109788195A (zh) | 2019-05-21 |
CN109788195B CN109788195B (zh) | 2021-04-16 |
Family
ID=66500037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910007545.8A Active CN109788195B (zh) | 2019-01-04 | 2019-01-04 | 电子设备和移动平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109788195B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111246073A (zh) * | 2020-03-23 | 2020-06-05 | 维沃移动通信有限公司 | 成像装置、方法及电子设备 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101494736A (zh) * | 2009-02-10 | 2009-07-29 | 杨立群 | 一种拍摄系统 |
CN101984463A (zh) * | 2010-11-02 | 2011-03-09 | 中兴通讯股份有限公司 | 全景图合成方法及装置 |
CN102129550A (zh) * | 2011-02-17 | 2011-07-20 | 华南理工大学 | 场景感知方法 |
CN104055489A (zh) * | 2014-07-01 | 2014-09-24 | 李栋 | 一种血管成像装置 |
US20170019594A1 (en) * | 2015-07-13 | 2017-01-19 | Futurewei Technologies, Inc. | Increasing spatial resolution of panoramic video captured by a camera array |
CN106371281A (zh) * | 2016-11-02 | 2017-02-01 | 辽宁中蓝电子科技有限公司 | 基于结构光多模块360度空间扫描和定位的3d相机 |
CN106461783A (zh) * | 2014-06-20 | 2017-02-22 | 高通股份有限公司 | 使用时间共享的自动的多个深度相机同步 |
US9653874B1 (en) * | 2011-04-14 | 2017-05-16 | William J. Asprey | Trichel pulse energy devices |
CN107263480A (zh) * | 2017-07-21 | 2017-10-20 | 深圳市萨斯智能科技有限公司 | 一种机器人操作方法和机器人 |
CN107742296A (zh) * | 2017-09-11 | 2018-02-27 | 广东欧珀移动通信有限公司 | 动态图像生成方法和电子装置 |
US20180139431A1 (en) * | 2012-02-24 | 2018-05-17 | Matterport, Inc. | Capturing and aligning panoramic image and depth data |
CN108471487A (zh) * | 2017-02-23 | 2018-08-31 | 钰立微电子股份有限公司 | 产生全景深度图像的图像装置及相关图像装置 |
CN108541304A (zh) * | 2015-04-29 | 2018-09-14 | 苹果公司 | 具有灵活扫描图案的飞行时间深度映射 |
CN108616703A (zh) * | 2018-04-23 | 2018-10-02 | Oppo广东移动通信有限公司 | 电子装置及其控制方法、计算机设备和可读存储介质 |
CN108810500A (zh) * | 2017-12-22 | 2018-11-13 | 成都理想境界科技有限公司 | 拼接式扫描成像设备的调整方法及拼接式扫描成像设备 |
-
2019
- 2019-01-04 CN CN201910007545.8A patent/CN109788195B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101494736A (zh) * | 2009-02-10 | 2009-07-29 | 杨立群 | 一种拍摄系统 |
CN101984463A (zh) * | 2010-11-02 | 2011-03-09 | 中兴通讯股份有限公司 | 全景图合成方法及装置 |
CN102129550A (zh) * | 2011-02-17 | 2011-07-20 | 华南理工大学 | 场景感知方法 |
US9653874B1 (en) * | 2011-04-14 | 2017-05-16 | William J. Asprey | Trichel pulse energy devices |
US20180139431A1 (en) * | 2012-02-24 | 2018-05-17 | Matterport, Inc. | Capturing and aligning panoramic image and depth data |
CN106461783A (zh) * | 2014-06-20 | 2017-02-22 | 高通股份有限公司 | 使用时间共享的自动的多个深度相机同步 |
CN104055489A (zh) * | 2014-07-01 | 2014-09-24 | 李栋 | 一种血管成像装置 |
CN108541304A (zh) * | 2015-04-29 | 2018-09-14 | 苹果公司 | 具有灵活扫描图案的飞行时间深度映射 |
US20170019594A1 (en) * | 2015-07-13 | 2017-01-19 | Futurewei Technologies, Inc. | Increasing spatial resolution of panoramic video captured by a camera array |
CN106371281A (zh) * | 2016-11-02 | 2017-02-01 | 辽宁中蓝电子科技有限公司 | 基于结构光多模块360度空间扫描和定位的3d相机 |
CN108471487A (zh) * | 2017-02-23 | 2018-08-31 | 钰立微电子股份有限公司 | 产生全景深度图像的图像装置及相关图像装置 |
CN107263480A (zh) * | 2017-07-21 | 2017-10-20 | 深圳市萨斯智能科技有限公司 | 一种机器人操作方法和机器人 |
CN107742296A (zh) * | 2017-09-11 | 2018-02-27 | 广东欧珀移动通信有限公司 | 动态图像生成方法和电子装置 |
CN108810500A (zh) * | 2017-12-22 | 2018-11-13 | 成都理想境界科技有限公司 | 拼接式扫描成像设备的调整方法及拼接式扫描成像设备 |
CN108616703A (zh) * | 2018-04-23 | 2018-10-02 | Oppo广东移动通信有限公司 | 电子装置及其控制方法、计算机设备和可读存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111246073A (zh) * | 2020-03-23 | 2020-06-05 | 维沃移动通信有限公司 | 成像装置、方法及电子设备 |
CN111246073B (zh) * | 2020-03-23 | 2022-03-25 | 维沃移动通信有限公司 | 成像装置、方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109788195B (zh) | 2021-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109862275A (zh) | 电子设备和移动平台 | |
US10503265B2 (en) | Mixed-mode depth detection | |
US7453511B2 (en) | Apparatus and method for inputting reflected light image of a target object | |
CN109618108A (zh) | 电子设备和移动平台 | |
CN107407559B (zh) | 距离图像获取装置以及距离图像获取方法 | |
CN112189147B (zh) | 一种飞行时间ToF相机和一种ToF方法 | |
CN1679345A (zh) | 指示位置探测器件与指示位置探测方法 | |
WO2004093444A1 (en) | Method for displaying an output image on an object | |
CN106292799B (zh) | 无人机、遥控装置及其控制方法 | |
CN107429998B (zh) | 距离图像获取装置以及距离图像获取方法 | |
CN117173756A (zh) | 一种增强现实ar系统、计算机设备及存储介质 | |
CN109587303A (zh) | 电子设备和移动平台 | |
CN109688400A (zh) | 电子设备和移动平台 | |
CN110933290A (zh) | 一种基于人机交互的虚拟拍照综合系统及方法 | |
CN109618085A (zh) | 电子设备和移动平台 | |
CN109660731A (zh) | 电子设备和移动平台 | |
CN109587304A (zh) | 电子设备和移动平台 | |
CN109788195A (zh) | 电子设备和移动平台 | |
CN109803089A (zh) | 电子设备和移动平台 | |
WO2022161386A1 (zh) | 一种位姿确定方法以及相关设备 | |
CN107462248A (zh) | 一种室内光学定位系统及其使用方法 | |
US20240244330A1 (en) | Systems and methods for capturing and generating panoramic three-dimensional models and images | |
CN109660733A (zh) | 电子设备和移动平台 | |
CN109788172A (zh) | 电子设备和移动平台 | |
CN109729250A (zh) | 电子设备和移动平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |