CN111480057B - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN111480057B
CN111480057B CN201880080508.3A CN201880080508A CN111480057B CN 111480057 B CN111480057 B CN 111480057B CN 201880080508 A CN201880080508 A CN 201880080508A CN 111480057 B CN111480057 B CN 111480057B
Authority
CN
China
Prior art keywords
polarization
image
polarized
section
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880080508.3A
Other languages
English (en)
Other versions
CN111480057A (zh
Inventor
三原基
海津俊
栗田哲平
近藤雄飞
平泽康孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111480057A publication Critical patent/CN111480057A/zh
Application granted granted Critical
Publication of CN111480057B publication Critical patent/CN111480057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J4/00—Measuring polarisation of light
    • G01J4/04—Polarimeters using electric detection means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

偏振图像获取部11a获取目标对象的具有一个或更多个偏振方向的偏振图像。偏振参数获取部12‑1基于灵敏度校正之后的非偏振图像来计算偏振模型的亮度平均值α。此外，偏振参数获取部12‑1基于所计算的亮度平均值α、预先存储的目标对象的法线的天顶角θ、折射率r以及指示漫反射和镜面反射中的哪一个是主体的反射属性信息来计算偏振模型的振幅β。偏振模型检测部13‑1通过基于目标对象在一个或更多个偏振方向上的偏振图像、亮度平均值α和偏振模型的振幅β来计算偏振模型的相位φ，能够使用在一个或更多个偏振方向上偏振的图像来检测目标对象的偏振属性。

Description

图像处理装置、图像处理方法和程序
技术领域
本发明涉及图像处理装置、图像处理方法和程序，并且使得可以通过使用在一个或更多个偏振方向上偏振的图像来检测目标对象的偏振属性。
背景技术
过去，公开了通过使用成像部和偏振滤光片来获取偏振图像的方法。例如，专利文献1中公开的方法通过在成像部前方布置偏振滤光片并且旋转用于捕获图像的该偏振滤光片，从而获取在多个偏振方向上偏振的图像。此外，另一种公开的方法在针对各个像素布置偏振方向不同的偏振滤光片的情况下通过执行单次图像捕获操作来获取在多个不同偏振方向上偏振的图像。
此外，可以从在多个偏振方向上偏振的图像中获取关于对象的法线信息。例如，非专利文献1和非专利文献2描述了通过将在多个偏振方向上偏振的图像应用于偏振模型来执行的对法线信息的计算。另外，非专利文献2描述了在将偏振图像应用于偏振模型的情况下，使用在偏振方向上不同的三个或更多个偏振亮度。
[引用列表]
[专利文献]
[专利文献1]
PCT专利公开第WO 2008/099589号
[非专利文献]
[非专利文献1]
Daisuke Miyazaki和Kasushi Ikeuchi，“Basic Theory of Polarization andIts Applications”，日本信息处理学会期刊，计算机视觉与图像媒体，2008 年
[非专利文献2]
Gary A.Atkinson和Edwin R.Hancock，“Recovery of surface orientationfrom diffuse polarization”，IEEE图像处理事务，2006年第15卷第6期，第1653至1664页
发明内容
[技术问题]
顺便提及，在要基于偏振图像来检测偏振模型的情况下，需要在偏振方向上不同的三个或更多个偏振亮度。然而，在一些情况下，无法取决于例如成像状况获得所需数目的偏振亮度。例如，如果在图像传感器中出现饱和或遮挡的阴影，则无法获得具有三个或更多个偏振方向的偏振亮度。
鉴于上述情况，本技术的目的是提供一种能够通过使用在一个或更多个偏振方向上偏振的图像来检测目标对象的偏振属性的图像处理装置、图像处理方法和程序。
[问题的解决方案]
根据本技术的第一方面，提供了一种包括偏振模型检测部的图像处理装置。该偏振模型检测部基于目标对象的具有一个或更多个偏振方向的偏振图像以及由偏振参数获取部获取的偏振参数来检测指示目标对象的偏振属性的偏振模型。
本技术的第一方面基于目标对象的具有一个或更多个偏振方向的偏振图像以及由偏振参数获取部获取的偏振参数来检测指示目标对象的偏振属性的偏振模型。基于偏振图像的偏振方向的数目，偏振参数获取部包括非偏振图像获取部、信息存储部和相位存储部的一个或更多个组合。非偏振图像获取部获取目标对象的非偏振图像。信息存储部存储关于目标对象的属性信息和法线的天顶角。相位存储部存储目标对象的法线的方位角。此外，在非偏振图像获取部被布置在偏振参数获取部中的情况下，附加地包括灵敏度校正部。灵敏度校正部针对偏振图像的灵敏度对由非偏振图像获取部获取的非偏振图像进行校正。偏振参数获取部基于经灵敏度校正部校正的非偏振图像以及存储在信息存储部中的属性信息来获取指示偏振模型的振幅的偏振参数。此外，非偏振图像获取部可以通过在不使用获取目标对象的偏振图像的偏振图像获取部中的偏振片的情况下捕获图像来获取非偏振图像。
假设获取目标对象的偏振图像的偏振图像获取部包括具有可拆卸偏振片或者具有偏振片的偏振像素以及不具有偏振片的非偏振像素。存储在信息存储部中的天顶角是基于关于目标对象与用于获取目标对象的偏振图像的偏振图像获取部的几何信息的角。替选地，存储在信息存储部中的天顶角是基于目标对象的三维形状的角。此外，信息存储部存储反射属性信息，该反射属性信息指示偏振图像表示关于镜面反射主体还是漫反射主体的信息。存储在相位存储部中的方位角是基于关于目标对象与用于获取目标对象的偏振图像的偏振图像获取部的几何信息的角。替选地，存储在相位存储部中的方位角是基于目标对象的三维形状的角。此外，存储在相位存储部中的方位角可以是基于附近位置的方位角的角，附近位置是基于在三个或更多个偏振方向上偏振的图像计算的。附加包括的是用于设定方位角的方位角输入部。方位角输入部使相位存储部存储基于用户操作的方位角，并且方位角输入部使用基于存储在相位存储部中的方位角检测到的偏振模型，以便显示通过从偏振图像中去除反射分量而获得的图像。
此外，附加地包括偏振模型检测部，以检测偏振图像是否饱和。偏振模型检测部基于由饱和检测部检测为不饱和的偏振图像以及由偏振参数获取部获取的偏振参数来检测偏振模型。此外，图像处理装置可以包括用于获取目标对象的偏振图像的偏振图像获取部并且包括反射去除部，该反射去除部基于目标对象的偏振图像以及由偏振模型检测部检测到的偏振模型从目标对象的图像中去除反射分量。
根据本技术的第二方面，提供了一种图像处理方法，该方法包括以下步骤：允许偏振模型检测部基于目标对象的偏振图像以及由偏振参数获取部获取的偏振参数来检测指示目标对象的偏振属性的偏振模型。
根据本技术的第三方面，提供了一种使计算机检测指示目标对象的偏振属性的偏振模型的程序。该程序使计算机执行以下步骤：基于由偏振图像获取部获取的目标对象的偏振图像以及由偏振参数获取部获取的偏振参数来检测偏振模型。
应当注意，根据本技术的程序是可以被提供给通用计算机的程序，该通用计算机能够例如通过使用以计算机可读的格式提供程序的存储介质或通信介质(例如光盘、磁盘、半导体存储器或其他存储介质或网络或其他通信介质)来执行各种程序代码。当以计算机可读的格式提供程序时，在计算机上实现基于程序的处理。
[本发明的有益效果]
本技术基于目标对象的具有一个或更多个偏振方向的偏振图像以及由偏振参数获取部获取的偏振参数来检测指示目标对象的偏振属性的偏振模型。因此，即使在无法获取在三个或更多个偏振方向上偏振的图像的情况下，本技术仍使得可以检测目标对象的偏振属性。应该注意，本说明书中描述的有益效果仅是说明性的，而不是限制性的。本技术不限于这种有益效果，并且可以提供附加的有益效果。
附图说明
[图1]
图1是示出偏振模型的图。
[图2]
图2是示出亮度与偏振角之间的关系的图。
[图3]
图3是示出所获取的信息和未知参数的模式的图。
[图4]
图4是示出第一实施方式的配置的图。
[图5]
图5是示出偏振图像获取部的配置的一组图。
[图6]
图6是示出偏振像素和非偏振像素的像素阵列的一组图。
[图7]
图7是示出多摄像装置的图。
[图8]
图8是示出偏振模型振幅检测部的配置的图。
[图9]
图9是示出第一实施方式的操作的流程图。
[图10]
图10是示出第二实施方式的配置的图。
[图11]
图11是示出第三实施方式的配置的图。
[图12]
图12是示出第四实施方式的配置的图。
[图13]
图13是示出替选实施方式的配置的图。
[图14]
图14是示出其中偏振图像获取部被布置在车辆中以通过挡风玻璃捕获车辆外部的图像的情况的图。
[图15]
图15是示出基于三维形状来计算天顶角的情况的图。
[图16]
图16是示出偏振图像获取部被布置在车辆中以捕获车辆前方的区域的图像的情况的一组图。
[图17]
图17是示出方位角是基于附近位置的方位角的角的情况的图。
[图18]
图18是示出方位角输入部的配置的图。
[图19]
图19是示出了使得可以指定方位角的GUI的图像的一组图。
[图20]
图20是示出用于输入反射属性信息的GUI的图像的图。
[图21]
图21是示出车辆控制系统的示意性配置的实例的框图。
[图22]
图22是有助于说明车外信息检测部和成像部的安装位置的示例的示图。
具体实施方式
现在将描述本技术的实施方式。应当注意，按以下顺序给出描述。
1.偏振模型
2.图像处理装置的配置
3.第一实施方式
4.第二实施方式
5.第三实施方式
6.第四实施方式
7.替选实施方式
8.天顶角和方位角的获取
9.应用示例
<1.偏振模型>
图1是示出偏振模型的图，例如，光源LT用于照射目标对象OB，并且成像部CM通过偏振板PL捕获目标对象OB的图像。在这种情况下，捕获图像(在下文中称为“偏振捕获图像”)使目标对象OB的亮度随着偏振板PL的偏振方向而变化。应当注意，Imax表示最高亮度，而Imin 表示最低亮度。此外，假设二维坐标的x轴和y轴在偏振板PL的平面上，并且相对于x轴的y轴角是指示偏振板PL的偏振方向的偏振角υ(透射轴的角)。偏振板PL具有180度的周期，使得当偏振方向被旋转180度时，偏振板PL返回到初始偏振状态。还假设在观察到最高亮度Imax时形成的偏振角υ是法线的方位角φ。在进行上述定义的情况下，在偏振板PL的偏振方向改变时观察到的亮度I(υ)可以由等式(1)表达。在本技术中，等式(1)被称为偏振模型。
I(υ)＝α+β×Cos(2υ-2φ)···(1)
图2示出了亮度与偏振角之间的关系。等式(1)中的参数α、β和φ是指示偏振产生的Cos波形的参数。参数α指示偏振模型的平均亮度。参数β指示偏振模型的振幅，并且是偏振模型的平均亮度与偏振模型的最大值之间的大小，或者是偏振模型的最大值与最小值之间的差的1/2。参数φ指示方位角，并且因此指示偏振模型的相位。此外，将平均亮度α乘以补偿因为使用偏振板PL而引起的灵敏度下降的灵敏度校正增益g的结果等于不通过偏振板PL的介入而捕获的图像(在下文中称为“非偏振捕获图像”)的亮度。
<2.图像处理装置的配置>
根据本技术的图像处理装置通过基于所获取的信息和已知参数计算未知参数来检测偏振模型。更具体地，偏振模型检测部基于目标对象的具有一个或更多个偏振方向的偏振图像以及由偏振参数获取部获取的偏振参数来检测指示目标对象的偏振属性的偏振模型。
图3示出了所获取的信息和未知参数的模式。在模式1中，获取偏振图像(一个或更多个偏振方向)、非偏振图像(平均亮度α)和振幅β，以使得偏振模型检测部计算相位(方位角)φ。应当注意，可以基于如下所述的非偏振图像来获取平均亮度α。在模式2中，获取偏振图像(一个或更多个偏振方向)、非偏振图像(平均亮度α)和相位φ，使得偏振模型检测部计算振幅β。在模式3中，获取偏振图像(两个或更多个偏振方向) 和非偏振图像(平均亮度α)，以使得偏振模型检测部计算相位φ和振幅β。在模式4中，获取偏振图像(两个或更多个偏振方向)和相位φ，以使得偏振模型检测部计算平均亮度α和振幅β。
基于偏振图像的偏振方向的数目，偏振参数获取部包括非偏振图像获取部、信息存储部和相位存储部的一个或更多个组合。非偏振图像获取部获取目标对象的非偏振图像。信息存储部存储关于目标对象的属性信息和法线的天顶角。相位存储部存储目标对象的法线的方位角。除了关于偏振图像的信息之外，偏振参数获取部获取在图3中被指示为所获取信息的信息。下面分别描述各个模式。
<3.第一实施方式>
现在将描述图像处理装置的第一实施方式。该第一实施方式对应于图 3中的模式1，并且基于在一个或更多个偏振方向上偏振的图像、非偏振图像和偏振模型的振幅来检测偏振模型。
图4示出了第一实施方式的配置。图像处理装置10-1包括偏振图像获取部11a、偏振参数信息获取部12-1和偏振模型检测部13-1。
偏振图像获取部11a获取在一个或更多个偏振方向上偏振的图像，并将所获取的偏振图像输出到偏振模型检测部13-1。获取在一个或更多个偏振方向上偏振的图像包括两种不同的情况。在第一种情况下，要获取的偏振图像具有一个或更多个偏振方向，而所有像素具有相同的偏振方向。在另一情况下，要获取的偏振图像的偏振像素具有一个或更多个偏振方向。
图5示出了偏振图像获取部的配置。例如，图5的(a)中示出的配置使得偏振板112被布置在成像光学系统的前方，该成像光学系统包括例如成像透镜和相机盒111，该相机盒111包括例如图像传感器。在这种配置中，偏振图像获取部11a通过旋转偏振板112并且捕获图像来获取在每个偏振方向上偏振的图像。例如，当在偏振板112的旋转相位差为0度或180度的时间点处捕获图像时，以每个像素具有一个偏振方向的方式获取偏振图像。此外，当在偏振板112的旋转相位差为45度的时间点处捕获图像时，可以以所有像素具有同一偏振方向的方式获取在四个偏振方向中的每个方向上偏振的图像。此外，当偏振板112可拆卸时，可以获取非偏振图像。
图5的(b)中示出的配置使得偏振元件(例如，线栅)114布置在图像传感器113的入射表面上。应当注意，图5的(b)中的一个像素组由2×2个像素形成，并且在一个像素组中的像素具有四个不同的偏振方向。当如上所述配置偏振图像获取部11a时，可以获取包括具有四个不同的偏振方向的偏振像素的偏振图像。此外，当要获取偏振图像时，一个像素组中的偏振像素并不总是需要具有如图5的(b)所示的四个偏振方向之一。替选地，可以获取包括具有三个偏振方向、两个偏振方向或一个偏振方向的偏振像素的偏振图像作为三个偏振方向、两个偏振方向或一个偏振方向。另外，偏振图像获取部11a除了偏振像素以外还可以包括非偏振像素。另外，在偏振图像获取部11a如图5的(b)或者图6所示那样配置的情况下，对于其中未获得作为处理目标的像素的亮度的偏振方向，通过执行例如使用等于偏振方向提供的亮度的偏振像素的亮度(偏振亮度) 的插值处理或滤波处理可以计算偏振亮度。在这种情况下，可以针对每个偏振方向获取其中所有像素具有同一偏振方向的偏振图像。应当注意，仅需要将偏振图像获取部11a配置成获取在一个或更多个偏振方向上偏振的图像。偏振图像获取部11a不必总是配置成图5描述的那样。偏振图像获取部11a将所获取的偏振图像输出到偏振模型检测部13-1。
如图4所示，偏振参数信息获取部12-1包括非偏振图像获取部121、灵敏度校正部122和偏振模型振幅检测部123。
非偏振图像获取部121通过不使用偏振片(例如，偏振板112或偏振元件114)而捕获目标对象的图像来获取非偏振图像。此外，非偏振图像获取部121基于所获取的非偏振图像来计算偏振模型的平均亮度α。
例如，在如图5的(a)中描绘的那样配置偏振图像获取部11a的情况下，非偏振图像获取部121获取通过在去除布置在相机盒111的前方的偏振板112之后捕获图像而生成的非偏振图像。此外，例如，在如图5的 (b)中描绘的那样配置偏振图像获取部11a的情况下，可以在图像传感器113中布置非偏振像素，以基于由非偏振像素生成的信号来获取非偏振图像。
图6示出了偏振像素和非偏振像素的像素阵列，在图6的(a)中描绘了一个像素组由2×2个像素形成并且包括两个偏振像素和两个非偏振像素的情况。两个偏振像素各自具有两个不同的偏振方向之一(例如，为 0度和45度的透射轴角)。同时，图6的(b)中描绘了一个像素组由2 ×2个像素形成并且包括一个偏振像素和三个非偏振像素的情况。该一个偏振像素具有一个偏振方向(例如，为0度的透射轴角)。
此外，非偏振图像获取部121可以通过从偏振图像获取部11a的位置以类似方式捕获期望的目标对象的图像，从而在不使用偏振板112或偏振元件114的情况下配置的通用成像装置中获取非偏振图像。
另外，可以使用多摄像装置作为偏振图像获取部11a和非偏振图像获取部121，该多摄像装置包括在相机盒前方安装的具有不同取向的偏振板的多个相机盒以及不具有偏振板的相机盒。应当注意，图7示出了具有相机盒CMB-1以及CMB-2至CMB-m(m≥2)的多摄像装置。相机盒CMB-1 不具有偏振片。相机盒CMB-2至CMB-m分别具有偏振板PL-2至PL-m，偏振板PL-2至PL-m偏振方向从一个相机盒到另一相机盒是变化的，并且被布置在来自目标对象的光的入射侧。在这种情况下，相机盒CMB-1 获取非偏振图像，而相机盒CMB-2至CMB-m获取偏振图像。应当注意，相机盒CMB-1至CMB-m的视点位置不同，因此对非偏振图像和偏振图像执行视差校正。
灵敏度校正部122通过使用灵敏度校正增益g对等式(2)所示的非偏振图像的亮度I执行灵敏度校正，该灵敏度校正增益g补偿与偏振图像的灵敏度差，并且以单个像素为单位(或者以单个像素组为单位)计算偏振模型的平均亮度α。灵敏度校正部122将计算出的平均亮度α输出到偏振模型振幅检测部122和偏振模型检测部13-1。
α＝g·I···(2)
偏振模型振幅检测部123使用由灵敏度校正部122计算出的平均亮度α来检测偏振模型的振幅。图8示出了偏振模型振幅检测部的配置。偏振模型振幅检测部123包括：信息存储部1231、偏振度计算部1232和振幅检测部1233。如下所述，信息存储部1231存储目标对象的法线的天顶角θ、折射率r以及指示主体是漫反射还是镜面反射的反射属性信息。偏振度计算部1232根据存储在信息存储部1231中的反射属性信息选择等式 (3)或等式(4)，并且基于天顶角θ和折射率r来计算偏振度ρ(θ,r)。
[数学式1]
Figure BDA0002536759360000101
Figure BDA0002536759360000102
此外，振幅检测部1233通过使用由偏振度计算部1232计算的偏振度ρ(θ,r)以及从非偏振图像获取部121提供的平均亮度α，根据等式(5)计算振幅β，并且将计算出的振幅β输出到偏振模型检测部13-1。
β＝α·ρ(θ,r)···(5)
返回图4，当从偏振参数信息获取部12-1提供了偏振模型的平均亮度α和振幅β时，偏振模型检测部13-1计算作为未知参数的相位φ。偏振模型检测部13-1通过使用偏振模型的平均亮度α和振幅β以及从偏振图像获取部11a提供的、在一个或更多个偏振方向上偏振的图像的偏振亮度 I(φn)，根据等式(6)计算相位φ。应当注意，“n”是指示偏振亮度的偏振方向的索引。在后面的描述中，假设偏振方向的数目由“N”(n＝1至N) 表示。偏振模型检测部13-1输出作为偏振模型的参数的平均亮度α、振幅β和相位φ作为偏振模型检测的结果。
[数学式2]
Figure BDA0002536759360000103
图9是示出第一实施方式的操作的流程图。在步骤ST1中，图像处理装置10-1获取在一个或更多个偏振方向上偏振的图像。图像处理装置10-1 获取偏振图像，该偏振图像是通过具有布置在相机盒111前方的偏振板 112的相机盒111或者通过具有有着一个或更多个偏振方向的偏振像素的图像传感器获取的，然后进行到步骤ST2。
在步骤ST2中，图像处理装置10-1获取偏振参数。基于从灵敏度校正得到的非偏振图像，图像处理装置10-1计算偏振模型的平均亮度α。此外，基于计算出的平均亮度α和预先存储的关于目标对象的法线的天顶角θ以及折射率r和指示主体是漫反射还是镜面反射的反射属性信息，图像处理装置10-1计算偏振模型的振幅β，然后进行到步骤ST3。
在步骤ST3中，图像处理装置10-1执行偏振模型检测处理。图像处理装置10-1基于偏振模型的平均亮度α和振幅β、在步骤ST1中从偏振图像获取部11a获取的在一个或更多个偏振方向上偏振的图像以及在步骤 ST2中获取的平均亮度α和振幅β，来计算偏振模型的相位φ。结果，获取了偏振模型的平均亮度α、振幅β和相位φ。另外，通过以单个像素为单位或者以单个像素组为单位执行步骤ST1至ST3，使得可以以单个像素组为单位或者以单个像素组为单位来检测目标对象的偏振模型。
如上所述，第一实施方式使得可以根据非偏振图像、偏振模型的振幅以及在一个或更多个偏振方向上偏振的图像来检测偏振模型。此外，在如图6的(b)所示的使用偏振像素和非偏振像素的情况下，不仅可以根据在一个偏振方向上偏振的图像来检测偏振模型，而且可以在使用许多非偏振像素的同时在不附接或者拆卸偏振片的情况下检测偏振模型，并且获取具有高灵敏度的高分辨率非偏振图像。因此，例如，当使用检测到的偏振模型进行反射去除时，可以容易地以高分辨率生成艺术作品的档案，同时避免来自不期望的周围对象的反射。
<4.第二实施方式>
现在将描述图像处理装置的第二实施方式。第二实施方式对应于图3 中的模式2，并且根据非偏振图像、相位以及在一个或更多个偏振方向上偏振的图像来检测偏振模型。
图10示出了第二实施方式的配置。图像处理装置10-2包括偏振图像获取部11a、偏振参数信息获取部12-2和偏振模型检测部13-2。
偏振图像获取部11a具有与第一实施方式中的配置类似的配置，获取在一个或更多个偏振方向上偏振的图像，并且将所获取的偏振图像输出到偏振模型检测部13-2。
偏振参数信息获取部12-2包括非偏振图像获取部121、灵敏度校正部 122和偏振模型相位存储部124。
非偏振图像获取部121具有与第一实施方式中的配置类似的配置，获取非偏振图像，并且将所获取的非偏振图像输出到灵敏度校正部122。灵敏度校正部122具有与第一实施方式中的配置类似的配置，通过使用补偿与偏振图像的灵敏度差的灵敏度校正增益g，如等式(2)所示，对非偏振图像的亮度I执行灵敏度校正，并且将偏振模型的平均亮度α输出到偏振模型检测部13-2。
偏振模型相位存储部124预先存储相位(方位角)φ。偏振模型相位存储部124将所存储的相位φ输出到偏振模型检测部13-2。
因为从偏振参数信息获取部12-2提供了偏振模型的平均亮度α和相位φ，因此偏振模型检测部13-2计算作为未知参数的振幅β。偏振模型检测部13-2通过使用偏振模型的平均亮度α和相位φ以及从偏振图像获取部11a提供的在一个或更多个偏振方向上偏振的偏振图像的亮度I(φn)，根据等式(7)来计算振幅β。偏振模型检测部13-2输出作为偏振模型的参数的平均亮度α、振幅β和相位φ作为偏振模型检测的结果。
[数学式3]
Figure BDA0002536759360000121
应当注意，根据第二实施方式的图像处理装置的操作以与第一实施方式类似的逐步方式执行，但是在各个步骤中执行的处理操作与如上所述的第一实施方式中的各个步骤中执行的处理操作不同。
如上所述，第二实施方式使得可以根据非偏振图像、相位以及在一个或更多个偏振方向上偏振的图像来检测偏振模型。
<5.第三实施方式>
现在将描述图像处理装置的第三实施方式。第三实施方式对应于图3 中的模式3，并且根据非偏振图像以及在两个或更多个偏振方向上偏振的图像检测偏振模型。
图11示出了第三实施方式的配置。图像处理装置10-3包括偏振图像获取部11b、偏振参数信息获取部12-3和偏振模型检测部13-3。
偏振图像获取部11b具有与第一实施方式中的偏振图像获取部11a的配置类似的配置，但是与偏振图像获取部11a的不同之处在于，可以获取的偏振图像的偏振方向的数目。偏振图像获取部11b获取在两个或更多个偏振方向上偏振的图像，并且将所获取的偏振图像输出到偏振模型检测部 13-3。
偏振参数信息获取部12-3包括非偏振图像获取部121和灵敏度校正部122。
非偏振图像获取部121具有与第一实施方式中的非偏振图像获取部 121类似的配置，获取非偏振图像，并且将所获取的非偏振图像输出到灵敏度校正部122。灵敏度校正部122具有与第一实施方式中的灵敏度校正部122类似的配置，通过使用补偿与偏振图像的灵敏度差的灵敏度校正增益g，如等式(2)所示，对非偏振图像的亮度I执行灵敏度校正，并且将偏振模型的平均亮度α输出到偏振模型检测部13-3。
由于偏振模型的平均亮度α是从偏振参数信息获取部12-3提供的，因此偏振模型检测部13-3计算作为未知参数的振幅β和相位φ。
偏振模型检测部13-3通过使用从偏振参数信息获取部12-2提供的偏振模型的平均亮度α以及从偏振图像获取部11b提供的在两个或更多个偏振方向上偏振的图像的偏振亮度I(φn)(n≥2)来计算振幅β和相位φ。此外，偏振模型检测部13-3输出偏振模型的平均亮度α和计算出的振幅β和相位φ作为偏振模型检测的结果。
偏振模型检测部13-3根据等式(8)和等式(9)计算振幅β和相位φ，在等式(8)和等式(9)中，基于等式(10)来计算“A”，基于等式(11) 来计算“B”。此外，在等式(10)和等式(11)中，基于等式(12)来计算“X”，基于等式(13)来计算“Y”，基于等式(14)来计算“Z”。
[数学式4]
Figure BDA0002536759360000141
Figure BDA0002536759360000142
Figure BDA0002536759360000143
Figure BDA0002536759360000144
Figure BDA0002536759360000145
Figure BDA0002536759360000146
Figure BDA0002536759360000147
偏振模型检测部13-3输出作为偏振模型的参数的平均亮度α、振幅β和相位φ，作为偏振模型检测的结果。
应当注意，根据第三实施方式的图像处理装置的操作以与第一实施方式类似的逐步方式执行，但是在各个步骤中执行的处理操作与如上所述的第一实施方式中执行的处理操作不同。
如上所述，第三实施方式使得可以根据非偏振图像以及在两个或更多个偏振方向上偏振的图像来检测偏振模型。
<6.第四实施方式>
现在将描述图像处理装置的第四实施方式。第四实施方式对应于图3 中的模式4，并且根据在两个或更多个偏振方向上偏振的图像以及偏振模型的相位(方位角)检测偏振模型。
图12示出了第四实施方式的配置。图像处理装置10-4包括偏振图像获取部11b、偏振参数信息获取部12-4和偏振模型检测部13-4。
偏振图像获取部11b具有与第三实施方式中的偏振图像获取部类似的配置，获取在两个或更多个偏振方向上偏振的图像，并且将所获取的偏振图像输出到偏振模型检测部13-4。
偏振参数信息获取部12-4包括偏振模型相位存储部124。偏振模型相位存储部124预先存储相位(方位角)φ，如第二实施方式中的偏振模型相位存储部的情况。偏振模型相位存储部124将所存储的相位φ输出到偏振模型检测部13-4。
由于从偏振参数信息获取部12-4提供了偏振模型的相位φ，因此偏振模型检测部13-4计算作为未知参数的平均亮度α和振幅β。偏振模型检测部13-4通过使用偏振模型的相位φ以及从偏振图像获取部11b提供的在两个或更多个偏振方向上偏振的图像的偏振亮度I(φn)(n≥2)，根据等式(15)计算平均亮度α，并且根据等式(16)计算振幅β。此外，在等式(15)和等式(16)中，根据等式(17)来计算“Y”，根据等式(18) 来计算“P”，根据等式(19)来计算“R”，并且根据等式(20)来计算“Q”。
偏振模型检测部13-4输出作为偏振模型的参数的平均亮度α、振幅β和相位φ，作为偏振模型检测的结果。
[数学式5]
Figure BDA0002536759360000151
Figure BDA0002536759360000152
Figure BDA0002536759360000153
Figure BDA0002536759360000154
Figure BDA0002536759360000155
Figure BDA0002536759360000156
应当注意，根据第四实施方式的图像处理装置的操作以与第一实施方式类似的逐步方式执行，但是在各个步骤中执行的处理操作与如上所述的第一实施方式中的各个步骤中执行的处理操作不同。
如上所述，第四实施方式使得可以根据在两个或更多个偏振方向上偏振的图像以及偏振模型的相位(方位角)检测偏振模型。
<7.替选实施方式>
图13示出了替选实施方式的配置。图像处理装置10-5包括偏振图像获取部15、饱和检测部16、偏振参数信息获取部17和偏振模型检测部 18。
偏振图像获取部15具有与第二至第四实施方式中的偏振图像获取部 11a或偏振图像获取部11b中的任何一个的配置类似的配置，获取在不同偏振方向上偏振的多个图像，并且将获取的偏振图像输出到饱和检测部 16和偏振模型检测部18。
饱和检测部16检测多个偏振图像中的每个像素的偏振亮度是否饱和。饱和检测部16将检测结果输出到偏振参数信息获取部17和偏振模型检测部18。
在从饱和检测部16提供的检测结果指示两个偏振方向不饱和的情况下，偏振参数信息获取部17执行与由上述第一至第四实施方式中的偏振参数信息获取部12-1至12-4中的一个执行的处理类似的处理，并且将所获取的参数输出到偏振模型检测部18。同时，在检测结果指示一个偏振方向不饱和的情况下，偏振参数信息获取部17执行与由上述第一或第二实施方式中的偏振参数信息获取部12-1或偏振参数信息获取部12-2中的一个执行的处理类似的处理，并且将所获取的参数输出到偏振模型检测部 18。
在从饱和检测部16提供的检测结果指示三个或更多个偏振方向不饱和的情况下，偏振模型检测部18通过使用由偏振图像获取部15获取的在三个或更多个偏振方向上偏振的图像的偏振亮度来以常规方式检测偏振模型的参数。同时，在检测结果指示一个或两个偏振方向不饱和的情况下，偏振模型检测部18通过执行与由偏振模型检测部执行的处理类似的处理来检测偏振模型，该偏振模型检测部对应于第一至第四实施方式中的偏振参数信息获取部中的一个，并且由偏振参数信息获取部17选择。例如，在偏振参数信息获取部17与偏振参数信息获取部12-1类似地进行操作的情况下，偏振模型检测部18通过执行与偏振模型检测部13-1执行的处理类似的处理来检测偏振模型。此外，在偏振参数信息获取部17与偏振参数信息获取部12-2类似地操作的情况下，偏振模型检测部18通过执行与由偏振模型检测部13-2执行的处理类似的处理来检测偏振模型。
在执行上述处理时，即使在每个像素中每个偏振方向的偏振亮度都饱和，用于偏振模型检测的操作也基于饱和度而改变。因此，即使在不容易通过常规方法检测偏振属性的情况下，也可以检测偏振属性。例如，在偏振图像获取部包括具有四个偏振元件的偏振图像传感器的情况下，即使四个偏振亮度中的两个偏振亮度饱和，也可以根据已知相位检测偏振模型。
此外，图像处理装置的配置不限于根据上述第一至第四实施方式以及替选实施方式中的一个的图像处理装置的配置，并且可以是根据上述实施方式的图像处理装置的配置的组合。更具体地，可以根据偏振图像的偏振方向的数目以及由偏振参数获取部获取的偏振参数，将偏振模型检测部的操作改变为上述实施方式中的任何操作。例如，在偏振图像具有一个或更多个偏振方向的情况下，根据由偏振参数获取部获取的偏振参数执行对应于图3中的模式1的第一实施方式的操作或者对应于图3中的模式2的第二实施方式的操作。执行这样的处理操作使得可以根据各种情况检测偏振模型。
另外，已经在假设图像处理装置包括偏振图像获取部和偏振参数获取部的基础上描述了前述实施方式。然而，替选地，偏振图像获取部、偏振参数获取部以及偏振参数获取部中的非偏振图像获取部可以与图像处理装置分开布置。
<8.天顶角和方位角的获取>
现在将描述天顶角的获取。在目标对象与偏振图像获取部之间的位置关系明显的情况下，假设天顶角是基于关于目标对象与偏振图像获取部的几何信息的角。图14示出了以下情况，偏振图像获取部被牢固地布置在例如车辆中，以通过挡风玻璃捕获车辆外部的图像。在这种情况下，偏振图像获取部11a(11b)与挡风玻璃之间的位置关系是明显的。因此，基于指示位置关系的几何信息来预先计算在从偏振图像获取部11a(11b)观看时在挡风玻璃上视点位置的法线的天顶角θ，然后将天顶角θ存储在图8 描绘的信息存储部1231中。
此外，天顶角可以是基于目标对象的三维形状的角。图15示出了基于三维形状来计算天顶角的情况。目标对象OB的三维形状由三维形状获取部31获取，该三维形状获取部31包括例如ToF(飞行时间)传感器、结构化光深度传感器或者立体摄像装置。当目标对象OB的三维形状明显时，可以预先计算当从偏振图像获取部11a(11b)观看时目标对象OB上的视点的位置的法线的天顶角θ。因此，计算出的天顶角θ被存储在图8 中描绘的信息存储部1231中。
现在将描述方位角(偏振模型的相位)的获取。假设方位角是基于关于目标对象与用于获取目标对象的偏振图像的偏振图像获取部的几何信息的角。例如，在目标场景的形状保持不变并且偏振图像获取部被牢固安装的情况下，从偏振图像获取部观看时目标对象的法线方向保持不变。因此，方位角始终是已知信息。因此，基于关于偏振图像获取部与目标对象之间的位置关系的几何信息来计算方位角，然后将方位角存储在图10中描绘的偏振模型相位存储部124中。图16示出了偏振图像获取部被布置在例如车辆中以捕获车辆前方的区域的图像的情况。应当注意，在图16 的(a)中描绘的是车辆和路面，在图16的(b)中描绘的是由布置在车辆中的偏振图像获取部11a(11b)捕获的偏振图像。如果假设路面是目标对象，并且假设平行于路面的方向是具有0度的方位角的方向，则路面的法线是明显的，并且可以将方位角假设为大约90度。因此，在以路面为目标对象的情况下，假设的方位角被存储在如图10描绘的偏振模型相位存储部124中。此外，如果假设目标对象仅是道路，则道路的法线保持不变，并且方位角已知。因此，可以基于通过使用存储在偏振模型相位存储部124中的方位角(相位)检测的偏振模型来去除从路面反射的光。应当注意，偏振图像获取部11a(11b)与挡风玻璃之间的位置关系是明显的，如图14所描绘的那样。因此，可以基于偏振图像获取部11a(11b)的位置以及挡风玻璃的平面方向来计算方位角，然后将方位角存储在偏振模型相位存储部124中。在这种情况下，例如，可以基于通过使用存储在偏振模型相位存储部124中的方位角(相位)检测到的偏振模型来去除挡风玻璃中的仪表板反射。
此外，方位角是基于目标对象的三维形状的角。关于目标对象的三维形状，通过使用上述三维形状获取部来获取深度图。可以通过对深度图进行微分来计算目标对象的每个点处的平面方向。因此，基于每个点处的平面方向计算法线的方位角，并且将方位角存储在图10描绘的偏振模型相位存储部124中。如上所述，通过基于对象的形状使用深度图来确定法线，可以根据偏振方向的数目小的偏振图像来检测偏振模型。因此，通过使用检测到的偏振模型去除反射分量时，即使在例如由于对象中的光源反射而导致亮度饱和的情况下，也可以准确地确定对象的亮度。
另外，方位角可以是基于附近位置的方位角的角，图17是示出方位角是基于附近位置的方位角的角的情况的图。例如，偏振图像获取部11a 被配置成使得第一像素组与第二像素组彼此相邻地布置。第一像素组包括具有四个不同的偏振方向的偏振像素。第二像素组包括一个偏振像素和三个非偏振像素。在这种情况下，第一像素组包括具有四个不同偏振方向的偏振像素。因此，可以基于偏振像素的亮度来检测第一像素组的偏振模型。此外，由于第一像素组与第二像素彼此相邻，因此方位角(相位)φ之差较小。因此，例如，针对第一像素组检测到的偏振模型的相位可以被认为是第二像素组的方位角，并且被存储在图10描绘的偏振模型相位存储部 124中。此外，例如，可以通过基于与第二像素组的两侧都相邻的第一像素组的相位来执行插值，以计算第二像素组的方位角。
另外，可以通过用户操作来指定方位角。更具体地，可以并入方位角输入部，以使偏振模型相位存储部124存储由方位角输入部指定的方位角。
图18示出了方位角输入部的配置。方位角输入部19包括输入操作部 191和图像呈现部192。输入操作部191包括：能够调节方位角的值的操作拨盘，或者能够允许输入操作部191和图像呈现部192调整方位角的值的GUI。输入操作部191使偏振模型相位存储部124存储用户通过使用操作拨盘或GUI指定的方位角。图19示出了可以指定方位角的GUI的图像。图19的(a)中描绘的是使用文本框的情况。在这种情况下，输入到文本框 TXB的方位角被存储在偏振模型相位存储部124中，作为指定的方位角φtmp。此外，可以并入上下箭头按钮BTud，以根据上下箭头按钮BTud 的操作来增大或减小方位角φtmp。图19的(b)中描绘了并入滑块的情况。在这种情况下，与滑块SLD的位置对应的方位角被存储在偏振模型相位存储部124中，作为指定的方位角φtmp。
当如上所述将方位角存储在偏振模型相位存储部124中时，如结合第二实施方式所描述的，可以根据非偏振图像、方位角(相位)以及在一个或更多个偏振方向上偏振的图像来识别偏振模型。然而，在用户指定的方位角与实际方位角不同的情况下，即使使用所识别的偏振模型也无法获得所需的效果。例如，在要基于偏振模型来去除镜面反射分量的情况下，如果用户指定的方位角与实际方位角不同，则无法准确地去除镜面反射分量。在这种情况下，图像呈现部192包括反射去除部192a和显示部192b，并且显示基于通过使用用户指定的方位角φtmp识别的偏振模型来显示对目标对象执行反射去除处理而获得的图像。例如，偏振模型的振幅变化表示镜面反射分量。因此，反射去除部192a从由非偏振图像获取部121获取的非偏振图像去除振幅变化，并且使显示部192b显示通过去除振幅变化的处理而获得的图像。另外，例如，上述的文本框、上下箭头按钮BTud 和滑块可以与通过去除振幅变化的处理而获得的图像一起显示。只要如上所述地显示基于通过使用用户操作显示和用户指定的方位角识别的偏振模型的振幅变化去除处理的结果，就可以容易地通过以使图像呈现部192 呈现的图像的反射分量最小化的方式调整方位角来将正确的方位角存储在偏振模型相位存储部124中。此外，反射去除部192a不必总是布置在方位角输入部19中。反射去除部192a可以替选地独立于方位角输入部19 来布置。
图20示出了用于输入反射属性信息的GUI图像。复选框CBA和复选框CBB用于输入反射属性信息。复选框CBA选择漫反射作为主体，复选框CBB选择镜面反射作为主体。基于复选框之一的选择结果来生成反射属性信息，并且将反射属性信息存储在信息存储部1231中。
当执行上述处理时，图像处理装置能够存储偏振模型检测所需的信息。
<9.应用示例>
根据本公开内容(本技术)的技术可以应用于各种产品。例如，根据本公开内容的技术可以被实现为要安装在例如汽车、电动汽车、混合动力汽车、摩托车、自行车、个人移动设备、飞机、无人机、船舶和机器人的各种类型的移动体之一中的设备。
图21是示出车辆控制系统的示意性配置的实例的框图，该车辆控制系统是作为可应用根据本公开的实施方式的技术的移动体控制系统的实例。
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图21所示出的实例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，微型计算机12051、声音/图像输出部12052、车载网络接口(I/F)12053作为集成控制单元12050的功能配置而示出。
驱动系统控制单元12010根据各种程序对与车辆的驱动系统相关的设备的操作进行控制。例如，驱动系统控制单元12010用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等，用于将驱动力传递至车轮的驱动力传递机构，用于调节车辆的转向角的转向机构，用于生成车辆的制动力的制动设备等。
车身系统控制单元12020根据各种程序对车身所配置的各种类型的设备的操作进行控制。例如，车身系统控制单元12020用作控制设备来控制：无钥匙进入系统、智能钥匙系统、电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，可以将从移动设备发送的无线电波作为密钥或各种开关的信号的替代输入到车身系统控制单元 12020。车身系统控制单元12020接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。
车外信息检测单元12030检测包括车辆控制系统12000的车辆的外部的信息。例如，车外信息检测单元12030连接有成像部12031。车外信息检测单元12030使成像部12031成像车辆外部的图像，并且接收所成像的图像。基于所接收的图像，车外信息检测单元12030可以执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。
成像部12031是接收光并且输出与所接收的光的光量相对应的电信号的光学传感器。成像部12031能够输出作为图像的电信号，或者能够输出作为关于所测量距离的信息的电信号。此外，由成像部12031接收的光可以是可见光，或者可以是诸如红外线等的不可见光。
车内信息检测单元12040检测关于车辆内部的信息。车内信息检测单元12040可以连接有检测驾驶员的状态的驾驶员状态检测部12041。驾驶员状态检测部12041例如包括拍摄驾驶员的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可以计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可以确定驾驶员是否在打瞌睡。
微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆内部或外部的信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元12010 输出控制命令。例如，微型计算机12051可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括：用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞的警报、车辆偏离车道的警报等。
此外，微型计算机12051可以通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息来控制驱动力生成设备、转向机构、制动设备，从而执行旨在自动驾驶的协同控制，使车辆能够自主行驶，而不依赖于驾驶员的操作。
此外，微型计算机12051能够基于由车外信息检测单元12030获得的关于车辆外部的信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051可以根据由车外信息检测单元12030检测的前方车辆或迎面车辆的位置来控制前照灯以将其从远光改变为近光，从而执行旨在防止眩光的协同控制。
声音/图像输出部12052将声音和图像中的至少一个的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图21的实例中，音频扬声器12061、显示部12062和仪表面板12063作为输出设备而示出。显示部12062可以例如包括车载显示器和平视显示器中的至少一个。
图22是示出成像部12031的安装位置的实例的示图。
在图22中，成像部12031包括成像部12101、12102、12103、12104 和12105。
成像部12101、12102、12103、12104和12105可以被布置在车辆12100 的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部12101以及布置在车辆内部的挡风玻璃的上部的成像部12105主要获得车辆12100的前方的图像。布置在侧视镜的成像部 12102和12103主要获得车辆12100的侧面的图像。布置在后保险杠或后门的成像部12104主要获得车辆12100的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部12105主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及，图22示出成像部12101～12104的拍摄范围的实例。成像范围12111表示布置在前鼻的成像部12101的成像范围。成像范围12112 和12113分别表示布置在侧视镜的成像部12102和12103的成像范围。成像范围12114表示布置在后保险杠或后门的成像部12104的成像范围。例如，通过叠加由成像部12101～12104成像的图像数据获得从上方观察的车辆12100的鸟瞰图像。
成像部12101～12104中的至少一个可以具有获得距离信息的功能。例如，成像部12101～12104中的至少一个可以是由多个成像元件组成的立体相机，或者可以是具有用于相位差检测的像素的成像元件。
例如，微型计算机12051可以基于从成像部12101～12104获得的距离信息来确定到成像范围12111～12114内的每个三维对象的距离以及该距离的时间变化(相对于车辆12100的相对速度)，并且由此提取最近三维对象作为前方车辆，该最近三维对象具体存在于车辆12100的行驶路径上，并且以预定速度(例如，等于或大于0公里/小时)在与车辆12100基本相同的方向上行驶。此外，微型计算机12051可以预先设置要保持的、距前方车辆的跟随距离，并且执行自动制动控制(包括跟随的停车控制)、自动加速度控制(包括跟随的起动控制)等。因此，能够执行旨在自动驾驶的协同控制，使得车辆在不依赖于驾驶员的操作等的情况下自动行驶。
例如，微型计算机12051可以基于从成像部12101～12104获得的距离信息，将关于三维对象的三维对象数据分类为二轮车辆、标准尺寸车辆、大型车辆、行人、电线杆以及其他三维对象的三维对象数据，提取所分类的三维对象数据，并且使用所提取的三维对象数据以用于障碍物的自动回避。例如，微型计算机12051辨别车辆12100周围的障碍物是车辆12100 的驾驶员可以视觉识别的障碍物，还是对于车辆12100的驾驶员而言难以视觉识别的障碍物。然后，微型计算机12051确定碰撞风险，该碰撞风险指示与每个障碍物发生碰撞的风险。在碰撞风险等于或高于设定值并且因此存在碰撞的可能性的情况下，微型计算机12051经由音频扬声器12061 或显示部12062向驾驶员输出警报，并且经由驱动系统控制单元12010执行强制减速或躲避转向。由此，微型计算机12051可以辅助驾驶以避免碰撞。
成像部12101～12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051可以通过确定在成像部12101～12104的成像图像中是否存在行人来识别行人。这种行人识别例如由下列过程执行：提取作为红外相机的成像部12101～12104的成像图像中的特性点，并且通过在表示对象轮廓的一系列特性点上执行图案匹配处理来确定是否是行人。当微型计算机12051确定了在成像部12101～12104的成像图像中存在行人并且因此识别到行人时，声音/图像输出部12052控制显示部12062，使得显示用于强调的方形轮廓线，以便将其叠加在所识别的行人上。声音/图像输出部12052还可控制显示部12062，使其在期望的位置处显示表示行人的图标等。
上面的描述涉及适用于根据本公开内容的技术的车辆控制系统的示例。根据本公开内容的技术使得基于本公开内容的技术的偏振参数信息获取部中的偏振图像获取部11a和非偏振图像获取部121适用于例如上述元件中的成像部12031。此外，基于根据本公开内容的技术的偏振参数信息获取部(非偏振图像获取部121除外)和偏振模型检测部适用于上述元件中的车外信息检测单元12030。如上所述，当将根据本公开内容的技术应用于车辆控制系统时，例如，可以通过使用检测到的偏振模型来准确地去除反射，从而可以高精度地获取用于减轻车辆驾驶员的疲劳和自动驾驶所需的信息。
本说明书中描述的一系列处理可以通过硬件、软件或两者的组合来执行。当要通过软件执行处理时，将记录有处理顺序的程序安装在内置与专用硬件中的计算机的存储器中，然后执行该程序。替选地，可以将程序安装在能够执行各种处理的通用计算机中，然后执行该程序。
例如，程序可以被预先记录在用作记录介质的硬盘或SSD(固态驱动器)上或者ROM(只读存储器)中。替选地，程序可以被临时或永久地存储(记录)在软盘、CD-ROM(光盘只读存储器)、MO(磁光盘)、DVD (数字多功能光盘)、BD(蓝光盘(注册商标))、磁盘、半导体存储卡或者其他可移动记录介质中。这种可移动记录介质可以作为通常称为包装软件的形式提供。
此外，作为将程序从可移动记录介质安装到计算机上的替选，可以经由诸如LAN(局域网)或因特网之类的网络以无线或有线方式将程序从下载站点传输到计算机。在这种情况下，计算机能够接收以这种方式传输的程序，并且将该程序安装到内置硬盘或其他记录媒体上。
在本说明书中描述的有益效果仅是示例性的，而不是限制性的，可以附加地提供在本说明书中未描述的有益效果，此外，本技术的解释不限于结合各种实施方式描述的实施方式。本技术的实施方式以说明性的方式公开了本技术。应当理解，在不脱离本技术的精神和范围的情况下，本领域的技术人员可以对实施方式进行修改或替换。也就是说，应该考虑所附权利要求书来确定本技术的精神。
此外，根据本技术的图像处理装置还可以采用以下配置。
(1)
一种图像处理装置，包括：
偏振模型检测部，其基于目标对象的具有一个或更多个偏振方向的偏振图像以及由偏振参数获取部获取的偏振参数来检测指示所述目标对象的偏振属性的偏振模型。
(2)
根据(1)所述的图像处理装置，其中，
基于所述偏振图像的偏振方向的数目，所述偏振参数获取部包括非偏振图像获取部、信息存储部和相位存储部的一个或更多个组合，所述非偏振图像获取部获取所述目标对象的非偏振图像，所述信息存储部存储关于所述目标对象的属性信息和法线的天顶角，所述相位存储部存储所述目标对象的法线的方位角。
(3)
根据(2)所述的图像处理装置，其中，
在所述非偏振图像获取部被布置在所述偏振参数获取部中的情况下，还包括灵敏度校正部，所述灵敏度校正部针对所述偏振图像的灵敏度对由所述非偏振图像获取部获取的非偏振图像进行校正。
(4)
根据(2)或(3)所述的图像处理装置，其中，
所述偏振参数获取部基于经所述灵敏度校正部校正的非偏振图像以及存储在所述信息存储部中的属性信息来获取指示所述偏振模型的振幅的偏振参数。
(5)
根据(2)所述的图像处理装置，其中，
所述非偏振图像获取部通过在被配置成获取所述目标对象的偏振图像的偏振图像获取部中不使用偏振片而捕获图像来获取非偏振图像。
(6)
根据如(5)所述的图像处理装置，其中，
用于获取所述目标对象的偏振图像的偏振图像获取部包括：能够拆卸偏振片的偏振像素或者具有所述偏振片的偏振像素，以及不具有所述偏振片的非偏振像素。
(7)
根据(2)所述的图像处理装置，其中，
存储在所述信息存储部中的天顶角是基于关于所述目标对象与用于获取所述目标对象的偏振图像的偏振图像获取部的几何信息的角。
(8)
根据(2)所述的图像处理装置，其中，
存储在所述信息存储部中的天顶角是基于所述目标对象的三维形状的角。
(9)
根据(2)所述的图像处理装置，其中，
所述信息存储部存储反射属性信息，所述反射属性信息指示所述偏振图像是表示关于镜面反射主体的信息还是漫反射主体的信息。
(10)
根据(2)所述的图像处理装置，其中，
存储在所述相位存储部中的方位角是基于关于所述目标对象与用于获取所述目标对象的偏振图像的偏振图像获取部的几何信息的角。
(11)
根据(2)所述的图像处理装置，其中，
存储在所述相位存储部中的方位角是基于所述目标对象的三维形状的角。
(12)
根据(2)所述的图像处理装置，其中，
存储在所述相位存储部中的方位角是基于附近位置的方位角的角，所述附近位置是基于在三个或更多个偏振方向上偏振的图像计算的。
(13)
根据(2)所述的图像处理装置，还包括：
方位角输入部，用于设定所述方位角，其中，
所述方位角输入部使所述相位存储部存储基于用户操作的方位角，并且所述方位角输入部使用基于存储在所述相位存储部中的方位角检测到的偏振模型，以显示通过从所述偏振图像中去除反射分量而获得的图像。
(14)
根据(1)至(13)中任一项所述的图像处理装置，还包括：
饱和检测部，用于检测所述偏振图像是否饱和，其中，
所述偏振模型检测部基于被所述饱和检测部检测为不饱和的偏振图像以及由所述偏振参数获取部获取的偏振参数来检测所述偏振模型。
(15)
根据(1)至(14)中任一项所述的图像处理装置，其中，
所述偏振模型检测部根据所述偏振图像的偏振方向的数目以及由所述偏振参数获取部获取的偏振参数来改变偏振模型检测的操作。
(16)
根据(1)至(15)中任一项所述的图像处理装置，还包括：
所述偏振参数获取部或者用于获取所述目标对象的偏振图像的偏振图像获取部。
(17)
根据(1)至(16)中任一项所述的图像处理装置，还包括：
反射去除部，其基于所述目标对象的偏振图像以及由所述偏振模型检测部检测到的偏振模型，从所述目标对象的图像中去除反射分量。
(18)
一种图像处理方法，包括以下步骤：
允许偏振模型检测部基于目标对象的具有一个或更多个偏振方向的偏振图像以及由偏振参数获取部获取的偏振参数来检测指示所述目标对象的偏振属性的偏振模型。
(19)
一种用于使计算机检测指示目标对象的偏振属性的偏振模型的程序，所述程序使所述计算机执行以下步骤：
基于由偏振图像获取部获取的所述目标对象的具有一个或更多个偏振方向的偏振图像以及由偏振参数获取部获取的偏振参数来检测所述偏振模型。
[工业适用性]
根据本技术的图像处理装置、图像处理方法和程序基于目标对象的具有一个或更多个偏振方向的偏振图像以及由偏振参数获取部获取的偏振参数来检测指示目标对象的偏振属性的偏振模型。因此，即使在无法获取在三个或更多个偏振方向上偏振的图像的情况下，根据本技术的图像处理装置、图像处理方法和程序也能够检测目标对象的偏振属性，因此，例如适于使用经过偏振去除处理或者基于偏振模型的各种其他处理的图像的设备。
[附图标记列表]
10-1、10-2、10-3、10-4、10-5...图像处理装置
11a、11b、15...偏振图像获取部
12-1、12-2、12-3、12-4、17...偏振参数信息获取部
13-1、13-2、13-3、13-4、18...偏振模型检测部
16...饱和检测部
19...方位角输入部
31...三维形状获取部
111...相加框
112...偏振板
113...图像传感器
114...偏振元件
121...非偏振图像获取部
122...灵敏度校正部
123...偏振模型振幅检测部
124...偏振模型相位存储部
191...输入操作部
192...图像呈现部
192a...反射去除部
192b...显示部
1231 信息存储部
1232...偏振度计算部
1233...振幅检测部

Claims (18)

1.一种图像处理装置，包括：
偏振模型检测部，其基于目标对象的具有一个或更多个偏振方向的偏振图像以及由偏振参数获取部获取的偏振参数来检测指示所述目标对象的偏振属性的偏振模型，
其中，基于所述偏振图像的偏振方向的数目，所述偏振参数获取部包括非偏振图像获取部、信息存储部和相位存储部的一个或更多个组合，所述非偏振图像获取部获取所述目标对象的非偏振图像，所述信息存储部存储关于所述目标对象的属性信息和法线的天顶角，所述相位存储部存储所述目标对象的法线的方位角。
2.根据权利要求1所述的图像处理装置，其中，
在所述非偏振图像获取部被布置在所述偏振参数获取部中的情况下，还包括灵敏度校正部，所述灵敏度校正部针对所述偏振图像的灵敏度对由所述非偏振图像获取部获取的非偏振图像进行校正。
3.根据权利要求2所述的图像处理装置，其中，
所述偏振参数获取部基于经所述灵敏度校正部校正的非偏振图像以及存储在所述信息存储部中的属性信息来获取指示所述偏振模型的振幅的偏振参数。
4.根据权利要求1所述的图像处理装置，其中，
所述非偏振图像获取部通过在被配置成获取所述目标对象的偏振图像的偏振图像获取部中不使用偏振片而捕获图像来获取非偏振图像。
5.根据权利要求4所述的图像处理装置，其中，
用于获取所述目标对象的偏振图像的偏振图像获取部包括：能够拆卸偏振片的偏振像素或者具有所述偏振片的偏振像素，以及不具有所述偏振片的非偏振像素。
6.根据权利要求1所述的图像处理装置，其中，
存储在所述信息存储部中的天顶角是基于关于所述目标对象与用于获取所述目标对象的偏振图像的偏振图像获取部的几何信息的角。
7.根据权利要求1所述的图像处理装置，其中，
存储在所述信息存储部中的天顶角是基于所述目标对象的三维形状的角。
8.根据权利要求1所述的图像处理装置，其中，
所述信息存储部存储反射属性信息，所述反射属性信息指示所述偏振图像是表示关于镜面反射主体的信息还是漫反射主体的信息。
9.根据权利要求1所述的图像处理装置，其中，
存储在所述相位存储部中的方位角是基于关于所述目标对象与用于获取所述目标对象的偏振图像的偏振图像获取部的几何信息的角。
10.根据权利要求1所述的图像处理装置，其中，
存储在所述相位存储部中的方位角是基于所述目标对象的三维形状的角。
11.根据权利要求1所述的图像处理装置，其中，
存储在所述相位存储部中的方位角是基于附近位置的方位角的角，所述附近位置是基于在三个或更多个偏振方向上偏振的图像计算的。
12.根据权利要求1所述的图像处理装置，还包括：
方位角输入部，用于设定所述方位角，其中，
所述方位角输入部使所述相位存储部存储基于用户操作的方位角，并且所述方位角输入部使用基于存储在所述相位存储部中的方位角检测到的偏振模型，以显示通过从所述偏振图像中去除反射分量而获得的图像。
13.根据权利要求1所述的图像处理装置，还包括：
饱和检测部，用于检测所述偏振图像是否饱和，其中，
所述偏振模型检测部基于被所述饱和检测部检测为不饱和的偏振图像以及由所述偏振参数获取部获取的偏振参数来检测所述偏振模型。
14.根据权利要求1所述的图像处理装置，其中，
所述偏振模型检测部根据所述偏振图像的偏振方向的数目以及由所述偏振参数获取部获取的偏振参数来改变偏振模型检测的操作。
15.根据权利要求1所述的图像处理装置，还包括：
所述偏振参数获取部或者用于获取所述目标对象的偏振图像的偏振图像获取部。
16.根据权利要求1所述的图像处理装置，还包括：
反射去除部，其基于所述目标对象的偏振图像以及由所述偏振模型检测部检测到的偏振模型，从所述目标对象的图像中去除反射分量。
17.一种图像处理方法，包括以下步骤：
允许偏振模型检测部基于目标对象的具有一个或更多个偏振方向的偏振图像以及由偏振参数获取部获取的偏振参数来检测指示所述目标对象的偏振属性的偏振模型，
其中，基于所述偏振图像的偏振方向的数目，所述偏振参数获取部包括非偏振图像获取部、信息存储部和相位存储部的一个或更多个组合，所述非偏振图像获取部获取所述目标对象的非偏振图像，所述信息存储部存储关于所述目标对象的属性信息和法线的天顶角，所述相位存储部存储所述目标对象的法线的方位角。
18.一种其上存储有用于使计算机检测指示目标对象的偏振属性的偏振模型的程序的计算机可读存储介质，所述程序使所述计算机执行以下步骤：
基于由偏振图像获取部获取的所述目标对象的具有一个或更多个偏振方向的偏振图像以及由偏振参数获取部获取的偏振参数来检测所述偏振模型，
其中，基于所述偏振图像的偏振方向的数目，所述偏振参数获取部包括非偏振图像获取部、信息存储部和相位存储部的一个或更多个组合，所述非偏振图像获取部获取所述目标对象的非偏振图像，所述信息存储部存储关于所述目标对象的属性信息和法线的天顶角，所述相位存储部存储所述目标对象的法线的方位角。
CN201880080508.3A 2017-12-21 2018-10-12 图像处理装置、图像处理方法和程序 Active CN111480057B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017244982 2017-12-21
JP2017-244982 2017-12-21
PCT/JP2018/038079 WO2019123795A1 (ja) 2017-12-21 2018-10-12 画像処理装置と画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN111480057A CN111480057A (zh) 2020-07-31
CN111480057B true CN111480057B (zh) 2023-04-21

Family

ID=66992575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880080508.3A Active CN111480057B (zh) 2017-12-21 2018-10-12 图像处理装置、图像处理方法和程序

Country Status (4)

Country Link
US (1) US11663831B2 (zh)
JP (1) JP7147784B2 (zh)
CN (1) CN111480057B (zh)
WO (1) WO2019123795A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020080366A (ja) * 2018-11-13 2020-05-28 ソニーセミコンダクタソリューションズ株式会社 受光装置
US11521504B2 (en) * 2020-03-18 2022-12-06 Rosemount Aerospace Inc. Method and system for aircraft taxi strike alerting
CN111537072B (zh) * 2020-04-22 2022-11-11 中国人民解放军国防科技大学 一种阵列式偏振相机的偏振信息测量系统及方法
CN112767236B (zh) * 2020-12-30 2022-09-16 稿定（厦门）科技有限公司 图像扭曲效果渲染方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007029446A1 (ja) 2005-09-01 2007-03-15 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像処理装置及び画像処理プログラム
JP4625908B2 (ja) * 2005-10-18 2011-02-02 独立行政法人産業技術総合研究所 偏光変調型イメージング・エリプソメータ
US7663752B2 (en) 2006-08-25 2010-02-16 National Institute Of Advanced Industrial Science And Technology Polarization modulation imaging ellipsometer
CN101558282B (zh) 2007-02-13 2011-12-14 松下电器产业株式会社 图像处理系统、方法、装置、以及图像格式
EP2072947B1 (en) * 2007-08-07 2016-03-16 Panasonic Intellectual Property Management Co., Ltd. Image processing device and image processing method
JP2009042040A (ja) 2007-08-08 2009-02-26 Oji Keisoku Kiki Kk 偏光イメージングカメラを利用した偏光解析装置
WO2009147814A1 (ja) 2008-06-02 2009-12-10 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
AU2011242408B2 (en) 2010-04-21 2016-12-15 Commonwealth Scientific And Industrial Research Organisation Shape and photometric invariants recovery from polarisation images
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
CN102809431B (zh) * 2012-07-18 2014-08-20 西北工业大学 一种小型自动滤光片转轮多波段偏振成像系统
JP6340795B2 (ja) 2013-12-27 2018-06-13 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置
JP6407713B2 (ja) 2014-12-26 2018-10-17 山田化学工業株式会社 レーザー溶着用樹脂組成物
JP6567850B2 (ja) 2015-03-20 2019-08-28 富士通株式会社 撮影装置
JP6750633B2 (ja) * 2015-11-10 2020-09-02 ソニー株式会社 画像処理装置と画像処理方法
JP6682291B2 (ja) * 2016-02-12 2020-04-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2017228983A (ja) 2016-06-23 2017-12-28 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
JP6662745B2 (ja) * 2016-10-04 2020-03-11 株式会社ソニー・インタラクティブエンタテインメント 撮影装置、情報処理システム、および偏光画像処理方法

Also Published As

Publication number Publication date
US20210174127A1 (en) 2021-06-10
CN111480057A (zh) 2020-07-31
JP7147784B2 (ja) 2022-10-05
US11663831B2 (en) 2023-05-30
JPWO2019123795A1 (ja) 2020-12-17
WO2019123795A1 (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
CN111480057B (zh) 图像处理装置、图像处理方法和程序
CN109804621B (zh) 图像处理装置、图像处理方法和图像拾取装置
US11206388B2 (en) Image processing apparatus and image processing method for aligning polarized images based on a depth map and acquiring a polarization characteristic using the aligned polarized images
US10839248B2 (en) Information acquisition apparatus and information acquisition method
US10848727B2 (en) Image processing device, information generation device, and information generation method
JPWO2017159382A1 (ja) 信号処理装置および信号処理方法
WO2012121107A1 (ja) 車戴カメラ及び車載カメラシステム
US11605661B2 (en) Image processing apparatus, image processing method, and solid-state imaging apparatus to detect polarization properties of each color
US20210297589A1 (en) Imaging device and method of controlling imaging device
WO2019021591A1 (ja) 画像処理装置と画像処理方法とプログラムおよび画像処理システム
WO2018074085A1 (ja) 測距装置、および、測距装置の制御方法
JP2019046277A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6337504B2 (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
JP6564127B2 (ja) 自動車用視覚システム及び視覚システムを制御する方法
US20200402206A1 (en) Image processing device, image processing method, and program
TWI794207B (zh) 攝像裝置、相機模組、攝像系統、及攝像裝置之控制方法
US11818333B2 (en) Imaging device, imaging system, and failure detection method
CN111465818B (zh) 图像处理设备、图像处理方法、程序和信息处理系统
JP5580062B2 (ja) 障害物検知警報装置
WO2017169079A1 (ja) 画像処理装置、画像処理方法および撮像素子
KR102302574B1 (ko) 스테레오 카메라 모듈 및 스테레오 카메라의 캘리브레이션 방법
US11410288B2 (en) Image processing apparatus
US20230394847A1 (en) Image processing system, image processing method, and storage medium
WO2022219874A1 (ja) 信号処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant