JP2020129175A - Three-dimensional information generation device, biometric authentication device, and three-dimensional image generation device - Google Patents

Three-dimensional information generation device, biometric authentication device, and three-dimensional image generation device Download PDF

Info

Publication number
JP2020129175A
JP2020129175A JP2019020422A JP2019020422A JP2020129175A JP 2020129175 A JP2020129175 A JP 2020129175A JP 2019020422 A JP2019020422 A JP 2019020422A JP 2019020422 A JP2019020422 A JP 2019020422A JP 2020129175 A JP2020129175 A JP 2020129175A
Authority
JP
Japan
Prior art keywords
image
dimensional
information
unit
iris
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019020422A
Other languages
Japanese (ja)
Inventor
酒本 章人
Akito Sakamoto
章人 酒本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OFilm Japan Co Ltd
Original Assignee
OFilm Japan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OFilm Japan Co Ltd filed Critical OFilm Japan Co Ltd
Priority to JP2019020422A priority Critical patent/JP2020129175A/en
Publication of JP2020129175A publication Critical patent/JP2020129175A/en
Pending legal-status Critical Current

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)

Abstract

To provide a three-dimensional information generation device, a biometric authentication device, and a three-dimensional image generation device which allow reducing the burden of calculation for acquiring three-dimensional information on the basis of an image captured by an imaging apparatus.SOLUTION: The three-dimensional information generation device, the biometric authentication device, or the three-dimensional image generation device of this invention comprises: a projector 3 which projects a near infrared optical pattern; an imaging apparatus 5 capable of receiving near infrared light; a facial region identification unit 102 which identifies a region of a face by detecting organs of the face on the basis of an image of a capture object captured by the imaging apparatus 5; and a three-dimensional information acquisition unit 60 which generates three-dimensional information about a portion corresponding to the region of the face identified by the facial region identification unit 102, in a near infrared image of the capture object which is captured by the imaging apparatus 5 with the optical pattern projected.SELECTED DRAWING: Figure 11

Description

本発明は、3次元情報生成装置、生体認証装置および3次元画像生成装置に関する。 The present invention relates to a three-dimensional information generation device, a biometric authentication device and a three-dimensional image generation device.

一般に、近赤外光を利用して顔認証や虹彩認証を行う生体認証装置が知られている。このような生体認証装置においては、近赤外光を顔に向かって照射投影し、専用カメラで撮影して画像処理することによって特徴量を抽出し、予め登録された個人の特徴量と比較することで認証を行う。 Generally, a biometric authentication device that performs face authentication or iris authentication using near infrared light is known. In such a biometric authentication device, near infrared light is projected onto a face, projected, photographed by a dedicated camera, and image-processed to extract a feature amount, which is compared with a pre-registered individual feature amount. Authenticate by that.

近年では、スマートフォン等のモバイル機器においても、カメラを用いた虹彩認証や顔認証等の生体認証が採用されている。顔認証あるいは虹彩認証には、それぞれ独自の照明投影装置、撮像装置および認証アルゴリズムが用いられており、認証精度の高精度化によって本人受け入れ率、他人排除率を高める努力がなされている。 In recent years, biometric authentication such as iris authentication using a camera and face authentication has also been adopted in mobile devices such as smartphones. For the face authentication or the iris authentication, a unique illumination projection device, imaging device, and authentication algorithm are used, and efforts are being made to increase the acceptance rate of others and the rejection rate of others by improving the accuracy of authentication.

また、画像から物体の形状を解析する方法としては、例えば、特許文献1に記載のサンプリングモアレ法などが知られている。 Further, as a method of analyzing the shape of an object from an image, for example, a sampling moire method described in Patent Document 1 is known.

特開2011−174874号公報JP, 2011-174874, A

Cesar D.Perciante et al., "Wrapping-freephase retrieval with applications to interferometry, 3D-shape profiling, anddeflectometry", Applied optics/Vol.54, No.10/1 April 2015.Cesar D. Perciante et al., "Wrapping-free phase retrieval with applications to interferometry, 3D-shape profiling, and deflectometry", Applied optics/Vol.54, No.10/1 April 2015.

ところで、投影装置からの赤外光を投射した状態で撮像装置によって撮像される画像について、画像の全範囲について3次元情報を取得する場合、投影装置からの赤外光が届かない部分があったり、大きく位相のずれた部分からの情報があったりすることにより、3次元情報を取得するための計算が収束し難い場合等があり、当該計算において誤差が大きくなってしまったり、収束するまでの計算回数が増加してしまったりするおそれがある。 By the way, in the case where three-dimensional information is acquired for the entire range of an image captured by the imaging device in the state where the infrared light from the projection device is projected, there is a portion where the infrared light from the projection device cannot reach. , There is a case where the calculation for obtaining the three-dimensional information is difficult to converge due to the information from the part where the phase is greatly shifted. The number of calculations may increase.

本発明は、前記事情に鑑みてなされたもので、撮像装置で撮像された画像に基づいて3次元情報を得る計算の負担を軽減できる3次元情報生成装置、生体認証装置および3次元画像生成装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and a three-dimensional information generation device, a biometric authentication device, and a three-dimensional image generation device that can reduce the burden of calculation for obtaining three-dimensional information based on an image captured by an imaging device. The purpose is to provide.

前記目的を達成するために、本発明の3次元情報生成装置は、
近赤外の光学パターンを照射する投影装置と、
近赤外の光を受光可能な撮像装置と、
前記撮像装置により撮像される撮像対象の画像に基づいて顔の器官を検出して顔の領域を特定する顔領域特定部と、
前記光学パターンを照射した状態で前記撮像装置により撮像される撮像対象の近赤外画像のうち、前記顔領域特定部により特定された前記顔の領域に対応する部分についての3次元情報を生成する3次元情報取得部と、を備えることを特徴とする。
In order to achieve the above object, the three-dimensional information generation device of the present invention comprises:
A projection device that irradiates a near infrared optical pattern,
An imaging device capable of receiving near infrared light,
A face area identification unit that identifies a face area by detecting a facial organ based on an image of an imaging target captured by the imaging device;
In the near-infrared image of the imaging target imaged by the imaging device in the state where the optical pattern is illuminated, three-dimensional information is generated for a portion corresponding to the face area specified by the face area specifying unit. And a three-dimensional information acquisition unit.

このような構成によれば、顔領域特定部は、撮像装置により撮像される画像について、顔の領域を特定し、3次元情報取得部は、撮像装置により撮像される近赤外画像のうち、顔領域特定部により特定される顔の領域に対応する部分についての3次元情報を生成する。すなわち、3次元情報取得部は、撮像装置により撮像される近赤外画像に基づいて3次元情報を生成する際に、顔の領域部分についてのみ計算を行えばよく、顔の領域外の部分(例えば、背景部分等)については、計算を行う必要がない。したがって、3次元情報を生成するための計算において、顔の領域外の部分の影響を除去することができ、当該計算における収束を早めたり、解を安定させたりすることができ、当該計算の負担を軽減することができる。 According to such a configuration, the face area identifying unit identifies the face area in the image captured by the image capturing device, and the three-dimensional information acquiring unit selects the near-infrared image captured by the image capturing device. Three-dimensional information is generated for a portion corresponding to the face area specified by the face area specifying unit. That is, when the three-dimensional information acquisition unit generates the three-dimensional information based on the near-infrared image captured by the image capturing apparatus, the three-dimensional information acquisition unit only needs to perform calculation on the face area portion, and the portion outside the face area ( For example, it is not necessary to calculate the background part). Therefore, in the calculation for generating the three-dimensional information, it is possible to remove the influence of the part outside the face region, speed up the convergence in the calculation, and stabilize the solution, and the burden of the calculation. Can be reduced.

なお、顔領域特定部が顔の領域を特定するのに用いる画像は、近赤外画像でもよく可視光の画像(可視画像)であってもよい。すなわち、撮像装置は、近赤外の光が受光可能であれば、可視光を受光可能であってもよく、可視光が受光不可能であってもよい。 The image used by the face area identification unit to identify the face area may be a near infrared image or a visible light image (visible image). That is, the imaging device may be capable of receiving visible light or may not be capable of receiving visible light as long as it can receive near-infrared light.

また、本発明の生体認証装置は、前記3次元情報生成装置と、虹彩認証部と、を備え、
前記顔領域特定部は、前記検出において目の位置を特定し、
前記虹彩認証部は、前記近赤外画像と、前記顔領域特定部により特定される前記目の位置の情報とに基づいて前記近赤外画像に写る目についての虹彩の情報を取得することとしてもよい。
A biometric authentication device of the present invention includes the three-dimensional information generation device and an iris authentication unit,
The face area identification unit identifies the eye position in the detection,
The iris authentication unit acquires the iris information about the eyes in the near-infrared image based on the near-infrared image and the information about the position of the eyes specified by the face area specifying unit. Good.

このような構成によれば、虹彩認証部は、近赤外画像に写る目についての虹彩の情報を取得する場合に、顔領域特定部により特定される目の位置の情報に基づいて虹彩の情報を取得する。このため、虹彩の情報を取得するための計算においては、目の部分についてのみ計算を行えばよく、当該計算についての処理負担を軽減できる。特に、3次元情報を取得するための光学パターンが、撮像対象としての人の目の部分にも照射されるような構成の場合、虹彩認証をするための虹彩情報の取得にあたって、当該光学パターンの影響を除去することが望ましいが、当該除去に係る計算をする場合でも、計算する範囲を狭めることができるので、計算についての処理負担を軽減することができる。 According to such a configuration, the iris authentication unit, when acquiring the iris information of the eye shown in the near-infrared image, based on the information of the eye position specified by the face area specifying unit, the iris information. To get. Therefore, in the calculation for acquiring the iris information, only the eyes need be calculated, and the processing load for the calculation can be reduced. In particular, in the case where the optical pattern for acquiring the three-dimensional information is also radiated to the part of the human eye as an imaging target, when acquiring the iris information for iris authentication, the optical pattern of the optical pattern Although it is desirable to remove the influence, the calculation range can be narrowed even when the calculation related to the removal is performed, so that the processing load for the calculation can be reduced.

また、本発明の前記構成において、前記虹彩認証部は、空間フィルタ処理によって前記近赤外画像の撮像時に照射された前記光学パターンの影響を除去して、虹彩の認証を行うこととしてもよい。 Further, in the above configuration of the present invention, the iris authentication unit may perform the iris authentication by removing the influence of the optical pattern irradiated when the near-infrared image is captured by a spatial filter process.

このような構成によれば、虹彩認証部は、空間フィルタ処理によって近赤外画像の撮像時に照射された光学パターンの影響を除去して虹彩の認証を行うので、虹彩認証の精度を高めることができる。 According to such a configuration, the iris authentication unit performs the iris authentication by removing the influence of the optical pattern irradiated at the time of capturing the near-infrared image by the spatial filtering process, and thus the accuracy of the iris authentication can be improved. it can.

また、本発明の3次元画像生成装置は、前記3次元情報生成装置または前記生体認証装置と、
3次元画像を生成する3次元画像生成部と、
前記3次元画像生成部で生成された前記3次元画像を通信相手に送信する送信部と、を備え、
前記撮像装置は、可視光を受光可能であり、
前記3次元画像生成部は、前記3次元情報取得部により生成された前記3次元情報と、前記撮像装置により撮像される可視画像とに基づいて前記3次元画像を生成すること特徴とする。
A three-dimensional image generation device of the present invention includes the three-dimensional information generation device or the biometric authentication device,
A three-dimensional image generation unit that generates a three-dimensional image,
A transmission unit for transmitting the three-dimensional image generated by the three-dimensional image generation unit to a communication partner,
The imaging device is capable of receiving visible light,
The three-dimensional image generation unit may generate the three-dimensional image based on the three-dimensional information generated by the three-dimensional information acquisition unit and a visible image captured by the imaging device.

このような構成によれば、3次元画像生成部は、3次元情報取得部により生成された3次元情報に基づいて3次元画像を生成する。ここで、3次元情報取得部により生成される3次元情報は、顔の領域に対応する部分についての3次元情報なので、撮像装置により撮像される画像のうち、背景に相当する部分等の情報は含まない。したがって、3次元画像生成部で生成される3次元画像にも、撮像装置により撮像される背景等の情報は含まれない。このため、通信相手に、背景等に関する情報が送られることがない。また、3次元画像生成部は、3次元情報と可視画像とに基づいて3次元画像を生成するので、3次元情報に基づいて立体的な形状を作り出すとともに、可視画像に基づいて色付け等を行うことができる。したがって、撮像対象としての人の顔を再現した3次元画像(アバター)を生成することができる。このように、本構成によれば、アバターを生成し、背景情報を含まないアバターの情報のみを通信相手に送信することができるので、3次元画像生成装置のユーザーのプライバシーは保護しつつ、当該ユーザーと通信相手のユーザーとのコミュニケーションを可能とすることができる。 With such a configuration, the three-dimensional image generation unit generates a three-dimensional image based on the three-dimensional information generated by the three-dimensional information acquisition unit. Here, since the three-dimensional information generated by the three-dimensional information acquisition unit is the three-dimensional information about the portion corresponding to the face area, the information of the portion corresponding to the background in the image captured by the imaging device is not included. Not included. Therefore, the 3D image generated by the 3D image generation unit does not include information such as the background imaged by the imaging device. Therefore, information regarding the background and the like is not sent to the communication partner. Further, since the three-dimensional image generation unit generates a three-dimensional image based on the three-dimensional information and the visible image, the three-dimensional image is generated based on the three-dimensional information and coloring is performed based on the visible image. be able to. Therefore, it is possible to generate a three-dimensional image (avatar) that reproduces the face of a person as an imaging target. As described above, according to this configuration, since it is possible to generate an avatar and send only the information of the avatar that does not include the background information to the communication partner, while protecting the privacy of the user of the three-dimensional image generation device, It is possible to enable communication between a user and a communication partner user.

本発明の3次元情報生成装置、生体認証装置または3次元画像生成装置によれば、撮像装置で撮像された画像に基づいて3次元情報を得る計算の負担を軽減できる。 According to the three-dimensional information generation device, the biometric authentication device, or the three-dimensional image generation device of the present invention, it is possible to reduce the burden of calculation for obtaining the three-dimensional information based on the image captured by the imaging device.

本発明の第1の実施の形態に係る生体認証装置を示す分解斜視図である。It is an exploded perspective view showing a biometrics authentication device concerning a 1st embodiment of the present invention. 同、光学フィルタを示す図である。FIG. 3 is a diagram showing an optical filter of the same. 同、カラーフィルタの配列パターンを説明するための図である。FIG. 3 is a diagram for explaining an array pattern of color filters of the same. 同、生体認証装置のブロック図である。FIG. 3 is a block diagram of the biometric authentication device. 同、位相情報の取得に係る処理を説明するための図である。FIG. 8 is a diagram for explaining a process related to acquisition of phase information in the same. 同、位相情報の取得に係る処理を説明するための図である。FIG. 8 is a diagram for explaining a process related to acquisition of phase information in the same. 同、位相情報の取得に係る処理を説明するための図である。FIG. 8 is a diagram for explaining a process related to acquisition of phase information in the same. 同、生体認証装置が行う処理を説明するための図である。FIG. 6 is a diagram for explaining the same process performed by the biometric authentication device. 同、位相情報から3次元情報を得る際の、反復法における反復回数と誤差との関係を説明するための図であるFIG. 9 is a diagram for explaining the relationship between the number of iterations and an error in the iterative method when obtaining three-dimensional information from the phase information. 本発明の第2の実施の形態に係るフォトマスクの画素を示す分解斜視図である。It is an exploded perspective view showing a pixel of a photomask concerning a 2nd embodiment of the present invention. 本発明の第3の実施の形態に係る生体認証装置のブロック図である。It is a block diagram of a biometrics authentication system concerning a 3rd embodiment of the present invention. 同、顔の領域を特定して3次元情報を取得する処理を説明するための図である。FIG. 6 is a diagram for explaining a process of identifying a face area and acquiring three-dimensional information in the same. 同、目の位置を特定して虹彩認証を行う処理を説明するための図である。FIG. 11 is a diagram for explaining a process of identifying the positions of eyes and performing iris authentication. 本発明の第4の実施の形態に係る3次元画像生成装置のブロック図である。It is a block diagram of a three-dimensional image generation device concerning a 4th embodiment of the present invention. 同、3次元の顔画像を生成する処理を説明するための図である。FIG. 7 is a diagram for explaining a process of generating a three-dimensional face image.

以下、本発明の実施の形態について図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

(第1の実施の形態)
図1に示すように、本実施の形態の生体認証装置1は、近赤外の光学パターンを照射する投影装置3と、当該近赤外光を受光可能な撮像装置5とを備えている。なお、近赤外とは、約800〜2500nmの波長帯域をいう。
(First embodiment)
As shown in FIG. 1, the biometric authentication device 1 of the present embodiment includes a projection device 3 that irradiates a near-infrared optical pattern, and an imaging device 5 that can receive the near-infrared light. In addition, near infrared means a wavelength band of about 800 to 2500 nm.

投影装置3は、撮像装置5による撮影の対象物(以下、単に対象物と呼ぶ)に対して所定の光学パターンを照射する。また、撮像装置5は投影装置3から光学パターンが投射された対象物(光学パターンの反射像)を撮影する。そして、生体認証装置1は、撮像装置5により撮影された画像に基づいて、顔認証および虹彩認証を行う。本実施の形態の生体認証装置1においては、投影装置3は、人の顔や目に所定の光学パターンを照射し、撮像装置5は、この光学パターンが照射された人の顔や目を撮影する。ただし、撮影の対象物はこれに限られず、他の撮影対象物の画像に基づいて生体認証を行うこととしてもよい。 The projection device 3 irradiates an object (hereinafter, simply referred to as an object) to be imaged by the imaging device 5 with a predetermined optical pattern. Further, the imaging device 5 captures an object (reflection image of the optical pattern) on which the optical pattern is projected from the projection device 3. Then, the biometric authentication device 1 performs face authentication and iris authentication based on the image captured by the imaging device 5. In the biometrics authentication system 1 of the present embodiment, the projection device 3 irradiates a person's face or eyes with a predetermined optical pattern, and the imaging device 5 photographs the person's face or eyes irradiated with this optical pattern. To do. However, the object to be imaged is not limited to this, and biometric authentication may be performed based on the image of another object to be imaged.

投影装置3は、回路基板10と、近赤外LED11と、ビーム整形レンズ12と、ブラケット13と、フォトマスク14と、フォーカスアクチュエータ(VCM)15と、投影レンズ16とを備えている。 The projection device 3 includes a circuit board 10, a near-infrared LED 11, a beam shaping lens 12, a bracket 13, a photomask 14, a focus actuator (VCM) 15, and a projection lens 16.

近赤外LED11は、近赤外の光を出射する光源であり、回路基板10に実装されている。近赤外LED11からの光は、ビーム整形レンズ12で整形され、フォトマスク14を通過し、投影レンズ16を介して投影装置3から出射される。 The near-infrared LED 11 is a light source that emits near-infrared light, and is mounted on the circuit board 10. The light from the near-infrared LED 11 is shaped by the beam shaping lens 12, passes through the photomask 14, and is emitted from the projection device 3 via the projection lens 16.

フォトマスク14は、図2に示すように、顔認証用の光学パターンを生成する第一透過領域14aと、虹彩認証用の光学パターンを生成する第二透過領域14bとを有している。換言すると、フォトマスク14は、顔の3次元情報を取得するための光学パターンを生成する第一透過領域14aと、虹彩の情報を取得するための光学パターンを生成する第二透過領域14bとを有している。また、フォトマスク14は、ブラケット13に支持され、回路基板10やビーム整形レンズ12、投影レンズ16等に対する位置決めがされている。 As shown in FIG. 2, the photomask 14 has a first transmissive area 14a for generating an optical pattern for face authentication and a second transmissive area 14b for generating an optical pattern for iris authentication. In other words, the photomask 14 has a first transmissive area 14a for generating an optical pattern for acquiring the three-dimensional information of the face and a second transmissive area 14b for generating an optical pattern for acquiring the iris information. Have The photomask 14 is supported by the bracket 13 and positioned with respect to the circuit board 10, the beam shaping lens 12, the projection lens 16 and the like.

第一透過領域14aは、対象物に対して光を格子状に照射可能に形成されている。具体的には、第一透過領域14aは、一方向(縦方向)に長いスリット状に形成された光を透過させる光透過部20(図2に白色で図示)が、当該一方向に交差する方向(横方向)に等間隔に並べて形成されている。換言すると、第一透過領域14aには、光透過部20が格子状に配置されている。このため、第一透過領域14aを透過した近赤外LED11からの光は、格子状の光学パターンとなり対象物に向かう。
なお、第一透過領域14aは、格子状の光学パターンを生成するものでなくてもよく、対象物の3次元情報を取得可能にする光学パターンを生成できればよい。例えば、光学パターンは、複数のドットで構成されるパターンであってもよい。また、本実施の形態においては、第一透過領域14aが生成する光学パターンは、対象物である人の顔に対して縦縞を投影するようになっているが、対象物に対して、斜めの縞や横縞を投影するように構成されていてもよい。
The first transmissive region 14a is formed so that light can be applied to the object in a grid pattern. Specifically, in the first transmissive region 14a, a light transmissive portion 20 (illustrated in white in FIG. 2) formed in a slit shape that is long in one direction (longitudinal direction) crosses the one direction. They are formed side by side at equal intervals in the direction (lateral direction). In other words, the light transmission parts 20 are arranged in a grid pattern in the first transmission region 14a. Therefore, the light from the near-infrared LED 11 that has passed through the first transmission region 14a becomes a lattice-shaped optical pattern and travels toward the object.
The first transmissive region 14a does not have to generate a lattice-shaped optical pattern, and needs only to be able to generate an optical pattern that enables acquisition of three-dimensional information of an object. For example, the optical pattern may be a pattern composed of a plurality of dots. Further, in the present embodiment, the optical pattern generated by the first transmissive region 14a is configured to project vertical stripes on the face of a person who is an object, but it is oblique to the object. It may be configured to project stripes or horizontal stripes.

第二透過領域14bは、対象物の所定部位に対して光を略一様に照射可能に形成されている。具体的には、第二透過領域14bは、例えば、目に対して光を照射するための領域となっている。第二透過領域14bは、第一透過領域14aの一部を横断するようにして光透過部20が配置されることにより形成されている。換言すると、第二透過領域14bは、第一透過領域14aの一部を開口させるようにして形成されている。このため、第二透過領域14bを透過した近赤外LED11からの光は、対象物の所定部位を略一様に照らすように対象物に向かう。
なお、第二透過領域14bは、図2に示すように、一つのまとまった領域であってもよく、例えば、図2に示す第二透過領域14bの左右方向中央部に格子状のパターン(第一透過領域14a)が形成され、二つの領域に分かれて構成されていてもよい。すなわち、例えば、第二透過領域14bは、両目に対して光を照射する1つの光透過部20によって構成されていてもよく(図8の近赤外画像70参照)、それぞれの目に対して光を照射する2つの光透過部によって構成されていてもよい(図5の近赤外画像70参照)。また、第二透過領域14bは、対象物の所定部位に対して光を略一様に照射可能にするものでなくてもよい。すなわち、本実施の形態においては、虹彩認証を容易に行うために略一様に光を照射可能にするよう形成されているが、虹彩認証に係る処理に合わせて、当該処理に適した光学パターンを照射可能にするよう形成されていればよい。
The second transmissive region 14b is formed so that light can be substantially uniformly applied to a predetermined portion of the object. Specifically, the second transmission region 14b is, for example, a region for irradiating the eyes with light. The second transmissive region 14b is formed by disposing the light transmissive portion 20 so as to cross a part of the first transmissive region 14a. In other words, the second transmissive region 14b is formed such that a part of the first transmissive region 14a is opened. Therefore, the light from the near-infrared LED 11 that has passed through the second transmission region 14b travels toward the target object so as to illuminate a predetermined portion of the target object substantially uniformly.
Note that the second transmissive region 14b may be a single cohesive region as shown in FIG. 2, and for example, the second transmissive region 14b shown in FIG. One transparent region 14a) may be formed and divided into two regions. That is, for example, the second transmissive region 14b may be configured by one light transmissive portion 20 that irradiates light to both eyes (see the near-infrared image 70 in FIG. 8), and for each eye. It may be configured by two light transmitting portions that emit light (see the near infrared image 70 in FIG. 5). Further, the second transmission region 14b does not need to be capable of irradiating the predetermined portion of the object with light substantially uniformly. That is, in the present embodiment, the light is formed so as to be able to emit light substantially uniformly in order to easily perform the iris authentication. However, an optical pattern suitable for the iris authentication is provided in accordance with the process related to the iris authentication. It suffices that it is formed so that it can be irradiated with.

本実施の形態のフォトマスク14は、ガラス板にエッチングを施すことにより、光を通す部分(光透過部20:図2に白色で図示)と光を通さない部分(光非透過部21:図2に黒色で図示)とが作られ、これにより第一透過領域14aと第二透過領域14bとが形成されている。換言すると、フォトマスク14は、3次元情報を取得可能にする光学パターンを生成する第一透過領域14aと、虹彩情報を取得可能にする光学パターンを生成する第二透過領域14bとが同一平面内に配置されている。
なお、フォトマスク14は、前述の所定の光学パターンを生成可能になっていれば、その材質はガラスに限られず、製法もエッチングに限られない。また、光を通さない部分とは、光を完全に遮断するものでなくてもよく、光を通す部分に比べて相対的に、対象物に投射される光が少なくなるものであればよい。
In the photomask 14 of the present embodiment, by etching a glass plate, a portion that allows light to pass therethrough (light transmitting portion 20: shown in white in FIG. 2) and a portion that does not pass light (light non-transmitting portion 21: FIG. 2 is shown in black) and thereby a first transmissive region 14a and a second transmissive region 14b are formed. In other words, in the photomask 14, the first transmission region 14a that generates an optical pattern that enables acquisition of three-dimensional information and the second transmission region 14b that generates an optical pattern that enables acquisition of iris information are in the same plane. It is located in.
The material of the photomask 14 is not limited to glass and the manufacturing method is not limited to etching, as long as it can generate the above-mentioned predetermined optical pattern. In addition, the portion that does not allow light to pass does not have to completely block light, and may be any portion that reduces the amount of light that is projected onto the object relative to the portion that allows light to pass.

フォトマスク14を通過し、所定のパターン状となった近赤外LED11からの光は、投影レンズ16を介して投影装置3から出射される。投影レンズ16では、対象物に投射される光学パターンの焦点を調整する。フォーカスアクチュエータ15は、投影レンズ16をフォトマスク14に近づく方向(対象物から遠ざかる方向)に動かしたり、フォトマスク14から遠ざかる方向(対象物に近づく方向)に動かしたりすることにより、投影装置3から出射される光の焦点の調整をする。 The light from the near-infrared LED 11 that has passed through the photomask 14 and has a predetermined pattern is emitted from the projection device 3 via the projection lens 16. The projection lens 16 adjusts the focus of the optical pattern projected on the object. The focus actuator 15 is moved from the projection device 3 by moving the projection lens 16 in a direction approaching the photomask 14 (direction moving away from the object) or in a direction moving away from the photomask 14 (direction approaching the object). Adjust the focus of the emitted light.

撮像装置5は、可視光および近赤外光を受光して撮影することが可能になっている。また、撮像装置5は、投影装置3から出射され、対象物に当たって反射された光学パターンを受光して撮影可能に配置されている。撮像装置5は、図1に示すように、回路基板30と、イメージセンサ31と、ブラケット32と、光学フィルタ33と、フォーカスアクチュエータ34と、撮像レンズ35とを備えている。 The image pickup device 5 is capable of receiving visible light and near infrared light and taking an image. Further, the image pickup device 5 is arranged so as to be able to receive an optical pattern emitted from the projection device 3 and reflected by hitting an object, so as to be capable of photographing. As shown in FIG. 1, the image pickup device 5 includes a circuit board 30, an image sensor 31, a bracket 32, an optical filter 33, a focus actuator 34, and an image pickup lens 35.

イメージセンサ31は、回路基板30に実装されている。イメージセンサ31には、撮像レンズ35および光学フィルタ33を介して光が入光する。そして、イメージセンサ31がこの光を電気信号に変換する。 The image sensor 31 is mounted on the circuit board 30. Light enters the image sensor 31 via the imaging lens 35 and the optical filter 33. Then, the image sensor 31 converts this light into an electric signal.

撮像レンズ35は、撮像装置5に入光しイメージセンサ31に向かう光の焦点を調整する。フォーカスアクチュエータ34は、撮像レンズ35をイメージセンサ31に近づく方向(対象物から遠ざかる方向)に動かしたり、イメージセンサ31から遠ざかる方向(対象物に近づく方向)に動かしたりすることにより、撮像装置5に入光する光の焦点の調整をする。また、光学フィルタ33は、例えば、ショートパスフィルタやバンドパスフィルタ等であり、顔認証や虹彩認証に不必要な所定の波長の光を遮るフィルタとなっている。また、光学フィルタ33は、ブラケット32に支持され、回路基板30およびイメージセンサ31に対する位置決めがされている。 The imaging lens 35 adjusts the focus of light that enters the imaging device 5 and goes toward the image sensor 31. The focus actuator 34 moves to the imaging device 5 by moving the imaging lens 35 in a direction approaching the image sensor 31 (direction moving away from the object) or in a direction moving away from the image sensor 31 (direction approaching the object). Adjust the focus of incoming light. The optical filter 33 is, for example, a short-pass filter or a band-pass filter, and is a filter that blocks light of a predetermined wavelength that is unnecessary for face recognition and iris recognition. The optical filter 33 is supported by the bracket 32 and positioned with respect to the circuit board 30 and the image sensor 31.

イメージセンサ31は、近赤外画像と可視画像が撮影可能なRGB−IRセンサとなっている。イメージセンサ31は、図3に示すカラーフィルタ31aを有している。そして、イメージセンサ31では、カラーフィルタ31aを介して受光素子に光が届くようになっている。また、カラーフィルタ31aは、赤R、緑G、青B、赤外IRの4種類の領域を有している。そして、これら4種類の領域は、図3に示す配列で配置されている。具体的には、4種類の領域がそれぞれ同様の割合で配置されており、各領域は、等間隔で配置されている。
なお、カラーフィルタ31aの4種類の領域の配列は、図3に示すものに限られず、他の配列のカラーフィルタを用いてもよい。ただし、可視光の各色の領域とIRの領域との両方を含むことが好ましい。
The image sensor 31 is an RGB-IR sensor capable of capturing a near infrared image and a visible image. The image sensor 31 has a color filter 31a shown in FIG. In the image sensor 31, light reaches the light receiving element via the color filter 31a. The color filter 31a has four types of regions of red R, green G, blue B, and infrared IR. Then, these four types of regions are arranged in the arrangement shown in FIG. Specifically, four types of regions are arranged at the same ratio, and each region is arranged at equal intervals.
The arrangement of the four types of regions of the color filter 31a is not limited to that shown in FIG. 3, and color filters of other arrangements may be used. However, it is preferable to include both the region of each color of visible light and the region of IR.

カラーフィルタ31aの可視光の各色の領域(赤R、緑G、青B)は、各色に対応した波長帯域の光を透過する。また、可視光の各色の領域は、赤外の波長帯域の光も透過する。また、赤外IRの領域は、近赤外の波長帯域の光を透過する。このため、イメージセンサ31は、可視光に基づいた可視画像と、近赤外光に基づいた近赤外画像とを撮影可能になっている。 The region of each color of visible light (red R, green G, blue B) of the color filter 31a transmits light in a wavelength band corresponding to each color. In addition, each color region of visible light also transmits light in the infrared wavelength band. The infrared IR region transmits light in the near infrared wavelength band. Therefore, the image sensor 31 can capture a visible image based on visible light and a near infrared image based on near infrared light.

なお、投影装置3の回路基板10と、撮像装置5の回路基板30とは、1つの基板となっていてもよい。また、回路基板10と回路基板30とが同一の平面内に配置されるように配置してもよい。また、投影装置3の対象物側の面(前面)と、撮像装置5の対象物側の面(前面)とが同一の平面内に配置されるようにしてもよい。また、投影装置3と撮像装置5とは、互いの軸が平行な状態で、互いに隣接して配置されていてもよい。また、投影装置3と撮像装置5とは、それぞれ別体のモジュールではなく、一体化された1つのモジュールとなっていてもよい。 The circuit board 10 of the projection device 3 and the circuit board 30 of the imaging device 5 may be one board. Alternatively, the circuit board 10 and the circuit board 30 may be arranged in the same plane. The object-side surface (front surface) of the projection device 3 and the object-side surface (front surface) of the imaging device 5 may be arranged in the same plane. The projection device 3 and the imaging device 5 may be arranged adjacent to each other with their axes parallel to each other. Further, the projection device 3 and the imaging device 5 may not be separate modules, but may be a single integrated module.

次に、生体認証装置1で行う処理について説明する。なお、この処理は、例えば、イメージセンサ31や、回路基板30または他の基板に実装されている各種のプロセッサ、あるいはROMやRAM等の情報記憶媒体等のハードウェアや、ROM等に予め記憶されている所定のプログラムからなるソフトウェア等により実現される。また、全ての処理を同一の回路において行う必要はなく、各処理を行う回路が異なっていてもよい。また、一つの処理を複数の回路で行うこととしてもよい。 Next, the processing performed by the biometric authentication device 1 will be described. Note that this processing is stored in advance in the image sensor 31, various processors mounted on the circuit board 30 or another board, hardware such as an information storage medium such as ROM and RAM, or ROM. It is realized by software or the like including a predetermined program. Moreover, it is not necessary to perform all the processes in the same circuit, and the circuits that perform each process may be different. Further, one process may be performed by a plurality of circuits.

また、生体認証に必要な、個人を特定し認証するための情報としての本人情報は、予め登録されているものとする。本実施の形態においては、本人情報として、顔の三次元情報と虹彩の情報とが登録されている。そして、生体認証装置1で取得される顔の三次元情報と予め登録されている顔の三次元情報とを比較するとともに、生体認証装置1で取得される虹彩の情報と予め登録されている虹彩の情報とを比較することにより、認証を行う。
なお、予め登録されている本人情報は、生体認証装置1内の情報記憶媒体に記憶されていてもよく、生体認証装置1とネットワークを介して接続されるサーバ等の情報記憶媒体に記憶されていてもよい。
Further, personal information, which is necessary for biometric authentication and is information for identifying and authenticating an individual, is assumed to be registered in advance. In this embodiment, three-dimensional face information and iris information are registered as personal information. Then, the three-dimensional information of the face acquired by the biometric authentication device 1 is compared with the three-dimensional information of the face registered in advance, and the iris information acquired by the biometric authentication device 1 and the iris registered in advance. Authentication is performed by comparing the information with.
The personal information registered in advance may be stored in an information storage medium in the biometric authentication device 1 or in an information storage medium such as a server connected to the biometric authentication device 1 via a network. May be.

図4に生体認証装置1のブロック図を示す。
生体認証装置1は、RAW画像取得部50と、画像分離部51と、デモザイク処理部52と、可視画像出力部53と、3次元情報取得部(位相情報算出部)60と、顔認証部61と、虹彩認証部62とを備えている。
FIG. 4 shows a block diagram of the biometric authentication device 1.
The biometric authentication device 1 includes a RAW image acquisition unit 50, an image separation unit 51, a demosaic processing unit 52, a visible image output unit 53, a three-dimensional information acquisition unit (phase information calculation unit) 60, and a face authentication unit 61. And an iris authentication unit 62.

RAW画像取得部50は、イメージセンサ31で撮影されたRAW画像(RAWデータ)を取得する。次に、画像分離部51は、RAW画像取得部50が取得したRAWデータのRGB成分(可視光成分)とIR成分(赤外成分)とを分離する。 The RAW image acquisition unit 50 acquires the RAW image (RAW data) captured by the image sensor 31. Next, the image separation unit 51 separates the RGB component (visible light component) and the IR component (infrared component) of the RAW data acquired by the RAW image acquisition unit 50.

そして、後段では画像分離部51から出力されるRGB成分とIR成分との両方あるいはいずれか一方に基づいて、可視画像(RGB画像:可視光に基づく画像)を生成する処理と、3次元情報(3次元画像)を抽出して顔認証を行う処理と、虹彩情報(虹彩画像)を抽出して虹彩認証を行う処理を実行する。 Then, in the subsequent stage, a process of generating a visible image (RGB image: image based on visible light) based on the RGB component and/or the IR component output from the image separation unit 51, and the three-dimensional information ( A process of extracting a three-dimensional image) to perform face authentication and a process of extracting iris information (iris image) to perform iris authentication are executed.

まず、可視画像を生成する処理について説明する。
デモザイク処理部52は、画像分離部51から出力されるRGB成分に基づいてデモザイク処理を行い可視画像(RGB画像)を生成する。また、前述のように、カラーフィルタ31aの可視光の各色の領域は、赤外の波長帯域の光も透過するようになっているため、デモザイク処理を行う際に、画像分離部51から出力されるIR成分に基づいて、可視光の各色の領域を介して混ざり込むIR成分を除去する処理も行う。そして、デモザイク処理部52で生成された可視画像を可視画像出力部53が出力する。
First, the process of generating a visible image will be described.
The demosaic processing unit 52 performs demosaic processing based on the RGB components output from the image separation unit 51 to generate a visible image (RGB image). Further, as described above, since each color region of the visible light of the color filter 31a is configured to also transmit light in the infrared wavelength band, it is output from the image separation unit 51 when performing the demosaic process. Based on the IR component of the visible light, a process of removing the IR component mixed through each region of visible light is also performed. Then, the visible image output unit 53 outputs the visible image generated by the demosaic processing unit 52.

次に、3次元情報を抽出する処理について図5を参照しながら説明する。この処理は、3次元情報取得部60で行われる。
第一透過領域14aは、縦縞の格子状の光学パターン(格子パターン)を生成し、この格子パターンが投影装置3から投影されるものとする。このとき、対象物としての人の顔に投影装置3から格子パターンを投影し、イメージセンサ31で撮影して、画像分離部51でRGB成分とIR成分とを分離することにより得られる近赤外画像70(近赤外光に基づく画像)は、図5あるいは図8に示すもののようになる。なお、このように格子パターンを投影して得られる近赤外画像70を格子画像70と呼ぶこととする。また、格子画像70に含まれる格子パターンの格子の像を格子像と呼ぶこととする。
Next, a process of extracting three-dimensional information will be described with reference to FIG. This processing is performed by the three-dimensional information acquisition unit 60.
The first transmission region 14 a is assumed to generate a vertical stripe lattice-shaped optical pattern (lattice pattern), and the lattice pattern is projected from the projection device 3. At this time, a near-infrared light obtained by projecting a grid pattern from the projection device 3 onto the face of a person as an object, capturing the image with the image sensor 31, and separating the RGB component and the IR component by the image separating unit 51. The image 70 (image based on near-infrared light) is as shown in FIG. 5 or 8. The near-infrared image 70 obtained by projecting the lattice pattern in this way will be referred to as a lattice image 70. An image of the lattice of the lattice pattern included in the lattice image 70 will be referred to as a lattice image.

このとき得られる格子画像70の輝度について、格子パターンの格子(縞模様)に交差する方向(例えば、図5に示す線A部分)における輝度プロファイル(輝度情報a)は、下記の式(1)で表される。ここで、輝度情報aは、格子像に相当する。 Regarding the brightness of the grid image 70 obtained at this time, the brightness profile (brightness information a) in the direction intersecting the grid (striped pattern) of the grid pattern (for example, the line A portion shown in FIG. 5) is expressed by the following formula (1). It is represented by. Here, the brightness information a corresponds to a lattice image.

3次元情報取得部60は、得られた格子画像に対して下記の処理を行う。
まず、画像の輝度情報aの微分(差分)を取って、局所的な極値(極大および極小)(局所最大値および局所最小値)を求める。次いで、求めた極値に基づいて、輝度情報aの上側包絡線bおよび下側包絡線cを算出する。次いで、bとcとの差分値で規格化し、式(1)におけるA(x,y)およびB(x,y)を実効的に消去し、式(2)に示す格子パターンのみの信号dを得る。
The three-dimensional information acquisition unit 60 performs the following processing on the obtained lattice image.
First, the differential (difference) of the brightness information a of the image is obtained to obtain local extreme values (maximum and minimum) (local maximum value and local minimum value). Next, the upper envelope b and the lower envelope c of the luminance information a are calculated based on the obtained extreme value. Then, normalization is performed by the difference value between b and c, A(x, y) and B(x, y) in Expression (1) are effectively deleted, and the signal d of only the lattice pattern shown in Expression (2) To get

次いで、信号dに、格子パターンの搬送波に相当するcos(ωx)、−sin(ωx)をそれぞれ乗じて変形すると、次の式(3)、式(4)のようになる。 Next, when the signal d is transformed by multiplying it by cos(ωx) and −sin(ωx) corresponding to the carrier wave of the lattice pattern, the following equations (3) and (4) are obtained.

、I共に右辺第2項は振動項であるため、1周期の積分あるいは平均化をするとφの変化が小さいところではほぼゼロになり、第1項の平均値が残る。すなわち、式(5)、式(6)のようになる。 Since the second term on the right side of both I c and I s is an oscillating term, when integrated or averaged for one period, it becomes almost zero at a small change in φ, and the average value of the first term remains. That is, equations (5) and (6) are obtained.

なお、式(5)、式(6)における積分、加算は、それぞれωxの一周期分の積分および加算を行うものであり、上線は1周期分の平均を表すものとする。 The integration and addition in equations (5) and (6) are for integrating and adding one cycle of ωx, respectively, and the upper line represents the average of one cycle.

すなわち、式(3)のようにI’(x,y)×cos(ωx)の演算を行うと、図6に示すようにωで振動する搬送波にモアレ縞(格子パターンの縦縞)に相当する基準線の変動が表れる。このとき、図6に示す区間eで積分(平均化)を行うと搬送波を消去でき、モアレ縞fのみを取り出すことができる。なお、上下の包絡線を検出して、その中間値をfとすることとしてもよい。 That is, when I′(x, y)×cos(ωx) is calculated as in Expression (3), the carrier wave vibrating at ω corresponds to moire fringes (vertical stripes in the lattice pattern) as shown in FIG. The fluctuation of the reference line appears. At this time, if the integration (averaging) is performed in the section e shown in FIG. 6, the carrier wave can be erased and only the moire fringe f can be taken out. The upper and lower envelopes may be detected and the intermediate value may be set to f.

式(5)と式(6)の結果から、式(7)に示すように、被検知物(対象物)の高さに起因する格子パターンの位相が得られる。換言すると、顔の高さに相当する位相情報が得られる。 From the results of Expressions (5) and (6), the phase of the lattice pattern resulting from the height of the detected object (object) is obtained as shown in Expression (7). In other words, the phase information corresponding to the height of the face is obtained.

そして、3次元情報取得部60は、こうして得られた位相情報に基づいて、位相差画像76を生成する(図7、図8参照)。さらに、3次元情報取得部60は、位相差画像76に含まれる位相情報から、周知の方法により3次元情報を解析し、3次元情報を持つ画像としての3次元画像78を生成する。換言すると、3次元情報取得部60は、撮像装置5で撮影された画像のIR成分から、3次元情報を抽出(生成)し、出力する。
以上のようにして、格子画像70から3次元情報が取得され、3次元画像78が生成される。
なお、撮像装置5で撮影された画像から3次元情報を抽出する処理は、必ずしも前述の演算により行うものでなくてもよく、周知の種々の方法により行ってもよい。例えば、サンプリングモアレ法を利用して行ってもよい。
Then, the three-dimensional information acquisition unit 60 generates the phase difference image 76 based on the phase information thus obtained (see FIGS. 7 and 8). Further, the three-dimensional information acquisition unit 60 analyzes the three-dimensional information from the phase information included in the phase difference image 76 by a known method, and generates a three-dimensional image 78 as an image having the three-dimensional information. In other words, the three-dimensional information acquisition unit 60 extracts (generates) three-dimensional information from the IR component of the image captured by the imaging device 5 and outputs it.
As described above, the three-dimensional information is acquired from the lattice image 70 and the three-dimensional image 78 is generated.
The process of extracting the three-dimensional information from the image captured by the image capturing device 5 does not necessarily have to be performed by the above-described calculation, and may be performed by various known methods. For example, the sampling moire method may be used.

3次元画像78を生成する処理について、図7および図8を参照しながら改めて説明すると以下の通りである。すなわち、格子画像70の輝度情報aから信号dを得ることにより、画像71が得られる。次いで、信号dに、cos(ωx)、−sin(ωx)をそれぞれ乗じて変形すると(式(3)および式(4)参照)、画像72と画像73とがそれぞれ得られる。次いで、I、Iそれぞれの平均をとることにより(式(5)および式(6)参照)画像74と画像75とが得られる。次いで、画像74と画像75とに基づいて位相差画像76が得られる。次いで、位相差画像76に基づいて3次元画像78が得られる。 The process of generating the three-dimensional image 78 will be described below with reference to FIGS. 7 and 8. That is, the image 71 is obtained by obtaining the signal d from the luminance information a of the lattice image 70. Next, the signal d is multiplied by cos(ωx) and −sin(ωx) respectively to be transformed (see the equations (3) and (4)), and the image 72 and the image 73 are respectively obtained. Next, the image 74 and the image 75 are obtained by taking the average of each of I c and I s (see Formula (5) and Formula (6)). Then, the phase difference image 76 is obtained based on the images 74 and 75. Then, a three-dimensional image 78 is obtained based on the phase difference image 76.

3次元画像78を計算によって求める際には、例えば、位相差画像76を中心部から上下左右に走査していき、位相差の変化がほぼ±πになる点を不連続点として位相に±πを加えて連続位相となるような操作を行う(アンラップ処理)。この際に特異点(この点を周回してアンラップ処理を行っても位相が元に戻らない点)が表れても無視する。
このようにして得られた位相差情報を反復法(例えば、共役勾配法)の初期解として反復計算を行うことによって反復法における計算回数の多さという問題を緩和することができる。
具体的には非特許文献1にあるように、式(7)から式(8)のようなポアソン方程式の形の偏微分方程式を構成する。
When the three-dimensional image 78 is obtained by calculation, for example, the phase difference image 76 is scanned vertically and horizontally from the center, and the point where the change in the phase difference is approximately ±π is regarded as a discontinuous point and the phase is ±π. Is added to perform an operation to obtain a continuous phase (unwrap processing). At this time, even if a singular point (a point at which the phase does not return to the original even if the point goes around and is unwrapped) is ignored.
By performing the iterative calculation using the phase difference information thus obtained as the initial solution of the iterative method (for example, the conjugate gradient method), the problem of a large number of calculations in the iterative method can be alleviated.
Specifically, as in Non-Patent Document 1, partial differential equations in the form of Poisson's equations such as equations (7) to (8) are constructed.

偏微分を前方(後方)差分で近似すると(8)式の左辺は、式(11)のように1次式で表され、m×n個の1次連立方程式となる。 When the partial differential is approximated by the forward (backward) difference, the left side of the equation (8) is expressed by a linear equation as in the equation (11), and becomes m×n linear simultaneous equations.

これを共役勾配法などの反復法で解く場合、φに初期値として0を入れて解くと収束に時間がかかるが、ある程度解に近い値から出発すると当然計算時間は短縮される。換言すると、位相情報を3次元情報に変換する際に、位相の不連続を解消するための位相接続を少なくとも1回行ってその結果を初期解とした反復法によって3次元情報の近似解を求めることで、反復法における反復回数を削減することができる。
図9は1実施例で、反復回数と誤差との関係を示したものである。点線は上記の方程式におけるφの初期値をゼロとして計算し、反復回数による誤差の変化を表したものである。一般的に点線のように反復回数と共に誤差が減少していくが、従来の計算法では目標誤差(1E−6)となるまでに約430回の反復回数が必要であった。一方、前記の方法によれば、初期解がA点となり、目標誤差(1E−6)となるまでの反復回数は実線のように実質180回に削減された。
また動画において時間的に緩やかな変化をする場合は一つ手前のフレームの情報を次のフレームにおける初期解として用いることで収束を早めることもできる。
When this is solved by an iterative method such as the conjugate gradient method, it takes time to converge if 0 is set as an initial value for φ, but if the value is close to a solution to some extent, the calculation time is naturally shortened. In other words, when the phase information is converted into three-dimensional information, the phase connection for eliminating the phase discontinuity is performed at least once and the approximate solution of the three-dimensional information is obtained by the iterative method with the result as the initial solution. Therefore, the number of iterations in the iterative method can be reduced.
FIG. 9 shows the relationship between the number of iterations and the error in one embodiment. The dotted line represents the change in error due to the number of iterations, calculated with the initial value of φ in the above equation set to zero. Generally, the error decreases with the number of iterations as indicated by the dotted line, but in the conventional calculation method, about 430 iterations were required until the target error (1E-6) was reached. On the other hand, according to the above method, the number of iterations until the initial solution reaches the point A and the target error (1E-6) is achieved is reduced to substantially 180 times as indicated by the solid line.
Further, in the case of a gradual change in time in a moving image, it is possible to accelerate convergence by using the information of the immediately preceding frame as an initial solution in the next frame.

顔認証部61は、3次元情報取得部60で取得された3次元情報に基づいて顔認証を行う。具体的には、顔認証部61は、3次元情報取得部60で生成された3次元画像78から特徴量を抽出する。そして、この抽出された特徴量を、本人情報として予め登録されている顔の3次元情報の特徴量と比較し、撮像装置5で撮影された対象物が、登録されている本人情報で特定される個人と一致するか否か判定する。そして、一致する場合には認証成功となり、一致しない場合には認証失敗となる。換言すると、顔認証部61は、撮像装置5で撮影された近赤外画像から得られる3次元情報と、予め登録されている顔の3次元情報とを比較し、顔認証を行う。
なお、3次元情報に基づいて、登録されている人物であるか判定する方法については、周知の技術を用いればよい。
The face authentication unit 61 performs face authentication based on the three-dimensional information acquired by the three-dimensional information acquisition unit 60. Specifically, the face authentication unit 61 extracts the feature amount from the 3D image 78 generated by the 3D information acquisition unit 60. Then, the extracted feature amount is compared with the feature amount of the three-dimensional information of the face registered in advance as the personal information, and the object photographed by the imaging device 5 is specified by the registered personal information. It is determined whether or not it matches the individual If they match, the authentication succeeds, and if they do not match, the authentication fails. In other words, the face authentication unit 61 compares the three-dimensional information obtained from the near-infrared image captured by the imaging device 5 with the three-dimensional information of the face registered in advance to perform the face authentication.
A well-known technique may be used as a method of determining whether the person is a registered person based on the three-dimensional information.

また、顔認証部61は、3次元情報だけでなく、可視画像80の情報も用いて顔認証を行ってもよい。この場合、例えば、顔認証部61は、可視画像出力部53から出力される可視画像80から、顔のパーツ(目、鼻、口等)の配置等を判別し、これを本人情報として予め登録されている顔のパーツの配置の情報と比較して、撮像装置5で撮影された対象物が、登録されている本人情報で特定される個人と一致するか否か判定する。
顔認証に3次元情報と可視画像の情報とを用いる場合、いずれかの情報に基づく判定において、対象物と本人情報で特定される個人とが一致しないと判定された場合、顔認証は失敗となる。換言すると、3次元情報と可視画像の情報とが、両方とも登録されている本人情報と一致する場合に顔認証が成功となる。
Further, the face authentication unit 61 may perform face authentication using not only the three-dimensional information but also the information of the visible image 80. In this case, for example, the face authentication unit 61 discriminates the arrangement of face parts (eyes, nose, mouth, etc.) from the visible image 80 output from the visible image output unit 53, and preregisters this as personal information. It is determined whether or not the target object imaged by the imaging device 5 matches the individual specified by the registered personal information, by comparing the information of the disposition of the face parts that has been registered.
When three-dimensional information and visible image information are used for face authentication, when it is determined that the object and the individual specified by the personal information do not match in the determination based on any of the information, face authentication fails. Become. In other words, face authentication is successful when both the three-dimensional information and the visible image information match the registered personal information.

次に、虹彩情報を抽出する処理について説明する。
第二透過領域14bは、対象物の所定部位に対して光を略一様に照射する光学パターン(虹彩認証用パターン)を生成し、この虹彩認証用パターンが投影装置3から投影されるものとする。このとき、当該所定部位としての人の目に、近赤外LED11から出射され第二透過領域14bを透過した略一様な光が照射される。投影装置3から虹彩認証用パターンを投影し、イメージセンサ31で撮影して、画像分離部51でRGB成分とIR成分とを分離することにより得られる近赤外画像70は、図5あるいは図8に示すもののようになる。なお、このように虹彩認証用パターンを投影して得られる近赤外画像70を虹彩認証用画像70と呼ぶこととする。
なお、本実施の形態のフォトマスク14においては、第一透過領域14aと第二透過領域14bとが同一平面内に配置されているため、格子パターンと虹彩認証用パターンとは同時に照射され、格子画像と虹彩認証用画像とが同時に取得される。すなわち、格子画像と虹彩認証用画像とは、同一の画像となる。そして、この画像に基づき、顔認証と虹彩認証とが行われる。ただし、顔認証用の画像と虹彩認証用の画像とを別々に取得するものとしてもよい。また、顔認証用の画像と虹彩認証用の画像とを別々に取得する場合に、虹彩認証用画像は、対象物の虹彩の部分のみが写る画像となるようにしてもよい。
Next, a process of extracting iris information will be described.
The second transmissive area 14b generates an optical pattern (iris authentication pattern) that irradiates a predetermined portion of the object with light substantially uniformly, and the iris authentication pattern is projected from the projection device 3. To do. At this time, a substantially uniform light emitted from the near-infrared LED 11 and transmitted through the second transmission region 14b is radiated to the eyes of the person as the predetermined portion. The near-infrared image 70 obtained by projecting the iris authentication pattern from the projecting device 3, capturing the image with the image sensor 31, and separating the RGB component and the IR component by the image separating unit 51 is shown in FIG. It looks like the one shown in. The near-infrared image 70 obtained by projecting the iris authentication pattern in this manner will be referred to as an iris authentication image 70.
In the photomask 14 of the present embodiment, since the first transmissive region 14a and the second transmissive region 14b are arranged in the same plane, the grid pattern and the iris authentication pattern are simultaneously irradiated, and the grid The image and the iris authentication image are acquired at the same time. That is, the lattice image and the iris authentication image are the same image. Then, based on this image, face authentication and iris authentication are performed. However, the image for face recognition and the image for iris recognition may be acquired separately. Further, when the face authentication image and the iris authentication image are acquired separately, the iris authentication image may be an image in which only the iris portion of the object is captured.

また、生体認証装置1は、虹彩認証用パターンが投影される部分を指示する投影箇所指示部(図示せず)を備えていてもよい。例えば、生体認証装置1がモバイル端末に内蔵される場合、投影箇所指示部は、インカメラあるいは撮像装置5により撮影され、モバイル端末の画面上に表示される画像に、虹彩認証用パターンが投影される部分を示す枠を重ねて表示することとしてもよい。この場合、ユーザーは、当該枠内に自分の目が表示されるように調整することで、目に虹彩認証用パターンが当たるようにでき、虹彩認証を正しく行うことができる。また、生体認証装置1は、目の位置を検知する検知部(図示せず)を備えていてもよい。例えば、検知部が、虹彩認証用パターンが投影される位置に目が位置しているか判定し、虹彩認証用パターンが投影される位置に目が位置している場合に、投影装置3から虹彩認証用パターンが投影された目の画像を撮像装置5が撮影するようにしてもよい。 Further, the biometric authentication device 1 may include a projection location instruction unit (not shown) that indicates a portion on which the iris authentication pattern is projected. For example, when the biometric authentication device 1 is built in a mobile terminal, the projection location instruction unit projects the iris authentication pattern on the image captured by the in-camera or the imaging device 5 and displayed on the screen of the mobile terminal. It is also possible to superimpose and display a frame indicating a portion to be displayed. In this case, the user can make the iris authentication pattern hit the eyes by adjusting his/her eyes to be displayed in the frame, and can correctly perform the iris authentication. Further, the biometric authentication device 1 may include a detection unit (not shown) that detects the position of the eyes. For example, the detection unit determines whether the eye is located at the position where the iris authentication pattern is projected, and when the eye is located at the position where the iris authentication pattern is projected, the iris authentication is performed from the projection device 3. The image capturing device 5 may capture an image of the eye on which the usage pattern is projected.

虹彩認証部62は、虹彩認証用画像70から得られる虹彩の情報と、本人情報として予め登録されている虹彩の情報とに基づいて虹彩認証を行う。虹彩認証は、例えば、虹彩認証用画像70から対象物の虹彩が写っている部分を切り出すことにより得られる画像(虹彩画像)についてFFT(高速フーリエ変換)をすることにより位相情報を抽出し、POC(位相限定相関法)により、虹彩認証用画像70に含まれる虹彩画像と登録されている虹彩の画像との相関をとり、この相関の情報に基づいて虹彩認証を行う。
なお、虹彩認証の方法は、前述の方法に限られるものではなく、周知の種々の認証方法から適宜選択すればよい。また、虹彩認証用画像70から対象物の虹彩が写っている部分を切り出すことにより得られる虹彩画像をコード化し、本人情報として予め登録してあるコードと照合して認証を行うこととしてもよい。
The iris authentication unit 62 performs iris authentication based on iris information obtained from the iris authentication image 70 and iris information registered in advance as personal information. In the iris authentication, for example, phase information is extracted by performing FFT (Fast Fourier Transform) on an image (iris image) obtained by cutting out a portion in which the iris of an object is reflected from the iris authentication image 70, and extracting the POC. By the (phase-only correlation method), the iris image included in the iris authentication image 70 is correlated with the registered iris image, and the iris authentication is performed based on this correlation information.
The iris authentication method is not limited to the above-mentioned method, and may be appropriately selected from various known authentication methods. Alternatively, the iris image obtained by cutting out the portion of the iris authentication image 70 showing the iris of the object may be coded, and the iris image may be authenticated by collating it with a code registered in advance as personal information.

なお、顔認証および虹彩認証のそれぞれにおいて、比較の対象となる本人情報は1つの場合もあれば、複数の場合もある。例えば、本実施の形態の生体認証装置1がモバイル端末に内蔵され、当該モバイル端末の持ち主であるか否かを判定してロックを解除するといった用途に用いられる場合、本人情報はモバイル端末に記憶されている持ち主1人の情報であって、この情報と、撮像装置5により撮影された画像から抽出された特徴とを比較し、撮影された対象物が、このモバイル端末の持ち主に該当するか否かという判定をしてもよい。また、例えば、本実施の形態の生体認証装置1が建物のドア付近に設置され、当該建物の関係者であるか否かを判定してドアのロックを解除するといった用途に用いられる場合、本人情報はサーバに記憶されている当該建物に関係する複数人の情報であって、この複数人の情報それぞれと、撮像装置5により撮影された画像から抽出された特徴とを比較し、撮影された対象物が、この複数人のうちの誰に該当するか、あるいは誰にも該当しないのかという判定をしてもよい。 In each of the face authentication and the iris authentication, the personal information to be compared may be one piece or plural pieces of personal information. For example, when the biometric authentication device 1 of the present embodiment is built in a mobile terminal and is used for a purpose of determining whether or not the owner of the mobile terminal and unlocking the mobile terminal, the personal information is stored in the mobile terminal. The information of one owner who has been taken, and compares this information with the features extracted from the image taken by the imaging device 5 to see if the taken object corresponds to the owner of this mobile terminal. You may judge whether or not. Further, for example, when the biometrics authentication system 1 of the present embodiment is installed near a door of a building and is used for the purpose of unlocking the door by determining whether or not the person is related to the building, The information is the information of a plurality of persons related to the building stored in the server, and the information of each of the plurality of persons is compared with the characteristics extracted from the image captured by the image capturing device 5, and the information is captured. It may be determined whether the object corresponds to any of the plurality of persons or does not correspond to anyone.

本実施の形態の生体認証装置1によれば、近赤外の光学パターンを照射する投影装置3と、近赤外の光を受光可能な撮像装置5とを備え、投影装置3は、顔の3次元情報を取得するための光学パターンと、虹彩の情報を取得するための光学パターンとを、同時に照射可能となる。そして、撮像装置5は、投影装置3から光学パターンが照射された対象物を撮影する。よって、撮像装置5により撮影された画像から、顔の3次元情報と、虹彩の情報とを取得することができる。したがって、顔認証と虹彩認証との両方を行うことができる。 According to the biometric authentication device 1 of the present embodiment, the projection device 3 that irradiates the near infrared optical pattern and the imaging device 5 that can receive the near infrared light are provided. It is possible to simultaneously irradiate an optical pattern for acquiring three-dimensional information and an optical pattern for acquiring iris information. Then, the imaging device 5 captures an image of the object illuminated by the optical pattern from the projection device 3. Therefore, the three-dimensional information of the face and the information of the iris can be acquired from the image captured by the imaging device 5. Therefore, both face authentication and iris authentication can be performed.

また、投影装置3は、近赤外の光を出射する光源としての近赤外LED11と、近赤外LED11の光から顔の3次元情報を取得するための光学パターンを生成する第一透過領域と近赤外LED11の光から虹彩の情報を取得するための光学パターンを生成する第二透過領域とが同一平面内に配置されたフォトマスク14と、投影レンズ16と、を有する。したがって、1つのフォトマスク14で顔の3次元情報を取得するための光学パターンと、虹彩の情報を取得するための光学パターンとを生成し、これら2つの光学パターンを同時に照射することができる。 The projection device 3 also includes a near-infrared LED 11 as a light source that emits near-infrared light, and a first transmissive region that generates an optical pattern for acquiring three-dimensional face information from the light from the near-infrared LED 11. And a projection lens 16 and a photomask 14 in which a second transmission region for generating an optical pattern for acquiring iris information from the light of the near-infrared LED 11 is arranged in the same plane. Therefore, it is possible to generate an optical pattern for acquiring the three-dimensional information of the face and an optical pattern for acquiring the information of the iris with one photomask 14 and to irradiate these two optical patterns at the same time.

また、等間隔の格子状の光学パターンを照射した状態で、撮像装置5により撮影された略正弦波状の格子像の、局所最大値と局所最小値とを算出して正弦波の振幅を一定とした後に、略同じ周期の正弦波と余弦波とを掛け合わせてそれぞれ一周期分積分してから、割り算をして逆正接演算をすることによって、顔の高さに相当する位相情報を算出する位相情報算出部(3次元情報取得部)60を備えるので、簡易な処理で位相情報を算出することができる。 Further, in a state where the lattice-shaped optical pattern at equal intervals is irradiated, the local maximum value and the local minimum value of the substantially sinusoidal lattice image photographed by the image pickup device 5 are calculated to make the amplitude of the sine wave constant. After that, the sine wave and the cosine wave of substantially the same cycle are multiplied, and each one cycle is integrated, then the division is performed and the arctangent operation is performed to calculate the phase information corresponding to the face height. Since the phase information calculation unit (three-dimensional information acquisition unit) 60 is provided, the phase information can be calculated by a simple process.

また、可視画像80から得られる情報と、近赤外画像70から得られる3次元情報とに基づいて顔認証を行う顔認証部61を備え、撮像装置5は、イメージセンサ31として、可視画像80と近赤外画像70とを撮影可能なRGB−IRセンサを有するので、1つのイメージセンサ31で、可視画像80と近赤外画像70とを撮影することができる。そして、このイメージセンサ31で撮影された可視画像80と近赤外画像70とに基づいて顔認証を行うことができる。したがって、例えば、近赤外画像70から得られる3次元情報のみに基づいて顔認証を行う場合に比べ、より正確に顔認証をすることができる。 In addition, a face authentication unit 61 that performs face authentication based on the information obtained from the visible image 80 and the three-dimensional information obtained from the near infrared image 70 is provided, and the imaging device 5 serves as the image sensor 31 and the visible image 80. Since the image sensor 31 has the RGB-IR sensor capable of capturing the near-infrared image 70 and the near-infrared image 70, the single image sensor 31 can capture the visible image 80 and the near-infrared image 70. Then, face recognition can be performed based on the visible image 80 and the near-infrared image 70 captured by the image sensor 31. Therefore, for example, face authentication can be performed more accurately than in the case of performing face authentication based on only the three-dimensional information obtained from the near infrared image 70.

(第2の実施の形態)
本実施の形態の生体認証装置1が、第1の実施の形態の生体認証装置1と主に異なる点は、フォトマスクの構成なので、以下ではこの点について説明し、第1の実施の形態と同様の構成については、その説明を省略ないし簡略化する。
(Second embodiment)
The biometric authentication device 1 according to the present embodiment is different from the biometric authentication device 1 according to the first embodiment mainly in the configuration of the photomask. Therefore, this point will be described below, and the biometric authentication device 1 according to the first embodiment will be described. Descriptions of similar configurations will be omitted or simplified.

本実施の形態の生体認証装置1のフォトマスク14は、図10に示す画素92(単位ブロック)が縦横に複数並べられて構成されている。フォトマスク14の各画素92は、液晶表示素子93が2つの偏光板94に挟まれて形成されている。各画素92は、各画素92の液晶表示素子93に加える電圧のON/OFFによって、光の透過/非透過が切り替わる。例えば、光を遮断したい画素に電圧を加え、光を透過させたい画素には電圧を加えないことで、生成したい光学パターンに対応した光透過部20の配置が実現される。換言すると、フォトマスク14は、印加される信号によって光学パターンを変更可能となっている。 The photomask 14 of the biometric authentication device 1 according to the present embodiment is configured by arranging a plurality of pixels 92 (unit blocks) shown in FIG. 10 vertically and horizontally. Each pixel 92 of the photomask 14 is formed by sandwiching a liquid crystal display element 93 between two polarizing plates 94. Light transmission/non-transmission of each pixel 92 is switched by ON/OFF of a voltage applied to the liquid crystal display element 93 of each pixel 92. For example, a voltage is applied to a pixel for which light is desired to be blocked and a voltage is not applied to a pixel for which light is allowed to pass, whereby the arrangement of the light transmitting section 20 corresponding to the optical pattern desired to be generated is realized. In other words, the photomask 14 can change the optical pattern according to the applied signal.

このような構成によれば、フォトマスク14のパターンを切り替えることが可能となる。したがって、第1の実施の形態においては、投影装置3は、顔の3次元情報を取得するための光学パターンと、虹彩の情報を取得するための光学パターンとを同時に照射していたところ、第2の実施の形態においてはこれらの光学パターンを逐次に照射することが可能となる。すなわち、例えば、フォトマスク14に所定の信号を印加し、顔の3次元情報を取得するための光学パターンを生成可能な状態にした後、フォトマスク14に別の信号を印加し、虹彩の情報を取得するための光学パターンを生成可能な状態にすることで、2つの光学パターンを逐次に照射することが可能となる。 With such a configuration, it is possible to switch the pattern of the photomask 14. Therefore, in the first embodiment, the projection device 3 irradiates the optical pattern for acquiring the three-dimensional information of the face and the optical pattern for acquiring the information of the iris at the same time. In the second embodiment, these optical patterns can be sequentially irradiated. That is, for example, a predetermined signal is applied to the photomask 14 so that an optical pattern for acquiring the three-dimensional information of the face can be generated, and then another signal is applied to the photomask 14 to obtain the iris information. It is possible to sequentially irradiate two optical patterns by setting a state in which an optical pattern for acquiring is generated.

この場合、顔の3次元情報を取得するための光学パターンが照射された状態で、撮像装置5により撮影された画像に基づいて顔認証を行い、虹彩の情報を取得するための光学パターンが照射された状態で、撮像装置5により撮影された画像に基づいて、虹彩認証を行えばよい。 In this case, in the state where the optical pattern for acquiring the three-dimensional information of the face is irradiated, the face authentication is performed based on the image captured by the imaging device 5, and the optical pattern for acquiring the iris information is irradiated. In this state, the iris authentication may be performed based on the image taken by the image pickup device 5.

また、本実施の形態のフォトマスク14は、第1の実施の形態のフォトマスク14と同様に、第一透過領域14aと第二透過領域14bとが同一平面内に配置されるように信号が印加されるようになっていてもよい。このような場合に、対象物の形状や状態等に応じて、例えば第一透過領域14aの形状や第二透過領域14bの位置が変わるようになっていてもよい。例えば、人の目の位置に合わせて第二透過領域14bの位置が変化するようになっていてもよい。具体的には、生体認証装置1が、目の位置を検知する検知部(図示せず)を備えており、この検知部によって検出された目の位置に合わせて、フォトマスク14に印加する信号を変化させて第二透過領域14bの位置を調整し、目に、虹彩認証をするのに適した光が投影されるようにしてもよい。
なお、このような目の位置を検出する検知部は、従来から知られている物体認識技術を適用することにより実現できる。
Further, in the photomask 14 of the present embodiment, as in the photomask 14 of the first embodiment, signals are transmitted so that the first transmission region 14a and the second transmission region 14b are arranged in the same plane. It may be applied. In such a case, for example, the shape of the first transmissive region 14a or the position of the second transmissive region 14b may be changed according to the shape or state of the object. For example, the position of the second transmissive region 14b may be changed according to the position of human eyes. Specifically, the biometric authentication device 1 includes a detection unit (not shown) that detects the eye position, and a signal applied to the photomask 14 in accordance with the eye position detected by the detection unit. May be changed to adjust the position of the second transmissive region 14b so that light suitable for iris authentication is projected on the eyes.
Note that such a detection unit that detects the position of the eyes can be realized by applying a conventionally known object recognition technique.

本実施の形態の生体認証装置1においては、投影装置3は、印加される信号によって光学パターンを変更可能なフォトマスク14を備えるので、フォトマスク14に印加する信号を変化させることにより、光学パターンを変化させることができる。したがって、認証の種類や、撮影の対象物の状態等に応じて、光学パターンを変化させることができる。 In the biometric authentication device 1 according to the present embodiment, the projection device 3 includes the photomask 14 whose optical pattern can be changed by the applied signal. Therefore, by changing the signal applied to the photomask 14, the optical pattern is changed. Can be changed. Therefore, the optical pattern can be changed according to the type of authentication, the state of the object to be photographed, and the like.

なお、本発明の生体認証装置は、スマートフォン等のモバイル機器におけるユーザー認証だけでなく、例えば、車に搭載してユーザー認証に利用してもよく、建物に設置して関係者の認証に利用してもよい。また、この他にも、生体認証が必要とされるあらゆる機器、装置に適用し、生体認証が必要とされるあらゆる用途に用いることができる。 The biometric authentication device of the present invention may be used not only for user authentication in a mobile device such as a smartphone, but also for user authentication by being installed in a car, or installed in a building and used for authentication of persons involved. May be. In addition to the above, the present invention can be applied to any device or apparatus that requires biometric authentication and can be used for any application that requires biometric authentication.

(第3の実施の形態)
本実施の形態の生体認証装置が、第1または第2の実施の形態の生体認証装置と主に異なる点は、主に生体認証装置で行う処理なので、以下ではこの点について説明し、第1または第2の実施の形態と同様の構成については、その説明を省略ないし簡略化する。
(Third Embodiment)
The main difference between the biometric authentication device of the present embodiment and the biometric authentication device of the first or second embodiment is the processing mainly performed by the biometric authentication device. Therefore, this point will be described below, and The description of the same configuration as that of the second embodiment will be omitted or simplified.

本実施形態の生体認証装置1のフォトマスク14は、第二透過領域14bを有さず、その略全面が第一透過領域14aとなっている。すなわち、図2に示す第1の実施の形態のフォトマスク14において、第一透過領域14aの一部が開口したような形状となっておらず、その略全面に光透過部20が格子状に配置されている。そして、近赤外LED11からの光が格子状(縦縞)の光学パターンとなり、当該光学パターンが対象物としての人の顔全体(目の部分を含む)に投影されるようになっている。
なお、本実施形態の生体認証装置1においてもフォトマスク14として、第1の実施の形態のフォトマスクのような第二透過領域14bを備えるフォトマスクを使用してもよく、第2の実施の形態のフォトマスクのような印加される信号によって光学パターンを変更可能なフォトマスクを使用してもよい。
The photomask 14 of the biometric authentication device 1 of the present embodiment does not have the second transmissive area 14b, and substantially the entire surface thereof is the first transmissive area 14a. That is, in the photomask 14 of the first embodiment shown in FIG. 2, the first transmissive region 14a is not shaped like an opening, and the light transmissive portions 20 are arranged in a grid pattern over substantially the entire surface. It is arranged. Then, the light from the near-infrared LED 11 becomes a lattice-shaped (vertical stripe) optical pattern, and the optical pattern is projected onto the entire face (including the eyes) of a person as an object.
In the biometrics authentication system 1 of the present embodiment as well, a photomask having a second transmissive region 14b like the photomask of the first embodiment may be used as the photomask 14, and the second embodiment may be used. A photomask whose optical pattern can be changed by an applied signal, such as a photomask of a form, may be used.

本実施の形態の生体認証装置1は、図11に示すように、顔領域特定部102を備えている。顔領域特定部102は、可視画像出力部53から出力された可視画像80に基づいて顔の領域を特定し、顔の領域を示すマスク画像150を生成する(図12参照)。 As shown in FIG. 11, the biometric authentication device 1 of the present embodiment includes a face area specifying unit 102. The face area specifying unit 102 specifies a face area based on the visible image 80 output from the visible image output unit 53, and generates a mask image 150 indicating the face area (see FIG. 12).

顔領域特定部102は、可視画像80から、機械学習により顔の器官(ランドマーク)を検出する。ここで、顔の器官とは、例えば、目、鼻または口等の、人の顔を構成する器官である。顔領域特定部102は、目、鼻および口のすべてを検出しても良いが、いずれか1つを検出するものであってもよい。なお、目の虹彩情報を取得するために、顔領域特定部102が検出する器官の中に、少なくとも目が含まれていることが好ましい。 The face area identification unit 102 detects a facial organ (landmark) from the visible image 80 by machine learning. Here, the facial organs are, for example, the eyes, the nose, the mouth, and the like that make up the human face. The face area specifying unit 102 may detect all of eyes, nose, and mouth, but may detect any one of them. In order to acquire the iris information of the eyes, it is preferable that at least the eyes are included in the organs detected by the face area specifying unit 102.

顔領域特定部102による顔の検出によって、図12に示すように、可視画像80上の点であって、顔の器官それぞれを示す複数の点152が、情報として得られる。次いで、顔領域特定部102は、目、鼻、口それぞれを示す複数の点152のうち、最も外側の点を用いて顔の輪郭を抽出する。具体的には、顔領域特定部102は、目、鼻、口それぞれを示す複数の点のうち最も外側の点よりも若干外側を通る線によって、これらの複数の点152を囲うようにして、顔の領域153を特定する。すなわち、顔領域特定部102は、目と鼻と口とを囲うようにして顔の領域153を決める。換言すると、顔領域特定部102は、目と鼻と口とを含む範囲を顔の領域153とする。このように、顔領域特定部102は、検出した顔の器官の情報に基づいて、顔の領域153を特定する。
なお、顔の器官を示す複数の点152のうち、目を示す複数の点152aには、目尻を表す点と、目頭を表す点と、目の上縁における1点または2点以上の点と、目の下縁における1点または2点以上の点とが含まれる。
As shown in FIG. 12, a plurality of points 152 on the visible image 80, which indicate respective facial organs, are obtained as information by the face detection by the face area identifying unit 102. Next, the face area specifying unit 102 extracts the contour of the face using the outermost points among the plurality of points 152 indicating the eyes, the nose, and the mouth. Specifically, the face area specifying unit 102 surrounds the plurality of points 152 by a line passing slightly outside the outermost points among the plurality of points indicating the eyes, the nose, and the mouth, respectively. The face area 153 is specified. That is, the face area specifying unit 102 determines the face area 153 so as to surround the eyes, nose, and mouth. In other words, the face area specifying unit 102 sets the range including the eyes, nose, and mouth as the face area 153. In this way, the face area identifying unit 102 identifies the face area 153 based on the information on the detected facial organs.
Among the plurality of points 152 indicating the facial organs, the plurality of points 152a indicating the eyes include a point indicating the outer corner of the eye, a point indicating the inner corner of the eye, and one or more points on the upper edge of the eye. , And one or more points at the lower edge of the eye.

次いで、顔領域特定部102は、抽出した顔の領域153の情報に基づいて、マスク画像150を生成する。具体的には、特定した顔の領域153(目、鼻、口が含まれる領域)を「1」とし、顔の領域153の外側を「0」とした2値画像として、マスク画像を生成する。 Next, the face area specifying unit 102 generates the mask image 150 based on the information on the extracted face area 153. Specifically, the mask image is generated as a binary image in which the specified face area 153 (area including eyes, nose, and mouth) is “1” and the outside of the face area 153 is “0”. ..

なお、顔領域特定部102による、顔の器官の検出および顔の領域の特定においては、公知の種々の技術を適用可能である。例えば、顔の器官を検出し、顔の領域を特定する機械学習のアルゴリズムについては、オープンソフトウェアのDlib等を用いてもよい。なお、顔領域特定部102は、必ずしも目と鼻と口とに関する検出結果に基づいて顔の領域153を特定する必要はない。例えば、公知の技術を用いることで、鼻や口がマスクに覆われている状態であっても、顔の領域を特定することができるので、このような技術を用いて顔の領域を特定してもよい。また、顔領域特定部102は、可視画像80ではなく、近赤外画像70に基づいて顔の領域を特定するものであってもよく、可視画像80と近赤外画像70との両方に基づいて顔の領域を特定するものであってもよい。 Note that various known techniques can be applied to the detection of the facial organs and the identification of the face area by the face area identification unit 102. For example, as a machine learning algorithm for detecting a face organ and specifying a face region, open software Dlib or the like may be used. The face area specifying unit 102 does not necessarily need to specify the face area 153 based on the detection results of the eyes, nose, and mouth. For example, by using a known technique, even if the nose or mouth is covered with a mask, the face area can be specified. Therefore, using such a technology, the face area can be specified. May be. The face area specifying unit 102 may specify the face area based on the near-infrared image 70 instead of the visible image 80, and based on both the visible image 80 and the near-infrared image 70. The face area may be specified.

本実施形態の生体認証装置1における3次元情報取得部60は、第1の実施の形態の生体認証装置1と同様に、撮像装置5で撮影された画像のIR成分から、3次元情報を抽出(生成)し出力する。この3次元情報の生成において、マスク画像150を用いることにより、処理負担を軽減している。 The three-dimensional information acquisition unit 60 in the biometric authentication device 1 of the present embodiment extracts the three-dimensional information from the IR component of the image captured by the imaging device 5, as in the biometric authentication device 1 of the first embodiment. (Generate) and output. In the generation of this three-dimensional information, the processing load is reduced by using the mask image 150.

具体的には、3次元情報取得部60は、近赤外画像70(格子画像70)から3次元情報を抽出するための前述の演算をする際(例えば、前述のように共役勾配法で数値解を求める際等)に、近赤外画像70のうち、マスク画像150において「1」となっている部分に対応する部分についてのみ計算を行い、マスク画像150において「0」となっている部分に対応する部分については計算を行わないようにする。このようにすることで、3次元情報を抽出するための演算において、背景等の顔以外の部分の影響が除去される。このため、例えば共役勾配法で数値解を求める際には、収束が早くなるとともに、解が安定する。 Specifically, the three-dimensional information acquisition unit 60 performs the above-described calculation for extracting the three-dimensional information from the near-infrared image 70 (grid image 70) (for example, as described above, a numerical value is obtained by the conjugate gradient method). When obtaining a solution, etc.), calculation is performed only for the portion of the near-infrared image 70 that corresponds to the portion that is "1" in the mask image 150, and the portion that is "0" in the mask image 150. Do not calculate the part corresponding to. By doing so, in the calculation for extracting the three-dimensional information, the influence of the portion other than the face such as the background is removed. Therefore, for example, when a numerical solution is obtained by the conjugate gradient method, the convergence is fast and the solution is stable.

次に、顔領域特定部102による顔の器官の検出結果を利用した、虹彩の情報の取得について説明する。
顔領域特定部102は、顔の器官それぞれを示す複数の点152のうち、目に相当する点152aの可視画像80上における座標情報を出力する。虹彩認証部(虹彩情報取得部)62は、図13に示すように、当該座標情報に基づいて、虹彩認証用画像としての近赤外画像70上における目の位置を特定し、近赤外画像70から目の領域の画像(目領域画像156)を抽出する。換言すると、前述した目を示す複数の点152aを用いて目の領域を特定し、当該目の領域の画像156を抽出する。このとき、目を示す複数の点152aのうちの、外側の点を通る線によって目の領域を特定することで、目の領域をできるだけ狭く取ることができ、虹彩認証に係る処理負担を軽減することなどができる。そして、抽出された目領域画像156から、Hough変換等により円形を検出することによって、虹彩や瞳の画像を得ることができる(虹彩の外形を示す円154aと、瞳の外形を示す円154bとを図13に示す。)。
Next, acquisition of iris information using the detection result of the face organs by the face area specifying unit 102 will be described.
The face area identification unit 102 outputs coordinate information on the visible image 80 of a point 152a corresponding to an eye among the plurality of points 152 indicating each facial organ. As shown in FIG. 13, the iris authentication unit (iris information acquisition unit) 62 specifies the eye position on the near infrared image 70 as the iris authentication image based on the coordinate information, and the near infrared image is obtained. An image of the eye area (eye area image 156) is extracted from 70. In other words, the eye area is specified by using the plurality of points 152a indicating the eyes, and the image 156 of the eye area is extracted. At this time, the eye area can be made as small as possible by specifying the eye area by a line that passes through the outer points of the plurality of points 152a indicating the eye, and the processing load related to iris authentication can be reduced. Things can be done. Then, by detecting a circle from the extracted eye region image 156 by Hough transform or the like, an image of an iris or a pupil can be obtained (a circle 154a indicating the outer shape of the iris and a circle 154b indicating the outer shape of the pupil. Is shown in FIG. 13.).

虹彩認証においては、抽出された目領域画像156(虹彩の画像)を極座標から直交座標に写像して、本人情報として予め登録されている虹彩の画像(元画像157)と比較したり、アイリスコードに変換して認証したりすることが知られている。しかし、目の部分に3次元情報を取得するための光学パターンが投射されている場合、当該光学パターンの影響により、直接的な比較や、2値化に支障を来すおそれがある。そこで、本実施形態の生体認証装置1においては、虹彩認証部62は、抽出された目領域画像156から、光学パターンによる縞を除去する前処理を行ってから、座標変換を行う(縦縞を除去した縦縞除去画像158を生成してからこの縦縞除去画像158について座標変換を行う)。なお、ここでの前処理は、例えば、フーリエ変換を用いたフィルタ処理でもよく、縞の周期性を用いた輝度均一化処理あるいはその他の処理でもよい。すなわち、虹彩認証部62は、空間フィルタ処理によって近赤外画像70の撮像時に照射された光学パターンの影響を除去して、虹彩の認証を行うこととしてもよい。 In the iris authentication, the extracted eye area image 156 (iris image) is mapped from polar coordinates to orthogonal coordinates and compared with an iris image (original image 157) that is registered in advance as personal information, or the iris code is used. It is known to convert to and authenticate. However, when an optical pattern for obtaining three-dimensional information is projected on the eye part, there is a possibility that direct comparison or binarization may be hindered due to the influence of the optical pattern. Therefore, in the biometric authentication device 1 of the present embodiment, the iris authentication unit 62 performs pre-processing to remove stripes due to the optical pattern from the extracted eye area image 156, and then performs coordinate conversion (removing vertical stripes). The vertical stripe removed image 158 is generated, and then the vertical stripe removed image 158 is subjected to coordinate conversion). The pre-processing here may be, for example, filter processing using Fourier transform, brightness uniformization processing using the periodicity of stripes, or other processing. That is, the iris authentication unit 62 may perform the iris authentication by removing the influence of the optical pattern irradiated when the near infrared image 70 is captured by the spatial filter process.

目領域画像156と元画像157との輝度の相関関係について、前処理を行わなかった場合の相関関係を示すグラフ160を図13の右上に示し、前処理を行なった場合の相関関係を示すグラフ161を図13の右下に示す。図13に示すように、光学パターンの影響を除去する前処理を行わなかった場合、目領域画像156と元画像157との輝度についての相関係数R=0.0032であるのに対し、前処理を行なった場合R=0.9158となり、高い相関性が得られていることがわかる。このように、前処理を行うことにより、目領域画像156と元画像157との輝度の相関性を高くし、虹彩認証の精度を高めることができる。すなわち、撮像装置5により撮像された目について、輝度等の虹彩に関する情報を取得する前に、前処理を行うことにより、取得される虹彩情報の精度が高くなり、こうして取得された虹彩情報を、本人情報として予め登録されている虹彩情報と比較することで、虹彩認証の精度を高めることができる。 Regarding the correlation of luminance between the eye area image 156 and the original image 157, a graph 160 showing the correlation when the pre-processing is not performed is shown in the upper right of FIG. 13, and the graph showing the correlation when the pre-processing is performed. 161 is shown in the lower right of FIG. As shown in FIG. 13, when the pre-processing for removing the influence of the optical pattern is not performed, the correlation coefficient R 2 =0.0032 for the luminance between the eye area image 156 and the original image 157, whereas When pre-processing is performed, R 2 =0.9158, which shows that a high correlation is obtained. By performing the preprocessing in this way, it is possible to increase the correlation of the luminance between the eye area image 156 and the original image 157, and improve the accuracy of iris authentication. That is, the accuracy of the acquired iris information is increased by performing pre-processing on the eyes imaged by the imaging device 5 before acquiring the information about the iris such as the brightness, and the iris information acquired in this way is The accuracy of iris authentication can be improved by comparing with iris information registered in advance as personal information.

なお、図13に示す展開画像159とは、目領域画像156や、元画像157、縦縞除去画像158を展開した画像であり、本実施形態の生体認証装置1においては、このように各画像を展開して認証に係る処理を行うが、虹彩認証において画像を展開して認証を行う方法については、周知の技術であるため、ここでは説明を省略する。また、画像を展開せずに認証を行うこととしてもよい。 Note that the developed image 159 shown in FIG. 13 is an image obtained by developing the eye area image 156, the original image 157, and the vertical stripe removal image 158. In the biometric authentication device 1 of the present embodiment, each image is thus displayed. Although the processing related to the expansion and the authentication is performed, the method of expanding and authenticating the image in the iris authentication is a well-known technique, and thus the description thereof is omitted here. Further, the authentication may be performed without expanding the image.

本実施形態の生体認証装置1(3次元情報生成装置)は、近赤外の光学パターンを照射する投影装置3と、近赤外の光を受光可能な撮像装置5と、撮像装置5により撮像される撮像対象の画像に基づいて顔の器官を検出して顔の領域を特定する顔領域特定部102と、光学パターンを照射した状態で撮像装置5により撮像される撮像対象の近赤外画像のうち、顔領域特定部102により特定された顔の領域に対応する部分についての3次元情報を生成する3次元情報取得部60と、を備える。よって、顔領域特定部102は、撮像装置5により撮像される画像について、顔の領域を特定し、3次元情報取得部60は、撮像装置5により撮像される近赤外画像のうち、顔領域特定部102により特定される顔の領域に対応する部分についての3次元情報を生成する。すなわち、3次元情報取得部60は、撮像装置5により撮像される近赤外画像に基づいて3次元情報を生成する際に、顔の領域部分についてのみ計算を行えばよく、顔の領域外の部分(例えば、背景部分等)については、計算を行う必要がない。したがって、3次元情報を生成するための計算において、顔の領域外の部分の影響を除去することができ、当該計算における収束を早めたり、解を安定させたりすることができ、当該計算の負担を軽減することができる。 The biometric authentication device 1 (three-dimensional information generation device) of the present embodiment includes a projection device 3 that irradiates a near-infrared optical pattern, an imaging device 5 that can receive near-infrared light, and an imaging device 5. A face area specifying unit 102 that detects a facial organ based on the image of the imaged target and specifies a face area, and a near-infrared image of the imaged object that is imaged by the imaging device 5 in a state where the optical pattern is irradiated. Of these, a three-dimensional information acquisition unit 60 that generates three-dimensional information about a portion corresponding to the face area identified by the face area identification unit 102. Therefore, the face area identifying unit 102 identifies the face area in the image captured by the image capturing apparatus 5, and the three-dimensional information acquiring unit 60 identifies the face area in the near infrared image captured by the image capturing apparatus 5. Three-dimensional information is generated for the portion corresponding to the face area specified by the specifying unit 102. That is, when the three-dimensional information acquisition unit 60 generates three-dimensional information based on the near-infrared image picked up by the image pickup device 5, the three-dimensional information acquisition unit 60 only needs to perform calculation on the face area portion, and the three-dimensional information outside the face area. It is not necessary to perform calculation for a part (eg background part). Therefore, in the calculation for generating the three-dimensional information, it is possible to remove the influence of the part outside the face region, speed up the convergence in the calculation, and stabilize the solution, and the burden of the calculation. Can be reduced.

また、本実施形態の生体認証装置1において、顔領域特定部102は、顔の器官の検出において目の位置を特定し、虹彩認証部62は、近赤外画像と、顔領域特定部102により特定される目の位置の情報とに基づいて近赤外画像に写る目についての虹彩の情報を取得する。よって、虹彩認証部62は、近赤外画像に写る目についての虹彩の情報を取得する場合に、顔領域特定部102により特定される目の位置の情報に基づいて虹彩の情報を取得する。このため、虹彩の情報を取得するための計算においては、目の部分についてのみ計算を行えばよく、当該計算についての処理負担を軽減できる。特に、3次元情報を取得するための光学パターンが、撮像対象としての人の目の部分にも照射されるような構成の場合、虹彩認証をするための虹彩情報の取得にあたって、当該光学パターンの影響を除去することが望ましいが、当該除去に係る計算をする場合でも、計算する範囲を狭めることができるので、計算についての処理負担を軽減することができる。 Further, in the biometrics authentication system 1 of the present embodiment, the face area identification unit 102 identifies the eye position in the detection of the facial organs, and the iris authentication unit 62 uses the near-infrared image and the face area identification unit 102. The iris information about the eyes in the near-infrared image is acquired based on the specified eye position information. Therefore, the iris authenticating unit 62 acquires the iris information based on the eye position information specified by the face area specifying unit 102 when acquiring the iris information about the eyes in the near-infrared image. Therefore, in the calculation for acquiring the information of the iris, it is necessary to perform the calculation only for the eye portion, and the processing load for the calculation can be reduced. In particular, in the case where the optical pattern for acquiring the three-dimensional information is also radiated to the part of the human eye as an imaging target, when acquiring the iris information for iris authentication, the optical pattern of the optical pattern Although it is desirable to remove the influence, the calculation range can be narrowed even when the calculation related to the removal is performed, so that the processing load for the calculation can be reduced.

また、虹彩認証部62は、空間フィルタ処理によって近赤外画像の撮像時に照射された光学パターンの影響を除去して、虹彩の認証を行う。したがって、虹彩認証の精度を高めることができる。 In addition, the iris authentication unit 62 removes the influence of the optical pattern irradiated at the time of capturing the near-infrared image by the spatial filter processing, and authenticates the iris. Therefore, the accuracy of iris authentication can be improved.

なお、イメージセンサ31は、赤外の画素を含むセンサであって、画素数が8メガピクセル以上であることが好ましい。このように、画素数が8メガピクセル以上となっていることで、虹彩認証を高精度で行うことできる。また、画素数を8メガピクセル以上としても、撮像装置5により撮像された画像から目領域画像156を切り出して虹彩認証を行うので、虹彩認証に係る処理負担を軽減して高速に処理することができる。 The image sensor 31 is a sensor including infrared pixels, and the number of pixels is preferably 8 megapixels or more. Since the number of pixels is 8 megapixels or more, iris authentication can be performed with high accuracy. Further, even if the number of pixels is 8 megapixels or more, the eye area image 156 is cut out from the image captured by the imaging device 5 to perform the iris authentication, so that the processing load related to the iris authentication can be reduced and the processing can be performed at high speed. it can.

(第4の実施の形態)
次に、第3の実施の形態の生体認証装置における3次元情報を取得するための構成を、3次元の顔画像を生成する装置に適用した場合について説明する。
(Fourth Embodiment)
Next, a case where the configuration for acquiring three-dimensional information in the biometric authentication device according to the third embodiment is applied to a device that generates a three-dimensional face image will be described.

3次元画像生成装置120は、第3の実施の形態の生体認証装置1の構成に加えて、図14に示すように、3次元画像生成部122と、3次元画像生成部122で生成された3次元画像(3次元の顔画像)を通信相手に送信する送信部124とを備えている。3次元画像生成部122は、図15に示すように、3次元情報取得部60によって抽出される3次元情報(3次元画像78)と、可視画像出力部53から出力される可視画像80とに基づいて3次元の顔画像170を生成する。
なお、3次元画像生成装置120は、顔認証部61や虹彩認証部62を備えず顔認証や虹彩認証を行わないこととしてもよい。
In addition to the configuration of the biometric authentication device 1 according to the third embodiment, the three-dimensional image generation device 120 is generated by the three-dimensional image generation unit 122 and the three-dimensional image generation unit 122 as shown in FIG. And a transmission unit 124 that transmits a three-dimensional image (three-dimensional face image) to a communication partner. As shown in FIG. 15, the three-dimensional image generation unit 122 generates the three-dimensional information (three-dimensional image 78) extracted by the three-dimensional information acquisition unit 60 and the visible image 80 output from the visible image output unit 53. Based on this, the three-dimensional face image 170 is generated.
The three-dimensional image generation device 120 may not include the face authentication unit 61 or the iris authentication unit 62 and may not perform face authentication or iris authentication.

3次元画像生成部122は、3次元情報取得部60から出力される3次元情報としての奥行情報に基づく3次元画像78と、可視画像80とに基づいて、3次元の顔画像170を生成する。近赤外画像70から奥行情報(位相情報)を得て3次元画像78を構成し、レンダリング処理の際に可視画像80の色情報(イメージセンサ31において、カラーフィルタ31aの赤R、緑G、青Bの領域を通った光に基づいて得られる情報)を用いることで、3次元の顔画像170が得られる。
なお、ここで奥行情報に基づく3次元画像78の生成は、3次元情報取得部60で行ってもよく、3次元画像生成部122で行ってもよい。例えば、奥行情報から3次元画像78を構成する際に、同時に可視画像80の色情報を用いた色付け等を行い3次元の顔画像170に色付け等することとしてもよい。
The three-dimensional image generation unit 122 generates a three-dimensional face image 170 based on the three-dimensional image 78 based on the depth information as the three-dimensional information output from the three-dimensional information acquisition unit 60 and the visible image 80. .. Depth information (phase information) is obtained from the near-infrared image 70 to form a three-dimensional image 78, and color information of the visible image 80 (red R, green G of the color filter 31a in the image sensor 31, A three-dimensional face image 170 is obtained by using the information obtained based on the light that has passed through the blue B area.
Here, the generation of the three-dimensional image 78 based on the depth information may be performed by the three-dimensional information acquisition unit 60 or the three-dimensional image generation unit 122. For example, when the three-dimensional image 78 is constructed from the depth information, the three-dimensional face image 170 may be colored by performing coloring or the like using the color information of the visible image 80 at the same time.

3次元画像生成部122で生成された3次元の顔画像170は、アバター情報として、通信相手に送信される。ここで、通信相手とは、3次元画像生成装置120とネットワークを介して接続される機器である。例えば、3次元画像生成装置120は、パソコンや、スマートフォン(携帯端末)等のコンピュータに組み込まれるもの、あるいは外付けされるものとし、送信部124は、通信相手としてのコンピュータに3次元画像生成部122で生成された3次元の顔画像170を送信する。 The three-dimensional face image 170 generated by the three-dimensional image generation unit 122 is transmitted to the communication partner as avatar information. Here, the communication partner is a device connected to the three-dimensional image generation apparatus 120 via a network. For example, the three-dimensional image generation device 120 is incorporated in a computer such as a personal computer or a smartphone (mobile terminal), or is externally attached, and the transmission unit 124 is a three-dimensional image generation unit in a computer as a communication partner. The three-dimensional face image 170 generated at 122 is transmitted.

3次元の顔画像170を取得した相手方のコンピュータは、当該3次元の顔画像170をいわゆるアバターとしてディスプレイに表示させる。すなわち、本実施形態の3次元画像生成装置120によれば、撮像された人物の顔に基づいて生成される、アバターとしての3次元の顔画像170を通信相手に送信して、通信相手のユーザーとコミュニケーションを取ることができる。このような3次元画像生成装置120は、ビデオチャット(ビデオ通話)や、ソーシャルネットワーキングサービス、ゲーム等、様々な用途に用いることができる。 The other party's computer that has acquired the three-dimensional face image 170 causes the display to display the three-dimensional face image 170 as a so-called avatar. That is, according to the three-dimensional image generation apparatus 120 of the present embodiment, the three-dimensional face image 170 as an avatar, which is generated based on the captured face of the person, is transmitted to the communication partner, and the user of the communication partner Can communicate with. The 3D image generating apparatus 120 as described above can be used for various purposes such as video chat (video call), social networking service, and game.

本実施形態の3次元画像生成装置120は、3次元画像を生成する3次元画像生成部122と、3次元画像生成部122で生成された3次元画像を通信相手に送信する送信部124と、を備え、撮像装置5は、可視光を受光可能であり、3次元画像生成部122は、3次元情報取得部60により生成された3次元情報と、撮像装置5により撮像される可視画像とに基づいて3次元画像を生成する。 The 3D image generation apparatus 120 of the present embodiment includes a 3D image generation unit 122 that generates a 3D image, a transmission unit 124 that transmits the 3D image generated by the 3D image generation unit 122 to a communication partner, The imaging device 5 is capable of receiving visible light, and the three-dimensional image generation unit 122 converts the three-dimensional information generated by the three-dimensional information acquisition unit 60 into a visible image imaged by the imaging device 5. Based on this, a three-dimensional image is generated.

本実施形態の3次元画像生成装置120においては、3次元情報の生成においてマスク画像150が用いられる。よって、3次元情報取得部60によって生成される3次元情報は、顔領域部分のみの3次元情報であり、撮像装置5により撮像される画像における背景部分等の情報が含まれない。したがって、3次元画像生成部122で生成される3次元の顔画像170にも、撮像装置5により撮像される背景等の情報は含まれない。このため、3次元画像生成装置120のユーザーは、相手方に自分の撮像環境の背景等に関する情報を知られることなく、相手方とコミュニケーションを取ったりすることが可能となる。 In the three-dimensional image generation device 120 of this embodiment, the mask image 150 is used in generating three-dimensional information. Therefore, the three-dimensional information generated by the three-dimensional information acquisition unit 60 is only the three-dimensional information of the face area portion, and does not include the information such as the background portion of the image captured by the imaging device 5. Therefore, the three-dimensional face image 170 generated by the three-dimensional image generation unit 122 does not include information such as the background imaged by the imaging device 5. Therefore, the user of the three-dimensional image generation apparatus 120 can communicate with the other party without the other party knowing the information regarding the background of the imaging environment of the user.

1 生体認証装置
3 投影装置
5 撮像装置
11 近赤外LED(光源)
14 フォトマスク
31 イメージセンサ
60 3次元情報取得部
61 顔認証部
62 虹彩認証部
102 顔領域特定部
120 3次元画像生成装置
122 3次元画像生成部
124 送信部
1 Biometrics authentication device 3 Projection device 5 Imaging device 11 Near infrared LED (light source)
14 Photomask 31 Image sensor 60 3D information acquisition unit 61 Face authentication unit 62 Iris authentication unit 102 Face area identification unit 120 3D image generation device 122 3D image generation unit 124 Transmission unit

Claims (4)

近赤外の光学パターンを照射する投影装置と、
近赤外の光を受光可能な撮像装置と、
前記撮像装置により撮像される撮像対象の画像に基づいて顔の器官を検出して顔の領域を特定する顔領域特定部と、
前記光学パターンを照射した状態で前記撮像装置により撮像される撮像対象の近赤外画像のうち、前記顔領域特定部により特定された前記顔の領域に対応する部分についての3次元情報を生成する3次元情報取得部と、を備えることを特徴とする3次元情報生成装置。
A projection device that irradiates a near infrared optical pattern,
An imaging device capable of receiving near infrared light,
A face area identification unit that identifies a face area by detecting a facial organ based on an image of an imaging target captured by the imaging device;
In the near-infrared image of the imaging target imaged by the imaging device in the state where the optical pattern is illuminated, three-dimensional information is generated for a portion corresponding to the face area specified by the face area specifying unit. A three-dimensional information acquisition device, comprising: a three-dimensional information acquisition unit.
請求項1に記載の3次元情報生成装置と、虹彩認証部と、を備え、
前記顔領域特定部は、前記検出において目の位置を特定し、
前記虹彩認証部は、前記近赤外画像と、前記顔領域特定部により特定される前記目の位置の情報とに基づいて前記近赤外画像に写る目についての虹彩の情報を取得することを特徴とする生体認証装置。
The three-dimensional information generation device according to claim 1, and an iris authentication unit,
The face area identification unit identifies the eye position in the detection,
The iris authenticating unit may acquire iris information about an eye shown in the near-infrared image based on the near-infrared image and information on the position of the eye identified by the face area identifying unit. Characteristic biometric authentication device.
前記虹彩認証部は、空間フィルタ処理によって前記近赤外画像の撮像時に照射された前記光学パターンの影響を除去して、虹彩の認証を行うことを特徴する請求項2に記載の生体認証装置。 The biometric authentication device according to claim 2, wherein the iris authentication unit performs an iris authentication by removing the influence of the optical pattern irradiated when the near-infrared image is captured by a spatial filter process. 請求項1に記載の3次元情報生成装置または請求項2もしくは3に記載の生体認証装置と、
3次元画像を生成する3次元画像生成部と、
前記3次元画像生成部で生成された前記3次元画像を通信相手に送信する送信部と、を備え、
前記撮像装置は、可視光を受光可能であり、
前記3次元画像生成部は、前記3次元情報取得部により生成された前記3次元情報と、前記撮像装置により撮像される可視画像とに基づいて前記3次元画像を生成することを特徴とする3次元画像生成装置。
A three-dimensional information generation device according to claim 1 or a biometrics authentication device according to claim 2 or 3,
A three-dimensional image generation unit that generates a three-dimensional image,
A transmission unit for transmitting the three-dimensional image generated by the three-dimensional image generation unit to a communication partner,
The imaging device is capable of receiving visible light,
The three-dimensional image generation unit generates the three-dimensional image based on the three-dimensional information generated by the three-dimensional information acquisition unit and a visible image captured by the imaging device. Dimensional image generation device.
JP2019020422A 2019-02-07 2019-02-07 Three-dimensional information generation device, biometric authentication device, and three-dimensional image generation device Pending JP2020129175A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019020422A JP2020129175A (en) 2019-02-07 2019-02-07 Three-dimensional information generation device, biometric authentication device, and three-dimensional image generation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019020422A JP2020129175A (en) 2019-02-07 2019-02-07 Three-dimensional information generation device, biometric authentication device, and three-dimensional image generation device

Publications (1)

Publication Number Publication Date
JP2020129175A true JP2020129175A (en) 2020-08-27

Family

ID=72174610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019020422A Pending JP2020129175A (en) 2019-02-07 2019-02-07 Three-dimensional information generation device, biometric authentication device, and three-dimensional image generation device

Country Status (1)

Country Link
JP (1) JP2020129175A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023007858A1 (en) 2021-07-30 2023-02-02 日東電工株式会社 Infrared security system
WO2023008087A1 (en) 2021-07-30 2023-02-02 日東電工株式会社 Infrared security system, infrared light emission control system, and design unit
WO2023120472A1 (en) * 2021-12-23 2023-06-29 株式会社Nttドコモ Avatar generation system
CN116543467A (en) * 2023-05-08 2023-08-04 杭州智灵瞳人工智能有限公司 Device and method for realizing combination of three-dimensional face recognition and human iris recognition

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023007858A1 (en) 2021-07-30 2023-02-02 日東電工株式会社 Infrared security system
WO2023008087A1 (en) 2021-07-30 2023-02-02 日東電工株式会社 Infrared security system, infrared light emission control system, and design unit
WO2023120472A1 (en) * 2021-12-23 2023-06-29 株式会社Nttドコモ Avatar generation system
CN116543467A (en) * 2023-05-08 2023-08-04 杭州智灵瞳人工智能有限公司 Device and method for realizing combination of three-dimensional face recognition and human iris recognition

Similar Documents

Publication Publication Date Title
KR101046459B1 (en) An iris recognition apparatus and a method using multiple iris templates
CN108052878B (en) Face recognition device and method
JP2020129175A (en) Three-dimensional information generation device, biometric authentication device, and three-dimensional image generation device
KR101286454B1 (en) Fake face identification apparatus and method using characteristic of eye image
JP7157303B2 (en) Authentication device
WO2019196683A1 (en) Method and device for image processing, computer-readable storage medium, and electronic device
JP2008090482A (en) Personal identification system and personal identification method
CN112232155B (en) Non-contact fingerprint identification method and device, terminal and storage medium
WO2004072899A1 (en) Unauthorized person detection device and unauthorized person detection method
JP5170094B2 (en) Spoofing detection system, spoofing detection method, and spoofing detection program
KR101444538B1 (en) 3d face recognition system and method for face recognition of thterof
TW201241547A (en) System, device and method for acquiring depth image
CN110956114A (en) Face living body detection method, device, detection system and storage medium
CN112232163B (en) Fingerprint acquisition method and device, fingerprint comparison method and device, and equipment
JP2012508423A (en) Video infrared retinal image scanner
KR102679397B1 (en) Biometric authentication apparatus and biometric authentication method
KR20180134280A (en) Apparatus and method of face recognition verifying liveness based on 3d depth information and ir information
JP2009187130A (en) Face authentication device
US20210256244A1 (en) Method for authentication or identification of an individual
CN110059579A (en) For the method and apparatus of test alive, electronic equipment and storage medium
CN112232157B (en) Fingerprint area detection method, device, equipment and storage medium
CN110070062A (en) A kind of system and method for the recognition of face based on binocular active infrared
JP5187372B2 (en) Personal authentication system and personal authentication method
US11341224B2 (en) Handheld multi-sensor biometric imaging device and processing pipeline
CN112232152B (en) Non-contact fingerprint identification method and device, terminal and storage medium