JP6257285B2 - Compound eye imaging device - Google Patents
Compound eye imaging device Download PDFInfo
- Publication number
- JP6257285B2 JP6257285B2 JP2013244844A JP2013244844A JP6257285B2 JP 6257285 B2 JP6257285 B2 JP 6257285B2 JP 2013244844 A JP2013244844 A JP 2013244844A JP 2013244844 A JP2013244844 A JP 2013244844A JP 6257285 B2 JP6257285 B2 JP 6257285B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical system
- optical
- angle
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Cameras In General (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Description
本発明は、複数の光学系を配列してなる複眼撮像装置に関する。 The present invention relates to a compound eye imaging device in which a plurality of optical systems are arranged.
従来、光学系を複数に分割することにより小型の光学系を実現する「複眼」撮像装置が提案されている。「複眼」は昆虫の眼の構造を利用したもので、例えば複数のレンズユニットからなるレンズアレイで光学系を構成し、各レンズユニットを小径化及び短焦点距離化して光学系を小型化する構成が知られている。しかしながら、従来の複眼撮像装置は、撮像系の構成が大型化してしまうことから、光学系を構成するレンズの位置を移動させる方式によって撮影画角を可変にする光学的なズーム機能を付加することが困難であった。そこで、例えば特許文献1では、画角の異なる短焦点のレンズユニットと長焦点のレンズユニットを配置し、被写体の同じ部分を含むように撮像する構成が提案されている。つまり、短焦点レンズに対応した撮像素子により得られるワイド画像の一部に、長焦点レンズに対応した撮像素子により得られるズームアップ画像を嵌め込むことで、該一部の解像度が高く、その他の部分の解像度は低いが広い画角の画像を得ることが出来る。 Conventionally, a “compound eye” imaging device has been proposed that realizes a compact optical system by dividing the optical system into a plurality of parts. “Composite eye” uses the structure of an insect's eye. For example, a lens array consisting of a plurality of lens units constitutes an optical system, and each lens unit has a smaller diameter and a shorter focal length, thereby reducing the size of the optical system. It has been known. However, the conventional compound-eye imaging device adds an optical zoom function that makes the shooting angle of view variable by a method of moving the position of the lens constituting the optical system because the configuration of the imaging system becomes large. It was difficult. Therefore, for example, Patent Document 1 proposes a configuration in which a short-focus lens unit and a long-focus lens unit having different angles of view are arranged and an image is captured so as to include the same portion of the subject. In other words, by fitting a zoom-up image obtained by an image sensor corresponding to a long focus lens into a part of a wide image obtained by an image sensor corresponding to a short focus lens, the resolution of the part is high, and other Although the resolution of the portion is low, an image with a wide angle of view can be obtained.
一方、複数の光学系(複眼光学系)を有する構成を応用して従来の一般的な撮像系では取得することが困難であった被写体側の周辺空間情報を取得するための構成が提案されている。ここで被写体側の周辺空間情報とは、被写体空間における被写体距離情報、位置情報、構成情報や光源情報、被写体分光特性、散乱特性など被写体空間を表現するための様々な情報の総称とする。例えば特許文献2では、短焦点レンズ対と長焦点レンズ対を有する構成とすることで、広い画角の画像と狭い画角の画像とともに、夫々の視差画像を取得するための構成が提案されている。つまり、異なる画角の画像とともに、被写体の距離情報を三角測量の原理を用いて算出することができる。被写体の距離情報は、例えばその被写体の3Dモデリングを行う場合などに非常に有用な情報となる。 On the other hand, a configuration has been proposed for acquiring peripheral space information on the subject side that has been difficult to acquire with a conventional general imaging system by applying a configuration having a plurality of optical systems (compound eye optical systems). Yes. Here, the peripheral space information on the subject side is a general term for various information for expressing the subject space such as subject distance information, position information, configuration information, light source information, subject spectral characteristics, and scattering characteristics in the subject space. For example, Patent Document 2 proposes a configuration for acquiring each parallax image together with an image with a wide angle of view and an image with a narrow angle of view by adopting a configuration having a pair of short focus lenses and a pair of long focus lenses. Yes. That is, the distance information of the subject can be calculated using the principle of triangulation together with images having different angles of view. The subject distance information is very useful information, for example, when 3D modeling of the subject is performed.
しかしながら、特許文献1、2に開示された従来技術では、どちらも異なる二種類の画角を有する光学系のみを備えているため、特定の広い画角の画像と特定の狭い画角の画像を取得することのみが可能となっている。従来のビデオカメラ、デジタルカメラのような撮像装置には、撮影者が所望する画角の画像を撮像するために連続的ズーム機能が求められているが、特許文献1、2では撮影者が選択できる撮影画角の自由度が少なすぎるという問題がある。 However, since the conventional techniques disclosed in Patent Documents 1 and 2 each include only an optical system having two different types of field angles, an image with a specific wide field angle and an image with a specific narrow field angle are used. It can only be acquired. Conventional imaging devices such as video cameras and digital cameras are required to have a continuous zoom function in order to capture an image of the angle of view desired by the photographer. There is a problem that the degree of freedom of the angle of view that can be taken is too small.
さらに、周辺空間情報の一つである被写体距離情報の取得については、後述するように複眼撮像装置において被写体距離情報の精度向上には基線長を大きくすることが重要であるが、特許文献2には基線長に関する距離情報の精度向上についての記述は無い。また、連続的ズーム機能の高倍化と撮影可能な被写体空間範囲における距離情報取得精度の向上とを両立させることに関する記述も無い。 Furthermore, regarding acquisition of subject distance information, which is one of the peripheral space information, as described later, it is important to increase the base length in order to improve the accuracy of subject distance information in a compound eye imaging apparatus. There is no description about improving the accuracy of the distance information regarding the baseline length. In addition, there is no description relating to achieving both higher magnification of the continuous zoom function and improvement of distance information acquisition accuracy in a subject space range that can be photographed.
そこで、本発明の目的は、薄型、高変倍比でありながら、撮影する被写体空間についての周辺空間情報の取得に有利な複眼撮像装置を提供することである。 SUMMARY OF THE INVENTION An object of the present invention is to provide a compound eye imaging apparatus that is advantageous in acquiring peripheral space information about a subject space to be photographed while being thin and having a high zoom ratio.
本発明の一側面としての複眼撮像装置は、複数の光学系を備えた複眼撮像装置において、前記複数の光学系は、前記複数の光学系のうち最も広い第1の画角を有する第1の光学系および第2の光学系と、前記第1の画角よりも狭い第2の画角を有する第3の光学系と、前記第2の画角よりも狭い第3の画角を有する第4の光学系を含み、前記第1の光学系に対応する第1の撮像領域と、前記第2の光学系に対応する第2の撮像領域と、前記第3の光学系に対応する第3の撮像領域と、前記第4の光学系に対応する第4の撮像領域を有する撮像素子と、前記第1の撮像領域から得られる第1の画像と、前記第2の撮像領域から得られる第2の画像に基づいて、前記第1の画像および前記第2の画像の画像内の被写体距離情報を算出する算出手段と、前記第1の画像と、前記第3の撮像領域から得られる第3の画像に基づいて、前記第1の画角と前記第2の画角の間にある画角の画像を復元し、前記第3の画像と、前記第4の撮像領域から得られる第4の画像に基づいて、前記第2の画角と前記第3の画角の間にある画角の画像を復元する画像復元手段を備え、前記複数の光学系は、前記第1の光学系と前記第2の光学系の基線長が最も大きくなるように配置されていることを特徴とする。 The compound eye imaging device according to one aspect of the present invention is a compound eye imaging device including a plurality of optical systems, wherein the plurality of optical systems have a first widest angle of view among the plurality of optical systems. An optical system, a second optical system, a third optical system having a second field angle narrower than the first field angle, and a third field angle narrower than the second field angle. A first imaging area corresponding to the first optical system, a second imaging area corresponding to the second optical system, and a third corresponding to the third optical system. An imaging element having a fourth imaging area corresponding to the fourth optical system, a first image obtained from the first imaging area, and a second image obtained from the second imaging area. based on the second images, calculating means for calculating the object distance information in the image of the first image and the second image And the first image, the third on the basis of the third image obtained from the imaging area of, and restore the image of the view angle that is between the second angle and the first angle of view, Image restoration for restoring an image having an angle of view between the second angle of view and the third angle of view based on the third image and the fourth image obtained from the fourth imaging region. And the plurality of optical systems are arranged so that the baseline lengths of the first optical system and the second optical system are maximized.
本発明によれば、薄型、高変倍比でありながら、撮影する被写体空間についての周辺空間情報の取得に有利な複眼撮像装置を提供することができる。 According to the present invention, it is possible to provide a compound eye imaging device that is advantageous in acquiring peripheral space information about a subject space to be photographed while being thin and having a high zoom ratio.
本発明の主な視点は、複眼撮像装置において、薄型、高変倍比でありながら、撮影する被写体空間についての高度な周辺空間情報を容易に取得するための課題を改善したことにある。 The main viewpoint of the present invention is to improve the problem of easily acquiring advanced peripheral space information about a subject space to be photographed while being thin and having a high zoom ratio in a compound-eye imaging device.
ここではまず、複眼撮像装置における連続的ズーム機能を実現するための手法について説明する。撮像装置で撮影された画像に対して撮影画像内の一部をトリミングし、このトリミングした範囲を所定のサイズに拡大することによって擬似的にズーミングしたのと同一の効果を得ることのできる(以下デジタルズーム)手法が知られている。従来、デジタルズームと光学ズームとを組み合わせることで、より高変倍比を実現することが知られている。例えばこの手法を応用することで、複眼撮像装置において異なる画角を有する結像光学系を備えさせ、該異なる画角間を上記のデジタルズーム技術により補間することで擬似的にズーミングしたのと同一の効果を得ることができる。しかしながら、従来のデジタルズーム手法では、線形補間(バイリニア法)を用いているためデジタルズーム領域の画像が劣化してしまう場合がある。バイリニア法は、サンプリング定理に基づいたsinc関数による補間を基本概念とした方法である。バイリニア法は、演算上の負荷を軽減するためにsinc関数を近似した補間関数を原画像のサンプル点に対して畳み込むことで、サンプル点の間を補間し、画素数を増減するものである。また、平滑化効果があるためジャギーが目立ちにくいという利点もあるが、その平滑化効果により例えば補間時の仮定条件に当てはまらないエッジ部分を中心に、スムージングされた画像となり画像が全体的にボケた感じとなってしまう。さらに、デジタルズーム倍率が大きくなると、画像の画質(解像度)が低下するという問題が知られている。このデジタルズーム手法に伴う解像度の低下を改善し、高解像度を保ったズーミング画像データを作成したいという要求が存在する。その要求に答えるデジタルズーム処理による解像度劣化を打ち消すための技術として、従来より超解像技術の方式が様々提案されている。この超解像技術の方式として、例えば、ML(Maximum-Likelihood)法、MAP(Maximum A Posterior)法、POCS(Projection Onto Convex Set)法がある。また、IBP(Iterative Back Projection)法、LR(Lucy-Richardson)法などもある。例えば、LR法では、原画像における照度の分布、劣化画像における照度の分布に関して、その分布を正規化して、確率密度関数の分布として捉える。上記のように考えると、光学系の伝達特性である点像強度分布関数(PSF)は、条件付確立の確率密度関数の分布として捉えることができる。劣化画像の分布とPSFの分布のそれぞれを用いて、ベイズ統計に基づき、最尤推定を用いた反復計算によって原画像の分布を推定する。 Here, a method for realizing a continuous zoom function in a compound eye imaging apparatus will be described first. By trimming a part of the photographed image with respect to the image photographed by the image pickup device and expanding the trimmed range to a predetermined size, the same effect as that obtained by pseudo zooming can be obtained (hereinafter referred to as “zoom”). Digital zoom) method is known. Conventionally, it has been known to realize a higher zoom ratio by combining digital zoom and optical zoom. For example, by applying this technique, the compound eye imaging apparatus is provided with an imaging optical system having different angles of view, and the same effect as that obtained by performing pseudo zooming by interpolating between the different angles of view using the digital zoom technique described above. Can be obtained. However, since the conventional digital zoom method uses linear interpolation (bilinear method), an image in the digital zoom region may be deteriorated. The bilinear method is based on interpolation based on a sinc function based on the sampling theorem. In the bilinear method, an interpolation function approximating a sinc function is convoluted with sample points of an original image in order to reduce computational load, thereby interpolating between sample points and increasing or decreasing the number of pixels. In addition, there is an advantage that jaggies are not conspicuous due to the smoothing effect, but the smoothing effect results in a smoothed image centering on the edge portion that does not meet the assumptions at the time of interpolation, for example, and the image is totally blurred It becomes feeling. Furthermore, there is a known problem that the image quality (resolution) of an image decreases as the digital zoom magnification increases. There is a need to improve the reduction in resolution associated with this digital zoom technique and create zooming image data that maintains high resolution. Various techniques for super-resolution techniques have been proposed in the past as techniques for canceling resolution degradation due to digital zoom processing in response to such requirements. Examples of the super-resolution technique include an ML (Maximum-Likelihood) method, a MAP (Maximum A Posterior) method, and a POCS (Projection Onto Convex Set) method. Further, there are an IBP (Iterative Back Projection) method, an LR (Lucy-Richardson) method, and the like. For example, in the LR method, the distribution of illuminance in an original image and the distribution of illuminance in a degraded image are normalized and regarded as a probability density function distribution. Considering the above, the point spread function (PSF), which is the transfer characteristic of the optical system, can be regarded as a distribution of a probability density function that is conditionally established. The distribution of the original image is estimated by iterative calculation using maximum likelihood estimation based on the Bayesian statistics using each of the distribution of the degraded image and the distribution of the PSF.
次に、ベイズ統計に基づく画像の復元方法について説明する。以下では、説明の簡易化のためモノクロ1次元画像の場合について説明する。ここでは、被写体を原画像、撮像装置で撮像された画像又はその画像を電気的に拡大した画像を劣化画像、画像の復元方法により劣化画像を用いて原画像に近い形に復元することを超解像技術と呼び、復元された画像を高解像度画像(回復画像)と呼ぶ。 Next, an image restoration method based on Bayesian statistics will be described. Hereinafter, a case of a monochrome one-dimensional image will be described for simplification of description. Here, the original image of the subject, the image captured by the imaging device, or an image obtained by electrically enlarging the image is deteriorated, and the image restoration method is used to restore the image close to the original image using the deteriorated image. This is called a resolution technique, and the restored image is called a high-resolution image (recovered image).
1次元ベクトルで表現される劣化画像をg(x)、該劣化画像に対する1次元ベクトルで表現される原画像をf(x)とすると、該2つの画像は次の式のような関係を満たす。 Assuming that a degraded image represented by a one-dimensional vector is g (x) and an original image represented by a one-dimensional vector for the degraded image is f (x), the two images satisfy the relationship represented by the following equation: .
g(x)=h(x)*f(x) ・・・(1)
ここでh(x)は光学系の伝達特性であるPSFである。
g (x) = h (x) * f (x) (1)
Here, h (x) is PSF which is a transfer characteristic of the optical system.
一方、ベイズ統計とは、f(x)を原画像、g(x)を劣化画像としたとき、原画像が劣化画像に変換される順過程からベイズの公式を用いて逆過程に対する確立、すなわち事後確立を構成し、これを基に劣化画像から原画像を推定するものである。ここで、P(f(x))を原画像fが存在する事象の確立密度関数、P(g(x))を劣化画像gが生じる事象の確立密度関数、P(g(x)|f(x))を原画像fが与えられた時の劣化画像gの条件付確立密度関数とすると、 On the other hand, with Bayesian statistics, when f (x) is an original image and g (x) is a degraded image, the reverse process is established using the Bayes formula from the forward process in which the original image is converted to the degraded image, that is, This constitutes post-establishment, and based on this, the original image is estimated from the degraded image. Here, P (f (x)) is the probability density function of the event in which the original image f exists, P (g (x)) is the probability density function of the event in which the degraded image g occurs, and P (g (x) | f If (x)) is a conditional probability density function of the deteriorated image g when the original image f is given,
がベイズの公式と呼ばれる関係式である。ここで、P(f(x)|g(x))は劣化画像gが与えられたという条件の下での原画像fについての条件付確率密度分布であり、事後確立密度関数とよばれる。 Is a relational expression called Bayes formula. Here, P (f (x) | g (x)) is a conditional probability density distribution for the original image f under the condition that the deteriorated image g is given, and is called a posterior probability density function.
ここで、上記のベイズ統計に基づくベイズの公式がf、gについて成り立つ時、f、gが正規化されたものであると考えf、gを確立密度関数として取り扱える場合を考える。原画像のある座標x1に点光源が存在する事象がf(x1)、劣化画像のある座標x2に像が結像する事象をg(x2)とすると、
P(f(x1))=f(x1) ・・・(3)
P(g(x2))=g(x2) ・・・(4)
と表すことが出来る。
Here, when the Bayesian formula based on the above Bayesian statistics holds for f and g, it is assumed that f and g are normalized, and f and g can be treated as a probability density function. When an event in which a point light source exists at a coordinate x 1 in the original image is f (x 1 ), and an event in which an image is formed at a coordinate x 2 in the degraded image is g (x 2 ),
P (f (x 1 )) = f (x 1 ) (3)
P (g (x 2 )) = g (x 2 ) (4)
Can be expressed as
さらに、P(g(x2)|f(x1))は光学系のPSFであるhを用いて、
P(g(x2)|f(x1))=h(x2−x1) ・・・(5)
と表すことが出来る。
Furthermore, P (g (x 2 ) | f (x 1 )) is h using the PSF of the optical system,
P (g (x 2 ) | f (x 1 )) = h (x 2 −x 1 ) (5)
Can be expressed as
つまり、劣化画像内のある座標x2に像を結像させる原画像の分布は式2,3,4,5より In other words, the distribution of the original image that forms an image at a certain coordinate x 2 in the deteriorated image is expressed by equations 2, 3, 4, and 5.
から推定することが可能である。 It can be estimated from
ここでさらに周辺確立の定義から、 From the definition of surrounding establishment here,
が成り立つ。 Holds.
つまり、式6はさらに In other words, Equation 6 further
と表すことが出来る。ここで、両辺にP(g(x2))=g(x2)をかけて積分すると、式8の左辺は周辺確立の定義から、 Can be expressed as Here, when integrating with P (g (x 2 )) = g (x 2 ) on both sides, the left side of Equation 8 is
また、式8の右辺は、 Also, the right side of Equation 8 is
となる。 It becomes.
上記の関係は、f(x)が真の原画像である場合に成り立つ。つまり、上記のf(x)を算出することが劣化画像の復元に相当するものである。 The above relationship holds when f (x) is a true original image. That is, calculating the above f (x) corresponds to restoration of a deteriorated image.
ここで、式9のf(x)をfk+1(x)、式10のf(x)をfk(x)として、 Here, f (x) in Equation 9 is f k + 1 (x), and f (x) in Equation 10 is f k (x).
上記の式11が得られる。 Equation 11 above is obtained.
上記の式11に関する反復計算を行うことで、fkの収束値すなわち原画像の分布を得ることが出来る。 By performing the iterative calculation related to Equation 11 above, the convergence value of f k , that is, the distribution of the original image can be obtained.
上述したベイズ統計に基づく復元方法を用いることで、劣化画像と光学系の伝達特性が既知であれば、未知である原画像を復元できることがわかる。また、上記と同様の原理により、劣化画像とそれに対する原画像が既知であれば光学系の伝達特性を復元することが可能となる。また、上記は光学系の伝達特性としてPSFを考えていたが、フーリエ変換を用いることで、正確な位相特性まで考慮したOTFとして復元することも可能である。 By using the restoration method based on the Bayesian statistics described above, it is understood that an unknown original image can be restored if the transfer characteristics of the degraded image and the optical system are known. Further, based on the same principle as described above, it is possible to restore the transfer characteristics of the optical system if the deteriorated image and the original image corresponding thereto are known. In the above description, PSF is considered as the transfer characteristic of the optical system. However, by using Fourier transform, it is possible to restore the OTF taking into account the accurate phase characteristic.
また別の手法として、MAP法を用いた場合、下記に示すような事後確立密度を最大とするf(x)を求める手法がとられる。 As another method, when the MAP method is used, a method for obtaining f (x) that maximizes the a posteriori density as shown below is used.
ここで、劣化画像にはガウスノイズnが付加されると考え、さらに上記の光学系のPSFとして与えたh(x)を線形作用するm×mのコンボリューション行列Cとすると、該劣化画像と原画像の2つの画像は下記のようにも表すことが出来る。
g(x)=C×f(x)+n・・・(13)
ここで、新たに与えた行列CはPSFのみではなく、撮像システムに起因する劣化要因を含むものであってもかまわない。
Here, when it is assumed that Gaussian noise n is added to the degraded image, and h (x) given as the PSF of the optical system is an m × m convolution matrix C that linearly acts, the degraded image and The two images of the original image can also be expressed as follows:
g (x) = C × f (x) + n (13)
Here, the newly given matrix C may include not only the PSF but also a deterioration factor caused by the imaging system.
以上の仮定を踏まえた場合、式12で事後確立密度が最大となるf(x)は式12の比例式から下記評価関数が最小となるf(x)を求めることになる。
T(f)=‖g(x)−C×f(x)‖2+αZ(f)・・・(14)
ここでZ(f)は画像の滑らかさや付加条件からの拘束項などを含む拘束関数、αは重み係数である。上記評価関数の最小化には、従来の最急降下法などを用いることができる。
In consideration of the above assumptions, f (x) at which the posterior probability density is maximum in Expression 12 is obtained from the proportional expression of Expression 12 as f (x) at which the following evaluation function is minimum.
T (f) = ‖g (x) −C × f (x) ‖ 2 + αZ (f) (14)
Here, Z (f) is a constraint function including a constraint term from the smoothness of the image and additional conditions, and α is a weighting factor. A conventional steepest descent method or the like can be used to minimize the evaluation function.
上記の式14を最小とするf(x)を算出することが劣化画像の復元に相当するものである。 Calculation of f (x) that minimizes the above expression 14 corresponds to restoration of a deteriorated image.
上記で説明した式11と14の推定式、評価関数から劣化画像の復元には、初期推定分布fを設定する必要があり、初期の推定分布は回復画像と撮像倍率の一致する劣化画像であるgが用いられることが一般的である。また、PSF又はOTFなどの光学系の伝達特性と付加条件や拘束条件などから得られる拘束項が重要であることが理解される。しかしながら、光学系の伝達特性はレンズの収差や照明波長、撮像素子開口等のパラメータに依存し、正確に評価することは一般的に困難である。そのため、初期条件のPSFとしてガウス分布等が簡易的に用いられるが、実際の撮像系においてPSFがガウス分布と一致することは稀であり、ほとんどの場合推定誤差の増加要因となる。また、上述の原理により劣化画像からPSFまで推定することが考えられるが、劣化画像では多くの情報が欠如しているため正確なPSFを推定することも困難である。そのため、超解像技術に新たな強い拘束条件を付加することで超解像技術の精度向上を達成することを考える。本発明における上記の強い拘束条件として、復元したい劣化画像とは撮像倍率の異なる高解像度の画像を付加条件とすることとする。撮像倍率の異なる画像とは、図8に示すように、被写体120aを撮影した画像のうち一部領域の画像120bを復元したい拡大劣化画像とする。そうしたとき、同一被写体に対して画角を異ならせて被写体120a内の破線内部を拡大して撮影された画像120cのような関係を有する画像を指すこととする。上述したように撮像倍率の異なる高解像度画像を用いることで、劣化画像内の一部の領域における詳細な情報を取得することが可能となる。そのため、例えば主要被写体の存在する劣化画像中央領域のPSFを高解像度画像をもとに、より正確に推定し、式11の反復計算により、従来手法と比べてより高精度な復元が可能となる。また、劣化画像一部領域の詳細が事前に取得されるため、式14の拘束関数に高解像度画像と該劣化画像一部領域の相関を評価値とした相関関数を追加することでより高精度な復元が可能となる。また、上記の原理から、劣化画像内のできるだけ広い範囲についての詳細情報を取得することがより高精度な復元を可能とすることは明確である。つまり、複眼撮像装置において連続的ズーム機能を実現するためには、複数の画角の異なる結像光学系を備えることが重要である。 In order to restore a deteriorated image from the estimation equations and evaluation functions of Equations 11 and 14 described above, it is necessary to set the initial estimated distribution f, and the initial estimated distribution is a deteriorated image having the same imaging magnification as the recovered image. It is common to use g. In addition, it is understood that the constraint term obtained from the transfer characteristic of the optical system such as PSF or OTF and the additional condition or constraint condition is important. However, the transfer characteristics of the optical system depend on parameters such as lens aberration, illumination wavelength, and image sensor aperture, and it is generally difficult to evaluate accurately. For this reason, a Gaussian distribution or the like is simply used as the PSF of the initial condition. However, in an actual imaging system, it is rare that the PSF matches the Gaussian distribution, and in most cases it causes an increase in estimation error. In addition, although it is conceivable to estimate from the degraded image to the PSF based on the above-described principle, it is difficult to estimate an accurate PSF because the degraded image lacks much information. Therefore, it is considered to improve the accuracy of the super-resolution technique by adding a new strong constraint condition to the super-resolution technique. As the above strong constraint condition in the present invention, a high resolution image having a different imaging magnification from the deteriorated image to be restored is set as an additional condition. As shown in FIG. 8, an image with a different imaging magnification is an enlarged deteriorated image in which an image 120b of a partial region of an image obtained by photographing the subject 120a is desired to be restored. In such a case, an image having a relationship such as an image 120c photographed by enlarging the inside of a broken line in the subject 120a with different angles of view with respect to the same subject. As described above, by using high-resolution images with different imaging magnifications, it is possible to acquire detailed information in a partial area in the degraded image. Therefore, for example, the PSF in the central area of the deteriorated image where the main subject exists is estimated more accurately based on the high-resolution image, and iterative calculation of Expression 11 enables more accurate restoration than in the conventional method. . Further, since details of the degraded image partial region are acquired in advance, the correlation function using the correlation between the high-resolution image and the degraded image partial region as an evaluation value is added to the constraint function of Equation 14 for higher accuracy. Recovery is possible. In addition, from the above principle, it is clear that acquiring detailed information about as wide a range as possible in the degraded image enables more accurate restoration. In other words, in order to realize a continuous zoom function in a compound-eye imaging device, it is important to provide a plurality of imaging optical systems having different angles of view.
次に、複眼撮像装置における被写体距離算出の原理について説明する。図9は従来の複眼撮影方式のモデルを説明する図である。座標は左右カメラの中心を原点として、水平方向にx軸、奥行き方向にy軸とする。高さ方向は簡略化のために省略する。左右カメラの結像光学系の主点がそれぞれ(−Wc,0)、(Wc,0)に配置されているとする。ここで左右カメラの結像光学系焦点距離はfとする。この状態でy軸上(0、y1)にある被写体Aを夫々のカメラで撮影すると、左右カメラのセンサー中心から被写体A像のズレ量を撮影視差として、それぞれPlc,Prcとすると下記式で表すことが出来る。 Next, the principle of subject distance calculation in the compound eye imaging apparatus will be described. FIG. 9 is a diagram for explaining a conventional compound eye photography model. The coordinates are the center of the left and right cameras, the x axis in the horizontal direction, and the y axis in the depth direction. The height direction is omitted for simplification. Assume that the principal points of the imaging optical systems of the left and right cameras are arranged at (−Wc, 0) and (Wc, 0), respectively. Here, the focal length of the imaging optical system of the left and right cameras is assumed to be f. In this state, when the subject A on the y-axis (0, y1) is photographed by the respective cameras, the deviation amount of the subject A image from the sensor center of the left and right cameras is taken as the photographing parallax, and is expressed by the following equations as Plc and Prc, respectively. I can do it.
以上の原理により同一被写体を異なる視点から撮影することで、夫々主点位置ズレ(基線)方向に上記式(15)(16)で示すズレ量を持つ左右視差画像を取得することができる。このズレ量から被写体Aまでの距離y1は、下記式で算出することができる。 By photographing the same subject from different viewpoints based on the above principle, it is possible to acquire right and left parallax images each having a shift amount represented by the above formulas (15) and (16) in the principal point position shift (baseline) direction. The distance y1 from the deviation amount to the subject A can be calculated by the following equation.
ここで、実際には上記撮影視差量Plc,Prcは撮像系の画素サイズの分解能で取得されるため、撮影視差量が画素サイズに近くなると被写体距離算出における誤差が増大することが理解できる。つまり、複眼撮像装置における被写体距離算出の精度を向上させるためには撮影視差量が出来るだけ大きくなるように構成することが重要である。 Here, since the shooting parallax amounts Plc and Prc are actually acquired with the resolution of the pixel size of the imaging system, it can be understood that the error in the subject distance calculation increases as the shooting parallax amount approaches the pixel size. That is, in order to improve the accuracy of subject distance calculation in the compound-eye imaging device, it is important to configure the shooting parallax amount to be as large as possible.
そこで本発明では、少なくとも3つの異なる画角を有する光学系を備え、そのうち最も広い画角を有する光学系対が最大の基線長を有するよう配置した撮像装置を新規に提案する。 In view of this, the present invention proposes a new imaging apparatus that includes an optical system having at least three different angles of view, and in which an optical system pair having the widest angle of view has the maximum baseline length.
以下に本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
以下、図面を参照して、本発明の第1の実施形態による、複眼撮像装置について説明する。 A compound eye imaging device according to a first embodiment of the present invention will be described below with reference to the drawings.
図1は第1の実施例の複眼撮像装置1の構成図である。結像光学系101a、101b、101c、101dは複眼を構成する結像光学系(複眼光学系)である。図1に示されるように、撮像素子102は、撮像領域102a、102b、102c、102dを有する。撮像領域102a〜dは、結像光学系101a〜dにそれぞれ対応する領域である。撮像領域102a〜dは、それぞれ結像光学系101a〜dを介して素子面上に到達した光学像を電気信号に変換する。また、A/D変換器103は撮像素子102のアナログ信号出力をデジタル信号に変換して画像処理部104に供給する。画像処理部104は、A/D変換器103からの各画像データに対して所定の画素補間処理や色変換処理等を行う。また、画像処理部104(画像復元手段)は、後述するように劣化画像を復元する画像復元処理も行う。また、画像処理部104においては、撮像した各画像データを用いて所定の演算処理が行われる。得られた演算結果はシステムコントローラー108に供給される。情報入力部106は使用者が所望の撮影条件を選択して入力する情報を検知してシステムコントローラー108にデータを供給する。システムコントローラー108は供給されたデータに基づき撮像駆動制御部107を制御し、必要な画像を取得する。 FIG. 1 is a configuration diagram of a compound eye imaging apparatus 1 of the first embodiment. The imaging optical systems 101a, 101b, 101c, and 101d are imaging optical systems (compound eye optical systems) constituting a compound eye. As shown in FIG. 1, the image sensor 102 has image areas 102 a, 102 b, 102 c, and 102 d. The imaging regions 102a to 102d are regions corresponding to the imaging optical systems 101a to 101d, respectively. The imaging regions 102a to 102d convert optical images that have reached the element surface via the imaging optical systems 101a to 101d, respectively, into electrical signals. The A / D converter 103 converts the analog signal output from the image sensor 102 into a digital signal and supplies the digital signal to the image processing unit 104. The image processing unit 104 performs predetermined pixel interpolation processing, color conversion processing, and the like on each image data from the A / D converter 103. Further, the image processing unit 104 (image restoration unit) also performs image restoration processing for restoring a deteriorated image as will be described later. In the image processing unit 104, a predetermined calculation process is performed using each captured image data. The obtained calculation result is supplied to the system controller 108. The information input unit 106 detects information input by the user by selecting a desired shooting condition and supplies data to the system controller 108. The system controller 108 controls the imaging drive control unit 107 based on the supplied data, and acquires a necessary image.
画像記録媒体105は撮影した複数画像の静止画や動画を格納する他、画像ファイルを構成する場合のファイルヘッダを格納するための記録部である。表示部200は例えば液晶表示素子で構成された表示装置からなる。基準画像選択部110は各結像光学系101a、101b、101c、101dによって結像された複数の視差画像から基準画像を選択し、対応点抽出部111は視差画像内の対応する画素を抽出する。また、視差量算出部112は上記で抽出された全ての対応点の視差量を夫々算出し、距離情報算出部113(算出手段)はその算出された視差量から画像内の被写体距離情報を算出する。 The image recording medium 105 is a recording unit for storing a plurality of captured still images and moving images, as well as storing a file header when configuring an image file. The display unit 200 is composed of a display device composed of, for example, a liquid crystal display element. The reference image selection unit 110 selects a reference image from a plurality of parallax images imaged by the imaging optical systems 101a, 101b, 101c, and 101d, and the corresponding point extraction unit 111 extracts corresponding pixels in the parallax image. . Also, the parallax amount calculation unit 112 calculates the parallax amounts of all the corresponding points extracted above, and the distance information calculation unit 113 (calculation unit) calculates subject distance information in the image from the calculated parallax amount. To do.
図1に示されるように、複眼撮像装置1は4つの結像光学系101a、101b、101c、101dを備えている。4つの結像光学系101a〜dはそれぞれの光軸がほぼ平行になるように配置される。ここで、ほぼ平行とは、完全に平行な場合と、許容誤差の範囲内で完全に平行な場合からずれている場合とを含む意味である。以下の実施例においても同様である。また、4つの結像光学系101a〜dは、各光学系の光軸間を結ぶ基線が交差(直交)するように配置されている。さらに対角方向の対角頂点位置に配置された結像光学系101a、101d(第1の光学系、第2の光学系)は4つの結像光学系の中で最も広い撮影画角(第1の画角)4θを有する広角結像光学系対として構成される。さらに、結像光学系101b(第3の光学系)は結像光学系101a,101dに比べて撮影画角が半分の(第1の画角よりも狭い第2の画角)2θとなるように構成されている。さらに、結像光学系101c(第4の光学系)は結像光学系101bに比べて撮影画角が半分の(第2の画角よりも狭い第3の画角)θとなるように構成されている。簡単な説明のため、図2に上記の結像光学系配置で撮像した場合の夫々の結像光学系101a〜dに対応する撮像イメージ10a,10b,10c,10dを示す。なお、撮像イメージ10aは、撮像素子102の撮像領域102a(第1の光学系に対応する第1の撮像領域)から得られた第1の画像である。撮像イメージ10dは、撮像素子102の撮像領域102d(第2の光学系に対応する第2の撮像領域)から得られた第2の画像である。撮像イメージ10bは、撮像素子102の撮像領域102b(第3の光学系に対応する第3の撮像領域)から得られた第3の画像である。撮像イメージ10cは、撮像素子102の撮像領域102c(第4の光学系に対応する第4の撮像領域)から得られた第4の画像である。図2に示されたように結像光学系101a、101dに対応する撮像イメージ10a,10dが最も広い被写体空間を撮像しており、101b、101cに対応する撮像イメージ10b,10cは画角に応じて撮像される被写体空間が狭くなっている。 As shown in FIG. 1, the compound eye imaging apparatus 1 includes four imaging optical systems 101a, 101b, 101c, and 101d. The four imaging optical systems 101a to 101d are arranged so that their optical axes are substantially parallel. Here, “substantially parallel” means that the case is completely parallel and the case where it is deviated from the case of being completely parallel within the allowable error range. The same applies to the following embodiments. The four imaging optical systems 101a to 101d are arranged so that the base lines connecting the optical axes of the optical systems intersect (orthogonal). Further, the imaging optical systems 101a and 101d (first optical system and second optical system) arranged at diagonal vertex positions in the diagonal direction have the widest shooting angle of view (first optical system among the four imaging optical systems). 1 angle of view) and a wide-angle imaging optical system pair having 4θ. Further, the imaging optical system 101b (third optical system) has a photographic field angle half that of the imaging optical systems 101a and 101d (second field angle narrower than the first field angle) 2θ. It is configured. Further, the imaging optical system 101c (fourth optical system) is configured so that the shooting field angle is half that of the imaging optical system 101b (third field angle narrower than the second field angle) θ. Has been. For simple explanation, FIG. 2 shows captured images 10a, 10b, 10c, and 10d corresponding to the respective imaging optical systems 101a to 101d when the imaging optical system arrangement is used. Note that the captured image 10a is a first image obtained from the imaging region 102a (the first imaging region corresponding to the first optical system) of the imaging element 102. The captured image 10d is a second image obtained from the imaging region 102d (second imaging region corresponding to the second optical system) of the imaging element 102. The captured image 10b is a third image obtained from the imaging area 102b (third imaging area corresponding to the third optical system) of the imaging element 102. The captured image 10c is a fourth image obtained from the imaging region 102c (fourth imaging region corresponding to the fourth optical system) of the imaging element 102. As shown in FIG. 2, the captured images 10a and 10d corresponding to the imaging optical systems 101a and 101d capture the widest subject space, and the captured images 10b and 10c corresponding to 101b and 101c correspond to the angle of view. The subject space to be imaged is narrow.
以下、この複眼撮像装置において連続的なズーム機能を実現させる撮影動作の詳細について、図3のフローチャートを用いて説明する。まず始めに、S301にて、使用者からの撮影信号が入力されると、最も広い被写体空間を撮像した広角画像(第1の画像)と該広角画像より狭い被写体空間を撮像した望遠画像(第3の画像)とを同時に取得する。ここでは、例示的に、広角画像10a(第1の画像)と望遠画像10b(第3の画像)を同時に取得する。第1、第3の画像10a、10bは光学性能が保証された広角、望遠での撮影画像であるため、十分高解像度の画像となっている。なお、第1の画像10aは、第3の画像10bの少なくとも一部(好ましくは全部)を含んでいる。 Hereinafter, the details of the photographing operation for realizing the continuous zoom function in this compound eye imaging apparatus will be described with reference to the flowchart of FIG. First, in S301, when a photographing signal is input from the user, a wide-angle image (first image) obtained by imaging the widest subject space and a telephoto image (first image obtained by imaging a subject space narrower than the wide-angle image). 3 images) at the same time. Here, for example, the wide-angle image 10a (first image) and the telephoto image 10b (third image) are acquired simultaneously. The first and third images 10a and 10b are wide-angle and telephoto images with guaranteed optical performance, and are sufficiently high-resolution images. The first image 10a includes at least a part (preferably all) of the third image 10b.
次に、S302にて、第1の画像から使用者が所望する任意の画角を切り出して拡大する。ここで、拡大された画像(拡大画像)は従来のデジタルズーム技術である線形補間を用いて拡大するため劣化画像となる。なお、この劣化画像(拡大画像)は、本実施例では、第1の画角と第2の画角の間にある画角の画像である。換言すれば、劣化画像は、第3の画像10bの少なくとも一部(好ましくは全部)を含んでいる。次に、S303にて、劣化画像の分布gを特定する。次に、S304にて、劣化画像内での第3の画像である参照画像10bとの被写体同一領域を特定する。被写体同一領域の特定に関しては、後述するブロックマッチング法などを用いればよい。また、被写体同一領域の特定に関しては、第3の画像である参照画像10bを、劣化画像と同サイズまで縮小してもよいし、劣化画像を拡大して比較してもよい。 Next, in S302, an arbitrary angle of view desired by the user is cut out from the first image and enlarged. Here, the enlarged image (enlarged image) becomes a deteriorated image because it is enlarged using linear interpolation which is a conventional digital zoom technique. Note that this deteriorated image (enlarged image) is an image having an angle of view that is between the first angle of view and the second angle of view in this embodiment. In other words, the deteriorated image includes at least a part (preferably all) of the third image 10b. Next, in S303, the distribution g of the deteriorated image is specified. Next, in S304, the same subject area as the reference image 10b which is the third image in the deteriorated image is specified. For specifying the same area of the subject, a block matching method described later may be used. For specifying the same subject area, the reference image 10b as the third image may be reduced to the same size as the deteriorated image, or the deteriorated image may be enlarged and compared.
次に上述した超解像原理に基づいて、超解像処理を行う。ここでは、S305にて、式14で示した評価関数T(f)を作成する。本実施例においては、評価関数T(f)内のZ(f)の項に上述した劣化画像と参照画像10bの同一被写体領域の相関が高い場合に値が小さくなる相関関数を追加することで、従来と比較してより高精度な画像復元を可能とする。また、劣化画像と参照画像10bは同一被写体を撮影したものであり、それぞれの撮像倍率をβ1、β2としたとき、
β1<β2
の関係を満たしている。この様な関係となる参照画像は、被写体のより高周波成分まで取得することができているため、高周波成分まで高精度に画像復元することが可能となっている。
Next, super-resolution processing is performed based on the above-described super-resolution principle. Here, in S305, the evaluation function T (f) shown in Expression 14 is created. In the present embodiment, by adding a correlation function that decreases in value when the correlation between the deteriorated image and the same subject area of the reference image 10b is high in the term Z (f) in the evaluation function T (f). Therefore, it is possible to restore an image with higher accuracy than in the past. Further, the deteriorated image and the reference image 10b are images of the same subject, and when the respective imaging magnifications are β1 and β2,
β1 <β2
Meet the relationship. Since the reference image having such a relationship can acquire even a higher frequency component of the subject, it is possible to restore the image to the higher frequency component with high accuracy.
次に、S306にて、評価関数が最小となる推定分布fを最急降下法などを用いて算出する。 Next, in S306, the estimated distribution f that minimizes the evaluation function is calculated using the steepest descent method or the like.
次に、S307にて、算出した推定分布fとなる画像を回復画像として保存して本フローを完了とする。 Next, in S307, the image having the calculated estimated distribution f is stored as a restored image, and this flow is completed.
また、表示部200には、画像処理後(画像回復後)の画像に表示用の所定の処理を行った画像を表示しても良いし、画像処理を行わない、又は簡易的な補正処理を行った画像を表示しても良い。また、撮影中の表示についても第1の画像をそのまま表示しておいて撮影後に使用者が所望の画角を指定して上述した処理を開始してもよいし、撮影中に所望の画角を指定しておいてもよい。また、補正量に関しては、実施に当たっての許容量をいかに設定するかによって決定されるものであるので、得ようとする画質レベルの目的や処理の負荷量に応じて決定すればよい。 The display unit 200 may display an image that has been subjected to predetermined display processing on the image after image processing (after image recovery), or may not perform image processing or perform simple correction processing. The performed image may be displayed. In addition, regarding the display during shooting, the first image may be displayed as it is, and after the shooting, the user may specify the desired angle of view and start the above-described processing, or the desired angle of view during shooting. May be specified. Further, the correction amount is determined by how to set an allowable amount for implementation, and may be determined according to the purpose of the image quality level to be obtained and the processing load amount.
同様に第1の画像と第3の画像として、望遠画像10bとさらなる望遠画像10cを用いることでさらに高倍領域に対する連続ズームを実現することが可能である。また、このように本実施例では、連続する異なる画角を有する結像光学系において、広角側の画角と望遠側の画角比が2となるように構成されているが、これは説明を簡単にするための一例である。望ましくは、複数の結像光学系を構成する任意の結像光学系の画角をW、該任意の結像光学系の次に狭い画角を有する結像光学系の画角をWnとするとき、下記の条件式(18)を満足することが望ましい。
1.1<W/Wn<3 …(18)
条件式(18)の下限を下回ると、撮像装置の高変倍比を達成するために非常に多くの結像光学系が必要となるため装置が大型化してしまう。また、条件式(18)の上限を上回ると、上記超解像技術を用いても高精度に画像復元することが困難となってしまうため、ズーム後の画質が劣化してしまう。
Similarly, by using the telephoto image 10b and the further telephoto image 10c as the first image and the third image, it is possible to realize continuous zoom for a higher magnification region. As described above, in this embodiment, in the imaging optical system having consecutive different angles of view, the ratio of the angle of view on the wide angle side and the angle of view on the telephoto side is set to 2, which will be described. It is an example for simplifying. Desirably, an angle of view of an arbitrary image forming optical system constituting the plurality of image forming optical systems is W, and an angle of view of an image forming optical system having the next narrowest angle of view after the arbitrary image forming optical system is Wn. When, it is desirable to satisfy the following conditional expression (18).
1.1 <W / Wn <3 (18)
If the lower limit of conditional expression (18) is not reached, a large number of imaging optical systems are required to achieve a high zoom ratio of the imaging apparatus, and the apparatus becomes large. If the upper limit of conditional expression (18) is exceeded, it will be difficult to restore the image with high accuracy even if the super-resolution technique is used, and the image quality after zooming will deteriorate.
本実施例のように、複数の異なる画角を有する複眼レンズを用いた場合には解像度を保持した連続ズームが可能となり、ズーム駆動装置などを必要としない構成を実現できるため複眼撮像装置の薄型化に貢献することができる。 As in this embodiment, when a compound eye lens having a plurality of different angles of view is used, continuous zooming with resolution is possible, and a configuration that does not require a zoom driving device or the like can be realized. Can contribute.
次に本実施例の複眼撮像装置1の被写体距離情報記録動作について、図4のフローチャートを用いて詳細に説明する。ここではまず、最も広い被写体空間を撮像する広角光学系101a、101dの結像光学系によって得られる視差画像を用いた場合の動作について説明する。まず始めに、システムコントローラー108は、使用者からの撮影信号が入力されると、S401にて、撮像装置1全体の駆動制御を開始する。つぎに、S402にて、結像光学系101a、101dを介した光学像を撮像素子102で光電変換させ、A/D変換器103を通して画像処理部104に転送させ、所定の演算処理を行って画像データ(視差画像)として取得する。 Next, the subject distance information recording operation of the compound eye imaging apparatus 1 of the present embodiment will be described in detail with reference to the flowchart of FIG. Here, first, an operation in the case of using a parallax image obtained by the imaging optical system of the wide-angle optical systems 101a and 101d that captures the widest subject space will be described. First, when an imaging signal is input from the user, the system controller 108 starts drive control of the entire imaging apparatus 1 in S401. Next, in S402, an optical image via the imaging optical systems 101a and 101d is photoelectrically converted by the image sensor 102, transferred to the image processing unit 104 through the A / D converter 103, and a predetermined calculation process is performed. Obtained as image data (parallax image).
次に、S403にて、基準画像選択部110により取得された視差画像データのうち一方を視差量算出のための基準画像として選択する。本実施例では結像光学系101aによって得られる画像を基準画像(第1の画像)として選択する。 Next, in S403, one of the parallax image data acquired by the reference image selection unit 110 is selected as a reference image for calculating the parallax amount. In this embodiment, an image obtained by the imaging optical system 101a is selected as a reference image (first image).
次に、S404にて、対応点抽出部111により、選択された基準画像に対して、結像光学系101dから得られる画像を参照画像(第2の画像)とし、対応する画素を検出する。ここで対応する画素とは、例えば上記撮影モデルでの点像被写体Aに対して得られる視差画像データ内で同一被写体Aに対応する夫々の画素である。対応点抽出手法について詳細に説明する。ここで、画像座標(X,Y)を使用する。 Next, in step S404, the corresponding point extraction unit 111 detects the corresponding pixel by using the image obtained from the imaging optical system 101d as the reference image (second image) for the selected standard image. Here, the corresponding pixel is, for example, each pixel corresponding to the same subject A in the parallax image data obtained for the point image subject A in the shooting model. The corresponding point extraction method will be described in detail. Here, the image coordinates (X, Y) are used.
画像座標(X,Y)は、図10におけるそれぞれの画素群の左上を原点として定義し、水平方向をX軸、垂直方向をY軸とする。また、基準画像データ501の画像座標(X,Y)の輝度をF1(X,Y)とし、参照画像データ502の輝度をF2(X,Y)として説明する。 The image coordinates (X, Y) are defined with the upper left corner of each pixel group in FIG. 10 as the origin, the horizontal direction being the X axis, and the vertical direction being the Y axis. Also, the luminance of the image coordinates (X, Y) of the standard image data 501 will be described as F1 (X, Y), and the luminance of the reference image data 502 will be described as F2 (X, Y).
基準画像データにおける任意の座標(X,Y)に対応する参照画像データの画素は、座標(X,Y)における基準画像データの輝度F1(X,Y)と最も類似した参照画像データの輝度を探すことで求めることができる。図10では、基準画像データにおける任意の座標(X,Y)を、図10の501内縦線画素とし、該座標(X,Y)に対応する参照画像データの画素を、図10の502内縦線画素とする。但し、一般的に、任意の画素と最も類似した画素を探すことは難しいため、画像座標(X,Y)の近傍の画素も用い、ブロックマッチングと呼ばれる手法にて類似画素を探索する。 The pixel of the reference image data corresponding to an arbitrary coordinate (X, Y) in the standard image data has the luminance of the reference image data most similar to the luminance F1 (X, Y) of the standard image data at the coordinate (X, Y). It can be obtained by searching. In FIG. 10, arbitrary coordinates (X, Y) in the standard image data are set as vertical line pixels in 501 in FIG. 10, and pixels of reference image data corresponding to the coordinates (X, Y) are in 502 in FIG. 10. Let it be a vertical line pixel. However, in general, it is difficult to search for a pixel that is most similar to an arbitrary pixel. Therefore, a pixel near the image coordinates (X, Y) is also used to search for a similar pixel by a technique called block matching.
たとえば、ブロックサイズが3である場合のブロックマッチング処理について説明する。基準画像データの任意の座標(X,Y)の画素と、その前後(X−1,Y),(X+1,Y)の2つの画素の計3画素の輝度値はそれぞれ、
F1(X,Y),F1(X−1,Y),F1(X+1,Y)
となる。
For example, a block matching process when the block size is 3 will be described. The luminance values of a total of three pixels, that is, a pixel at an arbitrary coordinate (X, Y) of the reference image data and two pixels before and after (X−1, Y) and (X + 1, Y), respectively,
F1 (X, Y), F1 (X-1, Y), F1 (X + 1, Y)
It becomes.
これに対し、座標(X,Y)からX方向にkだけずれた参照画像データの画素の輝度値はそれぞれ、
F2(X+k,Y),F2(X+k−1,Y),F2(X+k+1,Y)
となる。
On the other hand, the luminance values of the pixels of the reference image data shifted from the coordinates (X, Y) by k in the X direction are respectively
F2 (X + k, Y), F2 (X + k-1, Y), F2 (X + k + 1, Y)
It becomes.
この場合、基準画像データの座標(X,Y)の画素との類似度Eを以下の式(19)で定義する。 In this case, the similarity E with the pixel at the coordinates (X, Y) of the reference image data is defined by the following equation (19).
この式(19)において逐次kの値を変えて上記類似度Eの値を計算し、最も小さい類似度Eを与える(X+k、Y)が、基準画像データの座標(X,Y)に対する対応点である。ここでは、簡単のため水平方向に基線を有する視差画像について説明したが、同様の原理を用いて垂直方向、斜め方向に対しても対応点を検出することが可能である。 In this equation (19), the value of the similarity E is calculated by successively changing the value of k, and (X + k, Y) giving the smallest similarity E is a corresponding point with respect to the coordinates (X, Y) of the reference image data It is. Here, for the sake of simplicity, a parallax image having a base line in the horizontal direction has been described, but it is possible to detect corresponding points in the vertical direction and the diagonal direction using the same principle.
次に、S405にて、視差量算出部112により、上記で抽出された各対応点について視差量を算出する。算出手法としては、上記ブロックマッチング法で得られた基準画像データの各画素に対応する参照画像データの各画素との画素位置差分として算出する。次に、S406にて、距離情報算出部113により、上記で算出された視差量と既知の情報である結像光学系の焦点距離と結像光学系101a,101dの基線長データから式17を用いて撮影被写体に対する距離情報を算出する。ここで上記でも述べたように、被写体距離算出の精度を向上させるためには撮影視差量が出来るだけ大きくなるように構成することが重要である。また、撮影者にとっては撮影される被写体空間全域に対する距離情報が重要である。そのため、本実施例では、結像光学系のうち最も広い被写体空間を撮像する広角光学系101a、101dの基線長が最も大きくなるように対角上に配置する構成としている。また、ここでは結像光学系101a、101dを用いた場合の距離情報算出について説明したが、同様の原理によって他の結像光学系対(例えば光学系101a,101bの対)を用いても距離情報算出することが可能である。ここで、画角の異なる画像によって上記手法を用いる場合は、広い画角の画像から狭い画角の画像に対応する部分を切り出して対応点を抽出する手法がより望ましい。次に、S407にて、取得された画像データとともに算出された被写体距離情報を記録して本フローを完了とする。 In step S <b> 405, the parallax amount calculation unit 112 calculates the parallax amount for each corresponding point extracted above. As a calculation method, the pixel position difference is calculated from each pixel of the reference image data corresponding to each pixel of the standard image data obtained by the block matching method. In step S406, the distance information calculation unit 113 calculates Equation 17 from the parallax amount calculated above, the focal length of the imaging optical system, which is known information, and the baseline length data of the imaging optical systems 101a and 101d. The distance information for the photographic subject is calculated. Here, as described above, in order to improve the accuracy of subject distance calculation, it is important to configure the shooting parallax amount to be as large as possible. For the photographer, distance information for the entire subject space to be photographed is important. For this reason, in this embodiment, the wide-angle optical systems 101a and 101d for imaging the widest subject space in the imaging optical system are arranged diagonally so that the base line length becomes the longest. Although the distance information calculation in the case of using the imaging optical systems 101a and 101d has been described here, the distance can be obtained even if another imaging optical system pair (for example, a pair of the optical systems 101a and 101b) is used by the same principle. It is possible to calculate information. Here, when the above method is used for images with different angles of view, a method of extracting a corresponding point by cutting out a portion corresponding to an image with a narrow angle of view from an image with a wide angle of view is more desirable. Next, in S407, the subject distance information calculated together with the acquired image data is recorded, and this flow is completed.
以上のように、画角の異なる3種の結像光学系を備えることにより、ズーム駆動装置などを必要としない連続ズーム機能を実現することが可能である。さらに、本実施例では結像光学系のうち最も広い被写体空間を撮像する広角光学系を対として備え、その光学系対を基線長が最も大きくなるように対角上に配置する構成とすることで、距離情報取得精度向上を両立させている。つまり、本発明の構成によってビデオカメラ、デジタルカメラ等の撮像装置を、薄型、高変倍比でありながら、撮影する被写体空間についての高度な周辺空間情報を容易に取得することができる撮像装置へと発展させることが可能となる。 As described above, a continuous zoom function that does not require a zoom drive device or the like can be realized by providing three types of imaging optical systems having different angles of view. Furthermore, in this embodiment, a pair of wide-angle optical systems that image the widest subject space among the imaging optical systems are provided as a pair, and the optical system pairs are arranged diagonally so that the base line length becomes the longest. Therefore, it improves both distance information acquisition accuracy. That is, with the configuration of the present invention, an imaging apparatus such as a video camera or a digital camera can be easily acquired high-level peripheral space information about a subject space to be photographed while being thin and having a high zoom ratio. It becomes possible to develop.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
以下、図面を参照して、本発明の第2の実施形態による、複眼撮像装置について説明する。 A compound eye imaging device according to a second embodiment of the present invention will be described below with reference to the drawings.
図5は第2の実施例の複眼撮像装置2の構成図である。結像光学系201a、201b、201c、201d、201eが複眼を構成する結像光学系(複眼光学系)である。撮像素子202は、撮像領域202a、202b、202c、202d、202eを有する。撮像領域202a〜eは、結像光学系201a〜eにそれぞれ対応する領域である。撮像領域202a〜eは、それぞれ結像光学系201a〜eを介して素子面上に到達した光学像を電気信号に変換する。その他同一番号の部分については実施例1と同様であるため説明を省略する。 FIG. 5 is a configuration diagram of the compound eye imaging apparatus 2 of the second embodiment. The imaging optical systems 201a, 201b, 201c, 201d, and 201e are imaging optical systems (compound eye optical systems) that constitute a compound eye. The imaging element 202 has imaging areas 202a, 202b, 202c, 202d, and 202e. The imaging regions 202a to 202e are regions corresponding to the imaging optical systems 201a to 201e, respectively. The imaging regions 202a to 202e convert optical images that have reached the element surface via the imaging optical systems 201a to 201e, respectively, into electrical signals. The other parts having the same numbers are the same as those in the first embodiment, and hence the description thereof is omitted.
図5に示されるように、複眼撮像装置2は5つの結像光学系201a、201b、201c、201d、201eを備えている。5つの結像光学系201a〜eはそれぞれ光軸がほぼ平行になるように配置される。また、5つの結像光学系201a〜eは、各光学系の光軸間を結ぶ基線が交差(一部は直交)するように配置されている。さらに対角方向に配置された結像光学系201a、201dが5つの結像光学系の中で最も広い撮影画角8θを有する広角結像光学系対として構成される。さらに、結像光学系201bは201a,201dに比べて撮影画角が半分の4θであり、結像光学系201eはさらに撮影画角が半分の2θであり、結像光学系201cはさらに撮影画角が半分のθとなるように構成されている。連続ズーム機能の実現手段、距離情報取得精度向上の構成理由は第1の実施例と同様となるため、ここでは詳細な説明は省略する。 As shown in FIG. 5, the compound-eye imaging device 2 includes five imaging optical systems 201a, 201b, 201c, 201d, and 201e. The five imaging optical systems 201a to 201e are arranged so that their optical axes are substantially parallel to each other. Further, the five imaging optical systems 201a to 201e are arranged so that the base lines connecting the optical axes of the respective optical systems intersect (partially orthogonal). Further, the imaging optical systems 201a and 201d arranged in the diagonal direction are configured as a wide-angle imaging optical system pair having the widest shooting angle of view 8θ among the five imaging optical systems. Further, the imaging optical system 201b has 4θ which is a half of the field angle of view compared to 201a and 201d, the imaging optical system 201e further has 2θ which is a half of the field of view, and the imaging optical system 201c further has a The angle is half of θ. The means for realizing the continuous zoom function and the configuration reason for improving the accuracy of distance information acquisition are the same as in the first embodiment, and thus detailed description thereof is omitted here.
以上のように、画角の異なる4種の結像光学系を備えることにより、ズーム駆動装置などを必要としない連続ズーム機能を実現することが可能である。さらに、本実施例では結像光学系のうち最も広い被写体空間を撮像する広角光学系を対として備え、その光学系対を基線長が最も大きくなるように対角上に配置する構成とすることで、距離情報取得精度向上を両立させている。つまり、本発明の構成によってビデオカメラ、デジタルカメラ等の撮像装置を、薄型、高変倍比でありながら、撮影する被写体空間についての高度な周辺空間情報を容易に取得することができる撮像装置へと発展させることが可能となる。 As described above, a continuous zoom function that does not require a zoom drive device or the like can be realized by providing four types of imaging optical systems having different angles of view. Furthermore, in this embodiment, a pair of wide-angle optical systems that image the widest subject space among the imaging optical systems are provided as a pair, and the optical system pairs are arranged diagonally so that the base line length becomes the longest. Therefore, it improves both distance information acquisition accuracy. That is, with the configuration of the present invention, an imaging apparatus such as a video camera or a digital camera can be easily acquired high-level peripheral space information about a subject space to be photographed while being thin and having a high zoom ratio. It becomes possible to develop.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
以下、図面を参照して、本発明の第3の実施形態による、複眼撮像装置について説明する。 A compound eye imaging device according to a third embodiment of the present invention will be described below with reference to the drawings.
図6は第3の実施例の複眼撮像装置3の構成図である。結像光学系301a、301b、301c、301d、301e、301f、301g、301h、301iが複眼を構成する結像光学系(複眼光学系)である。撮像素子302は、撮像領域302a、302b、302c、302d、302e、302f、302g、302h、302iを有する。撮像領域302a〜iは、結像光学系301a〜iにそれぞれ対応する領域である。撮像領域302a〜iは、それぞれ結像光学系301a〜iを介して素子面上に到達した光学像を電気信号に変換する。その他同一番号の部分については実施例1と同様であるため説明を省略する。 FIG. 6 is a configuration diagram of the compound eye imaging apparatus 3 of the third embodiment. The imaging optical systems 301a, 301b, 301c, 301d, 301e, 301f, 301g, 301h, and 301i are imaging optical systems (compound eye optical systems) constituting a compound eye. The imaging element 302 has imaging areas 302a, 302b, 302c, 302d, 302e, 302f, 302g, 302h, and 302i. The imaging regions 302a to 302i are regions corresponding to the imaging optical systems 301a to 301i, respectively. The imaging regions 302a to 302i convert optical images that have reached the element surface via the imaging optical systems 301a to 301i, respectively, into electrical signals. The other parts having the same numbers are the same as those in the first embodiment, and hence the description thereof is omitted.
図6に示されるように、複眼撮像装置3は9つの結像光学系301a、301b、301c、301d、301e、301f、301g、301h、301iを備えている。9つの結像光学系301a〜iはそれぞれほぼ光軸が平行になるように配置される。また、9つの結像光学系301a〜iは、各光学系の光軸間を結ぶ基線が交差(直交)するように配置されている。さらに対角方向に配置された結像光学系301a、301iが9つの結像光学系の中で最も広い撮影画角8θを有する広角結像光学系対として構成される。さらに、結像光学系301bは7θであり、結像光学系301cは6θであり、結像光学系301fは5θとなるように構成されている。さらに、結像光学系301eは4θであり、結像光学系301dは3θであり、結像光学系301gは2θであり、結像光学系301hはθとなるように構成されている。連続ズーム機能の実現手段、距離情報取得精度向上の構成理由は第1の実施例と同様となるため、ここでは詳細な説明は省略する。また、このように本実施例では、連続する異なる画角を有する結像光学系において、広角側の画角と望遠側の画角比が1.14〜2となるように構成されているが、これは説明を簡単にするための一例である。望ましくは、複数の結像光学系を構成する任意の結像光学系の画角をW、該任意の結像光学系の次に狭い画角を有する結像光学系の画角をWnとするとき、上記の条件式(18)を満足することが望ましい。 As shown in FIG. 6, the compound eye imaging device 3 includes nine imaging optical systems 301a, 301b, 301c, 301d, 301e, 301f, 301g, 301h, and 301i. The nine imaging optical systems 301a to 301i are arranged so that their optical axes are substantially parallel to each other. Further, the nine imaging optical systems 301a to 301i are arranged so that the base lines connecting the optical axes of the respective optical systems intersect (orthogonal). Further, the imaging optical systems 301a and 301i arranged in the diagonal direction are configured as a wide-angle imaging optical system pair having the widest shooting angle of view 8θ among the nine imaging optical systems. Further, the imaging optical system 301b is 7θ, the imaging optical system 301c is 6θ, and the imaging optical system 301f is 5θ. Further, the imaging optical system 301e is 4θ, the imaging optical system 301d is 3θ, the imaging optical system 301g is 2θ, and the imaging optical system 301h is configured to be θ. The means for realizing the continuous zoom function and the configuration reason for improving the accuracy of distance information acquisition are the same as in the first embodiment, and thus detailed description thereof is omitted here. As described above, in this embodiment, the imaging optical system having consecutive different angles of view is configured such that the ratio of the angle of view on the wide angle side and the angle of view on the telephoto side is 1.14 to 2. This is an example for ease of explanation. Desirably, an angle of view of an arbitrary image forming optical system constituting the plurality of image forming optical systems is W, and an angle of view of an image forming optical system having the next narrowest angle of view after the arbitrary image forming optical system is Wn. When, it is desirable to satisfy the above conditional expression (18).
条件式(18)の下限を下回ると、撮像装置の高変倍比を達成するために非常に多くの結像光学系が必要となるため装置が大型化してしまう。また、条件式(18)の上限を上回ると、上記超解像技術を用いても高精度に画像復元することが困難となってしまうため、ズーム後の画質が劣化してしまう。 If the lower limit of conditional expression (18) is not reached, a large number of imaging optical systems are required to achieve a high zoom ratio of the imaging apparatus, and the apparatus becomes large. If the upper limit of conditional expression (18) is exceeded, it will be difficult to restore the image with high accuracy even if the super-resolution technique is used, and the image quality after zooming will deteriorate.
以上のように、画角の異なる8種の結像光学系を備えることにより、ズーム駆動装置などを必要としない連続ズーム機能を実現することが可能である。さらに、本実施例では結像光学系のうち最も広い被写体空間を撮像する広角光学系を対として備え、その光学系対を基線長が最も大きくなるように対角上に配置する構成とすることで、距離情報取得精度向上を両立させている。つまり、本発明の構成によってビデオカメラ、デジタルカメラ等の撮像装置を、薄型、高変倍比でありながら、撮影する被写体空間についての高度な周辺空間情報を容易に取得することができる撮像装置へと発展させることが可能となる。 As described above, by providing eight types of image forming optical systems having different angles of view, it is possible to realize a continuous zoom function that does not require a zoom drive device or the like. Furthermore, in this embodiment, a pair of wide-angle optical systems that image the widest subject space among the imaging optical systems are provided as a pair, and the optical system pairs are arranged diagonally so that the base line length becomes the longest. Therefore, it improves both distance information acquisition accuracy. That is, with the configuration of the present invention, an imaging apparatus such as a video camera or a digital camera can be easily acquired high-level peripheral space information about a subject space to be photographed while being thin and having a high zoom ratio. It becomes possible to develop.
さらに、上記のように構成された撮像装置1,2,3の他の周辺空間情報取得モード、又は周辺空間情報応用モードについて説明する。ハイダイナミックレンジモードは、複眼を構成するそれぞれのユニットで露出条件を変えて撮影を行い、撮影された夫々の画像を合成することによって、ダイナミックレンジの広い画像情報を取得する。ボケ付加モードは、上記のように算出した被写体距離情報に基づいて背景にボケを付加することで主要被写体を強調する画像を得る。背景除去モードは、上記のように算出した被写体距離情報に基づいて主要被写体以外の背景を除去した画像を得る。立体画像撮像モードは、水平方向に配列された複眼を構成するそれぞれのユニットで左右視差画像を取得し、一方の狭い画角の画像とそれに対応する他方の広い画角の画像領域の一部を用いて立体画像として画像を保存する。このように、本発明の複眼撮像装置は、立体画像撮像装置としても機能することができる。撮影構図選択モードは、図2のように複数の画角による画像を表示部200に表示することで、撮影者に所望の画角画像を選択させる。次に、ベストショットモードについて図7を用いて簡単に説明する。ここで、図7は複眼撮像装置1の結像光学系101aに対応した画角範囲の画像であり、破線部131は結像光学系101bに対応した画角範囲であるとする。結像光学系101bに対応する画角で撮影者が動体である人物130の撮影を行うように操作した場合、撮影目的である動体(人物130)が破線部131の領域に入るタイミングを画像処理部104で算出する。上記タイミングの算出には結像光学系101aに対応した広い画角範囲の画像から動体の動きベクトル等を用いて算出することができる。撮影領域変更モードは、夫々の結像光学系を夫々の光軸と垂直な面内で変位可能とすることで、夫々の結像光学系に対応する被写体空間領域を変更して夫々の画像を保存する。このように、本発明は、実施例1〜3に記載の複数の結像光学系のそれぞれを光軸と垂直な面内で変位させる変位手段を備えていてもよい。例えば、広角結像光学系101aに対応する画面内の任意の領域を望遠結像光学系101cを変位させることで拡大表示させることが可能となる。 Furthermore, other surrounding space information acquisition modes or surrounding space information application modes of the imaging devices 1, 2 and 3 configured as described above will be described. In the high dynamic range mode, each unit constituting the compound eye performs shooting while changing the exposure condition, and obtains image information with a wide dynamic range by combining the captured images. In the blur addition mode, an image that emphasizes the main subject is obtained by adding blur to the background based on the subject distance information calculated as described above. In the background removal mode, an image in which the background other than the main subject is removed based on the subject distance information calculated as described above is obtained. In the stereoscopic image capturing mode, right and left parallax images are acquired by the respective units constituting the compound eyes arranged in the horizontal direction, and an image with one narrow angle of view and a part of the image region with the other wide angle of view corresponding thereto are obtained. Use to save images as stereoscopic images. Thus, the compound eye imaging device of the present invention can also function as a stereoscopic image imaging device. In the shooting composition selection mode, an image with a plurality of angles of view is displayed on the display unit 200 as shown in FIG. 2, thereby allowing the photographer to select a desired angle of view image. Next, the best shot mode will be briefly described with reference to FIG. Here, FIG. 7 is an image of an angle of view range corresponding to the imaging optical system 101a of the compound eye imaging apparatus 1, and a broken line portion 131 is an angle of view range corresponding to the imaging optical system 101b. When the photographer operates to photograph the moving person 130 at the angle of view corresponding to the imaging optical system 101b, the image processing is performed when the moving object (person 130) that is the object of photographing enters the area of the broken line portion 131. Calculated by the unit 104. The timing can be calculated from an image in a wide angle range corresponding to the imaging optical system 101a using a motion vector of a moving object. In the shooting area change mode, each image forming optical system can be displaced in a plane perpendicular to each optical axis, so that the subject space area corresponding to each image forming optical system is changed and each image is displayed. save. Thus, this invention may be provided with the displacement means which displaces each of the some imaging optical system as described in Examples 1-3 in the surface perpendicular | vertical to an optical axis. For example, an arbitrary area in the screen corresponding to the wide-angle imaging optical system 101a can be enlarged and displayed by displacing the telephoto imaging optical system 101c.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
本発明の複眼撮像装置は、ビデオカメラやコンパクトデジタルカメラなどの光学装置に好適に利用できる。 The compound eye imaging device of the present invention can be suitably used for an optical device such as a video camera or a compact digital camera.
1 複眼撮像装置
101a,101b,101d 結像光学系
102 撮像素子
DESCRIPTION OF SYMBOLS 1 Compound eye imaging device 101a, 101b, 101d Imaging optical system 102 Imaging element
Claims (7)
前記複数の光学系は、前記複数の光学系のうち最も広い第1の画角を有する第1の光学系および第2の光学系と、前記第1の画角よりも狭い第2の画角を有する第3の光学系と、前記第2の画角よりも狭い第3の画角を有する第4の光学系を含み、
前記第1の光学系に対応する第1の撮像領域と、前記第2の光学系に対応する第2の撮像領域と、前記第3の光学系に対応する第3の撮像領域と、前記第4の光学系に対応する第4の撮像領域を有する撮像素子と、
前記第1の撮像領域から得られる第1の画像と、前記第2の撮像領域から得られる第2の画像に基づいて、前記第1の画像および前記第2の画像の画像内の被写体距離情報を算出する算出手段と、
前記第1の画像と、前記第3の撮像領域から得られる第3の画像に基づいて、前記第1の画角と前記第2の画角の間にある画角の画像を復元し、前記第3の画像と、前記第4の撮像領域から得られる第4の画像に基づいて、前記第2の画角と前記第3の画角の間にある画角の画像を復元する画像復元手段を備え、
前記複数の光学系は、前記第1の光学系と前記第2の光学系の基線長が最も大きくなるように配置されていることを特徴とする複眼撮像装置。 In a compound eye imaging device having a plurality of optical systems,
The plurality of optical systems include a first optical system and a second optical system having the widest first field angle among the plurality of optical systems, and a second field angle narrower than the first field angle. And a fourth optical system having a third field angle narrower than the second field angle ,
A first imaging area corresponding to the first optical system, a second imaging area corresponding to the second optical system, and the third image pickup region corresponding to the third optical system, the first An imaging device having a fourth imaging region corresponding to four optical systems ;
Wherein a first of the first image obtained from the imaging region, the second based on the second images obtained from the imaging region, the object distance in the image of the first image and the second image A calculation means for calculating information;
Based on the first image and the third image obtained from the third imaging region, restores an image having an angle of view between the first angle of view and the second angle of view, Image restoration means for restoring an image having an angle of view between the second angle of view and the third angle of view based on the third image and the fourth image obtained from the fourth imaging region. With
The compound-eye imaging device, wherein the plurality of optical systems are arranged so that a baseline length of the first optical system and the second optical system is maximized.
1.1<W/Wn<3
を満足することを特徴とする請求項1ないし4のいずれか一項に記載の複眼撮像装置。 When the angle of view of an arbitrary optical system among the plurality of optical systems is W, and the angle of view of an optical system having the next narrowest angle of view after the arbitrary optical system is Wn,
1.1 <W / Wn <3
Claims 1, characterized by satisfying the to the compound-eye imaging apparatus according to any one of 4.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013244844A JP6257285B2 (en) | 2013-11-27 | 2013-11-27 | Compound eye imaging device |
US14/547,492 US20150145958A1 (en) | 2013-11-22 | 2014-11-19 | Multi-lens image capturing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013244844A JP6257285B2 (en) | 2013-11-27 | 2013-11-27 | Compound eye imaging device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015102794A JP2015102794A (en) | 2015-06-04 |
JP2015102794A5 JP2015102794A5 (en) | 2017-01-05 |
JP6257285B2 true JP6257285B2 (en) | 2018-01-10 |
Family
ID=53378505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013244844A Active JP6257285B2 (en) | 2013-11-22 | 2013-11-27 | Compound eye imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6257285B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI741988B (en) | 2015-07-31 | 2021-10-11 | 日商新力股份有限公司 | Stacked lens structure, method of manufacturing the same, and electronic apparatus |
TWI781085B (en) | 2015-11-24 | 2022-10-21 | 日商索尼半導體解決方案公司 | Fly-eye lens module and fly-eye camera module |
JP2018109716A (en) | 2017-01-05 | 2018-07-12 | ソニーセミコンダクタソリューションズ株式会社 | Lens module, manufacturing method therefor, image capturing device, and electronic device |
JP6878018B2 (en) | 2017-01-26 | 2021-05-26 | ソニーセミコンダクタソリューションズ株式会社 | AF module, camera module, and electronic devices |
JP6918409B2 (en) | 2017-01-26 | 2021-08-11 | ソニーセミコンダクタソリューションズ株式会社 | Camera modules and their manufacturing methods, as well as electronic devices |
JP6851838B2 (en) | 2017-01-26 | 2021-03-31 | ソニーセミコンダクタソリューションズ株式会社 | Laminated lens structure, camera module, and electronics |
JP6976688B2 (en) | 2017-01-26 | 2021-12-08 | ソニーセミコンダクタソリューションズ株式会社 | Camera modules and their manufacturing methods, as well as electronic devices |
JP6957271B2 (en) | 2017-08-31 | 2021-11-02 | ソニーセミコンダクタソリューションズ株式会社 | Laminated lens structure, solid-state image sensor, and electronic equipment |
JP2019184719A (en) | 2018-04-05 | 2019-10-24 | ソニーセミコンダクタソリューションズ株式会社 | Laminated lens structure and method for manufacturing the same, and electronic apparatus |
CN112470071B (en) * | 2020-02-28 | 2021-12-21 | 深圳市大疆创新科技有限公司 | Three-light camera, tripod head structure and mobile platform |
CN118313426B (en) * | 2024-06-07 | 2024-08-16 | 东南大学 | Optical convolution device and working method thereof |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002171537A (en) * | 2000-11-30 | 2002-06-14 | Canon Inc | Compound image pickup system, image pickup device and electronic device |
JP2005031466A (en) * | 2003-07-07 | 2005-02-03 | Fujinon Corp | Device and method for imaging |
JP2006214735A (en) * | 2005-02-01 | 2006-08-17 | Viewplus Inc | Compound stereo vision device |
JP2009117976A (en) * | 2007-11-02 | 2009-05-28 | Panasonic Corp | Image picking-up device |
BRPI0924540A2 (en) * | 2009-06-16 | 2015-06-23 | Intel Corp | Camera applications on a portable device |
JP5627256B2 (en) * | 2010-03-16 | 2014-11-19 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, and image processing program |
JP2012147088A (en) * | 2011-01-07 | 2012-08-02 | Nikon Corp | Imaging apparatus |
JP5725975B2 (en) * | 2011-05-27 | 2015-05-27 | キヤノン株式会社 | Imaging apparatus and imaging method |
-
2013
- 2013-11-27 JP JP2013244844A patent/JP6257285B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015102794A (en) | 2015-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6257285B2 (en) | Compound eye imaging device | |
JP6436783B2 (en) | Image processing apparatus, imaging apparatus, image processing method, program, and storage medium | |
JP6112824B2 (en) | Image processing method and apparatus, and program. | |
WO2021073331A1 (en) | Zoom blurred image acquiring method and device based on terminal device | |
JP6271990B2 (en) | Image processing apparatus and image processing method | |
JP5036599B2 (en) | Imaging device | |
KR101233013B1 (en) | Image photographing device, distance computing method for the device, and focused image acquiring method | |
JP5627256B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
IL263957A (en) | Dual aperture zoom digital camera | |
KR102229811B1 (en) | Filming method and terminal for terminal | |
JP6478511B2 (en) | Image processing method, image processing apparatus, compound eye imaging apparatus, image processing program, and storage medium | |
US20120019614A1 (en) | Variable Stereo Base for (3D) Panorama Creation on Handheld Device | |
JP2008294741A (en) | Imaging system | |
JP6552315B2 (en) | Imaging device | |
JP2010063067A (en) | Image processing device and method, and program | |
CN108513057B (en) | Image processing method and device | |
US20150145958A1 (en) | Multi-lens image capturing apparatus | |
JP2018037857A (en) | Image processing system, image processing method and program | |
JP2011119874A (en) | Camera unit, and lens unit | |
JP6645711B2 (en) | Image processing apparatus, image processing method, and program | |
JP2008053787A (en) | Multiple-lens electronic camera and parallax correcting method of multi-lens electronic camera | |
JP6648916B2 (en) | Imaging device | |
WO2012086298A1 (en) | Imaging device, method and program | |
JP2019047145A (en) | Image processing system, imaging apparatus, control method and program of image processing system | |
JP2013175821A (en) | Image processing device, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161117 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171205 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6257285 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |