JP4673202B2 - Image input device - Google Patents
Image input device Download PDFInfo
- Publication number
- JP4673202B2 JP4673202B2 JP2005352364A JP2005352364A JP4673202B2 JP 4673202 B2 JP4673202 B2 JP 4673202B2 JP 2005352364 A JP2005352364 A JP 2005352364A JP 2005352364 A JP2005352364 A JP 2005352364A JP 4673202 B2 JP4673202 B2 JP 4673202B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- lens
- image input
- input device
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Description
本発明は、画像読取装置、虹彩認証や顔認証などの画像認識装置、デジタルカメラ、監視カメラなど光学系と撮像素子を用いる画像入力装置に関する。 The present invention relates to an image input apparatus using an optical system and an image sensor such as an image reading apparatus, an image recognition apparatus such as iris authentication and face authentication, a digital camera, and a surveillance camera.
従来の薄型化を図った画像入力装置として、レンズアレイを用いた装置が知られているが、レンズアレイと撮像素子の距離が固定されているため、焦点調節ができない(例えば、特許文献1、2 参照。)。過焦点距離に合焦させたパンフォーカスならば、レンズに焦点調節機能が無くても、レンズの被写界深度を利用して過焦点距離の半分の距離から無限遠までピントが合ったような画像を撮影できるが、過焦点距離の半分の距離よりも近い被写体を撮影する場合、被写体距離が近くなるに従いデフォーカス収差が増大し、ピントずれした画像となってしまう。また、レンズ径を小さくすれば、被写界深度が広がり近接した被写体にもピントが合ったような画像を得ることができるが、ひとつのレンズで撮像される個眼像を構成する撮像素子の画素数が少なくなり、複眼像を再構成して得られる単一像の解像度が低下してしまう。
前記複数の被写体距離に合焦する手段を有するマイクロレンズアレイが具備されていても、合焦すべき被写体距離を知ることができなければその機能を有効に利用することはできない。様々な被写体距離に合焦させて、ピントが合う位置を探し当てても良いが、そのための時間が必要であり、使用者の主観でピントが合っているかを判断しなければならないので不正確になる恐れがある。
A device using a lens array is known as a conventional image input device with a reduced thickness. However, since the distance between the lens array and the image sensor is fixed, focus adjustment cannot be performed (for example,
Even if a microlens array having means for focusing on the plurality of subject distances is provided, the function cannot be used effectively unless the subject distance to be focused can be known. You may focus on various subject distances to find out where the subject is in focus, but it takes time to do so, and it is inaccurate because it is necessary to judge whether the subject is in focus or not. There is a fear.
焦点調節機能を有するレンズアレイの従来技術がある(例えば、非特許文献1 参照。)が、レンズの変形に使用する流体を制御するための外部装置が必要であり、各レンズが流体の流路でつながっているためそれぞれのレンズ形状すなわち焦点距離を別個に制御することはできないという問題点があった。
また、焦点調節機能を有するエレクトロウェッティングレンズというものがあるが、エレクトロウェッティングレンズは、原理的に大径化が困難なため、明るい光学系への適用ができないという欠点があった。エレクトロウェッティングレンズでは、電圧の印加による導電性液体と誘電体のぬれ性の変化を利用して液体形状を変化させることで焦点調節機能を実現している。大径化すると体積に対する表面積の割合は減少するので、液体形状を支配する因子におけるぬれ性の影響は小さくなり、液体の重さなどの体積に関係する物理量が支配的になってくる。こうした理由で、エレクトロウェッティングレンズの明るい光学系への適用は困難である。しかしながら、レンズアレイを構成する各レンズは、従来のカメラなどの画像入力装置に用いられているレンズと比べて著しく小さい。そのため、焦点調節が可能であるというエレクトロウェッティングレンズの利点を十分に活かすことができる。
Although there is a conventional technique of a lens array having a focus adjustment function (see, for example, Non-Patent Document 1), an external device for controlling a fluid used for deformation of the lens is required, and each lens has a fluid flow path. In this case, each lens shape, that is, the focal length cannot be controlled separately.
In addition, there is an electrowetting lens having a focus adjustment function. However, the electrowetting lens has a drawback that it cannot be applied to a bright optical system because it is difficult in principle to increase the diameter. In the electrowetting lens, the focus adjustment function is realized by changing the liquid shape by utilizing the change in wettability between the conductive liquid and the dielectric due to the application of voltage. When the diameter is increased, the ratio of the surface area to the volume decreases, so that the influence of the wettability on the factor governing the liquid shape is reduced, and the physical quantity related to the volume such as the weight of the liquid becomes dominant. For these reasons, it is difficult to apply an electrowetting lens to a bright optical system. However, each lens constituting the lens array is significantly smaller than a lens used in a conventional image input device such as a camera. Therefore, the advantage of the electrowetting lens that focus adjustment is possible can be fully utilized.
薄型かつ近接した被写体から無限遠にある被写体にまでピントが合った画像を取得できる画像入力装置を提供する。 Provided is an image input device capable of acquiring an image focused from a thin and close subject to a subject at infinity.
請求項1に記載の発明では、2個以上のレンズから構成されたレンズアレイと、該レンズアレイを構成するレンズ間での光線のクロストークを防止するための遮光手段と、前記レンズアレイにより結像された像を撮像するための撮像手段と、該撮像手段により撮像された複眼像から単一像を再構成するための第1の演算器と、を有する画像入力装置において、前記レンズアレイがエレクトロウェッティングレンズからなり、少なくとも複数の被写体距離に対して合焦できる機能を有することを特徴とする。
請求項2に記載の発明では、請求項1に記載の画像入力装置において、さらに被写体距離を検出する距離検出手段を有することを特徴とする。
請求項3に記載の発明では、請求項2に記載の画像入力装置において、前記距離検出手段は、複眼像の視差情報に基づき被写体距離を求める第2の演算器であることを特徴とする。
According to the first aspect of the present invention, the lens array includes a lens array composed of two or more lenses, a light shielding means for preventing crosstalk of light rays between the lenses constituting the lens array, and the lens array. An image input apparatus comprising: an imaging unit for capturing an imaged image; and a first computing unit for reconstructing a single image from a compound eye image captured by the imaging unit. It is composed of an electrowetting lens and has a function of focusing on at least a plurality of subject distances.
According to a second aspect of the present invention, the image input device according to the first aspect further includes distance detection means for detecting a subject distance .
According to a third aspect of the present invention, in the image input device according to the second aspect, the distance detecting means is a second computing unit that obtains a subject distance based on parallax information of a compound eye image .
請求項4に記載の発明では、請求項3に記載の画像入力装置において、前記第2の演算器によって前記複眼像の視差を検出するための演算は、複眼像の相互相関演算であることを特徴とする。
請求項5に記載の発明では、請求項2ないし4のいずれか1つに記載の画像入力装置において、前記被写体距離検出手段の出力をエレクトロウェッティングレンズの形状にフィードバックして合焦距離を変化させる手段をさらに有することを特徴とする。
請求項6に記載の発明では、請求項1ないし4のいずれか1つに記載の画像入力装置において、前記レンズアレイは、同一の合焦距離を有する複数のレンズを1つのレンズセットとし、合焦距離の異なる複数のレンズセットから構成されたエレクトロウェッティングレンズの集合体であることを特徴とする。
請求項7に記載の発明では、請求項6に記載の画像入力装置において、前記複数のレンズセットによる被写界深度は少なくとも互いに連続することを特徴とする。
請求項8に記載の発明では、請求項6または7に記載の画像入力装置において、前記複数のレンズセット毎に、前記複眼像から、前記単一像の再構成を行うための個眼像の選択をする個眼像選択手段をさらに有することを特徴とする。
According to a fourth aspect of the present invention, in the image input device according to the third aspect, the calculation for detecting the parallax of the compound eye image by the second calculator is a cross-correlation calculation of the compound eye image. Features.
According to a fifth aspect of the present invention, in the image input device according to any one of the second to fourth aspects, the focus distance is changed by feeding back the output of the subject distance detecting means to the shape of the electrowetting lens. It has the means to make it have, It is characterized by the above-mentioned.
According to a sixth aspect of the present invention, in the image input device according to any one of the first to fourth aspects, the lens array includes a plurality of lenses having the same in-focus distance as a single lens set. It is an aggregate of electrowetting lenses composed of a plurality of lens sets having different focal distances .
According to a seventh aspect of the present invention, in the image input device according to the sixth aspect , depths of field by the plurality of lens sets are at least continuous with each other .
According to an eighth aspect of the present invention, in the image input device according to the sixth or seventh aspect , a single-eye image for reconstructing the single image from the compound eye image for each of the plurality of lens sets . It further has a single eye image selection means for selecting .
請求項9に記載の発明では、請求項5または8に記載の画像入力装置において、合焦距離の異なるレンズ毎に再構成された複数の単一像から合焦部分抽出手段により、ピントが合った合焦部分を抽出して合成する演算器をさらに有することを特徴とする。
請求項10に記載の発明では、請求項9に記載の画像入力装置において、前記合焦部分抽出手段は、コントラストの高い部分を合焦部分として抽出する演算器であることを特徴とする。
請求項11に記載の発明では、請求項1ないし10のいずれか1つに記載の画像入力装置において、前記エレクトロウェッティングレンズ同士の接触を防止するための封止部材をさらに有することを特徴とする。
請求項12に記載の発明では、2個以上のレンズから構成されたレンズアレイと、該レンズアレイを構成するレンズ間での光線のクロストークを防止するための遮光手段と、前記レンズアレイにより結像された像を撮像するための撮像手段と、該撮像手段により撮像された複眼像から単一像を再構成するための第1の演算器と、を有する画像入力装置において、前記レンズアレイは、同一の厚みを有することにより同一の合焦距離を有する複数のレンズを1つのレンズセットとし、合焦距離の異なる複数のレンズセットから構成され、少なくとも複数の被写体距離に対して合焦できる機能を有することを特徴とする。
According to a ninth aspect of the present invention, in the image input device according to the fifth or eighth aspect, the in- focus portion extracting unit is used to focus on a plurality of single images reconstructed for each lens having a different in- focus distance. And an arithmetic unit for extracting and synthesizing the in-focus portion .
According to a tenth aspect of the present invention, in the image input apparatus according to the ninth aspect , the in- focus portion extracting means is an arithmetic unit that extracts a high-contrast portion as the in-focus portion .
According to an eleventh aspect of the present invention, the image input device according to any one of the first to tenth aspects further includes a sealing member for preventing contact between the electrowetting lenses. To do.
In the invention described in
請求項13に記載の発明では、2個以上のレンズから構成されたレンズアレイと、該レンズアレイを構成するレンズ間での光線のクロストークを防止するための遮光手段と、前記レンズアレイにより結像された像を撮像するための撮像手段と、該撮像手段により撮像された複眼像から単一像を再構成するための第1の演算器と、を有する画像入力装置において、前記レンズアレイは、同一の曲率半径を有することにより同一の合焦距離を有する複数のレンズを1つのレンズセットとし、合焦距離の異なる複数のレンズセットから構成され、少なくとも複数の被写体距離に対して合焦できる機能を有することを特徴とする。
請求項14に記載の発明では、請求項12または13に記載の画像入力装置において、前記複数のレンズセットによる被写界深度は少なくとも互いに連続することを特徴とする。
請求項15に記載の発明では、請求項12ないし14のいずれか1つに記載の画像入力装置において、さらに被写体距離を検出する距離検出手段を有することを特徴とする。
請求項16に記載の発明では、請求項15に記載の画像入力装置において、前記距離検出手段は、複眼像の視差情報に基づき被写体距離を求める第2の演算器であることを特徴とする。
請求項17に記載の発明では、請求項16に記載の画像入力装置において、第2の演算器によって前記複眼像の視差を検出するための演算は、複眼像の相互相関演算であることを特徴とする。
In the invention described in
According to a fourteenth aspect of the present invention, in the image input device according to the twelfth or thirteenth aspect , depths of field by the plurality of lens sets are at least continuous with each other .
According to a fifteenth aspect of the present invention, in the image input device according to any one of the twelfth to fourteenth aspects, the image input apparatus further includes a distance detection unit that detects a subject distance .
According to a sixteenth aspect of the present invention, in the image input device according to the fifteenth aspect , the distance detecting means is a second computing unit that obtains a subject distance based on parallax information of a compound eye image .
The invention according to claim 17 is the image input device according to claim 16, wherein the calculation for detecting the parallax of the compound eye image by the second calculator is a cross-correlation calculation of the compound eye image. And
請求項18に記載の発明では、請求項15ないし17のいずれか1つに記載の画像入力装置において、前記距離検出手段の出力をもとに、前記複眼像から、前記単一像の再構成を行うための個眼像の選択をする個眼像選択手段をさらに有することを特徴とする。
請求項19に記載の発明では、請求項12ないし18のいずれか1つに記載の画像入力装置において、前記複数のレンズセット毎に再構成された複数の単一像から、合焦部分抽出手段により、ピントが合った合焦部分を抽出して合成する演算器をさらに有することを特徴とする。
請求項20に記載の発明では、請求項19に記載の画像入力装置において、前記合焦部分抽出手段は、コントラストの高い部分を合焦部分として抽出する演算器であることを特徴とする。
According to an eighteenth aspect of the present invention, in the image input device according to any one of the fifteenth to seventeenth aspects, the single image is reconstructed from the compound eye image based on the output of the distance detecting means. It further has single-eye image selection means for selecting a single-eye image for performing .
According to a nineteenth aspect of the present invention, in the image input device according to any one of the twelfth to eighteenth aspects , the in-focus portion extracting means is used from a plurality of single images reconstructed for each of the plurality of lens sets. Thus, it further has an arithmetic unit that extracts and synthesizes the in-focus portion in focus .
According to a twentieth aspect of the present invention, in the image input apparatus according to the nineteenth aspect , the focused part extracting means is an arithmetic unit that extracts a part having a high contrast as a focused part .
本発明によれば、複数の被写体距離に合焦する手段をレンズアレイに付与しているので、薄型かつ近接した被写体から無限遠にある被写体までピントが合った画像を取得可能な画像入力装置を提供できる。 According to the present invention, since the lens array is provided with means for focusing on a plurality of subject distances, an image input device capable of acquiring a focused image from a thin and close subject to a subject at infinity is provided. Can be provided.
図1は本発明の構成を説明するための模式図である。同図(a)はレンズの合焦距離が遠い場合、同図(b)はレンズの合焦距離が近い場合をそれぞれ示す図である。
同図において符号1はレンズアレイ、2は封止部材、3は撮像素子、4は遮光部材、5は情報処理回路、6は被写体、7はレンズ焦点調節用の制御回路をそれぞれ示す。
レンズアレイ1は略平面上に並べられた2個以上のエレクトロウェッティングレンズから構成されている。封止部材2はエレクトロウェッティングレンズ同士の接触を防止するために設けられた部材である。撮像素子3はレンズアレイによって形成される複眼像の略結像位置に設置されている。遮光部材4はレンズアレイを構成するレンズ間での光線のクロストークを防止するために設けられる。情報処理回路5のうち、5aは前記複眼像の視差情報を検出する演算器、5bは距離検出手段であって、前記視差情報を利用して画像入力装置から被写体までの距離を検出する演算器(第2の演算器)、5cは前記複眼像から単一像を再構成する演算器(第1の演算器)である。
被写体6は一般的には奥行きを有しているので、同図(a)ではエレクトロウェッティングレンズが初期状態にあるとき被写界深度内にある被写体6aと、被写界深度を外れて近い側にある被写体6bの2つの平面で代表している。ただし、両者を表す破線は、その被写体が存在する位置を表すものであって、被写体6bが被写体6aを遮っていることを表すものではない。
FIG. 1 is a schematic diagram for explaining the configuration of the present invention. FIG. 4A shows a case where the focusing distance of the lens is long, and FIG. 4B shows a case where the focusing distance of the lens is short.
In the figure,
The
Since the subject 6 generally has a depth, in FIG. 5A, when the electrowetting lens is in the initial state, the subject 6a is within the depth of field and is close to the depth of field. It is represented by two planes of the subject 6b on the side. However, the broken line representing both represents the position where the subject exists, and does not represent that the subject 6b blocks the subject 6a.
初期状態で設定されたレンズ1aの被写界深度内に存在する被写体6aは、レンズアレイを構成するそれぞれのエレクトロウェッティングレンズ1aにより結像され、撮像素子3により撮像される。遮光部材4により各レンズを通過する光線の撮像素子位置におけるクロストークが抑制される。こうして、撮像素子3により撮像された画像は、各レンズにより撮像された個眼像が並んだ複眼像となる。複眼像を構成する個眼像は一見同じ画像に見えるが、レンズと被写体との相対的な位置関係に起因した視差が存在するため、それぞれの個眼像は、少しずつシフトした画像となる。本明細書内で用いる「視差」は、収録した複眼像の中で、基準とする個眼像に対する各個眼像の画像のシフト量(単位は長さ)を表すことにする。個眼像のみを画像入力装置による収録像として用いると、個眼像における1つの画素より小さい被写体の構造を撮像することはできないが、個眼像間での視差を利用すると、個眼像における1つの画素に埋もれた被写体の構造を再現することができる。すなわち、視差を伴う複眼画像から単一画像を再構成することにより、個眼像に対して解像力を向上させた再構成像を得ることができる(特許文献1 参照。)。
The subject 6 a existing within the depth of field of the
レンズ焦点調節回路7は、エレクトロウェッティングレンズの電極に所定の電圧を加えることによって、各レンズを所望の曲率半径になるよう変化させ、特定の合焦距離に設定する。電圧を他の値に変えることによって、他の合焦距離を選ぶことができる。ここで、合焦距離とは、レンズ諸元と撮像距離が定まっているとき、その撮像面に正しくピントが合う被写体距離のことである。
図1(a)において、初期状態で設定されたレンズ1aの被写界深度からはずれて近い側にある被写体6bに対しては、破線の光路で示すように、1点から出た光が撮像素子3上において1点に収束せず、いわゆるピントがぼけた像になる。したがって、図1(b)に示すレンズ1bのように、レンズ面の曲率半径を変化させて合焦距離を小さくしなければ被写体6bに対してピントを合わせることができない。合焦距離をどのように変化させるべきかは、上記の視差を知ることで算出することができる。
The lens
In FIG. 1 (a), the light emitted from one point is imaged on the subject 6b on the side far from the depth of field of the
図2は相互相関関数の例を示す図である。
演算器5aは、収録した複眼像における各個眼像間の視差を求めるためのもので、上述のように、複眼像から単一画像の再構成の際に個眼像に対して解像力を上げるために作用すると同時に,以下に示すように、視差から被写体までの距離を求めるためにも作用する。
複眼像から各個眼像の視差を求めるために、複眼像の中からふたつの個眼像を抜出し、それらの相互相関関数を求める。この相互相関関数は2変数関数であり、ある座標においてピークを示す。視差がゼロの場合、ピーク座標位置は中央になり、視差が大きくなるにつれてピーク座標は中央から離れていく。このピーク座標と中央との距離および方向を用いて、2つの個眼像の相対的位置すなわち視差情報を定量的に検出することができる。
FIG. 2 is a diagram illustrating an example of a cross-correlation function.
The
In order to obtain the parallax of each single-eye image from the compound-eye image, two single-eye images are extracted from the compound-eye image and their cross-correlation function is obtained. This cross-correlation function is a two-variable function and shows a peak at a certain coordinate. When the parallax is zero, the peak coordinate position is in the center, and the peak coordinate is away from the center as the parallax is increased. Using the distance and direction between the peak coordinates and the center, it is possible to quantitatively detect the relative positions of the two single-eye images, that is, parallax information.
図3は複眼像の1例を示す図である。
複眼像はマイクロレンズの個数に等しい数だけ被写体の縮小像が形成されたものである。後述の図6において示すように、レンズ個々の焦点距離に比べて被写体距離ははるかに大きいので、被写体に奥行きがあって、複数の被写体距離の物体あるいは人物からなっていたとしても、各レンズの視野は互いにほぼ同じであり、一見しただけでは相互の違いは分からない。しかし、厳密に言えば、異なる位置にあるレンズがそれぞれわずかに異なる被写体領域を見ているので、見ている位置の違い、いわゆる視差によって、形成される個眼像はわずかにずれた画像となる。ほぼ同一な2つの画像のずれ量を知る方法として、上記のように相互相関関数を求める方法が知られている。
FIG. 3 is a diagram showing an example of a compound eye image.
A compound eye image is an image in which reduced images of a subject are formed by the number equal to the number of microlenses. As shown in FIG. 6 to be described later, since the subject distance is much larger than the focal length of each lens, even if the subject has a depth and is composed of objects or persons having a plurality of subject distances, The fields of view are almost identical to each other, and the difference between them cannot be seen at first glance. Strictly speaking, however, the lenses at different positions see slightly different subject areas, so the formed single-eye image is slightly shifted due to the difference in viewing position, so-called parallax. . As a method for determining the amount of deviation between two substantially identical images, a method for obtaining a cross-correlation function as described above is known.
複眼像を構成する個眼像のうち、基準となるもの(例えば、同図の50)を設定し、基準となる個眼像と他の個眼像の相互相関関数を求め、同様に、基準個眼像以外の全個眼像に対して、基準個眼像との相互相関をとることで、基準個眼像に対する全ての個眼像の画像シフト量を、撮像素子の画素を単位として求めることができ、画像シフト量(単位ピクセル)に撮像素子1画素あたりの長さを乗じることにより視差を算出できる。視差を求めるためにはピントずれした画像を用いることも可能だが、できればピントずれの程度は小さいほうが望ましい。そのために、エレクトロウェッティングレンズの初期状態は、可能な限り深い被写界深度に対してピントが合っているような状態、すなわちパンフォーカスになるような合焦距離に設定するのが望ましい。あるいは、そのほかに、パンフォーカスよりも短い合焦距離を有するエレクトロウェッティングレンズを複数存在させることで、過焦点距離の半分の距離よりも近接した被写体に対してもピントが合ったような複数の個眼像を取得することができ、視差の検出が容易になる。この場合、短いほうの合焦距離のレンズによる被写界深度は比較的浅くなるのが普通であるが、もう一方のレンズの合焦距離による被写界深度(パンフォーカスの範囲)と重複しても良いから、少なくとも連続するように合焦距離を設定するのが望ましい。 Among the single-eye images constituting the compound-eye image, a reference one (for example, 50 in the figure) is set, and the cross-correlation function between the single-eye image and the other single-eye image is obtained. By obtaining a cross-correlation with the reference single-eye image for all single-eye images other than the single-eye image, the image shift amount of all single-eye images with respect to the reference single-eye image is obtained in units of pixels of the image sensor. The parallax can be calculated by multiplying the image shift amount (unit pixel) by the length per pixel of the image sensor. Although it is possible to use an image that is out of focus in order to obtain parallax, it is desirable that the degree of defocus is as small as possible. For this reason, it is desirable to set the initial state of the electrowetting lens to a focus distance that is in focus with respect to the depth of field as deep as possible, that is, pan focus. Or, in addition to this, by providing a plurality of electrowetting lenses having an in-focus distance shorter than that of the pan focus, a plurality of objects that are in focus with respect to a subject closer than half the hyperfocal distance can be obtained. A single-eye image can be acquired, and parallax can be easily detected. In this case, the depth of field by the lens with the shorter focus distance is usually relatively shallow, but it overlaps with the depth of field (pan focus range) by the focus distance of the other lens. Therefore, it is desirable to set the in-focus distance so that it is at least continuous.
図4は三角測距法を説明するための図である。
同図において符号11はレンズ、dはレンズ中心間隔、Lは被写体距離、Oはレンズ光軸と撮像素子の交点、Pは特定被写体、P’は特定被写体の結像点、δは視差をそれぞれ示す。
図5は複眼画像から単一画像を得る流れを示す図である。
同図において符号Sは流れのステップを示す、
演算器5bは、視差情報を利用して画像入力装置から被写体までの距離を検出するためのものである。被写体距離を求める方法として、例えば三角測量の原理を用いた三角測距法が知られている。同図を用いて三角測量による被写体距離の求め方について述べる。レンズ11aの光軸と被写体6の交わる点Pから発した光のうち、レンズ11aを通過した光はレンズ11aの光軸と撮像素子3の交わる点Oaに結像する。一方レンズ11bを通過した光は撮像素子上の点P’に結像する。レンズ11bの光軸と撮像素子3の交わる点をObとすると視差はP’Obである。光学系設計時に既知となるレンズ中心間隔dとレンズアレイ−撮像素子間距離(レンズ焦点距離)f、並びに演算器5aにより求めた視差P’Ob=δにより、被写体距離Lは三角形の比例関係から次式で求めることができる。
L=f×d/δ ・・・(1)
本発明では、このδを上述の相互相関関数を用いて算出する。
FIG. 4 is a diagram for explaining the triangulation method.
In the figure, 11 is a lens, d is a lens center distance, L is a subject distance, O is an intersection of a lens optical axis and an image sensor, P is a specific subject, P ′ is an imaging point of a specific subject, and δ is a parallax. Show.
FIG. 5 is a diagram showing a flow of obtaining a single image from a compound eye image.
In the figure, the symbol S indicates a flow step.
The
L = f × d / δ (1)
In the present invention, this δ is calculated using the cross-correlation function described above.
複眼画像を得たら(S1)、図3にて示したように、基準個眼像50を設定する(S2)。この基準個眼像に対する各個眼像の視差δを検出する(S3)。この視差から被写体距離Lを算出する(S4)。
この被写体距離Lを距離検出手段5bからエレクトロウェッティングレンズ1の制御回路7にフィードバックし(図1(b)参照)、エレクトロウェッティングレンズ1の形状を変化させることにより、被写体に合焦させることができる。これらの視差の検出(S3)からレンズ形状の変化(S5)までを自動的に行うことでオートフォーカス機能を付加することができる。例えば、被写体6aに合焦している図1(a)の状態から、よりレンズに近接した図1(b)の被写体6bに合焦する場合、視差をもとに算出した被写体距離に基づいて1bのようにエレクトロウェッティングレンズ形状を変化させてレンズの焦点距離を短くし、被写体6bにピントが合った複眼像を撮像することができる(S6)。この複眼像を演算器5cにより単一像に再構成する(S7)ことで、近接した被写体6bに合焦した高解像な画像を得ることができる。
本方式によれば、余分な構成部品を必要とせず,被写体距離検出のための簡略な構成を提供することができる。
When a compound eye image is obtained (S1), a reference
The subject distance L is fed back from the distance detection means 5b to the
According to this method, a simple configuration for detecting a subject distance can be provided without requiring extra components.
図6は本発明の他の実施形態を示す図である。
同図において、被写体距離がレンズ焦点距離に比べて非常に大きいことを示すため、破線で区切って、被写体側の距離を縮めて示した。以下の図においても同様である。
図7は図6の構成に対応する単一像を得るための流れを示す図である。
図6に示すように、あるレンズ1aは離れた位置にある被写体6aに、別のレンズ1bはレンズに近接した被写体6bにそれぞれ合焦するように形状を制御して各エレクトロウェッティングレンズの合焦距離を異ならしめることにより、近接した被写体から遠い位置にある被写体にまで合焦した画像をワンショットで撮像することができる。レンズ1a、レンズ1bをそれぞれ複数用いるときは、同一の合焦距離を有する各レンズの群をレンズセットと呼ぶ。この例では、レンズ1aからなるレンズセットと、レンズ1bからなるレンズセットの2組が存在する。
例えば、エレクトロウェッティングレンズを4×4の格子状に並べたレンズアレイを用いた画像入力装置において、半分の8個を近接した被写体に合わせた合焦距離とし、残り半分の8個をパンフォーカスに制御して撮像することで、近接した被写体に合焦し得る8個の個眼像から構成される複眼像と、パンフォーカスの8個の個眼像から構成される複眼像の2通りの複眼像が得られる。これらの複眼像について、それぞれ視差を利用した再構成を演算器5cで行うことにより、近接した被写体に合焦した高解像な単一像とパンフォーカスの高解像な単一像をワンショットで得ることができる。必要に応じてそれぞれの単一像を保存するためのメモリ等は備えておくものとする。
前述と同様に、このときの2つのレンズセットのそれぞれの被写界深度が少なくとも連続するように、それぞれの合焦距離を設定するのが望ましい。
この構成においても、視差をもとに算出した被写体距離に基づいて、どちらか一方のレンズセットの合焦距離を変化させてもよい。その場合は、より高解像な単一像を再構成することができる。
FIG. 6 is a diagram showing another embodiment of the present invention.
In the figure, in order to show that the subject distance is very large compared to the lens focal length, the distance on the subject side is reduced by dividing it with a broken line. The same applies to the following drawings.
FIG. 7 is a diagram showing a flow for obtaining a single image corresponding to the configuration of FIG.
As shown in FIG. 6, the shape of each electrowetting lens is adjusted by controlling the shape so that one
For example, in an image input device using a lens array in which electrowetting lenses are arranged in a 4 × 4 grid, half of the eight lenses are set to the focusing distance, and the other half of the eight are pan-focused. In this way, there are two types of images: a compound eye image composed of eight single-eye images capable of focusing on a close subject and a compound eye image composed of eight single-eye images in pan focus. A compound eye image is obtained. Each of these compound eye images is reconstructed using parallax by the
As described above, it is desirable to set the respective in-focus distances so that the depths of field of the two lens sets at this time are at least continuous.
Also in this configuration, the focusing distance of either one of the lens sets may be changed based on the subject distance calculated based on the parallax. In that case, a higher resolution single image can be reconstructed.
以上の処理フローを、図7に示す。レンズアレイを構成する全てのエレクトロウェッティングレンズの焦点距離が同じ場合に比べて、焦点距離が異なるように制御したエレクトロウェッティングレンズで構成されたレンズアレイを用いて撮影すると、再構成された単一像の解像度は低下してしまう。ただし、画素サイズが小さな撮像素子を用いてレンズひとつあたりの画素数を多くすることで、高解像な単一像を得ることは可能である。
なお、2組のレンズセットは互いに領域を分けて配置することもできるが、被写体距離検出の精度を上げるためより大きな視差が得られるように、各レンズセットの個別のレンズが交互に並ぶようにし、それぞれのレンズセットのレンズが撮像領域全体にほぼ均等に分散するように配置するのが好ましい。この考え方はレンズセットの数が増えても同様に適用できる。
The above processing flow is shown in FIG. Compared to the case where all the electrowetting lenses that make up the lens array have the same focal length, if a photograph is taken using a lens array composed of electrowetting lenses that are controlled to have different focal lengths, the reconstructed single The resolution of one image is reduced. However, it is possible to obtain a high-resolution single image by increasing the number of pixels per lens using an image sensor having a small pixel size.
Although the two lens sets can be arranged separately from each other, the individual lenses of each lens set are arranged alternately so that a larger parallax can be obtained in order to improve the accuracy of subject distance detection. It is preferable that the lenses of each lens set are arranged so as to be substantially evenly distributed over the entire imaging region. This concept can be applied in the same way as the number of lens sets increases.
図8は本発明のさらに他の実施形態を示す図である。
同図において符号10は多焦点型のレンズアレイ、20は被写体を示す。
図9は図8の構成に対応する単一像を得るための流れを示す図である。
本実施形態は、レンズアレイが複数の被写体距離に対して合焦できる機能として、レンズアレイが厚みの異なるレンズから構成されている画像入力装置である。
図8を用いて、レンズアレイが複数の被写体距離に対して合焦する方法を述べる。同図のように厚みの異なる平凸レンズを並べて構成したレンズアレイ10を用いると、各レンズの凸面の曲率が同じならば厚みが大きいほど焦点距離は短い。同じ焦点距離のレンズをまとめて言うときレンズのセットと呼ぶ。同図においては3つのレンズセットが存在する。
レンズと撮像素子間距離が固定の場合には、10a、10b、10cの各レンズがそれぞれ20a、20b、20cの被写体に合焦するというように、レンズの厚みが大きいレンズほど近接した被写体に合焦できる。このような構成の画像入力装置で撮像した複眼像は、異なる被写体距離に部分的に合焦した個眼像から構成されたものとなる。
演算器5bにより被写体距離を算出したら、演算器5dにより、その被写体距離に最も近い合焦距離を有するレンズのセットを決定する。決定したレンズに対応する個眼像のセットを選択し、それらから視差を利用して演算器5cにより再構成することで、自動的に被写体にピントがあった高解像な単一像を得ることができる。
前述と同様に、3つのレンズセットによるそれぞれの被写界深度が少なくとも連続することが望ましい。
FIG. 8 is a view showing still another embodiment of the present invention.
In the figure,
FIG. 9 is a diagram showing a flow for obtaining a single image corresponding to the configuration of FIG.
The present embodiment is an image input device in which the lens array is composed of lenses having different thicknesses as a function that allows the lens array to focus on a plurality of subject distances.
A method of focusing the lens array with respect to a plurality of subject distances will be described with reference to FIG. When the
When the distance between the lens and the image sensor is fixed, the lenses with the larger lens thickness, such as the
When the subject distance is calculated by the
As described above, it is desirable that the depths of field of the three lens sets are at least continuous.
図10は他の単一像の求め方を示す流れ図である。
先にも述べたように、被写体が単一の距離にあるとは限らない。すなわち、被写体に奥行きがある場合、各個眼像を微視的に見れば、ピントのあっている部分と合っていない部分が混在する。
したがって、ある合焦距離を有するレンズに対応する個眼像のセットのみを選択して再構成するのではなく、同じ合焦距離を有するレンズに対応する個眼像のセットからそれぞれ単一像を取得し、それら複数の単一像からピントが合っている部分を抜出し、合成することで全焦点画像を得ることができる。合成する際、合焦距離が異なることにより生じる倍率の違いを調整して、それぞれの部分を合成することがより望ましい。また、単一像において、ピントが合っている部分を抜出す手段として、コントラストを利用した合焦部分検知方法を用いても良い。すなわち、合焦部分抽出手段を設け、コントラストの高い部分を合焦部分として抽出する演算器を持たせる。
この方法は、図8の実施形態のみならず、図6に示した実施形態にも適用できる。図1の構成において、被写体6aの距離に焦点を合わせて得た単一像と、被写体6bの距離に焦点を合わせて得た単一像の双方から、ピントが合っている部分を抜出し、合成することで全焦点画像を得ることも可能である。さらに、以下に示す実施形態にも適用可能である。
FIG. 10 is a flowchart showing another method for obtaining a single image.
As described above, the subject is not always at a single distance. That is, when the subject has a depth, if each individual image is viewed microscopically, a portion that is in focus and a portion that does not match are mixed.
Therefore, instead of selecting and reconstructing only a single eye image set corresponding to a lens having a certain focus distance, a single image is obtained from each single eye image set corresponding to a lens having the same focus distance. An all-in-focus image can be obtained by acquiring, extracting a portion in focus from the plurality of single images, and synthesizing them. When combining, it is more desirable to combine the respective parts by adjusting the difference in magnification caused by the difference in focusing distance. Further, as a means for extracting a focused part in a single image, a focused part detection method using contrast may be used. That is, an in-focus portion extraction unit is provided, and an arithmetic unit that extracts a portion with high contrast as the in-focus portion is provided.
This method can be applied not only to the embodiment of FIG. 8, but also to the embodiment shown in FIG. In the configuration shown in FIG. 1, the in-focus portion is extracted from both the single image obtained by focusing on the distance of the subject 6a and the single image obtained by focusing on the distance of the subject 6b. By doing so, it is possible to obtain an omnifocal image. Furthermore, the present invention can be applied to the following embodiments.
図11は本発明のさらに他の実施形態を示す図である。
同図において符号30はレンズ、40は被写体をそれぞれ示す。
同図に示す曲率の異なる平凸レンズを並べて構成したレンズアレイの場合にも、図8で示した厚みの異なるレンズから構成されたレンズアレイを用いた場合と同様の効果がある。凸面の曲率半径が小さいほど、焦点距離は短い。よって、厚みの異なるレンズから構成されたレンズアレイの場合と同様に、レンズと撮像素子間距離が一定の場合には、30a、30b、30cの各レンズセットがそれぞれ40a、40b、40cの被写体に合焦するというように、レンズの曲率半径が小さいレンズほど近接した被写体に合焦できる。以下、高解像な単一像を得る手順は図8と同様である。
前述と同様に、3つのレンズセットによるそれぞれの被写界深度が少なくとも連続することが望ましい。
本実施形態、および図8に示した実施形態においては、レンズアレイに屈折型のレンズを用いたもので説明したが、フレネルレンズのような回折型のレンズアレイを用いても、同等の効果を得ることができる。
FIG. 11 is a view showing still another embodiment of the present invention.
In the figure,
The lens array in which plano-convex lenses having different curvatures shown in the figure are arranged side by side has the same effect as the case of using the lens array having lenses having different thicknesses shown in FIG. The smaller the radius of curvature of the convex surface, the shorter the focal length. Therefore, as in the case of the lens array composed of lenses having different thicknesses, when the distance between the lens and the image sensor is constant, the lens sets 30a, 30b, and 30c are respectively applied to the
As described above, it is desirable that the depths of field of the three lens sets are at least continuous.
In the present embodiment and the embodiment shown in FIG. 8, the lens array is described as using a refractive lens. However, even if a diffractive lens array such as a Fresnel lens is used, the same effect can be obtained. Obtainable.
1 レンズアレイ
3 撮像素子
5 情報処理回路
6 被写体
7 制御回路
1
Claims (20)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005352364A JP4673202B2 (en) | 2005-12-06 | 2005-12-06 | Image input device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005352364A JP4673202B2 (en) | 2005-12-06 | 2005-12-06 | Image input device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007158825A JP2007158825A (en) | 2007-06-21 |
JP4673202B2 true JP4673202B2 (en) | 2011-04-20 |
Family
ID=38242593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005352364A Expired - Fee Related JP4673202B2 (en) | 2005-12-06 | 2005-12-06 | Image input device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4673202B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110426762A (en) * | 2019-08-02 | 2019-11-08 | 北京理工大学 | A kind of parallel type bionic compound eyes nest area's imaging method and system |
CN110488396A (en) * | 2019-08-02 | 2019-11-22 | 北京理工大学 | It is a kind of for reducing the imaging method of parallel type bionic compound eyes off-axis aberration |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4645358B2 (en) * | 2004-08-20 | 2011-03-09 | ソニー株式会社 | Imaging apparatus and imaging method |
JP4864632B2 (en) | 2006-10-12 | 2012-02-01 | 株式会社リコー | Image input device, image input method, personal authentication device, and electronic device |
DE102007051521A1 (en) * | 2007-10-19 | 2009-04-23 | Seereal Technologies S.A. | Dynamic Waveform Unit |
JP5293950B2 (en) * | 2008-03-04 | 2013-09-18 | 株式会社リコー | Personal authentication device and electronic device |
JP5446797B2 (en) | 2009-12-04 | 2014-03-19 | 株式会社リコー | Imaging device |
JP5609467B2 (en) * | 2010-09-15 | 2014-10-22 | 株式会社リコー | Imaging apparatus and imaging method |
US20140192238A1 (en) | 2010-10-24 | 2014-07-10 | Linx Computational Imaging Ltd. | System and Method for Imaging and Image Processing |
JP5762211B2 (en) * | 2011-08-11 | 2015-08-12 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
JP6079017B2 (en) * | 2012-07-11 | 2017-02-15 | 株式会社リコー | Distance measuring device and distance measuring method |
CN104520745B (en) | 2012-08-06 | 2016-09-28 | 富士胶片株式会社 | Camera head |
JP2014056182A (en) * | 2012-09-13 | 2014-03-27 | Nippon Hoso Kyokai <Nhk> | Imaging device and imaging apparatus |
JP6189061B2 (en) * | 2013-03-19 | 2017-08-30 | 株式会社東芝 | Solid-state imaging device |
JP5953270B2 (en) | 2013-07-04 | 2016-07-20 | オリンパス株式会社 | Imaging device |
CN104614856A (en) * | 2015-02-16 | 2015-05-13 | 杭州清渠科技有限公司 | Imaging device based on fly-eye lens optical structure and imaging method thereof |
JP2016191875A (en) * | 2015-03-31 | 2016-11-10 | 株式会社ニコン | Focus detection device and imaging device |
WO2017154827A1 (en) | 2016-03-11 | 2017-09-14 | 富士フイルム株式会社 | Imaging apparatus |
JP6211137B2 (en) * | 2016-06-02 | 2017-10-11 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, and image processing method |
JP2018019020A (en) * | 2016-07-29 | 2018-02-01 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device |
US20230170368A1 (en) * | 2021-11-30 | 2023-06-01 | Visera Technologies Company Limited | Image sensor and method for detecting images |
CN114903027B (en) * | 2022-04-20 | 2023-09-05 | 中国海关科学技术研究中心 | Treatment method for compound eye back color of diptera insect |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000004871A (en) * | 1998-06-29 | 2000-01-11 | Olympus Optical Co Ltd | Culture container, and microscope for observing samples in the container |
JP2000032354A (en) * | 1998-07-09 | 2000-01-28 | Sony Corp | Image pickup device |
JP2000152281A (en) * | 1998-11-09 | 2000-05-30 | Sony Corp | Image pickup device |
JP2003141529A (en) * | 2001-11-02 | 2003-05-16 | Japan Science & Technology Corp | Image reconstruction method and device |
JP2003143459A (en) * | 2001-11-02 | 2003-05-16 | Canon Inc | Compound-eye image pickup system and device provided therewith |
JP2004311666A (en) * | 2003-04-04 | 2004-11-04 | Kyocera Corp | Solid state imaging element |
JP2005506778A (en) * | 2001-10-11 | 2005-03-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 2D / 3D display device |
JP2005109622A (en) * | 2003-09-29 | 2005-04-21 | Minolta Co Ltd | Multiple-lens imaging apparatus and mobile communication terminal |
JP2005167484A (en) * | 2003-12-01 | 2005-06-23 | Japan Science & Technology Agency | Image configuration apparatus and image configuration method |
JP2005268995A (en) * | 2004-03-17 | 2005-09-29 | Hitachi Kokusai Electric Inc | Imaging apparatus |
JP2005303694A (en) * | 2004-04-13 | 2005-10-27 | Konica Minolta Holdings Inc | Compound eye imaging device |
JP2006217131A (en) * | 2005-02-02 | 2006-08-17 | Matsushita Electric Ind Co Ltd | Imaging apparatus |
JP2007500874A (en) * | 2003-05-14 | 2007-01-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Variable shape lens |
JP2007520166A (en) * | 2004-01-26 | 2007-07-19 | ディジタル・オプティックス・コーポレイション | Thin camera with sub-pixel resolution |
-
2005
- 2005-12-06 JP JP2005352364A patent/JP4673202B2/en not_active Expired - Fee Related
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000004871A (en) * | 1998-06-29 | 2000-01-11 | Olympus Optical Co Ltd | Culture container, and microscope for observing samples in the container |
JP2000032354A (en) * | 1998-07-09 | 2000-01-28 | Sony Corp | Image pickup device |
JP2000152281A (en) * | 1998-11-09 | 2000-05-30 | Sony Corp | Image pickup device |
JP2005506778A (en) * | 2001-10-11 | 2005-03-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 2D / 3D display device |
JP2003141529A (en) * | 2001-11-02 | 2003-05-16 | Japan Science & Technology Corp | Image reconstruction method and device |
JP2003143459A (en) * | 2001-11-02 | 2003-05-16 | Canon Inc | Compound-eye image pickup system and device provided therewith |
JP2004311666A (en) * | 2003-04-04 | 2004-11-04 | Kyocera Corp | Solid state imaging element |
JP2007500874A (en) * | 2003-05-14 | 2007-01-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Variable shape lens |
JP2005109622A (en) * | 2003-09-29 | 2005-04-21 | Minolta Co Ltd | Multiple-lens imaging apparatus and mobile communication terminal |
JP2005167484A (en) * | 2003-12-01 | 2005-06-23 | Japan Science & Technology Agency | Image configuration apparatus and image configuration method |
JP2007520166A (en) * | 2004-01-26 | 2007-07-19 | ディジタル・オプティックス・コーポレイション | Thin camera with sub-pixel resolution |
JP2005268995A (en) * | 2004-03-17 | 2005-09-29 | Hitachi Kokusai Electric Inc | Imaging apparatus |
JP2005303694A (en) * | 2004-04-13 | 2005-10-27 | Konica Minolta Holdings Inc | Compound eye imaging device |
JP2006217131A (en) * | 2005-02-02 | 2006-08-17 | Matsushita Electric Ind Co Ltd | Imaging apparatus |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110426762A (en) * | 2019-08-02 | 2019-11-08 | 北京理工大学 | A kind of parallel type bionic compound eyes nest area's imaging method and system |
CN110488396A (en) * | 2019-08-02 | 2019-11-22 | 北京理工大学 | It is a kind of for reducing the imaging method of parallel type bionic compound eyes off-axis aberration |
CN110488396B (en) * | 2019-08-02 | 2020-10-09 | 北京理工大学 | Imaging method for reducing parallel bionic compound eye off-axis aberration |
Also Published As
Publication number | Publication date |
---|---|
JP2007158825A (en) | 2007-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4673202B2 (en) | Image input device | |
JP7043085B2 (en) | Devices and methods for acquiring distance information from a viewpoint | |
US9204067B2 (en) | Image sensor and image capturing apparatus | |
EP2336816B1 (en) | Imaging device | |
US10375292B2 (en) | Image pickup apparatus and method for generating image having depth information | |
JP4935544B2 (en) | Imaging device | |
CN107395924B (en) | Image processing apparatus, image capturing apparatus, and image processing method | |
EP3480648B1 (en) | Adaptive three-dimensional imaging system | |
JP5214754B2 (en) | Solid-state imaging device and portable information terminal | |
JP2017016103A (en) | Adaptive autofocusing system | |
JP2009175680A (en) | Light receiving device, focal point detecting device and imaging device | |
JP2019109124A (en) | Ranging camera | |
JP7288226B2 (en) | ranging camera | |
CN108805921B (en) | Image acquisition system and method | |
CN108540693B (en) | Image capturing apparatus and image capturing unit | |
JP2011149931A (en) | Distance image acquisition device | |
JP2009216600A (en) | Distance measuring device | |
US20120147247A1 (en) | Optical system and imaging apparatus including the same | |
JP2002191060A (en) | Three-dimensional imaging unit | |
JP2009151154A (en) | Photodetector, focus detector and imaging apparatus | |
KR20140140495A (en) | Aparatus and method for obtaining spatial information using active lens array | |
JP6257201B2 (en) | FOCUS DETECTION DEVICE, ITS CONTROL METHOD, CONTROL PROGRAM, AND IMAGING DEVICE | |
JP7328589B2 (en) | ranging camera | |
JP7522571B2 (en) | Imaging device, control method thereof, program, and storage medium | |
CN108540714B (en) | Image capturing apparatus, image capturing system, image capturing apparatus control method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110118 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4673202 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140128 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |