JPH10290389A - マルチフォーカス画像作成方法及び画像作成装置 - Google Patents
マルチフォーカス画像作成方法及び画像作成装置Info
- Publication number
- JPH10290389A JPH10290389A JP9098668A JP9866897A JPH10290389A JP H10290389 A JPH10290389 A JP H10290389A JP 9098668 A JP9098668 A JP 9098668A JP 9866897 A JP9866897 A JP 9866897A JP H10290389 A JPH10290389 A JP H10290389A
- Authority
- JP
- Japan
- Prior art keywords
- image
- focus
- images
- focused
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 画像解析に使用できるマルチフォーカス画像
を大光量照明や長時間露光を行うことなく容易に得るこ
とができない。 【解決手段】 カメラ12のレンズ駆動部22によっ
て、画像撮影中に順次異なる画像深度でフォーカスが合
っている同一撮影範囲の画像を複数取得し、画像作成部
14の処理本体部26で、取得した各画像からフォーカ
スが合っている部分画像を抽出し、抽出した部分画像を
合成して前記撮影範囲を再合成しマルチフォーカス画像
を作成する。
を大光量照明や長時間露光を行うことなく容易に得るこ
とができない。 【解決手段】 カメラ12のレンズ駆動部22によっ
て、画像撮影中に順次異なる画像深度でフォーカスが合
っている同一撮影範囲の画像を複数取得し、画像作成部
14の処理本体部26で、取得した各画像からフォーカ
スが合っている部分画像を抽出し、抽出した部分画像を
合成して前記撮影範囲を再合成しマルチフォーカス画像
を作成する。
Description
【0001】
【発明の属する技術分野】本発明は、目的とする撮影範
囲の全領域においてフォーカスが合うマルチフォーカス
画像作成方法およびマルチフォーカス画像作成装置、特
に、画像解析等に使用できるマルチフォーカス画像を容
易に得ることのできるマルチフォーカス画像作成方法お
よびマルチフォーカス画像作成装置に関する。
囲の全領域においてフォーカスが合うマルチフォーカス
画像作成方法およびマルチフォーカス画像作成装置、特
に、画像解析等に使用できるマルチフォーカス画像を容
易に得ることのできるマルチフォーカス画像作成方法お
よびマルチフォーカス画像作成装置に関する。
【0002】
【従来の技術】従来から精密加工部品等の加工精度の検
査や移動物体の運動特性解析を行うために画像処理を用
いる解析手法が採用されている。例えば、自動車のエン
ジンの内側のボア内部やシリンダ表面等の加工精度の検
査を行うためには、まず、検査対象部分の撮影を行う。
そして、得られた画像を画素単位で解析して、表面の傷
の大きさ(面積)や個数の算出を行い加工の良否判断を
行っている。
査や移動物体の運動特性解析を行うために画像処理を用
いる解析手法が採用されている。例えば、自動車のエン
ジンの内側のボア内部やシリンダ表面等の加工精度の検
査を行うためには、まず、検査対象部分の撮影を行う。
そして、得られた画像を画素単位で解析して、表面の傷
の大きさ(面積)や個数の算出を行い加工の良否判断を
行っている。
【0003】ところで、部品の表面等の撮影を行う場
合、マクロ撮影を行う必要がある。マクロ撮影を行う場
合、被写界深度は非常に狭くなる。特に、表面に凹凸が
多い部品や立体的形状を有する部品では、表面の一部に
しかフォーカスを合わせることができない。また、移動
物体の運動特性を解析する場合、遠景、中景、近景等全
てに良好なフォーカスを合わせることは困難であった。
合、マクロ撮影を行う必要がある。マクロ撮影を行う場
合、被写界深度は非常に狭くなる。特に、表面に凹凸が
多い部品や立体的形状を有する部品では、表面の一部に
しかフォーカスを合わせることができない。また、移動
物体の運動特性を解析する場合、遠景、中景、近景等全
てに良好なフォーカスを合わせることは困難であった。
【0004】このような場合、従来では、大規模な大光
量照明装置を活用して、被写界深度を拡大して撮影を行
ったり、長時間露光により被写界深度を拡大して撮影を
行う等の対策を行い、解析範囲の全体においてフォーカ
スが合った画像を取得していた。
量照明装置を活用して、被写界深度を拡大して撮影を行
ったり、長時間露光により被写界深度を拡大して撮影を
行う等の対策を行い、解析範囲の全体においてフォーカ
スが合った画像を取得していた。
【0005】
【発明が解決しようとする課題】しかし、上述したよう
な大規模な大光量照明装置による被写界深度の拡大を行
うと、撮影対象物が加熱され熱変形を起こしたり、材質
が変質してしまうおそれがあるという問題がある。ま
た、長時間露光により被写界深度の拡大を行う場合、僅
かな振動でピント(フォーカス)がずれてしまうので、
撮影環境の設定が煩雑になり撮影が大掛かりになると共
に時間がかかる。また、長時間露光は移動物体、特に高
速移動物体の撮影には適用することができないという問
題がある。
な大規模な大光量照明装置による被写界深度の拡大を行
うと、撮影対象物が加熱され熱変形を起こしたり、材質
が変質してしまうおそれがあるという問題がある。ま
た、長時間露光により被写界深度の拡大を行う場合、僅
かな振動でピント(フォーカス)がずれてしまうので、
撮影環境の設定が煩雑になり撮影が大掛かりになると共
に時間がかかる。また、長時間露光は移動物体、特に高
速移動物体の撮影には適用することができないという問
題がある。
【0006】なお、マルチフォーカス画像を取得する方
法として、特開平7−30791号には、近景と遠景の
映像を光学系により分岐させて、ビデオ信号の奇数走査
線に近景の映像、偶数走査線に遠景の映像を表示させる
ことによって、近景と遠景の両方にフォーカスが合って
いるような映像を表示する技術が開示されている。しか
し、視覚的にマルチフォーカス画像を形成しているのみ
なので、画素単位で画像解析を行うことは困難であっ
た。
法として、特開平7−30791号には、近景と遠景の
映像を光学系により分岐させて、ビデオ信号の奇数走査
線に近景の映像、偶数走査線に遠景の映像を表示させる
ことによって、近景と遠景の両方にフォーカスが合って
いるような映像を表示する技術が開示されている。しか
し、視覚的にマルチフォーカス画像を形成しているのみ
なので、画素単位で画像解析を行うことは困難であっ
た。
【0007】本発明は、このような問題を解決すること
を課題としてなされたものであり、画像解析に使用でき
るマルチフォーカス画像を容易に得ることのできるマル
チフォーカス画像作成方法およびマルチフォーカス画像
作成装置を提供することを目的とする。
を課題としてなされたものであり、画像解析に使用でき
るマルチフォーカス画像を容易に得ることのできるマル
チフォーカス画像作成方法およびマルチフォーカス画像
作成装置を提供することを目的とする。
【0008】
【課題を解決するための手段】上記のような目的を達成
するために、本発明の構成は、画像撮影手段によって取
得した画像に基づいてマルチフォーカス画像を作成する
マルチフォーカス画像作成方法であって、異なる画像深
度でフォーカスが合っている同一撮影範囲の画像を複数
取得する画像取得ステップと、取得した各画像からフォ
ーカスが合っている部分画像を抽出する抽出ステップ
と、抽出した部分画像を合成して前記撮影範囲を再合成
しマルチフォーカス画像を作成する作成ステップと、を
含むことを特徴とする。
するために、本発明の構成は、画像撮影手段によって取
得した画像に基づいてマルチフォーカス画像を作成する
マルチフォーカス画像作成方法であって、異なる画像深
度でフォーカスが合っている同一撮影範囲の画像を複数
取得する画像取得ステップと、取得した各画像からフォ
ーカスが合っている部分画像を抽出する抽出ステップ
と、抽出した部分画像を合成して前記撮影範囲を再合成
しマルチフォーカス画像を作成する作成ステップと、を
含むことを特徴とする。
【0009】ここで、画像深度とは任意の位置を基準に
したときの奥行き方向の深さであり、近景、中景、遠景
等任意の距離にある被写体までの深さをいう。また、画
像撮影手段によって取得される画像は撮影範囲内の一部
でフォーカスが合っている画像である。
したときの奥行き方向の深さであり、近景、中景、遠景
等任意の距離にある被写体までの深さをいう。また、画
像撮影手段によって取得される画像は撮影範囲内の一部
でフォーカスが合っている画像である。
【0010】この構成によれば、取得した複数の画像の
中からフォーカスの合っている部分画像のみを抽出して
画像の再合成を行うので、個々のフォーカス位置におけ
る被写界深度を拡大する必要が無く、大光量の照明装置
を用いたり露光時間を長くしたりする必要が無くなる。
そして、撮影範囲の全領域においてフォーカスが合って
いるマルチフォーカス画像を得ることができる。なお、
前記マルチフォーカス画像を部品等の加工良否判定に使
用する場合は、背景部分等解析に不要な部分をマルチフ
ォーカス画像の再合成の対象外としてもよい。
中からフォーカスの合っている部分画像のみを抽出して
画像の再合成を行うので、個々のフォーカス位置におけ
る被写界深度を拡大する必要が無く、大光量の照明装置
を用いたり露光時間を長くしたりする必要が無くなる。
そして、撮影範囲の全領域においてフォーカスが合って
いるマルチフォーカス画像を得ることができる。なお、
前記マルチフォーカス画像を部品等の加工良否判定に使
用する場合は、背景部分等解析に不要な部分をマルチフ
ォーカス画像の再合成の対象外としてもよい。
【0011】上記のような目的を達成するために、本発
明の構成は、前記画像取得ステップは、画像撮影手段の
レンズのフォーカス位置を順次移動して、異なる画像深
度でフォーカスの合った画像を複数取得することを特徴
とする。
明の構成は、前記画像取得ステップは、画像撮影手段の
レンズのフォーカス位置を順次移動して、異なる画像深
度でフォーカスの合った画像を複数取得することを特徴
とする。
【0012】ここで、レンズのフォーカス位置調整はモ
ータやボールネジ等を用いた自動調整でも手動調整でも
よい。また、画像取得タイミングは連続的でもよいし、
予め設定した所定画像深度の部分で間欠的に行ってもよ
い。たたし、間欠的に画像取得を行う場合には、抽出し
た複数の部分画像で必要とするマルチフォーカス画像の
全領域をカバーできるように撮影条件に基づく被写界深
度に応じて、画像取得タイミング(取得間隔)を設定す
る必要がある。
ータやボールネジ等を用いた自動調整でも手動調整でも
よい。また、画像取得タイミングは連続的でもよいし、
予め設定した所定画像深度の部分で間欠的に行ってもよ
い。たたし、間欠的に画像取得を行う場合には、抽出し
た複数の部分画像で必要とするマルチフォーカス画像の
全領域をカバーできるように撮影条件に基づく被写界深
度に応じて、画像取得タイミング(取得間隔)を設定す
る必要がある。
【0013】この構成によれば、レンズ部分の改良のみ
でマルチフォーカス画像合成に必要な各画像深度の画像
を容易に取得することができる。特に撮影対象の形状が
安定しない場合や撮影対象の種類が複数ある場合等でフ
ォーカス位置を固定できない場合にフォーカス位置の変
更が容易で撮影作業をスムーズに行うことができる。
でマルチフォーカス画像合成に必要な各画像深度の画像
を容易に取得することができる。特に撮影対象の形状が
安定しない場合や撮影対象の種類が複数ある場合等でフ
ォーカス位置を固定できない場合にフォーカス位置の変
更が容易で撮影作業をスムーズに行うことができる。
【0014】上記のような目的を達成するために、本発
明の構成は、前記画像取得ステップは、さらに、画像撮
影手段に入射した画像を分光手段によって複数方向に投
射にする分離投射ステップと、分離投射された個々の画
像を異なる光路距離に配置された画像取得手段上で結像
させ異なる画像深度でフォーカスの合った画像を取得す
る取得ステップと、を含むことを特徴とする。
明の構成は、前記画像取得ステップは、さらに、画像撮
影手段に入射した画像を分光手段によって複数方向に投
射にする分離投射ステップと、分離投射された個々の画
像を異なる光路距離に配置された画像取得手段上で結像
させ異なる画像深度でフォーカスの合った画像を取得す
る取得ステップと、を含むことを特徴とする。
【0015】ここで、前記分光手段は、例えばハーフミ
ラーとプリズムを組み合わせたもので、例えば3方向に
像を投射するもので、画像取得手段は近景、中景、遠景
等それぞれの位置で部分的にフォーカスが合っている画
像を取得する。なお、前記分光手段の分光数は任意であ
り、また分光手段と画像取得手段との距離も任意に調整
可能である。
ラーとプリズムを組み合わせたもので、例えば3方向に
像を投射するもので、画像取得手段は近景、中景、遠景
等それぞれの位置で部分的にフォーカスが合っている画
像を取得する。なお、前記分光手段の分光数は任意であ
り、また分光手段と画像取得手段との距離も任意に調整
可能である。
【0016】この構成によれば、複雑な駆動機構を必要
とすることなくマルチフォーカス画像合成に必要な各画
像深度の画像を容易に取得することができる。特に、撮
影対象の画像深度が限定されている場合に、安定した画
像を簡単な構成で得ることができる。
とすることなくマルチフォーカス画像合成に必要な各画
像深度の画像を容易に取得することができる。特に、撮
影対象の画像深度が限定されている場合に、安定した画
像を簡単な構成で得ることができる。
【0017】上記のような目的を達成するために、本発
明の構成は、前記画像取得ステップは、撮影対象を光学
的に走査するステップと、異なる画像深度でフォーカス
が合っている複数の画像撮影手段で走査画像を同時に取
得する取得ステップと、を含むことを特徴とする。
明の構成は、前記画像取得ステップは、撮影対象を光学
的に走査するステップと、異なる画像深度でフォーカス
が合っている複数の画像撮影手段で走査画像を同時に取
得する取得ステップと、を含むことを特徴とする。
【0018】ここで、撮影対象はその一面側がスキャナ
ー等によって走査される。この構成によれば、小形部品
等を対象とするマルチフォーカス画像合成に必要な各画
像深度の画像を容易に取得することができる。
ー等によって走査される。この構成によれば、小形部品
等を対象とするマルチフォーカス画像合成に必要な各画
像深度の画像を容易に取得することができる。
【0019】上記のような目的を達成するために、本発
明の構成は、前記画像取得ステップは、異なる画像深度
でフォーカスの合った画像を記憶保持する保持ステップ
を含むことを特徴とする。
明の構成は、前記画像取得ステップは、異なる画像深度
でフォーカスの合った画像を記憶保持する保持ステップ
を含むことを特徴とする。
【0020】ここで、画像の保持は、磁気記憶媒体や光
記憶媒体等によって行われる。この構成によれば、撮影
場所の制限を受けることなく撮影対象の任意の場所で画
像収集を行い別途マルチフォーカス画像の合成を行うこ
とができるので撮影作業性が向上する。
記憶媒体等によって行われる。この構成によれば、撮影
場所の制限を受けることなく撮影対象の任意の場所で画
像収集を行い別途マルチフォーカス画像の合成を行うこ
とができるので撮影作業性が向上する。
【0021】上記のような目的を達成するために、本発
明の構成は、画像撮影手段によって取得した画像に基づ
いてマルチフォーカス画像を作成するマルチフォーカス
画像作成装置であって、異なる画像深度でフォーカスが
合っている同一撮影範囲の画像を複数取得する画像取得
手段と、取得した画像を記憶する記憶手段と、記憶した
各画像からフォーカスが合っている部分画像を抽出する
抽出手段と、抽出した部分画像を合成して前記撮影範囲
を再合成しマルチフォーカス画像を作成する合成手段
と、少なくとも前記マルチフォーカス画像を表示する表
示手段と、を含むことを特徴とする。
明の構成は、画像撮影手段によって取得した画像に基づ
いてマルチフォーカス画像を作成するマルチフォーカス
画像作成装置であって、異なる画像深度でフォーカスが
合っている同一撮影範囲の画像を複数取得する画像取得
手段と、取得した画像を記憶する記憶手段と、記憶した
各画像からフォーカスが合っている部分画像を抽出する
抽出手段と、抽出した部分画像を合成して前記撮影範囲
を再合成しマルチフォーカス画像を作成する合成手段
と、少なくとも前記マルチフォーカス画像を表示する表
示手段と、を含むことを特徴とする。
【0022】この構成によれば、取得した複数の画像の
中からフォーカスの合っている部分画像のみを抽出して
画像の再合成を行うので、被写界深度の拡大が不要にな
り、大光量の照明装置を用いたり露光時間を長くしたり
することなく、撮影範囲の全領域においてフォーカスが
合っているマルチフォーカス画像を得ることができる。
中からフォーカスの合っている部分画像のみを抽出して
画像の再合成を行うので、被写界深度の拡大が不要にな
り、大光量の照明装置を用いたり露光時間を長くしたり
することなく、撮影範囲の全領域においてフォーカスが
合っているマルチフォーカス画像を得ることができる。
【0023】
【発明の実施の形態】以下、本発明の好適な実施の形態
(以下、実施形態という)を図面に基づき説明する。図
1には、本実施形態のマルチフォーカス画像作成方法を
実現するためのマルチフォーカス画像作成装置(以下、
単に作成装置という)10の構成概念図が示されてい
る。前記作成装置10は撮影対象である部品等の撮影を
行うCCDカメラ(以下、単にカメラという)12と撮
影した画像の処理を行う画像作成部(例えばパーソナル
コンピュータ)14とから構成されている。
(以下、実施形態という)を図面に基づき説明する。図
1には、本実施形態のマルチフォーカス画像作成方法を
実現するためのマルチフォーカス画像作成装置(以下、
単に作成装置という)10の構成概念図が示されてい
る。前記作成装置10は撮影対象である部品等の撮影を
行うCCDカメラ(以下、単にカメラという)12と撮
影した画像の処理を行う画像作成部(例えばパーソナル
コンピュータ)14とから構成されている。
【0024】本実施形態の特徴的事項は、図2に示すよ
うに異なる画像深度(例えば、遠景、中景、近景)でフ
ォーカスが合っている同一撮影範囲の画像を複数取得
し、取得した複数の画像の中からフォーカスの合ってい
る部分画像のみを抽出して画像の再合成を行いマルチフ
ォーカス画像を得るところである。なお、図2の場合、
フォーカスが合っていない部分は省略している。
うに異なる画像深度(例えば、遠景、中景、近景)でフ
ォーカスが合っている同一撮影範囲の画像を複数取得
し、取得した複数の画像の中からフォーカスの合ってい
る部分画像のみを抽出して画像の再合成を行いマルチフ
ォーカス画像を得るところである。なお、図2の場合、
フォーカスが合っていない部分は省略している。
【0025】作成装置10の場合、異なる画像深度でフ
ォーカスが合っている同一撮影範囲の画像を複数取得す
るために、画像取得手段としてのカメラ12はレンズ1
6と、カメラ本体18と、CCD撮像部20と、レンズ
駆動部22と、フォーカス制御部24とを含んでいる。
一方、画像作成部14は、前記カメラ12の制御や作成
装置10全体の制御を行う制御部や、カメラ12が取得
した画像の中からフォーカスの合っている部分を抽出す
る画像抽出部、抽出した画像を組み合わせて元の撮影範
囲の画像を再合成する再合成部(合成手段)や画像の記
憶手段等を含む処理本体部26、撮影画像や合成画像の
表示や作成装置10の操作手順や処理内容の表示を行う
表示部28、作成装置10の操作や合成した画像修正を
手動で行うためのキーボードやマウス等から構成されて
いる。
ォーカスが合っている同一撮影範囲の画像を複数取得す
るために、画像取得手段としてのカメラ12はレンズ1
6と、カメラ本体18と、CCD撮像部20と、レンズ
駆動部22と、フォーカス制御部24とを含んでいる。
一方、画像作成部14は、前記カメラ12の制御や作成
装置10全体の制御を行う制御部や、カメラ12が取得
した画像の中からフォーカスの合っている部分を抽出す
る画像抽出部、抽出した画像を組み合わせて元の撮影範
囲の画像を再合成する再合成部(合成手段)や画像の記
憶手段等を含む処理本体部26、撮影画像や合成画像の
表示や作成装置10の操作手順や処理内容の表示を行う
表示部28、作成装置10の操作や合成した画像修正を
手動で行うためのキーボードやマウス等から構成されて
いる。
【0026】まず、異なる画像深度でフォーカスが合っ
ている画像の取得手順を説明する。なお、本実施形態の
場合、撮影対象の画像深度は遠景、中景、近景の3深度
に分割する場合を説明するが、撮影対象の奥行きと撮影
条件における被写界深度によって、前記分割数は任意で
あり、例えば、5分割、8分割としてもよい。
ている画像の取得手順を説明する。なお、本実施形態の
場合、撮影対象の画像深度は遠景、中景、近景の3深度
に分割する場合を説明するが、撮影対象の奥行きと撮影
条件における被写界深度によって、前記分割数は任意で
あり、例えば、5分割、8分割としてもよい。
【0027】処理本体部26では、撮影対象の大きさ、
奥行き、凹凸状態および撮影時の撮影環境における被写
界深度(照明の強さ等によって異なる)に基づいて撮影
対象の画像深度毎のフォーカス位置の設定を行う。な
お、この場合、被写界深度に基づいてフォーカスの合っ
ている部分が遠景、中景、近景で接するか重複するよう
にフォーカス位置の設定を行う。処理本体部26で設定
されたフォーカス位置のデータは、フォーカス制御部2
4に供給され、撮影対象の撮影の開始と同時にレンズ駆
動部22(例えば、パルスモータ)が駆動される。そし
て、レンズ駆動部22によってレンズ駆動用ギア16a
を回転させることによって、レンズ16のフォーカス
を、例えば遠景位置から近景位置(近景位置から遠景位
置でもよい)に移動する。この時、レンズ駆動部22の
駆動状態(フォーカス位置までの距離等)は、フォーカ
ス制御部24を介してリアルタイムで処理本体部26に
フィードバックされ、後述する画像取得のタイミング認
識や画像のセンタリング補正やアフィン変換を行う時に
利用される。
奥行き、凹凸状態および撮影時の撮影環境における被写
界深度(照明の強さ等によって異なる)に基づいて撮影
対象の画像深度毎のフォーカス位置の設定を行う。な
お、この場合、被写界深度に基づいてフォーカスの合っ
ている部分が遠景、中景、近景で接するか重複するよう
にフォーカス位置の設定を行う。処理本体部26で設定
されたフォーカス位置のデータは、フォーカス制御部2
4に供給され、撮影対象の撮影の開始と同時にレンズ駆
動部22(例えば、パルスモータ)が駆動される。そし
て、レンズ駆動部22によってレンズ駆動用ギア16a
を回転させることによって、レンズ16のフォーカス
を、例えば遠景位置から近景位置(近景位置から遠景位
置でもよい)に移動する。この時、レンズ駆動部22の
駆動状態(フォーカス位置までの距離等)は、フォーカ
ス制御部24を介してリアルタイムで処理本体部26に
フィードバックされ、後述する画像取得のタイミング認
識や画像のセンタリング補正やアフィン変換を行う時に
利用される。
【0028】一方、レンズ16を介してCCD撮像部2
0にて記録された画像はリアルタイムで処理本体部26
に転送され、当該処理本体部26は前記レンズ駆動部2
2からフィードバックされたフォーカス位置を確認し、
予め設定されたフォーカス位置と一致した時に、当該フ
ォーカス位置と部分的にピントが合っている画像を記録
保持する。
0にて記録された画像はリアルタイムで処理本体部26
に転送され、当該処理本体部26は前記レンズ駆動部2
2からフィードバックされたフォーカス位置を確認し、
予め設定されたフォーカス位置と一致した時に、当該フ
ォーカス位置と部分的にピントが合っている画像を記録
保持する。
【0029】同様に、処理本体部26はレンズ駆動部2
2によって設定したフォーカス位置にレンズ16のフォ
ーカスが合ったことを確認しながら部分的にピントが合
っている遠景から近景に向かって順次ピントの位置が変
化する画像を記録保持する。この場合、処理本体部26
は、レンズ駆動部22が連続的にフォーカス位置の移動
を行っている間に画像に記録を行ってもよいし、間欠的
にフォーカス位置の移動を行いフォーカス位置が固定さ
れた時に画像記録を行うようにしてもよい。なお、この
ような画像取得を行うことによって、所望の位置でフォ
ーカスの合っている画像を所望する枚数だけ得ることが
できる。
2によって設定したフォーカス位置にレンズ16のフォ
ーカスが合ったことを確認しながら部分的にピントが合
っている遠景から近景に向かって順次ピントの位置が変
化する画像を記録保持する。この場合、処理本体部26
は、レンズ駆動部22が連続的にフォーカス位置の移動
を行っている間に画像に記録を行ってもよいし、間欠的
にフォーカス位置の移動を行いフォーカス位置が固定さ
れた時に画像記録を行うようにしてもよい。なお、この
ような画像取得を行うことによって、所望の位置でフォ
ーカスの合っている画像を所望する枚数だけ得ることが
できる。
【0030】次に、図1〜図7を用いてマルチフォーカ
ス画像の合成手順を説明する。図3は、マルチフォーカ
ス画像の合成手順を説明する説明図である。処理本体部
26は部分的にフォーカスの合っている画像を取得する
と(S100)、始めに取得画面のセンタリング補正を
行う(S101)。一般に、カメラ12を三脚等で固定
した状態でフォーカス調整を行うと、レンズ16の光軸
の誤差によってCCD撮像部20上に結像する撮影対象
の位置(例えば中心)がずれる。そのため、本実施形態
のようにフォーカス位置の異なる画像の一部を複数合成
する場合、合成画像に位置ズレが生じる。この位置ズレ
は、レンズ16毎の固有の特性であるためフォーカス位
置に対応した上方向、下方向、左方向、右方向の移動量
を予め算出して対応テーブルを作成しておく。
ス画像の合成手順を説明する。図3は、マルチフォーカ
ス画像の合成手順を説明する説明図である。処理本体部
26は部分的にフォーカスの合っている画像を取得する
と(S100)、始めに取得画面のセンタリング補正を
行う(S101)。一般に、カメラ12を三脚等で固定
した状態でフォーカス調整を行うと、レンズ16の光軸
の誤差によってCCD撮像部20上に結像する撮影対象
の位置(例えば中心)がずれる。そのため、本実施形態
のようにフォーカス位置の異なる画像の一部を複数合成
する場合、合成画像に位置ズレが生じる。この位置ズレ
は、レンズ16毎の固有の特性であるためフォーカス位
置に対応した上方向、下方向、左方向、右方向の移動量
を予め算出して対応テーブルを作成しておく。
【0031】図4には、フォーカス位置と移動量との関
係を示す対応テーブルの一例が示されている。この対応
テーブルに従ってセンタリング補正を行えば、処理本体
部26の認識している画像処理のための座標中心に取得
した画像の中心を合わせることができる。図4に示すよ
うに、各フォーカス位置にはレンズ16からの距離に対
応して番号(例えば1〜100)が付されている。そし
て、処理本体部26は取得した画像に対して予め設定し
たフォーカス位置に対応した画像センター位置の補正を
行う。例えば、レンズ16から10.0mの位置(番号
99)でフォーカスが合っている画像Aを取得した場
合、その画像を下方向に3ドット、右方向に2ドット移
動すれば、処理本体部26の認識している画像処理のた
めの座標中心に取得した画像Aの中心を合わせることが
できる。同様に、9.0mの位置(番号98)でフォー
カスが合っている画像Bに関しては、当該画像Bを下方
向に6ドット、右方向に7ドット移動すれば、画像Bの
中心を処理本体部26の認識している座標中心、すなわ
ち前記画像Aの中心と一致させることができる。同様
に、各フォーカス位置でフォーカスが合っている画像の
センタリング補正を行う。その結果、後述するように、
各画像の一部分をそれぞれ抽出して合成した場合でもセ
ンタリング補正が行われているので合成画像にズレが生
じなくなる。
係を示す対応テーブルの一例が示されている。この対応
テーブルに従ってセンタリング補正を行えば、処理本体
部26の認識している画像処理のための座標中心に取得
した画像の中心を合わせることができる。図4に示すよ
うに、各フォーカス位置にはレンズ16からの距離に対
応して番号(例えば1〜100)が付されている。そし
て、処理本体部26は取得した画像に対して予め設定し
たフォーカス位置に対応した画像センター位置の補正を
行う。例えば、レンズ16から10.0mの位置(番号
99)でフォーカスが合っている画像Aを取得した場
合、その画像を下方向に3ドット、右方向に2ドット移
動すれば、処理本体部26の認識している画像処理のた
めの座標中心に取得した画像Aの中心を合わせることが
できる。同様に、9.0mの位置(番号98)でフォー
カスが合っている画像Bに関しては、当該画像Bを下方
向に6ドット、右方向に7ドット移動すれば、画像Bの
中心を処理本体部26の認識している座標中心、すなわ
ち前記画像Aの中心と一致させることができる。同様
に、各フォーカス位置でフォーカスが合っている画像の
センタリング補正を行う。その結果、後述するように、
各画像の一部分をそれぞれ抽出して合成した場合でもセ
ンタリング補正が行われているので合成画像にズレが生
じなくなる。
【0032】続いて、処理本体部26はアフィン変換を
行う(S102)。一般に、カメラ12を三脚等で固定
した状態でフォーカス調整を行うと、CCD撮像部20
上に結像する撮影対象の大きさは変化する。つまり、同
じ場所から近景にフォーカスを合わせて得た画像と遠景
にフォーカスを合わせて得た画像とでは、遠景より近景
の方が大きく結像する。そのため、本実施形態のように
フォーカス位置の異なる画像の一部を複数合成する場
合、合成画像に大きさのズレが生じる。この大きさのズ
レも前記位置ズレと同様にレンズ16毎の固有の特性で
あるためフォーカス位置に対応して、任意のフォーカス
位置を基準にした縮小率、拡大率を示す対応テーブル予
め準備しておく。
行う(S102)。一般に、カメラ12を三脚等で固定
した状態でフォーカス調整を行うと、CCD撮像部20
上に結像する撮影対象の大きさは変化する。つまり、同
じ場所から近景にフォーカスを合わせて得た画像と遠景
にフォーカスを合わせて得た画像とでは、遠景より近景
の方が大きく結像する。そのため、本実施形態のように
フォーカス位置の異なる画像の一部を複数合成する場
合、合成画像に大きさのズレが生じる。この大きさのズ
レも前記位置ズレと同様にレンズ16毎の固有の特性で
あるためフォーカス位置に対応して、任意のフォーカス
位置を基準にした縮小率、拡大率を示す対応テーブル予
め準備しておく。
【0033】図5には、遠景でフォーカスを合わせた画
像を基準にした場合のフォーカス位置毎の縮小率と、近
景でフォーカスを合わせた画像を基準にした場合のフォ
ーカス位置毎の拡大率との対応テーブルの一例が示され
ている。この対応テーブルに従ってアフィン変換を行え
ば、基準画像(例えば、遠景画像)に各フォーカス位置
における結像の大きさを合わせることができる。前述し
たセンタリング補正と同様に各フォーカス位置にはレン
ズ16からの距離に対応して番号(例えば1〜100)
が付されている。そして、処理本体部26は予め設定し
た基準フォーカス位置を基準に他のフォーカス位置画像
の縮小または拡大補正を行う。例えば、基準フォーカス
位置を遠景(番号100)に設定した場合、次に、レン
ズ16から10.0mの位置(番号99)でフォーカス
が合っている画像Aを取得した場合、その画像を99.
95%に縮小する。次に、9.0mの位置(番号98)
でフォーカスが合っている画像Bを取得した場合、9
9.91%に縮小する。また、基準フォーカス位置を近
景(番号1)にフォーカスが合っている画像とした場
合、次に、レンズ16から0.32mの位置(番号2)
でフォーカスが合っている画像Cを取得した場合、その
画像を100.95%に拡大する。同様に、0.33m
の位置(番号3)でフォーカスが合っている画像Dを取
得した場合、100.83%に拡大する。その結果、後
述するように、各画像の一部分をそれぞれ抽出して合成
した場合でも各抽出画像の大きさが基準画像に一致して
いるので合成画像に大きさのズレが生じない。
像を基準にした場合のフォーカス位置毎の縮小率と、近
景でフォーカスを合わせた画像を基準にした場合のフォ
ーカス位置毎の拡大率との対応テーブルの一例が示され
ている。この対応テーブルに従ってアフィン変換を行え
ば、基準画像(例えば、遠景画像)に各フォーカス位置
における結像の大きさを合わせることができる。前述し
たセンタリング補正と同様に各フォーカス位置にはレン
ズ16からの距離に対応して番号(例えば1〜100)
が付されている。そして、処理本体部26は予め設定し
た基準フォーカス位置を基準に他のフォーカス位置画像
の縮小または拡大補正を行う。例えば、基準フォーカス
位置を遠景(番号100)に設定した場合、次に、レン
ズ16から10.0mの位置(番号99)でフォーカス
が合っている画像Aを取得した場合、その画像を99.
95%に縮小する。次に、9.0mの位置(番号98)
でフォーカスが合っている画像Bを取得した場合、9
9.91%に縮小する。また、基準フォーカス位置を近
景(番号1)にフォーカスが合っている画像とした場
合、次に、レンズ16から0.32mの位置(番号2)
でフォーカスが合っている画像Cを取得した場合、その
画像を100.95%に拡大する。同様に、0.33m
の位置(番号3)でフォーカスが合っている画像Dを取
得した場合、100.83%に拡大する。その結果、後
述するように、各画像の一部分をそれぞれ抽出して合成
した場合でも各抽出画像の大きさが基準画像に一致して
いるので合成画像に大きさのズレが生じない。
【0034】なお、上述した例では、番号100,9
9,98の様に連続した番号の画像を用いて説明した
が、番号100,87,33等の様に任意に間隔をおい
てもよい。また、対象とする画像枚数は3枚に限定され
ることなく、被写界深度に応じて2枚、5枚、8枚、2
4枚等必要に応じて増やしてもよい。センタリング補正
およびアフィン変換いずれの場合もレンズ16の特性に
応じて校正量が対応しているので、レンズ毎に対応テー
ブルが準備され、レンズに合った対応テーブルを使用す
ることによって、合成時のズレを確実に排除することが
できる。なお、前述した対応テーブルの代わりにレンズ
毎に校正用演算式を作成して補正してもよい。
9,98の様に連続した番号の画像を用いて説明した
が、番号100,87,33等の様に任意に間隔をおい
てもよい。また、対象とする画像枚数は3枚に限定され
ることなく、被写界深度に応じて2枚、5枚、8枚、2
4枚等必要に応じて増やしてもよい。センタリング補正
およびアフィン変換いずれの場合もレンズ16の特性に
応じて校正量が対応しているので、レンズ毎に対応テー
ブルが準備され、レンズに合った対応テーブルを使用す
ることによって、合成時のズレを確実に排除することが
できる。なお、前述した対応テーブルの代わりにレンズ
毎に校正用演算式を作成して補正してもよい。
【0035】続いて、処理本体部26はセンタリング補
正およびアフィン変換が完了した画像に対して、どの部
分にピント(フォーカス)が合っているかのピント合致
判断を行う(S103)。一般に、フォーカスが合って
いる部分と合っていない部分との境目では、画像の輝度
の差が著しく変化することが知られている。例えば、図
6(a)に示す図形a−1のように丸図形のみにフォー
カスが合っている場合、任意の1画素ラインに着目する
と、図6(b)に示す輝度グラフb−1のようにフォー
カスの境目で大きな輝度の変化が発生する。同様に、図
形a−2、図形a−3においても輝度グラフb−2,b
−3に示すようにフォーカスが合っている星図形、四角
図形の境目で大きな輝度の変化が発生する。すなわち、
この輝度変化の著しい部分を抽出すれば、フォーカスの
合った部分図形を抽出することができる。そして、輝度
グラフb−4に示すように輝度変化の著しい部分のみの
部分画像を組み合わせてレイヤ合成して(S104)、
合成画像を作成すれば、図形a−4に示すようなマルチ
フォーカス画像を得ることができる。
正およびアフィン変換が完了した画像に対して、どの部
分にピント(フォーカス)が合っているかのピント合致
判断を行う(S103)。一般に、フォーカスが合って
いる部分と合っていない部分との境目では、画像の輝度
の差が著しく変化することが知られている。例えば、図
6(a)に示す図形a−1のように丸図形のみにフォー
カスが合っている場合、任意の1画素ラインに着目する
と、図6(b)に示す輝度グラフb−1のようにフォー
カスの境目で大きな輝度の変化が発生する。同様に、図
形a−2、図形a−3においても輝度グラフb−2,b
−3に示すようにフォーカスが合っている星図形、四角
図形の境目で大きな輝度の変化が発生する。すなわち、
この輝度変化の著しい部分を抽出すれば、フォーカスの
合った部分図形を抽出することができる。そして、輝度
グラフb−4に示すように輝度変化の著しい部分のみの
部分画像を組み合わせてレイヤ合成して(S104)、
合成画像を作成すれば、図形a−4に示すようなマルチ
フォーカス画像を得ることができる。
【0036】ここで、輝度変化に基づく画像抽出の具体
的な2方法を図7、図8を用いて説明する。図7は、近
景でフォーカスが合っている画像Aと中景でフォーカス
が合っている画像Bとに対して同一部分の1画素ライン
に着目し、どちらの画像の画素データをマルチフォーカ
ス画像用データとして採用するかを説明する説明図であ
る。まず、近景でフォーカスが合っている画像Aの任意
の1画素ラインA−1と、中景でフォーカスが合ってい
る画像Bにおいて、前記1画素ラインA−1と同一部分
の1画素ラインB−1を抽出する(ただし、1画素ライ
ンは、例えば1280ドットで構成され、図7の1画素
ラインA−1,B−1に示されているのはその一部であ
る)。そして、1画素ラインA−1において、隣接する
画素の輝度比較を行い、輝度差分A−2を作成する。同
様に1画素ラインB−1に関しても隣接する画素の輝度
比較を行い、輝度差分B−2を作成する。続いて、輝度
差分A−2,B−2の対応する位置の比較を行う。輝度
差分A−2,B−2において、差分値に丸を付したもの
が比較の結果大きい方である。そして、この比較の結
果、輝度差分の大きい方の輝度データをマルチフォーカ
ス画像の合成ラインデータM−1として採用する。図7
の例では、採用輝度データは比較元である隣接する2ド
ットがあるが本実施形態では、隣接するドットのうち右
側の輝度データを採用するものとする。また、合成ライ
ンデータM−1において、輝度値に丸を付したものが画
像Bの輝度データである。この結果、輝度変化の激しい
部分の輝度データのみが抽出される。つまり、フォーカ
スの合っている部分のみが抽出されることになる。この
ような比較抽出を画面全域(傷検査等で部品の一部のみ
をマルチフォーカス画像を使用する場合、必要な部分の
みでもよい)に対して行えば画像全体についてフォーカ
スの合っているマルチフォーカス画像を得ることができ
る。
的な2方法を図7、図8を用いて説明する。図7は、近
景でフォーカスが合っている画像Aと中景でフォーカス
が合っている画像Bとに対して同一部分の1画素ライン
に着目し、どちらの画像の画素データをマルチフォーカ
ス画像用データとして採用するかを説明する説明図であ
る。まず、近景でフォーカスが合っている画像Aの任意
の1画素ラインA−1と、中景でフォーカスが合ってい
る画像Bにおいて、前記1画素ラインA−1と同一部分
の1画素ラインB−1を抽出する(ただし、1画素ライ
ンは、例えば1280ドットで構成され、図7の1画素
ラインA−1,B−1に示されているのはその一部であ
る)。そして、1画素ラインA−1において、隣接する
画素の輝度比較を行い、輝度差分A−2を作成する。同
様に1画素ラインB−1に関しても隣接する画素の輝度
比較を行い、輝度差分B−2を作成する。続いて、輝度
差分A−2,B−2の対応する位置の比較を行う。輝度
差分A−2,B−2において、差分値に丸を付したもの
が比較の結果大きい方である。そして、この比較の結
果、輝度差分の大きい方の輝度データをマルチフォーカ
ス画像の合成ラインデータM−1として採用する。図7
の例では、採用輝度データは比較元である隣接する2ド
ットがあるが本実施形態では、隣接するドットのうち右
側の輝度データを採用するものとする。また、合成ライ
ンデータM−1において、輝度値に丸を付したものが画
像Bの輝度データである。この結果、輝度変化の激しい
部分の輝度データのみが抽出される。つまり、フォーカ
スの合っている部分のみが抽出されることになる。この
ような比較抽出を画面全域(傷検査等で部品の一部のみ
をマルチフォーカス画像を使用する場合、必要な部分の
みでもよい)に対して行えば画像全体についてフォーカ
スの合っているマルチフォーカス画像を得ることができ
る。
【0037】図8は、他の比較方法による合成ラインデ
ータM−2の作成を説明する説明図である。図7の例で
は、採用輝度データは1ドット毎に選択しているため合
成された画像のがたつきが大きくなり視覚的に見辛い画
像になるおそれがある。そこで、図8の比較方法では、
各画像毎に輝度差分の輝度累計を算出し、その輝度累計
が任意のしきい値(例えば、40)を越えた時点で各画
像間の比較を行い輝度累計の大きい方の輝度データを1
グループとして採用輝度データとする。具体的には、図
7の例と同様に近景でフォーカスが合っている画像Aと
中景でフォーカスが合っている画像Bとに対して同一部
分の1画素ラインA−1,B−1を抽出し、それに対応
する輝度差分A−2,B−2を算出する。続いて、輝度
差分A−2,B−2の同じ位置からそれぞれ輝度差分を
累計して、輝度累計A−3,B−3を算出する。図8の
場合、同じ位置から輝度差分A−2および輝度差分B−
2の累計を算出すると、輝度差分A−2を4つ累積した
時点でしきい値が40に達する。この時、輝度差分B−
2の累計は30である。従って、画像Aの4つの輝度差
分を1グループとして、それに対応する画像Aの輝度デ
ータをマルチフォーカス画像の合成ラインデータM−2
として採用する。同様に、輝度差分の累計値がしきい値
を越えた時点の累計比較を行い採用輝度データの決定を
行う。なお、輝度累計A−3,B−3において、累計値
に丸を付したものが累計の大きい方であることを示し、
合成ラインデータM−2において、輝度値に丸を付した
もの画像Bの輝度データである。以下、同様に比較抽出
を画面全域に対して行えば画像全体についてフォーカス
の合っているマルチフォーカス画像を得ることができ
る。このように、グループ単位で採用輝度データを決定
することにより、合成画像の輝度変化がなめらかになり
ソフトで見やすい合成画像を得ることができる。
ータM−2の作成を説明する説明図である。図7の例で
は、採用輝度データは1ドット毎に選択しているため合
成された画像のがたつきが大きくなり視覚的に見辛い画
像になるおそれがある。そこで、図8の比較方法では、
各画像毎に輝度差分の輝度累計を算出し、その輝度累計
が任意のしきい値(例えば、40)を越えた時点で各画
像間の比較を行い輝度累計の大きい方の輝度データを1
グループとして採用輝度データとする。具体的には、図
7の例と同様に近景でフォーカスが合っている画像Aと
中景でフォーカスが合っている画像Bとに対して同一部
分の1画素ラインA−1,B−1を抽出し、それに対応
する輝度差分A−2,B−2を算出する。続いて、輝度
差分A−2,B−2の同じ位置からそれぞれ輝度差分を
累計して、輝度累計A−3,B−3を算出する。図8の
場合、同じ位置から輝度差分A−2および輝度差分B−
2の累計を算出すると、輝度差分A−2を4つ累積した
時点でしきい値が40に達する。この時、輝度差分B−
2の累計は30である。従って、画像Aの4つの輝度差
分を1グループとして、それに対応する画像Aの輝度デ
ータをマルチフォーカス画像の合成ラインデータM−2
として採用する。同様に、輝度差分の累計値がしきい値
を越えた時点の累計比較を行い採用輝度データの決定を
行う。なお、輝度累計A−3,B−3において、累計値
に丸を付したものが累計の大きい方であることを示し、
合成ラインデータM−2において、輝度値に丸を付した
もの画像Bの輝度データである。以下、同様に比較抽出
を画面全域に対して行えば画像全体についてフォーカス
の合っているマルチフォーカス画像を得ることができ
る。このように、グループ単位で採用輝度データを決定
することにより、合成画像の輝度変化がなめらかになり
ソフトで見やすい合成画像を得ることができる。
【0038】なお、図7、図8の説明では、近景と中景
にフォーカスの合っている2枚の画像を対象に比較を行
い、2枚の画像に基づく画像合成を行う例を説明した
が、異なるフォーカス位置の画像が3枚以上ある場合に
は同時に、3枚や10枚等の間で比較が行われ、合成ラ
インデータが作成されることになる。
にフォーカスの合っている2枚の画像を対象に比較を行
い、2枚の画像に基づく画像合成を行う例を説明した
が、異なるフォーカス位置の画像が3枚以上ある場合に
は同時に、3枚や10枚等の間で比較が行われ、合成ラ
インデータが作成されることになる。
【0039】図1の作成装置10は、レンズ駆動部22
により、異なる画像深度でフォーカスの合っている複数
の画像を取得する構造を説明したが、図9、図10には
他の構造で異なる画像深度でフォーカスの合っている複
数の画像を取得する例を説明する。
により、異なる画像深度でフォーカスの合っている複数
の画像を取得する構造を説明したが、図9、図10には
他の構造で異なる画像深度でフォーカスの合っている複
数の画像を取得する例を説明する。
【0040】図9に示す作成装置30の場合もカメラ1
2と画像作成部14とから構成され、カメラ12で取得
された異なる画像深度でフォーカスが合っている複数の
画像の処理は前述した作成装置10と同様に行われる。
しかし、複数の画像の取得方法が異なる。
2と画像作成部14とから構成され、カメラ12で取得
された異なる画像深度でフォーカスが合っている複数の
画像の処理は前述した作成装置10と同様に行われる。
しかし、複数の画像の取得方法が異なる。
【0041】図9に示すカメラ本体18の内部には、ハ
ーフミラーとプリズムから構成されレンズ16からの入
射光を複数方向(図9の例の場合、3方向)に分岐する
光分器32が配置され、この光分器32によって分岐さ
れる光軸方向にはそれぞれCCD撮像部20a,20
b,20cが配置されている。図9の例の場合、CCD
撮像部20aは近景用、CCD撮像部20bは中景用、
CCD撮像部20cは遠景用であり、前記光分器32か
ら異なる位置に配置されて異なる距離の光学系を形成し
ている。従って、各CCD撮像部20a,20b,20
cで部分的にフォーカスが合った画像をレンズ16から
1度入射することによって得ることができる。従って、
図1に示す作成装置10に比べて画像取得時間の短縮を
行うことができる。
ーフミラーとプリズムから構成されレンズ16からの入
射光を複数方向(図9の例の場合、3方向)に分岐する
光分器32が配置され、この光分器32によって分岐さ
れる光軸方向にはそれぞれCCD撮像部20a,20
b,20cが配置されている。図9の例の場合、CCD
撮像部20aは近景用、CCD撮像部20bは中景用、
CCD撮像部20cは遠景用であり、前記光分器32か
ら異なる位置に配置されて異なる距離の光学系を形成し
ている。従って、各CCD撮像部20a,20b,20
cで部分的にフォーカスが合った画像をレンズ16から
1度入射することによって得ることができる。従って、
図1に示す作成装置10に比べて画像取得時間の短縮を
行うことができる。
【0042】なお、図9の例において、各CCD撮像部
20a,20b,20cの配置位置はモータやボールネ
ジを用いた駆動機構によって自動制御または手動制御に
よって任意に変更可能であり、フォーカス位置を任意に
選択することができる。また、図9の例では3方向に分
光する例を説明したが、分光数は任意であり2方向や3
方向以上でも同様の効果を得ることができる。図9の例
の場合、撮影中にフォーカスの移動がないため、撮影対
象の画像深度が限定されている場合に、安定した画像を
簡単な構成で得ることができる。
20a,20b,20cの配置位置はモータやボールネ
ジを用いた駆動機構によって自動制御または手動制御に
よって任意に変更可能であり、フォーカス位置を任意に
選択することができる。また、図9の例では3方向に分
光する例を説明したが、分光数は任意であり2方向や3
方向以上でも同様の効果を得ることができる。図9の例
の場合、撮影中にフォーカスの移動がないため、撮影対
象の画像深度が限定されている場合に、安定した画像を
簡単な構成で得ることができる。
【0043】図10に示す作成装置34は、スキャナー
装置36を用いて、異なる画像深度でフォーカスの合っ
ている複数の画像を取得する構造である。スキャナー装
置36内部の走査部37には発光装置38と、透明なガ
ラス40上に配置された撮影対象42にて反射した光を
当該走査部37に配置された複数のカメラ12(図10
の例では、カメラ12a〜12dの4台)に導く反射板
44等が含まれている。作成装置34の場合、撮影対象
42を順次スキャニングして、その時のスキャニング画
像を複数のカメラ12a〜12dで取得している。各カ
メラ12a〜12dは、それぞれ異なるフォーカス位置
の画像が取得できるように、例えばレンズフォーカスが
予め設定されていてる。従って、1回の走査によって異
なる画像深度でフォーカスの合っている画像を取得でき
る。この作成装置34によれば、特に、小形部品の凹部
内部の画像を開放端側から撮影してマルチフォーカス画
像合成に必要な各画像深度の画像を容易に取得すること
ができる。なお、前記カメラ12a〜12dのフォーカ
ス位置は、被写界深度等に応じて予め設定される必要が
あるが、1度目でプリスキャンを行い撮影対象の各フォ
ーカス位置を確認して、各カメラ12a〜12dのフォ
ーカス位置を設定し、2度目で正式スキャンを行うよう
にしてもよい。これらのフォーカス位置調整を処理本体
部26側の制御に基づいて行えば、様々な形状の撮影対
象に対して、良好なマルチフォーカス画像を得るための
各画像深度の画像を容易に取得することができる。
装置36を用いて、異なる画像深度でフォーカスの合っ
ている複数の画像を取得する構造である。スキャナー装
置36内部の走査部37には発光装置38と、透明なガ
ラス40上に配置された撮影対象42にて反射した光を
当該走査部37に配置された複数のカメラ12(図10
の例では、カメラ12a〜12dの4台)に導く反射板
44等が含まれている。作成装置34の場合、撮影対象
42を順次スキャニングして、その時のスキャニング画
像を複数のカメラ12a〜12dで取得している。各カ
メラ12a〜12dは、それぞれ異なるフォーカス位置
の画像が取得できるように、例えばレンズフォーカスが
予め設定されていてる。従って、1回の走査によって異
なる画像深度でフォーカスの合っている画像を取得でき
る。この作成装置34によれば、特に、小形部品の凹部
内部の画像を開放端側から撮影してマルチフォーカス画
像合成に必要な各画像深度の画像を容易に取得すること
ができる。なお、前記カメラ12a〜12dのフォーカ
ス位置は、被写界深度等に応じて予め設定される必要が
あるが、1度目でプリスキャンを行い撮影対象の各フォ
ーカス位置を確認して、各カメラ12a〜12dのフォ
ーカス位置を設定し、2度目で正式スキャンを行うよう
にしてもよい。これらのフォーカス位置調整を処理本体
部26側の制御に基づいて行えば、様々な形状の撮影対
象に対して、良好なマルチフォーカス画像を得るための
各画像深度の画像を容易に取得することができる。
【0044】なお、図10の例では、カメラを4台配置
した例を説明しているが、カメラ台数は任意であり、必
要に応じて増減してよいが、予め複数準備しておき、各
カメラに対して必要なカメラのみを駆動制御すれば、画
像取得枚数を任意に選択することが可能になり、装置の
汎用性が向上する。また、一度目のスキャンで遠景およ
び遠中景の画像を取得した後、カメラのフォーカス調整
を行い、2度目のスキャンで中近景および近景の画像を
取得するようにしてもよい。このようなスキャンを行う
ことによって、少数のカメラで、複数の画像深度の画像
を容易に取得することができる。また、走査部37に内
蔵するカメラの代わりにCCDセンサを使用しても同様
な効果を得ることができる。
した例を説明しているが、カメラ台数は任意であり、必
要に応じて増減してよいが、予め複数準備しておき、各
カメラに対して必要なカメラのみを駆動制御すれば、画
像取得枚数を任意に選択することが可能になり、装置の
汎用性が向上する。また、一度目のスキャンで遠景およ
び遠中景の画像を取得した後、カメラのフォーカス調整
を行い、2度目のスキャンで中近景および近景の画像を
取得するようにしてもよい。このようなスキャンを行う
ことによって、少数のカメラで、複数の画像深度の画像
を容易に取得することができる。また、走査部37に内
蔵するカメラの代わりにCCDセンサを使用しても同様
な効果を得ることができる。
【0045】なお、上述した各作成装置10,30,3
4において、カメラやCCDセンサで取得した画像デー
タを磁気記憶媒体や光記憶媒体等に一時的に記憶すれ
ば、撮影場所とマルチフォーカス画像の画像処理を別々
の場所で行うことができるので、撮影場所の制限を受け
ることなく撮影対象の画像収集を行い別途マルチフォー
カス画像の合成を行うことができるので撮影作業性を向
上させることができる。
4において、カメラやCCDセンサで取得した画像デー
タを磁気記憶媒体や光記憶媒体等に一時的に記憶すれ
ば、撮影場所とマルチフォーカス画像の画像処理を別々
の場所で行うことができるので、撮影場所の制限を受け
ることなく撮影対象の画像収集を行い別途マルチフォー
カス画像の合成を行うことができるので撮影作業性を向
上させることができる。
【0046】
【発明の効果】本発明によれば、取得した複数の画像の
中からフォーカスの合っている部分画像のみを抽出して
画像の再合成を行うので、大光量の照明装置を用いたり
露光時間を長くしたりすることなく、撮影範囲の全領域
においてフォーカスが合っているマルチフォーカス画像
を得ることができる。
中からフォーカスの合っている部分画像のみを抽出して
画像の再合成を行うので、大光量の照明装置を用いたり
露光時間を長くしたりすることなく、撮影範囲の全領域
においてフォーカスが合っているマルチフォーカス画像
を得ることができる。
【図1】 本発明の実施形態に係るマルチフォーカス画
像作成装置の構成概念図である。
像作成装置の構成概念図である。
【図2】 本発明の実施形態に係るマルチフォーカス画
像作成方法のマルチフォーカス画像の合成概念を説明す
る説明図である。
像作成方法のマルチフォーカス画像の合成概念を説明す
る説明図である。
【図3】 本発明の実施形態に係るマルチフォーカス画
像作成方法のマルチフォーカス画像の合成手順を説明す
る説明図である。
像作成方法のマルチフォーカス画像の合成手順を説明す
る説明図である。
【図4】 本発明の実施形態に係るマルチフォーカス画
像作成方法において、センタリング補正で使用するフォ
ーカス位置と移動量との関係を示す対応テーブルの一例
を示す図である。
像作成方法において、センタリング補正で使用するフォ
ーカス位置と移動量との関係を示す対応テーブルの一例
を示す図である。
【図5】 本発明の実施形態に係るマルチフォーカス画
像作成方法においてアフィン変換で使用するフォカース
位置と縮小拡大率との関係を示す対応テーブルの一例を
示す図である。
像作成方法においてアフィン変換で使用するフォカース
位置と縮小拡大率との関係を示す対応テーブルの一例を
示す図である。
【図6】 本発明の実施形態に係るマルチフォーカス画
像作成方法において輝度の違いに基づいて、フォーカス
が合っている部分画像の抽出合成を説明する説明図であ
る。
像作成方法において輝度の違いに基づいて、フォーカス
が合っている部分画像の抽出合成を説明する説明図であ
る。
【図7】 本発明の実施形態に係るマルチフォーカス画
像作成方法において輝度の違いに基づいて、フォーカス
が合っている部分画像を抽出する方法を説明する説明図
である。
像作成方法において輝度の違いに基づいて、フォーカス
が合っている部分画像を抽出する方法を説明する説明図
である。
【図8】 本発明の実施形態に係るマルチフォーカス画
像作成方法において輝度の違いに基づいて、フォーカス
が合っている部分画像を抽出する他の方法を説明する説
明図である。
像作成方法において輝度の違いに基づいて、フォーカス
が合っている部分画像を抽出する他の方法を説明する説
明図である。
【図9】 本発明の実施形態に係るマルチフォーカス画
像作成装置の他の構成概念図である。
像作成装置の他の構成概念図である。
【図10】 本発明の実施形態に係るマルチフォーカス
画像作成装置の他の構成概念図である。
画像作成装置の他の構成概念図である。
10,30,34 マルチフォーカス画像作成装置、1
2 CCDカメラ、14 画像作成部、16 レンズ、
18 カメラ本体、20 CCD撮像部、22レンズ駆
動部、24 フォーカス制御部、26 処理本体部、2
8 表示部。
2 CCDカメラ、14 画像作成部、16 レンズ、
18 カメラ本体、20 CCD撮像部、22レンズ駆
動部、24 フォーカス制御部、26 処理本体部、2
8 表示部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 大河内 禎一 愛知県名古屋市中区千代田三丁目10番20号
Claims (6)
- 【請求項1】 画像撮影手段によって取得した画像に基
づいてマルチフォーカス画像を作成するマルチフォーカ
ス画像作成方法であって、 異なる画像深度でフォーカスが合っている同一撮影範囲
の画像を複数取得する画像取得ステップと、 取得した各画像からフォーカスが合っている部分画像を
抽出する抽出ステップと、 抽出した部分画像を合成して前記撮影範囲を再合成しマ
ルチフォーカス画像を作成する作成ステップと、 を含むことを特徴とするマルチフォーカス画像作成方
法。 - 【請求項2】 請求項1記載の方法において、 前記画像取得ステップは、画像撮影手段のレンズのフォ
ーカス位置を順次移動して、異なる画像深度でフォーカ
スの合った画像を複数取得することを特徴とするマルチ
フォーカス画像作成方法。 - 【請求項3】 請求項1記載の方法において、 前記画像取得ステップは、 さらに、画像撮影手段に入射した画像を分光手段によっ
て複数方向に投射にする分離投射ステップと、 分離投射された個々の画像を異なる光路距離に配置され
た画像取得手段上で結像させ異なる画像深度でフォーカ
スの合った画像を取得する取得ステップと、 を含むことを特徴とするマルチフォーカス画像作成方
法。 - 【請求項4】 請求項1記載の方法において、 前記画像取得ステップは、 撮影対象を光学的に走査するステップと、 異なる画像深度でフォーカスが合っている複数の画像撮
影手段で走査画像を同時に取得する取得ステップと、 を含むことを特徴とするマルチフォーカス画像作成方
法。 - 【請求項5】 請求項1から請求項4のいずれかに記載
の方法において、 前記画像取得ステップは、異なる画像深度でフォーカス
の合った画像を記憶保持する保持ステップを含むことを
特徴とするマルチフォーカス画像作成方法。 - 【請求項6】 画像撮影手段によって取得した画像に基
づいてマルチフォーカス画像を作成するマルチフォーカ
ス画像作成装置であって、 異なる画像深度でフォーカスが合っている同一撮影範囲
の画像を複数取得する画像取得手段と、 取得した画像を記憶する記憶手段と、 記憶した画像からフォーカスが合っている部分画像を抽
出する抽出手段と、 抽出した部分画像を合成して前記撮影範囲を再合成しマ
ルチフォーカス画像を作成する合成手段と、 少なくとも前記マルチフォーカス画像を表示する表示手
段と、 を含むことを特徴とするマルチフォーカス画像作成装
置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9098668A JPH10290389A (ja) | 1997-04-16 | 1997-04-16 | マルチフォーカス画像作成方法及び画像作成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9098668A JPH10290389A (ja) | 1997-04-16 | 1997-04-16 | マルチフォーカス画像作成方法及び画像作成装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH10290389A true JPH10290389A (ja) | 1998-10-27 |
Family
ID=14225903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9098668A Pending JPH10290389A (ja) | 1997-04-16 | 1997-04-16 | マルチフォーカス画像作成方法及び画像作成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH10290389A (ja) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001124660A (ja) * | 1999-10-25 | 2001-05-11 | Horiba Ltd | 平面表示装置の欠陥・異物検査方法およびその検査装置 |
US6538249B1 (en) | 1999-07-09 | 2003-03-25 | Hitachi, Ltd. | Image-formation apparatus using charged particle beams under various focus conditions |
US6956612B2 (en) * | 2001-07-31 | 2005-10-18 | Hewlett-Packard Development Company, L.P. | User selectable focus regions in an image capturing device |
JP2006229802A (ja) * | 2005-02-21 | 2006-08-31 | Hitachi Ltd | 画像合成装置及び撮像システム |
JP2006267767A (ja) * | 2005-03-25 | 2006-10-05 | Fuji Photo Film Co Ltd | 画像表示装置 |
JP2007514248A (ja) * | 2003-12-16 | 2007-05-31 | シーレーテ エルエルシー | レンズ欠陥の補正 |
JP2008271240A (ja) * | 2007-04-20 | 2008-11-06 | Fujifilm Corp | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 |
US7826139B2 (en) | 2003-12-16 | 2010-11-02 | The Invention Science Fund I, Llc | Image correction using individual manipulation of microlenses in a microlens array |
US7839448B2 (en) | 2005-09-07 | 2010-11-23 | Casio Computer Co., Ltd. | Camera apparatus having a plurality of image pickup elements |
JP2010279054A (ja) * | 2010-07-15 | 2010-12-09 | Fujifilm Corp | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 |
US8416338B2 (en) | 2008-11-25 | 2013-04-09 | Sony Corporation | Imaging device and imaging method |
JP2013141192A (ja) * | 2011-12-07 | 2013-07-18 | Fujitsu Ltd | 被写界深度拡張システム及び被写界深度拡張方法 |
JP2014021254A (ja) * | 2012-07-18 | 2014-02-03 | Hirox Co Ltd | ズームレンズを備えたデジタルマイクロスコープにおけるピント調整方法及びその装置。 |
US8643955B2 (en) | 2003-12-16 | 2014-02-04 | The Invention Science Fund I, Llc | Image correction using individual manipulation of microlenses in a microlens array |
JP2014158070A (ja) * | 2013-02-14 | 2014-08-28 | Canon Inc | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP2016076850A (ja) * | 2014-10-07 | 2016-05-12 | オリンパス株式会社 | 撮像装置、撮像装置の制御方法、撮像装置の制御プログラム |
JP2019087924A (ja) * | 2017-11-08 | 2019-06-06 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP2019103097A (ja) * | 2017-12-07 | 2019-06-24 | キヤノン株式会社 | 撮像装置、撮像方法およびプログラム |
US10839534B2 (en) | 2017-11-08 | 2020-11-17 | Canon Kabushiki Kaisha | Imaging processing apparatus, image pickup apparatus, control method for image processing apparatus, and storage medium |
US11057560B2 (en) | 2019-02-18 | 2021-07-06 | Canon Kabushiki Kaisha | Image pickup apparatus, image pickup method, and recording medium |
US11196914B2 (en) | 2019-07-16 | 2021-12-07 | Canon Kabushiki Kaisha | Apparatus, method, and recording medium |
US11425302B2 (en) | 2018-12-26 | 2022-08-23 | Canon Kabushiki Kaisha | Image pickup apparatus, image pickup method, and non-transitory computer-readable storage medium for adjusting a parameter to correct influence depending on an in-focus position |
EP4138384A2 (en) | 2021-08-16 | 2023-02-22 | Canon Kabushiki Kaisha | Imaging apparatus, imaging method, and storage medium |
US11778321B2 (en) | 2020-05-11 | 2023-10-03 | Canon Kabushiki Kaisha | Image capturing apparatus capable of performing omnifocal photographing, method of controlling same, and storage medium |
-
1997
- 1997-04-16 JP JP9098668A patent/JPH10290389A/ja active Pending
Cited By (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7329868B2 (en) | 1999-07-09 | 2008-02-12 | Hitachi, Ltd. | Charged particle beam apparatus |
US6538249B1 (en) | 1999-07-09 | 2003-03-25 | Hitachi, Ltd. | Image-formation apparatus using charged particle beams under various focus conditions |
US6653633B2 (en) | 1999-07-09 | 2003-11-25 | Hitachi, Ltd. | Charged particle beam apparatus |
US6936818B2 (en) | 1999-07-09 | 2005-08-30 | Hitachi, Ltd. | Charged particle beam apparatus |
US7109485B2 (en) | 1999-07-09 | 2006-09-19 | Hitachi, Ltd. | Charged particle beam apparatus |
US7642514B2 (en) | 1999-07-09 | 2010-01-05 | Hitachi, Ltd. | Charged particle beam apparatus |
JP2001124660A (ja) * | 1999-10-25 | 2001-05-11 | Horiba Ltd | 平面表示装置の欠陥・異物検査方法およびその検査装置 |
US6956612B2 (en) * | 2001-07-31 | 2005-10-18 | Hewlett-Packard Development Company, L.P. | User selectable focus regions in an image capturing device |
JP2007514248A (ja) * | 2003-12-16 | 2007-05-31 | シーレーテ エルエルシー | レンズ欠陥の補正 |
US8643955B2 (en) | 2003-12-16 | 2014-02-04 | The Invention Science Fund I, Llc | Image correction using individual manipulation of microlenses in a microlens array |
US7826139B2 (en) | 2003-12-16 | 2010-11-02 | The Invention Science Fund I, Llc | Image correction using individual manipulation of microlenses in a microlens array |
US9348123B2 (en) | 2003-12-16 | 2016-05-24 | Invention Science Fund I, Llc | Image correction using individual manipulation of microlenses in a microlens array |
JP4506501B2 (ja) * | 2005-02-21 | 2010-07-21 | 株式会社日立製作所 | 画像合成装置及び撮像システム |
JP2006229802A (ja) * | 2005-02-21 | 2006-08-31 | Hitachi Ltd | 画像合成装置及び撮像システム |
JP2006267767A (ja) * | 2005-03-25 | 2006-10-05 | Fuji Photo Film Co Ltd | 画像表示装置 |
US7839448B2 (en) | 2005-09-07 | 2010-11-23 | Casio Computer Co., Ltd. | Camera apparatus having a plurality of image pickup elements |
JP2008271240A (ja) * | 2007-04-20 | 2008-11-06 | Fujifilm Corp | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 |
JP4678603B2 (ja) * | 2007-04-20 | 2011-04-27 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
US8023000B2 (en) | 2007-04-20 | 2011-09-20 | Fujifilm Corporation | Image pickup apparatus, image processing apparatus, image pickup method, and image processing method |
US8416338B2 (en) | 2008-11-25 | 2013-04-09 | Sony Corporation | Imaging device and imaging method |
JP2010279054A (ja) * | 2010-07-15 | 2010-12-09 | Fujifilm Corp | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 |
JP2013141192A (ja) * | 2011-12-07 | 2013-07-18 | Fujitsu Ltd | 被写界深度拡張システム及び被写界深度拡張方法 |
JP2014021254A (ja) * | 2012-07-18 | 2014-02-03 | Hirox Co Ltd | ズームレンズを備えたデジタルマイクロスコープにおけるピント調整方法及びその装置。 |
JP2014158070A (ja) * | 2013-02-14 | 2014-08-28 | Canon Inc | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP2016076850A (ja) * | 2014-10-07 | 2016-05-12 | オリンパス株式会社 | 撮像装置、撮像装置の制御方法、撮像装置の制御プログラム |
US10798285B2 (en) | 2017-11-08 | 2020-10-06 | Canon Kabushiki Kaisha | Image processing apparatus, method, and medium to perform alignment of a plurality of images based on conversion coefficient while finely moving an in-focus position |
JP2019087924A (ja) * | 2017-11-08 | 2019-06-06 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
US10839534B2 (en) | 2017-11-08 | 2020-11-17 | Canon Kabushiki Kaisha | Imaging processing apparatus, image pickup apparatus, control method for image processing apparatus, and storage medium |
JP2019103097A (ja) * | 2017-12-07 | 2019-06-24 | キヤノン株式会社 | 撮像装置、撮像方法およびプログラム |
US10694096B2 (en) | 2017-12-07 | 2020-06-23 | Canon Kabushiki Kaisha | Image pickup apparatus, method for controlling image pickup apparatus, and computer-readable storage medium |
US11425302B2 (en) | 2018-12-26 | 2022-08-23 | Canon Kabushiki Kaisha | Image pickup apparatus, image pickup method, and non-transitory computer-readable storage medium for adjusting a parameter to correct influence depending on an in-focus position |
US11057560B2 (en) | 2019-02-18 | 2021-07-06 | Canon Kabushiki Kaisha | Image pickup apparatus, image pickup method, and recording medium |
US11196914B2 (en) | 2019-07-16 | 2021-12-07 | Canon Kabushiki Kaisha | Apparatus, method, and recording medium |
US11778321B2 (en) | 2020-05-11 | 2023-10-03 | Canon Kabushiki Kaisha | Image capturing apparatus capable of performing omnifocal photographing, method of controlling same, and storage medium |
EP4138384A2 (en) | 2021-08-16 | 2023-02-22 | Canon Kabushiki Kaisha | Imaging apparatus, imaging method, and storage medium |
US11843867B2 (en) | 2021-08-16 | 2023-12-12 | Canon Kabushiki Kaisha | Imaging apparatus, imaging method, and storage medium for correcting brightness of an image based on a predetermined value of exposure |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH10290389A (ja) | マルチフォーカス画像作成方法及び画像作成装置 | |
JP4565115B2 (ja) | 多焦点撮像装置 | |
US8253788B2 (en) | Method and apparatus for acquiring digital microscope images | |
JP6761312B2 (ja) | 可変焦点距離レンズを含む撮像システムにおける色収差補正 | |
JP5829621B2 (ja) | 顕微鏡センサ | |
US7016109B2 (en) | Microscopic image capture apparatus and microscopic image capturing method | |
US9088729B2 (en) | Imaging apparatus and method of controlling same | |
US20050089208A1 (en) | System and method for generating digital images of a microscope slide | |
EP2162790B1 (en) | Multi color autofocus apparatus and method | |
WO2014069053A1 (ja) | 画像取得装置及び画像取得装置のフォーカス方法 | |
JP2005502907A (ja) | 対象物の光学的検査をするための方法および装置 | |
JP5799473B2 (ja) | 撮影装置とその撮影方法 | |
JP2010256530A (ja) | 顕微鏡装置 | |
WO2019123869A1 (ja) | 画像取得装置及び画像取得方法 | |
CN105683806B (zh) | 图像取得装置以及图像取得装置的图像取得方法 | |
JP4885439B2 (ja) | カラー画像取得方法及び共焦点レーザ顕微鏡 | |
JP2006284965A (ja) | 顕微鏡装置及び拡大画像生成方法 | |
JPH0252204A (ja) | 3次元座標計測装置 | |
JP3963219B2 (ja) | 非接触式形状計測装置 | |
JP5019279B2 (ja) | 共焦点顕微鏡及び合焦カラー画像の生成方法 | |
JP2003295066A (ja) | 顕微鏡装置 | |
RU2317583C1 (ru) | Способ получения изображения развертки боковой поверхности деформированного объекта, имеющего форму, близкую к цилиндрической | |
JP2007025830A (ja) | 3次元物体の認識方法及び装置 | |
JP2004086643A (ja) | コンピュータグラフィックスのデータ取得装置およびデータ取得方法ならびにコンピュータグラフィックスのデータ取得用プログラム | |
JPH11352392A (ja) | フォーカス制御装置およびフォーカス制御方法 |