JP4715903B2

JP4715903B2 - 物体の三次元形状モデル作製装置

Info

Publication number: JP4715903B2
Application number: JP2008277736A
Authority: JP
Inventors: 伸行藤原; 寿和恩田
Original assignee: Meidensha Corp
Current assignee: Meidensha Corp
Priority date: 2008-10-29
Filing date: 2008-10-29
Publication date: 2011-07-06
Anticipated expiration: 2020-02-18
Also published as: JP2009058521A

Description

本発明は、カメラによって得られた画像データを使用して、カメラで撮影可能な範囲に存在する工業部品等の対象物体の三次元形状データを生成し、それにより物体認識処理等に用いる物体の三次元形状モデルを作製する装置に関するものである。

我々は、既に三次元形状モデルを作製する方法として幾つかの提案を行っている。その中で、特願平１１−３２３８６４号及び特願平１１−３２３８６５号では、画面上で設定した長方形範囲内（これを”モデル計測範囲”と呼ぶ）に格子状に設定した点（これを”モデル計測点”と呼ぶ）についてステレオ計剛により三次元位置データを計測し、三次元位置データを持つ点データ（これを”モデル構成点”と呼ぶ）の集合（これを”三次元形状データ”と呼ぶ）として物体の三次元形状モデルを構成した。これらを”先件提案”と呼ぶ。

先件提案では、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。また、データの入力手段としてカメラによる入力画像を用いているため、対象物体がどのような大きさのものであっても、カメラで撮影可能な範囲内に存在する物体であれば、例えば、建造物、もしくは山肌、崖というた自然の地形のような工業部品以外の対象であっても、物体の三次元形状モデルを作製することができる。

しかしながら、ステレオ計測による三次元位置データによりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合がある。このような場合は、ステレオ計測による三次元位置計測が困難なためモデル構成点を設定できず三次元形状データ上でデータの欠落した部分（これを”データ欠落部”と呼ぶ）となる。データ欠落部が１，２点程度の小さなものであれば平滑化フィルタ等で補間できるが、穴の様に大きくデータの抜けたデータ欠落部ではその部分を何らかの方法により補間する必要がある。

上記課題を解決する本発明の請求項１に係る物体の三次元形状モデル作製装置は、入力画像において画面上で対象物体を囲むモデル計測範囲に予め格子状に設定されたモデル計測点の三次元位置データをステレオ計測によって計測することで物体上のモデル構成点を生成するモデル構成点生成器と、前記モデル構成点の集合として三次元形状データを生成するモデル構成点三次元形状データ生成部と、前記モデル計測範囲中で前記モデル構成点が得られなかった点であるデータ欠落点について、前記データ欠落点の左右方向にモデル構成点があるかどうかの検査に加えて、前記データ欠落点の上下方向にもモデル構成点があるかどうかを検査し、上下左右方向にモデル構成点が予め設定しておいた数以上検出された場合は、前記データ欠落点を前記補間対象点とする十字方向検査補間対象点検出部と、上記検査により上下もしくは左右のモデル構成点の組が見つかった方についてモデル構成点の組を通る直線を計算し、該直線と前記補間対象点のモデル計測点とレンズ焦点を通る直線との交点の三次元位置を前記補間対象点の位置データとして計算することでモデル構成点を設定する直線補間モデル構成点設定部とからなり、データ欠落部のない三次元形状データを生成し、三次元形状モデルを構成することを特徴とする。

上記課題を解決する本発明の請求項２に係る物体の三次元形状モデル作製装置は、請求項１記載の前記直線補間モデル構成点設定部に代えて、上記検査により上下及び左右両方についてモデル構成点の組が見つかった場合は、予め優先度を設定しておいた方の組について直線を計算し、該直線と前記補間対象点のモデル計測点とレンズ焦点を通る直線との交点の三次元位置を前記補間対象点の位置データとして計算することでモデル構成点を設定する直線補間モデル構成点設定部を用いることを特徴とする。

上記課題を解決する本発明の請求項３に係る物体の三次元形状モデル作製装置は、請求項１記載の前記直線補間モデル構成点設定部に代えて、上記検査により上下及び左右両方についてモデル構成点の組が見つかった場合は、全ての組について直線を計算し、全ての組について計算された各直線と前記補間対象点のモデル計測点とレンズ焦点を通る直線との交点の三次元位置の平均を前記補間対象点の位置データとして計算することでモデル構成点を設定する直線補間モデル構成点設定部を用いることを特徴とする。

上記課題を解決する本発明の請求項４に係る物体の三次元形状モデル作製装置は、請求項１記載の前記十字方向検査補間対象点検出部に代えて、前記モデル計測範囲中で前記モデル構成点が得られなかった点であるデータ欠落点について、前記データ欠落点の左右方向にモデル構成点があるかどうかの検査に加えて、前記データ欠落点の上下方向及び斜め方向にもモデル構成点があるかどうかを検査し、上下左右斜めの８方向にモデル構成点が予め設定しておいた数以上検出された場合は、前記データ欠落点を前記補間対象点とする８方向検査補間対象点検出部を用い、また、請求項１記載の前記直線補間モデル構成点設定部に代えて、上記検査により前記補間対象点の対角のモデル構成点の組が１つ見つかった場合は、見つかった１つのモデル構成点の組を通る直線を計算し、該直線と前記補間対象点のモデル計測点とレンズ焦点を通る直線との交点の三次元位置を前記補間対象点の位置データとして計算することでモデル構成点を設定する直線補間構成点設定部を用いることを特徴とする。

上記課題を解決する本発明の請求項５に係る物体の三次元形状モデル作製装置は、請求項４記載の前記直線補間モデル構成点設定部に代えて、上記検査により前記補間対象点の対角のモデル構成点の組が複数見つかった場合は、予め優先度を設定しておいた方の組について直線を計算し、該直線と前記補間対象点のモデル計測点とレンズ焦点を通る直線との交点の三次元位置を前記補間対象点の位置データとして計算することでモデル構成点を設定する直線補間構成点設定部を用いることを特徴とする。

上記課題を解決する本発明の請求項６に係る物体の三次元形状モデル作製装置は、請求項４記載の前記直線補間モデル構成点設定部に代えて、上記検査により前記補間対象点の対角のモデル構成点の組が複数見つかった場合は、全ての組について直線を計算し、全ての組について計算された各直線と前記補間対象点のモデル計測点とレンズ焦点を通る直線との交点の三次元位置の平均を前記補間対象点の位置データとして計算することでモデル構成点を設定する直線補間構成点設定部を用いることを特徴とする。

本発明は物体の三次元形状モデルを作製する処理に関するものである。
（１）データの入力手段としてカメラによる入力画像を用いているため、対象物体がどのような大きさのものであっても、カメラで撮影可能な範囲内に存在する物体であれば、例えば、建造物、もしくは山肌、崖といった自然の地形のような工業部品以外の対象であっても、物体の三次元形状モデルを作製することができる。
（２）データの入力手段としてカメラによる入力画像を用いているため、対象物に触ることなく非接触で物体の三次元形状モデルを作製することができる。
（３）三次元形状データを構成するデータとして、三次元位置データを持つモデル構成点の集合を用いるため、円柱や球面のような滑らかな曲面を持つ物体に対しても三次元形状モデルを作製することができる。
（４）対象物体上に関してモデル構成点を格子状にまんべんなく設定するため、対象物上に異物が存在する場合は、それを容易に検知できる。
（５）ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面により見えない部分が存在するために、対象物体上の三次元形状データに大きなデータ欠落部が出来た場合でも、データ欠落部のモデル構成点を補間により設定することで、データ欠落部の無い三次元形状データを生成することができる。
（６）ステレオ計測によりモデル構成点を設定する際、基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられないことにより、対象物体上の三次元形状データに大きなデータ欠落部が出来た場合でも、データ欠落部のモデル構成点を補間により設定することで、データ欠落部の無い三次元形状データを生成することができる。
（７）データ欠落部の無い三次元形状データを生成することができるため、カメラから見えている対象物体上の全ての点の三次元位置データを持つ三次元形状モデルを得ることができる。

本発明を実施するための最良の形態は、以下に実施例として説明する通りである。

（１）基本的な考え方
本発明の目的は、カメラで撮影可能な範囲に存在する対象物の三次元形状データを生成し、それにより物体の三次元形状モデルを作製することである。
先件提案では、図２に示すように、画像入力するためのカメラ１と、入力画像において対象物体を囲むモデル計測範囲に格子状に設定されたモデル計測点の三次元位置データをステレオ計測によって計測するモデル構成点生成器２と、モデル構成点の集合として三次元形状データを生成するモデル構成点三次元形状データ生成部３と、その三次元形状データを記憶するモデルメモリ４とを備える三次元形状モデル作製装置を提案した。
そのため、基準画面上で設定したモデル計測範囲に格子状に設定したモデル計測点についてステレオ計測により三次元位置データを計測し、三次元位置データを持つモデル構成点の集合である三次元形状データを生成し、物体の三次元形状モデルを構成することができた。

なお、モデル計測範囲は対象物体の映った画面を見ながら作業者が対象物体のモデルとして必要な部分が入るように設定し、また、モデル計測点の設定に必要なモデル計測点の間隔は予めパラメータとして設定しておくこととする。
更に、本発明では、図２に示すように、横方向検査補間対象点検出部５及び平均補間モデル構成点設定部６とを追加したものである。
横方向検査補間対象点検出部５は、図１に示すように、モデル計測範囲中でモデル構成点が得られなかった点（これを、データ欠落点”と呼ぶ）について、その左右方向にモデル構成点があるかどうかを検査し、左右方向の両方にモデル構成点が存在する場合は、このデータ欠落点をデータ欠落部１０内にある補間の必要な点（これを”補間対象点”と呼ぶ）２０とするものである。
平均補間モデル構成点設定部６は、補間対象点２０の高さデータを先に検出した左右のモデル構成点の高さデータの平均により求め、その高さデータとモデル計測点の位置から補間対象点２０の三次元位置を計算してモデル構成点を設定する。

従って、本発明では、図１に示すように、モデル構成点生成器２により三次元形状モデルを構成する物体の三次元形状データを生成した後、横方向検査補間対象点検出部５により、モデル計測範囲中でモデル構成点が得られなかったデータ欠落点について、その左右方向にモデル構成点があるかどうかを検査し、左右方向の両方にモデル構成点が存在する場合は、このデータ欠落点をデータ欠落部１０内にある補間の必要な補間対象点２０とし、平均補間モデル構成点設定部６により、補間対象点２０の高さデータを先に検出した左右のモデル構成点の高さデータの平均により求め、その高さデータとモデル計測点の位置から補間対象点２０の三次元位置を計算してモデル構成点を設定することで、データ欠落部１０のない三次元形状データをモデル構成点三次元形状データ生成部３により生成し、三次元形状モデルを構成する。この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。

また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部１０を補間するためデータ抜けのない対象物体の三次元形状データを生成できる。更に、横方向検査補間対象点検出部５はデータ欠落点の検査方法として左右方向のモデル構成点の有無を調べる簡単な方法を用いており、また、平均補間モデル構成点設定部６はモデル構成点の位置データ計算に左右に見つかったモデル構成点の位置データの単純平均を基にする方法を用いるため、データ処理が簡単で高速な処理を実現できる。

（２）その他の実施例
（２．１）横方向検査直線補間処理を加えた三次元形状モデル作製装置
この装置は、基本的な考え方で述べた装置の処理のうち、補間対象点２０の位置データを先に検出した左右のモデル構成点の高さデータの平均を基に求める平均補間モデル構成点設定部６に代えて、図３に示すように、左右のモデル構成点を通る直線を計算し、その直線と補間対象点２０のモデル計測点とレンズ焦点を通る直線との交点の三次元位置を補間対象点２０の位置データとして計算する直線補間モデル構成点設定部１６を使用することでモデル構成点を設定し、データ欠落部１０のない三次元形状データを生成し、三次元形状モデルを構成する。
この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。

また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部１０を補間するためデータ抜けのない対象物体の三次元形状データを生成できる。
更に、補間対象点２０の検査方法として左右方向のモデル構成点の有無を調べる簡単な方法を用いているため検査処理の構成が簡単で、直線補間モデル構成点設定部１６はデータ欠落部１０の補間に直線補間を用いるため補間した部分と元々モデル構成点が存在した部分との境目にギャップを生じない。

（２．２）十字方向検査平均補間処理を加えた三次元形状モデル作製装置
この装置は、基本的な考え方で述べた装置の処理のうち、データ欠落点が補間対象点２０であるかどうかを左右方向に検査する横方向検査補間対象点検出部５に代えて、図４に示すように、その左右方向にモデル構成点があるかどうかの検査に加えて、その上下方向にもモデル構成点があるかどうかを検査し、上下左右方向にモデル構成点が予め設定しておいた数以上存在する場合は、このデータ欠落点を補間対象点２０とする十字方向検査補間対象点検出部１５を図５に示すように用いる。また、補間対象点２０の位置データを計算する平均補間モデル構成点設定部６に代えて、上下左右方向の検査により検出されたモデル構成点の高さデータの平均値とモデル計測点の位置から補間対象点２０の位置データを求めてモデル構成点を設定する平均補間モデル構成点設定部２６を図５に示すように使用する。この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。

また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部１０を補間するためデータ抜けのない対象物体の三次元形状データを生成できる。更に、十字方向検査補間対象点検出部１５は、補間対象点２０の検査方法として上下左右方向のモデル梼成点の有無を調べる方法を用いており、左右方向にモデル構成点の存在する穴形状や縦方向切欠き形状のデータ欠落部１０だけでなく横方向切欠き形状のデータ欠落部１０にも対応できる。また、平均補間モデル構成点設定部２６は、モデル構成点の位置データ計算に検出したモデル構成点の位置データの単純平均を基にする方法を用いるため、データ処理が簡単で高速な処理を実現できる。

（２．３）十字方向検査直線補間処理を加えた三次元形状モデル作製装置
この装置は、（２．２）で述べた装置の処理のうち、補間対象点２０の位置データを先に検出されたモデル構成点の高さデータの平均を基に求める平均補間モデル構成点設定部２６に代えて、図６に示すように、上下もしくは左右のモデル構成点の組が見つかった方についてモデル構成点の組を通る直線を計算し（上下及び左右両方についてモデル構成点の組が見つかった場合は予め優先度を設定しておいた方の組について直線を計算し、もしくは、全ての親について直線を計算し）、その直線と補間対象点２０のモデル計測点とレンズ焦点を通る直線との交点の三次元位置を補間対象点２０の位置データとして計算する（全ての組について直線を計算した場合は各直線から計算される交点の三次元位置の平均を補間対象点２０の位置データとして計算する）直線補間モデル構成点設定部３６を使用することでモデル構成点を設定し、データ欠落部１０のない三次元形状データを生成し、三次元形状モデルを構成する。
この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。

また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部１０を補間するためデータ抜けのない対象物体の三次元形状データを生成できる。更に、十字方向検査補間対象点検出部１５は、補間対象点２０の検査方法として上下左右方向のモデル構成点の有無を調べる方法を用いており、左右方向にモデル構成点の存在する穴形状や縦方向切欠き形状のデータ欠落部１０だけでなく横方向切欠き形状のデータ欠落部１０にも対応できる。また、直線補間モデル構成点設定部３６は、データ欠落部１０の補間に直線補間を用いるため補間した部分と元々モデル構成点が存在した部分との境目にギャップを生じない。

（２．４）十字方向検査距離重み付き平均補間処理を加えた三次元形状モデル作製装置
この装置は、（２．２）で述べた装置の処理のうち、補間対象点２０の位置データを先に検出されたモデル構成点の高さデータの平均を基に求める平均補間モデル構成点設定部２６に代えて、図７に示すように、画面上における補間対象点２０の位置から検出したモデル構成点までの距離（これを”補間点距離”と呼ぶ）を計算し、その補間点距離を補間点距離の総計で割った値を重みとし、検出されたモデル構成点の高さデータについて先に計算した重みを付けて平均値を求め、その重み付き平均高さデータとモデル計測点の位置から補間対象点２０の位置データを求めてモデル構成点を設定する重み付き平均補間モデル構成点設定部４６を使用し、データ欠落部１０のない三次元形状データを生成し、三次元形状モデルを構成する。この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。

また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部１０を補間するためデータ抜けのない対象物体の三次元形状データを生成できる。更に、十字方向検査補間対象点検出部１５は、補間対象点２０の検査方法として上下左右方向のモデル構成点の有無を調べる方法を用いており、左右方向にモデル構成点の存在する穴形状や縦方向切欠き形状のデータ欠落部１０だけでなく横方向切欠き形状のデータ欠落部１０にも対応できる。また、重み付き平均補間モデル構成点設定部４６は、データ欠落部１０の補間に距離重み付き平均補間を用いるため補間対象点２０により近い位置のモデル構成点の位置データが補間したモデル構成点の位置データに大きく影響し、結果的にデータ欠落部１０全体を元々の、モデル形状データと滑らかに接続することができる。

（２．５）８方向検査平均補間処理を加えた三次元形状モデル作製装置
この装置は、基本的な考え方で述べた装置の処理のうち、データ欠落点が補間対象点２０であるかどうかを左右方向に検査する横方向検査補間対象点検出部５に代えて、その左右方向にモデル構成点があるかどうかの検査に加えて、図８に示すように、その上下方向及び斜め方向にもモデル構成点があるかどうかを検査し、上下左右斜めの８方向に、モデル構成点が予め設定しておいた数以上存在する場合は、このデータ欠落点を補間対象点２０とする８方向検査補間対象点検出部２５を図９に示すように用いる。また、補間対象点２０の位置データの計算においては、８方向の検査により検出されたモデル構成点の高さデータの平均値とモデル計測点の位置から補間対象点２０の位置データを求めてモデル構成点を設定する平均補間モデル構成点設定部５７を図９に示すように使用する。この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。

また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部１０を補間するためデータ抜けのない対象物体の三次元形状データを生成できる。更に、補間対象点２０の検査方法として上下左右斜めの８方向のモデル構成点の有無を調べる方法を用いており、左右方向にモデル構成点の存在する穴形状や縦方向欠き形状のデータ欠落部１０だけでなく横方向切欠き形状のデータ欠落部１０にも劫応でき、切欠き欠落部の開口部が斜めになっていても開口部出口付近までを補間対象点２０とすることができる。また、８方向検査補間対象点検出部２５は、補間対象点２０を検査するための８方向のモデル構成点の存在数を調整することによって、８方向全てにモデル構成点が存在するような穴形状のデータ欠落点のみを補間対象としたり、８方向のうち３方向程度にモデル構成点が見つかれば良いといった浅い切欠き形状のデータ欠落点をも対象とするといった、補間対象とするデータ欠落部１０の度合いを設定することができる。また、平均補間モデル構成点設定部５７は、モデル構成点の位置データ計算に検出したモデル構成点の位置データの単純平均を基にする方法を用いるため、データ処理が簡単で高速な処理を実現できる。

（２．６）８方向検査直線補間処理を加えた三次元形状モデル作製装置
この装置は、（２．５）で述べた装置の処理のうち、補間対象点２０の位置データを先に検出されたモデル構成点の高さデータの平均を基に求める平均補間モデル構成点設定部５７に代えて、補間対象点２０の対角のモデル構成点の組が見つかったモデル構成点の組を通る直線を計算し（複数のモデル構成点の組が見つかった場合は予め優先度を設定しておいた方の組について直線を計算し、もしくは、全ての組について直線を計算し）、その直線と補間対象点２０のモデル計測点とレンズ焦点を通る直線との交点の三次元位置を補間対象点２０の位置データとして計算する（全ての組について直線を計算した場合は各直線から計算される交点の三次元位置の平均を補間対象点２０の位置データとして計算する）ことでモデル構成点を設定する直線補間構成点設定部６７を使用し、データ欠落部１０のない三次元形状データを生成し、三次元形状モデルを構成する。
この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。

また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部１０を補間するためデータ抜けのない対象物体の三次元形状データを生成である。
更に、補間対象点２０の検査方法として上下左右斜めの８方向のモデル構成点の有無を調べる方法を用いており、左右方向にモデル構成点の存在する穴形状や撮方向切欠き形状のデータ欠落部１０だけでなく横方向切欠き形状のデータ欠落部１０にも対応でき、切欠き欠落部の開口部が斜めになっていても開口部出口付近までを補間対象点２０とすることができる。
また、８方向検査補間対象点検出部２５は、補間対象点２０を検査するための８方向のモデル構成点の存在数を調整することによって、８方向全てにモデル構成点が存存するような穴形状のデータ欠落点のみを補間対象としたり、８方向のうち３方向程度にモデル構成点が見つかれば良いといった浅い切欠き形状のデータ欠落点おも対象とするといった、補間対象となるデータ欠落部１０の度合いを設定することができる。
また、直線補間構成点設定部６７は、データ欠落部１０の補間に直線補間を用いるため補間した部分と元々モデル構成点が存在した部分との境目にギャップを生じない。

（２．７）８方向検査重み付き平均補間処理を加えた三次元形状モデル作製装置
この装置は、（２．５）で述べた装置の処理のうち、補間対象点２０の位置データを先に検出されたモデル構成点の高さデータの平均を基に求める平均補間モデル構成点設定部５７に代えて、図１１に示すように、補間対象点２０と検出したモデル構成点から補間点距離を計算し、その補間点距離を補間点距離の総計で割った値を重みとし、検出されたモデル構成点の高さデータについて先に計算した重みを付けて平均値を求め、その重み付き平均高さデータとモデル計測点の位置から補間対象点２０の位置データを求めてモデル構成点を設定する重み付き平均補間モデル構成点設定部７７を使用し、データ欠落部１０のない三次元形状データを生成し、三次元形状モデルを構成する。この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。

また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があつたり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部１０を補間するためデータ抜けのない対象物体の三次元形状データを生成できる。更に、補間対象点２０の検査方法として上下左右斜めの８方向のモデル構成点の有無を調べる方法を用いており、左右方向にモデル構成点の存在する穴形状や縦方向切欠き形状のデータ欠落部１０だけでなく横方両切欠き形状のデータ欠落部１０にも対応でき、切欠き欠落部の開口部が斜めになっていても開口部出口付近までを補間対象点２０とすることができる。

また、補間対象点２０を検査するための８方向のモデル構成点の存在数を調整することによって、８方向全てにモデル構成点が存在するような穴形状のデータ欠落点のみを補間対象としたり、８方向のうち３方向程度にモデル構成点が見つかれば良いといった浅い切欠き形状のデータ欠落点をも対象とするといった、補間対象となるデータ欠落部１０の度合いを設定することができる。また、８方向検査補間対象点検出部２５は、重み付き平均補間モデル構成点設定部７７は、データ欠落部１０の補間に距離重み付き平均補間を用いるため補間対象点２０により近い位置のモデル構成点の位置データが補間したモデル構成点の位置データに大きく影響し、結果的にデータ欠落部１０全体を元々のモデル形状データと滑らかに接続することができる。

本発明は、カメラによって得られた画像データを使用して、カメラで撮影可能な範囲に存在する工業部品等の対象物体の三次元形状データを生成し、それにより物体認識処理等に用いる物体の三次元形状モデルを作製する装置として産業上広く利用可能なものである。

横方向検査による補間対象点の検出の例を示す説明図である。本発明による三次元形状モデル作製装置の例を示す説明図である。本発明による横方向検査直線補間処理を加えた三次元形状モデル作製装置の例を示す説明図である。十字方向検査による補間対象点の検出の例を示す説明図である。本発明による十字方向検査平均補間処理を加えた三次元形状モデル作製装置の例を示す説明図である。本発明による十字方向検査直線補間処理を加えた三次元形状モデル作製装置の例を示す説明図である。本発明による十字方向検査重み付き平均補間処理を加えた三次元形状モデル作製装置の例を示す説明図である。８方向検査による補間対象点の検出の例を示す説明図である。本発明による８方向検査平均補間処理を加えた三次元形状モデル作製装置の例を示す説明図である。本発明による８方向検査直線補間処理を加えた三次元形状モデル作製装置の例を示す説明図である。本発明による８方向検査重み付き平均補間処理を加えた三次元形状モデル作製装置の例を示す説明図である。

符号の説明

１カメラ
２モデル構成点生成器
３モデル構成点三次元形状データ生成部
４モデルメモリ
５横方向検査補間対象点検出部
２５十字方向検査補間対象点検出部
３５８方向検査補間対象点検出部
６，２６，５６平均補間モデル構成点設定部
１６，３６，６６直線補間モデル構成点設定部
４６，７６重み付き平均補間モデル構成点設定部
１０データ欠落点
２０補間対象点

Claims

入力画像において画面上で対象物体を囲むモデル計測範囲に予め格子状に設定されたモデル計測点の三次元位置データをステレオ計測によって計測することで物体上のモデル構成点を生成するモデル構成点生成器と、
前記モデル構成点の集合として三次元形状データを生成するモデル構成点三次元形状データ生成部と、
前記モデル計測範囲中で前記モデル構成点が得られなかった点であるデータ欠落点について、前記データ欠落点の左右方向にモデル構成点があるかどうかの検査に加えて、前記データ欠落点の上下方向にもモデル構成点があるかどうかを検査し、上下左右方向にモデル構成点が予め設定しておいた数以上検出された場合は、前記データ欠落点を前記補間対象点とする十字方向検査補間対象点検出部と、
上記検査により上下もしくは左右のモデル構成点の組が見つかった方についてモデル構成点の組を通る直線を計算し、該直線と前記補間対象点のモデル計測点とレンズ焦点を通る直線との交点の三次元位置を前記補間対象点の位置データとして計算することでモデル構成点を設定する直線補間モデル構成点設定部とからなり、
データ欠落部のない三次元形状データを生成し、三次元形状モデルを構成することを特徴とする物体の三次元形状モデル作製装置。
請求項１記載の前記直線補間モデル構成点設定部に代えて、
上記検査により上下及び左右両方についてモデル構成点の組が見つかった場合は、予め優先度を設定しておいた方の組について直線を計算し、該直線と前記補間対象点のモデル計測点とレンズ焦点を通る直線との交点の三次元位置を前記補間対象点の位置データとして計算することでモデル構成点を設定する直線補間モデル構成点設定部を用いることを特徴とする物体の三次元形状モデル作製装置。
請求項１記載の前記直線補間モデル構成点設定部に代えて、
上記検査により上下及び左右両方についてモデル構成点の組が見つかった場合は、全ての組について直線を計算し、全ての組について計算された各直線と前記補間対象点のモデル計測点とレンズ焦点を通る直線との交点の三次元位置の平均を前記補間対象点の位置データとして計算することでモデル構成点を設定する直線補間モデル構成点設定部を用いることを特徴とする物体の三次元形状モデル作製装置。
請求項１記載の前記十字方向検査補間対象点検出部に代えて、
前記モデル計測範囲中で前記モデル構成点が得られなかった点であるデータ欠落点について、前記データ欠落点の左右方向にモデル構成点があるかどうかの検査に加えて、前記データ欠落点の上下方向及び斜め方向にもモデル構成点があるかどうかを検査し、上下左右斜めの８方向にモデル構成点が予め設定しておいた数以上検出された場合は、前記データ欠落点を前記補間対象点とする８方向検査補間対象点検出部を用い、
また、請求項１記載の前記直線補間モデル構成点設定部に代えて、
上記検査により前記補間対象点の対角のモデル構成点の組が１つ見つかった場合は、見つかった１つのモデル構成点の組を通る直線を計算し、該直線と前記補間対象点のモデル計測点とレンズ焦点を通る直線との交点の三次元位置を前記補間対象点の位置データとして計算することでモデル構成点を設定する直線補間構成点設定部を用いることを特徴とする物体の三次元形状モデル作製装置。
請求項４記載の前記直線補間モデル構成点設定部に代えて、
上記検査により前記補間対象点の対角のモデル構成点の組が複数見つかった場合は、予め優先度を設定しておいた方の組について直線を計算し、該直線と前記補間対象点のモデル計測点とレンズ焦点を通る直線との交点の三次元位置を前記補間対象点の位置データとして計算することでモデル構成点を設定する直線補間構成点設定部を用いることを特徴とする物体の三次元形状モデル作製装置。
請求項４記載の前記直線補間モデル構成点設定部に代えて、
上記検査により前記補間対象点の対角のモデル構成点の組が複数見つかった場合は、全ての組について直線を計算し、全ての組について計算された各直線と前記補間対象点のモデル計測点とレンズ焦点を通る直線との交点の三次元位置の平均を前記補間対象点の位置データとして計算することでモデル構成点を設定する直線補間構成点設定部を用いることを特徴とする物体の三次元形状モデル作製装置。