JP2007225403A - 距離計測装置の調整機構およびそれを備えた立体形状認識システム - Google Patents
距離計測装置の調整機構およびそれを備えた立体形状認識システム Download PDFInfo
- Publication number
- JP2007225403A JP2007225403A JP2006046056A JP2006046056A JP2007225403A JP 2007225403 A JP2007225403 A JP 2007225403A JP 2006046056 A JP2006046056 A JP 2006046056A JP 2006046056 A JP2006046056 A JP 2006046056A JP 2007225403 A JP2007225403 A JP 2007225403A
- Authority
- JP
- Japan
- Prior art keywords
- housing
- lens
- lenses
- distance measuring
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
【課題】ステレオカメラの光学的な歪みと位置的なずれを調整する調整機構を提供することであり、ひいては、三次元空間における対象物の凹凸の距離を高精度に測定する技術の提供。
【解決手段】一定間隔に配設された複数のレンズと、各レンズと対応する複数の撮像素子から構成される距離計測装置の調整機構であって、複数のレンズまたは撮像素子の少なくとも一つを左右にスライドして固定する左右シフト機構と、複数の撮像素子またはレンズの少なくとも一つを上下にスライドして固定する上下シフト機構と、複数の撮像素子をそれぞれ回動させて固定する回転機構とを備えることを特徴とする調整機構およびそれを備えた立体形状認識システム。
【選択図】図1
【解決手段】一定間隔に配設された複数のレンズと、各レンズと対応する複数の撮像素子から構成される距離計測装置の調整機構であって、複数のレンズまたは撮像素子の少なくとも一つを左右にスライドして固定する左右シフト機構と、複数の撮像素子またはレンズの少なくとも一つを上下にスライドして固定する上下シフト機構と、複数の撮像素子をそれぞれ回動させて固定する回転機構とを備えることを特徴とする調整機構およびそれを備えた立体形状認識システム。
【選択図】図1
Description
本発明は、複数台のカメラと距離計測装置を用いて、三次元空間における対象物の凹凸の距離を高精度に測定する複数台のカメラの調整を円滑に行うための調整機構およびそれを備えた立体形状認識システムに関する。
一般に、画像による三次元計測技術として、2台のカメラ(ステレオカメラ)で対象物を異なる位置から撮像した1対の画像の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による画像処理が知られている。
また、計測に必要なカメラパラメータができるだけ少なく、簡便に得られること、カメラパラメータが多少変動しても、計測精度に大きな影響を与えないこと、対象物の全体の3次元位置情報が計測できることを特徴とする相対距離計測方法なる方法も提言されている(特許文献1)。
また、計測に必要なカメラパラメータができるだけ少なく、簡便に得られること、カメラパラメータが多少変動しても、計測精度に大きな影響を与えないこと、対象物の全体の3次元位置情報が計測できることを特徴とする相対距離計測方法なる方法も提言されている(特許文献1)。
ところで、ステレオカメラの取り付け位置に関して高レベルの精度が要求される。なぜなら、一対のカメラの相対的な位置にずれが生じると、それぞれのカメラの撮像方向がずれてしまい、算出された距離データに悪影響を及ぼしてしまうからである。特に、カメラの上下方向・回転方向の並進ずれは、水平にカメラをセットしたステレオカメラの各画像における同一水平ライン(エピポーラライン)のずれとなって現れる。そのため、エピポーララインの一致を前提としたステレオマッチングにおいて、この不一致は、距離データの信頼性の低下につながる。そこで、ステレオカメラの位置的なずれに起因した画像間のずれを正す技術が提案されている(例えば、特許文献2)。
また、ステレオカメラでは、カメラの光学的な歪み、例えば、レンズの歪みや、撮像素子の受光面のあおりなどに起因して、それぞれの撮像画像に非線形な歪みが生じることがある。これらの歪みは、ステレオマッチングを行う際に、エピポーララインの歪みとなって現われる。上記ステレオマッチングでは、このような歪みも、距離データの信頼性の低下につながる。そこで、光学的な歪みに起因した画像の歪みを正す技術が提案されている(例えば、特許文献3)。
ステレオマッチング処理を行う前提として、カメラ光学的な歪みに起因した画像の歪み、および、ステレオカメラの位置的なずれに起因した画像のずれを正すことは、算出される距離データの信頼性向上を図る上で重要である。
ステレオ画像処理では、ステレオカメラから得られた画像の相関を求め、同一物体の視差から三角測量の原理により距離を算出するため、撮影された画像の間には視差以外のズレがないことが望ましい。ステレオカメラの取り付け精度に起因するズレには、並進ズレと回転ズレがあり、回転ズレは測距対象物の距離が乗じられるため、誤差の影響が大きくなる。
しかしながら、従来、ステレオカメラの組み付け精度を定量的に精密に計測することは困難であり、そのため、ステレオカメラの組み付け調整は、目視調整あるいは画像処理の結果を見ながらの繰り返し調整等、経験的な調整に頼らざるを得ず、画像処理の精度向上を図るうえで支障となっていた。
しかしながら、従来、ステレオカメラの組み付け精度を定量的に精密に計測することは困難であり、そのため、ステレオカメラの組み付け調整は、目視調整あるいは画像処理の結果を見ながらの繰り返し調整等、経験的な調整に頼らざるを得ず、画像処理の精度向上を図るうえで支障となっていた。
本発明は、かかる事情に鑑みてなされたものであり、その目的は、ステレオカメラの光学的な歪みと位置的なずれを調整する調整機構を提供することであり、ひいては、三次元空間における対象物の凹凸の距離を高精度に測定する技術を提供することを目的とする。
上記課題を解決するために、本発明の調整機構およびそれを備えたシステムは次のように構成される。
すなわち、第1の発明は、一定間隔に配設された複数のレンズと、各レンズと対応する複数の撮像素子から構成される距離計測装置の調整機構であって、複数のレンズまたは撮像素子の少なくとも一つを左右にスライドして固定する左右シフト機構と、複数の撮像素子またはレンズの少なくとも一つを上下にスライドして固定する上下シフト機構と、複数の撮像素子をそれぞれ回動させて固定する回転機構とを備えることを特徴とする調整機構である。
第2の発明は、一定間隔に配設された複数のレンズと、各レンズと対応する複数の撮像素子から構成される距離計測装置の調整機構であって、複数のレンズまたは撮像素子のそれぞれを左右にスライドして固定する左右シフト機構と、複数の撮像素子またはレンズのそれぞれを上下にスライドして固定する上下シフト機構と、複数の撮像素子をそれぞれ回動させて固定する回転機構とを備えることを特徴とする調整機構である。
第3の発明は、第1また2の発明において、前記左右シフト機構は、平行して左右に延びる複数のガイド孔が形成されたスライド基板がガイド孔を挿通する複数のビスによって筐体に取着されることにより左右にスライド自在に構成され、前記上下シフト機構は、上下に開口を有する複数の切欠きが形成されたスライド基板が切欠きを挿通する複数のビスによって筐体に取着されることにより上下にスライド自在に構成され、前記回転機構は、略同一円周上に細長い複数のガイド孔が形成されたスライド基板がガイド孔を挿通する複数のビスによって筐体に取着されることにより揺動自在に構成されることを特徴とする。
第4の発明は、第1、2また3の発明において、前記距離計測装置は、一対の撮像素子が一筐体内に配され、一対のレンズが該筐体外に嵌合された鏡筒に配されたあおり光学系により構成されることを特徴とする。
第5の発明は、第1、2また3の発明において、前記距離計測装置は、第一の撮像素子が第一の筐体内に配され、第一のレンズが第一の筐体外に嵌合された鏡筒に配され、第二の撮像素子が第二の筐体内に配され、第二のレンズが第二の筐体外に嵌合された鏡筒に配されたあおり光学系であって、前記第一および第二の筐体が、スライドベース上に配され、左右方向にスライド自在に構成されることを特徴とする。
第6の発明は、第1、2また3の発明において、前記距離計測装置は、3つの撮像素子が一筐体内に配され、3つのレンズが該筐体外に嵌合された鏡筒に配されたあおり光学系により構成され、第1のレンズと第2のレンズが水平ステレオカメラを構成し、第2のレンズと第3のレンズが垂直ステレオカメラを構成することを特徴とする。
第7の発明は、第1ないし6のいずれかの調整機構を有する撮像系と、撮像系の視野内にスリット光をスキャンする公知の投光装置と、これらの作動を制御し、撮像した画像を解析するコントローラとから構成される立体形状認識システムであって、前記コントローラは、前記投光装置によりスリット光を物体に照射しながら、立体形状認識の対象となる物体の組画像を撮像し、公知の相対ステレオ法により立体形状認識を行うことを特徴とする立体形状認識システムである。
すなわち、第1の発明は、一定間隔に配設された複数のレンズと、各レンズと対応する複数の撮像素子から構成される距離計測装置の調整機構であって、複数のレンズまたは撮像素子の少なくとも一つを左右にスライドして固定する左右シフト機構と、複数の撮像素子またはレンズの少なくとも一つを上下にスライドして固定する上下シフト機構と、複数の撮像素子をそれぞれ回動させて固定する回転機構とを備えることを特徴とする調整機構である。
第2の発明は、一定間隔に配設された複数のレンズと、各レンズと対応する複数の撮像素子から構成される距離計測装置の調整機構であって、複数のレンズまたは撮像素子のそれぞれを左右にスライドして固定する左右シフト機構と、複数の撮像素子またはレンズのそれぞれを上下にスライドして固定する上下シフト機構と、複数の撮像素子をそれぞれ回動させて固定する回転機構とを備えることを特徴とする調整機構である。
第3の発明は、第1また2の発明において、前記左右シフト機構は、平行して左右に延びる複数のガイド孔が形成されたスライド基板がガイド孔を挿通する複数のビスによって筐体に取着されることにより左右にスライド自在に構成され、前記上下シフト機構は、上下に開口を有する複数の切欠きが形成されたスライド基板が切欠きを挿通する複数のビスによって筐体に取着されることにより上下にスライド自在に構成され、前記回転機構は、略同一円周上に細長い複数のガイド孔が形成されたスライド基板がガイド孔を挿通する複数のビスによって筐体に取着されることにより揺動自在に構成されることを特徴とする。
第4の発明は、第1、2また3の発明において、前記距離計測装置は、一対の撮像素子が一筐体内に配され、一対のレンズが該筐体外に嵌合された鏡筒に配されたあおり光学系により構成されることを特徴とする。
第5の発明は、第1、2また3の発明において、前記距離計測装置は、第一の撮像素子が第一の筐体内に配され、第一のレンズが第一の筐体外に嵌合された鏡筒に配され、第二の撮像素子が第二の筐体内に配され、第二のレンズが第二の筐体外に嵌合された鏡筒に配されたあおり光学系であって、前記第一および第二の筐体が、スライドベース上に配され、左右方向にスライド自在に構成されることを特徴とする。
第6の発明は、第1、2また3の発明において、前記距離計測装置は、3つの撮像素子が一筐体内に配され、3つのレンズが該筐体外に嵌合された鏡筒に配されたあおり光学系により構成され、第1のレンズと第2のレンズが水平ステレオカメラを構成し、第2のレンズと第3のレンズが垂直ステレオカメラを構成することを特徴とする。
第7の発明は、第1ないし6のいずれかの調整機構を有する撮像系と、撮像系の視野内にスリット光をスキャンする公知の投光装置と、これらの作動を制御し、撮像した画像を解析するコントローラとから構成される立体形状認識システムであって、前記コントローラは、前記投光装置によりスリット光を物体に照射しながら、立体形状認識の対象となる物体の組画像を撮像し、公知の相対ステレオ法により立体形状認識を行うことを特徴とする立体形状認識システムである。
本発明によれば、ステレオカメラの光学的な歪みと位置的なずれを調整する調整機構を提供することが可能となり、その結果、三次元空間における対象物の凹凸の距離をより高精度に測定することが可能となる。
また、あおり光学系を採用し、遠近歪みがない状態で縦、横、回転方向の微調整を行えるため、ソフトウェアによる収差補正等が不要となり、高速認識が可能である。
さらには、左右のカメラの撮像範囲の全てを視野にすることができる。
さらには、左右のカメラの撮像範囲の全てを視野にすることができる。
図1および図2は、本発明の調整機構を備えた撮像装置である。この撮像装置は、レンズと撮像素子が平行に構成されたいわゆるあおり光学系ステレオカメラである。カメラを斜めに構成することによる遠近歪みの発生がなく、分解能が向上するという特徴を有しており、これにより、カメラから近い位置にある対象物体であっても、正確な相対距離画像を得ることができる。
本発明の調整機構によれば、レンズと撮像素子とをXY方向に相対移動することが可能である。これにより、単に平行にカメラを配置した構成と比べ、視野を広くすることができる。Y方向のずれは予めキャリブレーション時に無くしておき、X方向のズレから奥行き測定を行う。(なお、予めX方向のズレを無くし、Y方向のズレから奥行きを測定してもよい。)
本発明の調整機構によれば、レンズと撮像素子とをXY方向に相対移動することが可能である。これにより、単に平行にカメラを配置した構成と比べ、視野を広くすることができる。Y方向のずれは予めキャリブレーション時に無くしておき、X方向のズレから奥行き測定を行う。(なお、予めX方向のズレを無くし、Y方向のズレから奥行きを測定してもよい。)
本発明では、図14に示すように相互に平行にしたままで、レンズ21a,21bの中心と撮像素子22a,22bの中心をずらし、CCD撮像素子とレンズ中心を結んだ一対の撮像系の中心線の交点が計測対象物付近に有るようなあおり光学系を用いることによって、撮像素子上に遠近ひずみのない結像画像を得ることを可能としている。
また、撮像画像に回転ズレがある場合には、撮像素子と連結された回転基板6を微小回転させることにより、回転ズレを機械的に補正することができる。すなわち、左右シフト機構により鏡筒の左右位置を制御し、上下シフト機構および回転機構により撮像素子の上下および回転位置を制御している。
なお、左右シフト機構により撮像素子の左右位置を制御し、上下シフト機構により、鏡筒の上下位置を制御してもよい。
また、撮像画像に回転ズレがある場合には、撮像素子と連結された回転基板6を微小回転させることにより、回転ズレを機械的に補正することができる。すなわち、左右シフト機構により鏡筒の左右位置を制御し、上下シフト機構および回転機構により撮像素子の上下および回転位置を制御している。
なお、左右シフト機構により撮像素子の左右位置を制御し、上下シフト機構により、鏡筒の上下位置を制御してもよい。
以下では、本発明の詳細を実施例により説明するが、本発明は何らこれらの実施例に限定されるものではない。
《構造》
図3は本実施例の調整機構を備えた撮像系の正面図であり、図4は本実施例の撮像系を透過的に描写した平面図であり、図5は図3のA−A’断面側面図である。(図4および5では、鏡筒3および撮像素子22は省略)
図3は本実施例の調整機構を備えた撮像系の正面図であり、図4は本実施例の撮像系を透過的に描写した平面図であり、図5は図3のA−A’断面側面図である。(図4および5では、鏡筒3および撮像素子22は省略)
図3において、符号3a,3bは、カメラ2の一部である鏡筒であり、鏡筒内に配設されたレンズ21a,21bと、筐体1内に配設されたCCDカメラ、CMOSカメラ等の撮像素子22a,22bとからなるあおり光学系により、同一の領域を異なる視点から撮像するステレオカメラを構成している。
2台のカメラ2a,2bで撮像した2枚の画像は、図示しないステレオ画像処理装置で処理され、ステレオマッチングにより2つの画像の一致度が評価されて物体の三次元位置の算出や画像認識等が行われる。
なお、光切断法を用いる場合には、スリット光投光器が必要であるが、左右のカメラ2a,2bの間にスリット光照射部を設ける構成としてもよい。
2台のカメラ2a,2bで撮像した2枚の画像は、図示しないステレオ画像処理装置で処理され、ステレオマッチングにより2つの画像の一致度が評価されて物体の三次元位置の算出や画像認識等が行われる。
なお、光切断法を用いる場合には、スリット光投光器が必要であるが、左右のカメラ2a,2bの間にスリット光照射部を設ける構成としてもよい。
(1)左右シフト機構
符号4は、略正方形状をなす金属板から成る左右スライド基板であり、ビス401〜404によって筐体1に取着され、鏡筒をX軸方向に水平動する左右シフト機構を構成している。
左右スライド基板4にはビス401〜404と対向する位置に図示しないそれぞれが平行して左右に延びる細長いガイド孔が4つ形成されており、ビス401〜404を4つのガイド孔に挿通して筐体1に螺合することで、左右スライド基板4が左右スライド自在に取着される。
符号4は、略正方形状をなす金属板から成る左右スライド基板であり、ビス401〜404によって筐体1に取着され、鏡筒をX軸方向に水平動する左右シフト機構を構成している。
左右スライド基板4にはビス401〜404と対向する位置に図示しないそれぞれが平行して左右に延びる細長いガイド孔が4つ形成されており、ビス401〜404を4つのガイド孔に挿通して筐体1に螺合することで、左右スライド基板4が左右スライド自在に取着される。
図6は本実施例の調整機構を備えた撮像系の側面図である(図6では、鏡筒3は省略)。
図6に示すように、左右スライド基板4と対向する筐体1の側面には、左右駆動部14、上方左右引込部151および下方左右引込部152が設けられている。
左右駆動部14はねじで構成され、手動で調整することができる。左右駆動部14を締めると、左右スライド基板4が押され、鏡筒3が筐体1の内側方向にスライド動する。左右駆動部14を緩め、上方左右引込部151および下方左右引込部152により、左右スライド基板4を筐体1の外側に引っ張ることで、鏡筒3が筐体1の外側方向にスライド動する。
鏡筒3の左右位置の調整後、ビス401〜404を締めることで、最終調整位置を保持することができる。
このように、左右スライド基板4をスライド動して、調整することで、撮像素子22の左右誤差(並進ズレ)を機械的に修正できる。
なお、左右駆動部14、左右駆動部14を、公知の駆動手段(例えば、サーボモータとボールねじ)により、構成してもよい。
図6に示すように、左右スライド基板4と対向する筐体1の側面には、左右駆動部14、上方左右引込部151および下方左右引込部152が設けられている。
左右駆動部14はねじで構成され、手動で調整することができる。左右駆動部14を締めると、左右スライド基板4が押され、鏡筒3が筐体1の内側方向にスライド動する。左右駆動部14を緩め、上方左右引込部151および下方左右引込部152により、左右スライド基板4を筐体1の外側に引っ張ることで、鏡筒3が筐体1の外側方向にスライド動する。
鏡筒3の左右位置の調整後、ビス401〜404を締めることで、最終調整位置を保持することができる。
このように、左右スライド基板4をスライド動して、調整することで、撮像素子22の左右誤差(並進ズレ)を機械的に修正できる。
なお、左右駆動部14、左右駆動部14を、公知の駆動手段(例えば、サーボモータとボールねじ)により、構成してもよい。
(2)上下シフト機構
符号9は、略正方形状をなす金属板の上方中央部と下方両端部にU字の切欠きを有するスライド部を延出した上下スライド基板であり、ビス701〜703によって筐体1に取着され、撮像素子22を上下方向に垂直動する上下スライド機構を構成している。
上下スライド基板9の有するスライド部の3つのU字の切欠きにビス701〜703を挿通して筐体1に螺合することで、上下スライド基板7が上下スライド自在に取着される。
筐体1の上下面には、ねじで構成された上下駆動部181および182が設けられている。上下駆動部181および182の先端は、上下スライド基板9に接しており、撮像素子22からの基準チャートを撮影した画像を見ながら、これらのねじを調整することで、スライド基板9を上下にスライド動させて、撮像素子22の上下誤差(並進ズレ)を機械的に修正できる。
上下位置の調整後、ビス701〜703を締めることで、最終調整位置を保持することができる。
なお、上下駆動部181および上下駆動部182を、公知の駆動手段(例えば、サーボモータとボールねじ)により、構成してもよい。
符号9は、略正方形状をなす金属板の上方中央部と下方両端部にU字の切欠きを有するスライド部を延出した上下スライド基板であり、ビス701〜703によって筐体1に取着され、撮像素子22を上下方向に垂直動する上下スライド機構を構成している。
上下スライド基板9の有するスライド部の3つのU字の切欠きにビス701〜703を挿通して筐体1に螺合することで、上下スライド基板7が上下スライド自在に取着される。
筐体1の上下面には、ねじで構成された上下駆動部181および182が設けられている。上下駆動部181および182の先端は、上下スライド基板9に接しており、撮像素子22からの基準チャートを撮影した画像を見ながら、これらのねじを調整することで、スライド基板9を上下にスライド動させて、撮像素子22の上下誤差(並進ズレ)を機械的に修正できる。
上下位置の調整後、ビス701〜703を締めることで、最終調整位置を保持することができる。
なお、上下駆動部181および上下駆動部182を、公知の駆動手段(例えば、サーボモータとボールねじ)により、構成してもよい。
(3)回転機構
符号6は、長方形状をなす金属板から成る回転基板であり、略同一円周上に細長い3つのガイド孔が形成されており、ビス601〜603を3つのガイド孔に挿通して螺合することによって筐体1に取着され、撮像素子22をθ方向に回動する回転機構を構成している。支持基板8には真円精度良く、一定直径で誤差無く穴が形成されており、回転基板6には形成された軸状の段差が間隙を最小限に嵌合される。その状態で、回転基板6と支持基板8は、回転基板6に形成された3つのガイド孔を挿通するビス601〜603によって筐体1に螺合され、揺動自在に取着される。
筐体1の両側面には、ねじで構成された上方回転駆動部161および下方回転駆動部162が設けられている。上方回転駆動部161および下方回転駆動部162の先端は、回転基板6に接しており、撮像素子22からの基準チャートを移した画像を見ながら、これらのねじを調整することで、回転基板6を揺動させて撮像素子22のθ回転に対する取付誤差(回転ズレ)を機械的に修正できる。
なお、上方回転駆動部161および下方回転駆動部162を、公知の駆動手段(例えば、サーボモータとボールねじ)により、構成してもよい。
符号6は、長方形状をなす金属板から成る回転基板であり、略同一円周上に細長い3つのガイド孔が形成されており、ビス601〜603を3つのガイド孔に挿通して螺合することによって筐体1に取着され、撮像素子22をθ方向に回動する回転機構を構成している。支持基板8には真円精度良く、一定直径で誤差無く穴が形成されており、回転基板6には形成された軸状の段差が間隙を最小限に嵌合される。その状態で、回転基板6と支持基板8は、回転基板6に形成された3つのガイド孔を挿通するビス601〜603によって筐体1に螺合され、揺動自在に取着される。
筐体1の両側面には、ねじで構成された上方回転駆動部161および下方回転駆動部162が設けられている。上方回転駆動部161および下方回転駆動部162の先端は、回転基板6に接しており、撮像素子22からの基準チャートを移した画像を見ながら、これらのねじを調整することで、回転基板6を揺動させて撮像素子22のθ回転に対する取付誤差(回転ズレ)を機械的に修正できる。
なお、上方回転駆動部161および下方回転駆動部162を、公知の駆動手段(例えば、サーボモータとボールねじ)により、構成してもよい。
《作動》
本実施例の装置による相対ステレオ法の基本的な処理の流れを、植物の幼芽の空間位置認識をする例で説明する。
図11に示すように、まず、左右のカメラ2a,2bのどちらか一方で、光切断法により、スリット光が当たった位置の幼芽の茎の空間位置を決定する。ここで、左右のカメラ画像でスリット光が当たった位置が一致するように、左右シフト機構により、左右2枚の画像を重ね合わせる。すると、カメラからの距離が等しい茎の上の各点では画像のずれは発生しないが、茎が前後に曲がっていると、重ね合わせの結果、図12下段のように画像のずれが生じる。ここでは、画像のずれ量を視差dとして、これをもとに幼芽の形状や空間位置を決定する。
なお、左右のカメラ2a,2bの回転方向θおよびZ軸方向のずれは、回転機構および上下シフト機構により予め調整済みである。
本実施例の装置による相対ステレオ法の基本的な処理の流れを、植物の幼芽の空間位置認識をする例で説明する。
図11に示すように、まず、左右のカメラ2a,2bのどちらか一方で、光切断法により、スリット光が当たった位置の幼芽の茎の空間位置を決定する。ここで、左右のカメラ画像でスリット光が当たった位置が一致するように、左右シフト機構により、左右2枚の画像を重ね合わせる。すると、カメラからの距離が等しい茎の上の各点では画像のずれは発生しないが、茎が前後に曲がっていると、重ね合わせの結果、図12下段のように画像のずれが生じる。ここでは、画像のずれ量を視差dとして、これをもとに幼芽の形状や空間位置を決定する。
なお、左右のカメラ2a,2bの回転方向θおよびZ軸方向のずれは、回転機構および上下シフト機構により予め調整済みである。
この計算方法を図13に示す。スリット光が当たった位置で、左右シフト機構により、左右の画像を重ね合わせる。このとき、茎が曲がっていて幼芽が垂直に立っていなければ、スリット光投影位置に比べて茎が前後するため、ステレオ視において画像のずれを生じる。例えば、スリット光の当たった基準位置より茎が後ろにあるとき、左カメラ2aからみた右カメラ2bの対応位置が負のずれ量となる。
ここで、ずれ量(視差)d、カメラ2a,2bの間隔W、カメラからスリット光の当たった位置までを光切断法で測ったときの距離H、求める相対距離をxとすると、以下の式1であらわされる関係が導ける。
(数1) W/(H+x)=d/x
(数1) W/(H+x)=d/x
ここで、W,Hはあらかじめ決まっている値である。幼芽上のスリット光の位置を重ね合わせることにより、画像上の各点の三次元位置を、画像のずれ量dを元に計算できる。
また、上記のようにしてxが求まっていれば、カメラ2からの距離は(H+x)で求められるので、カメラの各画素が見ている位置が、空間中でどの点を通るかをキャリブレーションであらかじめ求めておけば、3次元位置を求めることも可能である。
また、上記のようにしてxが求まっていれば、カメラ2からの距離は(H+x)で求められるので、カメラの各画素が見ている位置が、空間中でどの点を通るかをキャリブレーションであらかじめ求めておけば、3次元位置を求めることも可能である。
図16に示すように、本実施例の装置による相対ステレオ法による奥行誤差eは、以下の式2により算出することができる。
(数2)e≒2×分解能×tanθ
なお、視野50mmのVGAカメラを間隔(W)50mmで配置し、作動距離を130mm、マッチング精度を1ピクセルとしたときの奥行誤差eは0.36mmであった。なお、分解能とは画像上で分析可能な位置の最少変化量を意味する。
(数2)e≒2×分解能×tanθ
なお、視野50mmのVGAカメラを間隔(W)50mmで配置し、作動距離を130mm、マッチング精度を1ピクセルとしたときの奥行誤差eは0.36mmであった。なお、分解能とは画像上で分析可能な位置の最少変化量を意味する。
キャリブレーション方法の一例を詳しく説明する。まず、図14のように精密に作られた校正パターンを利用して、カメラの角画素が空間を見ている位置に伸ばした直線(視線)が空間中を通る位置を求める。図14の千鳥パターンの間隔は、非常に精密に描かれている。ここで、ロボットの手先の基準位置を原点とし、そこからZ0,Z1の位置に校正パターンを置いて、各画素が、校正パターンのどの位置を見ているかを計算し、P0(X0,Y0,Z0)、P1(X1,Y1,Z1)を決めることができる。ここで、カメラ2からの距離をもとにZiを求めれば、P0,P1の座標値を補間することで、空間座標を決定できる。
図11、図12に示すような植物の茎の計測においては、まずスリット光の当たった基準点の座標点が求まる。これを基準点として、本発明装置を用いることで、図12の画像について、茎の方向に沿ったすべての画素位置で、その基準点からの距離の差(相対距離)が求められる。そして、距離が求まれば、図14から空間座標を求めることも可能である。
本実施例の撮像装置によれば、左右のカメラの取り付け平行度(回転)と基準面での画像一致度(位置)を上記のように簡便に基準平面上での視差調整を簡便に行うことができ、さらにステレオ画像の各画像の高さ方向を一致させることが可能になる。
歪曲収差と倍率誤差、解像力(限界解像力、MTF特性)等が既知のレンズを用いれば、歪曲収差をソフトウェアで補正することなく距離計測が可能な立体形状認識が行えるため、処理能力高速化を図ることができる。
また、従来のステレオカメラにおける有効視野の減少という問題も、左右スライド機構により解消することができる。
歪曲収差と倍率誤差、解像力(限界解像力、MTF特性)等が既知のレンズを用いれば、歪曲収差をソフトウェアで補正することなく距離計測が可能な立体形状認識が行えるため、処理能力高速化を図ることができる。
また、従来のステレオカメラにおける有効視野の減少という問題も、左右スライド機構により解消することができる。
本実施例は、調整機構を備えた2つの撮像系がそれぞれ別筐体に納められた構成を開示する。
比較的遠方にある対象物をステレオ計測する場合、奥行き変化量に対する視差変化量が減少する。このため、これを解決するにはカメラ間隔を大きくすることが効果的である。すなわち、本実施例の構成によれば、遠方であっても精度の良いステレオ計測が可能である。
図8は、本実施例の撮像系の正面図であり、図9は本実施例の撮像系を透過的に描写した平面図である。
筐体11と筐体12は、鏡筒3と撮像素子22を備えた撮像系であり、スライドベース10でY軸方向に移動自在に構成されている。本実施例の構成によれば、筐体11と筐体12の離間距離を調整することにより、有効視野を調整することができる。
左右シフト機構、上下シフト機構および回転機構は、実施例1と同様の構成である。
本実施例の構成によれば、作動距離と有効視野の組合せに幅を持たせながら、並進ズレおよび回転ズレを解消することが可能となる。
比較的遠方にある対象物をステレオ計測する場合、奥行き変化量に対する視差変化量が減少する。このため、これを解決するにはカメラ間隔を大きくすることが効果的である。すなわち、本実施例の構成によれば、遠方であっても精度の良いステレオ計測が可能である。
図8は、本実施例の撮像系の正面図であり、図9は本実施例の撮像系を透過的に描写した平面図である。
筐体11と筐体12は、鏡筒3と撮像素子22を備えた撮像系であり、スライドベース10でY軸方向に移動自在に構成されている。本実施例の構成によれば、筐体11と筐体12の離間距離を調整することにより、有効視野を調整することができる。
左右シフト機構、上下シフト機構および回転機構は、実施例1と同様の構成である。
本実施例の構成によれば、作動距離と有効視野の組合せに幅を持たせながら、並進ズレおよび回転ズレを解消することが可能となる。
本実施例は、調整機構を備えた3つの撮像系が同一筐体に納められた構成を開示する。
左右シフト機構、上下シフト機構および回転機構は、実施例1と同様の構成である。
ステレオ計測ではエピポーララインと並行するエッジの誤認識することがある。
本実施例の構成によれば、調整機構をもつ3つの撮像系を備えているため、水平方向の組合せ(レンズ3aと3b)のみならず垂直方向の組合せ(レンズ3bと3c)によるステレオカメラを構成できるため、エッジの方向性による誤認識を回避できる利点がある。
左右シフト機構、上下シフト機構および回転機構は、実施例1と同様の構成である。
ステレオ計測ではエピポーララインと並行するエッジの誤認識することがある。
本実施例の構成によれば、調整機構をもつ3つの撮像系を備えているため、水平方向の組合せ(レンズ3aと3b)のみならず垂直方向の組合せ(レンズ3bと3c)によるステレオカメラを構成できるため、エッジの方向性による誤認識を回避できる利点がある。
本実施例の構成では、筐体1の上下両方に各撮像系用の上下駆動部を設けることができない。そのため、上下駆動部181および182をねじで構成しているが、両者の役割は相違する。上下駆動部181の先端は上下スライド基板9に当接するものであるが、上下駆動部182は上下スライド基板9に形成されたねじ孔に螺合されている。上下スライド基板9の上下の移動は、上下駆動部181を緩め、基準チャートを撮影した画像を見ながら上下駆動部182により行い、再び上下駆動部181を締めて上下スライド基板9が上下駆動部181により適切に支持されるようにする。このようにすることで、ビス701〜703を締めて最終調整位置を保持する際に、締め付け時のトルクにより、上下スライド基板9の位置がずれることを防止している。
実施例4は、本発明の調整機構を有する距離計測装置を備えた、立体形状認識システムである。
《構成》
本実施例のシステムは、図16に示すように、本発明の調整機構を有するステレオカメラであるカメラ2と、ステップモータにより回動するミラーにより、カメラ2の視野内にスリットレーザー光をスキャンする投光装置24と、PC上で稼働するプログラムを備え、カメラ2および投光装置24を制御し、撮像した画像を解析するコントローラ25とから構成される。
カメラ2は、秒間数十枚の同時タイミングのステレオ画像が取得可能な公知のあおり光学系カメラである(例えば、Pointgray社の製品FLEA)。
《構成》
本実施例のシステムは、図16に示すように、本発明の調整機構を有するステレオカメラであるカメラ2と、ステップモータにより回動するミラーにより、カメラ2の視野内にスリットレーザー光をスキャンする投光装置24と、PC上で稼働するプログラムを備え、カメラ2および投光装置24を制御し、撮像した画像を解析するコントローラ25とから構成される。
カメラ2は、秒間数十枚の同時タイミングのステレオ画像が取得可能な公知のあおり光学系カメラである(例えば、Pointgray社の製品FLEA)。
《作動》
コントローラ25は、投光装置24によりスリット光(好ましくはレーザー光)を物体に照射しカメラの視野内を移動させながら、カメラ2に対し同時にトリガーをかけ、立体形状認識の対象となる物体の左右同期ペア画像(組画像)を撮像する。コントローラ25は、PCの記憶手段に組画像を連続記憶する。そして、実施例1に記載のアルゴリズムにより、記録した組画像を解析し、立体形状認識を行う。
コントローラ25は、投光装置24によりスリット光(好ましくはレーザー光)を物体に照射しカメラの視野内を移動させながら、カメラ2に対し同時にトリガーをかけ、立体形状認識の対象となる物体の左右同期ペア画像(組画像)を撮像する。コントローラ25は、PCの記憶手段に組画像を連続記憶する。そして、実施例1に記載のアルゴリズムにより、記録した組画像を解析し、立体形状認識を行う。
立体形状認識のためには、スリット光が当たった左右のステレオ画像が一つあればよい。物体表面がなめらかな(凹凸のない)物体であっても、スリット光を画像処理により抽出することで可能である。ここで、スリット光の反射光の抽出は、例えば、スリット光の波長を選択的に通過させるフィルタをレンズに装着し、周囲を囲い外光の照射を防ぐこと、或いは、既知の画像処理手法により画像の濃淡に対して閾値を設定し、一定以上の輝度のピクセルのみを選択的に表示することで可能となる。
本実施例のシステムにおいては、対象物体を計測する際には、左右のステレオ画像でY軸上の水平線上におけるスリット光出現位置の視差を計測し、上記の計算式により奥行き距離計測が可能である。ここで、スリット光の反射光は単に左右のカメラのために同一点情報を提供するのみに使用される。すなわち、スリット光投影角をパラメータとした複雑な計算が不要であるため高速な解析が可能であり、光切断法のようなスリット光の制御も不要である。
従来の光切断による形状認識の手法としては、例えば、発明者が開示する、レーザーの照射角度を指定角度に移動し、停止させ撮像し、それを繰り返すことで物体表面にレーザーが反射した画像を撮像し形状計測する手法(特開2004−3086)があるが、この手法では撮像に数十秒を要していた。
本実施例のシステムでは、上記の数倍の速度で計測が可能である。計測時間が短いため、例えば、従来は困難であった子供の手の形状計測等にも応用が可能である。すなわち、本実施例のシステムでは、記憶された組画像を事後的に解析することで、立体形状認識を行うことが可能である。
また、本実施例のシステムでは、レンズの選択・交換により焦点距離を変更できるため、多様な用途に応用可能である。例えば、人体以外の対象物の計測はもちろん、手に限られない人体の各部位や全身の計測にも応用することができる。
本実施例のシステムでは、上記の数倍の速度で計測が可能である。計測時間が短いため、例えば、従来は困難であった子供の手の形状計測等にも応用が可能である。すなわち、本実施例のシステムでは、記憶された組画像を事後的に解析することで、立体形状認識を行うことが可能である。
また、本実施例のシステムでは、レンズの選択・交換により焦点距離を変更できるため、多様な用途に応用可能である。例えば、人体以外の対象物の計測はもちろん、手に限られない人体の各部位や全身の計測にも応用することができる。
本発明は、エッジ認識による高速立体計測に応用することが可能であり、またスリット光をスキャンさせれば滑らかな表面を計測することも可能である。
1 筐体
2 カメラ
3 鏡筒
4 左右スライド基板
6 回転基板
8 支持基板
9 上下スライド基板
21 レンズ
22 撮像素子
24 投光装置
25 コントローラ
14 左右駆動部
40 幼芽
41 苗箱
50 スリット光照射部
60 校正パターン
61 底板
151 上方左右引込部
152 下方左右引込部
161 上方回転駆動部
162 下方回転駆動部
181,182 上下駆動部
401〜404 ビス(左右シフト用)
601〜603 ビス(回転用)
701〜703 ビス(上下シフト用)
2 カメラ
3 鏡筒
4 左右スライド基板
6 回転基板
8 支持基板
9 上下スライド基板
21 レンズ
22 撮像素子
24 投光装置
25 コントローラ
14 左右駆動部
40 幼芽
41 苗箱
50 スリット光照射部
60 校正パターン
61 底板
151 上方左右引込部
152 下方左右引込部
161 上方回転駆動部
162 下方回転駆動部
181,182 上下駆動部
401〜404 ビス(左右シフト用)
601〜603 ビス(回転用)
701〜703 ビス(上下シフト用)
Claims (7)
- 一定間隔に配設された複数のレンズと、各レンズと対応する複数の撮像素子から構成される距離計測装置の調整機構であって、
複数のレンズまたは撮像素子の少なくとも一つを左右にスライドして固定する左右シフト機構と、複数の撮像素子またはレンズの少なくとも一つを上下にスライドして固定する上下シフト機構と、複数の撮像素子をそれぞれ回動させて固定する回転機構とを備えることを特徴とする調整機構。 - 一定間隔に配設された複数のレンズと、各レンズと対応する複数の撮像素子から構成される距離計測装置の調整機構であって、
複数のレンズまたは撮像素子のそれぞれを左右にスライドして固定する左右シフト機構と、複数の撮像素子またはレンズのそれぞれを上下にスライドして固定する上下シフト機構と、複数の撮像素子をそれぞれ回動させて固定する回転機構とを備えることを特徴とする調整機構。 - 前記左右シフト機構は、平行して左右に延びる複数のガイド孔が形成されたスライド基板がガイド孔を挿通する複数のビスによって筐体に取着されることにより左右にスライド自在に構成され、
前記上下シフト機構は、上下に開口を有する複数の切欠きが形成されたスライド基板が切欠きを挿通する複数のビスによって筐体に取着されることにより上下にスライド自在に構成され、
前記回転機構は、略同一円周上に細長い複数のガイド孔が形成されたスライド基板がガイド孔を挿通する複数のビスによって筐体に取着されることにより揺動自在に構成されることを特徴とする請求項1または2の距離計測装置の調整機構。 - 前記距離計測装置は、一対の撮像素子が一筐体内に配され、一対のレンズが該筐体外に嵌合された鏡筒に配されたあおり光学系により構成されることを特徴とする請求項1、2または3の距離計測装置の調整機構。
- 前記距離計測装置は、第一の撮像素子が第一の筐体内に配され、第一のレンズが第一の筐体外に嵌合された鏡筒に配され、第二の撮像素子が第二の筐体内に配され、第二のレンズが第二の筐体外に嵌合された鏡筒に配されたあおり光学系であって、
前記第一および第二の筐体が、スライドベース上に配され、左右方向にスライド自在に構成されることを特徴とする請求項1、2または3の距離計測装置の調整機構。 - 前記距離計測装置は、3つの撮像素子が一筐体内に配され、3つのレンズが該筐体外に嵌合された鏡筒に配されたあおり光学系により構成され、第1のレンズと第2のレンズが水平ステレオカメラを構成し、第2のレンズと第3のレンズが垂直ステレオカメラを構成することを特徴とする請求項1、2または3の距離計測装置の調整機構。
- 請求項1ないし6のいずれかの調整機構を有する撮像系と、撮像系の視野内にスリット光をスキャンする公知の投光装置と、これらの作動を制御し、撮像した画像を解析するコントローラとから構成される立体形状認識システムであって、
前記コントローラは、前記投光装置によりスリット光を物体に照射しながら、立体形状認識の対象となる物体の組画像を撮像し、公知の相対ステレオ法により立体形状認識を行うことを特徴とする立体形状認識システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006046056A JP2007225403A (ja) | 2006-02-22 | 2006-02-22 | 距離計測装置の調整機構およびそれを備えた立体形状認識システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006046056A JP2007225403A (ja) | 2006-02-22 | 2006-02-22 | 距離計測装置の調整機構およびそれを備えた立体形状認識システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007225403A true JP2007225403A (ja) | 2007-09-06 |
Family
ID=38547362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006046056A Pending JP2007225403A (ja) | 2006-02-22 | 2006-02-22 | 距離計測装置の調整機構およびそれを備えた立体形状認識システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007225403A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102012215A (zh) * | 2010-11-05 | 2011-04-13 | 东南大学 | 基于数字图像的非接触式光学应变测量方法及应变计 |
JP2012149986A (ja) * | 2011-01-19 | 2012-08-09 | Seiko Epson Corp | 位置検出システム、表示システム及び情報処理システム |
CN103499337A (zh) * | 2013-09-26 | 2014-01-08 | 北京航空航天大学 | 一种基于立式标靶的车载单目摄像头测距测高装置 |
CN104931009A (zh) * | 2015-04-30 | 2015-09-23 | 深圳市金立通信设备有限公司 | 一种测量水平距离的方法 |
JP2019054501A (ja) * | 2017-09-12 | 2019-04-04 | イズメディア カンパニー リミテッド | デュアルカメラモジュールの整列方法 |
CN113446935A (zh) * | 2021-06-09 | 2021-09-28 | 同济大学 | 一种六自由度测量系统和方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5645810U (ja) * | 1979-09-13 | 1981-04-24 | ||
JPS60182878A (ja) * | 1984-02-29 | 1985-09-18 | Nec Home Electronics Ltd | 固体撮像素子の位置調整機構 |
JPS6411254A (en) * | 1987-07-03 | 1989-01-13 | Sharp Kk | Stereoscopic image pickup device |
JPH05276309A (ja) * | 1992-03-24 | 1993-10-22 | Ricoh Co Ltd | 画像読取装置 |
JPH10115506A (ja) * | 1996-10-11 | 1998-05-06 | Fuji Heavy Ind Ltd | ステレオカメラの調整装置 |
JPH10122819A (ja) * | 1996-10-21 | 1998-05-15 | Omron Corp | キャリブレーション方法およびその装置 |
JP2000065532A (ja) * | 1998-08-26 | 2000-03-03 | Tech Res & Dev Inst Of Japan Def Agency | 多眼画像センサ |
JP2001242521A (ja) * | 2000-02-28 | 2001-09-07 | Fuji Heavy Ind Ltd | カメラの組み立て構造、カメラの調整方法、および調整用治具 |
JP2003329418A (ja) * | 2002-05-15 | 2003-11-19 | Kawasaki Heavy Ind Ltd | 3次元計測装置 |
-
2006
- 2006-02-22 JP JP2006046056A patent/JP2007225403A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5645810U (ja) * | 1979-09-13 | 1981-04-24 | ||
JPS60182878A (ja) * | 1984-02-29 | 1985-09-18 | Nec Home Electronics Ltd | 固体撮像素子の位置調整機構 |
JPS6411254A (en) * | 1987-07-03 | 1989-01-13 | Sharp Kk | Stereoscopic image pickup device |
JPH05276309A (ja) * | 1992-03-24 | 1993-10-22 | Ricoh Co Ltd | 画像読取装置 |
JPH10115506A (ja) * | 1996-10-11 | 1998-05-06 | Fuji Heavy Ind Ltd | ステレオカメラの調整装置 |
JPH10122819A (ja) * | 1996-10-21 | 1998-05-15 | Omron Corp | キャリブレーション方法およびその装置 |
JP2000065532A (ja) * | 1998-08-26 | 2000-03-03 | Tech Res & Dev Inst Of Japan Def Agency | 多眼画像センサ |
JP2001242521A (ja) * | 2000-02-28 | 2001-09-07 | Fuji Heavy Ind Ltd | カメラの組み立て構造、カメラの調整方法、および調整用治具 |
JP2003329418A (ja) * | 2002-05-15 | 2003-11-19 | Kawasaki Heavy Ind Ltd | 3次元計測装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102012215A (zh) * | 2010-11-05 | 2011-04-13 | 东南大学 | 基于数字图像的非接触式光学应变测量方法及应变计 |
JP2012149986A (ja) * | 2011-01-19 | 2012-08-09 | Seiko Epson Corp | 位置検出システム、表示システム及び情報処理システム |
CN103499337A (zh) * | 2013-09-26 | 2014-01-08 | 北京航空航天大学 | 一种基于立式标靶的车载单目摄像头测距测高装置 |
CN103499337B (zh) * | 2013-09-26 | 2015-07-15 | 北京航空航天大学 | 一种基于立式标靶的车载单目摄像头测距测高装置 |
CN104931009A (zh) * | 2015-04-30 | 2015-09-23 | 深圳市金立通信设备有限公司 | 一种测量水平距离的方法 |
JP2019054501A (ja) * | 2017-09-12 | 2019-04-04 | イズメディア カンパニー リミテッド | デュアルカメラモジュールの整列方法 |
CN113446935A (zh) * | 2021-06-09 | 2021-09-28 | 同济大学 | 一种六自由度测量系统和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10302749B2 (en) | LIDAR optics alignment systems and methods | |
US10869024B2 (en) | Augmented reality displays with active alignment and corresponding methods | |
US11223820B2 (en) | Augmented reality displays with active alignment and corresponding methods | |
US10816648B2 (en) | Methods and systems for LIDAR optics alignment | |
US8619144B1 (en) | Automatic camera calibration | |
US11885883B2 (en) | LIDAR optics alignment system | |
US9330324B2 (en) | Error compensation in three-dimensional mapping | |
US9492889B2 (en) | Laser processing machine | |
TWI576187B (zh) | Laser processing device | |
US20030035100A1 (en) | Automated lens calibration | |
US20110096182A1 (en) | Error Compensation in Three-Dimensional Mapping | |
US10821911B2 (en) | Method and system of camera focus for advanced driver assistance system (ADAS) | |
JP2012167944A (ja) | ステレオカメラ校正方法及び装置 | |
JP2007225403A (ja) | 距離計測装置の調整機構およびそれを備えた立体形状認識システム | |
JP2010219663A (ja) | 撮像装置のキャリブレーション方法およびキャリブレーションシステム | |
JP2023510738A (ja) | 3次元カメラの座標系を2次元カメラの入射位置に移動させる方法 | |
JP2020201245A (ja) | 3d位置決定用の位置検出器及び方法 | |
JP3941631B2 (ja) | 三次元撮像装置および方法 | |
WO2019087253A1 (ja) | ステレオカメラのキャリブレーション方法 | |
JP4352142B2 (ja) | 相対距離計測方法及びその装置 | |
JPWO2004107762A1 (ja) | 撮影方法及び撮影装置 | |
JP7173825B2 (ja) | カメラシステム、その制御方法およびプログラム | |
US8885051B2 (en) | Camera calibration method and camera calibration apparatus | |
JP2000046534A (ja) | モアレ装置 | |
JP2024048525A (ja) | ステレオ計測装置の較正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Effective date: 20090109 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110224 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110713 |