JP3860412B2 - ３次元距離画像を撮影するための方法及び装置 - Google Patents

Description

【０００１】
本発明は空間的オブジェクトの３次元距離画像の撮影のための方法及び装置に関する。
【０００２】
３次元で撮影し処理するセンサシステムは、産業技術の実に様々な課題設定においてますます重要性を持ちつつある。例えばレーザレーダのような周知の光学的レーダシステムは、レーザパルス伝播時間測定の原理又はオブジェクト距離の導出のために変調されたレーザ光の位相差の測定に基づく。３次元画像供給システムの構成のためには、付加的な機械的スキャン装置が必要である。これは比較的高価な電子的及び機械的コストをもたらす。このコストはこのような３次元システムの使用を数少ない特別な適用に限定する。
【０００３】
ＣＣＤカメラ（電荷結合素子）を使用する方法が公知であり、この半導体カメラに対してはテレビジョン（ＴＶ）規準が使用される。従って、単に比較的長い読み出し時間しか実現されない。
【０００４】
本発明の課題は、３次元距離画像を撮影するための方法ならびに装置を提供して、コスト高な機械的装置なしで空間的オブジェクトに対する３次元距離画像を得るための迅速かつコスト的に有利な方法を提供することである。
【０００５】
上記課題は請求項１、２乃至は請求項２６の特徴部分記載の構成によって解決される。
【０００６】
本発明は次のような認識に基づいている。すなわち、画素分解能（ピクセル分解能）を有しかつランダムに読み出し可能であり、さらに積分時間を詳細に調整可能である光電センサを使用することによって、３次元距離画像のきわめて迅速な画像撮影が可能である、という認識に基づいている。このために、オブジェクトは１つ又は複数の非常に短い光パルスで照明され、次いで同じ長さの光パルスがこのオブジェクトから散乱されて戻ってくる。これらの散乱されて戻ってくる光パルスは相応の光学系を介して光電チップに導かれる。センサからの異なるオブジェクト点の異なる距離に基づいて、それぞれの箇所に対応する散乱されて戻ってくる光パルスはそれぞれ異なる時間でセンサに到達する。距離測定に対しては、時間測定窓がオープンされる。この時間測定窓の持続時間は予め設定可能な積分時間に相応する。積分時間は、送信される光パルスの長さ、すなわち反射される光パルスの長さより小さいか又は等しい。従って、積分時間の終了時点には散乱されて戻ってくる光パルスの統一的なカットがセンサにおいて行われることが保障される。画素素子毎に時間遅延して入射する光パルスは後の方でカットされる。この結果、光電センサのラスタにおける異なる電荷に基づいて、異なる伝播時間が異なる電荷差に変換されうる。この電荷差から３次元距離画像が計算される。
【０００７】
本発明はまた次のように構成される。すなわち、定められた長さを有する光パルスの代わりに、急勾配のエッジを有する光強度上昇だけを使用し、センサにおいて相応に撮影し評価するように構成される。これによって、測定結果は光パルスの下がりエッジの経過に依存しなくなる。他方で例えばセンサ素子の動作熱により発生される暗電流の影響ならびに周囲光（妨害光）の成分が精確に各画素毎に補償される。全体として３回の連続する測定によってまず最初に暗電流及び周囲光が検出され、その後で露光との関連においてオブジェクトにより反射されセンサで受信された光量がセンサ信号の形式で積分される。これが続いて比較的大きい積分時間で繰り返される。ここから、相応の補間によって各オブジェクト点毎に光の伝播時間がもとめられる。これは伝播時間、すなわちオブジェクトまでの距離を同時に精確に測定することにおいて比較的少ない光出力の使用をもたらす。
【０００８】
本発明の有利な実施形態では、非常に長い積分時間によって全ての光パルスをまず最初に記述した測定と同時に、又は、その後で時間シフトしてこれらの全ての光パルスの完全な長さで受信する。これは正規化に利用され、この結果、オブジェクトの反射特性における差異が識別され、補償される。
【０００９】
他の実施形態は従属請求項から得られる。
【００１０】
本発明の重要な利点は、例えば機械的なシャッタを省略できることである。極端に短い画像撮影時間が実現される。使用される光電センサは一般的にＣＭＯＳセンサと呼ばれ、これは半導体構成素子の技術的な名称でしかない。このようなセンサによって５０nsecから３０nsecまでの最小積分時間が実現される（ジッタはほぼ０.１％よりも小さい）。技術的な発展は積分時間においてさらに前進している。
【００１１】
次に概略図に基づいて実施例を記述する。
【００１２】
図１はＣＭＯＳセンサによる３次元距離画像の検出のための作動原理を示す。
【００１３】
図２は積分窓に対して相対的な２つの光パルスの時間的ずれの概略図を示し、これらの２つの光パルスの所属のオブジェクト点はＣＭＯＳセンサに対して異なる距離を有する。
【００１４】
図３はＣＭＯＳセンサによる３次元距離画像及び強度画像乃至はグレースケール値画像を同時に検出するためのセンサの概略図を示す。
【００１５】
図４は３次元ＣＭＯＳセンサによる車両内部空間監視を示す概略図を示す。
【００１６】
図５は積分ＣＭＯＳセンサによる距離測定を示し、送信側のレーザダイオードの信号及び受信側のセンサ信号が図示されている。
【００１７】
図６は積分ＣＭＯＳセンサによる距離測定を示し、図６ａではレーザダイオードの送信側の動作が及び図６ｂではこのセンサにおいて継続される積分により得られるセンサ信号が図示されている。
【００１８】
図７は送信側の照明と受信側のレーザパルスの検出との間の関係を時間的相関において示しており、図７に下方に示された測定信号は短い積分時間との関連において及び非常に長い積分時間との関連において図示されている。
【００１９】
図８はレーザパルスの送信側及び受信側の図示を時間的相関において示し、センサの照明制御に関連する２つの異なる短い積分時間が設けられている。
【００２０】
短時間露出において光電センサによる空間的オブジェクトの強度画像及び３次元距離画像を連続的又は同時的に検出乃至は生成するための方法を記述する。この方法は、３次元オブジェクトから散乱されて戻ってくる光パルスの伝播時間差を短い積分時間内のセンサにおける画素同期（ピクセル同期）検出において利用する。この場合、ＣＭＯＳセンサが使用される。このセンサは例えば１ｍＬｕｘの感光性を有する。さらに、このセンサは１０⁷までの高い強度ダイナミック特性を有し、個々の画素（ピクセル）へのランダムなアクセスならびに調整可能な積分時間（サンプル・アンド・ホールド）を有する。測定には、個々の画素の露出による電荷量Ｑ（ｔ）が使用される。
【００２１】
ＣＣＤカメラを使用する方法に比べて、例えば強度画像及び３次元画像のパラレルな検出ならびに明らかにＣＣＤカメラの読み出し時間を下回る短い画像撮影時間の実現のような特別な利点が得られる。さらに、このＣＭＯＳはコスト高な機械的シャッタを必要とせず、さらに短時間露出のために出力の高いレーザ光源を使用する必要もない。
【００２２】
この方法は、空間監視、例えば車両内部/車両外部監視、クレーン装置の自動化ならびにナビゲーションにおいてとりわけ人物及び運動経過の識別に適している。
【００２３】
基本的な動作構成を図１に基づいて説明する。まず最初に検出すべき空間的オブジェクトの照明に対して例えば短い光パルス＜１００nsが供給される。この照明は例えばパルス制御されるレーザダイオードによるレーザ光によって又は例えばパルス制御されるＬＥＤダイオードのような光源によって行われる。この方法は、照明の角度には依存しない。この照明を一般的な検出方向の中心部にどうしても行う必要はない。よって、例えば同軸的な照明及び検出においてもリング光を使用することが考えられる。図１に図示された装置は動作原理の概略的な説明のためだけに使用される。
【００２４】
第１の画像撮影ＡはＣＭＯＳセンサにおける短い積分時間Δ_Aに結びつけられている。三次元シーンのオブジェクト点Ｇから散乱されて戻ってくる長さΔ_L（＜１００nsec）の光パルス３はＣＭＯＳセンサの所属の画素９において調整された短い積分時間Δ_A≦Δ_L内に検出される。電子的なトリガパルスによってこの場合送信された光パルス２とこのＣＭＯＳセンサにおける積分時間窓のオープンとの間には固定的な時間関係が形成される。光の伝播時間のために、オブジェクト距離Ｒに応じて異なる時間的ずれ
τ＝２Ｒ/Ｖ_c （Ｖ_c＝光速）
が送信された光パルスとＣＭＯＳセンサにおいて検出される光パルスとの間に生じる。画素において積分時間Δ_A内に測定される電荷Ｑ_Aはこれによってセンサとオブジェクト点Ｇとの間の距離Ｒに依存する。これについては図２を参照のこと。
【００２５】
Ｑ_A ∝ Ｉ₀*Ｏ_R(Δ_L−(２Ｒ/Ｖ_c−ｔ_D)) （１）
Ｉ₀ 送信された光パルスの強度、
Ｏ_R オブジェクト点Ｇにおける表面反射係数、
ｔ_D 送信される光パルスとＣＭＯＳセンサにおける積分窓のスタートとの間のトリガ点時間遅延。
【００２６】
同一の表面反射係数Ｏ_Rを有する複数のオブジェクト点Ｇに対しては、これらの距離Ｒに依存して異なる電荷Ｑ_AがＣＭＯＳセンサの所属の画素で測定される。これにより光パルスの小さい伝播時間差が電荷変化Ｑ_Aに変換され、この結果、積分された電荷はそのそれぞれの距離Ｒ_(1,...)を有するそれぞれのオブジェクト点Ｇを代理する。これらはＣＭＯＳセンサにおいて非常に感度が良く、高いダイナミック特性によって検出されうる。通常は３次元シーンのオブジェクトは異なる表面反射を有する。
【００２７】
従って、距離画像の正規化のためにはさらに第２の画像撮影Ｑ_Bが実施される。この第２の画像撮影Ｑ_Bは３次元シーンのオブジェクトの表面反射にのみ依存する。
【００２８】
長い積分時間Δ_Bを有する第２の画像撮影Ｂの実施は、３次元シーンの表面反射の正規化に使用され、原理的には従来の強度画像又はグレースケール値画像が使用される。このために第２の画像撮影の際にはＣＭＯＳセンサにおいて照明光パルスの長さに比べて非常に大きい積分時間Δ_Bが調整される；Δ_B≫Δ_L、例えば１マイクロ秒。今や散乱されて戻ってくる全ての光パルス３はその伝播時間には無関係にその完全な大きさにおいてＣＭＯＳセンサにおいて検出される。画素において測定される電荷Ｑ_Bは
Ｑ_B ∝ Ｉ₀・Ｏ_R・Δ_L （２）
である。得られる画像は、照明強度Ｉ₀、所属のオブジェクト点の表面反射係数Ｏ_R、ならびに光パルス長Δ_Lにのみ依存する。
【００２９】
２次元距離画像Ｑ_Rの生成は、画像撮影ＡとＢ乃至はＱ_AとＱ_Bの差及び正規化から計算によって行われる。
【００３０】
Ｑ_R＝（Ｑ_A−Ｑ_B）/Ｑ_B （３）
式（１）及び（２）からｔ_D＝０によって次式
Ｑ_R ∝ −２Ｒ/(Ｖ_c*Δ_L) （４）
が得られる。この値は読み出し及びデジタル化ならびに全ての画素に対する付加的なスケーリングの後で直接的に距離画像Ｑ_Rとして出力される。トリガ遅延時間ｔ_Dが０に等しくない場合、距離画像Ｑ_Rの全ての点に一定のオフセット
Ｒ_D＝ｔ_D/(Ｖ_c*Δ_L) （５）
ただしここでＲ_Dはｔ_Dにおける距離値（電荷オフセット）、
が加算される。
【００３１】
強度画像及び３次元画像の同時撮影は強度値及び距離値の局所的に及び時間的にパラレルな検出の実施に関連している。このために、チップ・アーキテクチャ及びピクセル相対積分時間は次のように選択される。すなわち、ＣＭＯＳセンサ上の図３に相応する直接隣接するピクセルＡとピクセルＢとは３次元シーンの散乱されて戻ってくる光パルス３を短い積分時間Δ_A≦Δ_L(ピクセルＡ) 及びΔ_B≫Δ_L(ピクセルＢ)で同時に検出するように選択される。チップ上に集積された電子回路によって直接的に割り当てられたピクセルＡ及びピクセルＢの２次元距離画像
Ｑ_R＝（Ｑ_A−Ｑ_B）/Ｑ_B （６）
が計算され、出力される。
【００３２】
図３は強度画像及び３次元距離画像のパラレルな検出のためのＣＭＯＳセンサ上の２つの可能な配置を概略的に示す。これに対して他の変形も可能である。強度画像及び３次元距離画像の同時検出はとりわけ移動する３次元シーンの分析において重要であり、例えば人物の身振り又はオブジェクト追跡の検出である。本発明の他の特別な特徴は、
・ 必要な場合には、周囲光に関する３次元距離画像の付加的な正規化を実施できる。このためにはまず最初に３次元シーン乃至はオブジェクトの照明なしで画素の電荷を短い積分時間及び長い積分時間で検出し、さらに照明によって測定された電荷Ｑ_A及びＱ_Bから引く。続いて距離画像Ｑ_Rの計算が行われる。
【００３３】
・ 複数の光パルスの信号の時間的平均化によって、散乱して戻ってくる光強度が小さい場合にノイズに対してこの方法の感度の向上が達成される。
【００３４】
・ 距離測定の測定不確定性はＣＭＯＳセンサの信号対ノイズ特性に依存する。これが予期される場合、０.１nsの間の伝播時間差がまだ検出されうる。ここから、測定不確実性は距離測定に対して３cmよりも小さいと推論される。
【００３５】
ここに記述される方法及び装置の基本的な使用は内部空間の監視、とりわけ体積測定評価方法に結びついた車両の内部空間の監視に関する。車両における光学的な内部空間監視の課題は、例えば人物、チャイルドシート、その他のオブジェクトのような座席占有状態の識別、人物の座席位置の検出及び盗難保護、すなわち、外部からの車両内部への不許可の侵入の検出である。人物及びその座席位置の識別はエアバック（スマート・エアバック）の段階的なトリガに対して安全性に関連して大いに意味があり、これは衝突事故において非常に確実にかつ短い測定時間で行われなければならない。本発明はこれらの要求を車両内部の３次元距離画像の迅速かつ確実な生成によって満たし、体積測定評価方法を使用する。この場合、立体角要素Ωにおける距離値Ｒから、オブジェクト１により占められる車両内部空間における実効体積成分が、空っぽの車両内部空間における距離値に対する差として測定される（これについては図４参照）。
【００３６】
この方法及び装置はさらに別の重要な利点を与える、すなわち、
・ 瞬時の座席占有状態の迅速な大局的な検出がオブジェクトなしの車両内部空間の３次元距離画像（３次元基準画像Ｑ_RO）と人物又はその他のオブジェクトが座席にいる場合の瞬時に評価すべき３次元距離画像Ｑ_RPとの差形成によって行われる。この場合、座席占有状態の実効体積Ｖ_Pには次式が成り立つ：
【００３７】
【数１】

【００３８】
ただしここでＲ₀は人物乃至はその他のオブジェクトなしの距離値であり、Ｒ_Pは人物乃至はその他のオブジェクトが座席にいる場合の距離値であり、ｄＦは微分面積である。
【００３９】
・ 車両への人物の乗車の前及び後の相対的な距離変化の計算から座席占有状態をアダプティブに検出することが実施される。回帰的又は確率的評価方法を適用することによって、差検出の確実性がさらに向上する。
【００４０】
・ 検出されるオブジェクトのサイズ検出及びオブジェクトの大局的な区別が体積比較クラス（Volumen- Vergleichsklassen）を介して可能である。
【００４１】
・ 占有された体積成分の空間的割り当てが可能である。
【００４２】
・ エアバックトリガの制御のために内部空間の占有された体積の空間的に最も外側の位置（Extrempositionen）（ｘ、ｙ、ｚ）が決定される。
【００４３】
・ 時間的に連続する画像撮影及び差形成における空間内の運動経過の体積測定的追跡。運動分析から人物及び身振りの識別。
【００４４】
この積分体積考察は、空間におけるオブジェクト及び位置の大局的な検出を可能にし、さらに例えばオブジェクト識別のために画像における輪郭、角、辺のような特徴の検出に頼る必要がない。評価時間は３次元画像撮影及び体積測定的評価に１０msかからない。
【００４５】
ここに記述した方法及び装置の適用分野としてはとりわけ車両内部空間が対象になる。この場合、例えば５０ns(ナノ秒)のＬＥＤ光パルスによる３次元画像撮影においてオブジェクトが露出される。ＣＭＯＳセンサにおける積分時間は画像撮影Ｑ_Aに対して５０nsに選択され、画像撮影Ｑ_Bに対して０.５μsに選択される。車両内部の検出すべきシーン・ダイナミック特性は２００：１であるべきである。距離値Ｒは測定不確実性＜１５cm（光パルスの相応する伝播時間差＝１ns）で１.５ｍ（伝播時間１０ns）までの測定領域において検出される。
【００４６】
これらの装置によってＣＭＯＳセンサにおいて（１０×２００＝）２０００：１の強度ダイナミック特性が必要となる。３次元距離画像Ｑ_Rのデジタル的検出はこれにより１２ビットＡ/Ｄ変換器によって保障される。５０×５０画素のセンサ局所分解能に対して、短い積分時間を有する画像撮影Ａ及び長い積分時間を有する画像撮影Ｂには最大１０⁴回の読み出し動作が必要不可欠である。この最大１０⁴回の読み出し動作は、例えば２ＭＨｚの読み出し周波数において最大５msの３次元距離画像の全画像撮影時間をもたらす。２５００個の距離値からの差体積の計算は例えば２００ＭＨｚのペンティアムのような高速プロセッサによってさらに５msで難なく実施可能である。
【００４７】
図４には車両内部空間における本発明の適用事例の概略図が図示されている。破線の矢印は人物の座っていない時の座席を表す。直線の矢印は人物の座っている時の座席を表す。大局的オブジェクト識別及び位置測定においては、被覆実効体積成分は人物の座っている時の車両における３次元距離データ及び人物の座っていない時の車両における３次元距離データから決定される。自動車座席の人物又はその他のオブジェクトの実効体積Ｖ_Pは式（７）によって計算される。
【００４８】
距離画像を撮影するためのこれまで記述してきた方法は差をもとめる方法に基づいており、伝播時間はＴ₀＝Ｕ_P/Ｕ_ges*Δ_Aである。ただしここで、
Ｔ₀＝光伝播時間、Δ_A＝積分時間、Ｕ_ges＝Δ_Bにおける測定信号マイナスΔ_Bにおける暗電流成分、Ｕ_P＝Ｕ_gesマイナス（Δ_Aにおける測定信号成分マイナスΔ_Aにおける暗電流成分）である。
【００４９】
本発明のさらに別の重要な解決策は図８に図示されており、センサにおいて受信された測定信号を補間法によって評価する。この場合、光源からオブジェクトを介してセンサまでの光の伝播時間は、暗電流成分の曲線と交差する図８の測定信号の曲線の交点によって得られる。この光伝播時間には
Ｔ₀＝２Ｒ/Ｖ_c
が成り立つ。これから距離値Ｒが得られる。
【００５０】
画像処理の無数の工業的適用事例において必要な３次元画像データ検出はとりわけ空間、例えば自動車内部空間の自動監視にとって必要不可欠である。距離画像/間隔画像の精度にあまりにも高度な要求が課せられるわけではない。ほぼ１０００画素を有する距離画像で大抵の場合には空間監視には十分である。通常の三角測量法はこの場合コストの理由からならびに大きな必要不可欠な測定ベースのために除外される。
【００５１】
図７に相応する照明形式も図８に相応する照明形式も３次元距離画像の迅速かつコスト的に有利な撮影を実現しうる。補間を介して評価に必要不可欠な光の伝播時間をセンサ４の各画素毎に得る方法は例として図８に図示されている。ここでは、定められた長さを有する光パルスの代わりに、急勾配のエッジを有する光強度上昇だけが評価される。センサで受信されるオブジェクトから反射されたレーザパルスは２つの異なる積分時間によってカットされる。これによって、一方で測定信号は光パルスの下がりエッジの経過には依存しなくなり、さらに他方で例えばセンサの動作熱により生じる暗電流及び周囲光の影響が各画素毎に精確に補償される。
【００５２】
図５は積分ＣＭＯＳ画像センサによる距離測定を示している。時間ｔ/センサ電圧Ｕの線図において、一方で送信側で照射するレーザダイオード乃至はこのレーザダイオードの矩形状に形成された光パルスが図示されている。その下には受信側で測定される測定信号が図示されている。座標系の原点から電圧Ｕ_dに向かう直線は実施された第１の測定であり、暗電流成分プラス未知の光成分を含んでいる。Ｕ_dは他の積分時間Ｔ₁よりも大きい積分時間Ｔ₂まで測定される。次いでオブジェクト１はレーザダイオードで照明され、この後まず最初に個々の画素において未知の光成分と共に暗電流だけが積分される。光伝播時間Ｔ₀に基づいて付加的な光がオブジェクト点Ｇから散乱されて戻ってくる場合、測定信号は時点Ｔ₀からそれぞれの画素の輝度に相応してより大きく上昇する。所定の積分時間Ｔ₁の後で全ての画素に対して電圧Ｕ₁が読み出され格納される。同一の過程が第１の暗電流測定から既知の積分時間Ｔ₂で繰り返される。Ｔ₁は例えば３０nsであり、Ｔ₂は例えば６０nsである。測定信号が時間Ｔ₁乃至はＴ₂と交差する箇所において、もっともこれは受信された光パルスをカットすることによっても同じであるが、点Ｕ₁乃至はＵ₂が得られる。関係式ΔＵ＝Ｕ₂−Ｕ₁が成り立つ。光伝播時間Ｔ₀は図５に示されている公式によって計算される。点Ｕ₁及びＵ₂を通る直線を延長すると、この直線は下の方へ向かって暗電流を示す直線にこの座標系の原点と電圧Ｕ_Dとの間で交差する。この交点において光伝播時間Ｔ₀が読みとれる。Ｕ₁及びＵ₂乃至はΔＵに対する全ての値は同様に全ての画素に対して読み出され格納される。比較的大きい暗電流Ｕ_Dであっても、所定の積分時間Ｔ₁及びＴ₂に関連して各画素毎に格納された電圧Ｕ_D、Ｕ₁、Ｕ₂及びΔＵから明確に及び精確に各画素毎に伝播時間Ｔ₀が計算される。この場合、次式が成り立つ：
Ｔ₀＝（Ｕ₁・ΔＴ−ΔＵ・Ｔ₁）/（Ｕ_D・ΔＴ/Ｔ₂−ΔＵ）
これは伝播時間の、つまりオブジェクトへの距離の精確な同時測定において比較的小さい光出力の使用をもたらす。
【００５３】
有利な実施形態では、コストの理由から大抵の場合クリティカルなレーザ出力の低減のために、上記の過程の複数回の繰り返しを連続して行う。Ｕ₁、Ｕ_D及びΔＵの得られる値はＣＭＯＳセンサの多重露出の最後に初めて読み出され、デジタル化される。これについては図６ａ及び６ｂを参照のこと。ＣＭＯＳセンサにおける多重露出に対するアナログ的な平均値形成は、後で行うデジタル的な平均化の際の比較的長い読み出し時間を回避する。測定値の信号/ノイズ比の最適化に関するオブジェクトのそれぞれの反射率に対するアダプティブな調整は、次のことによって実現される。すなわち、少ないテスト画像において、全体画像の特定の個数の画素において値ｎ（Ｕ₁＋ΔＵ）の飽和が生じるまで露出の数を増大させることによって実現される。ただしここでｎ＝多重露出の数である。
【００５４】
上記のステップによって、暗電流及び周囲光があっても光伝播時間Ｔ₀を精確に計算することは可能であることが可能になり、ＣＭＯＳセンサの信号読み出しを多重露出の後で初めて行い、次いでデジタル化が行われることが可能になり、さらに、オブジェクト反射率に相応してアダプティブな調整が行われることが可能になる。これらの手段によってこれまで必要不可欠であったレーザ出力をファクタ１０から２０までだけ下げることができ、乃至は、精度を高めることができる。
【００５５】
画像センサにおいて使用されるセンサ原理は例えばｎ⁺-ｐ型フォトダイオードに基づく積分法である。このフォトダイオードは電子的短時間積分器の構成部材であり、この電子的短時間積分器はさらにコンデンサ及び複数のトランジスタを有する。回路構成は次のように行われる。すなわち、例えばこのコンデンサのキャパシタンスがこのフォトダイオードに入射する光に依存して放電されるように行われる。これはいわゆるシャッタ・トランジスタを介して制御される。次いで例えばこのコンデンサに残っている電位が読み出される。同期化された照明を保障するために、この電子的短時間積分器のタイミング制御部は光源を制御するためのいわゆるストロボ信号を発生する。センサ４の各画素素子に対して、このような電子的短時間積分器（電子的シャッタ）が使用される。測定の終了時にコンデンサに残っている電位の代わりに、既に放電されてしまった電位を測定値として使用することもできる。
【００５６】
図６ａには複数の連続してスイッチングされる送信側の光パルスが図示されている。図６ｂには例として積分時間Ｔ₁とそれぞれの電圧Ｕ₁及び暗電流成分Ｕ_Dとの関係が図示されている。同じことはＴ₂、Ｕ₂及びＵ_Dに対してもプロットできる。各露出乃至は多重露出に対して光伝播時間Ｔ₀の値が得られる。
【００５７】
図７と図８を対比するとわかることだが、図８の補間法の方がより短い照明時間を有する。それぞれ真ん中に図示されている、図８の例えば３０ns及び６０nsのシャッタ時間及び図７の非常に長いレーザパルス時間と結びつくシャッタ時間６０nsがセンサにおける積分時間を決定することになる。図７において上方に送信側の照明とレーザパルスの受信側の入射との間の時間的な関係が図示されている。図５から８においてそれぞれ図示されている実施例はトリガ遅延時間を持たない。これは、受信側でセンサパルスの開始によって測定窓がオープンされることを意味する。これは、図７の図示においては、短時間シャッタ（６０ns）が受信されたレーザパルスを、それぞれオブジェクト点乃至は画素点に関して、時間Δ_Aでカットすることを意味する。このレーザパルスの持続時間は送信側でも受信側でもΔ_Lである。明瞭なことは、様々な光伝播時間に基づいて、センサにおける電子的短時間積分器はそれぞれ電位を測定値として供給し、この伝播時間に依存して時点Ｔ₀からΔ_Aの終わりまで積分が行われることである。積分時間Δ_Bは図７の場合にはオブジェクト１における反射率の相違を補償するために使用される。この場合、暗電流及び未知の光成分がもとめられ、この暗電流及び未知の光成分が測定信号から相応に引かれる。
【００５８】
図８は図７に相応する図面を示しており、上方の線図は図７のそれと同一である。図８の真ん中には２つの短時間シャッタ時間が図示されている。これらは図７の場合と同じようにセンサ４に入射するレーザパルスをカットするために使用される。従って、比較的短い積分時間Ｔ₁及び比較的長い積分時間Ｔ₂が生じる。測定信号は図７及び８において暗電流及び未知の光成分を有する。従って、この測定信号はこの暗電流及び未知の光成分への光電流成分の加算から得られる。言い換えれば、光電流成分は、測定信号からこの暗電流及び未知の光成分を引くことによってもとめられる。光伝播時間Ｔ₀は、到達する反射光パルスによって測定信号が暗電流成分及び未知の光成分のノーマルな経過から逸脱する時間軸上の箇所において得られる。というのも、光電流成分はもはやゼロではないからである。光伝播時間Ｔ₀を得る評価は図５との関連において既に記述した。
【００５９】
レーザ出力の明瞭な低減のために、測定オブジェクトは連続的に部分的に照明される。照明と評価とは同時に行われる。従って、オブジェクト１は部分的に連続的に照明され、そしてその都度評価される。その都度複数の光源１０のうちの１つにオブジェクト１の所定の部分が割り当てられている。さらに光源１０の、例えばレーザの強度の上昇時間は明瞭に短縮され、例えば０.１nsに短縮される。
【００６０】
図９は概略的に３つの光源１０の配置を示し、これら３つの光源１０はオブジェクト１をそれぞれ所定の領域１１において照明する。センサ４はオブジェクト１の部分的な領域１１に相応する反射された光成分を受信し、この光成分を後続処理する。この構成は、例えばレーザを有する照明ユニットのレーザ出力の制限を可能にする。連続的な照明及び検出はコスト的に有利に実現可能であり、所定の規準によって予め設定された最大レーザ出力を問題なく下回る。さらに、これに伴って、レーザ強度の上昇時間も明らかに例えば０.１nsecに短縮される。
【図面の簡単な説明】
【図１】 図１はＣＭＯＳセンサによる３次元距離画像の検出のための作動原理を示す。
【図２】 図２は積分窓に対して相対的な２つの光パルスの時間的ずれの概略図を示し、これらの２つの光パルスの所属のオブジェクト点はＣＭＯＳセンサに対して異なる距離を有する。
【図３】 図３はＣＭＯＳセンサによる３次元距離画像及び強度画像乃至はグレースケール値画像を同時に検出するためのセンサの概略図を示す。
【図４】 図４は３次元ＣＭＯＳセンサによる車両内部空間監視を示す概略図を示す。
【図５】 図５は積分ＣＭＯＳセンサによる距離測定を示し、送信側のレーザダイオードの信号及び受信側のセンサ信号が図示されている。
【図６】 図６は積分ＣＭＯＳセンサによる距離測定を示し、図６ａではレーザダイオードの送信側の動作が及び図６ｂではこのセンサにおいて継続される積分により得られるセンサ信号が図示されている。
【図７】 図７は送信側の照明と受信側のレーザパルスの検出との間の関係を時間的相関において示しており、図７に下方に示された測定信号は短い積分時間との関連において及び非常に長い積分時間との関連において図示されている。
【図８】 図８はレーザパルスの送信側及び受信側の図示を時間的相関において示し、センサの照明制御に関連する２つの異なる短い積分時間が設けられている。
【図９】 図９は３つの光源の配置を概略的に示す。
【符号の説明】
１ オブジェクト
２ 光パルス
３ 反射された光パルス
４ 光電センサ
５ 照明装置
６ 光学系
７ 光学系
８ 電子的トリガ発生器
９ 画素素子
１０ 光源
１１ オブジェクトの所定の領域

Claims (29)

1. 各画素素子（９）に存在する電子的短時間積分器を有する画素分解能光電センサ（４）を使用して空間的オブジェクトの３次元距離画像を撮影するための方法において、
   積分時間は調整可能であり、前記方法は次のステップから成る、すなわち、
   前記オブジェクト（１）は予め設定された持続時間Δ_Ｌの少なくとも１つの光パルス（２）によって照明されるステップと、
   オブジェクト点（Ｇ）から散乱されて戻ってくる光パルス（３）は前記センサ（４）の所属の画素において予め設定された短い積分時間Δ_Ａ内に検出され、ただしここでΔ_Ａ≦Δ_Ｌであり、前記積分時間Δ_Ａの開始時点は散乱されて戻ってくる最初の光パルス（３）の到達の前であり、該散乱されて戻ってくる最初の光パルス（３）は最も近くにあるオブジェクト点（Ｇ）に相応するステップと、
   光パルスの異なる伝播時間に相応して結果的に得られる前記散乱されて戻ってくる光パルス（３）の測定された異なる強度から、距離値がもとめられるステップとから成る、各画素素子（９）に存在する電子的短時間積分器を有する画素分解能光電センサ（４）を使用して空間的オブジェクトの３次元距離画像を撮影するための方法。
2. 各画素素子（９）に存在する電子的短時間積分器を有する画素分解能光電センサ（４）を使用して空間的オブジェクトの３次元距離画像を撮影するための方法において、
   積分時間は調整可能であり、前記方法は次のステップから成る、すなわち、
   暗電流及び周囲光を表すセンサ信号の測定及び積分はこの測定及び積分の開始から予め設定された積分時間Ｔ_２まで行われるステップと、
   オブジェクト（１）の露出の開始は照明装置（５）によってセンサ（４）における前記センサ信号の測定及び積分の開始と同時であり、前記センサ（４）において受信される光の光強度上昇の内に積分時間Ｔ_１まで積分が行われ、ただしここでＴ_１はＴ_２よりも小さい、ステップと、
   前記オブジェクト（１）の繰り返される露出は前記照明装置（５）によって前記センサ（４）におけるセンサ信号の測定及び積分の開始と同時に行われ、前記センサ（４）において受信される光の光強度上昇の内に積分時間Ｔ_２まで積分が行われるステップと、
   時点Ｔ_１及びＴ_２には全ての画素に対してセンサ信号のそれぞれ積分された値が読み出され格納されるステップと、
   格納された値から各画素毎に前記照明装置（５）から前記オブジェクト（１）を介して前記センサ（４）までの光の伝播時間Ｔ_０ならびに相応する距離値が計算されるステップとから成る、各画素素子（９）に存在する電子的短時間積分器を有する画素分解能光電センサ（４）を使用して空間的オブジェクトの３次元距離画像を撮影するための方法。
3. 個々の方法ステップはセンサ信号を得るためにそれぞれ複数回繰り返され、これらから結果的に得られる信号は個々の画素毎に積分され、多重露出の後で初めて前記センサ信号の読み出し、格納及び評価が行われる、請求項１又は２記載の方法。
4. 格納される値はデジタル化される、請求項１から３のうちの１項記載の方法。
5. オブジェクト（１）のそれぞれの反射率に対するアダプティブな調整は次のことによって行われる、すなわち、
   全体画像の所定の数の画素において積分された強度値がＴ_１及びＴ_２において飽和に近づくまで、多重露出の数は増大されることによって行われる、請求項３又は４記載の方法。
6. 全体画像の各画素毎にＴ_１及びＴ_２において個々の積分された強度値が飽和に近づくまで、多重露出の数又はレーザビームの強度は増大される、請求項５記載の方法。
7. 積分されたセンサ信号はランダムな画素アクセスにおいて各画素毎に又は画素のセグメント毎に読み出され、１セグメントは光電センサの１行である、請求項５又は６記載の方法。
8. 空間的オブジェクト（１）は該オブジェクトを部分的に照明する複数の光源（１０）によって照明され、これらの光源（１０）は連続的に活性化され、評価は相応にそれぞれの照明の際に行われる、請求項１から７のうちの１項記載の方法。
9. 積分時間は画素毎に調整可能である、請求項１から８のうちの１項記載の方法。
10. オブジェクト（１）の表面反射の同時的な又は後続の最適化のために、付加的に全ての散乱されて戻ってくる光パルス（３）が長い積分時間Δ_Ｂ≫Δ_Ｌによって完全に検出される、請求項１、３から９のうちの１項記載の方法。
11. 積分時間Δ_Ａ;Δ_Ｂの開始は、送信パルスに対するトリガパルス遅延に結びつけられている、請求項１、３から１０のうちの１項記載の方法。
12. 積分時間Δ_Ａは１００nsよりも小さい、請求項１、３から１１のうちの１項記載の方法。
13. 積分時間Δ_Ｂはほぼ１μsである、請求項１、３から１２のうちの１項記載の方法。
14. 光パルス長は１００nsよりも小さい、請求項１から１３のうちの１項記載の方法。
15. ３次元画像及びグレースケール値画像の同時撮影のために、センサ（４）において行毎に異なる積分時間Δ_Ａ乃至はΔ_Ｂ又はＴ_１乃至はＴ_２が調整される、請求項１から１４のうちの１項記載の方法。
16. ３次元画像及びグレースケール値画像の同時撮影のために、センサ（４）において画素毎に異なる積分時間Δ_Ａ乃至はΔ_Ｂ又はＴ_１乃至はＴ_２が交互に調整される、請求項１から１５のうちの１項記載の方法。
17. オブジェクト（１）はレーザの光パルス又はパルス制御される発光ダイオードの光パルスによって照明される、請求項１から１６のうちの１項記載の方法。
18. センサ（４）はランダムに読み出し可能である、請求項１から１７のうちの１項記載の方法。
19. センサ（４）はＣＭＯＳセンサである、請求項１から１８のうちの１項記載の方法。
20. センサ（４）から少なくとも１つの点までの距離が基準距離として既知である、請求項１から１９のうちの１項記載の方法。
21. 車両における使用の際に、基準点はドアフレームに位置決めされている、請求項２０記載の方法。
22. 静止オブジェクト及び/又は運動経過の識別が行われる、請求項１から２１のうちの１項記載の方法。
23. 空間内又は車両内の対象物又は人物のようなオブジェクトを監視する、請求項２２記載の方法。
24. 車両又はクレーン装置が監視される及び/又はナビゲーションシステムにおける一般的な位置測定が行われる、請求項２２記載の方法。
25. 車両における座席占有状態及び/又は例えば人物の座席位置が識別される、請求項２２又は２３記載の方法。
26. ３次元距離画像の撮影のための装置において、該装置は次のものを有する、すなわち、
    照明装置（５）を有し、該照明装置（５）は予め設定された持続時間Δ _Ｌ の光パルス（２）を光学系（６）を介してオブジェクト（１）に送信し、
    前置接続された光学系（７）を有する光電センサ（４）を有し、該光電センサ（４）はオブジェクト点（Ｇ）から散乱されて戻ってくる光パルス（３）をセンサ（４）の所属の画素において検出し、前記センサ（４）は多数の画素素子（９）によって画素分解能を有して構成され、ランダムに読み出し可能であり、この結果、散乱されて戻ってくる光パルス（３）は予め設定された短い積分時間Δ _Ａ 内に検出され、ただしここでΔ _Ａ ≦Δ _Ｌ であ り、
    前記照明装置（５）と前記センサ（４）との間の時間的調整のためのトリガ装置（８）を有し、前記積分時間Δ _Ａ の開始時点は散乱されて戻ってくる最初の光パルス（３）の到達の前であり、該散乱されて戻ってくる最初の光パルス（３）は最も近くにあるオブジェクト点（Ｇ）に相応し、
    前記センサ（４）の前記画素素子（９）の相応の電荷から３次元画像を計算するための計算ユニットを有し、該計算ユニットは光パルスの異なる伝播時間に相応して結果的に得られる前記散乱されて戻ってくる光パルス（３）の測定された異なる強度から３次元距離画像の距離値をもとめる、３次元距離画像の撮影のための装置。
27. センサ（４）の画素素子（９）において行毎に又は列毎に交互に短い積分時間Δ_Ａ乃至はＴ_１及び長い積分時間Δ_Ｂ乃至はＴ_２が調整される、請求項２６記載の装置。
28. センサ（４）の画素素子（９）において交互に短い及び長い積分時間Δ_Ａ乃至Δ_Ｂ又はＴ_１乃至はＴ_２が調整される、請求項２６記載の装置。
29. 計算ユニットはセンサ（４）に設けられている、請求項２６から２８のうちの１項記載の装置。

Images