JP2008167178A - 画像データ生成装置及び受光デバイス - Google Patents

Abstract

【課題】 距離画像データ及び平面画像データ生成用の受光デバイスとして、共通する受光デバイスを用いて、従来よりも高解像度に平面画像データを生成することができるようにする。
【解決手段】画像データ生成装置は、光電変換素子及びフローティングディフュージョンを各一つ備える画素生成ユニット２７が配列された光電センサ２１を備える。この光電センサは、画素生成ユニットが２行２列のマトリックス状に配列された画素セット２５の複数個が、マトリックス状に配列されてなる。画像データ生成装置は、上記光電センサを用いて、画素生成ユニット毎に、画素生成ユニットの出力値から一画素分の画素値を求めて、平面画像データを生成する一方で、距離画像データの生成時には、画素セット毎に、当該画素セットに属する各画素生成ユニットの出力値から被写体までの距離を求め、一画素分の画素値を算出し、距離画像データを生成する。
【選択図】図５

Description

本発明は、被写体の平面画像を表す平面画像データ及び被写体までの距離を表す距離画像データを生成する画像データ生成装置、及び当該画像データ生成装置に好適な受光デバイスに関する。

従来、画像データ生成装置としては、被写体から到来する光を、複数の光電変換素子が配列されてなる受光デバイスを通じて受光し、光電変換素子毎に被写体から受けた光の受光量を検出し、受光量に応じた画素値を配列して、被写体の平面画像を表す平面画像データを生成する画像データ生成装置や、被写体までの距離に応じた画素値を配列して距離画像データを生成する画像データ生成装置が知られている（例えば、特許文献１参照）。

また、距離画像データを生成する画像データ生成装置としては、発光デバイスを通じて被写体に対し光を発射すると共に、１回の発射動作に対して、異なる期間に、複数回の受光動作を行い、各受光動作によって異なる期間に受光した光の受光量に基づいて、発射光が被写体に反射して戻ってきた反射光の発射光に対する位相差を検出し、被写体までの距離を算出するものが知られている。

また、このような画像データ生成装置に搭載される受光デバイスとしては、光電変換素子にて生成された電荷に応じた信号を出力するための回路としてＣＭＯＳ回路が採用された受光デバイスが知られている。

受光デバイスとしては、他に、ＣＣＤ回路と、その周辺回路としてのＣＭＯＳ回路を組み合わせたものが知られているが、ＣＭＯＳ技術は、ＡＤＣ（アナログ／ディジタル変換）回路の形成等、周辺回路の形成に欠かせないものであるのにもかかわらず、ＣＣＤ回路と不適合である。このため、ＣＣＤ回路を用いた受光デバイスでは、ＣＣＤ回路と周辺回路との間に、インタフェース回路やコンパニオンチップ等を搭載する必要があり、製造工程が煩雑になるといった欠点がある。また、ＣＣＤ回路では駆動時の消費電力が大きいといった欠点がある。

これに対し、光電変換素子から電荷を取り出し電荷に応じた信号を出力する回路を、ＣＣＤ回路ではなく、ＣＭＯＳ回路として構成すれば、製造工程が煩雑にならず、安価で消費電力の低い受光デバイスを製造することができる。距離画像データ装置としては、このようなＣＭＯＳ回路を採用したものが、近年、普及しつつある。

その他、距離画像データの生成に必要な受光デバイスを用いれば、通常の平面画像データも生成することが可能であるため、近年では、距離画像データの生成機能に加えて、平面画像データの生成機能を備えた製品が開発されている。
特表２００６−５１６３２４号公報

ところで、周知の距離画像データ生成装置では、特許文献１記載のように、発射光に対する反射光の位相差を検出するために、光電変換素子に対して、一対のフローティングディフュージョンを設け、第一のフローティングディフュージョンにより電荷を蓄積する期間と、第二のフローティングディフュージョンにより電荷を蓄積する期間と、を逆相とし、発光デバイスによる光の発射後、第一の期間に光電変換素子にて生成された電荷を、第一のフローティングディフュージョンに蓄積し、第二の期間に光電変換素子にて生成された電荷を、第二のフローティングディフュージョンに蓄積するようにしている。

そして、この動作を繰返し実行することにより、異なる期間に光電変換素子に入射された光に対応する電荷を、各フローティングディフュージョンに分けて蓄積し、これら各フローティングディフュージョンに蓄積された電荷を電圧値に変換して得た出力値に基づき、発射光に対する反射光の位相差を検出し、被写体までの距離を求めるようにしている。

しかしながら、このように受光デバイスを構成して制御し、被写体までの距離を求める手法では、上記受光デバイスを用い、平面画像データも生成する場合、平面画像データの解像度が、距離画像データの解像度に制限されてしまうといった問題があった。

即ち、上記手法では、一つの光電変換素子に対して、複数のフローティングディフュージョンを設け、これと合わせて、電荷転送用のトランジスタや、フローティングディフュージョンに蓄積された電荷に応じた電圧値を出力するための出力トランジスタなどからなる複数組の出力回路を、光電変換素子の周囲に配置する必要があるため、光電変換素子の配置間隔を狭めることが難しく、共通の受光デバイスを用いて、距離画像データの生成、及び、平面画像データの生成を行う場合には、平面画像データの解像度が、低めに制限されてしまうといった問題があった。

このため、画像データ生成装置に、距離画像データ生成機能及び平面画像データ生成機能の両機能を設ける場合であって、受光デバイスとして共通する受光デバイスを用いる場合には、従来、平面画像データの解像度を、専用の平面画像データ生成装置と同等にすることが難しいといった問題があった。

本発明は、こうした問題に鑑みなされたものであり、画像データ生成装置に距離画像データ生成機能及び平面画像データ生成機能を設ける場合において、平面画像データ専用の受光デバイスを用いずに、共通する受光デバイスを用いて、従来よりも高解像度に平面画像データを生成することが可能な技術を提供することを目的とする。

かかる目的を達成するためになされた本発明の画像データ生成装置は、光を発射する発光デバイスと、発光デバイスにより発射された光が被写体に反射して戻ってくる光を含む外部からの入射光を受光する受光デバイスと、発光デバイス及び受光デバイスを制御して、被写体までの距離を求め、当該距離を表す距離画像データを生成する距離画像データ生成手段と、受光デバイスを制御して、被写体の平面画像を表す平面画像データを生成する平面画像データ生成手段と、距離画像データ生成手段及び前記平面画像データ生成手段を、切り替えて動作させる作動制御手段と、を備える画像データ生成装置であって、受光デバイス及び距離画像データ生成手段並びに平面画像データ生成手段が、次のように構成されたものである。

この画像データ生成装置において、受光デバイスは、入射光を電荷に変換する光電変換部と画素出力部とを夫々一つ備える画素生成ユニット、が複数個配列された構成にされており、画素出力部は、ユニット内の光電変換部で生成された電荷を蓄積するためのフローティングディフュージョンを有し、外部から入力される電荷排出指令信号に従い、光電変換部で生成された電荷を排出して破棄する一方、外部から入力される電荷転送指令信号に従い、光電変換部で生成された電荷をフローティングディフュージョンに転送し、更には、フローティングディフュージョンに蓄積された電荷に応じた値を、出力する構成にされている。

一方、距離画像データ生成手段は、受光デバイスが有する画素生成ユニットの一群を複数の画素生成ユニットの集合毎にグループ化して定められる画素生成ユニットの組毎に、組内の各画素生成ユニットの出力値に基づき、被写体までの距離を算出し、算出した距離に対応する値を、当該画素生成ユニットの組に対応する座標の画素値として記述して、距離画像データを生成する構成にされている。

また、平面画像データ生成手段は、受光デバイスが有する画素生成ユニットの一群について、画素生成ユニット毎に、画素生成ユニットの出力値に対応する値を、この画素生成ユニットに対応する座標の画素値として記述し、被写体の平面画像を表す画像データを生成する構成にされている。

このように、本発明では、画素生成ユニット毎に、画素生成ユニットの出力値から一画素分の画素値を求めて、平面画像データを生成する一方で、距離画像データの生成時には、複数個の画素生成ユニットの組毎に、組に属する各画素生成ユニットの出力値から距離を求めて、一画素分の画素値を算出し、距離画像データを生成するように、画像データ生成装置を構成している。

周知のように、受光量から発射光に対する反射光の位相差を求めるには、１回の発射動作に対して、異なる期間に、複数回の受光動作を行う必要があるため、従来の距離画像データ生成装置では、画素生成ユニットを、一つの光電変換部に対して複数のフローティングディフュージョンを備える構成にしていた。

しかしながら、このように画素生成ユニットを構成すると、光電変換部の周囲に、光電変換部で生成された電荷に対応した値をフローティングディフュージョンを介して出力するための構成として、大きな回路を配置しなければならず、光電変換部を狭ピッチで配置することができないといった問題があった。そして、この結果として、当該受光デバイスを用いて平面画像データを生成する際には、平面画像データの解像度が専用装置と比較して低くなってしまうといった問題があった。

そこで、本発明では、距離画像データ生成の際、画素生成ユニットの複数を一組として、各組の画素生成ユニットを制御し、各組の画素生成ユニットの出力値から距離を算出するようにした。このようにすれば、従来のように、受光デバイスにおける各光電変換部の周囲に、平面画像データ生成の際に使用されない距離画像データ生成用の回路を配置する必要がなく、画素生成ユニットを、一つの光電変換部に対して複数のフローティングディフュージョンを備える構成にしなくても、距離を算出することができる。即ち、本発明の手法によれば、光電変換部に対して、フローティングディフュージョンを含む画素出力部を一つのみ備えるように、画素生成ユニットを構成しても、発射光に対する反射光の位相差を求めることができるのである。

従って、本発明によれば、狭ピッチに光電変換部を配置することができ、画像データ生成装置に距離画像データ生成機能及び平面画像データ生成機能を設ける場合において、共通する受光デバイスを用いて、従来よりも高解像度に平面画像データを生成することができる。

ところで、距離算出に用いる上記画素生成ユニットの組は、固定にされてもよいし、可変にされてもよい。即ち、距離画像データ生成手段は、組として取り扱う画素生成ユニットの集合を切り替えて、受光デバイスが有する画素生成ユニットの一群を複数の画素生成ユニットの集合毎にグループ化する構成にされてもよい（請求項２）。

各画素生成ユニットの出力値から被写体までの距離を求めるためには、組内の各画素生成ユニットを、組内の他の画素生成ユニットに対して一定の関係で動作させる必要があるが、当該動作の関係は、組内の画素生成ユニットに対して指令信号を一定の関係を持って入力することで実現される。

換言すると、本発明の画像データ生成装置によれば、指令信号の入力パターンを切り替えることにより、距離算出に用いる画素生成ユニットの組を簡単に切り替えることができる。従って、このような指令信号の入力パターンを切り替える機能を距離画像データ生成手段に付与すれば、距離算出に用いる画素生成ユニットの組を簡単に切り替えることができる。

尚、画素生成ユニットの組から、距離を算出するためには、具体的に、発射光に対する反射光が入射されうる期間に、組内の複数の画素生成ユニットが夫々、異なる期間に光電変換部で生成された電荷に応じた値を出力するように、受光デバイスを制御する必要がある。

従って、距離画像データ生成手段は、発光デバイスから発射された光の反射光が受光デバイスに入射されうる期間において、組内の複数の画素生成ユニットが夫々異なる期間に光電変換部で生成された電荷に応じた値を出力するように、各画素生成ユニットに対し電荷排出指令信号及び転送指令信号を入力して、受光デバイスを制御し、画素生成ユニットの組毎に、組内の各画素生成ユニットの出力値から、発光デバイスによる発射光に対する入射光の位相差を求め、被写体までの距離を算出する構成にされるとよい（請求項３）。また、更に言えば、距離画像データ生成手段は、具体的に、次のように構成されるとよい。

例えば、画素生成ユニットの組を、４個の画素生成ユニットの集合として構成する場合、距離画像データ生成手段は、発光デバイスを制御して、発光デバイスに、所定パルス幅Ｔｐのパルス光を発射させると共に、受光デバイスを制御し、パルス光の発射毎に、組内の画素生成ユニットの内、第一の画素生成ユニットに、パルス光の発射時点からパルス幅Ｔｐに対応する時間に光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、第二の画素生成ユニットに、パルス光の発射時点からパルス幅の二分の一時間（Ｔｐ／２）分遅れた時点からパルス幅Ｔｐに対応する時間に光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、第三の画素生成ユニットに、パルス光の発射時点からパルス幅Ｔｐ分遅れた時点からパルス幅Ｔｐに対応する時間に光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、第四の画素生成ユニットに、パルス光の発射時点からパルス幅の二分の三時間（３×Ｔｐ／２）分遅れた時点からパルス幅Ｔｐに対応する時間に光電変換部で生成された電荷をフローティングディフュージョンに蓄積させる構成にされるとよい。

このようにして、組内の各画素生成ユニットを動作させれば、第一の画素生成ユニットの出力値Ｖ１、第二の画素生成ユニットの出力値Ｖ２、第三の画素生成ユニットの出力値Ｖ３、及び、第四の画素生成ユニットの出力値Ｖ４に基づき、式
Φ＝ａｒｃｔａｎ（（Ｖ２−Ｖ４）／（Ｖ１−Ｖ３）） …（１）
に従って、位相差Φを算出し、光の速度をｃとして表される式
Ｄ＝ｃ×Ｔｐ×Φ／（２π） …（２）
に従って、被写体までの距離Ｄを、画素生成ユニットの組毎に、算出することができる（請求項４）。

また、画素生成ユニットの組を、４個の画素生成ユニットの集合として構成する場合、距離画像データ生成手段は、次のように構成されてもよい。即ち、距離画像データ生成手段は、発光デバイスを制御して、発光デバイスに、サイン波により振幅変調されたサイン変調光を発射させると共に、受光デバイスを制御し、組内の画素生成ユニットの内、第一の画素生成ユニットに、発光デバイスから発射されるサイン変調光が初期位相となる基準時点を中心とする所定時間内に光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、第二の画素生成ユニットに、上記基準時点から位相π／２遅れた時点を中心とする所定時間内に光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、第三の画素生成ユニットに、上記基準時点から位相π遅れた時点を中心とする所定時間内に光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、第四の画素生成ユニットに、上記基準時点から位相３π／２遅れた時点を中心とする所定時間内に光電変換部で生成された電荷をフローティングディフュージョンに蓄積させる構成にされてもよい（請求項５）。

このようにして、組内の各画素生成ユニットを動作させても、第一から第四の画素生成ユニットの出力値に基づき、被写体までの距離を算出することができる。
具体的に、サイン変調光が位相ゼロの時点を、上記基準時点として設定する場合には、第一の画素生成ユニットの出力値Ｖ１、第二の画素生成ユニットの出力値Ｖ２、第三の画素生成ユニットの出力値Ｖ３、及び、第四の画素生成ユニットの出力値Ｖ４に基づき、式
Φ＝ａｒｃｔａｎ（（Ｖ３−Ｖ１）／（Ｖ２−Ｖ４）） …（３）
に従って、位相差Φを算出し、光の速度をｃ、サイン変調光の周期をＴｃとして表される式
Ｄ＝ｃ×（Ｔｃ／２）×Φ／（２π） …（４）
に従って、被写体までの距離Ｄを算出することができる（請求項６）。

また、画素生成ユニットの組を、４個以下の画素生成ユニットの集合とする場合には、具体的に、次のように、距離画像データ生成手段を構成することで、画素生成ユニットの組から、距離Ｄを算出することができる。

即ち、発光デバイスに、所定パルス幅Ｔｐのパルス光を発射させると共に、受光デバイスを制御し、パルス光の発射毎に、組内の画素生成ユニットの内、第一の画素生成ユニットに、パルス光の発射時点からパルス幅Ｔｐに対応する時間に光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、第二の画素生成ユニットに、パルス光の発射時点からパルス幅Ｔｐ分遅れた時点からパルス幅Ｔｐに対応する時間に光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、組内の第一及び第二の画素生成ユニット以外の画素生成ユニットに、発光デバイスから発射された光に対応する反射光が受光デバイスに入射されない期間に光電変換部で生成された電荷をフローティングディフュージョンに蓄積させるように、距離画像データ生成手段を構成することで、画素生成ユニットの組から、距離Ｄを算出することができる（請求項７）。

このように、組内の各画素生成ユニットを動作させれば、組内の画素生成ユニットの内、第一及び第二の画素生成ユニット以外の画素生成ユニットの出力値に基づき、第一の画素生成ユニットの出力値Ｖ１から背景光成分を除去した値＜Ｖ１＞、及び、第二の画素生成ユニットの出力値Ｖ２から背景光成分を除去した値＜Ｖ２＞を求め、光の速度をｃとして表される次式
Ｄ＝（１／２）×ｃ×Ｔｐ×＜Ｖ２＞／（＜Ｖ１＞＋＜Ｖ２＞） …（５）
に従って、被写体までの距離Ｄを算出することができる。

尚、このような手法は、画素生成ユニットの組が、３個以上の画素生成ユニットの集合で構成される場合に、適用することができる。
また、平面画像データの生成時に光電変換部で生成される電荷は、ここでいう背景光成分を表すものであるので、平面画像データ生成手段により平面画像データが生成される際に、各画素生成ユニットから得られた出力値に基づいて、距離画像データ生成手段に対し、各画素生成ユニットの背景光成分を、設定するように、距離画像データ生成装置を構成すれば、画素生成ユニットの組を、２つの画素生成ユニットの集合で構成しても、上述の手法で、被写体までの距離Ｄを算出することができる。

即ち、上述の画像データ生成装置は、平面画像データ生成手段により平面画像データが生成される際に、各画素生成ユニットから得られた出力値に基づいて、距離画像データ生成手段に対し、各画素生成ユニットの背景光成分を、設定するキャンセル量設定手段を備える構成にされると共に、距離画像データ生成手段が、第一の画素生成ユニットの出力値Ｖ１からキャンセル量設定手段により設定されたら背景光成分を除去した値＜Ｖ１＞、及び、第二の画素生成ユニットの出力値Ｖ２からキャンセル量設定手段により設定された背景光成分を除去した値＜Ｖ２＞を求め、式（５）に従って、被写体までの距離Ｄを算出するように構成されるとよい。このようにすれば、画素生成ユニットの組を２個の画素生成ユニットの集合とし、上述の手法で受光デバイスを制御しても、被写体までの距離Ｄを算出することができる（請求項８）。

また、キャンセル量設定手段を設けて、各画素生成ユニットの出力値から上記キャンセル量設定手段により設定された背景光成分を除去し、背景光成分除去後の出力値に基づき、被写体までの距離を算出する手法は、請求項８記載の画像データ生成装置によらず、様々な種類の画像データ生成装置に適用することができる（請求項９）。

その他、本発明の画像データ生成装置は、距離算出の際に、各画像生成ユニットを、組単位で、順に制御して、距離を算出する構成にされてもよいが、各画像生成ユニットの組を同時に制御する構成にされると、距離画像データを高速に作成することができて、一層好ましい。

即ち、距離画像データ生成手段は、画素生成ユニットの組として、受光デバイスが有する画素生成ユニットの一群を、同一個数の画素生成ユニットの集合毎に分割して定められる画素生成ユニットの組毎に、組内の各画素生成ユニットの出力値に基づき、被写体までの距離を算出し、算出した距離に対応する値を、当該画素生成ユニットの組に対応する座標の画素値として記述して、距離画像データを生成する構成にされると共に、組内の合計Ｓ個の画素生成ユニットについて、第ｉ（ｉ＝１，２，…，Ｓ）番目（同一番号）の画素生成ユニットが、異なる組の間で共通して同時期に同一の動作を実行し、発光デバイスから発射された光の反射光が受光デバイスに入射されうる期間において、組内の複数の画素生成ユニットが夫々、異なる期間に光電変換部で生成された電荷に応じた値を出力するように、各画素生成ユニットに対し電荷排出指令信号及び転送指令信号を入力して、受光デバイスを制御する構成にされると好ましい。

距離画像データ生成手段がこのように構成された画像データ生成装置によれば、各画像生成ユニットの組を、同一の手法で同時に制御するので、距離画像データを高速に作成することができる（請求項１０）。

また、このように、距離画像データ生成手段を構成する場合には、具体的に、次のように、受光デバイスを構成すればよい。
即ち、受光デバイスは、画素生成ユニットの一群が、所定数（Ｓ個）の画素生成ユニットの集合毎にグループ化され、Ｓ個の画素生成ユニットの集合としての画素セットが複数個配列された構成にされ、外部から入力される電荷排出指令信号を各画素セットが有する画素生成ユニットに伝送するための伝送路として、上記複数個の画素セット共通の伝送路Ｌａを、画素セットを構成する第１番目から第Ｓ番目の画素生成ユニットの夫々に対して有し、外部から入力される電荷転送指令信号を各画素セットが有する画素生成ユニットに伝送するための伝送路として、上記複数個の画素セット共通の伝送路Ｌｂを、画素セットを構成する第１番目から第Ｓ番目の画素生成ユニットの夫々に対して有し、各画素セットが有する第ｉ（ｉ＝１，２，…，Ｓ）番目の画素生成ユニットに対し、第ｉ番目の画素生成ユニット用の伝送路Ｌａを通じて、外部から入力された共通の電荷排出指令信号を入力し、各画素セットが有する第ｉ（ｉ＝１，２，…，Ｓ）番目の画素生成ユニットに対し、第ｉ番目の画素生成ユニット用の伝送路Ｌｂを通じて、外部から入力された共通の電荷転送指令信号を入力する構成にされるとよい（請求項１１）。

受光デバイスがこのように構成された画像データ生成装置によれば、第ｉ番目の画素生成ユニット用の伝送路Ｌａの入力端に、外部から第ｉ番目の画素生成ユニットに対する電荷排出指令信号を入力し、第ｉ番目の画素生成ユニット用の伝送路Ｌｂの入力端に、外部から第ｉ番目の画素生成ユニットに対する電荷転送指令信号を入力して、受光デバイスを制御する程度で、各画素セットにおける第ｉ番目の画素生成ユニットを同時に制御することができ、各画素セットにおける第ｉ番目の画素生成ユニットに、同時期に同一の動作を実行させることができる。

よって、このように受光デバイスを構成すれば、画像データ生成装置において、各画像生成ユニットの組を、同時に制御する場合、当該制御を簡単に実現することができる。
また、上述の画像データ生成装置は、生成する距離画像データの解像度を切替可能な構成にされると、一層好ましい。

例えば、距離画像データ生成手段は、受光デバイスが有する画素生成ユニットの一群を区画化して定められる各区画の画素生成ユニットの集合としての画素セットに関し、画素セット毎に、当該画素セットを構成する各画素生成ユニットの出力値に基づき、被写体までの距離を算出し、算出した距離に対応する値を、当該画素セットに対応する座標の画素値として記述して、距離画像データを生成する標準モードと、受光デバイスにおける画素セットの一群を区画化して定められる各区画の画素セットの集合を、大画素セットとして、大画素セット毎に、当該大画素セットを構成する各画素生成ユニットの出力値に基づき、被写体までの距離を算出し、算出した距離に対応する値を、当該大画素セットに対応する座標の画素値として記述して、距離画像データを生成する低解像度モードと、を有し、各モードを切り替えて実行する構成にされると好ましい（請求項１２）。

このように、距離画像データ生成手段を構成すれば、外部からの指令によりモードを切り替えて、距離画像データの解像度を、標準の解像度から、それより低い解像度に切り替えることができ、大変便利である。

また、この画像データ生成装置においては、画素セットを構成する画素生成ユニットの個数が同数となるように、各画素セットを、所定数（Ｓ個の）の画素生成ユニットの集合から構成するのが好ましい。

その他、この画像データ生成装置においては、各モードにおいて、画素セット内の第ｉ（ｉ＝１，２，…，Ｓ）番目の画素生成ユニットが、各画素セット間で共通して同時期に同一の動作を実行し、発光デバイスから発射された光の反射光が受光デバイスに入射されうる期間において、画素セット内の複数の画素生成ユニットが夫々、異なる期間に光電変換部で生成された電荷に応じた値を出力するように、各画素生成ユニットに対し電荷排出指令信号及び電荷転送指令信号を入力して、受光デバイスを制御し、標準モードでは、画素セット毎に、当該画素セットを構成する各画素生成ユニットから得られる出力値から、発光デバイスによる発射光に対する入射光の位相差を求め、被写体までの距離を算出し、低解像度モードでは、大画素セット毎に、当該大画素セットを構成する各画素セット内の第ｉ（ｉ＝１，２，…，Ｓ）番目の画素生成ユニットの出力値を積算して第ｉ番目の画素生成ユニットについての積算値を得て、第１番目から第Ｓ番目の画素生成ユニットの夫々についての積算値に基づき、標準モードと同手法にて、被写体までの距離を算出し、算出した距離に対応する値を、当該大画素セットに対応する座標の画素値として記述して、距離画像データを生成するように、距離画像データ生成手段を構成するとよい（請求項１３）。

また、距離画像データ生成手段は、上記低解像度モードに代え（又は、加え）、画素セットを所定数の小画素セットに分割して、小画素セット毎に、当該小画素セットを構成する画素生成ユニットの出力値に基づき、被写体までの距離を算出し、算出した距離に対応する値を、当該小画素セットに対応する座標の画素値として記述して、距離画像データを生成する高解像度モードを有する構成にされるとよい（請求項１４）。このように構成された画像データ生成装置によれば、外部からの指令によりモードを切り替えて、距離画像データの解像度を、標準の解像度から、それより高い解像度に切り替えることができるので、大変便利である。

また、上述の画像データ生成装置に対しては、受光デバイスとして、（Ｋ×Ｍ）行（Ｌ×Ｎ）列のマトリックス状に、画素生成ユニットが配列された受光デバイスを採用することができる。また、距離算出に用いる画素生成ユニットの組（画素セット）としては、受光デバイスにおける画素生成ユニットの一群をＫ×Ｌ個の格子状に区画化して定められるＭ行Ｎ列の画素生成ユニットの集合を採用することができる（請求項１５）。

また、受光デバイスがこのような構成された画像データ生成装置においては、次のように、距離画像データ生成手段を構成してもよい。
即ち、距離画像データ生成手段は、受光デバイスにおける画素生成ユニットの一群をＫ×Ｌ個の格子状に区画化して定められるＭ行Ｎ列の画素生成ユニットの集合からなる画素生成ユニットの組毎に、組内の各画素生成ユニットの出力値に基づき、被写体までの距離を算出すると共に、当該画素生成ユニットの組に対応するＭ行Ｎ列の領域を中心領域として、この中心領域から値Ｍより小さいΔｍ行ずらしたＭ行Ｎ列の領域に属する画素生成ユニットの組、当該中心領域から値Ｎより小さいΔｎ列ずらしたＭ行Ｎ列の領域に属する画素生成ユニットの組、及び、当該中心領域からΔｍ行Δｎ列ずらしたＭ行Ｎ列の領域に属する画素生成ユニットの組の全て又は一部の組、の夫々について、組内の各画素生成ユニットの出力値に基づき、被写体までの距離を算出し、これら中心領域周囲の画素生成ユニットの組から得られた距離の算出結果から、中心領域の画素生成ユニットの組から得られた距離を補正し、補正後の距離に応じた値を、当該中心領域の画素生成ユニットの組に対応する座標の画素値として記述して、距離画像データを生成する構成にされてもよい。

このように、画像データ生成装置を構成すれば、距離画像データ生成時に、中心領域の画素生成ユニットから得られた距離の値を、その周囲の画素生成ユニットの組から得られた距離の値により補正して、画素値を得るので、ノイズによる影響の少ない綺麗な距離画像データを生成することができる。

また、請求項１７記載の受光デバイスは、光電変換部に対して画素出力部を一つのみ備える画素生成ユニットを、複数個配列した受光デバイスである。この受光デバイスによれば、光電変換部を高密度に配列することができるので、従来よりも、高解像度の平面画像データを生成可能な画像データ生成装置を構築することができる。

また、画素出力部は、具体的に、フローティングディフュージョンと、外部から入力される電荷排出指令信号に従い、光電変換部で生成された電荷を光電変換部から排出して破棄し、光電変換部を初期状態にリセットする電荷排出部と、光電変換部とフローティングディフュージョンとの間に位置して、外部から入力される電荷転送指令信号に従い、光電変換部で生成された電荷をフローティングディフュージョンに転送する電荷転送部と、外部から入力される出力指令信号に従い、フローティングディフュージョンにて蓄積された電荷に応じた値を出力する出力部と、外部から入力されるリセット指令信号に従い、フローディングディフュージョンを初期状態にリセットするリセット部と、を備える構成にすることができる（請求項１８）。

この画素出力部を備える受光デバイスを用いれば、外部から電荷排出指令信号、電荷転送指令信号、出力指令信号及びリセット指令信号を入力することで、簡単に、任意の期間に、光電変換部が生成した電荷をフローティングディフュージョンに蓄積して、当該期間に外部から入射された光の受光量を検出することができる。

また、画素出力部は、ＣＭＯＳ構造とすることができ、電荷排出部、電荷転送部、出力部、及び、リセット部は、トランジスタにて構成することができる。
具体的に、画素出力部は、ゲート電極を通じて外部から入力される電荷排出指令信号によりオン／オフされ、光電変換部で生成された電荷を光電変換部から排出して破棄し、光電変換部を初期状態にリセットする電荷排出トランジスタと、光電変換部とフローティングディフュージョンとの間に位置して、ゲート電極を通じて外部から入力される電荷転送指令信号によりオン／オフされ、光電変換部で生成された電荷をフローティングディフュージョンに転送する電荷転送トランジスタと、フローティングディフュージョンにて蓄積された電荷を電圧値に変換する変換トランジスタと、ゲート電極を通じて外部から入力される出力指令信号によりオン／オフされ、フローティングディフュージョンにて蓄積された電荷に応じた値として、変換トランジスタにて変換された電圧値を、出力する出力トランジスタと、ゲート電極を通じて外部から入力されるリセット指令信号によりオン／オフされ、フローティングディフュージョンを初期状態にリセットするリセットトランジスタとを備える構成にすることができる（請求項１９）。

また、受光デバイスにおいては、画素生成ユニットの一群を、所定数（Ｓ個）の画素生成ユニットの集合毎にグループ化して、Ｓ個の画素生成ユニットの集合としての画素セットが複数個配列された構成にすることができる。

そして、このように受光デバイスを構成する場合には、外部から入力される各種指令信号を受け付けて画素セットに伝送するための伝送路（信号線）を、受光デバイスにおいて、次のように形成することができる。即ち、受光デバイスは、外部から入力される電荷排出指令信号を、各画素セットが有する画素生成ユニットに伝送するための伝送路として、上記複数個の画素セット共通の伝送路Ｌａを、画素セットを構成する第１番目から第Ｓ番目の画素生成ユニットの夫々に対して有し、外部から入力される電荷転送指令信号を、各画素セットが有する画素生成ユニットに伝送するための伝送路として、上記複数個の画素セット共通の伝送路Ｌｂを、画素セットを構成する第１番目から第Ｓ番目の画素生成ユニットの夫々に対して有し、更に、外部から入力されるリセット指令信号を、各画素生成ユニットに伝送するための伝送路として、当該受光デバイスが有する全画素生成ユニット共通の伝送路Ｌｃを有する構成にすることができる。

このような構造の受光デバイスでは、各画素セットが有する第ｉ（ｉ＝１，２，…，Ｓ）番目の画素生成ユニットに対して、当該画素生成ユニット用の伝送路Ｌａを通じて、外部から共通の電荷排出指令信号が入力され、各画素セットが有する第ｉ（ｉ＝１，２，…，Ｓ）番目の画素生成ユニットに対して、当該画素生成ユニット用の伝送路Ｌｂを通じて、外部から共通の電荷転送指令信号が入力され、伝送路Ｌｃを通じて、当該受光デバイスが有する各画素生成ユニットに対して、外部から共通のリセット指令信号が入力される。

このように、各画素セット共通の伝送路Ｌａ，Ｌｂ，Ｌｃを受光デバイスに設ければ、伝送路Ｌａ，Ｌｂ，Ｌｃの入力端に各画素セット共通の電荷排出指令信号、電荷転送指令信号、リセット指令信号を入力する程度で、各画素セットに、他の画素セットと同一の動作を、同時に実行させることができる。従って、この受光デバイスを用いれば、各画素セットに対応する被写体領域の距離を同時に全画素セット分容易に計測することができ、被写体までの距離を瞬間的に捉えて、好適な距離画像データを生成することができる。

以下に、本発明の実施例について、図面と共に説明する。尚、以下に説明する画像データ生成装置１，１００は、被写体５までの距離を表す距離画像データや被写体５の平面画像を表す平面画像データを生成するものであり、例えば、侵入者を検知するための監視装置や、車両前方の障害物等を検知するための車載装置に接続されて動作する。この際、画像データ生成装置１，１００にて生成・出力された画像データは、侵入者検知や障害物検知のために利用される。

図１は、第一実施例の画像データ生成装置１の構成を表すブロック図である。図１に示すように、本実施例の画像データ生成装置１は、発光部１０、受光部２０、出力データ記憶部３０、信号生成部４０、クロック信号生成部５０、制御部６０、及び、インタフェース部７０を有した構成にされている。

具体的に、発光部１０は、近赤外線光を発光する発光ダイオードと、発光信号ＦＬに従って発光ダイオードを発光させる駆動回路と、発光ダイオードからの発射光を拡散して、これを所定の測定エリアに存在する被写体５に照射する拡散レンズと、を備える。また、受光部２０は、入射された光の受光量に応じた値を出力する光電センサ２１と、測定エリア内から到来する光を集光して光電センサ２１に入射する集光レンズと、を備えた構成にされている。尚、この光電センサ２１からの出力値は、出力データ記憶部３０に記憶される。

また、制御部６０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、ＲＯＭに記録されたプログラムに従ってＣＰＵで演算処理を実行することにより、各種機能をソフトウェア的に実現する構成にされている。具体的に、制御部６０は、距離画像データ及び平面画像データを生成して、これを、インタフェース部７０を通じ外部のデータ処理装置８０に出力する画像データ生成出力機能６０ａ、及び、外部のデータ処理装置８０からインタフェース部７０を通じて入力される指令信号に従って、動作モードを切り替えるモード切替機能６０ｂを、プログラムにより実現する構成にされている。尚、インタフェース部７０に接続される外部のデータ処理装置８０としては、上述した車載装置や監視装置等を挙げることができる。

また、信号生成部４０は、クロック信号生成部５０から入力されるクロック信号に基づき、発光部１０や受光部２０に対する各種指令信号を生成し、これを発光部１０や受光部２０に入力する構成にされている。具体的に、この信号生成部４０は、距離画像データの生成に必要な各種指令信号を生成し、これを発光部１０及び受光部２０に入力する距離画像生成用信号出力部４１と、平面画像データの生成に必要な各種指令信号を生成し、これを受光部２０に入力する通常画像生成用信号出力部４５と、を有する。

続いて、受光部２０が有する上述の光電センサ２１の構成について、図２〜図５を用いて説明する。図２は、光電センサ２１の構成を表すブロック図であり、図３は、光電センサ２１が有する画素セット２５の構成を表すブロック図である。

図２に示すように、本実施例の光電センサ２１は、複数の画素セット２５がＫ行Ｌ列のマトリックス状に配列されてなる画素アレイ２３と、画素セット２５が有する各画素生成ユニット２７からの出力値をＡ／Ｄ変換し、変換後の出力値を、画素生成ユニット２７と一対一に対応する出力データ記憶部３０内の記憶領域に書き込む書込処理部２９と、を備えた構成にされている。

画素アレイ２３が備える各画素セット２５は、２行２列のマトリックス状に、画素生成ユニット２７が配列されてなるものであり、合計４個の画素生成ユニット２７を有する構成にされている。また、画素セット２５が有する各画素生成ユニット２７は、図４に示す回路構成にされている。尚、図４は、画素生成ユニット２７の構成を表す回路図である。

図４に示すように、画素セット２５が有する各画素生成ユニット２７は、受光強度に応じた電荷を生成する光電変換素子（具体的にはフォトダイオード）ＰＤと、電荷排出トランジスタＴｒ１と、電荷転送トランジスタＴｒ２と、ソースフォロワトランジスタＴｒ３と、出力トランジスタＴｒ４と、リセットトランジスタＴｒ５と、フローティングディフュージョンＦＤと、を含んだ構成にされている。

具体的に、この画素生成ユニット２７における光電変換素子ＰＤは、電荷排出トランジスタＴｒ１及び電荷転送トランジスタＴｒ２のソース電極に接続されており、電荷排出トランジスタＴｒ１のドレイン電極は、電源ＶＤＤに接続されている。また、電荷転送トランジスタＴｒ２のドレイン電極は、リセットトランジスタＴｒ５のソース電極及びソースフォロワトランジスタＴｒ３のゲート電極に接続されており、リセットトランジスタＴｒ５のドレイン電極及びソースフォロワトランジスタＴｒ３のドレイン電極は、電源ＶＤＤに接続され、ソースフォロワトランジスタＴｒ３のソース電極は、出力トランジスタＴｒ４のドレイン電極に接続されている。また、出力トランジスタＴｒ４のソース電極は、上記書込処理部２９に信号線を介して接続されている。その他、この画素生成ユニット２７は、ソースフォロワトランジスタＴｒ３のゲート電極と、電荷転送トランジスタＴｒ２のドレイン電極とを結ぶ信号線に、フローティングディフュージョンＦＤが介在した構成にされている。

即ち、この画素生成ユニット２７を構成する電荷排出トランジスタＴｒ１は、ゲート電極から入力される電荷排出指令信号ＤＧに従って、光電変換素子ＰＤで生成された電荷を、電源ＶＤＤに排出し、光電変換素子ＰＤを初期状態にリセットする。また、電荷転送トランジスタＴｒ２は、ゲート電極から入力される電荷転送指令信号ＴＧに従って、光電変換素子ＰＤで生成された電荷を、フローティングディフュージョンＦＤに転送する。

また、リセットトランジスタＴｒ５は、ゲート電極から入力されるリセット指令信号ＲＳＴに従って、フローティングディフュージョンＦＤに蓄積された電荷を電源ＶＤＤに排出し、フローティングディフュージョンＦＤを初期状態にリセットする（即ち、フローティングディフュージョンＦＤの両端電圧を初期電圧にリセットする）。その他、出力トランジスタＴｒ４は、ゲート電極から入力される出力指令信号ＲＧに従って、フローティングディフュージョンＦＤに蓄積された電荷に応じた電圧値を、ソースフォロワトランジスタＴｒ３を通じて読み出し、この電圧値を書込処理部２９に入力する。また、ソースフォロワトランジスタＴｒ３は、フローティングディフュージョンＦＤに蓄積された電荷を電圧値に変換する構成にされている。

また、このような構成の画素生成ユニット２７を合計４つ備える画素セット２５には、リセット指令信号ＲＳＴ用の入力電極Ｔ＿Ｒと、画素生成ユニット２７毎の入力電極Ｔ＿ＤＧ，Ｔ＿ＴＧ，Ｔ＿ＲＧ及び出力電極Ｔ＿ＳＧと、が設けられている。そして、入力電極Ｔ＿Ｒから画素セット２５内部に延びる信号線は、各画素生成ユニット２７が有するリセットトランジスタＴｒ５のゲート電極に接続されている。

また、画素生成ユニット２７毎に設けられた各入力電極Ｔ＿ＤＧから画素セット２５内部に延びる信号線は、対応する画素生成ユニット２７が有する電荷排出トランジスタＴｒ１のゲート電極に接続されている。この他、画素生成ユニット２７毎に設けられた各入力電極Ｔ＿ＴＧから画素セット２５内部に延びる信号線は、対応する画素生成ユニット２７が有する電荷転送トランジスタＴｒ２のゲート電極に接続され、各入力電極Ｔ＿ＲＧから画素セット２５内部に延びる信号線は、対応する画素生成ユニット２７が有する出力トランジスタＴｒ４のゲート電極に接続されている。また、画素生成ユニット２７毎に設けられた各出力電極Ｔ＿ＳＧから画素セット２５内部に延びる信号線は、出力トランジスタＴｒ４のソース電極に接続されている。

尚、以下では、各画素セット２５が有する画素生成ユニット２７の内、第１行第１列の画素生成ユニットを、「第１の画素生成ユニット」と表現し、第１行第２列の画素生成ユニットを、「第２の画素生成ユニット」と表現し、第２行第２列の画素生成ユニットを、「第３の画素生成ユニット」と表現し、第２行第１列の画素生成ユニットを、「第４の画素生成ユニット」と表現する。また、第ｉ（ｉ＝１，２，３，４）の画素生成ユニット２７が有する各部の符号末尾には、サフィックスとして［ｉ］を付すことにする。

また、第ｉ（ｉ＝１，２，３，４）の画素生成ユニット２７が有する電荷排出トランジスタＴｒ１に接続された入力電極Ｔ＿ＤＧ、第ｉ（ｉ＝１，２，３，４）の画素生成ユニット２７の電荷転送トランジスタＴｒ２に接続された入力電極Ｔ＿ＴＧ、第ｉ（ｉ＝１，２，３，４）の画素生成ユニット２７の出力トランジスタＴｒ４に接続された入力電極Ｔ＿ＲＧ、第ｉ（ｉ＝１，２，３，４）の画素生成ユニット２７の出力トランジスタＴｒ４に接続された出力電極Ｔ＿ＳＧの符号末尾、及び、第ｉ（ｉ＝１，２，３，４）の画素生成ユニット２７に対する指令信号ＤＧ，ＴＧ，ＲＧの符号末尾にも、同様に、サフィックスとして［ｉ］を付すことにする。

ところで、画素アレイ２３を構成する各画素セット２５は、上述したように、電極Ｔ＿Ｒ，Ｔ＿ＤＧ［１］〜Ｔ＿ＤＧ［４］，Ｔ＿ＴＧ［１］〜Ｔ＿ＴＧ［４］，Ｔ＿ＲＧ［１］〜Ｔ＿ＲＧ［４］，Ｔ＿ＳＧ［１］〜Ｔ＿ＳＧ［４］を有するが、画素アレイ２３を構成する各画素セット２５の入出力電極には、図５に示すように、共通する信号線が接続される。図５は、画素アレイ２３における信号線の配線態様を表す説明図である。

即ち、本実施例における画素アレイ２３には、各画素生成ユニット２７にリセット指令信号ＲＳＴを入力するための信号線として、各画素セット２５の電極Ｔ＿Ｒに分岐線が接続される全画素セット２５共通の信号線Ｌ＿Ｒが、設けられている。この信号線Ｌ＿Ｒは画素アレイ２３が備える入力端子Ｔａ＿Ｒに接続されており、信号線Ｌ＿Ｒには、この入力端子Ｔａ＿Ｒを通じて、信号生成部４０からリセット指令信号ＲＳＴが入力される。

また、本実施例の画素アレイ２３には、各画素生成ユニット２７に電荷排出指令信号ＤＧを入力するための信号線として、各画素セット２５の電極Ｔ＿ＤＧ［１］に分岐線が接続される第１の画素生成ユニット２７共通の信号線Ｌ＿ＤＧ［１］と、各画素セット２５の電極Ｔ＿ＤＧ［２］に分岐線が接続される第２の画素生成ユニット２７共通の信号線Ｌ＿ＤＧ［２］と、各画素セット２５の電極Ｔ＿ＤＧ［３］に分岐線が接続される第３の画素生成ユニット２７共通の信号線Ｌ＿ＤＧ［３］と、各画素セット２５の電極Ｔ＿ＤＧ［４］に分岐線が接続される第４の画素生成ユニット２７共通の信号線Ｌ＿ＤＧ［４］と、が設けられている。尚、信号線Ｌ＿ＤＧ［ｉ］は、画素アレイ２３が備える入力端子Ｔａ＿ＤＧ［ｉ］に接続されており、この信号線Ｌ＿ＤＧ［ｉ］には、入力端子Ｔａ＿ＤＧ［ｉ］を通じて、信号生成部４０から第ｉの画素生成ユニット２７共通の電荷排出指令信号ＤＧ［ｉ］が入力される。

その他、画素アレイ２３には、各画素生成ユニット２７に電荷転送指令信号ＴＧを入力するための信号線として、各画素セット２５の電極Ｔ＿ＴＧ［１］に分岐線が接続される第１の画素生成ユニット２７共通の信号線Ｌ＿ＴＧ［１］と、各画素セット２５の電極Ｔ＿ＴＧ［２］に分岐線が接続される第２の画素生成ユニット２７共通の信号線Ｌ＿ＴＧ［２］と、各画素セット２５の電極Ｔ＿ＴＧ［３］に分岐線が接続される第３の画素生成ユニット２７共通の信号線Ｌ＿ＴＧ［３］と、各画素セット２５の電極Ｔ＿ＴＧ［４］に分岐線が接続される第４の画素生成ユニット２７共通の信号線Ｌ＿ＴＧ［４］と、が設けられている。また、信号線Ｌ＿ＴＧ［ｉ］は、画素アレイ２３が備える入力端子Ｔａ＿ＴＧ［ｉ］に接続され、信号線Ｌ＿ＴＧ［ｉ］には、入力端子Ｔａ＿ＴＧ［ｉ］を通じて、信号生成部４０から第ｉの画素生成ユニット２７共通の電荷転送指令信号ＴＧ［ｉ］が入力される。

尚、図５では、信号線Ｌ＿ＤＧ［ｉ］，Ｌ＿ＴＧ［ｉ］を、共通するラインで表現しているが、実際には、信号線Ｌ＿ＤＧ［ｉ］及び信号線Ｌ＿ＴＧ［ｉ］は、独立した信号線として構成されている。また、電極Ｔ＿ＲＧ［１］〜Ｔ＿ＲＧ［４］に接続される信号線については、図５において、その図示を省略するが、当該信号線は、画素アレイ２３を構成する各画素生成ユニット２７に対して独立に設けられ、各信号線は、画素アレイ２３が備える画素生成ユニット２７毎の入力端子Ｔａ＿ＲＧの内の、一つに接続されている。その他、電極Ｔ＿ＳＧ［ｉ］と書込処理部２９を結ぶ信号線についても、図５では、その図示を省略するが、当該信号線は、画素アレイ２３を構成する各画素生成ユニット２７に対して独立に設けられているものとする。

続いては、この画素アレイ２３に入力される各種指令信号ＲＳＴ，ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］，ＲＧのパターンについて、図６及び図７を用いて説明する。尚、図６は、距離画像生成用信号出力部４１が出力する発光信号ＦＬ及び指令信号ＲＳＴ，ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］，ＲＧのパターンを表すタイムチャートである。

本実施例においては、インタフェース部７０を通じて外部から制御部６０に距離画像モードへのモード切替指令が入力されると、信号生成部４０が、制御部６０からのモード切替指令を受けて、距離画像生成用信号出力部４１を起動する。そして、距離画像生成用信号出力部４１が起動されると、図６に示すパターンの指令信号が、繰返し、発光部１０の駆動回路、及び、受光部２０の光電センサ２１に入力される。

図６に示すように、距離画像生成用信号出力部４１は、起動して、信号出力動作を開始すると、最初に、リセット指令信号ＲＳＴ及び電荷排出指令信号ＤＧ［１］〜ＤＧ［４］をアクティブレベルにし、それ以外の指令信号ＴＧ［１］〜ＴＧ［４］，ＲＧを非アクティブレベルにして、これらの状態の各指令信号ＲＳＴ，ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］，ＲＧを、光電センサ２１に入力する。

尚、リセット指令信号ＲＳＴとしてアクティブレベルの信号が光電センサ２１に入力されている期間には、光電センサ２１を構成する各画素生成ユニット２７のリセットトランジスタＴｒ５がオンにされて、フローティングディフュージョンＦＤから電荷が排出され、最終的に、フローティングディフュージョンＦＤが、初期状態にリセットされる。

また、電荷排出指令信号ＤＧ［ｉ］としてアクティブレベルの信号が光電センサ２１に入力されている期間には、第ｉの画素生成ユニット２７の電荷排出トランジスタＴｒ１がオンにされて、電荷排出トランジスタＴｒ１に接続された光電変換素子ＰＤから電荷が排出され、最終的に光電変換素子ＰＤが、初期状態にリセットされる。

また、距離画像生成用信号出力部４１は、リセット指令信号ＲＳＴをアクティブレベルに設定した後の所定時刻ｔ１から、発光信号ＦＬとして、パルス幅Ｔｐ、周期２×Ｔｐのパルス信号（矩形信号）の発光部１０への入力を開始する。尚、このようなパルス信号が発光部１０の駆動回路に入力されると、これに合わせて発光部１０からは、パルス幅Ｔｐのパルス光が、周期２×Ｔｐで発射される。尚、距離画像生成用信号出力部４１は、距離画像データを１つ生成するために必要な１回分の信号出力動作として、複数周期分のパルス信号を、発光信号ＦＬとして発光部１０に入力する。このため、１回分の信号出力動作で、パルス光の発射は、複数回行われる。

また、距離画像生成用信号出力部４１は、複数回に渡るパルス光の発射動作の最初のパルス光の発射開始時（時刻ｔ１）に、リセット指令信号ＲＳＴを非アクティブレベルに切り替える。また、パルス光の発射開始時（時刻ｔ１）には、電荷排出指令信号ＤＧ［１］を非アクティブレベルに切り替え、電荷転送指令信号ＴＧ［１］をアクティブレベルに切り替える。

尚、時刻ｔ１では、指令信号ＲＳＴ，ＤＧ［１］，ＴＧ［１］が上述のように変化するため、各画素セット２５における第１の画素生成ユニット２７では、時刻ｔ１で、光電変換素子ＰＤ［１］にて生成される電荷のフローティングディフュージョンＦＤ［１］への蓄積動作が開始される。

また、距離画像生成用信号出力部４１は、パルス光が発射された時点から、パルス幅の二分の一時間Ｔｐ／２遅れて、時刻ｔ２で、電荷転送指令信号ＴＧ［２］をアクティブレベルに切り替え、電荷排出指令信号ＤＧ［２］を非アクティブレベルに切り替える。

尚、指令信号ＤＧ［２］，ＴＧ［２］が上述のように変化することで、時刻ｔ２では、光電変換素子ＰＤ［２］にて生成される電荷のフローティングディフュージョンＦＤ［２］への蓄積動作が、各画素セット２５の第２の画素生成ユニット２７において、開始される。

また、距離画像生成用信号出力部４１は、パルス光が発射された時刻ｔ１からパルス幅Ｔｐ分の時間が経過する時刻ｔ３で、電荷転送指令信号ＴＧ［１］を非アクティブレベルに切り替え、電荷排出指令信号ＤＧ［１］をアクティブレベルに切り替えると共に、電荷転送指令信号ＴＧ［３］をアクティブレベルに切り替え、電荷排出指令信号ＤＧ［３］を非アクティブレベルに切り替える。

尚、指令信号ＤＧ［１］，ＴＧ［１］が上述のように変化することで、時刻ｔ３では、各画素セット２５の第１の画素生成ユニット２７において、光電変換素子ＰＤ［１］にて生成された電荷のフローティングディフュージョンＦＤ［１］への蓄積動作が終了する。また、指令信号ＤＧ［３］，ＴＧ［３］が上述のように変化することで、時刻ｔ３では、光電変換素子ＰＤ［３］にて生成される電荷のフローティングディフュージョンＦＤ［３］への蓄積動作が、各画素セット２５の第３の画素生成ユニット２７において、開始される。

また、距離画像生成用信号出力部４１は、パルス光が発射された時刻ｔ１からパルス幅の二分の三時間（３×Ｔｐ／２）遅れて、時刻ｔ４で、電荷転送指令信号ＴＧ［２］を非アクティブレベルに切り替え、電荷排出指令信号ＤＧ［２］をアクティブレベルに切り替えると共に、電荷転送指令信号ＴＧ［４］をアクティブレベルに切り替え、電荷排出指令信号ＤＧ［４］を非アクティブレベルに切り替える。

尚、指令信号ＤＧ［２］，ＴＧ［２］が上述のように変化することで、時刻ｔ４では、光電変換素子ＰＤ［２］にて生成された電荷のフローティングディフュージョンＦＤ［２］への蓄積動作が終了する。また、指令信号ＤＧ［４］，ＴＧ［４］が上述のように状態変化することで、時刻ｔ４では、各画素セット２５の第４の画素生成ユニット２７において、光電変換素子ＰＤ［４］にて生成される電荷のフローティングディフュージョンＦＤ［４］への蓄積動作が開始される。

また、距離画像生成用信号出力部４１は、パルス光が発射された時刻ｔ１からパルス幅の二倍分の時間２×Ｔｐが経過した時刻ｔ５で、電荷転送指令信号ＴＧ［３］を非アクティブレベルに切り替え、電荷排出指令信号ＤＧ［３］をアクティブレベルに切り替える。また、この時点でのパルス光の発射と合わせて、再び電荷転送指令信号ＴＧ［１］をアクティブレベルに切り替え、電荷排出指令信号ＤＧ［１］を非アクティブレベルに切り替える。

尚、指令信号ＤＧ［３］，ＴＧ［３］が上述のように変化することで、時刻ｔ５では、光電変換素子ＰＤ［３］にて生成された電荷のフローティングディフュージョンＦＤ［３］への蓄積動作が終了する。また、再度のパルス光の発射に合わせて、指令信号ＤＧ［１］，ＴＧ［１］が上述のように変化することで、時刻ｔ５では、各画素セット２５の第１の画素生成ユニット２７において、光電変換素子ＰＤ［１］にて生成される電荷のフローティングディフュージョンＦＤ［１］への蓄積動作が再度開始される。

また、再度のパルス光の発射に合わせて、このパルス光の発射時点から時間Ｔｐ／２が経過した時刻ｔ６では、電荷転送指令信号ＴＧ［２］をアクティブレベルに切り替え、電荷排出指令信号ＤＧ［２］を非アクティブレベルに切り替えて、光電変換素子ＰＤ［２］にて生成される電荷のフローティングディフュージョンＦＤ［２］への蓄積動作を再度開始させる。

また、この時刻ｔ６では、電荷転送指令信号ＴＧ［４］をアクティブレベルに切り替えてから、時間Ｔｐが経過することになるので、電荷転送指令信号ＴＧ［４］を非アクティブレベルに切り替えると共に、電荷排出指令信号ＤＧ［４］をアクティブレベルに切り替え、光電変換素子ＰＤ［４］にて生成された電荷のフローティングディフュージョンＦＤ［４］への蓄積動作を終了する。

このようにして、距離画像生成用信号出力部４１は、パルス光の発射毎に、その発射時点からパルス幅Ｔｐに対応する時間、フローティングディフュージョンＦＤ［１］に光電変換素子ＰＤ［１］が生成した電荷を蓄積させ、上記発射時点から時間Ｔｐ／２経過した時点からパルス幅Ｔｐに対応する時間、フローティングディフュージョンＦＤ［２］に光電変換素子ＰＤ［２］が生成した電荷を蓄積させ、上記発射時点から時間Ｔｐ経過した時点からパルス幅Ｔｐに対応する時間、フローティングディフュージョンＦＤ［３］に光電変換素子ＰＤ［３］が生成した電荷を蓄積させ、上記発射時点から時間（３×Ｔｐ／２）経過した時点からパルス幅Ｔｐに対応する時間、フローティングディフュージョンＦＤ［４］に光電変換素子ＰＤ［４］が生成した電荷を蓄積させる。

尚、発射光が被写体５に反射して戻ってくる反射光は、図６の二段目に示すように、発射光に対して位相Φずれているので、このように、発光部１０及び受光部２０を制御すると、各フローティングディフュージョンＦＤ［１］〜ＦＤ［４］には、図６に示す斜線の期間に入射された反射光の受光量に対応した電荷が蓄積される。

また、距離画像生成用信号出力部４１は、所定回数のパルス光の発射が終了すると、各画素生成ユニット２７に対して順にアクティブレベルの指令信号ＲＧを入力して、フローティングディフュージョンＦＤに蓄積された電荷に対応する値を、画素生成ユニット２７に出力させ、書込処理部２９に、この出力値を、出力データ記憶部３０に書き込ませる。

以上が、距離画像生成用信号出力部４１が行う１回分の信号出力動作の内容である。この信号出力動作は、通常画像モードへのモード切替指令が信号生成部４０に入力され、信号生成部４０が、距離画像生成用信号出力部４１を停止させ、通常画像生成用信号出力部４５を起動するまで、繰返し、距離画像生成用信号出力部４１で行われる。

続いて、図７を用いて、通常画像生成用信号出力部４５が出力する指令信号ＲＳＴ，ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］，ＲＧのパターンについて説明する。図７は、通常画像生成用信号出力部４５が出力する指令信号ＲＳＴ，ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］，ＲＧのパターンを表すタイムチャートである。

上述したように、本実施例においては、インタフェース部７０を通じて制御部６０に外部から通常画像モードへのモード切替指令が入力されると、制御部６０からのモード切替指令を受けて、信号生成部４０が、通常画像生成用信号出力部４５を起動する構成にされている。そして、通常画像生成用信号出力部４５が起動されると、図７に示すパターンの指令信号が、繰返し、光電センサ２１に入力される。尚、平面画像データの生成時には、発光ダイオードを発光させないので、通常画像生成用信号出力部４５から、発光信号ＦＬは出力されない。

通常画像生成用信号出力部４５は、起動して、信号出力動作を開始すると、最初に、リセット指令信号ＲＳＴをアクティブレベルにし、それ以外の指令信号ＤＧ［１］〜ＤＧ［４］,ＴＧ［１］〜ＴＧ［４］，ＲＧを非アクティブレベルにする。そして、これらの状態の各指令信号ＲＳＴ，ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］，ＲＧを、光電センサ２１に入力する。

即ち、通常画像生成用信号出力部４５は、まず上記状態の指令信号ＲＳＴ，ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］，ＲＧを、光電センサ２１に入力することで、光電センサ２１を構成する各画素生成ユニット２７のリセットトランジスタＴｒ５をオンにし、フローティングディフュージョンＦＤから電荷を排出して、フローティングディフュージョンＦＤを初期状態にリセットする。

また、通常画像生成用信号出力部４５は、リセット指令信号ＲＳＴをアクティブレベルに設定した後の所定時刻ｔ１１で、上記リセット指令信号ＲＳＴをアクティブレベルに保ったまま、電荷転送指令信号ＴＧ［１］〜ＴＧ［４］をアクティブレベルに切り替えて、各画素生成ユニット２７の電荷転送トランジスタＴｒ２をオンにし、光電変換素子ＰＤから、フローティングディフュージョンＦＤを通じて電荷を排出し、光電変換素子ＰＤを、フローティングディフュージョンＦＤ共々、初期状態にリセットする。

また、通常画像生成用信号出力部４５は、電荷転送指令信号ＴＧ［１］〜ＴＧ［４］をアクティブレベルに切り替えた後の所定時刻ｔ１２で、上記リセット指令信号ＲＳＴをアクティブレベルに保ったまま、電荷転送指令信号ＴＧ［１］〜ＴＧ［４］を非アクティブレベルに切り替え、各画素生成ユニット２７の電荷転送トランジスタＴｒ２をオフにする。

また、通常画像生成用信号出力部４５は、電荷転送指令信号ＴＧ［１］〜ＴＧ［４］を非アクティブレベルに切り替えた後の所定時刻ｔ１３にて、リセット指令信号ＲＳＴを非アクティブレベルに切り替える。

そして、この後には、所定時刻ｔ１４が経過するまで、指令信号ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］を非アクティブレベルに保持することで、各光電変換素子ＰＤ［１］〜ＰＤ［４］に、所定時間Ｔｅｘ（＝ｔ１４−ｔ１２）、外部から入射される背景光に応じた電荷を生成させる。

また、時刻ｔ１４が到来すると、通常画像生成用信号出力部４５は、電荷転送指令信号ＴＧ［１］〜ＴＧ［４］をアクティブレベルに切り替えて、各画素生成ユニット２７の電荷転送トランジスタＴｒ２をオンにし、時刻ｔ１２〜時刻ｔ１４の間に光電変換素子ＰＤが生成した電荷をフローティングディフュージョンＦＤに転送して、これをフローティングディフュージョンＦＤに蓄積させる。

また、通常画像生成用信号出力部４５は、電荷転送指令信号ＴＧ［１］〜ＴＧ［４］をアクティブレベルに切り替えた後の所定時刻ｔ１５にて、電荷転送指令信号ＴＧ［１］〜ＴＧ［４］を非アクティブレベルに切り替え、光電変換素子ＰＤ［１］〜ＰＤ［４］が生成した電荷のフローティングディフュージョンＦＤへの転送を終了する。

また、通常画像生成用信号出力部４５は、このようにして、背景光に応じた電荷を、各フローティングディフュージョンＦＤに蓄積させると、各画素生成ユニット２７に対して順にアクティブレベルの指令信号ＲＧを入力して、フローティングディフュージョンＦＤに蓄積された電荷に対応する値を、画素生成ユニット２７に出力させ、書込処理部２９に、この出力値を、出力データ記憶部３０に書き込ませる。

以上が、通常画像生成用信号出力部４５が行う１回分の信号出力動作の内容である。この信号出力動作は、距離画像モードへのモード切替指令が制御部６０から信号生成部４０に入力され、これによって、信号生成部４０が、通常画像生成用信号出力部４５を停止し、距離画像生成用信号出力部４１を起動するまで、繰返し、通常画像生成用信号出力部４５で行われる。

続いて、上述した信号生成部４０の信号出力動作により、出力データ記憶部３０に記憶される出力データに基づき、制御部６０が行う処理について、図８〜図１０を用いて説明する。尚、図８は、制御部６０が、当該画像データ生成装置１の動作中に繰返し実行する画像データ生成出力処理を表すフローチャートである。制御部６０は、プログラムに従って、この画像データ生成出力処理を実行することにより、上述の画像データ生成出力機能６０ａを実現する。

制御部６０は、この画像データ生成出力処理を開始すると、まず動作モードとして、距離画像モードが設定されているか否かを判断する（Ｓ１１０）。尚、動作モードの設定は、上述したモード切替機能６０ｂにより実現される。即ち、本実施例において、制御部６０は、当該画像データ生成装置１の動作中、プログラムに従いモード切替処理を実行して、モード切替機能６０ｂを実現し、インタフェース部７０を通じ外部から距離画像モードへの切替指令が入力されると、距離画像モードへの切替指令を信号生成部４０に入力すると共に、画像データ生成出力処理の動作モードとして、距離画像モードを設定する。また、インタフェース部７０を通じて外部から通常画像モードへの切替指令が入力されると、通常画像モードへの切替指令を信号生成部４０に入力すると共に、画像データ生成出力処理の動作モードとして、通常画像モードを設定する。尚、本実施例では、初期状態で、動作モードとして、通常画像モードが設定されているものとする。

制御部６０は、Ｓ１１０において、動作モードが距離画像モードに設定されていると判断すると（Ｓ１１０でＹｅｓ）、Ｓ１２０に移行し、動作モードが通常画像モードに設定されていると判断すると（Ｓ１１０でＮｏ）、Ｓ１１５に移行する。

また、Ｓ１１５に移行すると、制御部６０は、出力データ記憶部３０に記憶された出力データとしての各画素生成ユニット２７の出力値を読み出し、この出力値に応じた画素値を、画素生成ユニット２７に対応する座標の画素値としてＲＡＭの平面画像データ生成領域に書き込み、平面画像データを完成させる。そして、完成した平面画像データを、インタフェース部７０を通じて出力し、データ処理装置８０に、この平面画像データを提供する。

即ち、Ｓ１１５において、制御部６０は、各画素生成ユニット２７の出力値を、画素の濃淡を表す濃淡値に変換し、第ｋ行第ｌ列の画素セット２５における第ｍ行第ｎ列の画素生成ユニット２７の出力値に対応する濃淡値を、座標（２×（ｋ−１）＋ｍ，２×（ｌ−１）＋ｎ）の画素値として設定して、（２×Ｋ）行（２×Ｌ）列の平面画像データを生成し、これをデータ処理装置８０に向けて出力する（但し、ｋ＝１，２，…，Ｋ、ｌ＝１，２，…，Ｌ、ｍ＝１，２、ｎ＝１，２である。）。その後、制御部６０は、当該画像データ生成出力処理を一旦終了する。また、信号生成部４０における信号出力動作の周期に合わせて、再び、当該画像データ生成出力処理をＳ１１０から実行し、繰返し、画像データを生成・出力する。

一方、Ｓ１２０に移行すると、制御部６０は、画像データ生成出力処理のオプション機能として、結合機能が有効に設定されているか否かを判断し、結合機能が有効に設定されていると判断すると（Ｓ１２０でＹｅｓ）、Ｓ１７０に移行し、結合機能が無効に設定されていると判断すると（Ｓ１２０でＮｏ）、Ｓ１３０に移行する。尚、本実施例において、結合機能の有効／無効は、モード切替指令の入力時に指令元装置から指定される。

Ｓ１３０に移行すると、制御部６０は、画素アレイ２３を構成する画素セット２５の内の一つを処理対象に選択し、選択した処理対象の画素セット２５を構成する第１の画素生成ユニット２７の出力値Ｖ１、第２の画素生成ユニット２７の出力値Ｖ２、第３の画素生成ユニット２７の出力値Ｖ３、及び第４の画素生成ユニット２７の出力値Ｖ４を、出力データ記憶部３０から読み出し、これらの出力値Ｖ１，Ｖ２，Ｖ３，Ｖ４に基づいて、当該画素セット２５に入射された発射光に対する反射光の位相差Φを算出する。具体的には、次式に従って、位相差Φを算出する。

Φ＝ａｒｃｔａｎ｛（Ｖ２−Ｖ４）／（Ｖ１−Ｖ３）｝ …（６）
また、位相差Φを算出すると、この位相差Φに基づいて、被写体５までの距離Ｄを次式
Ｄ＝ｃ×Ｔｐ×Φ／（２π） …（７）
に従って算出する（Ｓ１４０）。

本実施例のように、図６に示すパターンで信号を入力して、発光部１０からパルス光を発生させ、各画素生成ユニット２７に反射光を受光させる場合には、第１の画素生成ユニット２７の出力値Ｖ１、第２の画素生成ユニット２７の出力値Ｖ２、第３の画素生成ユニット２７の出力値Ｖ３、及び、第４の画素生成ユニット２７の出力値Ｖ４として、発射光に対する反射光の位相差Φと次の関係を有する出力値Ｖ１，Ｖ２，Ｖ３，Ｖ４が得られる。

Ｖ１∝ＡｃｏｓΦ＋Ｂ
Ｖ２∝ＡｓｉｎΦ＋Ｂ
Ｖ３∝−ＡｃｏｓΦ＋Ｂ
Ｖ４∝−ＡｓｉｎΦ＋Ｂ …（８）
尚、定数Ａは、反射して戻ってきたパルス光の振幅で定まる値であり、定数Ｂは、背景光成分である。従って、本実施例によれば、上式（６）によって、位相差Φを導出することができるのである。

Ｓ１４０で上述のようにして位相差Φを算出し、距離Ｄを算出すると、制御部６０は、Ｓ１５０に移行し、算出した距離Ｄを、画素の濃淡を表す値に変換すると共に、この濃淡値を、距離Ｄを算出する元となった上記処理対象の画素セット２５に対応した座標の画素値として、ＲＡＭの距離画像データ生成領域に書き込む。

即ち、制御部６０は、距離Ｄを算出する元となった処理対象の画素セット２５が、第ｋ行第ｌ列の画素セット２５である場合、上記変換後の濃淡値を、座標（ｋ，ｌ）の画素値として、ＲＡＭに書き込む。尚、以下では、第ｋ行第ｌ列の画素セット２５の位置座標を（Ｘ，Ｙ）＝（ｋ，ｌ）として、座標（Ｘ，Ｙ）を設定し、第ｋ行第ｌ列の画素セット２５のことを、座標（ｋ，ｌ）の画素セット２５と表現することにする。

また、このようにして、Ｓ１５０での処理を終えると、制御部６０は、画素アレイ２３が有する全画素セット２５について、距離Ｄを算出し、距離Ｄに応じた画素値を書き込んだか否かを判断し（Ｓ１６０）、全画素セット２５について画素値の書き込みが完了していない場合には（Ｓ１６０でＮｏ）、Ｓ１３０に移行して、画素値の書き込みが未完了の画素セット２５を一つ、処理対象に選択する。そして、選択した処理対象の画素セット２５に関して、Ｓ１４０，Ｓ１５０の処理を実行し、再び、Ｓ１６０にて、全画素セット２５について画素値の書き込みが完了したか否かを判断する。

このような動作を繰返し実行することにより、制御部６０は、図９に示すように、ｋ＝１，２，…，Ｋ、ｌ＝１，２，…，Ｌの範囲で、座標（ｋ，ｌ）の画素セット２５の出力値から距離Ｄを算出し、この距離Ｄに対応する濃淡値を、座標（ｋ，ｌ）の画素値としてＲＡＭに書き込み、Ｋ行Ｌ列の距離画像データを完成させる。尚、図９は、結合機能が無効にされているときの距離画像データの生成方法を示した説明図である。

そして、全画素セット２５についての画素値の書き込みが完了し、Ｋ行Ｌ列の距離画像データが完成した場合には（Ｓ１６０でＹｅｓ）、Ｓ２５０に移行し、この距離画像データを、インタフェース部７０を通じて出力する。即ち、この距離画像データをデータ処理装置８０に提供する。その後、制御部６０は、当該画像データ生成出力処理を一旦終了する。また、信号生成部４０における信号出力動作の周期に合わせて、再び、当該画像データ生成出力処理をＳ１１０から実行し、繰返し、画像データを生成・出力する。

一方、Ｓ１７０に移行すると、制御部６０は、画素アレイ２３が有するＫ行Ｌ列の画素セット２５を区画化してなる２行２列の画素セット２５の集合、即ち、合計４個の画素セット２５の集合を、大画素セットとして取り扱って、大画素セットを、一つ処理対象に選択する。換言すると、制御部６０は、座標（２ｕ−１，２ｖ−１）の画素セット２５、座標（２ｕ−１，２ｖ）の画素セット２５、座標（２ｕ，２ｖ）の画素セット２５、及び、座標（２ｕ，２ｖ−１）の画素セット２５の集合を、大画素セットとして取り扱い、大画素セットを、一つ処理対象の選択する（但し、ｕ＝１，２，…，Ｋ／２、ｖ＝１，２，…，Ｌ／２である。）
また、Ｓ１７０での処理を終えると、制御部６０は、選択した処理対象の大画素セットを構成する各画素セット２５の第１の画素生成ユニット２７の出力値Ｖ１を、出力データ記憶部３０から読み出し、図１０に示すように、大画素セットを構成する各画素セット２５の第１の画素生成ユニット２７の出力値Ｖ１を合計して、積算値Ｓ１を算出する（Ｓ１８０）。尚、図１０は、結合機能が有効にされているときの距離画像データの生成方法を示した説明図である。

同様に、Ｓ１８０の処理実行後のＳ１９０では、処理対象の大画素セットを構成する各画素セット２５の第２の画素生成ユニット２７の出力値Ｖ２を読み出し、読み出した各画素生成ユニット２７の出力値Ｖ２を合計して、積算値Ｓ２を算出する。

この他、Ｓ１９０の処理実行後のＳ２００では、処理対象の大画素セットを構成する各画素セット２５の第３の画素生成ユニット２７の出力値Ｖ３を読み出し、読み出した各画素生成ユニット２７の出力値Ｖ３を合計して、積算値Ｓ３を算出する。

また、Ｓ２００の処理実行後のＳ２１０では、処理対象の大画素セットを構成する各画素セット２５の第４の画素生成ユニット２７の出力値Ｖ４を読み出し、読み出した各画素生成ユニット２７の出力値Ｖ４を合計して、積算値Ｓ４を算出する。

その後、制御部６０は、これらの積算値Ｓ１，Ｓ２，Ｓ３，Ｓ４に基づいて、当該大画素セットに入射された発射光に対する反射光の位相差Φを次式
Φ＝ａｒｃｔａｎ｛（Ｓ２−Ｓ４）／（Ｓ１−Ｓ３）｝ …（９）
従って算出する。そして、、この位相差Φに基づき、被写体５までの距離Ｄを式（７）に従って算出する（Ｓ２２０）。

また、Ｓ２２０で上述のようにして距離Ｄを算出すると、制御部６０は、Ｓ２３０に移行し、算出した距離Ｄを、画素の濃淡を表す値に変換すると共に、この変換後の濃淡値を、距離Ｄを算出する元となった上記処理対象の大画素セットに対応した座標の画素値として、ＲＡＭの距離画像データ生成領域に書き込む。

即ち、制御部６０は、距離Ｄを算出する元となった大画素セットが、座標（２ｕ−１，２ｖ−１）の画素セット２５、座標（２ｕ−１，２ｖ）の画素セット２５、座標（２ｕ，２ｖ）の画素セット２５、及び、座標（２ｕ，２ｖ−１）の画素セット２５の集合である場合、上記変換後の濃淡値を、座標（ｕ，ｖ）の画素値として、ＲＡＭに書き込む。

また、このようにして、Ｓ２３０での処理を終えると、制御部６０は、全大画素セットについて、距離Ｄを算出し、距離Ｄに応じた画素値を書き込んだか否かを判断し（Ｓ２４０）、全大画素セットについて画素値の書き込みが完了していない場合には（Ｓ２４０でＮｏ）、Ｓ１７０に移行して、画素値の書き込みが未完了の大画素セットを一つ、処理対象に選択する。そして、選択した処理対象の大画素セットに関して、Ｓ１８０〜Ｓ２３０の処理を実行する。その後、再び、Ｓ２４０に移行して、全大画素セットについて画素値の書き込みが完了したか否かを判断する。

このような動作を繰返し実行することにより、制御部６０は、図１０に示すように、ｕ＝１，２，…，Ｋ／２、ｖ＝１，２，…，Ｌ／２の範囲で、座標（２ｕ−１，２ｖ−１）、座標（２ｕ−１，２ｖ）、座標（２ｕ，２ｖ）、及び、座標（２ｕ，２ｖ−１）の画素セット２５の集合の出力値から距離Ｄを算出し、この距離Ｄに対応する濃淡値を、座標（ｕ，ｖ）の画素値としてＲＡＭに書き込み、（Ｋ／２）行（Ｌ／２）列の距離画像データを完成させる。

そして、全大画素セットについての画素値の書き込みが完了し、（Ｋ／２）行（Ｌ／２）列の距離画像データが完成した場合には（Ｓ２４０でＹｅｓ）、Ｓ２５０に移行し、この距離画像データを、インタフェース部７０を通じて出力し、これをデータ処理装置８０に提供する。その後、当該画像データ生成出力処理を一旦終了する。また、信号生成部４０における信号出力動作の周期に合わせて、再び、当該画像データ生成出力処理をＳ１１０から実行し、繰返し、画像データを生成・出力する。

要するに、本実施例の制御部６０は、動作モードが通常画像モードに設定されている場合、信号生成部４０の信号出力動作に合わせて、繰返し、当該信号出力動作により出力データ記憶部３０に記憶された出力データに基づき、平面画像データを生成・出力する。また、制御部６０は、動作モードが距離画像モードに設定されている場合であって結合機能が無効に設定されている場合、信号生成部４０の信号出力動作に合わせて、繰返し、当該信号生成部４０の動作により出力データ記憶部３０に記憶された出力データに基づき、標準解像度の距離画像データを生成・出力する。また、制御部６０は、動作モードが距離画像モードに設定されている場合であって結合機能が有効に設定されている場合、信号生成部４０の信号出力動作に合わせて、繰返し、当該信号生成部４０の動作により出力データ記憶部３０に記憶された出力データに基づき、低解像度の距離画像データを生成・出力する。

以上が、第一実施例の画像データ生成装置１の動作内容であるが、本実施例では、画素生成ユニット２７毎に、画素生成ユニット２７の出力値から一画素分の画素値を求めて、平面画像データを生成する一方で、距離画像データの生成時には、複数個の画素生成ユニット２７の組毎に、組に属する各画素生成ユニット２７の出力値から距離を求め、一画素分の画素値を算出し、距離画像データを生成するようにした。即ち、本実施例では、画素生成ユニット２７の複数個で被写体までの距離を求めるようにして、画素生成ユニット２７を、一つの光電変換素子に対してフローティングディフュージョンを一つのみ備える構成にした。

このような手法で、距離画像データを生成するように、画像データ生成装置１を構成すれば、画素生成ユニット２７の回路構成を簡素化することができ、光電変換素子ＰＤを狭いピッチで配列して画素アレイ２３を構成することができる。従って、本実施例によれば、一つの光電変換素子ＰＤに対して複数のフローティングディフュージョンＦＤを備える従来装置よりも、平面画像データを高解像度に生成することができる。

換言すると、平面画像データも生成可能な従来の距離画像データ生成装置では、共通の画素アレイ２３を用いる場合、距離画像データと同等の解像度の平面画像データしか生成することができなかったが、本実施例によれば、距離画像データよりも高解像度の平面画像データを、共通の画素アレイ２３を用いて、生成することができる。

また、本実施例では、距離算出に用いる画素生成ユニット２７の組を切り替えて、距離画像データの解像度を、外部からの指令に従って、切り替えるように、画像データ生成装置１を構成した。従って、本実施例によれば、好適な解像度の距離画像データを、外部のデータ処理装置８０に提供することができる。

また、本実施例では、低解像度の距離画像データを生成する際にも、標準解像度の距離画像データを生成する際と基本的には同手法で、距離Ｄを算出するようにした。従って、本実施例よれば、解像度の切替によらず、性質の類似した距離画像データを、外部のデータ処理装置８０に提供することができる。

この他、本実施例では、各画素セット２５の第ｉの画素生成ユニット２７に共通した信号線Ｌ＿ＤＧ［ｉ］，Ｌ＿ＴＧ［ｉ］を光電センサ２１内に設けると共に、各画素生成ユニット２７共通の信号線Ｌ＿Ｒを設けることで、各画素セット２５を、共通の指令信号ＲＳＴ，ＤＧ［１］〜ＤＧ［４］，ＴＧ［１］〜ＴＧ［４］で、同時に制御できるようにした。従って、本実施例によれば、簡単な信号入力で、各画素セット２５を同時動作させて、同時間の出力値を各画素セット２５から得ることができ、画素間で時間的なずれのない好適な距離画像データを生成することができる。

尚、本発明の距離画像データ生成手段は、本実施例において、信号生成部４０が有する距離画像生成用信号出力部４１の信号出力動作と、制御部６０が実行するＳ１２０〜Ｓ２５０の処理と、により実現され、平面画像データ生成手段は、信号生成部４０が有する通常画像生成用信号出力部４５の信号出力動作と、制御部６０が実行するＳ１１５の処理と、により実現されている。また、作動制御手段の動作は、制御部６０のモード切替機能６０ｂにて実現されている。

続いて、第二実施例の画像データ生成装置１の構成について、図１１〜図１３を用いて説明する。尚、図１１は、第二実施例において、制御部６０が実行する画像データ生成出力処理の一部を抜粋して示したフローチャートである。

第二実施例の画像データ生成装置１は、制御部６０が実行する画像データ生成出力処理の一部内容が、上述した第一実施例と異なる程度であり、その他の構成は、第一実施例の画像データ生成装置１と基本的に同一である。従って、以下では、第二実施例の説明として、第一実施例とは異なる第二実施例の画像データ生成装置１の構成を、説明するに留める。

制御部６０は、画像データ生成出力処理を開始して、Ｓ１２０に移行すると、画像データ生成出力処理のオプション機能として、結合機能が有効に設定されているか否かを判断し、結合機能が有効に設定されていると判断すると（Ｓ１２０でＹｅｓ）、Ｓ１７０に移行し、結合機能が無効に設定されていると判断すると（Ｓ１２０でＮｏ）、Ｓ３１０に移行する。

Ｓ３１０に移行すると、制御部６０は、画素アレイ２３を構成する画素セット２５の一つを処理対象に選択し、選択した処理対象の画素セット２５を構成する第１の画素生成ユニット２７の出力値Ｖ１、第２の画素生成ユニット２７の出力値Ｖ２、第３の画素生成ユニット２７の出力値Ｖ３、及び第４の画素生成ユニット２７の出力値Ｖ４を、出力データ記憶部３０から読み出し、これらの出力値Ｖ１，Ｖ２，Ｖ３，Ｖ４に基づき、当該画素セット２５に入射された発射光に対する反射光の位相差Φを、式（６）に従って算出する。また、この位相差Φに基づいて、被写体５までの距離Ｄを、式（７）に従って算出する（Ｓ３２０）。また、Ｓ３２０では、算出した距離Ｄを、距離Ｄ０として設定し、ＲＡＭに一時記憶する。

この後、制御部６０は、Ｓ３３０に移行して、画像データ生成出力処理のオプション機能として、第一平滑化機能又は第二平滑化機能が有効に設定されているか否かを判断し、第一平滑化機能又は第二平滑化機能が有効に設定されていると判断すると（Ｓ３３０でＹｅｓ）、Ｓ３５０に移行する。一方、第一平滑化機能及び第二平滑化機能のいずれもが無効に設定されていると判断すると（Ｓ３３０でＮｏ）、Ｓ３４０に移行する。尚、本実施例において、第一平滑化機能及び第二平滑化機能の有効／無効は、モード切替指令の入力時に指令元の装置から指定されるものとする。

Ｓ３４０に移行すると、制御部６０は、ＲＡＭに一時記憶した距離Ｄ０を、画素の濃淡を表す濃淡値に変換すると共に、この濃淡値を、距離Ｄ０を算出する元となった上記処理対象の画素セット２５に対応した座標の画素値として、ＲＡＭの距離画像データ生成領域に書き込む。即ち、制御部６０は、距離Ｄ０を算出する元となった処理対象の画素セット２５が、座標（ｋ，ｌ）の画素セット２５である場合、上記変換後の濃淡値を、座標（ｋ，ｌ）の画素値として、ＲＡＭの距離画像データ生成領域に書き込む。また、この処理を終えると、Ｓ３７０に移行する。

一方、第一平滑化機能又は第二平滑化機能が有効に設定されており、Ｓ３５０に移行すると、制御部６０は、図１２に示す平滑化処理を実行する。尚、図１２は、制御部６０が実行する平滑化処理を表すフローチャートである。

Ｓ３５０において平滑化処理を開始すると、制御部６０は、まず、Ｓ４１０にて、ａ＝２×ｋ−１，ｂ＝２×ｌ−１に設定する。尚、ここでいうｋ，ｌは、Ｓ３１０で選択した処理対象の画素セット２５の座標（ｋ，ｌ）である。また、以下では、第ｋ行第ｌ列の画素セット２５における第ｍ行第ｎ列の画素生成ユニット２７の位置座標を（ｘ，ｙ）＝（２×（ｋ−１）＋ｍ，２×（ｌ−１）＋ｎ）として、座標（ｘ，ｙ）を設定し、第ｋ行第ｌ列の画素セット２５における第ｍ行第ｎ列の画素生成ユニット２７のことを、座標（２×（ｋ−１）＋ｍ，２×（ｌ−１）＋ｎ）の画素生成ユニット２７と表現することにする。

また、Ｓ４１０での処理を終えて、Ｓ４２０に移行すると、制御部６０は、座標（ａ，ｂ）の画素生成ユニット２７の出力値Ｖ１、座標（ａ，ｂ−１）の画素生成ユニット２７の出力値Ｖ２、座標（ａ＋１，ｂ−１）の画素生成ユニット２７の出力値Ｖ３、座標（ａ＋１，ｂ）の画素生成ユニット２７の出力値Ｖ４を、式（６）及び式（７）に代入して、距離Ｄを算出し、算出した距離Ｄを、距離Ｄ１として設定し、ＲＡＭに一時記憶する。即ち、距離Ｄ０に対して、図１３に示す関係を有する距離Ｄ１を、ＲＡＭに一時記憶する。尚、図１３は、距離Ｄ０と平滑化処理において設定される距離Ｄ１〜Ｄ８との関係を表す説明図である。図１３に示す各ブロックは、画素生成ユニット２７に対応し、ブロック内の符号ｉ＝１，２，３，４は、そのブロックが、第ｉの画素生成ユニット２７であることを示す。

また、このようにして、Ｓ４２０の処理を終えると、制御部６０は、Ｓ４３０に移行し、座標（ａ，ｂ）の画素生成ユニット２７の出力値Ｖ１、座標（ａ，ｂ＋１）の画素生成ユニット２７の出力値Ｖ２、座標（ａ−１，ｂ＋１）の画素生成ユニット２７の出力値Ｖ３、座標（ａ−１，ｂ）の画素生成ユニット２７の出力値Ｖ４を、式（６）及び式（７）に代入して、距離Ｄを算出し、算出した距離Ｄを、距離Ｄ２として設定し、ＲＡＭに一時記憶する。

また、Ｓ４３０の処理後には、Ｓ４４０に移行し、座標（ａ，ｂ＋２）の画素生成ユニット２７の出力値Ｖ１、座標（ａ，ｂ＋１）の画素生成ユニット２７の出力値Ｖ２、座標（ａ＋１，ｂ＋１）の画素生成ユニット２７の出力値Ｖ３、座標（ａ＋１，ｂ＋２）の画素生成ユニット２７の出力値Ｖ４を、式（６）及び式（７）に代入して、距離Ｄを算出し、算出した距離Ｄを、距離Ｄ３として設定し、ＲＡＭに一時記憶する。

そして、Ｓ４４０の処理後には、Ｓ４５０に移行し、座標（ａ＋２，ｂ）の画素生成ユニット２７の出力値Ｖ１、座標（ａ＋２，ｂ＋１）の画素生成ユニット２７の出力値Ｖ２、座標（ａ＋１，ｂ＋１）の画素生成ユニット２７の出力値Ｖ３、座標（ａ＋１，ｂ）の画素生成ユニット２７の出力値Ｖ４を、式（６）及び式（７）に代入して、距離Ｄを算出し、算出した距離Ｄを、距離Ｄ４として設定し、ＲＡＭに一時記憶する。

また、このようにして、Ｓ４５０の処理を終えると、制御部６０は、Ｓ４６０に移行し、第二平滑化機能が有効に設定されているか否かを判断する。そして、第二平滑化機能が有効に設定されていると判断すると（Ｓ４６０でＹｅｓ）、Ｓ４８０に移行し、第二平滑化機能が無効に設定されていると判断すると（Ｓ４６０でＮｏ）、Ｓ４７０に移行する。

また、Ｓ４７０では、ＲＡＭに一時記憶されている距離Ｄ０，Ｄ１，Ｄ２，Ｄ３，Ｄ４の平均値Ｄａｖｇを算出する。その後、当該平滑化処理を終了して、Ｓ３６０に移行する。

一方、Ｓ４８０に移行すると、制御部６０は、座標（ａ，ｂ）の画素生成ユニット２７の出力値Ｖ１、座標（ａ，ｂ−１）の画素生成ユニット２７の出力値Ｖ２、座標（ａ−１，ｂ−１）の画素生成ユニット２７の出力値Ｖ３、座標（ａ−１，ｂ）の画素生成ユニット２７の出力値Ｖ４を、式（６）及び式（７）に代入して、距離Ｄを算出し、算出した距離Ｄを、距離Ｄ５として設定し、ＲＡＭに一時記憶する。

また、このようにして、Ｓ４８０の処理を終えると、制御部６０は、Ｓ４９０に移行し、座標（ａ，ｂ＋２）の画素生成ユニット２７の出力値Ｖ１、座標（ａ，ｂ＋１）の画素生成ユニット２７の出力値Ｖ２、座標（ａ−１，ｂ＋１）の画素生成ユニット２７の出力値Ｖ３、座標（ａ−１，ｂ＋２）の画素生成ユニット２７の出力値Ｖ４を、式（６）及び式（７）に代入して、距離Ｄを算出し、算出した距離Ｄを、距離Ｄ６として設定し、ＲＡＭに一時記憶する。

そして、Ｓ４９０の処理後には、Ｓ５００に移行し、座標（ａ＋２，ｂ＋２）の画素生成ユニット２７の出力値Ｖ１、座標（ａ＋２，ｂ＋１）の画素生成ユニット２７の出力値Ｖ２、座標（ａ＋１，ｂ＋１）の画素生成ユニット２７の出力値Ｖ３、座標（ａ＋１，ｂ＋２）の画素生成ユニット２７の出力値Ｖ４を、式（６）及び式（７）に代入して、距離Ｄを算出し、算出した距離Ｄを、距離Ｄ７として設定し、ＲＡＭに一時記憶する。

また、Ｓ５００の処理後には、Ｓ５１０に移行し、座標（ａ＋２，ｂ）の画素生成ユニット２７の出力値Ｖ１、座標（ａ＋２，ｂ−１）の画素生成ユニット２７の出力値Ｖ２、座標（ａ＋１，ｂ−１）の画素生成ユニット２７の出力値Ｖ３、座標（ａ＋１，ｂ）の画素生成ユニット２７の出力値Ｖ４を、式（６）及び式（７）に代入して、距離Ｄを算出し、算出した距離Ｄを、距離Ｄ８として設定し、ＲＡＭに一時記憶する。

また、Ｓ５１０の処理を終えると、制御部６０は、ＲＡＭに一時記憶されている距離Ｄ０，Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６，Ｄ７，Ｄ８の平均値Ｄａｖｇを算出し（Ｓ５２０）、その後、当該平滑化処理を終了して、Ｓ３６０に移行する。

Ｓ３６０に移行すると、制御部６０は、上記平滑化処理にて算出した距離Ｄａｖｇを、画素の濃淡を表す濃淡値に変換すると共に、この濃淡値を、距離Ｄ０を算出する元となった上記処理対象の画素セット２５に対応した座標の画素値として、ＲＡＭの距離画像データ生成領域に書き込む。即ち、制御部６０は、距離Ｄ０を算出する元となった処理対象の画素セット２５が、座標（ｋ，ｌ）の画素セット２５である場合、上記変換後の濃淡値を、座標（ｋ，ｌ）の画素値として、ＲＡＭの距離画像データ生成領域に書き込む。

また、この処理を終えると、制御部６０は、Ｓ３７０に移行し、画素アレイ２３が有する全画素セット２５について、画素値の書き込みが完了したか否かを判断し、全画素セット２５について画素値の書き込みが完了していない場合には（Ｓ３７０でＮｏ）、Ｓ３１０に移行して、画素値の書き込みが未完了の画素セット２５を一つ、処理対象に選択する。そして、選択した処理対象の画素セット２５に関して、Ｓ３２０〜Ｓ３６０の処理を実行する。その後、再び、Ｓ３７０に移行して、全画素セット２５について画素値の書き込みが完了したか否かを判断する。

制御部６０は、このような動作を繰返し実行することにより、第一平滑化機能及び第二平滑化機能が無効に設定されている場合、第一実施例と同様にしてＫ行Ｌ列の距離画像データを完成させる。また、第一平滑化機能又は第二平滑化機能が有効に設定されている場合、ｋ＝１，２，…，Ｋ、ｌ＝１，２，…，Ｌの範囲で、座標（ｋ，ｌ）の画素セット２５の出力値、及び、この画素セット２５の周囲領域の画素生成ユニット２７の出力値から距離Ｄａｖｇを算出し、この距離Ｄａｖｇに対応する濃淡値を、座標（ｋ，ｌ）の画素値としてＲＡＭに書き込み、Ｋ行Ｌ列の距離画像データを完成させる。

そして、全画素セット２５について画素値の書き込みが完了し、Ｋ行Ｌ列の距離画像データが完成した場合には（Ｓ３７０でＹｅｓ）、Ｓ２５０に移行し、この距離画像データを、インタフェース部７０を通じて出力し、この距離画像データをデータ処理装置８０に提供する。その後、当該画像データ生成出力処理を一旦終了する。

以上、第二実施例の画像データ生成装置１について説明したが、この画像データ生成装置１では、距離画像データ生成時に、各画素セット２５から得られる距離Ｄ０を、その周囲領域の画素生成ユニット２７から得られた距離の値Ｄ１〜Ｄ８により補正して、画素値を得る。従って、本実施例によれば、ノイズによる影響の少ない綺麗な距離画像データを生成することができる。

続いて、第三実施例の画像データ生成装置１の構成について、図１４を用いて説明する。尚、図１４は、第三実施例における距離画像生成用信号出力部４１が出力する発光信号ＦＬ及び指令信号ＲＳＴ，ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］，ＲＧのパターンを表すタイムチャートである。

第三実施例の画像データ生成装置１は、距離画像生成用信号出力部４１が出力する信号のパターンが異なること、及び、Ｓ１４０，Ｓ２２０での距離Ｄの算出方法が異なることが除けば、第一実施例の画像データ生成装置１と基本的に同一構成である。従って、以下では、第三実施例の説明として、第一実施例とは異なる画像データ生成装置１の構成を、説明するに留める。

本実施例における距離画像生成用信号出力部４１は、起動して、信号出力動作を開始すると、最初に、リセット指令信号ＲＳＴ及び電荷排出指令信号ＤＧ［１］〜ＤＧ［４］をアクティブレベルにし、それ以外の指令信号ＴＧ［１］〜ＴＧ［４］，ＲＧを非アクティブレベルにする。そして、これらの状態の各指令信号ＲＳＴ，ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］，ＲＧを、光電センサ２１に入力する。これによって、距離画像生成用信号出力部４１は、光電センサ２１を構成する各画素生成ユニット２７の電荷排出トランジスタＴｒ１及びリセットトランジスタＴｒ５をオンする。

また、これと同時に、上記発光信号ＦＬとして、周期Ｔｃのサイン波の発光部１０への入力を開始する。尚、このようなサイン波が発光部１０の駆動回路に入力されると、これに合わせて発光ダイオードからは、周期Ｔｃのサイン波で振幅変調されたサイン変調光が、発射される。尚、距離画像生成用信号出力部４１は、距離画像データを１つ生成するために必要な１回分の信号出力動作として、複数周期（本実施例では３周期）分のサイン波を、発光部１０に入力する構成にされている。

また、距離画像生成用信号出力部４１は、このようにして、発光部１０及び受光部２０の駆動を開始すると、その後の所定時刻ｔ２１にて、リセット指令信号ＲＳＴを非アクティブレベルに切り替える。

その他、距離画像生成用信号出力部４１は、時刻ｔ２１の経過後であって、サイン変調光の位相が初期位相ゼロとなる時刻ｔ２３より時間Δｔ手前の時刻ｔ２２で、電荷排出指令信号ＤＧ［１］を非アクティブレベルに切り替え、電荷転送指令信号ＴＧ［１］をアクティブレベルに切り替える。また、時刻ｔ２３から時間Δｔ経過後の時刻ｔ２４にて、電荷排出指令信号ＤＧ［１］をアクティブレベルに切り替え、電荷転送指令信号ＴＧ［１］を非アクティブレベルに切り替える。

このようにして、距離画像生成用信号出力部４１は、画素アレイ２３を構成する各画素セット２５の第１の画素生成ユニット２７に、発光部１０から発射されるサイン変調光が位相ゼロとなる時点を中心とする微小時間２×Δｔ内に光電変換素子ＰＤ［１］で生成された電荷をフローティングディフュージョンＦＤ［１］に蓄積させる。

また、距離画像生成用信号出力部４１は、時刻ｔ２４の経過後であって、時刻ｔ２３から位相π／２遅れた時点（時刻ｔ２６）より時間Δｔ手前の時刻ｔ２５で、電荷排出指令信号ＤＧ［２］を非アクティブレベルに切り替え、電荷転送指令信号ＴＧ［２］をアクティブレベルに切り替える。また、時刻ｔ２６から時間Δｔ経過後の時刻ｔ２７にて、電荷排出指令信号ＤＧ［２］をアクティブレベルに切り替え、電荷転送指令信号ＴＧ［２］を非アクティブレベルに切り替える。

このようにして、距離画像生成用信号出力部４１は、画素アレイ２３を構成する各画素セット２５の第２の画素生成ユニット２７に、発光部１０から発射されるサイン変調光が位相π／２となる時点を中心とする微小時間２×Δｔ内に光電変換素子ＰＤ［２］で生成された電荷をフローティングディフュージョンＦＤ［２］に蓄積させる。

また、距離画像生成用信号出力部４１は、時刻ｔ２７の経過後であって、時刻ｔ２３から位相π遅れた時点（時刻ｔ２９）より時間Δｔ手前の時刻ｔ２８で、電荷排出指令信号ＤＧ［３］を非アクティブレベルに切り替え、電荷転送指令信号ＴＧ［３］をアクティブレベルに切り替える。また、時刻ｔ２９から時間Δｔ経過後の時刻ｔ３０にて、電荷排出指令信号ＤＧ［３］をアクティブレベルに切り替え、電荷転送指令信号ＴＧ［３］を非アクティブレベルに切り替える。

このようにして、距離画像生成用信号出力部４１は、画素アレイ２３を構成する各画素セット２５の第３の画素生成ユニット２７に、発光部１０から発射されるサイン変調光が位相πとなる時点を中心とする微小時間２×Δｔ内に光電変換素子ＰＤ［３］で生成された電荷をフローティングディフュージョンＦＤ［３］に蓄積させる。

また、距離画像生成用信号出力部４１は、時刻ｔ３０の経過後であって、時刻ｔ２３から位相３π／２遅れた時点（時刻ｔ３２）より時間Δｔ手前の時刻ｔ３１で、電荷排出指令信号ＤＧ［４］を非アクティブレベルに切り替え、電荷転送指令信号ＴＧ［４］をアクティブレベルに切り替える。また、時刻ｔ３２から時間Δｔ経過後の時刻ｔ３３にて、電荷排出指令信号ＤＧ［４］をアクティブレベルに切り替え、電荷転送指令信号ＴＧ［４］を非アクティブレベルに切り替える。

このようにして、距離画像生成用信号出力部４１は、画素アレイ２３を構成する各画素セット２５の第４の画素生成ユニット２７に、発光部１０から発射されるサイン変調光が位相３π／２となる時点を中心とする微小時間２×Δｔ内に光電変換素子ＰＤ［４］で生成された電荷をフローティングディフュージョンＦＤ［４］に蓄積させる。

距離画像生成用信号出力部４１は、このようなパターンの信号出力を、サイン変調光の周期に合わせ繰返し実行することにより、サイン変調光が位相ゼロとなる基準時点を中心とする微小時間２×Δｔ内に光電変換素子ＰＤ［１］で生成された電荷をフローティングディフュージョンＦＤ［１］に蓄積させ、上記基準時点から位相π／２遅れた時点を中心とする微小時間２×Δｔ内に光電変換素子ＰＤ［２］で生成された電荷をフローティングディフュージョンＦＤ［２］に蓄積させ、上記基準時点から位相π遅れた時点を中心とする微小時間２×Δｔ内に光電変換素子ＰＤ［３］で生成された電荷をフローティングディフュージョンＦＤ［３］に蓄積させ、上記基準時点から位相３π／２遅れた時点を中心とする微小時間ＰＤ［４］内に光電変換素子ＰＤ［４］で生成された電荷をフローティングディフュージョンＦＤ［４］に蓄積させる。

また、距離画像生成用信号出力部４１は、このようにして１回分のサイン変調光の発射が終了すると、各画素生成ユニット２７に対して順にアクティブレベルの指令信号ＲＧを入力して、フローティングディフュージョンＦＤに蓄積された電荷に対応する値を、画素生成ユニット２７に出力させ、書込処理部２９に、この出力値を、出力データ記憶部３０に書き込ませる。

以上が、距離画像生成用信号出力部４１が行う１回分の信号出力動作の内容である。尚、図１４に示す信号を入力して、発光部１０からサイン変調光を発生させ、各画素生成ユニット２７に、この反射光を受光させる場合には、第１の画素生成ユニット２７の出力値Ｖ１、第２の画素生成ユニット２７の出力値Ｖ２、第３の画素生成ユニット２７の出力値Ｖ３、及び、第４の画素生成ユニット２７の出力値Ｖ４として、発射光に対する反射光の位相差Φと次の関係を有する出力値Ｖ１，Ｖ２，Ｖ３，Ｖ４が得られる。

Ｖ１∝−ＡｓｉｎΦ＋Ｂ
Ｖ２∝ＡｃｏｓΦ＋Ｂ
Ｖ３∝ＡｓｉｎΦ＋Ｂ
Ｖ４∝−ＡｃｏｓΦ＋Ｂ …（１０）
尚、定数Ａは、反射して戻ってきたサイン変調光の振幅で定まる値であり、定数Ｂは、背景光成分である。従って、本実施例によれば、次式に従って、位相差Φ及び距離Ｄを算出することができる。

Φ＝ａｒｃｔａｎ｛（Ｖ３−Ｖ１）／（Ｖ２−Ｖ４）｝ …（１１）
Ｄ＝ｃ×（Ｔｃ／２）×Φ／（２π） …（１２）
即ち、本実施例における画像データ生成装置１の制御部６０は、画像データ生成出力処理のＳ１４０にて、第１の画素生成ユニット２７の出力値Ｖ１、第２の画素生成ユニット２７の出力値Ｖ２、第３の画素生成ユニット２７の出力値Ｖ３、及び第４の画素生成ユニット２７の出力値Ｖ４に基づき、式（１１）及び式（１２）に従って、距離Ｄを算出する。そして、この距離Ｄに基づいて、距離画像データを生成する。

また、制御部６０は、画像データ生成出力処理のＳ２２０において、Ｓ１８０〜Ｓ２１０で算出した積算値Ｓ１，Ｓ２，Ｓ３，Ｓ４に基づき、次式
Φ＝ａｒｃｔａｎ｛（Ｓ３−Ｓ１）／（Ｓ２−Ｓ４）｝ …（１３）
に従って、位相差Φを算出し、この算出した位相差Φに基づいて、式（１２）に従い、距離Ｄを算出する。そして、この距離Ｄに基づいて、距離画像データを生成する。

以上が、第三実施例の画像データ生成装置１の動作内容である。本実施例の画像データ生成装置１によれば、距離画像データ生成時に、サイン変調光を発射して被写体５までの距離Ｄを算出するので、パルス光を発射する場合のように、立ち上がり時間や立ち下り時間の遅延による誤差が生じにくく、高精度に距離Ｄを算出することができる。また、パルス変調する第一実施例よりも発光強度が保たれるため、本実施例によれば、距離分解能を向上させることができる。

続いて、第四実施例の画像データ生成装置１００の構成について、図１５〜図１９を用いて説明する。図１５は、第四実施例の画像データ生成装置１００の構成を表すブロック図である。

第四実施例の画像データ生成装置１００は、信号生成部１４０が標準距離画像生成用信号出力部１４１及び分割距離画像生成用信号出力部１４３を備えること、及び、制御部６０が実行する画像データ生成出力処理の内容が異なることを除けば、第一実施例の画像データ生成装置１と基本的に同一である。従って、以下では、第四実施例の説明として、第一実施例とは異なる画像データ生成装置１００の構成を、説明するに留める。

図１５に示すように、本実施例の画像データ生成装置１００は、信号生成部１４０が、標準距離画像生成用信号出力部１４１及び分割距離画像生成用信号出力部１４３、並びに、通常画像生成用信号出力部４５を備える構成にされている。また、この構成に合わせて、当該画像データ生成装置１００は、インタフェース部７０を通じて、外部から、標準距離画像モードへの切替指令、及び、分割距離画像モードへの切替指令を受け付け可能な構成にされている。

即ち、本実施例の制御部６０は、当該画像データ生成装置１００の動作中、プログラムに従いモード切替処理を実行して、図１５に示すモード切替機能６０ｂを実現し、インタフェース部７０を通じて外部から標準距離画像モードへの切替指令が入力されると、標準距離画像モードへの切替指令を信号生成部１４０に入力すると共に、画像データ生成出力処理の動作モードとして、標準距離画像モードを設定する構成にされている。

また、制御部６０は、インタフェース部７０を通じて外部から分割距離画像モードへの切替指令が入力されると、分割距離画像モードへの切替指令を信号生成部１４０に入力すると共に、画像データ生成出力処理の動作モードとして、分割距離画像モードを設定する構成にされている。

この他、制御部６０は、インタフェース部７０を通じて外部から通常画像モードへの切替指令が入力されると、通常画像モードへの切替指令を信号生成部１４０に入力すると共に、画像データ生成出力処理の動作モードとして、通常画像モードを設定する構成にされている。

一方、信号生成部１４０は、制御部６０から標準距離画像モードへの切替指令が入力されると、標準距離画像生成用信号出力部１４１を選択的に起動し、分割距離画像生成用信号出力部１４３及び通常画像生成用信号出力部４５を休止する構成にされている。また、信号生成部１４０は、制御部６０から分割距離画像モードへの切替指令が入力されると、分割距離画像生成用信号出力部１４３を選択的に起動し、標準距離画像生成用信号出力部１４１及び通常画像生成用信号出力部４５を休止する構成にされている。この他、信号生成部１４０は、制御部６０から通常画像モードへの切替指令が入力された場合、通常画像生成用信号出力部４５を選択的に起動し、標準距離画像生成用信号出力部１４１及び分割距離画像生成用信号出力部１４３を休止する構成にされている。

また、標準距離画像生成用信号出力部１４１は、図１６に示すパターンの発光信号ＦＬ及び指令信号ＲＳＴ，ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］，ＲＧを出力して、発光信号ＦＬを発光部１０の駆動回路に入力し、指令信号ＲＳＴ，ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］，ＲＧを光電センサ２１に入力する構成にされている。尚、図１６は、標準距離画像生成用信号出力部１４１が出力する発光信号ＦＬ及び指令信号ＲＳＴ，ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］，ＲＧのパターンを表すタイムチャートである。

即ち、標準距離画像生成用信号出力部１４１は、起動して、信号出力動作を開始すると、最初に、リセット指令信号ＲＳＴ及び電荷排出指令信号ＤＧ［１］〜ＤＧ［４］をアクティブレベルにし、それ以外の指令信号ＴＧ［１］〜ＴＧ［４］，ＲＧを非アクティブレベルにして、これらの状態の各指令信号ＲＳＴ，ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］，ＲＧを、光電センサ２１に入力する。これにより、光電センサ２１を構成する各画素生成ユニット２７の電荷排出トランジスタＴｒ１及びリセットトランジスタＴｒ５をオンにし、光電変換素子ＰＤ及びフローティングディフュージョンＦＤを、初期状態にリセットする。

また、標準距離画像生成用信号出力部１４１は、リセット指令信号ＲＳＴをアクティブレベルに設定した後の所定時刻ｔ４１から、発光信号ＦＬとして、パルス幅Ｔｐ、周期（４×Ｔｐ＋α）のパルス信号の発光部１０への入力を開始する（但し、αは、設計者により定められる任意の正の値（ゼロを含む。）である）。尚、このようなパルス信号が発光部１０の駆動回路に入力されると、これに合わせて発光部１０からは、パルス幅Ｔｐのパルス光が、周期（４×Ｔｐ＋α）で発射される。尚、図１６には図示しないが、標準距離画像生成用信号出力部１４１は、距離画像データを１つ生成するために必要な１回分の信号出力動作として、複数周期分のパルス信号を、発光信号ＦＬとして発光部１０に入力する構成にされている。このため、１回分の信号出力動作で、パルス光の発射は、複数回行われる。

また、標準距離画像生成用信号出力部１４１は、複数回に渡るパルス光の発射動作の最初のパルス光の発射開始時（時刻ｔ４１）に、リセット指令信号ＲＳＴを非アクティブレベルに切り替える。そして、当該パルス光の発射開始時（時刻ｔ４１）には、電荷排出指令信号ＤＧ［１］を非アクティブレベルに切り替え、電荷転送指令信号ＴＧ［１］をアクティブレベルに切り替える。これにより、時刻ｔ４１では、各画素セット２５における第１の画素生成ユニット２７において、光電変換素子ＰＤ［１］にて生成される電荷のフローティングディフュージョンＦＤ［１］への蓄積動作が開始される。

また、標準距離画像生成用信号出力部１４１は、パルス光が発射された時点から、パルス幅Ｔｐ分の時間遅れて、時刻ｔ４２で、電荷転送指令信号ＴＧ［１］を非アクティブレベルに切り替え、電荷排出指令信号ＤＧ［１］をアクティブレベルに切り替えると共に、電荷転送指令信号ＴＧ［２］をアクティブレベルに切り替え、電荷排出指令信号ＤＧ［２］を非アクティブレベルに切り替える。

これにより、時刻ｔ４２では、光電変換素子ＰＤ［１］にて生成された電荷のフローティングディフュージョンＦＤ［１］への蓄積動作が、各画素セット２５の第１の画素生成ユニット２７において、終了し、光電変換素子ＰＤ［２］にて生成される電荷のフローティングディフュージョンＦＤ［２］への蓄積動作が、各画素セット２５の第２の画素生成ユニット２７において、開始される。

また、標準距離画像生成用信号出力部１４１は、パルス光が発射された時点から、時間２×Ｔｐ遅れた時刻ｔ４３で、電荷転送指令信号ＴＧ［２］を非アクティブレベルに切り替え、電荷排出指令信号ＤＧ［２］をアクティブレベルに切り替えると共に、電荷転送指令信号ＴＧ［３］をアクティブレベルに切り替え、電荷排出指令信号ＤＧ［３］を非アクティブレベルに切り替える。

これにより、時刻ｔ４３では、光電変換素子ＰＤ［２］にて生成された電荷のフローティングディフュージョンＦＤ［２］への蓄積動作が、各画素セット２５の第２の画素生成ユニット２７において、終了し、光電変換素子ＰＤ［３］にて生成される電荷のフローティングディフュージョンＦＤ［３］への蓄積動作が、各画素セット２５の第３の画素生成ユニット２７において、開始される。

また、標準距離画像生成用信号出力部１４１は、パルス光が発射された時点から、時間３×Ｔｐ遅れた時刻ｔ４４で、電荷転送指令信号ＴＧ［３］を非アクティブレベルに切り替え、電荷排出指令信号ＤＧ［３］をアクティブレベルに切り替えると共に、電荷転送指令信号ＴＧ［４］をアクティブレベルに切り替え、電荷排出指令信号ＤＧ［４］を非アクティブレベルに切り替える。

これにより、時刻ｔ４４では、光電変換素子ＰＤ［３］にて生成された電荷のフローティングディフュージョンＦＤ［３］への蓄積動作が、各画素セット２５の第３の画素生成ユニット２７において、終了し、光電変換素子ＰＤ［４］にて生成される電荷のフローティングディフュージョンＦＤ［４］への蓄積動作が、各画素セット２５の第４の画素生成ユニット２７において、開始される。

また、標準距離画像生成用信号出力部１４１は、パルス光が発射された時点から、時間４×Ｔｐ遅れた時刻ｔ４５で、電荷転送指令信号ＴＧ［４］を非アクティブレベルに切り替え、電荷排出指令信号ＤＧ［４］をアクティブレベルに切り替える。これにより、時刻ｔ４５では、光電変換素子ＰＤ［４］にて生成された電荷のフローティングディフュージョンＦＤ［４］への蓄積動作が、各画素セット２５の第４の画素生成ユニット２７において、終了する。

また、時刻ｔ４５から時間α経過すると、標準距離画像生成用信号出力部１４１は、発光信号ＦＬにより、発光部１０から次のパルス光を発射させ、このパルス光の発射と同時に、指令信号ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］を、上述した時刻ｔ４１〜時刻ｔ４５と同様のパターンで、光電センサ２１に入力する。

このようにして、標準距離画像生成用信号出力部１４１は、パルス光の発射毎に、その発射時点からパルス幅Ｔｐに対応する時間、フローティングディフュージョンＦＤ［１］に光電変換素子ＰＤ［１］が生成した電荷を蓄積させ、上記発射時点から時間Ｔｐ経過した時点からパルス幅Ｔｐに対応する時間、フローティングディフュージョンＦＤ［２］に光電変換素子ＰＤ［２］が生成した電荷を蓄積させる。

尚、図１６の二段目に示すように、発射光が被写体５に反射して戻ってくる光は、発射光に対して位相Φずれているので、このように、発光部１０及び受光部２０を制御すると、フローティングディフュージョンＦＤ［１］，ＦＤ［２］には、図１６に示す斜線の期間に入射された反射光の受光量に対応した電荷が蓄積される。

また、本実施例では、パルス光の発射毎に、その発射時点から時間２×Ｔｐ経過した時点からパルス幅Ｔｐに対応する時間、フローティングディフュージョンＦＤ［３］に光電変換素子ＰＤ［３］が生成した電荷を蓄積させ、上記発射時点から時間３×Ｔｐ経過した時点からパルス幅Ｔｐに対応する時間、フローティングディフュージョンＦＤ［４］に光電変換素子ＰＤ［４］が生成した電荷を蓄積させることにより、フローティングディフュージョンＦＤ［３］，ＦＤ［４］に、光電変換素子ＰＤ［３］，ＰＤ［４］が、時間Ｔｐの間に受光した背景光に対応した電荷を保持させる。

尚、本実施例では、距離Ｄの検出範囲を０≦Ｄ≦（ｃ×Ｔｐ／２）に設定し、対応する強度のパルス光を発光部１０に発射させているため、パルス光の発射時点から時間２×Ｔｐ経過した時点から次のパルス光が発射されるまでの期間は、パルス光が入射されない期間となる。

また、標準距離画像生成用信号出力部１４１は、所定回数のパルス光の発射が終了すると、各画素生成ユニット２７に対して順にアクティブレベルの指令信号ＲＧを入力して、フローティングディフュージョンＦＤに蓄積された電荷に対応する値を、画素生成ユニット２７に出力させ、書込処理部２９に、この出力値を、出力データ記憶部３０に書き込ませる。

以上が、標準距離画像生成用信号出力部１４１が行う１回分の信号出力動作の内容である。この信号出力動作は、信号生成部１４０の動作により、当該標準距離画像生成用信号出力部１４１が停止されるまで、繰返し、当該標準距離画像生成用信号出力部１４１で行われる。

一方、分割距離画像生成用信号出力部１４３は、図１７に示すパターンの発光信号ＦＬ及び指令信号ＲＳＴ，ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］，ＲＧを出力して、発光信号ＦＬを発光部１０の駆動回路に入力し、指令信号ＲＳＴ，ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］，ＲＧを光電センサ２１に入力する構成にされている。尚、図１７は、分割距離画像生成用信号出力部１４３が出力する発光信号ＦＬ及び指令信号ＲＳＴ，ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］，ＲＧのパターンを表すタイムチャートである。

即ち、分割距離画像生成用信号出力部１４３は、起動して、信号出力動作を開始すると、最初に、リセット指令信号ＲＳＴ及び電荷排出指令信号ＤＧ［１］〜ＤＧ［４］をアクティブレベルにし、それ以外の指令信号ＴＧ［１］〜ＴＧ［４］，ＲＧを非アクティブレベルにして、これらの状態の各指令信号ＲＳＴ，ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］，ＲＧを、光電センサ２１に入力する。これにより、光電センサ２１を構成する各画素生成ユニット２７の電荷排出トランジスタＴｒ１及びリセットトランジスタＴｒ５をオンにし、光電変換素子ＰＤ及びフローティングディフュージョンＦＤを、初期状態にリセットする。

また、分割距離画像生成用信号出力部１４３は、リセット指令信号ＲＳＴをアクティブレベルに設定した後の所定時刻ｔ５１から、発光信号ＦＬとして、パルス幅Ｔｐ、周期（２×Ｔｐ＋β）のパルス信号（矩形信号）の発光部１０への入力を開始する（但し、βは、設計者により定められる任意の正の値（ゼロを含む。）である）。

尚、このようなパルス信号が発光部１０の駆動回路に入力されると、これに合わせて発光部１０からは、パルス幅Ｔｐのパルス光が、周期（２×Ｔｐ＋β）で発射される。尚、図１７には図示しないが、分割距離画像生成用信号出力部１４３は、距離画像データを１つ生成するために必要な１回分の信号出力動作として、複数周期分のパルス信号を、発光信号ＦＬとして発光部１０に入力する。このため、１回分の信号出力動作で、パルス光の発射は、複数回行われる。

また、分割距離画像生成用信号出力部１４３は、複数回に渡るパルス光の発射動作の最初のパルス光の発射開始時（時刻ｔ５１）に、リセット指令信号ＲＳＴを非アクティブレベルに切り替えると共に、当該パルス光の発射に合わせて、電荷排出指令信号ＤＧ［１］，ＤＧ［３］を非アクティブレベルに切り替え、電荷転送指令信号ＴＧ［１］，ＴＧ［３］をアクティブレベルに切り替える。これにより、時刻ｔ５１では、光電変換素子ＰＤ［１］で生成される電荷のフローティングディフュージョンＦＤ［１］への蓄積動作が開始されると共に、光電変換素子ＰＤ［３］で生成される電荷のフローティングディフュージョンＦＤ［３］への蓄積動作が開始される。

また、分割距離画像生成用信号出力部１４３は、パルス光が発射された時点から、パルス幅Ｔｐ分の時間遅れた時刻ｔ５２で、電荷転送指令信号ＴＧ［１］，ＴＧ［３］を非アクティブレベルに切り替え、電荷排出指令信号ＤＧ［１］，ＤＧ［３］をアクティブレベルに切り替えると共に、電荷転送指令信号ＴＧ［２］，ＴＧ［４］をアクティブレベルに切り替え、電荷排出指令信号ＤＧ［２］，ＤＧ［４］を非アクティブレベルに切り替える。

これにより、時刻ｔ５２では、光電変換素子ＰＤ［１］にて生成された電荷のフローティングディフュージョンＦＤ［１］への蓄積動作が、各画素セット２５の第１の画素生成ユニット２７において、終了すると共に、光電変換素子ＰＤ［３］にて生成された電荷のフローティングディフュージョンＦＤ［３］への蓄積動作が、各画素セット２５の第３の画素生成ユニット２７において、終了する。

また、この時刻ｔ５２では、光電変換素子ＰＤ［２］にて生成される電荷のフローティングディフュージョンＦＤ［２］への蓄積動作が、各画素セット２５の第２の画素生成ユニット２７において、開始され、光電変換素子ＰＤ［４］にて生成される電荷のフローティングディフュージョンＦＤ［４］への蓄積動作が、各画素セット２５の第４の画素生成ユニット２７において、開始される。

また、分割距離画像生成用信号出力部１４３は、パルス光が発射された時点から時間２×Ｔｐ遅れた時刻ｔ５３で、電荷転送指令信号ＴＧ［２］，ＴＧ［４］を非アクティブレベルに切り替え、電荷排出指令信号ＤＧ［２］，ＤＧ［４］をアクティブレベルに切り替える。

これにより、時刻ｔ５３では、光電変換素子ＰＤ［２］にて生成された電荷のフローティングディフュージョンＦＤ［２］への蓄積動作が、各画素セット２５の第２の画素生成ユニット２７において、終了すると共に、光電変換素子ＰＤ［４］にて生成された電荷のフローティングディフュージョンＦＤ［４］への蓄積動作が、各画素セット２５の第４の画素生成ユニット２７において、終了する。

また、時刻ｔ５３から時間β経過すると、分割距離画像生成用信号出力部１４３は、発光信号ＦＬにより、発光部１０から次のパルス光を発射させ、このパルス光の発射と同時に、指令信号ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］を、上述した時刻ｔ５１〜時刻ｔ５３と同様のパターンで、光電センサ２１に入力する。

このようにして、分割距離画像生成用信号出力部１４３は、パルス光の発射毎に、その発射時点からパルス幅Ｔｐに対応する時間、フローティングディフュージョンＦＤ［１］，ＦＤ［３］に光電変換素子ＰＤ［１］，ＰＤ［３］が生成した電荷を蓄積させ、上記発射時点から時間Ｔｐ経過した時点からパルス幅Ｔｐに対応する時間、フローティングディフュージョンＦＤ［２］，ＦＤ［４］に光電変換素子ＰＤ［２］，ＰＤ［４］が生成した電荷を蓄積させる。

尚、このように、発光部１０及び受光部２０を制御すると、発射光が被写体５に反射して戻ってくる反射光は、発射光に対して位相Φずれているので、フローティングディフュージョンＦＤ［１］〜ＦＤ［４］には、図１７に示す斜線の期間に入射された反射光の受光量に対応した電荷が蓄積される。

また、分割距離画像生成用信号出力部１４３は、所定回数のパルス光の発射が終了すると、各画素生成ユニット２７に対して順にアクティブレベルの指令信号ＲＧを入力して、フローティングディフュージョンＦＤに蓄積された電荷に対応する値を、画素生成ユニット２７に出力させ、書込処理部２９に、この出力値を、出力データ記憶部３０に書き込ませる。

以上が、分割距離画像生成用信号出力部１４３が行う１回分の信号出力動作の内容である。この信号出力動作は、当該分割距離画像生成用信号出力部１４３が停止されるまで、繰返し、当該分割距離画像生成用信号出力部１４３で行われる。

この他、本実施例における通常画像生成用信号出力部４５は、第一実施例と同様、図７に示すパターンの指令信号ＲＳＴ，ＴＧ［１］〜ＴＧ［４］，ＤＧ［１］〜ＤＧ［４］，ＲＧを光電センサ２１に入力する構成にされている。

続いて、本実施例の画像データ生成装置１００において、制御部６０が実行する画像データ生成出力処理について、図１８を用いて説明する。図１８は、制御部６０が当該画像データ生成装置１００の動作中に繰返し実行する画像データ生成出力処理を表すフローチャートである。

制御部６０は、図１８に示す画像データ生成出力処理を開始すると、まず、動作モードが、標準距離画像モード又は分割距離画像モードに設定されているか否かを判断する（Ｓ６１０）。尚、動作モードの設定は、上述したように、モード切替機能６０ｂにより実現される。

制御部６０は、Ｓ６１０において、動作モードが標準距離画像モード又は分割距離画像モードに設定されていると判断すると（Ｓ６１０でＹｅｓ）、Ｓ６２０に移行し、動作モードが通常画像モードに設定されていると判断すると（Ｓ６１０でＮｏ）、Ｓ６１３に移行する。

また、Ｓ６１３に移行すると、制御部６０は、第一実施例のＳ１１５の処理と同様に、出力データ記憶部３０に記憶された出力データとしての各画素生成ユニット２７の出力値を読み出し、この出力値に応じた画素値を、画素生成ユニット２７に対応する座標の画素値として設定し、平面画像データを生成する。そして、この平面画像データを、インタフェース部７０を通じて出力し、データ処理装置８０に、この平面画像データを提供する。

また、このようにして、Ｓ６１３での処理を終えると、制御部６０は、Ｓ６１７に移行し、出力データ記憶部３０から読み出した出力データ、即ち、各画素生成ユニット２７の出力値の一群を、そのまま、ＲＡＭの背景光データ記憶領域に、一時記憶する。尚、この背景光データ記憶領域に記憶された各画素生成ユニット２７の出力値は、距離画像データの生成時に利用される。

この他、Ｓ６１７での処理を終えると、制御部６０は、当該画像データ生成出力処理を一旦終了し、信号生成部１４０における信号出力動作の周期に合わせて、再び、当該画像データ生成出力処理をＳ６１０から実行する。これにより、繰返し、画像データを生成・出力する。

一方、Ｓ６２０に移行すると、制御部６０は、当該画像データ生成出力処理の動作モードが分割距離画像モードであるか否かを判断し、動作モードが分割距離画像モードであると判断すると（Ｓ６２０でＹｅｓ）、Ｓ６７０に移行し、動作モードが標準距離画像モードであると判断すると（Ｓ６２０でＮｏ）、Ｓ６３０に移行する。

Ｓ６３０に移行すると、制御部６０は、画素アレイ２３を構成する画素セット２５の内の一つを処理対象に選択し、選択した処理対象の画素セット２５を構成する第１の画素生成ユニット２７の出力値Ｖ１、第２の画素生成ユニット２７の出力値Ｖ２、第３の画素生成ユニット２７の出力値Ｖ３、及び第４の画素生成ユニット２７の出力値Ｖ４を、出力データ記憶部３０から読み出し、これらの出力値Ｖ１，Ｖ２，Ｖ３，Ｖ４に基づいて、被写体５までの距離Ｄを次式に従って算出する（Ｓ６４０）。

Ｄ＝（１／２）×ｃ×Ｔｐ
×（Ｖ２−Ｖ３）／（Ｖ１＋Ｖ２−Ｖ３−Ｖ４） …（１４）
尚、図１９（ａ）は、標準距離画像モードでの距離Ｄの算出方法を示した説明図である。また、Ｓ６４０で上述のようにして距離Ｄを算出すると、制御部６０は、Ｓ６５０に移行し、第一実施例のＳ１５０の処理と同様に、上記算出した距離Ｄを、画素の濃淡を表す濃淡値に変換する。そして、この濃淡値を、距離Ｄを算出する元となった上記処理対象の画素セット２５に対応した座標の画素値として、ＲＡＭの距離画像データ生成領域に書き込む。

この他、Ｓ６５０での処理を終えると、制御部６０は、画素アレイ２３が有する全画素セット２５について、距離Ｄを算出し、距離Ｄに応じた画素値の書き込みが完了したか否かを判断し（Ｓ６６０）、全画素セット２５について画素値の書き込みが完了していないと判断した場合には（Ｓ６６０でＮｏ）、Ｓ６３０に移行して、画素値の書き込みが未完了の画素セット２５を一つ、処理対象に選択する。そして、選択した処理対象の画素セット２５に関して、Ｓ６４０，Ｓ６５０の処理を実行し、その後、再び、Ｓ６６０に移行して、全画素セット２５について画素値の書き込みが完了したか否かを判断する。

このような動作を繰返し実行することにより、制御部６０は、ｋ＝１，２，…，Ｋ、ｌ＝１，２，…，Ｌの範囲で、座標（ｋ，ｌ）の画素セット２５の出力値から距離Ｄを算出し、この距離Ｄに対応する濃淡値を、座標（ｋ，ｌ）の画素値としてＲＡＭに書き込み、Ｋ行Ｌ列の距離画像データを完成させる。

そして、全画素セット２５についての画素値の書き込みが完了し、Ｋ行Ｌ列の距離画像データが完成した場合には（Ｓ６６０でＹｅｓ）、Ｓ７３０に移行し、この距離画像データを、インタフェース部７０を通じて出力し、この距離画像データをデータ処理装置８０に提供する。その後、当該画像データ生成出力処理を一旦終了する。また、信号生成部１４０における信号出力動作の周期に合わせて、再び、当該画像データ生成出力処理をＳ６１０から実行し、繰返し、画像データを生成・出力する。

一方、Ｓ６７０に移行すると、制御部６０は、画素アレイ２３を構成する画素セット２５の内の一つを処理対象に選択し、選択した処理対象の画素セット２５を構成する第１の画素生成ユニット２７の出力値Ｖ１、第２の画素生成ユニット２７の出力値Ｖ２を、出力データ記憶部３０から読み出し、この出力値Ｖ１，Ｖ２と、ＲＡＭの背景光データ記憶領域に記憶された当該第１の画素生成ユニット２７の出力値Ｃ１及び第２の画素生成ユニット２７の出力値Ｃ２と、に基づき、次式に従って、被写体５までの距離Ｄを算出する（Ｓ６８０）。

Ｄ＝（１／２）×ｃ×Ｔｐ
×（Ｖ２−Ｃ２）／（Ｖ１＋Ｖ２−Ｃ１−Ｃ２） …（１５）
また、この処理を終えると、制御部６０は、算出した距離Ｄを、画素の濃淡を表す濃淡値に変換すると共に、この濃淡値を、距離Ｄを算出する元となった画素生成ユニット２７の組に対応する座標の画素値として、ＲＡＭの距離画像データ生成領域に書き込む（Ｓ６９０）。

即ち、本実施例では、処理対象の画素セット２５が座標（ｋ，ｌ）の画素セット２５である場合、座標（ｋ，ｌ）の画素セット２５が有する第１の画素生成ユニット２７の出力値Ｖ１及び第２の画素生成ユニット２７の出力値Ｖ２と、背景光データ記憶領域に記憶された、通常画像モードの動作時に座標（ｋ，ｌ）の画素セット２５における第１の画素生成ユニット２７が出力した値Ｃ１及び第２の画素生成ユニット２７が出力した値Ｃ２と、に基づいて、式（１５）に従い、距離Ｄを算出すると共に、算出した距離Ｄに対応する濃淡値を、座標（２×ｋ−１，ｌ）の画素値として、ＲＡＭの距離画像データ生成領域に書き込む。

この他、上述のようにしてＳ６９０の処理を終えると、制御部６０は、Ｓ７００に移行し、上記処理対象の画素セット２５を構成する第３の画素生成ユニット２７の出力値Ｖ３、第４の画素生成ユニット２７の出力値Ｖ４を、出力データ記憶部３０から読み出し、この出力値Ｖ３，Ｖ４と、ＲＡＭの背景光データ記憶領域に記憶された当該第３の画素生成ユニット２７の出力値Ｃ３及び第４の画素生成ユニット２７の出力値Ｃ４と、に基づき、次式に従って、被写体５までの距離Ｄを算出する。

Ｄ＝（１／２）×ｃ×Ｔｐ
×（Ｖ４−Ｃ４）／（Ｖ３＋Ｖ４−Ｃ３−Ｃ４） …（１６）
尚、図１９（ｂ）は、分割距離画像モードでの距離Ｄの算出方法を示した説明図である。

また、この処理を終えると、制御部６０は、算出した距離Ｄを、画素の濃淡を表す濃淡値に変換すると共に、この濃淡値を、距離Ｄを算出する元となった画素生成ユニット２７の組に対応した座標の画素値として、ＲＡＭの距離画像データ生成領域に書き込む（Ｓ７１０）。

即ち、本実施例では、処理対象の画素セット２５が座標（ｋ，ｌ）の画素セット２５である場合、座標（ｋ，ｌ）の画素セット２５が有する第３の画素生成ユニット２７の出力値Ｖ３及び第４の画素生成ユニット２７の出力値Ｖ４と、背景光データ記憶領域に記憶された通常画像モードの動作時に座標（ｋ，ｌ）の画素セット２５における第３の画素生成ユニット２７が出力した値Ｃ３及び第４の画素生成ユニット２７が出力した値Ｃ４と、に基づいて、式（１６）に従い、距離Ｄを算出すると共に、算出した距離Ｄに対応する濃淡値を、座標（２ｋ，ｌ）の画素値として、ＲＡＭの距離画像データ生成領域に書き込む。

そして、このＳ７１０での処理を終えると、制御部６０は、Ｓ７２０に移行し、画素アレイ２３が有する全画素セット２５について、距離Ｄを算出し、距離Ｄに応じた画素値の書き込みが完了したか否かを判断し、全画素セット２５について画素値の書き込みが完了していない場合には（Ｓ７２０でＮｏ）、Ｓ６７０に移行して、画素値の書き込みが未完了の画素セット２５を一つ、処理対象に選択する。そして、選択した処理対象の画素セット２５に関して、Ｓ６８０〜Ｓ７１０の処理を実行し、その後、再び、Ｓ７２０に移行して、全画素セット２５について画素値の書き込みが完了したか否かを判断する。

このような動作を繰返し実行することにより、制御部６０は、ｋ＝１，２，…，Ｋ、ｌ＝１，２，…，Ｌの範囲で、座標（ｋ，ｌ）の画素セット２５の出力値Ｖ１，Ｖ２から距離Ｄを算出し、この距離Ｄに対応する濃淡値を、座標（２×ｋ−１，ｌ）の画素値としてＲＡＭに書き込むと共に、座標（ｋ，ｌ）の画素セット２５の出力値Ｖ３，Ｖ４から距離Ｄを算出し、この距離Ｄに対応する濃淡値を、座標（２×ｋ，ｌ）の画素値としてＲＡＭに書き込み、（２×Ｋ）行Ｌ列の距離画像データを完成させる。

そして、全画素セット２５についての画素値の書き込みが完了し、（２×Ｋ）行Ｌ列の距離画像データが完成した場合には（Ｓ７２０でＹｅｓ）、Ｓ７３０に移行し、この距離画像データを、インタフェース部７０を通じて出力し、この距離画像データをデータ処理装置８０に提供する。その後、当該画像データ生成出力処理を一旦終了する。また、信号生成部１４０における信号出力動作の周期に合わせて、再び、当該画像データ生成出力処理をＳ６１０から実行し、繰返し、画像データを生成・出力する。

即ち、制御部６０は、動作モードが通常画像モードに設定されている場合、信号生成部１４０の信号出力動作に合わせて、繰返し、当該信号出力動作により出力データ記憶部３０に記憶された出力データを読み出し、平面画像データを生成・出力する。また、制御部６０は、動作モードが標準距離画像モードに設定されている場合、信号生成部１４０の信号出力動作に合わせて、繰返し、標準解像度の距離画像データを生成・出力する。また、制御部６０は、動作モードが分割距離画像モードに設定されている場合、信号生成部１４０の信号出力動作に合わせて、繰返し、高解像度の距離画像データを生成・出力する。

以上が、第四実施例の画像データ生成装置１００の動作内容である。第四実施例の画像データ生成装置１００によれば、距離算出に用いる画素生成ユニット２７の組を切り替えて、距離画像データの解像度を、外部からの指令に従い、高解像度に切り替える。従って、本実施例によれば、好適な解像度の距離画像データを、外部のデータ処理装置８０に提供することができる。

尚、本発明の距離画像データ生成手段は、本実施例において、信号生成部１４０が有する標準距離画像生成用信号出力部１４１及び分割距離画像生成用信号出力部１４３の信号出力動作と、制御部６０が実行するＳ６２０〜Ｓ７３０の処理と、により実現されている。また、平面画像データ生成手段は、信号生成部１４０が有する通常画像生成用信号出力部４５の信号出力動作と、制御部６０が実行するＳ６１３の処理と、により実現されている。また、作動制御手段の動作は、制御部６０のモード切替機能６０ｂにて実現されている。その他、キャンセル量設定手段は、制御部６０が実行するＳ６１７の処理にて実現されている。

以上、本発明の実施例について説明したが、本発明は、上記実施例に限定されるものではなく、種々の態様を採ることができる。
例えば、上記実施例では、発光部１０が発光ダイオードを備えるものとしたが、発光部１０は、発光ダイオード（ＬＥＤ）に代えて、レーダダイオード（ＬＤ）を備える構成にされてもよい。

第一実施例の画像データ生成装置１の構成を表すブロック図である。 受光部２０が備える光電センサ２１の構成を表すブロック図である。 光電センサ２１に配列された画素セット２５の構成を表すブロック図である。 画素セット２５を構成する画素生成ユニット２７の構成を表す回路図である。 光電センサ２１における信号線の配線態様を表す説明図である。 距離画像生成用信号出力部４１が出力する信号のパターンを表すタイムチャートである。 通常画像生成用信号出力部４５が出力する信号のパターンを表すタイムチャートである。 制御部６０が実行する画像データ生成出力処理を表すフローチャートである。 結合機能が無効にされているときの距離画像データの生成方法を示す説明図である。 結合機能が有効にされているときの距離画像データの生成方法を示す説明図である。 第二実施例において実行される画像データ生成出力処理の一部を抜粋して示したフローチャートである。 制御部６０が実行する平滑化処理を表すフローチャートである。 距離Ｄ０と平滑化処理において設定される距離Ｄ１〜Ｄ８との関係を表す説明図である。 第三実施例において距離画像生成用信号出力部４１が出力する信号のパターンを表すタイムチャートである。 第四実施例の画像データ生成装置１００の構成を表すブロック図である。 標準距離画像生成用信号出力部１４１が出力する信号のパターンを表すタイムチャートである。 分割距離画像生成用信号出力部１４３が出力する信号のパターンを表すタイムチャートである。 第四実施例において、制御部６０が実行する画像データ生成出力処理を表すフローチャートである。 標準距離画像モードでの距離Ｄの算出方法を示した説明図（ａ）、及び、分割距離画像モードでの距離Ｄの算出方法を示した説明図（ｂ）である。

符号の説明

１…画像データ生成装置、５…被写体、１０…発光部、２０…受光部、２１…光電センサ、２３…画素アレイ、２５…画素セット、２７…画素生成ユニット、２９…書込処理部、３０…出力データ記憶部、４０…信号生成部、４１…距離画像生成用信号出力部、４５…通常画像生成用信号出力部、５０…クロック信号生成部、６０…制御部、６０ａ…画像データ生成出力機能、６０ｂ…モード切替機能、７０…インタフェース部、８０…データ処理装置、１００…画像データ生成装置、１４０…信号生成部、１４１…標準距離画像生成用信号出力部、１４３…分割距離画像生成用信号出力部、ＰＤ…光電変換素子、ＦＤ…フローティングディフュージョン、Ｔｒ１…電荷排出トランジスタ、Ｔｒ２…電荷転送トランジスタ、Ｔｒ３…ソースフォロワトランジスタ、Ｔｒ４…出力トランジスタ、Ｔｒ５…リセットトランジスタ、Ｌ＿Ｒ，Ｌ＿ＴＧ［１］〜Ｌ＿ＴＧ［４］，Ｌ＿ＤＧ［１］〜Ｌ＿ＤＧ［４］…信号線、Ｔ＿Ｒ，Ｔ＿ＴＧ［１］〜Ｔ＿ＴＧ［４］，Ｔ＿ＤＧ［１］〜Ｔ＿ＤＧ［４］，Ｔ＿ＲＧ［１］〜Ｔ＿ＲＧ［４］…入力電極、Ｔ＿ＳＧ［１］〜Ｔ＿ＳＧ［４］…出力電極、Ｔａ＿Ｒ，Ｔａ＿ＴＧ［１］〜Ｔａ＿ＴＧ［４］，Ｔａ＿ＤＧ［１］〜Ｔａ＿ＤＧ［４］，Ｔａ＿ＲＧ…入力端子

Claims (20)

1. 光を発射する発光デバイスと、前記発光デバイスにより発射された光が被写体に反射して戻ってくる光を含む外部からの入射光を受光する受光デバイスと、を備える画像データ生成装置であって、
   前記発光デバイス及び前記受光デバイスを制御して、被写体までの距離を求め、当該距離を表す距離画像データを生成する距離画像データ生成手段と、
   前記受光デバイスを制御して、前記被写体の平面画像を表す平面画像データを生成する平面画像データ生成手段と、
   前記距離画像データ生成手段及び前記平面画像データ生成手段を、切り替えて動作させる作動制御手段と、
   を備え、
   前記受光デバイスは、
   入射光を電荷に変換する光電変換部と、
   前記光電変換部で生成された電荷を蓄積するためのフローティングディフュージョンを有し、外部から入力される電荷排出指令信号に従い、前記光電変換部で生成された電荷を排出して破棄する一方、外部から入力される電荷転送指令信号に従い、前記光電変換部で生成された電荷を前記フローティングディフュージョンに転送し、更には、前記フローティングディフュージョンに蓄積された電荷に応じた値を、出力する画素出力部と、
   を夫々一つ備える画素生成ユニット
   が複数配列された構成にされ、
   前記距離画像データ生成手段は、前記受光デバイスが有する画素生成ユニットの一群を複数の画素生成ユニットの集合毎にグループ化して定められる画素生成ユニットの組毎に、組内の各画素生成ユニットの出力値に基づき、前記被写体までの距離を算出し、算出した距離に対応する値を、当該画素生成ユニットの組に対応する座標の画素値として記述して、前記距離画像データを生成し、
   前記平面画像データ生成手段は、前記受光デバイスが有する画素生成ユニットの一群について、画素生成ユニット毎に、画素生成ユニットの出力値に対応する値を、この画素生成ユニットに対応する座標の画素値として記述し、前記被写体の平面画像を表す画像データを生成する構成にされている
   ことを特徴とする画像データ生成装置。
2. 前記距離画像データ生成手段は、組として取り扱う画素生成ユニットの集合を切り替えて、前記受光デバイスが有する画素生成ユニットの一群を前記複数の画素生成ユニットの集合毎にグループ化することが可能な構成にされていることを特徴とする請求項１記載の画像データ生成装置。
3. 前記距離画像データ生成手段は、前記発光デバイスから発射された光の反射光が前記受光デバイスに入射されうる期間において、組内の複数の画素生成ユニットが夫々、異なる期間に前記光電変換部で生成された電荷に応じた値を出力するように、各画素生成ユニットに対し前記電荷排出指令信号及び電荷転送指令信号を入力して、前記受光デバイスを制御し、前記画素生成ユニットの組毎に、組内の各画素生成ユニットの出力値から、発光デバイスによる発射光に対する入射光の位相差を求め、前記被写体までの距離を算出する構成にされていることを特徴とする請求項１又は請求項２記載の画像データ生成装置。
4. 前記画素生成ユニットの組は、４個の画素生成ユニットからなり、
   前記距離画像データ生成手段は、
   前記発光デバイスを制御して、前記発光デバイスに、所定パルス幅Ｔｐのパルス光を発射させると共に、前記受光デバイスを制御し、前記パルス光の発射毎に、前記各組の画素生成ユニットについて、組内の画素生成ユニットの内、第一の画素生成ユニットに、前記パルス光の発射時点からパルス幅Ｔｐに対応する時間に前記光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、第二の画素生成ユニットに、前記パルス光の発射時点からパルス幅の二分の一時間（Ｔｐ／２）分遅れた時点からパルス幅Ｔｐに対応する時間に前記光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、第三の画素生成ユニットに、前記パルス光の発射時点からパルス幅Ｔｐ分遅れた時点からパルス幅Ｔｐに対応する時間に前記光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、第四の画素生成ユニットに、前記パルス光の発射時点からパルス幅の二分の三時間（３×Ｔｐ／２）分遅れた時点からパルス幅Ｔｐに対応する時間に前記光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、
   前記画素生成ユニットの組毎に、
   前記第一の画素生成ユニットの出力値Ｖ１、前記第二の画素生成ユニットの出力値Ｖ２、前記第三の画素生成ユニットの出力値Ｖ３、及び、前記第四の画素生成ユニットの出力値Ｖ４に基づき、次式
   Φ＝ａｒｃｔａｎ（（Ｖ２−Ｖ４）／（Ｖ１−Ｖ３））
   に従って、位相差Φを算出し、光の速度をｃとして表される次式
   Ｄ＝ｃ×Ｔｐ×Φ／（２π）
   に従って、被写体までの距離Ｄを算出する
   構成にされていることを特徴とする請求項１記載の画像データ生成装置。
5. 前記画素生成ユニットの組は、４個の画素生成ユニットからなり、
   前記距離画像データ生成手段は、
   前記発光デバイスを制御して、前記発光デバイスに、サイン波により振幅変調されたサイン変調光を発射させると共に、前記受光デバイスを制御し、前記各組の画素生成ユニットについて、組内の画素生成ユニットの内、第一の画素生成ユニットに、前記発光デバイスから発射されるサイン変調光が初期位相となる基準時点を中心とする所定時間内に前記光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、第二の画素生成ユニットに、前記基準時点から位相π／２遅れた時点を中心とする所定時間内に前記光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、第三の画素生成ユニットに、前記基準時点から位相π遅れた時点を中心とする所定時間内に前記光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、第四の画素生成ユニットに、前記基準時点から位相３π／２遅れた時点を中心とする所定時間内に前記光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、
   前記画素生成ユニットの組毎に、
   前記第一から第四の画素生成ユニットの出力値に基づき、被写体までの距離を算出する
   構成にされていることを特徴とする請求項１記載の画像データ生成装置。
6. 前記距離画像データ生成手段は、
   前記発光デバイスから発射されるサイン変調光が位相ゼロの時点を基準時点として、前記第一の画素生成ユニットに、前記基準時点を中心とする所定時間内に前記光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、前記第二の画素生成ユニットに、前記基準時点から位相π／２遅れた時点を中心とする所定時間内に前記光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、前記第三の画素生成ユニットに、前記基準時点から位相π遅れた時点を中心とする所定時間内に前記光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、前記第四の画素生成ユニットに、前記基準時点から位相３π／２遅れた時点を中心とする所定時間内に前記光電変換部で生成された電荷を、フローティングディフュージョンに蓄積させ、
   前記画素生成ユニットの組毎に、
   前記第一の画素生成ユニットの出力値Ｖ１、前記第二の画素生成ユニットの出力値Ｖ２、前記第三の画素生成ユニットの出力値Ｖ３、及び、前記第四の画素生成ユニットの出力値Ｖ４に基づき、次式
   Φ＝ａｒｃｔａｎ（（Ｖ３−Ｖ１）／（Ｖ２−Ｖ４））
   に従って、位相差Φを算出し、光の速度をｃ、サイン変調光の周期をＴｃとして表される次式
   Ｄ＝ｃ×（Ｔｃ／２）×Φ／（２π）
   に従って、被写体までの距離Ｄを算出する
   構成にされていることを特徴とする請求項５記載の画像データ生成装置。
7. 前記画素生成ユニットの組は、３個以上の画素生成ユニットからなり、
   前記距離画像データ生成手段は、
   前記発光デバイスを制御して、前記発光デバイスに、所定パルス幅Ｔｐのパルス光を発射させると共に、前記受光デバイスを制御し、前記パルス光の発射毎に、前記各組の画素生成ユニットについて、組内の画素生成ユニットの内、第一の画素生成ユニットに、前記パルス光の発射時点からパルス幅Ｔｐに対応する時間に前記光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、第二の画素生成ユニットに、前記パルス光の発射時点からパルス幅Ｔｐ分遅れた時点からパルス幅Ｔｐに対応する時間に前記光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、組内の前記第一及び第二の画素生成ユニット以外の画素生成ユニットに、前記発光デバイスから発射された光に対応する反射光が前記受光デバイスに入射されない期間に前記光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、
   前記画素生成ユニットの組毎に、
   組内の画素生成ユニットの内、前記第一及び第二の画素生成ユニット以外の画素生成ユニットの出力値に基づき、前記第一の画素生成ユニットの出力値Ｖ１から背景光成分を除去した値＜Ｖ１＞、及び、前記第二の画素生成ユニットの出力値Ｖ２から背景光成分を除去した値＜Ｖ２＞を求め、光の速度をｃとして表される次式
   Ｄ＝（１／２）×ｃ×Ｔｐ×＜Ｖ２＞／（＜Ｖ１＞＋＜Ｖ２＞）
   に従って、被写体までの距離Ｄを算出する
   構成にされていることを特徴とする請求項１記載の画像データ生成装置。
8. 前記画素生成ユニットの組は、２個の画素生成ユニットからなり、
   前記距離画像データ生成手段は、
   前記発光デバイスを制御して、前記発光デバイスに、所定パルス幅Ｔｐのパルス光を発射させると共に、前記受光デバイスを制御し、前記パルス光の発射毎に、前記各組の画素生成ユニットについて、組内の画素生成ユニットの内、第一の画素生成ユニットに、前記パルス光の発射時点からパルス幅Ｔｐに対応する時間に前記光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、第二の画素生成ユニットに、前記パルス光の発射時点からパルス幅Ｔｐ分遅れた時点からパルス光のパルス幅に対応する時間に前記光電変換部で生成された電荷をフローティングディフュージョンに蓄積させ、
   前記画素生成ユニットの組毎に、
   前記第一の画素生成ユニットの出力値Ｖ１から背景光成分を除去した値＜Ｖ１＞、及び、前記第二の画素生成ユニットの出力値Ｖ２から背景光成分を除去した値＜Ｖ２＞を求め、光の速度をｃとして表される次式
   Ｄ＝（１／２）×ｃ×Ｔｐ×＜Ｖ２＞／（＜Ｖ１＞＋＜Ｖ２＞）
   に従って、被写体までの距離Ｄを算出する
   構成にされ、
   当該画像データ生成装置は、更に、
   前記平面画像データ生成手段により平面画像データが生成される際に、各画素生成ユニットから得られた出力値に基づいて、前記距離画像データ生成手段に対し、各画素生成ユニットの背景光成分を、設定するキャンセル量設定手段
   を備えることを特徴とする請求項１記載の画像データ生成装置。
9. 前記距離画像データ生成手段は、各画素生成ユニットの出力値から背景光成分を除去し、背景光成分除去後の出力値に基づき、被写体までの距離を算出する構成にされ、
   当該画像データ生成装置は、更に、
   前記平面画像データ生成手段により平面画像データが生成される際に、各画素生成ユニットから得られた出力値に基づいて、前記距離画像データ生成手段に対し、各画素生成ユニットの背景光成分を、設定するキャンセル量設定手段
   を備える構成にされていることを特徴とする請求項１〜請求項６のいずれかに記載の画像データ生成装置。
10. 前記距離画像データ生成手段は、
    前記画素生成ユニットの組として、前記受光デバイスが有する画素生成ユニットの一群を、同一個数の画素生成ユニットの集合毎に分割して定められる画素生成ユニットの組毎に、組内の各画素生成ユニットの出力値に基づき、前記被写体までの距離を算出し、算出した距離に対応する値を、当該画素生成ユニットの組に対応する座標の画素値として記述して、前記距離画像データを生成する構成にされると共に、
    組内の合計Ｓ個の画素生成ユニットについて、第ｉ（ｉ＝１，２，…，Ｓ）番目の画素生成ユニットが、異なる組の間で共通して同時期に同一の動作を実行し、前記発光デバイスから発射された光の反射光が前記受光デバイスに入射されうる期間において、組内の複数の画素生成ユニットが夫々、異なる期間に前記光電変換部で生成された電荷に応じた値を出力するように、各画素生成ユニットに対し前記電荷排出指令信号及び電荷転送指令信号を入力して、前記受光デバイスを制御する構成にされていることを特徴とする請求項１〜請求項９のいずれかに記載の画像データ生成装置。
11. 前記受光デバイスは、
    前記画素生成ユニットの一群が、所定数（以下、Ｓ個とする。）の画素生成ユニットの集合毎にグループ化され、Ｓ個の画素生成ユニットの集合としての画素セットが複数個配列された構成にされており、
    外部から入力される電荷排出指令信号を、前記各画素セットが有する画素生成ユニットに伝送するための伝送路として、前記複数個の画素セット共通の伝送路Ｌａを、前記画素セットを構成する第１番目から第Ｓ番目の画素生成ユニットの夫々に対して有し、
    外部から入力される電荷転送指令信号を、前記各画素セットが有する画素生成ユニットに伝送するための伝送路として、前記複数個の画素セット共通の伝送路Ｌｂを、前記画素セットを構成する第１番目から第Ｓ番目の画素生成ユニットの夫々に対して有し、
    前記各画素セットが有する第ｉ（ｉ＝１，２，…，Ｓ）番目の画素生成ユニットに対しては、第ｉ番目の画素生成ユニット用の前記伝送路Ｌａを通じて、外部から入力された電荷排出指令信号を入力し、
    前記各画素セットが有する第ｉ（ｉ＝１，２，…，Ｓ）番目の画素生成ユニットに対しては、第ｉ番目の画素生成ユニット用の前記伝送路Ｌｂを通じて、外部から入力された電荷転送指令信号を入力する
    構成にされ、
    前記距離画像データ生成手段は、前記受光デバイスを制御する際、前記伝送路Ｌａ及び伝送路Ｌｂを通じて、前記各画素セットが有する第ｉ（ｉ＝１，２，…，Ｓ）番目の画素生成ユニットに、共通する前記電荷排出指令信号及び電荷転送指令信号を入力し、前記各画素セットの第ｉ番目の画素生成ユニットに、同時期に同一の動作を実行させる構成にされていることを特徴とする請求項１〜請求項１０のいずれかに記載の画像データ生成装置。
12. 前記距離画像データ生成手段は、
    前記受光デバイスが有する画素生成ユニットの一群を区画化して定められる各区画の画素生成ユニットの集合としての画素セットに関し、画素セット毎に、当該画素セットを構成する各画素生成ユニットの出力値に基づき、被写体までの距離を算出し、算出した距離に対応する値を、当該画素セットに対応する座標の画素値として記述して、前記距離画像データを生成する標準モードと、
    前記受光デバイスにおける前記画素セットの一群を区画化して定められる各区画の画素セットの集合を、大画素セットとして、大画素セット毎に、当該大画素セットを構成する各画素生成ユニットの出力値に基づき、被写体までの距離を算出し、算出した距離に対応する値を、当該大画素セットに対応する座標の画素値として記述して、前記距離画像データを生成する低解像度モードと、
    を有し、前記各モードを切り替えて実行可能な構成にされていることを特徴とする請求項１記載の画像データ生成装置。
13. 前記画素セットは、所定数（以下、Ｓ個とする。）の画素生成ユニットの集合からなり、
    前記距離画像データ生成手段は、
    前記各モードにおいて、前記画素セット内の第ｉ（ｉ＝１，２，…，Ｓ）番目の画素生成ユニットが、各画素セット間で共通して同時期に同一の動作を実行し、前記発光デバイスから発射された光の反射光が前記受光デバイスに入射されうる期間において、画素セット内の複数の画素生成ユニットが夫々、異なる期間に前記光電変換部で生成された電荷に応じた値を出力するように、各画素生成ユニットに対し前記電荷排出指令信号及び電荷転送指令信号を入力して、前記受光デバイスを制御する構成にされ、
    更に、
    前記標準モードでは、前記制御により、前記画素セット毎に、当該画素セットを構成する各画素生成ユニットから得られる出力値から、前記発光デバイスによる発射光に対する入射光の位相差を求め、前記被写体までの距離を算出し、
    前記低解像度モードでは、前記大画素セット毎に、当該大画素セットを構成する各画素セット内の第ｉ（ｉ＝１，２，…，Ｓ）番目の画素生成ユニットの出力値を積算して第ｉ番目の画素生成ユニットについての積算値を得て、第１番目から第Ｓ番目の画素生成ユニットの夫々についての前記積算値に基づき、前記標準モードと同手法にて、被写体までの距離を算出し、算出した距離に対応する値を、当該大画素セットに対応する座標の画素値として記述して、前記距離画像データを生成する構成にされていることを特徴とする請求項１２に記載の画像データ生成装置。
14. 前記距離画像データ生成手段は、
    前記受光デバイスが有する画素生成ユニットの一群を区画化して定められる各区画の画素生成ユニットの集合としての画素セットに関し、画素セット毎に、当該画素セットを構成する各画素生成ユニットの出力値に基づき、被写体までの距離を算出し、算出した距離に対応する値を、当該画素セットに対応する座標の画素値として記述して、前記距離画像データを生成する標準モードと、
    前記画素セットを所定数の小画素セットに分割して、小画素セット毎に、当該小画素セットを構成する画素生成ユニットの出力値に基づき、被写体までの距離を算出し、算出した距離に対応する値を、当該小画素セットに対応する座標の画素値として記述して、前記距離画像データを生成する高解像度モードと、
    を有し、前記各モードを切り替えて実行可能な構成にされていることを特徴とする請求項１記載の画像データ生成装置。
15. 前記受光デバイスは、（Ｋ×Ｍ）行（Ｌ×Ｎ）列のマトリックス状に、画素生成ユニットが配列された構成にされており、
    前記画素セットは、前記受光デバイスにおける画素生成ユニットの一群をＫ×Ｌ個の格子状に区画化して定められる各区画のＭ行Ｎ列の画素生成ユニットの集合であることを特徴とする請求項１２〜請求項１４のいずれかに記載の画像データ生成装置。
16. 前記受光デバイスは、（Ｋ×Ｍ）行（Ｌ×Ｎ）列のマトリックス状に、画素生成ユニットが配列された構成にされており、
    前記画素生成ユニットの組は、前記受光デバイスにおける画素生成ユニットの一群をＫ×Ｌ個の格子状に区画化して定められる各区画のＭ行Ｎ列の画素生成ユニットの集合であり、
    前記距離画像データ生成手段は、各組の画素生成ユニット毎に、
    組内の各画素生成ユニットの出力値に基づき、被写体までの距離を算出すると共に、当該画素生成ユニットの組に対応するＭ行Ｎ列の領域を中心領域として、この中心領域から値Ｍより小さいΔｍ行ずらしたＭ行Ｎ列の領域に属する画素生成ユニットの組、当該中心領域から値Ｎより小さいΔｎ列ずらしたＭ行Ｎ列の領域に属する画素生成ユニットの組、及び、当該中心領域からΔｍ行Δｎ列ずらしたＭ行Ｎ列の領域に属する画素生成ユニットの組の全て又は一部の組、の夫々について、組内の各画素生成ユニットの出力値に基づき、被写体までの距離を算出し、これら中心領域周囲の画素生成ユニットの組から得られた距離の算出結果から、中心領域の画素生成ユニットの組から得られた距離を補正し、補正後の距離に応じた値を、当該中心領域の画素生成ユニットの組に対応する座標の画素値として記述して、
    前記距離画像データを生成する構成にされていることを特徴とする請求項１〜請求項１０のいずれかに記載の画像データ生成装置。
17. 入射光を電荷に変換する光電変換部と、
    前記光電変換部で生成された電荷を蓄積するためのフローティングディフュージョンを有し、外部から入力される電荷排出指令信号に従い、前記光電変換部で生成された電荷を排出して破棄する一方、外部から入力される電荷転送指令信号に従い、前記光電変換部で生成された電荷を前記フローティングディフュージョンに転送し、更には、前記フローティングディフュージョンに蓄積された電荷に応じた値を、出力する画素出力部と、
    を備える画素生成ユニット
    が複数個配列された受光デバイスであって、
    前記各画素生成ユニットは、前記光電変換部に対して、前記画素出力部を一つのみ備えた構成にされていることを特徴とする受光デバイス。
18. 前記画素出力部は、
    前記フローティングディフュージョンと、
    外部から入力される前記電荷排出指令信号に従い、前記光電変換部で生成された電荷を前記光電変換部から排出して破棄し、前記光電変換部を初期状態にリセットする電荷排出部と、
    前記光電変換部と前記フローティングディフュージョンとの間に位置して、外部から入力される前記電荷転送指令信号に従い、前記光電変換部で生成された電荷を前記フローティングディフュージョンに転送する電荷転送部と、
    外部から入力される出力指令信号に従い、前記フローティングディフュージョンにて蓄積された電荷に応じた値を出力する出力部と、
    外部から入力されるリセット指令信号に従い、前記フローディングディフュージョンを初期状態にリセットするリセット部と、
    を備える構成にされていることを特徴とする請求項１７記載の受光デバイス。
19. 前記画素出力部は、
    前記電荷排出部として、ゲート電極を通じて外部から入力される前記電荷排出指令信号によりオン／オフされ、前記光電変換部で生成された電荷を前記光電変換部から排出して破棄し、前記光電変換部を初期状態にリセットする電荷排出トランジスタを備え、
    前記電荷転送部として、前記光電変換部と前記フローティングディフュージョンとの間に位置して、ゲート電極を通じて外部から入力される前記電荷転送指令信号によりオン／オフされ、前記光電変換部で生成された電荷を前記フローティングディフュージョンに転送する電荷転送トランジスタを備え、
    前記出力部として、前記フローティングディフュージョンにて蓄積された電荷を電圧値に変換する変換トランジスタ、及び、ゲート電極を通じて外部から入力される前記出力指令信号によりオン／オフされ、前記フローティングディフュージョンにて蓄積された電荷に応じた値として、前記変換トランジスタにて変換された電圧値を、出力する出力トランジスタを備え、
    前記リセット部として、ゲート電極を通じて外部から入力される前記リセット指令信号によりオン／オフされ、前記フローディングディフュージョンを初期状態にリセットするリセットトランジスタを備える構成にされていることを特徴とする請求項１８記載の受光デバイス。
20. 前記受光デバイスは、
    前記画素生成ユニットの一群が、所定数（以下、Ｓ個とする。）の画素生成ユニットの集合毎にグループ化され、Ｓ個の画素生成ユニットの集合としての画素セットが複数個配列された構成にされており、
    外部から入力される前記電荷排出指令信号を、前記各画素セットが有する画素生成ユニットに伝送するための伝送路として、前記複数個の画素セット共通の伝送路Ｌａを、画素セットを構成する第１番目から第Ｓ番目の画素生成ユニットの夫々に対して有し、
    外部から入力される前記電荷転送指令信号を、前記各画素セットが有する画素生成ユニットに伝送するための伝送路として、前記複数個の画素セット共通の伝送路Ｌｂを、画素セットを構成する第１番目から第Ｓ番目の画素生成ユニットの夫々に対して有し、
    外部から入力される前記リセット指令信号を、各画素生成ユニットに伝送するための伝送路として、当該受光デバイスが有する全画素生成ユニット共通の伝送路Ｌｃを有し、
    前記各画素セットが有する第ｉ（ｉ＝１，２，…，Ｓ）番目の画素生成ユニットに対しては、第ｉ番目の画素生成ユニット用の前記伝送路Ｌａを通じて、外部から入力された共通の前記電荷排出指令信号を入力し、
    各画素セットが有する第ｉ（ｉ＝１，２，…，Ｓ）番目の画素生成ユニットに対しては、第ｉ番目の画素生成ユニット用の前記伝送路Ｌｂを通じて、外部から入力された共通の前記電荷転送指令信号を入力し、
    当該受光デバイスが有する各画素生成ユニットに対しては、前記伝送路Ｌｃを通じて、外部から入力された共通の前記リセット指令信号を入力する構成にされていることを特徴とする請求項とする請求項１８〜請求項２０のいずれかに記載の受光デバイス。

Images