JP2004354236A

JP2004354236A - ステレオカメラ支持装置およびステレオカメラ支持方法ならびにステレオカメラシステム

Info

Publication number: JP2004354236A
Application number: JP2003152977A
Authority: JP
Inventors: Hidekazu Iwaki; 秀和岩城; Takashi Miyoshi; 貴史三由; Akio Kosaka; 明生小坂; Kazuhiko Arai; 和彦荒井
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-05-29
Filing date: 2003-05-29
Publication date: 2004-12-16
Also published as: CN1701213A

Abstract

【課題】背景その他の周囲の他部に依存せずにその被写体自体の距離等当該被写体に着目した情報を効率的に取得することができるステレオカメラ支持装置を提供する。
【解決手段】ステレオカメラ（１１６）を車両（３００）に支持するように構成された結合部材（１５９）と、結合部材によって車両に支持されたステレオカメラの姿勢乃至位置を制御する制御手段（１６０）とを備え、制御手段は、ステレオカメラによって得られる映像に関して、映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、車両の姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように、ステレオカメラの姿勢乃至位置を制御するステレオカメラ支持装置である。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを支持するためのステレオカメラ支持装置およびこの種のステレオカメラの支持方法並びにこれらを適用したステレオカメラシステムに関し、特に、それらによってステレオカメラの撮像視野に映じる特定の被写体が映像フレーム内において占める位置が特定の傾向を呈するようにするための技術に関する。
【０００２】
【従来の技術】
近年、例えば、ステレオカメラを車両に搭載し、このカメラによって得られる映像信号出力に基づいて運転者に安全のための種々の情報を提供したり、或いは、車両の走行に係る自動制御を行なって運転の支援をするようなシステムも実用化されつつある。車載型のステレオカメラを車両に取り付ける場合の、太陽光、熱、温度、振動等々の環境ストレスに対処するための機構についても具体的な提案がなされている（例えば特許文献１）。
【０００３】
また、車載のステレオカメラを用いて、ステレオカメラが未校正で、走行中の振動や道路面の傾斜の変化がある状況下でも、道路面上に存在する障害物の高速かつ高精度な検出を実現するべく、適用したカメラに係るキャリブレーションの手間を少なくして、道路両端の２本の白線の走行中の画像上の動きだけから、道路平面と各カメラの幾何学的な関係を求めることにより、走行中に振動や道路自身に傾斜があっても、道路平面上に存在する障害物を高速に検出する障害物検出装置も提案されている（例えば特許文献２）。
【０００４】
更に、車載ステレオカメラを利用した車両用距離測定装置において、ステレオカメラの両光学系の取付位置および上下視野角度から定まる視野最下端部が路面と交わる点までの距離よりも短く設定される基準距離を用いて、距離演算手段の演算開始直後に演算距離が有効であるか、無効であるかを距離評価手段で評価するようにし、確実に対象物までの距離を演算している状態となってから距離演算手段の演算距離を有効とするようにして、距離測定開始直後の距離測定値が有効であるか否かを簡単に判定し、距離測定精度を向上させようとする技術も提案されている（例えば特許文献３）。
【０００５】
【特許文献１】特許第３１４８７４９号公報
（段落０００３〜０００４；段落０００８〜００１１；図１；図２）
【０００６】
【特許文献２】特開２００１−７６１２８号公報
（要約、段落０００６；段落００１１；図３；図４）
【０００７】
【特許文献３】特許第３３５４４５０号公報
（段落０００４；段落００３５；図７；図９）
【０００８】
【発明が解決しようとする課題】
しかしながら、これら従来の提案には、ステレオカメラの撮像視野に映じる特定の被写体が映像フレーム内において占める位置が特定の傾向を呈するようにして、背景や周囲の他部に依存せずにその被写体自体の距離等当該被写体に着目した情報を効率的に取得するべく、適用されるステレオカメラの姿勢を調節することによってこれに対応しようとする技術課題の認識、ひいては、その技術課題の解決手段に係る開示はなされていない。
【０００９】
そこで、本発明の目的は、車載用であることをその一例とするステレオカメラを用いて当該ステレオカメラとの相対関係が変化する被写体をその撮像視野に含んで撮影を行なう場合に、背景その他の周囲の他部に依存せずにその被写体自体の距離等当該被写体に着目した情報を効率的に取得することができるようにした、当該ステレオカメラの姿勢を調節するステレオカメラ支持装置およびステレオカメラの支持方法並びにそれらを適用したステレオカメラシステムを提供することにある。
【００１０】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、次のような特徴的構成を備えている。
【００１１】
本発明に係る請求項１に記載のステレオカメラ支持装置は、相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを支持するステレオカメラ支持装置であって、ステレオカメラを設置する車両側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとが上記両メンバー間の相対関係が所定範囲内で可変であるように結合することによって当該ステレオカメラを上記車両に支持するように構成された結合部材と、上記結合部材によって上記車両に支持されたステレオカメラの姿勢乃至位置を制御する制御手段と、を備え、上記制御手段は、上記ステレオカメラによって得られる映像に関して、当該映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記車両の姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように、当該ステレオカメラの姿勢乃至位置を制御し得るように構成された。
【００１２】
また、本発明に係る請求項２に記載のステレオカメラ支持装置は、上記記載の発明であるステレオカメラ支持装置において、上記制御手段は、当該車両の姿勢乃至位置を検出する検出手段の検出出力に基づいて制御動作を行なうように構成された。
【００１３】
また、本発明に係る請求項３に記載のステレオカメラ支持装置は、上記記載の発明であるステレオカメラ支持装置において、上記制御手段は、上記ステレオカメラによって得られる映像の特徴を評価して認識する映像認識手段の出力に依拠して制御動作を行なうように構成された。
【００１４】
また、本発明に係る請求項４に記載のステレオカメラ支持装置は、上記記載の発明であるステレオカメラ支持装置において、上記制御手段は、当該車両の姿勢乃至位置を検出する検出手段の検出出力と、上記ステレオカメラによって得られる映像の特徴を評価して認識する映像認識手段の出力と、に依拠して制御動作を行なうように構成された。
【００１５】
また、本発明に係る請求項５に記載のステレオカメラ支持装置は、上記記載の発明であるステレオカメラ支持装置において、上記検出手段は、当該車両の傾きを検出する傾斜検出手段、当該車両の所定部の水準位置を検出する高さ検出手段の内少なくとも１つを含む。
【００１６】
また、本発明に係る請求項６に記載のステレオカメラ支持装置は、上記記載の発明であるステレオカメラ支持装置において、上記傾斜検出手段は鉛直方向又は水平方向に対する相対的な角度を検出する。
【００１７】
また、本発明に係る請求項７に記載のステレオカメラ支持装置は、上記記載の発明であるステレオカメラ支持装置において、上記高さ検出手段は当該車両の接地面に対する相対的な位置を検出する。
【００１８】
また、本発明に係る請求項８に記載のステレオカメラ支持装置は、上記記載の発明であるステレオカメラ支持装置において、上記制御手段は、フィードバック制御を行なう。
【００１９】
また、本発明に係る請求項９に記載のステレオカメラ支持装置は、上記記載の発明であるステレオカメラ支持装置において、上記制御手段は、フィードフォワード制御を行なう。
【００２０】
また、本発明に係る請求項１０に記載のステレオカメラ支持装置は、相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを支持するステレオカメラ支持装置であって、上記ステレオカメラを設置する物体側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとが上記両メンバー間の相対関係が所定範囲内で可変であるように結合することによって当該ステレオカメラを上記物体上に支持するように構成された結合部材と、上記結合部材によって上記物体上に支持されたステレオカメラの姿勢乃至位置を制御する制御手段と、を備え、上記制御手段は、上記ステレオカメラによって得られる映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記物体と上記撮像視野内の注目被写体との相対的姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように当該ステレオカメラの姿勢乃至位置を制御し得るように構成された。
【００２１】
また、本発明に係る請求項１１に記載のステレオカメラ支持方法は、相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを支持するステレオカメラ支持方法であって、上記ステレオカメラを設置する車両側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとを上記両メンバー間の相対関係が所定範囲内で可変であるように結合し、上記結合によって上記車両に支持されたステレオカメラの姿勢乃至位置を、上記ステレオカメラによって得られる映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記車両の姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように、当該ステレオカメラの姿勢乃至位置を制御する。
【００２２】
また、本発明に係る請求項１２に記載のステレオカメラ支持方法は、相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを支持するステレオカメラ支持方法であって、上記ステレオカメラを設置する物体側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとを上記両メンバー間の相対関係が所定範囲内で可変であるように結合し、上記結合によって上記物体上に支持されたステレオカメラの姿勢乃至位置を、上記ステレオカメラによって得られる映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記物体と上記撮像視野内の注目被写体との相対的姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように、当該ステレオカメラの姿勢乃至位置を制御する。
【００２３】
また、本発明に係る請求項１３に記載のステレオカメラ支持装置は、上記記載の発明であるステレオカメラ支持装置において、上記制御手段は、当該車両の姿勢乃至位置を検出する検出手段の検出出力を状態変数とし、且つ、上記ステレオカメラによる映像に依拠することなく制御動作を行なうように構成された。
【００２４】
また、本発明に係る請求項１４に記載のステレオカメラシステムは、相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを備えたステレオカメラシステムであって、上記ステレオカメラを設置する車両側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとが上記両メンバー間の相対位置が所定範囲内で可変であるように結合することによって当該ステレオカメラを上記車両に支持するように構成された結合部材と、上記結合部材によって上記車両に支持されたステレオカメラの姿勢乃至位置を制御する制御手段と、を備え、上記制御手段は、上記ステレオカメラの撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影することによって得られる映像に関して当該映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記車両の姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように、当該ステレオカメラの姿勢乃至位置を制御し得るように構成された。
【００２５】
また、本発明に係る請求項１５に記載のステレオカメラシステムは、上記記載の発明であるステレオカメラシステムにおいて、上記ステレオカメラによる撮影によって得られる映像情報に基づいて上記注目被写体の距離を算出する情報処理手段を更に備えた。
【００２６】
また、本発明に係る請求項１６に記載のステレオカメラシステムは、上記記載の発明であるステレオカメラシステムにおいて、上記情報処理手段は、上記ステレオカメラによる撮影によって得られる映像情報に基づいて当該車両に適用された表示手段に道路の状況を表わす映像を映出するためのデータを生成するように構成された。
【００２７】
また、本発明に係る請求項１７に記載のステレオカメラシステムは、上記記載の発明であるステレオカメラシステムにおいて、上記情報処理手段は、上記ステレオカメラによる撮影によって得られる映像情報に基づいて当該車両に適用された表示手段に道路の状況を表わす映像に該車両から等距離にある道路上の点群を表わす指標をスーパーインポーズ表示して映出するためのデータを生成するように構成された。
【００２８】
また、本発明に係る請求項１８に記載のステレオカメラシステムは、上記記載の発明であるステレオカメラシステムにおいて、上記情報処理手段は、上記ステレオカメラによる撮影によって得られる映像情報に基づいて当該車両に適用された警告手段に警告を発報させるためのデータを生成するように構成された。
【００２９】
また、本発明に係る請求項１９に記載のステレオカメラシステムは、相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを備えたステレオカメラシステムであって、上記ステレオカメラを設置する物体側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとが上記両メンバー間の相対位置が所定範囲内で可変であるように結合することによって当該ステレオカメラを上記車両に支持するように構成された結合部材と、上記結合部材によって上記物体に支持されたステレオカメラの姿勢乃至位置を制御する制御手段と、を備え、上記制御手段は、上記ステレオカメラの撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影することによって得られる映像に関して当該映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記物体と上記撮像視野内の注目被写体との相対的姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように当該ステレオカメラの姿勢乃至位置を制御し得るように構成された。
【００３０】
また、本発明に係る請求項２０に記載のステレオカメラシステムは、上記記載の発明であるステレオカメラシステムにおいて、上記制御手段は、初動時には、上記ステレオカメラを、その撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影するときの視野の中心線が実質的に水平方向となる姿勢に制御するよう構成された。
【００３１】
また、本発明に係る請求項２１に記載のステレオカメラシステムは、上記記載の発明であるステレオカメラシステムにおいて、上記制御手段は、初動時には、上記ステレオカメラを、その撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影するときの視野の中心線が実質的に前回の制御で設定された最後の状態を維持するような姿勢に制御するよう構成された。
【００３２】
また、本発明に係る請求項２２に記載のステレオカメラシステムは、上記記載の発明であるステレオカメラシステムにおいて、上記制御手段は、初動時には、上記ステレオカメラを、その撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影するときの視野の中心線が実質的に水平方向よりも下向きになる姿勢に制御するよう構成された。
【００３３】
また、本発明に係る請求項２３に記載のステレオカメラシステムは、上記記載の発明であるステレオカメラシステムにおいて、上記制御手段は、当該車両の高速走行時には、上記ステレオカメラを、その撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影するときの視野の中心線が相対的に下向きになる姿勢に制御し、低速走行時には上記中心線が相対的に上向きになる姿勢に制御するよう構成された。
【００３４】
また、本発明に係る請求項２４に記載のステレオカメラシステムは、上記記載の発明であるステレオカメラシステムにおいて、上記制御手段は、注目すべき被写体の輪郭の最高水準部分が映像のフレームの上端を更に上方に逸脱してしまうような高い被写体に遭遇したことが認識されたときには上記ステレオカメラの姿勢を上向きに制御するよう構成された。
【００３５】
【発明の実施の形態】
図１は、本発明に係るステレオカメラ支持装置１５０及びこの装置を適用するステレオカメラシステムの構成を示す図である。
【００３６】
本ステレオカメラシステムは、後述するステレオアダプタ１０１と撮像装置１０２とを含んでなるステレオカメラ１１６、処理装置１０３、制御装置１０４、入力装置１０５、警告装置１０６、運転装置１０７、表示装置１０８、車速センサ１０９、測距レーダ１１０、照度センサ１１１、外部カメラ１１２、ＧＰＳ１１３、ＶＩＣＳ１１４、外部通信装置１１５、ステレオカメラ支持装置１５０、カメラ姿勢センサ１５５及び車両姿勢センサ１５６を備えている。
【００３７】
そして、ステレオカメラ支持装置１５０には、ステレオカメラ結合装置１５９及び支持制御装置１６０が設けられている。
【００３８】
ここで、ステレオアダプタ１０１は、図２に示すように、カメラ等の撮像装置１０２内部にある撮像光学系１０２Ａの前方に取り付けられ、撮像素子１０２Ｂに視差画像２０１を形成するために用いられるものであり、同一被写体１からの光を所定距離離間した２つの受光部位（ミラー１０１Ａ−１，１０１Ａ−２）で受光し、この受光した各々の光を撮像装置１０２の撮像光学系１０２Ａに導く光学系（ミラー１０１Ｂ−１，１０１Ｂ−２）が設けられている。
【００３９】
ステレオアダプタ１０１と撮像装置１０２（あるいはそれらに加えて処理装置１０３）を含んで構成されるステレオカメラ１１６は、ステレオカメラ支持装置１５０によって種々の方向を撮像することが可能に構成されている。
【００４０】
このステレオカメラ１１６は、図３の（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）に示すように、車両３００の車内および車外の任意の位置（ハッチングして示す位置）に装着することが可能である。車両３００の車外に装着する際は、車両のボンネット、ピラー、ヘッドライト等に装着可能であり、車外の風景をさまざまな方向から撮影することが可能である。また、車両３００の車内に装着する際は、ダッシュボート上、ルームミラー等に装着可能である。
【００４１】
処理装置１０３は、上記ステレオアダプタ１０１を通して撮像装置１０２から撮影された画像から三次元再構成等の処理を行い、三次元距離画像等の作成を行う。制御装置１０４は、画像情報と車両情報を統括する役割を持っており、例えば、処理装置１０３で処理された結果を表示装置１０８に表示したり、処理装置１０３で得られた距離情報と車速センサ１０９等の情報とを分析して、警告装置１０６に警告を発生させたり、運転装置１０７を制御して運転者に安全運転を促すことができるようになっている。また、入力装置１０５は、例えば、リモコン等の入力機器を用いて制御装置１０４に指示を与え、モード等の切り換えを行うことができる。
【００４２】
上述より理解される通り、処理装置１０３と制御装置１０４は本システムにおける情報処理手段を構成しており、このシステムを備えた車両に搭載されたコンピュータによって双方の装置の機能が賄われるように構成され得る。
【００４３】
さらに、警告装置１０６は、音声装置１０６Ａ，振動装置１０６Ｂなどから成り、例えば、音声装置１０６Ａはスピーカ等からの音声、振動装置１０６Ｂは運転席シートの振動により運転者に警告を発するものである。
【００４４】
ここで、ステレオカメラ支持装置１５０の構成要素であるステレオカメラ結合装置１５９は、ステレオカメラ１１６を車両３００に結合して支持する。また、ステレオカメラ支持装置１５０の構成要素である支持制御装置１６０は、ステレオカメラ結合装置１５９に信号を出力して、ステレオカメラ１１６の撮像方向を制御する。
【００４５】
また、車両姿勢センサ１５６は、車両の姿勢または位置を検出する検出手段であり、道路に対する車両の傾きを検出する。そして、この車両姿勢センサ１５６の検出値、処理装置１０３で処理された画像情報、ＧＰＳ１１３の情報等に基づいて、支持制御装置１６０が、ステレオカメラ１１６の撮像範囲、即ち撮像視野を何処に定めるかを制御する。即ち、車両が傾くことによって撮像視野が適正な状態からずれた場合は、元の撮像視野になるようにステレオカメラ結合装置１５９に対して制御信号を出力する。この際、支持制御装置１６０は、カメラの姿勢または位置を検出するセンサであるカメラ姿勢センサ１５５の検出出力値に基づいて現在のカメラの状態を把握し、制御信号を生成する。そして、ステレオカメラ結合装置１５９はこの制御信号に基づいて内部に設けられた調整機構を駆動し、ステレオカメラ１１６を所望の方向に設定する。
【００４６】
尚、上述の車両姿勢センサ１５６は、鉛直方向または水平方向に対する相対的な角度を検出する傾斜検出手段として機能し得、更に、当該車両の接地面に対する相対的な位置を検出する高さ検出手段として機能し得る。
【００４７】
尚、この制御に必要な各種の情報及び検出信号は制御装置１０４を介して支持制御装置１６０に入力される。但し、この形態に限定されず、支持制御装置１６０が直接制御に必要な各種の情報及び検出信号を受け取るように構成しても良く、制御装置１０４と支持制御装置１６０とが適宜機能を分担して制御に必要な各種の情報及び検出信号を受け取るように構成しても良い。
【００４８】
次に、処理装置１０３が備えている三次元距離画像等を作成する機能について概説する。尚、処理装置１０３の構成例と適用され得る画像処理理論については、本出願人が、特願２００３−０４８３２３号公報として既に提案している。
【００４９】
図４は、処理装置１０３で求めた三次元距離画像を示したものである。図４の（Ａ）は、撮影された画像であり、図４の（Ｂ）はその画像から距離を算出した結果を示す図である。このように、カメラから被写体までの距離を三次元情報として算出することができる。尚、図４の（Ｂ）では、輝度が高いほど距離が近いことを表わしている。
【００５０】
また、三次元距離画像に基づいて、処理装置１０３は、道路領域と非道路領域を弁別することができ、更に道路面内にある物体、非道路領域にある障害物を認識し抽出することもできる。
【００５１】
したがって、図５に示すように、三次元再構成等の処理を行って抽出した道路の平面あるいは曲面形状を、表示装置１０８の表示部１０８Ａ上に表示することもできる。更にこのとき、車両３００から等間隔離れた道路面上の点群を直線あるいは曲線Ｌ１，Ｌ２，Ｌ３でスーパーインポーズ表示する。さらに、処理装置１０３によってその道路上の前方を走る車両Ｔ１，Ｔ２等を認識して、その前方車両を外包する楕円又は矩形等で表示すると共に、前方車両Ｔ１，Ｔ２等までの距離を表示することもできる。
【００５２】
このように、本ステレオカメラシステムを用いれば、道路及び被写体に関する種々の情報を得ることができる。
【００５３】
［第１の実施の形態］
図６は、本発明に係る第１の実施の形態のステレオカメラ支持装置１５０のステレオカメラ結合装置１５９の構成例を示す図である。
【００５４】
ステレオカメラ結合装置１５９は、ステレオカメラ１１６を車両３００に取り付けるための結合部材であるとともに、ステレオカメラ１１６を所望の位置・姿勢に変更自在に制御することが可能なように構成されている。ステレオカメラ結合装置１５９の両端には、車体と結合させるため車体の適所に固定される支持部材１５１、及びステレオカメラ１１６と結合させるための被支持部材１５２が設けられている。そして、このようにして車体に結合されたステレオカメラ１１６を所定範囲内で方向自在とするための機構が設けられている。即ち、この機構は、ヨー回動軸１５３ａ、ピッチ回動軸１５３ｂ、ロール回動軸１５３ｃの３軸回りに回動可能に構成するヨー回動モータ１５４ａ、ピッチ回動モータ１５４ｂ、ロール回動モータ１５４ｃを備えた姿勢制御機構である。
【００５５】
本構成のステレオカメラ結合装置１５９に対して、支持制御装置１６０はそれぞれのモータに対する制御信号を出力することによって、ステレオアダプタ１０１を所望の方向に制御することが可能となる。尚、図６には示されていないが、ステレオカメラ結合装置１５９には、カメラの姿勢または位置を検出するカメラ姿勢センサ１５５（図１）が設けられている。このカメラ姿勢センサ１５５は、例えば、それぞれのモータの回動角度を検出しても良い。
【００５６】
尚、ステレオカメラ結合装置１５９としては、図６に示すような３軸制御機構を備えた方式のものに限らず、例えば、電動式の公知のジンバル機構を適用することができる。また、本出願人が提案した特許第３３０６１２８号の鏡枠支持機構に準じたメカニズムを適用しても良い。
【００５７】
尚、ステレオカメラ結合装置１５９は、図６に例示したような３軸について、自動で制御する方式のものではなく、例えば、ヨー角については手動で調整するものであっても良い。このための手動調整機構は、例えば、回動、ロックが可能なユニバーサルジョイント、あるいはカメラ用自由雲台の如くに懸架された被支持体を、所望の取り付け角度にロックネジを緩めて指向した後、ロックネジを締め付け角度を固定することで方向を調整するような構成を採ることができる。
【００５８】
次に、本発明に係る第１の実施の形態のステレオカメラ支持装置１５０の動作について説明する。
【００５９】
図７は、車両３００に搭載されたステレオカメラの撮像方向を示す図であり、図８は、ステレオカメラ支持装置１５０における制御の、概略の手順を示すフロー図である。
【００６０】
図７の（Ａ）では、ステレオカメラ１１６はステレオカメラ結合装置１５９を介して車両３００の車内の適所（ダッシュボード上やフロントガラス上方の中央位置近傍等）に懸架されている。そして、このステレオカメラ１１６の視野３０５の中心線３０６は、道路面２１０に対して平行になるように設定されている。しかしながら、この状態では撮影されたフレームの上部領域には、目的とする被写体に関する画像を処理する上で不必要な背景領域である空が撮影され、本来必要とされる前方車両などの被写体３１０や道路面２１０等撮像する領域の占める割合が不十分な画像となっている。
【００６１】
そこで、図７の（Ｂ）に示すように、ステレオカメラ結合装置１５９による制御によってステレオカメラ１１６の撮像姿勢を調節し、前方の被写体３１０の上端部（当該被写体の輪郭のうち最高水準位置にある輪郭部分）が視野３０５の上端部（従って、撮像された映像のフレーム上端）に位置するように調節する。これによって、道路面２１０の撮影領域が広がり、また空などの不必要な背景領域が減少し視野を有効に利用することができる。
【００６２】
上述のステレオカメラ支持装置１５０の制御動作を、図８を参照しつつ説明する。
【００６３】
支持制御装置１６０は、処理装置１０３が実行した物体認識処理結果を受け取る（Ｓ１）。即ち、処理装置１０３は、三次元距離画像（該当するピクセルを表わす情報と距離を表わす情報とを含む）に基づいて、道路領域と非道路領域を弁別し、当該道路領域内に存在する被写体３１０を認識して抽出する。この際処理装置１０３は、認識した被写体３１０の内から、走行している車両のみをその特徴に基づいて抽出しても良い。
【００６４】
支持制御装置１６０は、撮像視野中に存在する被写体３１０についての輪郭部分の最高水準位置を求める（Ｓ２）。そして、その最高水準位置が視野３０５の上端部（従って、映像のフレーム上端。以下同様）よりも上にあるかどうかを調べる（Ｓ３）。撮像視野中に複数の被写体３１０が存在するときは、それらの内、輪郭部分の水準位置が最も高い位置を求める。
【００６５】
その最高水準位置が視野３０５の上端部よりも下にある場合（Ｓ３Ｎｏ）は、ステレオカメラ１１６は所望の姿勢位置に対して後傾している。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出出力からカメラの傾きを取り込み、被写体３１０の最高水準位置が視野３０５の上端部に位置するように、支持制御装置１６０に対してカメラアダプタ１０１の姿勢を調節する制御信号を出力する（Ｓ４）。
【００６６】
その最高水準位置が視野３０５の上端部よりも上にある場合（Ｓ３Ｙｅｓ）は、ステレオカメラ１１６は所望の姿勢位置に対して前傾している。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出出力からカメラの傾きを取り込み、被写体３１０の最高水準位置が視野３０５の上端部に位置するように、ステレオカメラ結合装置１５９に対してカメラ姿勢を調節する制御信号を出力する（Ｓ５）。
【００６７】
制御信号を受け取ったステレオカメラ結合装置１５９は、内部に設けられカメラの姿勢を調節するための機構を駆動して、ステレオカメラ１１６の視野３０５を所望位置に調節する（Ｓ６）。
【００６８】
上述において、車両の電源キーがオンにされる等してステレオカメラ支持装置が起動した当初の時点でのステレオカメラ１１６の姿勢をどのようにするかについては、何通りかの態様をとり得る。
【００６９】
即ち、一つの態様では、起動時（即ち、本システムの初動時）には一律に水平の姿勢（ステレオカメラの撮像光学系乃至その近傍に設定した視点からステレオカメラ１１６の撮像視野を見込んで撮影するときの視野の中心線、即ち、図７にて既述の中心線３０６、が水平方向となる姿勢）となるようにしておき、その後、車両の走行に伴なって上述の三次元距離画像の情報に基づいて次第にステレオカメラの姿勢を既述の如く調節するように制御を行なう。
【００７０】
この態様をとる場合は、初動状態では、例えば、ガレージの壁面を撮像してしまうような状況であっても、ステレオカメラは、その後の走行による視野の展開に応じて何れの姿勢にも中立的な位置から最適な姿勢に向けて適切な制御が実行され得る。従って、このシステムにおける制御に馴染まないような初動段階にあるときに無駄な情報処理や制御が行われ、これに起因して優先順位が相対的に高い処理の高速化が阻害されるといった恐れが回避される。
【００７１】
また、別の態様としては、初動時は、前回の制御で設定された最後の状態を維持するようにしてもよい。この場合は、車両が再度走行を始めるのは、前回の制御で設定された最後の状態からである蓋然性が高いことから、走行を開始してから比較的早い時点でステレオカメラの姿勢を目標とされるべきものに合致させることができる可能性が高い。
【００７２】
また更に別の態様として、初動時は、ステレオカメラの姿勢を相対的に下向き（即ち、上述の中心線３０６が、水平方向よりも下向き、乃至、初動時以外に制御される向きよりも下向きの姿勢）に設定するように制御する態様をとってもよい。この場合は、初動時に特に注意しなくてはならない周囲の障害物や幼児、ペットの動物等の存在を見逃してしまうといった恐れを低減させることができる。
【００７３】
上述した初動時でのステレオカメラの姿勢制御の各種態様は、例えば、予め複数の制御モードとして操作者の任意によって選択可能に設定され得るようにシステムを構成してもよい。
【００７４】
以上は、初動時におけるステレオカメラの姿勢に関する種々の制御態様であるが、本発明のシステムを備えた車両の走行状態に応じてステレオカメラの姿勢制御の傾向を選択する態様も採り得る。即ち、高速走行時は、ステレオカメラの姿勢を相対的に下向き（上述と略々同義）となるように制御し、低速走行時は、相対的に上向きとなるように制御する。
【００７５】
この態様によれば、高速走行時には撮像により得た映像から道路の部分を安定的に抽出・弁別し、遠方の車両を正確に認識することができ、低速走行時には運転者による注意が薄れがちな比較的高い物体を確実に認識できるといった点で性能が高いシステムが実現される。
【００７６】
尚、注目すべき被写体の輪郭の最高水準部分が映像のフレームの上端を更に上方に逸脱してしまうような高い被写体に近接し乃至遭遇したことが該当するセンサ等によりされたときには、自動的に、ステレオカメラの姿勢が上向きとなるに制御されるようにしてもよく、また、操作者の認識に基づいて人為的操作によって、ステレオカメラの姿勢を上向きに操作するための補助的手段を併設するようにしてもよい。
【００７７】
尚、ステレオカメラの姿勢を、該ステレオカメラを備える車両の組立て行程中、乃至、工場出荷前に所定のものに設定することは、一つの技術的手法として考慮され得る。
【００７８】
尚、カメラを移動させるための制御動作は、所謂現代制御理論によるか古典制御理論によるかに拘わらず、フィードバック制御或いはフィードフォワード制御乃至これらを折衷した方式であって良く、ＰＩＤ制御、Ｈインフィニティ制御、適応型モデル制御、ファジイ制御、ニューラルネットなどの公知の種々の制御方法を適用することができる。例えば、一般的なＰＩＤ等のフィードバック制御を用いる場合には、支持制御装置１６０は、その制御ループ内で最高水準位置と視野３０５の上端との偏差量に対応した制御信号を生成してステレオカメラ結合装置１５９に出力し、その偏差量が０になるまでその動作を繰り返すことで所望の姿勢にカメラを制御することができる。
【００７９】
上述より理解されるとおり、この実施の形態では、ステレオカメラ１１６を設置する車両側に設けられた支持部材（メンバー）１５１と該ステレオカメラ１１６の所定部位に設けられた被支持部材（メンバー）１５２とが上記両メンバー間の相対位置が所定範囲内で可変であるように結合することによって当該ステレオカメラを上記車両に支持するように構成された結合部材と、このような結合部材によって車両に支持されたステレオカメラ１１６の姿勢乃至位置を制御する制御手段とは、ステレオカメラ結合装置１５９と支持制御装置１６０との各該当機能部によって具現化されている。
【００８０】
また、このような支持制御装置１６０を含むシステムは、制御手段は、当該車両の姿勢乃至位置を検出する検出手段の検出出力を用いてステレオカメラの姿勢制御を行なうが、この制御においてはこれら検出出力を制御系の一の状態変数として制御動作を行なう形態であり得る。
【００８１】
また支持制御装置１６０の制御演算機能部は別個の回路として構成することなく制御装置１０４の該当機能部と一体的に当該車両に搭載される共通のコンピュータによってこの機能をも賄うように構成され得る。
【００８２】
［第２の実施の形態］
次に、本発明に係る第２の実施の形態のステレオカメラ支持装置１５０について説明する。
【００８３】
第２の実施の形態のステレオカメラ支持装置１５０は第１の実施の形態のステレオカメラ支持装置１５０と同様に、図１に示すステレオカメラシステムに組み込まれて適用される。そして第２の実施の形態のステレオカメラ結合装置１５９の構成は、図６に示す第１の実施の形態のステレオカメラ結合装置１５９の構成と同様である。従って、第１の実施の形態と同一の部位には同一の符号を付して、その詳細の説明は省略する。
【００８４】
次に、本発明に係る第２の実施の形態のステレオカメラ支持装置１５０の動作について説明する。本実施の形態では、ステレオカメラ支持装置１５０は、車両３００の前後方向の傾きによる視野の変化を補正する。
【００８５】
図９は、車両の前後方向の傾きによるステレオカメラの撮像方向を示す図であり、図１０は、ステレオカメラ支持装置１５０における制御動作の概略の手順を示すフロー図である。
【００８６】
図９の（Ａ）に示すように、ステレオカメラ１１６は、ステレオカメラ結合装置１５９を介して水平面に対して所定の傾き角度θ下方を観測するように車両３００に懸架されている。そして、この車両３００には、車体の前後の傾きを検出する傾斜センサ１５６ａあるいは、前輪部、後輪部のサスペンションとの距離を測定するサスペンションストロークセンサ１５６ｂ、１５６ｃが設けられている。
【００８７】
ところで、車両３００に乗車する人数、乗車位置が変化した場合、または車の荷台に積載する荷物の重量が変化した場合には、それによって車両３００の前後の傾斜角度も変化する。更に、減速、加速時においても車両３００の前後の傾斜角度は変化する。この結果、ステレオカメラの視野も適正な状態から外れてしまうこととなる。
【００８８】
そこで、図９の（Ｂ）に示すように、傾斜センサ１５６ａで検出した車体の傾斜角、あるいはサスペンションストロークセンサ１５６ｂ、１５６ｃで検出したストロークから算出した車体の傾斜角に基づいて、カメラの視野が所望の状態になるようにステレオカメラアダプタ１１６の撮像方向を制御する。
【００８９】
尚、傾斜センサ１５６ａ、サスペンションストロークセンサ１５６ｂ、１５６ｃ等を複数の検出端の各変換器として含んで既述の車両姿勢センサ１５６が構成される形態をとり得る。
【００９０】
上述のステレオカメラ支持装置１５０の制御動作を、図１０を参照しつつ説明する。
【００９１】
支持制御装置１６０は、車両３００の前輪部と後輪部に取り付けたサスペンションストロークセンサ１５６ｂ、１５６ｃの検出出力を読み込む（Ｂ０１）。そして、このストロークセンサの差を演算することにより、車両３００の前後の傾きを算出する（Ｂ０２）。そして、車両が基準状態と比較して前傾しているかどうかを調べる（Ｂ０３）。
【００９２】
車両が基準状態と比較して後傾している場合（Ｂ０３Ｎｏ）は、ステレオカメラ１１６は所望の姿勢位置におけるよりも上方を撮像している。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出出力からカメラの傾きを取り込み、ステレオカメラ結合装置１５９に対してステレオカメラ１１６の視野方向が下向きとなるようにカメラの姿勢を調節させるための制御信号を出力する（Ｂ０４）。
【００９３】
車両が基準状態と比較して前傾している場合（Ｂ０３Ｙｅｓ）は、ステレオカメラ１１６は所望の姿勢位置におけるよりも下方を撮像している。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出出力からカメラの傾きを取り込み、ステレオカメラ結合装置１５９に対してステレオカメラ１１６の視野方向が上向きとなるようにカメラの姿勢を調節させるための制御信号を出力する（Ｂ０５）。
【００９４】
制御信号を受け取ったステレオカメラ結合装置１５９は、内部に設けられたカメラの姿勢を調節するための機構を駆動して、ステレオカメラ１１６の視野３０５が所望位置となるように調節する（Ｂ２０）。
【００９５】
尚、車両３００の傾きは傾斜センサ１５６ａの検出出力を用いて検出するようにしても良く、また、サスペンションストロークセンサ１５６ｂ、１５６ｃの検出出力と、傾斜センサ１５６ａの検出出力を組合わせて傾斜角度を算出するようにしても良い。
【００９６】
尚、カメラを移動させるための制御動作は、所謂現代制御理論によるか古典制御理論によるかに拘わらず、フィードバック制御或いはフィードフォワード制御乃至これらを折衷した方式であって良く、ＰＩＤ制御、Ｈインフィニティ制御、適応型モデル制御、ファジイ制御、ニューラルネットなどの公知の種々の制御方法を適用することができる。例えば、一般的なＰＩＤ等のフィードバック制御を用いる場合には、支持制御装置１６０は、その制御ループ内でカメラ姿勢センサ１５５の目標値と実績値との偏差量に対応した制御信号を生成してステレオカメラ結合装置１５９に出力し、その偏差量が０になるまでその動作を繰り返すことで所望の姿勢にカメラを制御することができる。
【００９７】
また、本第２の実施の形態に係るステレオカメラ支持装置１５０の制御動作は、第１の実施の形態に係るステレオカメラ支持装置１５０の制御動作と組合わせて動作させても良く、また単独で動作させても良い。
【００９８】
［第３の実施の形態］
次に、本発明に係る第３の実施の形態のステレオカメラ支持装置１５０について説明する。
【００９９】
第３の実施の形態のステレオカメラ支持装置１５０は第１の実施の形態のステレオカメラ支持装置１５０と同様に、図１に示すステレオカメラシステムに組み込まれて適用される。そして第３の実施の形態のステレオカメラ結合装置１５９の構成は、図６に示す第１の実施の形態のステレオカメラ結合装置１５９の構成と同様である。従って、第１の実施の形態と同一の部位には同一の符号を付して、その詳細の説明は省略する。
【０１００】
次に、本発明に係る第３の実施の形態のステレオカメラ支持装置１５０の動作について説明する。本実施の形態では、ステレオカメラ支持装置１５０は、車両の左右方向の傾きによる視野の変化を補正する。
【０１０１】
図１１は、車両３００が左右方向に傾いたときのステレオカメラの姿勢を示す図であり、図１２は、ステレオカメラ支持装置１５０における制御動作の概略の手順を示すフロー図である。
【０１０２】
図１１の（Ａ）に示すように、ステレオカメラ１１６は、ステレオカメラ結合装置１５９を介して道路面２１０に対して平行に車両３００に懸架されている。そして、この車両３００には、車体の左右の傾きを検出する傾斜センサ１５６ｄ、あるいは左右の車輪部のサスペンションの距離を測定するサスペンションストロークセンサ１５６ｅ、１５６ｆが設けられている。
【０１０３】
ところで、車両３００に乗車する人数、乗車位置が変化した場合、または車の荷台に積載する荷物の重量が変化した場合には、それによって車両３００の左右の傾斜角度も変化する。更に、右折、左折時においても車両３００の左右の傾斜角度は変化する。この結果、ステレオカメラの視野（それを見込む方向）も適正な状態から外れてしまうこととなる。
【０１０４】
そこで、図１１の（Ｂ）に示すように、傾斜センサ１５６ｄで検出した車体の傾斜角、あるいはサスペンションストロークセンサ１５６ｅ、１５６ｆで検出したストロークから算出した車体の傾斜角に基づいて、カメラの視野が所望の状態になるようにステレオカメラ１１６の撮像方向を制御する。
【０１０５】
上述のステレオカメラ支持装置１５０の制御動作を、図１２を参照しつつ説明する。
【０１０６】
支持制御装置１６０は、車両３００の左右に取り付けたサスペンションストロークセンサ１５６ｅ、１５６ｆの検出出力を読み込む（Ｂ０６）。そして、このストロークセンサの出力値の差を演算することにより、車両３００の左右の傾きを算出し（Ｂ０７）、車両が基準状態と比較して右傾しているかどうかを調べる（Ｂ０８）。
【０１０７】
車両が基準状態と比較して左傾している場合（Ｂ０８Ｎｏ）は、ステレオカメラ１１６は所望の姿勢位置に対して左傾して撮像している。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出値からカメラの傾きを取り込み、ステレオカメラ結合装置１５９に対してステレオカメラ１１６の方向を右傾向きに調節させるための制御信号を出力する（Ｂ０９）。
【０１０８】
車両が基準状態と比較して右傾している場合（Ｂ０８Ｙｅｓ）は、ステレオカメラ１１６は所望の姿勢位置に対して右傾して撮像している。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出出力からカメラの傾きを取り込み、ステレオカメラ結合装置１５９に対してカメラアダプタ１１６の方向を左傾向きに調節させるための制御信号を出力する（Ｂ１０）。
【０１０９】
制御信号を受け取ったステレオカメラ結合装置１５９は、内部に設けられたカメラの姿勢を調節するための機構を駆動して、ステレオカメラ１１６の視野３０５を所望位置に調節する（Ｂ２０）。
【０１１０】
尚、車両３００の傾きは傾斜センサ１５６ｄの検出出力を用いても良く、また、サスペンションストロークセンサ１５６ｅ、１５６ｆの検出出力と、傾斜センサ１５６ｄの検出出力を組合わせて傾斜角度を算出するようにしても良い。
【０１１１】
尚、カメラを移動させるための制御動作は、所謂現代制御理論によるか古典制御理論によるかに拘わらず、フィードバック制御或いはフィードフォワード制御乃至これらを折衷した方式であって良く、ＰＩＤ制御、Ｈインフィニティ制御、適応型モデル制御、ファジイ制御、ニューラルネットなどの公知の種々の制御方法を適用することができる。例えば、一般的なＰＩＤ等のフィードバック制御を用いる場合には、支持制御装置１６０は、その制御ループ内でカメラ姿勢センサ１５５の目標値と実績値との偏差量に対応した制御信号を生成してステレオカメラ結合装置１５９に出力し、その偏差量が０になるまでその動作を繰り返すことで所望の姿勢にカメラを制御することができる。
【０１１２】
また、本第３の実施の形態に係るステレオカメラ支持装置１５０の制御動作は、第１の実施の形態に係るステレオカメラ支持装置１５０の制御動作と組合わせて動作させても良く、また単独で動作させても良い。
【０１１３】
［第４の実施の形態］
次に、本発明に係る第４の実施の形態のステレオカメラ支持装置１５０について説明する。
【０１１４】
第４の実施の形態のステレオカメラ支持装置１５０は第１の実施の形態のステレオカメラ支持装置１５０と同様に、図１に示すステレオカメラシステムに組み込まれて適用される。そして第４の実施の形態のステレオカメラ結合装置１５９の構成は、図６に示す第１の実施の形態のステレオカメラ結合装置１５９の構成と同様である。従って、第１の実施の形態と同一の部位には同一の符号を付して、その詳細の説明は省略する。
【０１１５】
次に、本発明に係る第４の実施の形態のステレオカメラ支持装置１５０の動作について説明する。本実施の形態では、ステレオカメラ支持装置１５０は、道路面２１０の傾斜を検出して視野の変化を補正する。
【０１１６】
図１３は、道路面の傾きとステレオカメラの撮像方向を示す図であり、図１４は、ステレオカメラ支持装置１５０の制御動作の概略の手順を示すフロー図である。
【０１１７】
図１３の（Ａ）、（Ｂ）に示すように、車両３００の進行方向前方の道路面２１０が傾斜している場合には、ステレオカメラの視野が適正な状態から外れてしまうこととなる。例えば、図１３の（Ａ）に示すように、道路面２１０が登りの場合は、撮像フレーム中には道路面の領域が増加するが被写体３１０（図７参照）に関する情報が減少する。また、図１３の（Ｂ）に示すように、道路面２１０が下りの場合は、撮像フレーム中には被写体３１０（図７参照）に関する情報が増加するが道路面の領域が減少する。
【０１１８】
そこで、進行方向前方の道路面２１０の傾斜を検出しそれに基づいてカメラの視野が所望の状態になるようにステレオカメラ１１６の撮像方向を調節する。
【０１１９】
上述のステレオカメラ支持装置１５０の制御動作を、図１４を参照しつつ説明する。
【０１２０】
支持制御装置１６０は、処理装置１０３が実行した道路面認識処理結果を受け取る（Ｂ１１）。即ち、処理装置１０３は、三次元距離画像（該当するピクセルを表わす情報と距離を表わす情報とを含む）に基づいて、進行方向の道路領域と非道路領域を弁別し道路面を認識して抽出する。
【０１２１】
支持制御装置１６０は、抽出された道路面情報に基づいて特定の位置を求める（Ｂ１２）。この特定の位置としては、例えば道路の両辺の延長線が画像フレーム上で交わる所謂バニッシングポイントとすることができる。そして、求めた特定の位置が画像フレーム中の所定の位置よりも下に位置するかどうかを調べる（Ｂ１３）。即ち、特定の位置を見込む仰角が、所定の仰角よりも小さいかどうかを調べる。
【０１２２】
特定の位置を見込む仰角が、所定の仰角よりも大きい場合（Ｂ１４Ｎｏ）は、ステレオカメラ１１６は所望の姿勢位置に対して上向きとなっている。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出出力からカメラの傾きを取り込み、特定の位置を見込む角が、所定の角となるように、ステレオカメラ結合装置１５９に対してステレオカメラ１１６の撮像方向を調節させる制御信号を出力する（Ｂ１４）。
【０１２３】
特定の位置を見込む仰角が、所定の仰角よりも小さい場合（Ｂ１４Ｙｅｓ）は、ステレオカメラ１１６は所望の姿勢位置に対して下向きとなっている。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出値からカメラの傾きを取り込み、特定の位置を見込む角が、所望の角となるように、ステレオカメラ結合装置１５９に対してステレオカメラ１１６の撮像方向を移動させる制御信号を出力する（Ｂ１５）。
【０１２４】
制御信号を受け取ったステレオカメラ結合装置１５９は、内部に設けられたカメラの姿勢を調節するための機構を駆動して、ステレオカメラ１１６の視野が所望の位置となるように調節する（Ｂ２０）。
【０１２５】
尚、カメラを移動させるための制御動作は、所謂現代制御理論によるか古典制御理論によるかに拘わらず、フィードバック制御或いはフィードフォワード制御乃至これらを折衷した方式であって良く、ＰＩＤ制御、Ｈインフィニティ制御、適応型モデル制御、ファジイ制御、ニューラルネットなどの公知の種々の制御方法を適用することができる。
【０１２６】
例えば、指示制御装置１６０は、その制御ループ内で進行方向前方の道路面２１０におけるカメラ姿勢センサ１５５の目標値と制御量との制御偏差に応じた操作量の制御信号を生成し、更に、要すれば、予め準備された車両の運動モデルに依拠して加減速の現在値、ハンドルの操作角等に応じてフィードバック制御だけでは補償しきれない制御偏差を除くための補償用操作信号を生成してフィードフォワード制御による補償を加味することによって、オフセットのない且つロバストな制御を実現することができる。
【０１２７】
即ち、このようなフィードバック制御とフィードフォワード制御との折衷による制御を適用することにより、車両の姿勢変動が激しく、フィードバック制御だけでは十分に制御偏差を低減させることが困難であると予測されるような状況においても、追従性が高い理想的なカメラの姿勢制御を実現することができる。
【０１２８】
また、本第４の実施の形態に係るステレオカメラ支持装置１５０の制御動作は、第１の実施の形態に係るステレオカメラ支持装置１５０の制御動作と組合わせて動作させても良く、また単独で動作させても良い。
【０１２９】
［第５の実施の形態］
次に、本発明に係る第５の実施の形態のステレオカメラ支持装置１５０について説明する。
【０１３０】
第５の実施の形態のステレオカメラ支持装置１５０は第１の実施の形態のステレオカメラ支持装置１５０と同様に、図１に示すステレオカメラシステムに組み込まれて適用される。そして第５の実施の形態のステレオカメラ結合装置１５９の構成は、図６に示す第１の実施の形態のステレオカメラ結合装置１５９の構成と同様である。従って、第１の実施の形態と同一の部位には同一の符号を付して、その詳細の説明は省略する。
【０１３１】
次に、本発明に係る第５の実施の形態のステレオカメラ支持装置１５０の動作について説明する。本実施の形態では、ステレオカメラ支持装置１５０は、第４の実施の形態の図１３に示すように、道路面２１０の傾斜を検出して視野の変化を補正する。但し、第５の実施の形態では、道路面の傾斜をＧＰＳ１１３からの情報に基づいて把握する点が第４の実施の形態と異なっている。
【０１３２】
図１５は、ステレオカメラ支持装置１５０の制御動作の概略の手順を示すフロー図である。
【０１３３】
支持制御装置１６０は、ＧＰＳ１１３（図１）からの地図情報に基づいて、車両３００の現在位置と進行方向前方の道路の地形情報を受け取る（Ｂ１５）。そして、支持制御装置１６０は、前方の道路面２１０の傾斜を予測して（Ｂ１６）、予測した傾斜が登りかどうかを調べる（Ｂ１７）。
【０１３４】
前方の道路の傾斜が下りの場合（Ｂ１７Ｎｏ）は、ステレオカメラ１１６の撮像方向は適正な姿勢位置に対して上向きとなっていると判断される。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出出力からカメラの傾きのデータを取り込み、その角度に対応した下向き補正量を算出して、ステレオカメラ結合装置１５９に対してカメラを移動させる制御信号を出力する（Ｂ１８）。
【０１３５】
前方の道路の傾斜が登りの場合（Ｂ１７Ｙｅｓ）は、ステレオカメラ１１６の撮像方向は適正な姿勢位置に対して下向きとなっていると判断される。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出出力からカメラの傾きのデータを取り込み、その角度に対応した上向き補正量を算出して、ステレオカメラ結合装置１５９に対してカメラの姿勢を調節させる制御信号を出力する（Ｂ１９）。
【０１３６】
制御信号を受け取ったステレオカメラ結合装置１５９は、内部に設けられたカメラの姿勢を調節するための機構を駆動して、ステレオカメラ１１６の視野が所望位置に合致するように調節する（Ｂ２０）。
【０１３７】
尚、カメラを移動させるための制御動作は、所謂現代制御理論によるか古典制御理論によるかに拘わらず、フィードバック制御或いはフィードフォワード制御乃至これらを折衷した方式であって良く、ＰＩＤ制御、Ｈインフィニティ制御、適応型モデル制御、ファジイ制御、ニューラルネットなどの公知の種々の制御方法を適用することができる。
【０１３８】
例えば、指示制御装置１６０は、その制御ループ内で進行方向前方の道路面２１０におけるカメラ姿勢センサ１５５の目標値と制御量との制御偏差に応じた操作量の制御信号を生成し、更に、要すれば、予め準備された車両の運動モデルに依拠して加減速の現在値、ハンドルの操作角等に応じてフィードバック制御だけでは補償しきれない制御偏差を除くための補償用操作信号を生成してフィードフォワード制御による補償を加味することによって、オフセットのない且つロバストな制御を実現することができる。
【０１３９】
即ち、このようなフィードバック制御とフィードフォワード制御との折衷による制御を適用することにより、車両の姿勢変動が激しく、フィードバック制御だけでは十分に制御偏差を低減させることが困難であると予測されるような状況においても、追従性が高い理想的なカメラの姿勢制御を実現することができる。
【０１４０】
また、本第５の実施の形態に係るステレオカメラ支持装置１５０の制御動作は、第１の実施の形態に係るステレオカメラ支持装置１５０の制御動作と組合わせて動作させても良く、また単独で動作させても良い。
【０１４１】
以上、本発明に係る各実施の形態のステレオカメラ支持装置１５０を用いれば、道路を走行する先行車両の形状、先行車両との車間距離、本ステレオカメラを搭載した車両の走行状態あるいは道路状態による前後左右の車体の傾き、前方の道路面の傾斜などに影響されない適正な撮像視野を確保することができる。
【０１４２】
［映像表示方法の実施例］
次に、本発明に係るステレオカメラ支持装置１５０が適用されるステレオカメラシステムを用いて、運転者に対する映像を表示する方法について図１６を参照しつつ説明する。ステレオカメラ１１６は、一般に複数の視点を備えた構成とすることができるが、図１６では簡単のために２つの視点を備えた構成として表現している。
【０１４３】
ステレオカメラ１１６からは、右側の視野３０５ａによる映像２０１ａと、右側の視野３０５ｂによる映像２０１ｂが得られる。そこで、制御装置１０４は、運転者の運転位置に応じてこの映像２０１ａ、２０１ｂを切り替えて表示装置１０８に表示する。
【０１４４】
例えば、運転席が右側にある場合は、右側の映像２０１ａを表示装置１０８に表示し、運転席が左側にある場合は、左側の映像２０１ｂを表示装置１０８に表示する。これによって、運転者の視点と映像の視点とのずれをできるだけ少なくすることができ、映像がより自然に見られるという効果が生ずる。
【０１４５】
尚、上述の実施の形態では、ステレオカメラ支持装置は車に搭載されているが、本発明はこの形態に限定されるものではない。即ち、本発明は移動体における測距の眼として搭載されるステレオカメラ一般に適用することが可能である。したがって、本発明は、車、船舶、航空機、ロボットなどの移動体にも搭載することができる。
【０１４６】
また、本発明のシステム実施の形態は、必ずしも車両やロボットのような移動体に測距の目として搭載される場合に限定されるものではなく、例えば、カメラ自体は、監視カメラの如く水平面上での位置を固定されながら自己に向かってくる乃至は自己から遠ざかるように相対移動する物体との距離を測るように設置される形態で実施されても極めて有効である。
【０１４７】
尚、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。制御手段（支持制御装置１６０の制御演算機能部等）を、当該車両の姿勢乃至位置を検出する検出手段の検出出力をその制御における状態変数として、且つ、上記ステレオカメラによる映像に依拠することなく、制御動作を行なうように構成する等である。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【０１４８】
【発明の効果】
以上説明したように、本発明のステレオカメラ支持装置によれば、背景その他の周囲の他部に依存せずにその被写体自体の距離等当該被写体に着目した情報を効率的に取得することができる。
【図面の簡単な説明】
【図１】ステレオカメラ支持装置が適用されるステレオカメラシステムの構成を示す図。
【図２】ステレオアダプタの構成を示す図。
【図３】ステレオカメラの車両への装着を示す図。
【図４】処理装置で求めた三次元距離画像を示す図。
【図５】三次元再構成等の処理を行って抽出した画像の表示を示す図。
【図６】ステレオカメラ支持装置のステレオカメラ結合装置の構成を示す図。
【図７】車両に搭載されたステレオカメラの撮像方向を示す図。
【図８】ステレオカメラ支持装置における制御動作の概略の手順を示すフロー図。
【図９】車両の前後方向の傾きによるステレオカメラの撮像方向を示す図。
【図１０】ステレオカメラ支持装置における制御動作の概略の手順を示すフロー図。
【図１１】車両の左右方向の傾きによるステレオカメラの姿勢を示す図。
【図１２】ステレオカメラ支持装置における制御動作の概略の手順を示すフロー図。
【図１３】道路面の傾きとステレオカメラの撮像方向を示す図。
【図１４】ステレオカメラ支持装置における制御動作の概略の手順を示すフロー図。
【図１５】ステレオカメラ支持装置における制御動作の概略の手順を示すフロー図。
【図１６】運転者に対する映像を表示する方法を説明する図。
【符号の説明】
１０１…ステレオアダプタ、１０２…撮像装置、１０３…処理装置、１０４…制御装置、１０５…入力装置、１０８…表示装置、１１３…ＧＰＳ、１１６…ステレオカメラ、１５０…ステレオカメラ支持装置、１５５…カメラ姿勢センサ、１５６…車両姿勢センサ、１５９…ステレオカメラ結合装置、１６０…支持制御装置、２１０…道路面、３００…車両、３０５…視野、３１０…被写体。

Claims

相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを支持するステレオカメラ支持装置であって、
上記ステレオカメラを設置する車両側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとが上記両メンバー間の相対関係が所定範囲内で可変であるように結合することによって当該ステレオカメラを上記車両に支持するように構成された結合部材と、
上記結合部材によって上記車両に支持されたステレオカメラの姿勢乃至位置を制御する制御手段と、を備え、
上記制御手段は、上記ステレオカメラによって得られる映像に関して、当該映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記車両の姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように、当該ステレオカメラの姿勢乃至位置を制御し得るように構成されたものであることを特徴とするステレオカメラ支持装置。
上記制御手段は、当該車両の姿勢乃至位置を検出する検出手段の検出出力に基づいて制御動作を行なうように構成されたものであることを特徴とする請求項１に記載のステレオカメラ支持装置。
上記制御手段は、上記ステレオカメラによって得られる映像の特徴を評価して認識する映像認識手段の出力に依拠して制御動作を行なうように構成されたものであることを特徴とする請求項１に記載のステレオカメラ支持装置。
上記制御手段は、当該車両の姿勢乃至位置を検出する検出手段の検出出力と、上記ステレオカメラによって得られる映像の特徴を評価して認識する映像認識手段の出力と、に依拠して制御動作を行なうように構成されたものであることを特徴とする請求項１に記載のステレオカメラ支持装置。
上記検出手段は、当該車両の傾きを検出する傾斜検出手段、当該車両の所定部の水準位置を検出する高さ検出手段の内少なくとも１つを含むことを特徴とする請求項２または４に記載のステレオカメラ支持装置。
上記傾斜検出手段は鉛直方向又は水平方向に対する相対的な角度を検出するものであることを特徴とする請求項５に記載のステレオカメラ支持装置。
上記高さ検出手段は当該車両の接地面に対する相対的な位置を検出するものであることを特徴とする請求項５に記載のステレオカメラ支持装置。
上記制御手段は、フィードバック制御を行なうことを特徴とする請求項１乃至３の内いずれか１項に記載のステレオカメラ支持装置。
上記制御手段は、フィードフォワード制御を行なうことを特徴とする請求項１乃至３の内いずれか１項に記載のステレオカメラ支持装置。
相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを支持するステレオカメラ支持装置であって、
上記ステレオカメラを設置する物体側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとが上記両メンバー間の相対関係が所定範囲内で可変であるように結合することによって当該ステレオカメラを上記物体上に支持するように構成された結合部材と、
上記結合部材によって上記物体上に支持されたステレオカメラの姿勢乃至位置を制御する制御手段と、を備え、
上記制御手段は、上記ステレオカメラによって得られる映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記物体と上記撮像視野内の注目被写体との相対的姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように当該ステレオカメラの姿勢乃至位置を制御し得るように構成されたものであることを特徴とするステレオカメラ支持装置。
相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを支持するステレオカメラ支持方法であって、
上記ステレオカメラを設置する車両側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとを上記両メンバー間の相対関係が所定範囲内で可変であるように結合し、
上記結合によって上記車両に支持されたステレオカメラの姿勢乃至位置を、上記ステレオカメラによって得られる映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記車両の姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように、当該ステレオカメラの姿勢乃至位置を制御することを特徴とするステレオカメラ支持方法。
相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを支持するステレオカメラ支持方法であって、
上記ステレオカメラを設置する物体側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとを上記両メンバー間の相対関係が所定範囲内で可変であるように結合し、
上記結合によって上記物体上に支持されたステレオカメラの姿勢乃至位置を、上記ステレオカメラによって得られる映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記物体と上記撮像視野内の注目被写体との相対的姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように、当該ステレオカメラの姿勢乃至位置を制御することを特徴とするステレオカメラ支持方法。
上記制御手段は、当該車両の姿勢乃至位置を検出する検出手段の検出出力を状態変数とし、且つ、上記ステレオカメラによる映像に依拠することなく制御動作を行なうように構成されたものであることを特徴とする請求項１に記載のステレオカメラ支持装置。
相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを備えたステレオカメラシステムであって、上記ステレオカメラを設置する車両側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとが上記両メンバー間の相対位置が所定範囲内で可変であるように結合することによって当該ステレオカメラを上記車両に支持するように構成された結合部材と、
上記結合部材によって上記車両に支持されたステレオカメラの姿勢乃至位置を制御する制御手段と、を備え、
上記制御手段は、上記ステレオカメラの撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影することによって得られる映像に関して当該映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記車両の姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように、当該ステレオカメラの姿勢乃至位置を制御し得るように構成されたものであることを特徴とするステレオカメラシステム。
上記ステレオカメラによる撮影によって得られる映像情報に基づいて上記注目被写体の距離を算出する情報処理手段を更に備えたことを特徴とする請求項１４に記載のステレオカメラシステム。
上記情報処理手段は、上記ステレオカメラによる撮影によって得られる映像情報に基づいて当該車両に適用された表示手段に道路の状況を表わす映像を映出するためのデータを生成するように構成されたものであることを特徴とする請求項１５に記載のステレオカメラシステム。
上記情報処理手段は、上記ステレオカメラによる撮影によって得られる映像情報に基づいて当該車両に適用された表示手段に道路の状況を表わす映像に該車両から等距離にある道路上の点群を表わす指標をスーパーインポーズ表示して映出するためのデータを生成するように構成されたものであることを特徴とする請求項１５に記載のステレオカメラシステム。
上記情報処理手段は、上記ステレオカメラによる撮影によって得られる映像情報に基づいて当該車両に適用された警告手段に警告を発報させるためのデータを生成するように構成されたものであることを特徴とする請求項１５に記載のステレオカメラシステム。
相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを備えたステレオカメラシステムであって、上記ステレオカメラを設置する物体側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとが上記両メンバー間の相対位置が所定範囲内で可変であるように結合することによって当該ステレオカメラを上記車両に支持するように構成された結合部材と、
上記結合部材によって上記物体に支持されたステレオカメラの姿勢乃至位置を制御する制御手段と、を備え、
上記制御手段は、上記ステレオカメラの撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影することによって得られる映像に関して
当該映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記物体と上記撮像視野内の注目被写体との相対的姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように当該ステレオカメラの姿勢乃至位置を制御し得るように構成されたものであることを特徴とするステレオカメラシステム。
上記制御手段は、初動時には、上記ステレオカメラを、その撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影するときの視野の中心線が実質的に水平方向となる姿勢に制御するよう構成されたものであることを特徴とする請求項１４に記載のステレオカメラシステム。
上記制御手段は、初動時には、上記ステレオカメラを、その撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影するときの視野の中心線が実質的に前回の制御で設定された最後の状態を維持するような姿勢に制御するよう構成されたものであることを特徴とする請求項１４に記載のステレオカメラシステム。
上記制御手段は、初動時には、上記ステレオカメラを、その撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影するときの視野の中心線が実質的に水平方向よりも下向きになる姿勢に制御するよう構成されたものであることを特徴とする請求項１４に記載のステレオカメラシステム。
上記制御手段は、当該車両の高速走行時には、上記ステレオカメラを、その撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影するときの視野の中心線が相対的に下向きになる姿勢に制御し、低速走行時には上記中心線が相対的に上向きになる姿勢に制御するよう構成されたものであることを特徴とする請求項１４に記載のステレオカメラシステム。
上記制御手段は、注目すべき被写体の輪郭の最高水準部分が映像のフレームの上端を更に上方に逸脱してしまうような高い被写体に遭遇したことが認識されたときには上記ステレオカメラの姿勢を上向きに制御するよう構成されたものであることを特徴とする請求項１４に記載のステレオカメラシステム。