JP2019056884A - 重畳画像表示装置 - Google Patents

Abstract

【課題】乗員に負担を与えることなく視認性が良い重畳画像を表示することを可能にした重畳画像表示装置を提供する。【解決手段】車両の乗員の視線前方の周辺環境に重畳する画像を視認させる場合において、乗員の両目の位置と視線方向を取得し、視線方向に沿って乗員の両目間の中点を通過する中心線が画像の表示領域と交差する交点に基づいて、表示領域に基準線を設定し、表示領域に表示する画像の内、基準線よりも左目に対応する側に表示される画像は左目のみに視認させる画像とし、基準線よりも右目に対応する側に表示される画像は右目のみに視認させる画像として表示するように構成する。【選択図】図９

Description

本発明は、車両の乗員に対して周辺環境に重畳させて視認させる画像を表示する重畳画像表示装置に関する。

従来より、車両等の移動体の乗員に対して経路案内や障害物の警告等の運転情報を提供する情報提供手段として、様々な手段が用いられている。例えば、移動体に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、このような情報提供手段の一つとして、ヘッドアップディスプレイ（以下、ＨＵＤという）やウインドウシールドディスプレイ（以下、ＷＳＤという）のように運転者の周辺環境に重畳する画像を表示することによって、情報の提供を行う装置がある。

ここで、上記のようなＨＵＤやＷＳＤでは、運転者の視線方向を前方から逸らすことなく、運転者の視界にある運転者に認識させたい物体（例えば、歩行者や他車両）に対して効果的な視線の誘導案内を行うことが可能となる。更に、周辺環境に重畳する画像を乗員に視認させる場合には、両目で画像を視認させる場合に加えて、片方の目のみに画像を視認させることも行われていた。

例えば特開２０１５−１９４７０９号公報には、ユーザに視認させる虚像を生成する場合において、ユーザの立体視距離が５０ｍ未満である場合には、両目で画像を視認させることによって虚像を生成し、ユーザの立体視距離が５０ｍ以上である場合には、片方の目のみで画像を視認させることによって虚像を生成することについて開示されている。それによって、ユーザの負担を減らすとともに視認性の良い虚像を生成することを可能としている。

特開２０１５−１９４７０９号公報（第５頁）

ここで、上記特許文献１には一定の条件を満たすと両目ではなく片方の目のみで画像を視認させて虚像を生成することについて開示されている。しかしながら、片方の目のみで画像を視認させる期間が継続すると、視認させる目が疲労することとなり、かえってユーザに負担を与えることとなっていた。更に、ユーザの負担が増加すれば虚像の視認性の低下につながる虞がある。

本発明は前記従来における問題点を解消するためになされたものであり、特に画像を表示する位置に応じて画像を視認させる乗員の目を適宜選択することによって、乗員に負担を与えることなく視認性が良い重畳画像を表示することを可能にした重畳画像表示装置を提供することを目的とする。

前記目的を達成するため本発明に係る重畳画像表示装置は、車両に搭載され、画像を前記車両の乗員の視線前方の周辺環境に重畳して視認させる重畳画像表示装置であって、前記乗員の両目の位置を取得する目位置取得手段と、前記乗員の視線方向を取得する視線方向取得手段と、前記視線方向に沿って前記乗員の両目間の中点を通過する中心線が前記画像を表示する表示領域と交差する交点に基づいて、前記表示領域に基準線を設定する基準線設定手段と、を有し、前記表示領域に表示する画像の内、前記基準線よりも左目に対応する側に表示される画像は左目のみに視認させる画像とし、前記基準線よりも右目に対応する側に表示される画像は右目のみに視認させる画像として表示する。
尚、「左目に対応する側」とは乗員から見て左目側に画像を表示する為の基準線に対する画像の表示方向であり、「右目に対応する側」とは乗員から見て右目側に画像を表示する為の基準線に対する画像の表示方向である。

前記構成を有する本発明に係る重畳画像表示装置によれば、車両の乗員の視線前方の周辺環境に重畳する画像を視認させる場合において、画像を表示する表示領域に設定された基準線を基準として、画像を表示する位置に応じて画像を視認させる乗員の目を適宜選択することが可能となる。特に左目において視認し易い画像は左目で、右目において視認し易い画像は右目で視認させるので、乗員に負担を与えることなく視認性が良い重畳画像を表示することが可能となる。

本実施形態に係る重畳画像表示装置の概略構成図である。 本実施形態に係るナビゲーション装置を示したブロック図である。 本実施形態に係るＨＵＤの内部構成を示した図である。 本実施形態に係る液晶ディスプレイの構成を示した図である。 本実施形態に係る虚像生成処理プログラムのフローチャートである。 液晶ディスプレイに表示対象となる警告画像の一例を示した図である。 基準線の設定方法について説明した図である。 画像表示領域に設定される基準線の一例を示した図である。 乗員の顔の向きが変化した場合において設定される基準線の一例を示した図である。 乗員の利き目に基づいて設定される基準線の一例を示した図である。 乗員から視認される警告画像の虚像の一例を示した図である。

以下、本発明に係る重畳画像表示装置を具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係る重畳画像表示装置１の概略構成について図１を用いて説明する。図１は本実施形態に係る重畳画像表示装置１の概略構成図である。

図１に示すように重畳画像表示装置１は、車両２に搭載されたナビゲーション装置３と、同じく車両２に搭載されるとともにナビゲーション装置３と接続されたヘッドアップディスプレイ装置（以下、ＨＵＤという）４とを基本的に有する。

ここで、ナビゲーション装置３は、目的地までの推奨経路を探索したり、車両２の現在位置を検出したり、サーバから取得したりメモリに格納された地図データに基づいて車両２の現在位置周辺の地図画像を表示したり、設定された案内経路に沿った移動案内や障害物に対する警告案内をＨＵＤ４とともに行う機能を有する。尚、上記機能の全てをナビゲーション装置３が備えている必要はなく、少なくとも設定された案内経路に沿った移動案内や障害物に対する警告案内を行う機能を有していれば本願発明を構成することが可能である。尚、ナビゲーション装置３の構造の詳細については後述する。

一方、ＨＵＤ４は、車両２のダッシュボード５内部に設置されており、内部には画像が表示される画像表示領域である液晶ディスプレイ６を有する。そして、液晶ディスプレイ６に表示された画像を、後述のようにＨＵＤ４が備える凹面鏡７等を介し、更に運転席の前方のフロントウィンドウ８に反射させて車両２の乗員９に視認させるように構成されている。尚、液晶ディスプレイ６に表示される画像としては、車両２に関する情報や乗員９の運転の支援の為に用いられる各種情報がある。例えば乗員９に対して警告対象となる対象物（他車両や歩行者）に対する警告、ナビゲーション装置３で設定された案内経路や案内経路に基づく案内情報（右左折方向を示す矢印等）、路面に表示する警告（追突注意、制限速度等）、現在車速、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。

また、本実施形態のＨＵＤ４では、フロントウィンドウ８を反射して乗員９が液晶ディスプレイ６に表示された画像を視認した場合に、乗員９にはフロントウィンドウ８の位置ではなく、フロントウィンドウ８の先の遠方の位置に液晶ディスプレイ６に表示された画像が虚像１０として視認されるように構成される。また、虚像１０は乗員９の視線前方の周辺環境に重畳して視認されることとなり、例えば乗員９の視野領域内に位置する任意の対象物（警告対象となる物等）に重畳させて視認させることも可能である。尚、乗員９が視認できる虚像１０は液晶ディスプレイ６に表示された画像であるが、凹面鏡７やその他のミラーを介することによって上下方向や左右方向が反転する場合があり、それらの反転を考慮して液晶ディスプレイ６の画像の表示を行う必要がある。また、凹面鏡７を介することによってサイズも変更する。

また、本実施形態では、後述のように液晶ディスプレイ６は視差バリア又はレンチキュラーレンズを備えてた液晶ディスプレイであり、任意の片方の目のみに視認可能な画像を表示することが可能である。即ち、本実施形態に係るＨＵＤ４は、片方の目のみで視認される虚像１０を生成することが可能となっている。

ここで、虚像１０を生成する位置、より具体的には乗員９から虚像１０までの距離（以下、結像距離という）Ｌについては、ＨＵＤ４が備える凹面鏡７の曲率、液晶ディスプレイ６と凹面鏡７との相対位置等によって適宜設定することが可能である。例えば、凹面鏡７の曲率が固定であれば、液晶ディスプレイ６において画像の表示された位置から凹面鏡７までの光路に沿った距離（光路長）によって結像距離Ｌが決定される。例えば結像距離Ｌが２５ｍとなるように光路長が設定されている。尚、ＨＵＤ４の構造の詳細については後述する。

また、本実施形態では乗員９の視野に重畳する画像を表示する手段としてＨＵＤ４を用いているが、他の手段を用いても良い。例えば、フロントウィンドウ８に対して画像を表示するウインドウシールドディスプレイ（ＷＳＤ）を用いても良い。例えば、フロントウィンドウ８をスクリーンとしてプロジェクタから映像を表示しても良いし、フロントウィンドウ８を透過液晶ディスプレイとしても良い。ＷＳＤによってフロントウィンドウ８に対して表示された画像は、ＨＵＤ４と同様に乗員９の視野に重畳する画像となる。

また、車両のフロントバンパの上方やルームミラーの裏側等にはフロントカメラ１１が設置される。フロントカメラ１１は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ１１により撮像された撮像画像に対して画像処理が行われることによって、フロントウィンドウ８越しに乗員９に視認される前方環境（即ち虚像１０が重畳される環境）の状況等が検出される。尚、フロントカメラ１１の代わりにミリ波レーダ等のセンサを用いても良い。

また、車両のインストルメントパネルの上面には車内カメラ１２が設置される。車内カメラ１２は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を運転席に向けて設置される。そして、運転席に座った乗員９の顔を撮像する。そして、車内カメラ１２により撮像された撮像画像に対して画像処理が行われることによって、乗員９の目の位置や視線方向を検出する。

次に、上記重畳画像表示装置１に含まれるナビゲーション装置３の概略構成について図２を用いて説明する。図２は本実施形態に係るナビゲーション装置３を示したブロック図である。

図２に示すように本実施形態に係るナビゲーション装置３は、ナビゲーション装置３が搭載された車両２の現在位置を検出する現在位置検出部１３と、各種のデータが記録されたデータ記録部１４と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１５と、ユーザからの操作を受け付ける操作部１６と、ユーザに対して車両周辺の地図や施設の関する施設情報を表示する液晶ディスプレイ１７と、経路案内に関する音声ガイダンスを出力するスピーカ１８と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１９と、ＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール２０と、を有する。また、ナビゲーション装置３はＣＡＮ等の車載ネットワークを介して、前述したＨＵＤ４、フロントカメラ１１及び車内カメラ１２等が接続されている。

以下に、ナビゲーション装置３が有する各構成要素について順に説明する。
現在位置検出部１３は、ＧＰＳ２１、車速センサ２２、ステアリングセンサ２３、ジャイロセンサ２４等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２２は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１５に出力する。そして、ナビゲーションＥＣＵ１５は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置３が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置３が備える構成としても良い。

また、データ記録部１４は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１４はハードディスクの代わりにフラッシュメモリやメモリーカードやＣＤやＤＶＤ等の光ディスクを有していても良い。また、地図情報ＤＢ３１は外部のサーバに格納させ、ナビゲーション装置３が通信により取得する構成としても良い。

ここで、地図情報ＤＢ３１は、例えば、道路（リンク）に関するリンクデータ３２、ノード点に関するノードデータ３３、施設等の地点に関する地点データ３４、各交差点に関する交差点データ、地図を表示するための地図表示データ、経路を探索するための探索データ、地点を検索するための検索データ等が記憶された記憶手段である。

ここで、リンクデータ３２としては、例えば、該リンクを識別するリンクＩＤ、該リンクの端部に位置するノードを特定する端部ノード情報、該リンクが構成する道路の道路種別等が記憶される。また、ノードデータ３３としては、該ノードを識別するノードＩＤ、該ノードの位置座標、該ノードがリンクを介して接続される接続先ノードを特定する接続先ノード情報等が記憶される。また、地点データ３４としては、目的地への設定対象となる施設に関する各種情報が記憶される。例えば、施設を特定するＩＤ、施設名称、位置座標、ジャンル、住所等が記憶される。

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１５は、ナビゲーション装置３の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の虚像生成処理プログラム（図５）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１５は、処理アルゴリズムとしての各種手段を有する。例えば、目位置取得手段は、乗員９の両目の位置を取得する。視線方向取得手段は、乗員９の視線方向を取得する。基準線設定手段は、視線方向に沿って乗員９の両目間の中点を通過する中心線が液晶ディスプレイ６の表示領域と交差する交点に基づいて、液晶ディスプレイ６の表示領域に基準線を設定する。

操作部１６は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）を有する。そして、ナビゲーションＥＣＵ１５は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１６は液晶ディスプレイ１７の前面に設けたタッチパネルを有していても良い。また、マイクと音声認識装置を有していても良い。

また、液晶ディスプレイ１７には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、本実施形態では情報の表示手段としてＨＵＤ４を備えているので、上記地図画像等の表示をＨＵＤ４で行う構成とすれば液晶ディスプレイ１７は省略しても良い。

また、スピーカ１８は、ナビゲーションＥＣＵ１５からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。

また、ＤＶＤドライブ１９は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。尚、ＤＶＤドライブ１９に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。

また、通信モジュール２０は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。

次に、上記重畳画像表示装置１が有するＨＵＤ４の概略構成について図３を用いて説明する。図３は、本実施形態に係るＨＵＤ４の内部構成を示した図である。

図３に示すようにＨＵＤ４は、液晶ディスプレイ６と、凹面鏡７と、カバーガラス５１と、制御回路部５２と、ＣＡＮインターフェース５３とを基本的に有する。

ここで、液晶ディスプレイ６は光源としてバックライトを用い、前面に設けられた画像表示領域に対して画像を表示する機能を有する画像表示装置である。バックライトとしては、例えばＣＣＦＬ（冷陰極管）や白色ＬＥＤが用いられる。また、液晶ディスプレイ６は視差バリア又はレンチキュラーレンズを備えており、乗員９の両方の目に視認可能な画像に加えて、任意の片方の目のみに視認可能な画像を表示することが可能である。

例えば、視差バリアを用いた液晶ディスプレイ６では、図４に示すように液晶ディスプレイ６の画像表示領域５５の前面に、格子状に隙間を形成したパララックスバリア（視差バリア）５６を配置する。そして、画像表示領域５５の内、乗員９の左目からパララックスバリア５６の隙間を通して視認可能な領域のみに画像を表示すれば、その画像は左目のみに視認可能な画像となる。一方、画像表示領域５５の内、乗員９の右目からパララックスバリア５６の隙間を通して視認可能な領域のみに画像を表示すれば、その画像は右目のみに視認可能な画像となる。尚、画像を表示する手段としては、液晶ディスプレイ以外に、有機ＥＬディスプレイ、プロジェクタとスクリーンの組み合わせ等を用いても良い。但し、任意の片方の目のみに視認可能な画像を表示することが可能な手段であることが望ましい。プロジェクタとスクリーンの組み合わせを用いた場合には、スクリーンが画像の表示される画像表示領域に相当する。

一方、凹面鏡７は、液晶ディスプレイ６に表示された画像を拡大して反射させて乗員９に視認させることによって、乗員９の前方に画像の虚像を生成する投影鏡である。尚、凹面鏡７としては、球面凹面鏡や、非球面凹面鏡、若しくは表示画像の歪みを補正するための自由曲面鏡が用いられる。尚、液晶ディスプレイ６に対して表示された画像は、凹面鏡７によって反射されるので、生成される虚像１０は液晶ディスプレイ６に表示された画像と上下が反転した像となる。

また、カバーガラス５１は、ＨＵＤ４の上面に配置された透過性の板状部材である。そして、液晶ディスプレイ６に表示された画像は凹面鏡７によって反射され、カバーガラス５１を介して乗員９に視認させる。尚、カバーガラス５１としてはフレネルレンズを用いても良い。また、カバーガラス５１としてフレネルレンズを用いる場合には、凹面鏡７の代わりに平面の鏡を用いることも可能である。

また、制御回路部５２は、ＨＵＤ４の全体の制御を行う電子制御ユニットである。ここで、制御回路部５２は、演算装置及び制御装置としてのＣＰＵ、並びにＣＰＵが各種の演算処理を行うにあたってワーキングメモリとして使用されるＲＡＭ、制御用のプログラムのほか、虚像を生成する為の制御プログラム等が記録されたＲＯＭ等の内部記憶装置を備えている。また、制御回路部５２は、液晶ディスプレイ６と接続され、液晶ディスプレイ６の駆動制御を行う。

また、ＣＡＮ（コントローラエリアネットワーク）インターフェース５３は、車両内に設置された各種車載器や車両機器の制御装置間で多重通信を行う車載ネットワーク規格であるＣＡＮに対して、データの入出力を行うインターフェースである。そして、ＨＵＤ４は、ＣＡＮを介して、各種車載器や車両機器の制御装置（例えば、ナビゲーション装置３、ＡＶ装置等）と相互通信可能に接続される。それによって、ＨＵＤ４は、ナビゲーション装置３やＡＶ装置等から取得した情報を投影可能に構成する。

続いて、前記構成を有する重畳画像表示装置１の内、特にナビゲーション装置３において実行する虚像生成処理プログラムについて図５に基づき説明する。図５は本実施形態に係る虚像生成処理プログラムのフローチャートである。ここで、虚像生成処理プログラムは車両のＡＣＣ電源(accessory power supply)がＯＮされた後に実行され、車両２の乗員９に対して周辺環境に重畳して視認させる重畳画像を、ＨＵＤ４を用いて生成するプログラムである。尚、以下の図５にフローチャートで示されるプログラムは、ナビゲーション装置３が備えているＲＡＭ４２やＲＯＭ４３に記憶されており、ＣＰＵ４１により実行される。

先ず、虚像生成処理プログラムではステップ（以下、Ｓと略記する）１において、ＣＰＵ４１は、フロントカメラ１１により撮像した撮像画像に基づいて、車両の乗員の視線方向前方の周辺環境を取得する。例えばフロントカメラ１１の撮像画像から周辺環境の３Ｄデータを作成し、フラッシュメモリ４４等に記憶する。

次に、Ｓ２においてＣＰＵ４１は、前記Ｓ１で取得した周辺環境に基づいて、車両の進行方向前方に車両の乗員に対して警告対象となる対象物（以下、警告対象物という）があるか否か判定する。ここで、警告対象物は車両に乗車する乗員が注視すべき物とし、例えば他車両、歩行者、２輪車とする。尚、標識や信号機等の乗員が注視すべき他の物についても警告対象物に含めても良い。

また、車両の進行方向前方にある警告対象物の有無は、例えばフロントカメラ１１により撮像した撮像画像に対してテンプレートマッチング等の画像処理を行うことによって検出しても良いし、前記Ｓ１で作成した周辺環境の３Ｄデータから検出しても良いし、ミリ波レーダ等のセンサを用いて検出しても良い。また、車車間通信や外部サーバとの通信によって取得しても良い。

そして、車両の進行方向前方に警告対象物があると判定された場合（Ｓ２：ＹＥＳ）には、Ｓ３へと移行する。それに対して、車両の進行方向前方に警告対象物がないと判定された場合（Ｓ２：ＮＯ）には、当該虚像生成処理プログラムを終了する。

Ｓ３においてＣＰＵ４１は、車両の進行方向前方にあると判定された警告対象物の具体的な位置を取得する。尚、警告対象物の位置は、例えばフロントカメラ１１により撮像した撮像画像に対して画像処理を行うことによって取得しても良いし、前記Ｓ１で作成した周辺環境の３Ｄデータから検出しても良いし、ミリ波レーダ等のセンサを用いて取得しても良い。また、車車間通信や外部サーバとの通信によって取得しても良い。また、警告対象物の位置は絶対位置を取得しても良いし、乗員（自車両）に対する相対位置を取得しても良い。尚、警告対象物が複数ある場合には、複数の警告対象物の位置をそれぞれ取得する。

尚、ＣＰＵ４１は、車両の進行方向前方にある警告対象物の位置について、当該虚像生成処理プログラムが終了するまで以後継続的に検出する。

次に、Ｓ４においてＣＰＵ４１は、車内カメラ１２の撮像画像に基づいて、乗員９の視線開始点（目の位置）及び視線方向を検出する。尚、目の位置については右目と左目の各目の位置を取得する。車内カメラ１２は前記したように車両のインストルメントパネルや天井に設置され、撮像方向を運転席に向けて設置されており、撮像画像には乗員９の顔が含まれることとなる。尚、目の位置や視線方向の検出方法としては、例えば角膜反射法により計測された瞳孔の中心位置やプルキニエ像を用いて検出する方法がある。それらの方法は既に公知の技術であるので、詳細は省略する。

その後、Ｓ５においてＣＰＵ４１は、ＨＵＤ４の液晶ディスプレイ６に対して表示する画像（以下、警告画像という）を生成する。特に本実施形態では警告画像は、警告対象物を警告する為の画像とし、例えば、図６に示すような警告マーク６１や、警告対象物を囲む枠６２とする。更に、本実施形態では警告画像は、右目のみに視認させる為の画像と、左目のみに視認させる為の画像の２パターン生成する。

次に、Ｓ６においてＣＰＵ４１は、視線方向に沿って乗員の両目間の中点を通過する中心線が、警告画像を表示する表示領域と交差する交点に基づいて、表示領域に基準線を設定する。本実施形態では警告画像を表示する表示領域は、ＨＵＤ４内にある液晶ディスプレイ６の画像表示領域となる。

以下に基準線の設定方法についてより詳細に説明する。
先ず、ＣＰＵ４１は、図７に示すように前記Ｓ４で検出した乗員９の両目の位置の中点Ｘを通過する中心線６３を視線方向Ｙに沿って伸ばし、液晶ディスプレイ６の画像表示領域５５と交差する交点Ｚを特定する。尚、視線方向Ｙはフロントウィンドウ８や凹面鏡７において反射され、方向が変化するので、中心線６３も視線方向Ｙに従って同様に変化させる。
次に、ＣＰＵ４１は、図８に示すように交点Ｚを通過するとともに液晶ディスプレイ６の画像表示領域５５の上下方向（或いは鉛直方向）に平行な線を、基準線６５として設定する。尚、基準線６５は必ずしも画像表示領域５５の上下方向に平行な線とする必要は無く、上下方向に対して傾斜する線としていても良い。更に、湾曲した線や屈曲した線とすることも可能である。

尚、図８に示す例は乗員９が正面を向いていた場合に設定される基準線６５であり、例えば図９に示すように乗員９が左を向けば、顔の角度に応じて交点Ｚ並びに基準線６５の位置も左方向へと移動することとなる。一方で、乗員９が右を向けば、同じく顔の角度に応じて交点Ｚ並びに基準線６５の位置も右方向へと移動することとなる。

更に、ＣＰＵ４１は乗員９の利き目を取得し、交点Ｚよりも利き目に対応する側と反対側に離れた地点を通過するとともに画像表示領域５５の上下方向に平行な線を基準線としても良い。例えば、図１０に示すように乗員９の利き目が右目であれば、基準線６５の位置を交点Ｚから利き目に対応する側と反対側（即ち、左側）へと移動（例えば画像表示領域５５の横幅の１０％移動）した地点を通過させる線としても良い。一方で、乗員９の利き目が左目であれば、基準線６５の位置を利き目に対応する側と反対側（即ち、右側）へと移動した地点を通過させる線としても良い。その結果、利き目でない目よりも利き目に対して、優先的に画像を視認させることが可能となる。尚、乗員９の利き目は車内カメラ１２を用いて検出しても良いし、予め乗員９に入力させても良い。

続いて、Ｓ７においてＣＰＵ４１は、液晶ディスプレイ６の画像表示領域５５に対して表示対象となる警告画像を、前記Ｓ６で設定した基準線６５よりも右側（即ち右目に対応する側）に表示するか左側（即ち、左目に対応する側）に表示するかを判定する。尚、警告画像を表示する位置は警告対象物に重畳して警告画像の虚像１０が視認される位置とし、前記Ｓ３で取得した警告対象物の位置に基づいて決定される。基本的には、乗員に対して右側（右目側）に位置する警告対象物に重畳させる虚像１０を生成する為には基準線６５よりも右側に警告画像を表示し、乗員に対して左側（左目側）に位置する警告対象物に重畳させる虚像１０を生成する為には基準線６５よりも左側に警告画像を表示する。但し、ＨＵＤ４内に配置されたミラーなどによって像が左右反転される場合に関しては、左右逆となる（即ち、基準線よりも左側が右目に対応する側で、基準線よりも右側が左目に対応する側となる場合もある）。

そして、液晶ディスプレイ６の画像表示領域５５に対して表示対象となる警告画像を、前記Ｓ６で設定した基準線６５よりも右側に表示すると判定された場合（Ｓ７：ＹＥＳ）には、Ｓ８へと移行する。一方、液晶ディスプレイ６の画像表示領域５５に対して表示対象となる警告画像を、前記Ｓ６で設定した基準線６５よりも左側に表示すると判定された場合（Ｓ７：ＮＯ）には、Ｓ９へと移行する。

Ｓ８においてＣＰＵ４１は、前記Ｓ５で生成された警告画像の内、右目のみに視認させる為の画像を液晶ディスプレイ６の画像表示領域５５に対して表示する。尚、図４に示すように本実施形態の液晶ディスプレイ６は、例えば格子状に隙間を形成したパララックスバリア５６を配置しており、右目のみに視認可能な領域に対して警告画像を表示することによって、警告画像を右目のみに視認させることが可能である。その結果、図１１に示すように車両の進行方向前方にある警告対象物７１に重畳する虚像１０が、車両の乗員から結像距離Ｌ（例えば２５ｍ）離れた位置に視認されることとなる。それによって、乗員の視線を虚像１０によって警告対象物７１へと誘導し、警告対象物７１をユーザに確実に視認させることが可能となる。また、乗員９に対して右方向（右目側）に見える虚像１０については右目で視認させることとなるので、できる限り虚像１０の視認に係る負担を軽減することが可能である。

尚、本実施形態では結像距離Ｌは固定値とするが、例えば液晶ディスプレイ６を移動させることによって結像距離Ｌを任意に変更可能にすることも可能である。更に、結像距離Ｌを変更可能として場合には、ＣＰＵ４１は現在表示されている虚像１０の結像距離Ｌを取得し、特に結像距離Ｋが閾値未満（例えば１０ｍ未満）の場合には、警告画像は両目に視認させる画像として液晶ディスプレイ６に表示しても良い。

一方で、Ｓ９においてＣＰＵ４１は、前記Ｓ５で生成された警告画像の内、左目のみに視認させる為の画像を液晶ディスプレイ６の画像表示領域５５に対して表示する。左目のみに視認可能な領域に対して警告画像を表示することによって、警告画像を左目のみに視認させることが可能である。詳細は前記Ｓ８と同様であるので省略する。

尚、警告対象物が複数あって、夫々の警告対象物に警告画像を重畳して表示させる場合、即ち複数の警告画像を同時に表示する場合については、表示対象となる警告画像毎に上記Ｓ７〜Ｓ９の処理を実行する。従って、右目のみに視認させる警告画像と、左目のみに視認させる警告画像が同時に表示される場合もある。また、複数の警告画像を同時に表示する場合であって、基準線６５に対して一方側のみに所定数以上（例えば５以上）の画像を表示する場合には、基準線６５からの距離が近い順に所定数より少ない所定個数（例えば全体の表示数の１／３）の画像は、他方側に対応する目のみに視認させる画像として表示するのが望ましい。例えば、基準線６５の右側のみに６個の画像を表示する場合には、基準線６５からの距離が近い順に２個の画像については、左目のみに視認させる画像とし、それ以外の画像については右目のみに視認させる画像として表示するのが望ましい。

また、警告画像の表示位置は、警告対象物に虚像１０を重畳させる位置であるので、警告対象物の位置（但し、絶対位置ではなく乗員からの相対位置）が移動すれば、それに応じて警告画像の表示位置も移動させることとなる。そこで、Ｓ１０においてＣＰＵ４１は、警告画像の表示位置を移動させた結果、警告画像の表示位置が前記Ｓ６で設定された基準線６５を跨いだか否かを判定する。

そして、警告画像の表示位置が前記Ｓ６で設定された基準線６５を跨いだと判定された場合（Ｓ１０：ＹＥＳ）には、Ｓ１１へと移行する。それに対して、警告画像の表示位置が前記Ｓ６で設定された基準線６５を跨いていないと判定された場合（Ｓ１１：ＮＯ）には、現在の警告画像の表示を維持する。その後、警告対象物が消失した時点で当該虚像生成処理プログラムを終了する。

Ｓ１１においてＣＰＵ４１は、警告画像の表示位置を移動させた結果、警告画像の表示位置が前記Ｓ６で設定された基準線６５を所定間隔（例えば１ｓｅｃ）以下で複数回跨いだか否かを判定する。

そして、警告画像の表示位置が前記Ｓ６で設定された基準線６５を所定間隔以下で複数回跨いでいないと判定された場合（Ｓ１１：ＮＯ）には、Ｓ１２へと移行する。

Ｓ１２においてＣＰＵ４１は、基準線６５を跨ぐ前後で警告画像を対応する方向の目に視認させる画像へと切り替える。即ち、警告画像の表示位置が基準線６５の右側から左側へと移動した場合には、基準線６５を跨ぐタイミングで右目のみに視認させる警告画像から、左目のみに視認させる警告画像へと切り替える。

それに対して、警告対象物の表示位置が前記Ｓ６で設定された基準線６５を所定間隔以下で複数回跨いだと判定された場合（Ｓ１１：ＹＥＳ）には、現在の警告画像の表示を維持する。即ち、仮に警告画像の表示位置が基準線６５の右側から左側へと移動した場合であっても、右目のみに視認させる警告画像のまま表示する。その後、警告対象物が消失した時点で当該虚像生成処理プログラムを終了する。

以上詳細に説明した通り、本実施形態に係る重畳画像表示装置１では、車両の乗員の視線前方の周辺環境に重畳する画像を視認させる場合において、乗員の両目の位置と視線方向を取得し（Ｓ４）、視線方向に沿って乗員の両目間の中点を通過する中心線が画像の表示領域と交差する交点に基づいて、表示領域に基準線を設定し（Ｓ６）、表示領域に表示する画像の内、基準線よりも左目に対応する側に表示される画像は左目のみに視認させる画像とし、基準線よりも右目に対応する側に表示される画像は右目のみに視認させる画像として表示する（Ｓ８、Ｓ９）ので、画像を表示する表示領域に設定された基準線を基準として、画像を表示する位置に応じて画像を視認させる乗員の目を適宜選択することが可能となる。特に左目において視認し易い画像は左目で、右目において視認し易い画像は右目で視認させるので、乗員に負担を与えることなく視認性が良い重畳画像を表示することが可能となる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態ではＨＵＤ４によって車両２のフロントウィンドウ８の前方に虚像を生成する構成としているが、フロントウィンドウ８以外のウィンドウの前方に虚像を生成する構成としても良い。また、ＨＵＤ４により映像を反射させる対象はフロントウィンドウ８自身ではなくフロントウィンドウ８の周辺に設置されたバイザー（コンバイナー）であっても良い。

また、本実施形態では、車両２に対して重畳画像表示装置１を設置する構成としているが、車両２以外の移動体に設置する構成としても良い。例えば、船舶や航空機等に対して設置することも可能である。また、アミューズメント施設に設置されるライド型アトラクションに設置しても良い。その場合には、ライドの周囲に重畳画像を生成し、ライドの乗員に対して重畳画像を視認させることが可能となる。

また、本実施形態では、周辺環境に重畳する画像を表示する手段としてＨＵＤ４を用いているが、フロントウィンドウ８に対して画像を表示するウインドウシールドディスプレイ（ＷＳＤ）を用いても良い。尚、ＷＳＤを用いる場合には画像の表示領域は車両のフロントウィンドウ８となり、基準線６５はフロントウィンドウ８に対して設定されることとなる。また、フロントウィンドウ８の前面に対して図４に示すようなパララックスバリア５６を配置する必要がある。

また、本実施形態では、周辺環境に重畳させて乗員９に視認させることにより案内を行う重畳画像として、警告対象物の警告を行う警告画像を表示しているが、表示する画像は他の画像としても良い。例えば、矢印、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ画面等でも良い。

また、本実施形態では、乗員に警告対象となる警告対象物に対して画像を重畳させることとしているが、画像を重畳する対象となる対象物は警告対象物以外であっても良い。例えば、路面、施設等でも良い。

また、本実施形態では、虚像生成処理プログラム（図４）の処理をナビゲーション装置３のナビゲーションＥＣＵ１５が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、ＨＵＤ４の制御部、車両制御用のＥＣＵ、その他の車載器が実行する構成としても良い。尚、ＨＵＤ４の制御部が実行する場合には、本発明に係る重畳画像表示装置１はＨＵＤ４のみで構成することも可能である。

また、本発明に係る重畳画像表示装置を具体化した実施例について上記に説明したが、虚像表示装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。

例えば、第１の構成は以下のとおりである。
車両（２）に搭載され、画像を前記車両の乗員（９）の視線前方の周辺環境に重畳して視認させる重畳画像表示装置（１）であって、前記乗員の両目の位置を取得する目位置取得手段（４１）と、前記乗員の視線方向を取得する視線方向取得手段（４１）と、前記視線方向に沿って前記乗員の両目間の中点を通過する中心線が前記画像を表示する表示領域（５５）と交差する交点に基づいて、前記表示領域に基準線（６５）を設定する基準線設定手段と、を有し、前記表示領域に表示する画像の内、前記基準線よりも左目に対応する側に表示される画像は左目のみに視認させる画像とし、前記基準線よりも右目に対応する側に表示される画像は右目のみに視認させる画像として表示する。
上記構成を有する重畳画像表示装置によれば、車両の乗員の視線前方の周辺環境に重畳する画像を視認させる場合において、画像を表示する表示領域に設定された基準線を基準として、画像を表示する位置に応じて画像を視認させる乗員の目を適宜選択することが可能となる。特に左目において視認し易い画像は左目で、右目において視認し易い画像は右目で視認させるので、乗員に負担を与えることなく視認性が良い重畳画像を表示することが可能となる。

また、第２の構成は以下のとおりである。
前記基準線設定手段（４１）は、前記交点を通過するとともに前記表示領域（５５）の上下方向に平行な線を基準線（６５）とする。
上記構成を有する重畳画像表示装置によれば、特に乗員の視線方向を中心として画像を表示する領域を左右に分割し、左側のエリアに表示される画像は左目で、右側に表示される画像は右目で視認させるので、乗員に負担を与えることなく視認性が良い重畳画像を表示することが可能となる。

また、第３の構成は以下のとおりである。
前記乗員の利き目を取得する利き目取得手段（４１）を有し、前記基準線（６５）は、前記交点よりも利き目に対応する側と反対側に離れた地点を通過するとともに前記表示領域（５５）の上下方向に平行な線を基準線とする。
上記構成を有する重畳画像表示装置によれば、特に乗員の利き目に対して優先的に画像を視認させるので、画像の視認に係る乗員の負担を軽減することが可能となる。

また、第４の構成は以下のとおりである。
前記表示領域（５５）に表示する前記画像の表示位置が、前記基準線（６５）を跨ぐ場合には、跨ぐ前後で該画像を対応する方向の目に視認させる画像へと切り替える一方で、前記表示領域に表示する前記画像の表示位置が、前記基準線を所定間隔以下で複数回跨ぐ場合には、跨ぐ前後で画像の切り替えを行わない。
上記構成を有する重畳画像表示装置によれば、特に画像の表示位置が移動する場合において、画像を視認する目が頻繁に切り替わることを防止することが可能となる。

また、第５の構成は以下のとおりである。
前記表示領域（５５）において前記基準線（６５）に対して一方側のみに所定数以上の画像を表示する場合には、前記基準線からの距離が近い順に前記所定数より少ない所定個数の画像は、他方側に対応する目のみに視認させる画像として表示する。
上記構成を有する重畳画像表示装置によれば、特に多数の画像を表示する場合において、一方の目のみに負担が偏らないように表示することが可能となる。

また、第６の構成は以下のとおりである。
前記車両の乗員（９）には、前記表示領域（５５）に表示された画像の虚像（１０）が周辺環境に重畳して視認され、前記乗員から前記虚像までの結像距離を変更する結像距離変更手段（４１）と、現在表示されている虚像の前記結像距離を取得する結像距離取得手段（４１）と、を有し、前記結像距離が閾値未満の場合には、前記表示領域に表示する画像は両目に視認させる画像として表示する。
上記構成を有する重畳画像表示装置によれば、特に画像の虚像を車両の乗員に視認させる場合において、両目で視認させた方がユーザの負担が少なく鮮明な虚像を視認させることができる状況では、表示領域に表示された画像を両目で視認させることによって、より適切な虚像の生成が可能となる。

１ 重畳画像表示装置
２ 車両
３ ナビゲーション装置
４ ＨＵＤ
６ 液晶ディスプレイ
８ フロントウィンドウ
１０ 虚像
１５ ナビゲーションＥＣＵ
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５５ 画像表示領域
６１、６２ 警告画像
７１ 警告対象物

Claims (6)

1. 車両に搭載され、画像を前記車両の乗員の視線前方の周辺環境に重畳して視認させる重畳画像表示装置であって、
   前記乗員の両目の位置を取得する目位置取得手段と、
   前記乗員の視線方向を取得する視線方向取得手段と、
   前記視線方向に沿って前記乗員の両目間の中点を通過する中心線が前記画像を表示する表示領域と交差する交点に基づいて、前記表示領域に基準線を設定する基準線設定手段と、を有し、
   前記表示領域に表示する画像の内、前記基準線よりも左目に対応する側に表示される画像は左目のみに視認させる画像とし、前記基準線よりも右目に対応する側に表示される画像は右目のみに視認させる画像として表示する重畳画像表示装置。
2. 前記基準線設定手段は、前記交点を通過するとともに前記表示領域の上下方向に平行な線を基準線とする請求項１に記載の重畳画像表示装置。
3. 前記乗員の利き目を取得する利き目取得手段を有し、
   前記基準線は、前記交点よりも利き目に対応する側と反対側に離れた地点を通過するとともに前記表示領域の上下方向に平行な線を基準線とする請求項１に記載の重畳画像表示装置。
4. 前記表示領域に表示する前記画像の表示位置が、前記基準線を跨ぐ場合には、跨ぐ前後で該画像を対応する方向の目に視認させる画像へと切り替える一方で、
   前記表示領域に表示する前記画像の表示位置が、前記基準線を所定間隔以下で複数回跨ぐ場合には、跨ぐ前後で画像の切り替えを行わない請求項１乃至請求項３のいずれかに記載の重畳画像表示装置。
5. 前記表示領域において前記基準線に対して一方側のみに所定数以上の画像を表示する場合には、前記基準線からの距離が近い順に前記所定数より少ない所定個数の画像は、他方側に対応する目のみに視認させる画像として表示する請求項１乃至請求項４のいずれかに記載の重畳画像表示装置。
6. 前記車両の乗員には、前記表示領域に表示された画像の虚像が周辺環境に重畳して視認され、
   前記乗員から前記虚像までの結像距離を変更する結像距離変更手段と、
   現在表示されている虚像の前記結像距離を取得する結像距離取得手段と、を有し、
   前記結像距離が閾値未満の場合には、前記表示領域に表示する画像は両目に視認させる画像として表示する請求項１乃至請求項５のいずれかに記載の重畳画像表示装置。

Images