JP4643860B2 - VISUAL SUPPORT DEVICE AND SUPPORT METHOD FOR VEHICLE - Google Patents

VISUAL SUPPORT DEVICE AND SUPPORT METHOD FOR VEHICLE Download PDF

Info

Publication number
JP4643860B2
JP4643860B2 JP2001176513A JP2001176513A JP4643860B2 JP 4643860 B2 JP4643860 B2 JP 4643860B2 JP 2001176513 A JP2001176513 A JP 2001176513A JP 2001176513 A JP2001176513 A JP 2001176513A JP 4643860 B2 JP4643860 B2 JP 4643860B2
Authority
JP
Japan
Prior art keywords
vehicle
video
information
display
video information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001176513A
Other languages
Japanese (ja)
Other versions
JP2002367080A (en
JP2002367080A5 (en
Inventor
伸洋 田崎
武志 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2001176513A priority Critical patent/JP4643860B2/en
Publication of JP2002367080A publication Critical patent/JP2002367080A/en
Publication of JP2002367080A5 publication Critical patent/JP2002367080A5/ja
Application granted granted Critical
Publication of JP4643860B2 publication Critical patent/JP4643860B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、自車両の運転中に他車両が撮影した映像を表示する車両用視覚支援装置及び支援方法に関する。
【０００２】
【従来の技術】
自車両の運転中に、他車両が撮影した映像を自車両の表示装置に表示させる車両用視覚支援装置としては、例えば特開平７−９８８６号公報に記載された車両の運転情報装置がある。
【０００３】
この運転情報装置は、各車両が前方監視カメラ及び通信装置を備え、他車両の前方監視カメラが撮影した当該他車両の前方の映像を、自車両及び他車両の通信装置を用いて、自車両の表示装置に表示させることにより、自車両の運転者等に視覚情報を提供するものである。
【０００４】
【発明が解決しようとする課題】
ところが、上述のような車両の運転情報装置では、自車両の表示装置に表示される、他車両の前方監視カメラで撮影された映像は、自車両の前方監視カメラで撮影された映像とは表示視点が異なる。しかも、この表示視点に関する情報が自車両の表示装置に表示されていない。
【０００５】
これらのことから、自車両の運転者を含めた利用者は、他車両の監視カメラで撮影された映像における被写体の位置等を認識しにくく、従って、車両の運転操作性が必ずしも向上するとは言えない。
【０００６】
本発明の目的は、上述の事情を考慮してなされたものであり、他車両にて撮影した被写体の映像を、自車両の利用者が認識し易いように表示できる車両用視覚支援装置及び支援方法を提供することにある。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、自車両の表示部に、他車両から送信された自車両の映像を含んだ映像情報を表示する表示手段を備え、前記表示手段が、複数の他車両から送信される複数の前記映像情報を同一被写体が重なるように合成して表示することを特徴とするものである。
【０００８】
請求項２に記載の発明は、請求項１に記載の発明において、前記表示手段が略同一方向に移動中の他車両から送信される前記映像情報を表示することを特徴とするものである。
【０００９】
請求項３に記載の発明は、請求項１または２に記載の発明において、前記表示手段が複数の映像情報の各撮影枠における位置、方位、及びスケールを各他車両との相対位置に基づいて座標変換して表示することを特徴とするものである。
【００１０】
請求項４に記載の発明は、請求項１乃至３のいずれか一項に記載の発明において、前記表示手段が複数の映像情報の合成に際し、撮影時刻が新しい映像、または解像度の高い映像を優先して用いるように構成されたことを特徴とするものである。
【００１１】
請求項５に記載の発明は、請求項１乃至４のいずれか一項に記載の発明において、前記自車両の表示部には、当該自車両と他車両との間の距離に関する情報が、映像情報に重ねて表示されることを特徴とするものである。
【００１２】
請求項６に記載の発明は、請求項５に記載の発明において、前記自車両と前記他車両間の距離に関する情報を、自車両と他車両との通信における送受信時間に基づいて決定するように構成されたことを特徴とするものである。
【００１３】
請求項７に記載の発明は、請求項５に記載の発明において、前記自車両と前記他車両間の距離に関する情報を、自車両の位置情報と他車両の位置情報に基づいて決定するように構成されたことを特徴とするものである。
【００１４】
請求項８に記載の発明は、自車両の表示部に、他車両で撮影され送信された自車両の映像を含んだ映像情報を表示するときに、複数の他車両から送信される複数の前記映像情報を同一被写体が重なるように合成して表示することを特徴とするものである。
【００１９】
請求項１乃至８に記載の発明には、次の作用がある。
【００２０】
他車両で撮影した映像を予め設定された表示視点の映像に変換し、この変換した映像を表示することから、他車両で撮影した被写体を自車両の利用者が認識し易いように表示できるので、自車両の運転操作性を向上させることができる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を、図面に基づき説明する。
【００２２】
図１は、本発明に係る車両用視覚支援装置の一実施の形態を示すブロック図である。
【００２３】
車両１００に搭載された車両用視覚支援装置１０は、異なる車両１００間で映像情報を通信によって相互に伝達し、各車両１００において他の車両１００で撮影した映像を表示するものであり、カメラ１１、位置取得部１２、無線通信部１３、記憶部１４、演算部１５及び表示部１６を有して構成される。
【００２４】
上記カメラ１１は、自らの車両１００の周囲を撮影し、その映像情報を演算部１５へ出力する。
【００２５】
上記位置取得部１２は、ＧＰＳ（Global Positioning System）受信機やジャイロコンパス等を有して構成され、自らの車両１００の位置と方位を検出して取得し、その位置情報を演算部１５へ出力する。
【００２６】
上記無線通信部１３は、他の車両１００との間で、カメラ１１が撮影した映像情報、位置取得部１２が取得した車両１００の位置情報、更にカメラ１１が車両１００に設置された位置と角度等を内容とするカメラ設置情報等を含む要求信号や返答信号を相互に通信する。上記車両１００の位置情報等の各種情報は、無線通信部１３と演算部１５との間で入出力される。
【００２７】
上記記憶部１４は、自らの車両１００におけるカメラ設置情報、自らの車両１００の表示部１６に表示される映像の表示視点に関し予め設定された情報、自らの車両１００の表示部１６に表示可能な表示領域に関する情報、更に、後述の如く表示視点が変更された、他の車両１００のカメラ１１にて撮影された映像等が記憶される。これらの各種情報は、記憶部１４と演算部１５との間で入出力される。
【００２８】
上記演算部１５の機能は、後述の図４及び図５のフローチャートに示されるが、その主な機能は、カメラ１１にて検出された自らの車両１００の位置情報、無線通信部１３にて取得された他の車両１００の位置情報及び他の車両１００のカメラ設置情報、並びに記憶部１４に記憶された予め設定された表示視点に関する情報に基づき、他の車両１００で撮影された映像を、予め設定された表示視点の映像に座標変換し、この変換した映像を記憶部１４へ出力して記憶させるものである。
【００２９】
つまり、演算部１５は、自らの車両１００の位置情報と他の車両１００の位置情報とから、自らの車両１００に対する他の車両１００の相対位置を算出する。そして、演算部１５は、この相対位置と他の車両１００のカメラ設置情報とを用いて、自らの車両１００の記憶部１４に記憶された予め設定された表示視点に対する、他の車両１００のカメラ１１で撮影した映像の表示視点の相対位置を算出する。次に、演算部１５は、この他の車両１００による映像の表示視点の相対位置が、記憶部１４に記憶された自らの車両１００の表示領域にある場合に、この他の車両１００で撮影した映像の表示視点の相対位置を用いて、この他の車両１００で撮影された映像を、予め設定された上記表示視点の映像に座標変換し、この変換した映像を記憶部１４へ出力して記憶させる。
【００３０】
演算部１５の他の主な機能としては、複数の他の車両１００におけるカメラ１１が撮影した映像を、上述と同様にして、予め設定された上記表示視点の映像に座標変換し、これらを記憶部１４に記憶させた後に、これらの記憶された座標変換後の他の車両１００における映像を１つの映像に合成し、この合成した映像の映像信号を表示部１６へ出力する。この合成に際しては、記憶部１４に記憶された同様な複数の他の車両１００の映像のうち、撮影時刻が新しい映像、または上述の座標変換後に解像度が高い映像が優先して用いられて合成される。
【００３１】
前記表示部１６は、演算部１５にて出力された映像信号を画像として表示する。この表示部１６には、自らの車両１００と他の車両１００との間の車間距離に関する情報（車間距離の表示、車両１００接近の警告等）が、上述の合成した映像に重ねて表示されてもよい。この車間距離は、演算部１５によって、自らの車両１００の位置情報と他の車両１００の位置情報とから算出された相対距離から求められる。或いは、上記車間距離は、演算部１５によって、自らの車両１００と他の車両１００との通信における送受信時間（例えば、自らの車両１００の無線通信部１３が要求信号を送信した時点から返信信号を受信した時点までの時間）に基づいて算出される。
【００３２】
上述のように構成された車両用視覚支援装置１０が、図２に示す第１車両１０１、第２車両１０２及び第３車両１０３に設置されており、第１車両１０１の周囲に、車両用視覚支援装置１０が搭載されていない第４車両１０４及び第５車両１０５が存在し、第１車両１０１の表示部１６に、第２車両１０２及び第３車両１０３のカメラ１１にて撮影された映像を合成して表示する例を説明する。この場合、第２車両１０２及び第３車両１０３は、これらのカメラ１１が第１車両１０１の死角を含む映像を撮影できる位置に存在するものとする。
【００３３】
（１）、第１車両１０１における要求信号の送信動作（図４）
第１車両１０１の位置取得部１２は、この第１車両１０１の位置及び方位を取得し、位置情報として第１車両１０１の演算部１５へ出力する（Ｓ１）。
【００３４】
この第１車両１０１の演算部１５は、ステップＳ１にて取得された第１車両１０１の位置情報を含む要求信号を、第１車両１０１の無線通信部１３へ出力する。そして、この第１車両１０１の無線通信部１３が、位置情報を含む上記要求信号を第２車両１０２及び第３車両１０３へ送信し（Ｓ２）、その後返答信号の受信待機を実行する（Ｓ３）。
【００３５】
（２）、要求信号を受信した第２車両１０２及び第３車両１０３の動作（図５）
第２車両１０２、第３車両１０３のそれぞれの無線通信部１３は、要求信号の受信待機を実行しており（Ｓ４）、第１車両１０１から送信された要求信号を、受信可能か否か判断する（Ｓ５）。
【００３６】
上記要求信号が受信可能であれば、第２車両１０２の位置取得部１２は、この第２車両１０２の位置と方位を取得して、第２車両１０２の演算部１５へ出力し、また、第３車両１０３の位置取得部１２は、この第３車両１０３の位置及び方位を取得して、第３車両１０３の演算部１５へ出力する（Ｓ６）。
【００３７】
更に、第２車両１０２の演算部１５は、この第２車両１０２の記憶部１４に予め記憶された第２車両１０２のカメラ設置情報を入力し、また、第３車両１０３の演算部１５は、この第３車両１０３の記憶部１４に予め記憶された第３車両１０３のカメラ設置情報を入力する（Ｓ６）。
【００３８】
ステップＳ５において、要求信号が受信可能でなければ、第２車両１０２、第３車両１０３のそれぞれの無線通信部１３は、要求信号の受信待機を実行する（Ｓ４）。
【００３９】
第２車両１０２の演算部１５は、受信した第１車両１０１の位置情報、第２車両１０２の位置情報及び第２車両１０２のカメラ設置情報を用いて、第２車両１０２のカメラ１１が撮影する映像が、第１車両１０１にとって有効であるか否か、即ち、第２車両１０２のカメラ１１が第１車両１０１周辺の位置或いは第１車両１０１の走行に関わる方向の映像を撮影できるか否かを判断する（Ｓ７）。
【００４０】
同様にして、第３車両１０３の演算部１５も、受信した第１車両１０１の位置情報、第３車両１０３の位置情報及び第３車両１０３のカメラ設置情報を用いて、第３車両１０３のカメラ１１が撮影する映像が、第１車両１０１にとって有効か否かを判断する（Ｓ７）。
【００４１】
ステップＳ７において、第２車両１０２のカメラ１１による映像が第１車両１０１にとって有効であると第２車両１０２の演算部１５が判断した場合、第２車両１０２のカメラ１１は、当該第２車両１０２の周辺を撮影し、その映像情報を第２車両１０２の演算部１５へ出力する（Ｓ８）。その後、第２車両１０２の無線通信部１３が、第２車両１０２のカメラ１１による映像信号、第２車両１０２の位置情報及び第２車両１０２のカメラ設置情報を含む返答信号を、第１車両１０１へ送信する（Ｓ９）。
【００４２】
同様に、第３車両１０３のカメラ１１による映像が第１車両１０１にとって有効であると第３車両１０３の演算部１５が判断した場合、第３車両１０３のカメラ１１は、当該第３車両１０３周囲を撮影し、その映像情報を第３車両１０３の演算部１５へ出力する（Ｓ８）。その後、第３車両１０３の無線通信部１３が、第３車両１０３のカメラ１１による映像情報、第３車両１０３の位置情報及び第３車両１０３のカメラ設置情報を含む返答信号を、第１車両１０１へ送信する（Ｓ９）。
【００４３】
ステップＳ７において、第２車両１０２、第３車両１０３のそれぞれのカメラ１１による映像が第１車両１０１にとって有効であると、第２車両１０２、第３車両１０３のそれぞれの演算部１５が判断しなかった場合には、第２車両１０２、第３車両１０３のそれぞれの無線通信部１３は再び受信待機を実行する（Ｓ４）。
【００４４】
（３）、返答信号を受信した第１車両１０１の動作（図４）
第１車両１０１の無線通信部１３は、第２車両１０２から送信された返答信号を受信可能か否か判断し（Ｓ１０）、受信可能であれば、受信した第２車両１０２の映像情報、位置情報及びカメラ設置情報を第１車両１０１の演算部１５へ出力する。
【００４５】
第１車両１０１の演算部１５は、第１車両１０１の位置情報と第２車両１０２の位置情報とから、第１車両１０１に対する第２車両１０２の相対位置を算出する（Ｓ１１）。
【００４６】
次に、第１車両１０１の演算部１５は、表示部１６にて表示する映像の、予め設定された表示視点を記憶部１４から入力すると共に、ステップＳ１１にて求めた第２車両１０２の相対位置と第２車両１０２のカメラ設置情報とを用いて、予め設定された表示視点に対する、第２車両１０２のカメラ１１で撮影した映像の映像視点の相対位置を算出する（Ｓ１２）。
【００４７】
その後、第１車両１０１の演算部１５は、表示部１６にて表示可能な表示領域の情報を記憶部１４から入力し、第２車両１０２の映像の表示視点の相対位置が、上記表示領域内にあるか否かを判断する（Ｓ１３）。
【００４８】
ステップＳ１３で表示領域内にある場合には、第１車両１０１の演算部１５は、第２車両１０２の映像における表示視点の相対位置を用いて、この第２車両１０２の映像の位置、方位、スケール等を調整することにより、第２車両１０２の映像を予め設定された上記表示視点の映像に座標変換し、この変換した映像を第１車両１０１の記憶部１４に記憶させる（Ｓ１４）。
【００４９】
上述のステップＳ１０〜Ｓ１４までの手順を、第３車両１０３から送信された返答信号についても同様に実行し、予め設定された上記表示視点の映像に座標変換された第３車両１０３の映像を、第１車両１０１の記憶部１４に記憶させる。
【００５０】
最後に、第１車両１０１の演算部１５は、第１車両１０１の記憶部１４に蓄積された、表示視点を座標変換した第２車両１０２、第３車両１０３の映像のうち、撮影時刻の新しい映像、または表示視点に変換後に解像度の高い映像を優先して、これら第２車両１０２及び第３車両１０３の映像を合成する（Ｓ１５）。
【００５１】
第１車両１０１の演算部１５が、合成された映像の映像信号を第１車両１０１の表示部１６へ出力すると、この表示部１６が合成映像を表示する（Ｓ１６）。
【００５２】
図３（Ｃ）は、第１車両１０１の表示部１６に表示される合成映像を示す。この図３（Ｃ）では、第１車両１０１の表示部１６にて表示される、予め設定された映像の表示視点は、第１車両１０１の後方から、この第１車両１０１を臨む視点に設定されており、第１車両１０１の死角を減少させている。
【００５３】
一方、図３（Ａ）は、第２車両１０２のカメラ１１が撮影して第１車両１０１へ送信した座標変換前の映像である。撮影枠Ａ内に、後方から見た第１車両１０１及び第４車両１０４が映っている。また、図５（Ｂ）は、第３車両１０３のカメラ１１が撮影して第１車両１０１へ送信した座標変換前の映像である。撮影枠Ｂ内に、後方から見た第１車両１０１及び第５車両１０５が映っている。
【００５４】
図３（Ｃ）に示す合成映像を作成するために、撮影枠Ａと撮影枠Ｂの位置、方位及びスケールは、第２車両１０２と第３車両１０３のそれぞれで撮影した映像の表示視点の相対位置に基づいて、撮影枠Ａの映像と撮影枠Ｂの映像における同一被写体（例えば第１車両１０１）が重なるように、座標変換によって調整される。つまり、撮影枠Ａは、撮影枠Ｂよりも左側を撮影しているため、図３（Ｃ）の合成映像の表示枠Ｃにおいて、撮影枠Ｂよりも左に配置される。また、撮影枠Ａは、撮影枠Ｂよりも近距離で撮影されているため、表示枠Ｃにおいて撮影枠Ｂよりも縮小される。
【００５５】
以上のように構成されたことから、上記実施の形態によれば、次の効果を奏する。
【００５６】
第１車両１０１の車両用視覚支援装置１０では、第２車両１０２、第３車両１０３のカメラ１１にて撮影した映像を予め設定された表示視点の映像に変換し、この変換した映像を、表示部１６に表示することから、第２車両１０２、第３車両１０３のカメラ１１で撮影した被写体を第１車両１０１の利用者（運転者を含む）が認識し易いように表示できる。この結果、第１車両１０１の運転操作性を向上させることができるので、車両の走行安全性を高めることができる。
【００５７】
以上、本発明を上記実施の形態に基づいて説明したが、本発明はこれに限定されるものではない。
【００５８】
例えば、上記実施の形態では、第２車両１０２、第３車両１０３のカメラ１１にて撮影された２枚の映像を合成して合成映像が作成される場合を述べたが、３台以上の車両のカメラ１１にて撮影された３枚以上の映像により合成映像を作成してもよい。
【００５９】
また、例えば第２車両１０２のカメラ１１にて撮影された映像のみを第１車両１０１の表示部１６に表示させる場合には、上記映像の表示視点を座標変換した映像のみを、他の映像と合成することなくカメラ１１の表示部１６に表示してもよい。
【００６０】
【発明の効果】
本発明によれば、他車両にて撮影した被写体の映像を、自車両の利用者が認識し易いように表示できる。
【図面の簡単な説明】
【図１】本発明に係る車両用視覚支援装置の一実施の形態を示すブロック図である。
【図２】図１の車両用視覚支援装置を搭載した車両の位置関係を示す俯瞰図である。
【図３】図２の車両に搭載された車両用視覚支援装置が撮影した映像を示す図である。
【図４】映像受信側の車両（第１車両１０１）における車両用視覚支援装置が実行するフローチャートである。
【図５】映像送信側の車両（第２車両１０２、第３車両１０３）における車両用視覚支援装置が実行するフローチャートである。
【符号の説明】
１０ 車両用視覚支援装置
１１ カメラ
１２ 位置取得部
１３ 無線通信部
１４ 記憶部
１５ 演算部
１６ 表示部
１００ 車両
１０１ 第１車両
１０２ 第２車両
１０３ 第３車両
Ａ、Ｂ 撮影枠
Ｃ 表示枠[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicular vision support apparatus and a support method for displaying an image taken by another vehicle during driving of the host vehicle.
[0002]
[Prior art]
As a vehicular visual assistance device that displays on the display device of the own vehicle while driving the own vehicle, there is a vehicle driving information device described in, for example, Japanese Patent Application Laid-Open No. 7-9886.
[0003]
In this driving information device, each vehicle is provided with a front monitoring camera and a communication device, and an image of the front of the other vehicle captured by the front monitoring camera of the other vehicle is obtained using the own vehicle and the communication device of the other vehicle. By displaying on this display device, visual information is provided to the driver of the host vehicle.
[0004]
[Problems to be solved by the invention]
However, in the vehicle driving information device as described above, the image captured by the front monitoring camera of the other vehicle displayed on the display device of the own vehicle is not the same as the image captured by the front monitoring camera of the own vehicle. Different perspectives. And the information regarding this display viewpoint is not displayed on the display apparatus of the own vehicle.
[0005]
For these reasons, it is difficult for users including the driver of the own vehicle to recognize the position of the subject in the image taken by the surveillance camera of the other vehicle, and therefore the driving operability of the vehicle is not necessarily improved. Absent.
[0006]
An object of the present invention has been made in view of the above-described circumstances, and is a vehicle visual support device and a support that can display an image of a subject captured by another vehicle so that a user of the host vehicle can easily recognize it. It is to provide a method .
[0007]
[Means for Solving the Problems]
The invention according to claim 1 is provided with display means for displaying video information including the video of the host vehicle transmitted from the other vehicle on the display unit of the host vehicle, and the display unit transmits from a plurality of other vehicles. The plurality of pieces of video information are combined and displayed so that the same subject overlaps .
[0008]
According to a second aspect of the present invention, in the first aspect of the present invention, the display means displays the video information transmitted from another vehicle moving in substantially the same direction .
[0009]
According to a third aspect of the present invention, in the first or second aspect of the present invention, the display means determines a position, a direction, and a scale of each piece of video information in each shooting frame based on a relative position to each other vehicle. It is characterized by being displayed after coordinate conversion .
[0010]
According to a fourth aspect of the present invention, in the invention according to any one of the first to third aspects, when the display means combines a plurality of pieces of video information , a video with a new shooting time or a video with a high resolution is given priority. It is characterized by being configured to be used .
[0011]
According to a fifth aspect of the present invention, in the invention according to any one of the first to fourth aspects, information on a distance between the host vehicle and another vehicle is displayed on the display unit of the host vehicle. It is characterized by being displayed superimposed on information .
[0012]
According to a sixth aspect of the present invention, in the fifth aspect of the present invention, the information related to the distance between the host vehicle and the other vehicle is determined based on a transmission / reception time in communication between the host vehicle and the other vehicle. It is characterized by having been comprised .
[0013]
According to a seventh aspect of the present invention, in the fifth aspect of the present invention, information on a distance between the host vehicle and the other vehicle is determined based on the position information of the host vehicle and the position information of the other vehicle. It is characterized by having been comprised .
[0014]
In the invention according to claim 8, when displaying the video information including the video of the host vehicle photographed and transmitted by the other vehicle on the display unit of the host vehicle, the plurality of the plurality of other vehicles transmitted from the other vehicle are displayed. The video information is synthesized and displayed so that the same subject overlaps .
[0019]
The inventions according to claims 1 to 8 have the following effects.
[0020]
Since the video captured by the other vehicle is converted into a video of a preset display viewpoint and the converted video is displayed, the subject captured by the other vehicle can be displayed so that the user of the host vehicle can easily recognize it. The driving operability of the host vehicle can be improved.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0022]
FIG. 1 is a block diagram showing an embodiment of a vehicle vision support apparatus according to the present invention.
[0023]
The vehicle vision support device 10 mounted on the vehicle 100 transmits video information between the different vehicles 100 by communication, and displays images captured by the other vehicles 100 in each vehicle 100. A position acquisition unit 12, a wireless communication unit 13, a storage unit 14, a calculation unit 15, and a display unit 16.
[0024]
The camera 11 captures the surroundings of the vehicle 100 and outputs the video information to the calculation unit 15.
[0025]
The position acquisition unit 12 includes a GPS (Global Positioning System) receiver, a gyro compass, and the like, and detects and acquires the position and orientation of the vehicle 100 and outputs the position information to the calculation unit 15. To do.
[0026]
The wireless communication unit 13 communicates with other vehicles 100, the video information captured by the camera 11, the position information of the vehicle 100 acquired by the position acquisition unit 12, and the position and angle at which the camera 11 is installed in the vehicle 100. A request signal and a response signal including camera installation information and the like containing the contents and the like are communicated with each other. Various information such as the position information of the vehicle 100 is input and output between the wireless communication unit 13 and the calculation unit 15.
[0027]
The storage unit 14 can be displayed on the display unit 16 of the own vehicle 100, information set in advance regarding the camera installation information in the own vehicle 100, the display viewpoint of the video displayed on the display unit 16 of the own vehicle 100, and the like. Information related to the display area is stored, and further, an image taken by the camera 11 of another vehicle 100 whose display viewpoint is changed as described later is stored. These various types of information are input / output between the storage unit 14 and the calculation unit 15.
[0028]
The functions of the arithmetic unit 15 are shown in the flowcharts of FIGS. 4 and 5 to be described later. The main function is acquired by the position information of the vehicle 100 detected by the camera 11 and the wireless communication unit 13. Based on the position information of the other vehicle 100 and the camera installation information of the other vehicle 100 and the information related to the preset display viewpoint stored in the storage unit 14, an image captured by the other vehicle 100 is preliminarily stored. Coordinate conversion is performed on the image of the set display viewpoint, and the converted image is output to the storage unit 14 for storage.
[0029]
That is, the calculation unit 15 calculates the relative position of the other vehicle 100 with respect to the own vehicle 100 from the position information of the own vehicle 100 and the position information of the other vehicle 100. Then, the arithmetic unit 15 uses the relative position and the camera installation information of the other vehicle 100 to use the camera of the other vehicle 100 with respect to a preset display viewpoint stored in the storage unit 14 of the own vehicle 100. 11 calculates the relative position of the display viewpoint of the video imaged in step 11. Next, when the relative position of the video display viewpoint of the other vehicle 100 is in the display area of the own vehicle 100 stored in the storage unit 14, the calculation unit 15 takes a picture with the other vehicle 100. Using the relative position of the display viewpoint of the video, the video captured by the other vehicle 100 is coordinate-converted into the video of the display viewpoint set in advance, and the converted video is output to the storage unit 14 and stored. Let
[0030]
Another main function of the calculation unit 15 is to coordinately convert images taken by the camera 11 in a plurality of other vehicles 100 into images of the display viewpoint set in advance in the same manner as described above, and store these. After being stored in the unit 14, the stored video of the other vehicle 100 after the coordinate conversion is combined into one video, and the video signal of the combined video is output to the display unit 16. At the time of this composition, among images of a plurality of other similar vehicles 100 stored in the storage unit 14, an image with a new shooting time or an image with a high resolution after the coordinate conversion described above is preferentially used and combined. The
[0031]
The display unit 16 displays the video signal output from the calculation unit 15 as an image. The display unit 16 displays information related to the inter-vehicle distance between the own vehicle 100 and the other vehicle 100 (display of the inter-vehicle distance, warning of approaching the vehicle 100, etc.) superimposed on the above synthesized image. Also good. The inter-vehicle distance is obtained from the relative distance calculated by the calculation unit 15 from the position information of the own vehicle 100 and the position information of the other vehicle 100. Alternatively, the inter-vehicle distance is calculated by the calculation unit 15 in the transmission / reception time (for example, when the wireless communication unit 13 of the own vehicle 100 transmits the request signal) in the communication between the own vehicle 100 and the other vehicle 100. The time until reception is calculated.
[0032]
The vehicle vision support apparatus 10 configured as described above is installed in the first vehicle 101, the second vehicle 102, and the third vehicle 103 shown in FIG. 2, and the vehicle vision support device is arranged around the first vehicle 101. There are a fourth vehicle 104 and a fifth vehicle 105 that are not equipped with the support device 10, and images captured by the cameras 11 of the second vehicle 102 and the third vehicle 103 are displayed on the display unit 16 of the first vehicle 101. An example of combining and displaying will be described. In this case, it is assumed that the second vehicle 102 and the third vehicle 103 exist at positions where these cameras 11 can capture an image including the blind spot of the first vehicle 101.
[0033]
(1) Request signal transmission operation in the first vehicle 101 (FIG. 4)
The position acquisition unit 12 of the first vehicle 101 acquires the position and azimuth of the first vehicle 101 and outputs the position information to the calculation unit 15 of the first vehicle 101 (S1).
[0034]
The calculation unit 15 of the first vehicle 101 outputs a request signal including the position information of the first vehicle 101 acquired in step S <b> 1 to the wireless communication unit 13 of the first vehicle 101. And the wireless communication part 13 of this 1st vehicle 101 transmits the said request signal containing a positional information to the 2nd vehicle 102 and the 3rd vehicle 103 (S2), and performs the standby reception of a response signal after that (S3). .
[0035]
(2) Operations of the second vehicle 102 and the third vehicle 103 that have received the request signal (FIG. 5)
Each of the wireless communication units 13 of the second vehicle 102 and the third vehicle 103 is waiting to receive a request signal (S4), and determines whether or not the request signal transmitted from the first vehicle 101 can be received. (S5).
[0036]
If the request signal is receivable, the position acquisition unit 12 of the second vehicle 102 acquires the position and orientation of the second vehicle 102 and outputs the position and direction to the calculation unit 15 of the second vehicle 102. The position acquisition unit 12 of the third vehicle 103 acquires the position and orientation of the third vehicle 103 and outputs the acquired position and direction to the calculation unit 15 of the third vehicle 103 (S6).
[0037]
Further, the calculation unit 15 of the second vehicle 102 inputs the camera installation information of the second vehicle 102 stored in advance in the storage unit 14 of the second vehicle 102, and the calculation unit 15 of the third vehicle 103 The camera installation information of the third vehicle 103 stored in advance in the storage unit 14 of the third vehicle 103 is input (S6).
[0038]
If the request signal is not receivable in step S5, the respective wireless communication units 13 of the second vehicle 102 and the third vehicle 103 execute reception waiting for the request signal (S4).
[0039]
Using the received position information of the first vehicle 101, position information of the second vehicle 102, and camera installation information of the second vehicle 102, the calculation unit 15 of the second vehicle 102 takes a picture. Whether or not the video is valid for the first vehicle 101, that is, whether or not the camera 11 of the second vehicle 102 can shoot a video of a position around the first vehicle 101 or a direction related to the travel of the first vehicle 101. Is determined (S7).
[0040]
Similarly, the calculation unit 15 of the third vehicle 103 also uses the received position information of the first vehicle 101, position information of the third vehicle 103, and camera installation information of the third vehicle 103, to detect the camera of the third vehicle 103. It is determined whether or not the image captured by 11 is valid for the first vehicle 101 (S7).
[0041]
In step S <b> 7, when the calculation unit 15 of the second vehicle 102 determines that the image from the camera 11 of the second vehicle 102 is valid for the first vehicle 101, the camera 11 of the second vehicle 102 The video information is output to the calculation unit 15 of the second vehicle 102 (S8). Thereafter, the wireless communication unit 13 of the second vehicle 102 sends a response signal including a video signal from the camera 11 of the second vehicle 102, position information of the second vehicle 102, and camera installation information of the second vehicle 102 to the first vehicle 101. (S9).
[0042]
Similarly, when the calculation unit 15 of the third vehicle 103 determines that the image from the camera 11 of the third vehicle 103 is valid for the first vehicle 101, the camera 11 of the third vehicle 103 The video information is output to the calculation unit 15 of the third vehicle 103 (S8). Thereafter, the wireless communication unit 13 of the third vehicle 103 sends a response signal including video information from the camera 11 of the third vehicle 103, position information of the third vehicle 103, and camera installation information of the third vehicle 103 to the first vehicle 101. (S9).
[0043]
In step S <b> 7, the calculation units 15 of the second vehicle 102 and the third vehicle 103 do not determine that the images from the cameras 11 of the second vehicle 102 and the third vehicle 103 are valid for the first vehicle 101. In the case of the failure, the wireless communication units 13 of the second vehicle 102 and the third vehicle 103 again perform reception standby (S4).
[0044]
(3) Operation of the first vehicle 101 that has received the response signal (FIG. 4)
The wireless communication unit 13 of the first vehicle 101 determines whether or not the response signal transmitted from the second vehicle 102 can be received (S10). If it can be received, the received video information and position of the second vehicle 102 are received. Information and camera installation information are output to the calculation unit 15 of the first vehicle 101.
[0045]
The computing unit 15 of the first vehicle 101 calculates the relative position of the second vehicle 102 with respect to the first vehicle 101 from the position information of the first vehicle 101 and the position information of the second vehicle 102 (S11).
[0046]
Next, the calculation unit 15 of the first vehicle 101 inputs a preset display viewpoint of the video displayed on the display unit 16 from the storage unit 14 and calculates the relative value of the second vehicle 102 obtained in step S11. Using the position and the camera installation information of the second vehicle 102, the relative position of the video viewpoint of the video captured by the camera 11 of the second vehicle 102 with respect to a preset display viewpoint is calculated (S12).
[0047]
Thereafter, the calculation unit 15 of the first vehicle 101 inputs information about the display area that can be displayed on the display unit 16 from the storage unit 14, and the relative position of the display viewpoint of the video of the second vehicle 102 is within the display area. It is determined whether or not (S13).
[0048]
If it is within the display area in step S13, the calculation unit 15 of the first vehicle 101 uses the relative position of the display viewpoint in the image of the second vehicle 102, and the position, orientation, By adjusting the scale and the like, the image of the second vehicle 102 is coordinate-converted into the image of the display viewpoint set in advance, and the converted image is stored in the storage unit 14 of the first vehicle 101 (S14).
[0049]
The procedure from the above steps S10 to S14 is similarly executed with respect to the response signal transmitted from the third vehicle 103, and the image of the third vehicle 103 that has been coordinate-converted into the image of the display viewpoint set in advance is obtained. The data is stored in the storage unit 14 of the first vehicle 101.
[0050]
Finally, the calculation unit 15 of the first vehicle 101 has a new shooting time among the images of the second vehicle 102 and the third vehicle 103 that are stored in the storage unit 14 of the first vehicle 101 and whose display viewpoint is coordinate-converted. The video of the second vehicle 102 and the third vehicle 103 is synthesized with priority given to the video or the video with high resolution after conversion to the display viewpoint (S15).
[0051]
When the calculation unit 15 of the first vehicle 101 outputs the synthesized video signal to the display unit 16 of the first vehicle 101, the display unit 16 displays the synthesized video (S16).
[0052]
FIG. 3C shows a composite image displayed on the display unit 16 of the first vehicle 101. In FIG. 3C, the display viewpoint of the preset image displayed on the display unit 16 of the first vehicle 101 is set to the viewpoint facing the first vehicle 101 from the rear of the first vehicle 101. The blind spot of the first vehicle 101 is reduced.
[0053]
On the other hand, FIG. 3A is an image before coordinate conversion, which is captured by the camera 11 of the second vehicle 102 and transmitted to the first vehicle 101. In the imaging frame A, the first vehicle 101 and the fourth vehicle 104 viewed from behind are shown. FIG. 5B is an image before coordinate conversion that is taken by the camera 11 of the third vehicle 103 and transmitted to the first vehicle 101. In the imaging frame B, the first vehicle 101 and the fifth vehicle 105 viewed from behind are shown.
[0054]
In order to create the composite image shown in FIG. 3C, the positions, orientations, and scales of the imaging frame A and the imaging frame B are relative to the display viewpoints of the images captured by the second vehicle 102 and the third vehicle 103, respectively. Based on the position, adjustment is performed by coordinate transformation so that the same subject (for example, the first vehicle 101) in the image of the shooting frame A and the image of the shooting frame B overlap. That is, since the shooting frame A is shot on the left side of the shooting frame B, the shooting frame A is arranged on the left side of the shooting frame B in the composite video display frame C of FIG. In addition, since the shooting frame A is shot at a shorter distance than the shooting frame B, the display frame C is reduced in size than the shooting frame B.
[0055]
With the configuration as described above, according to the above embodiment, the following effects are obtained.
[0056]
In the visual support device 10 for the vehicle of the first vehicle 101, the image captured by the camera 11 of the second vehicle 102 and the third vehicle 103 is converted into an image of a preset display viewpoint, and the converted image is displayed. Since it is displayed on the unit 16, the subject photographed by the camera 11 of the second vehicle 102 and the third vehicle 103 can be displayed so that the user (including the driver) of the first vehicle 101 can easily recognize. As a result, the driving operability of the first vehicle 101 can be improved, and the traveling safety of the vehicle can be improved.
[0057]
As mentioned above, although this invention was demonstrated based on the said embodiment, this invention is not limited to this.
[0058]
For example, in the above embodiment, a case has been described in which a composite image is created by combining two images captured by the camera 11 of the second vehicle 102 and the third vehicle 103, but three or more vehicles are created. A composite video may be created from three or more videos shot by the camera 11.
[0059]
For example, when only the video imaged by the camera 11 of the second vehicle 102 is displayed on the display unit 16 of the first vehicle 101, only the video image obtained by coordinate conversion of the display viewpoint of the video image is replaced with another video image. You may display on the display part 16 of the camera 11 without combining.
[0060]
【The invention's effect】
According to the present invention , it is possible to display an image of a subject photographed by another vehicle so that a user of the own vehicle can easily recognize.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of a vehicular vision support apparatus according to the present invention.
2 is a bird's-eye view showing a positional relationship of a vehicle on which the vehicle vision support apparatus of FIG. 1 is mounted.
3 is a diagram showing a video image taken by the vehicular visual assistance device mounted on the vehicle of FIG. 2; FIG.
FIG. 4 is a flowchart executed by the visual support device for a vehicle in the vehicle (first vehicle 101) on the video receiving side.
FIG. 5 is a flowchart executed by the vehicular vision support apparatus in the vehicle (second vehicle 102, third vehicle 103) on the video transmission side.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 Vehicle vision assistance apparatus 11 Camera 12 Position acquisition part 13 Wireless communication part 14 Memory | storage part 15 Calculation part 16 Display part 100 Vehicle 101 1st vehicle 102 2nd vehicle 103 3rd vehicle A, B Shooting frame C Display frame

Claims (8)

自車両の表示部に、他車両から送信された自車両の映像を含んだ映像情報を表示する表示手段を備え、
前記表示手段が、複数の他車両から送信される複数の前記映像情報を同一被写体が重なるように合成して表示することを特徴とする車両用視覚支援装置。The display unit of the host vehicle includes display means for displaying video information including the video of the host vehicle transmitted from another vehicle,
The visual support device for a vehicle , wherein the display means combines and displays a plurality of the video information transmitted from a plurality of other vehicles so that the same subject overlaps . 前記表示手段が略同一方向に移動中の他車両から送信される前記映像情報を表示することを特徴とする請求項１に記載の車両用視覚支援装置。  The visual support apparatus for a vehicle according to claim 1, wherein the display means displays the video information transmitted from another vehicle moving in substantially the same direction. 前記表示手段が複数の映像情報の各撮影枠における位置、方位、及びスケールを各他車両との相対位置に基づいて座標変換して表示することを特徴とする請求項１または２に記載の車両用視覚支援装置。3. The vehicle according to claim 1, wherein the display means displays a position, a direction, and a scale of each piece of video information in each photographing frame after coordinate conversion based on a relative position with respect to each other vehicle. Visual support device. 前記表示手段が複数の映像情報の合成に際し、撮影時刻が新しい映像、または解像度の高い映像を優先して用いるように構成されたことを特徴とする請求項１乃至３のいずれか一項に記載の車両用視覚支援装置。4. The display device according to claim 1, wherein the display unit is configured to preferentially use a video with a new shooting time or a video with a high resolution when combining a plurality of pieces of video information. 5. vision support apparatus for a vehicle. 前記自車両の表示部には、当該自車両と他車両との間の距離に関する情報が、映像情報に重ねて表示されることを特徴とする請求項１乃至４のいずれか一項に記載の車両用視覚支援装置。 5. The information on the distance between the host vehicle and the other vehicle is displayed on the display unit of the host vehicle so as to be superimposed on the video information . Vision support device for vehicles. 前記自車両と前記他車両間の距離に関する情報を、自車両と他車両との通信における送受信時間に基づいて決定するように構成されたことを特徴とする請求項５に記載の車両用視覚支援装置。 6. The visual support for a vehicle according to claim 5, wherein information relating to a distance between the own vehicle and the other vehicle is determined based on a transmission / reception time in communication between the own vehicle and the other vehicle. apparatus. 前記自車両と前記他車両間の距離に関する情報を、自車両の位置情報と他車両の位置情報に基づいて決定するように構成されたことを特徴とする請求項５に記載の車両用視覚支援装置。 6. The vehicular visual support according to claim 5, wherein information on a distance between the own vehicle and the other vehicle is determined based on position information of the own vehicle and position information of the other vehicle. apparatus. 自車両の表示部に、他車両で撮影され送信された自車両の映像を含んだ映像情報を表示するときに、複数の他車両から送信される複数の前記映像情報を同一被写体が重なるように合成して表示することを特徴とする車両用視覚支援方法。 When displaying the video information including the video of the host vehicle photographed and transmitted by the other vehicle on the display unit of the host vehicle, the same subject overlaps the plurality of the video information transmitted from the plurality of other vehicles. A visual support method for a vehicle characterized by combining and displaying .
JP2001176513A 2001-06-12 2001-06-12 VISUAL SUPPORT DEVICE AND SUPPORT METHOD FOR VEHICLE Expired - Fee Related JP4643860B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001176513A JP4643860B2 (en) 2001-06-12 2001-06-12 VISUAL SUPPORT DEVICE AND SUPPORT METHOD FOR VEHICLE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001176513A JP4643860B2 (en) 2001-06-12 2001-06-12 VISUAL SUPPORT DEVICE AND SUPPORT METHOD FOR VEHICLE

Publications (3)

Publication Number Publication Date
JP2002367080A JP2002367080A (en) 2002-12-20
JP2002367080A5 JP2002367080A5 (en) 2008-07-10
JP4643860B2 true JP4643860B2 (en) 2011-03-02

Family

ID=19017489

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001176513A Expired - Fee Related JP4643860B2 (en) 2001-06-12 2001-06-12 VISUAL SUPPORT DEVICE AND SUPPORT METHOD FOR VEHICLE

Country Status (1)

Country Link
JP (1) JP4643860B2 (en)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3972722B2 (en) * 2002-04-24 2007-09-05 株式会社エクォス・リサーチ In-vehicle image processing device
JP4103518B2 (en) * 2002-09-20 2008-06-18 株式会社エクォス・リサーチ In-vehicle image display device
JP2005098868A (en) * 2003-09-25 2005-04-14 Matsushita Electric Ind Co Ltd On-vehicle communication device
JP4339178B2 (en) * 2004-05-12 2009-10-07 アルパイン株式会社 Parking space empty space guidance device and parking space empty space guidance method
JP4752486B2 (en) * 2005-12-15 2011-08-17 株式会社日立製作所 Imaging device, video signal selection device, driving support device, automobile
JP4795069B2 (en) * 2006-03-30 2011-10-19 本田技研工業株式会社 Vehicle travel safety device
JP4952421B2 (en) * 2007-07-18 2012-06-13 株式会社デンソー Driving support system
JP4702348B2 (en) * 2007-10-09 2011-06-15 株式会社エクォス・リサーチ In-vehicle image display device
JP2009101718A (en) * 2007-10-19 2009-05-14 Toyota Industries Corp Image display device and image display method
JP5132412B2 (en) * 2008-04-28 2013-01-30 三菱電機株式会社 Parking assistance system
JP5349227B2 (en) * 2009-03-10 2013-11-20 株式会社東芝 Car navigation system and individual function device for image signal output
KR101709173B1 (en) * 2010-10-18 2017-02-22 현대모비스 주식회사 Apparatus and Method for Securing Vehicular Sight on the basis of Universal Plug and Play
JP4909451B1 (en) * 2011-03-28 2012-04-04 パイオニア株式会社 Information display apparatus and control method
JP5771508B2 (en) 2011-11-10 2015-09-02 オリンパス株式会社 Display device, imaging device, and video display system
WO2013111491A1 (en) * 2012-01-26 2013-08-01 日産自動車株式会社 Monitoring system
KR102020624B1 (en) * 2012-09-03 2019-09-10 현대모비스 주식회사 Front Video Providing Method and Display Apparatus
KR101622028B1 (en) 2014-07-17 2016-05-17 주식회사 만도 Apparatus and Method for controlling Vehicle using Vehicle Communication
JP6387744B2 (en) * 2014-08-28 2018-09-12 株式会社デンソー On-board device and driving support system
JP6444835B2 (en) * 2015-09-07 2018-12-26 株式会社東芝 Image processing apparatus, image processing program, and image processing system
KR102200522B1 (en) * 2015-10-28 2021-01-11 현대자동차주식회사 Method for providing image of camera of vehicle
JP6657891B2 (en) * 2015-12-09 2020-03-04 日本電気株式会社 Operation assistance system and operation assistance method using operation assistance system
JP2018097408A (en) * 2016-12-08 2018-06-21 シャープ株式会社 Travel control apparatus, travel control method, travel control program and autonomous traveling device
JP7150180B2 (en) * 2019-07-30 2022-10-07 三菱電機株式会社 Vehicle driving support system, base side driving support device and in-vehicle driving support device
JP2021103481A (en) * 2019-12-25 2021-07-15 パナソニックＩｐマネジメント株式会社 Driving support device, driving support method and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH079886A (en) * 1993-06-29 1995-01-13 Hitachi Ltd Drive information device for vehicle
JPH113493A (en) * 1997-06-13 1999-01-06 Toyota Motor Corp Video information providing device, its method and medium storing program for them
JPH11125535A (en) * 1997-10-21 1999-05-11 Kansei Corp Method and apparatus for displaying vehicle speed
JPH11195196A (en) * 1997-12-26 1999-07-21 Toyota Motor Corp On-vehicle information providing device
JP2000259818A (en) * 1999-03-09 2000-09-22 Toshiba Corp Condition information providing device and method therefor
JP2001114048A (en) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd On-vehicle operation supporting information display device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH079886A (en) * 1993-06-29 1995-01-13 Hitachi Ltd Drive information device for vehicle
JPH113493A (en) * 1997-06-13 1999-01-06 Toyota Motor Corp Video information providing device, its method and medium storing program for them
JPH11125535A (en) * 1997-10-21 1999-05-11 Kansei Corp Method and apparatus for displaying vehicle speed
JPH11195196A (en) * 1997-12-26 1999-07-21 Toyota Motor Corp On-vehicle information providing device
JP2000259818A (en) * 1999-03-09 2000-09-22 Toshiba Corp Condition information providing device and method therefor
JP2001114048A (en) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd On-vehicle operation supporting information display device

Also Published As

Publication number Publication date
JP2002367080A (en) 2002-12-20

Similar Documents

Publication Publication Date Title
JP4643860B2 (en) VISUAL SUPPORT DEVICE AND SUPPORT METHOD FOR VEHICLE
WO2019192359A1 (en) Vehicle panoramic video display system and method, and vehicle controller
US10183621B2 (en) Vehicular image processing apparatus and vehicular image processing system
JP4863791B2 (en) Vehicle peripheral image generation apparatus and image switching method
US8576285B2 (en) In-vehicle image processing method and image processing apparatus
US8880344B2 (en) Method for displaying images on a display device and driver assistance system
EP3306918B1 (en) Information presentation system
JP5262976B2 (en) In-vehicle display device
JP2002335524A (en) Driving support device
JP2016220011A (en) Image processing apparatus, electronic mirror system, and image processing method
US9682655B2 (en) Method and device for operating a vehicle
KR20120066194A (en) System for providing image around vehicle with portable terminal and method thereof
JP2007300559A (en) Vehicle peripheral image providing device and shadow correcting method in vehicle peripheral image
JP2011049735A (en) Vehicle periphery image providing device
JP2006054662A (en) Drive support device
KR20200047257A (en) Device and a method for displaying aerial view images of a vehicle
US8213683B2 (en) Driving support system with plural dimension processing units
JP4857159B2 (en) Vehicle driving support device
JP2013055416A (en) Exterior video provision system
JP4579132B2 (en) Vehicle / Ambient Image Providing Device
CN216331763U (en) Intelligent automobile electronic rearview mirror equipment of integrated panorama function and BSD function
US20230098424A1 (en) Image processing system, mobile object, image processing method, and storage medium
JP6999239B2 (en) Image processing device and image processing method
JP5132796B2 (en) Vehicle peripheral image generation apparatus and image switching method
JP2009020647A (en) Three-dimensional object detection method and solid object detection device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101101

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101130

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101203

R150 Certificate of patent or registration of utility model

Ref document number: 4643860

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees