JP2004064150A - Image conversion system and image processor - Google Patents

Image conversion system and image processor Download PDF

Info

Publication number
JP2004064150A
JP2004064150A JP2002215805A JP2002215805A JP2004064150A JP 2004064150 A JP2004064150 A JP 2004064150A JP 2002215805 A JP2002215805 A JP 2002215805A JP 2002215805 A JP2002215805 A JP 2002215805A JP 2004064150 A JP2004064150 A JP 2004064150A
Authority
JP
Japan
Prior art keywords
image
distance
conversion
vehicle
conversion table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002215805A
Other languages
Japanese (ja)
Other versions
JP3982357B2 (en
Inventor
Akinobu Yoshimura
吉村　明展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2002215805A priority Critical patent/JP3982357B2/en
Publication of JP2004064150A publication Critical patent/JP2004064150A/en
Application granted granted Critical
Publication of JP3982357B2 publication Critical patent/JP3982357B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image conversion system which regulates the layout of pixels of input data in conversion on a conversion table, based on output data, thereby avoiding forming space portions in displaying data. <P>SOLUTION: The image conversion system is composed of a back camera connected to an image processor 13 and various types of sensors connected to the image processor 13 via a gateway unit. The image processor 13 stores a plurality of conversion tables in a conversion table memory 21 which relate ranges of a part of coordinate ranges of pixels forming data of images taken by the back camera with coordinate ranges of pixels forming the displaying data. The image processor 13 measures the distance of an object behind a vehicle, using an ultrasonic sensor, compares it with a comparing distance stored in a ROM 27, and, if the measured distance is not longer than the comparing distance, switches from one conversion table having a long part of the range to another conversion table having a short part to automatically enlarge an image to display. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に取り付けられた撮像装置の撮像データを表示用データに変換するものに関し、特に、撮像データの特定範囲を拡大した表示用データへスムーズに変換できる画像変換システム及び画像処理装置に関する。
【０００２】
【従来の技術】
従来、車両の運転席から死角となる車両の前部、後部等にカメラを取り付けると共に、カメラの撮像した撮像データを画像処理装置で表示用データに変換し、この表示用データを車内に設置したモニタ装置で表示すると云う画像変換システムが存在する。
【０００３】
従来の画像変換システムにおける変換の種類には、撮像データの画像の視点方向の変更、及び、撮像データに各種ガイド線等の図データを付加するもの等がある。画像の視点方向を変更するものには、例えば、撮像した画像を俯瞰方向から眺めた画像に画像処理装置で変換するものがあり、このように俯瞰方向に変換した画像を車内のモニタ装置で表示することで、運転者の運転操作に係る各種判断を支援する。
【０００４】
また、ガイド線等の図データが付加された表示用データへの変換は、例えば、駐車スペースに車両を駐車する際に行われ、このような変換を行うことで付加されたガイド線等を車両の進行程度に対する目安として利用できるようにしている。なお、上述した画像処理装置における変換では、撮像した画像の画素を入力データである変換元にして、出力データである変換後の表示用データを得ている。
【０００５】
【発明が解決しようとする課題】
上述したように従来の画像変換システムの変換では、画像の視点方向を変更して運転操作を支援できるようにしているが、変換された画像をモニタ装置で表示する範囲を変更する機能までは存在しないので、画像を拡大して運転操作をきめ細かく支援できない場合がある。例えば、周囲に他の車両等が駐車しているスペースに車両を駐車させるような場合、自身の車両と他の車両とが接触するおそれのある箇所を大きな表示で確認したいときもあるが、従来の変換では拡大表示に対応していないため、自身の車両と他の車両との間隔等を詳細に確認できないと云う問題がある。
【０００６】
また、駐車操作時等に使用されるバックカメラには広い範囲を撮像できるように広角レンズが装着されている場合が多いが、このような広角レンズによる撮像画像は湾曲するため、モニタ装置で表示される変換後の表示用データにも歪みが生じ、現実の状況に比べて違和感を与えると共に距離感の把握を混乱させる問題がある。なお、このような問題はガイド線等を付加することで、従来は対応されているが、湾曲画像にガイド線等が付加された状況であるため、依然として違和感等は解消できない。
【０００７】
さらに、従来の変換では、画像処理装置に入力される撮像データから出力される表示用データを得ているため、撮像データの画素位置に対応していない表示用データの画素位置には変換情報が配置されない。その結果、変換情報が配置されない表示用データの箇所には、画像が表示されない空白部分が発生する問題がある。
【０００８】
本発明は、斯かる事情に鑑みてなされたものであり、特別な操作を行うこと無しに、撮像データの画像を自動で拡大して変換できる画像変換システム及び画像処理装置を提供することを目的とする。
また、本発明は、画像の拡大と共に撮像データの画像の視点方向の変更及び歪みの矯正をスムーズに行い、車両の駐車操作に貢献できる画像変換システムを提供することを目的とする。
【０００９】
さらに、本発明は、変換テーブルの変換で出力データを元にして入力データの各画素の配置を規定することにより、表示用データに空白部分を生じさせない画像変換システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
第１発明に係る画像変換システムは、車両に取り付けてある撮像装置と、該撮像装置が撮像した撮像データを表示用データに変換を行う画像処理装置とを接続してなる画像変換システムにおいて、前記画像処理装置は、前記撮像データを形成する画素の座標範囲の一部の範囲と、該一部の範囲より大きい範囲である前記表示用データを形成する画素の座標範囲とを対応付ける変換テーブルと、該変換テーブルに基づいて、前記一部の範囲における撮像データの画像を拡大する前記変換を行う変換手段とを備えることを特徴とする。
【００１１】
第２発明に係る画像変換システムは、前記変換テーブルが、前記撮像データの画像を俯瞰方向の画像に変換を行う方向変換手段を備えることを特徴とする。
【００１２】
第３発明に係る画像変換システムは、前記撮像装置が、湾曲画像の撮像データを撮像するものであり、前記変換テーブルは、前記湾曲画像の歪みを矯正する変換を行う歪み矯正手段を備えることを特徴とする。
【００１３】
第４発明に係る画像変換システムは、前記撮像装置が車両の後方を撮像するものであり、前記変換テーブルは複数であり、各変換テーブルで対応付けられる前記一部の範囲は夫々相違しており、車両から後方に位置する物までの距離を測定する距離測定手段と、距離を記憶する距離記憶手段とを備え、前記画像処理装置は更に、前記距離測定手段の測定した距離が前記距離記憶手段の記憶する距離以下の場合、前記一部の範囲が大きい変換テーブルから小さい変換テーブルへ切換を行う変換テーブル切換手段を備えることを特徴とする。
【００１４】
第５発明に係る画像変換システムは、車両の直進状態を検出する直進検出手段を更に備え、前記変換テーブル切換手段は、前記直進検出手段が直進状態を検出したときに、前記切換を行うことを特徴とする。
【００１５】
第６発明に係る画像変換システムは、車両の前進距離を測定する前進距離測定手段と、前進距離を記憶する前進距離記憶手段とを更に備え、前記変換テーブル切換手段は、前記切換が行われた場合で、前記前進距離測定手段の測定した前進距離が前記前進距離記憶手段の記憶する前進距離以下のとき、前記行われた切換を維持する手段を備えることを特徴とする。
【００１６】
第７発明に係る画像変換システムは、前記撮像装置が車両の後方を撮像するものであり、前記変換テーブルは複数であり、各変換テーブルで対応付けられる前記一部の範囲は夫々相違しており、車両の後進距離を測定する測定手段と、距離を記憶する距離記憶手段とを備え、前記画像処理装置は更に、前記表示用データにおける目標位置を受け付ける受付手段と、前記表示用データにおける車両の位置を特定する特定手段と、該特定手段の特定した車両の位置から前記受付手段の受け付けた目標位置までの距離を演算する距離演算手段と、該距離演算手段の演算した距離と前記測定手段が測定した後進距離の差を演算する差演算手段と、前記差演算手段の演算した距離の差が前記距離記憶手段の記憶する距離以下の場合、前記一部の範囲が大きい変換テーブルから小さい変換テーブルへ切換を行う変換テーブル切換手段とを備えることを特徴とする。
【００１７】
第８発明に係る画像変換システムは、前記各変換テーブルが、前記撮像データの一部の範囲に対する前記表示用データの座標範囲の比に応じた大きさの車両の図データを前記表示用データに付加する手段を備えることを特徴とする。
【００１８】
第９発明に係る画像変換システムは、車両のエンジン停止からエンジン始動までの時間を測定する時間測定手段と、時間を記憶する時間記憶手段とを更に備え、前記変換テーブル切換手段は、前記切換が行われた場合で、前記時間測定手段の測定した時間が前記時間記憶手段の記憶する時間以下のとき、前記行われた切換を維持する手段を備えることを特徴とする。
【００１９】
第１０発明に係る画像変換システムは、前記小さい変換テーブルが、車両の後方へ延出するガイド線を示すガイド線データを前記表示用データに付加する手段を備えることを特徴とする。
【００２０】
第１１発明に係る画像変換システムは、前記小さい変換テーブルが、車両の後端からの距離を示す距離線を示す距離線データを前記表示用データに付加する手段を備えることを特徴とする。
【００２１】
第１２発明に係る画像処理装置は、撮像データを表示用データへ変換する画像処理装置において、前記撮像データを形成する画素の座標範囲の一部の範囲と、該一部の範囲より大きい範囲である前記表示用データを形成する画素の座標範囲とを対応付ける変換テーブルと、該変換テーブルに基づいて、前記一部の範囲における撮像データの画像を拡大する前記変換を行う変換手段とを備えることを特徴とする。
【００２２】
第１発明及び第１２発明にあっては、変換テーブルが撮像データの一部の範囲と、表示用データの座標範囲とを対応付けるので、この変換テーブルに基づき変換を行うことで、撮像データの画像を拡大した表示用データへ自動でスムーズに変換できる。このように撮像データの画像を拡大した表示用データを表示することで、運転者は運転操作の判断に必要な箇所の状況を詳細に把握できる。
【００２３】
なお、拡大される比率は、撮像データの一部の範囲と前記表示用データの座標範囲の比に対応しており、前記表示用データの座標範囲が一定の場合、前記撮像データの一部の範囲が小さい程、表示される画像は拡大されることになる。
【００２４】
第２発明にあっては、変換テーブルが方向変換手段を備えることで、撮像データの画像拡大と同時に画像の視点を俯瞰方向に変更でき、相違する２つの変換を効率的に行うことができる。また、このような俯瞰方向の変更は変換式に基づいて行うことが変換処理の効率化及び高精度等の観点から好適である。
【００２５】
第３発明にあっては、変換テーブルが歪み矯正手段を備えることで、撮像データの画像が湾曲していても歪みを矯正できるので、変換された表示用データを違和感のない自然な画像で表示でき、距離感等の把握も容易にできる。さらに、前記歪みの矯正は撮像データの縮尺変更と同時に行うことで、変換効率も向上でき、また、第２発明に係る俯瞰方向の変更も組み合わせて、縮尺変更、方向変更及び歪み矯正を一度に行うことも可能である。なお、第３発明に係る変換も変換式に基づいて行うことが好適である。
【００２６】
第４発明にあっては、画像変換システムの変換対象をバックカメラの撮像データにした場合であり、距離測定手段等を備えることで、自動的に表示される画像を拡大でき、駐車の操作において細心の注意を要求される場面で、拡大率の変更の操作から運転者を解放して運転者の負担を軽減できる。なお、バックカメラの撮像画像の表示は基本的に車両のリバースギアが入ったことを検出して行うようにする。さらに、手動で拡大率等を変更する場合等も考慮して拡大率変更に対応した操作スイッチ等を設けるようにしてもよい。なお、距離測定手段には超音波センサを適用するのが好適である。
【００２７】
第５発明にあっては、直進検出手段を設けることで、車両が直進状態であるときに、拡大画像の表示を行うので現実の駐車状況に即した表示を行える。即ち、駐車しようとする駐車スペースの隣に他の車両が駐車されているような場合、駐車スペースへ姿勢を方向転換して駐車するとき、方向転換の途中で駐車する車両の後方に他の車両が位置するような状況が発生する。この際、第４発明に基づき後方の他の車両の検出に応じて表示が拡大画像に切り換えられることが想定される。
【００２８】
一般に、方向転換して駐車スペースに車両を入れる状況では表示を拡大する必要はないので、方向転換時には車両の操舵装置が操舵されていることを判断条件として、方向転換が終了して駐車の最終段階の車両が直進状態の場合にだけ表示の切換を行うようにすることで、無用な表示切換を回避できる。また、上述したように距離測定手段で後方の壁等までの距離を測定して拡大表示にすることで、壁等までの詳細な状況を確認でき、適切な位置に車両を停止する判断を支援できる。なお、直進検出手段としては操舵装置の操舵角の検出センサ等を適用できる。
【００２９】
第６発明にあっては、前進距離測定手段が測定した距離と記憶された前進距離との関係に応じて変換テーブルの切換を維持するので、車両の操作状況に合致した表示を行うことができる。即ち、実際の駐車操作においては、車両の姿勢を整えるため後進している車両を一旦前進させることもあるが、このような前進の度に画像の縮尺表示を切り換えると、表示状況が煩雑になる。よって、一旦駐車の操作の段階になると、無用な切換を行わないようにして拡大画像の表示を維持して、見やすい表示状況を確保できる。
【００３０】
第７発明にあっては、表示される画像の拡大切換を実際の後進距離に基づき行うので、一段と現実の車両の位置と駐車する目標位置の関係に応じた表示を行うことができる。なお、表示用データにおける目標位置の受付手段としては、タッチパネル機能を具備するモニタ装置等を適用でき、モニタ装置に表示される画像で駐車させたい位置を触れることで、表示される画像の画素単位と実際の距離との換算を行うことにより目標位置から現在の車両位置までの距離を演算できる。また、実際の後進距離は、車両にジャイロセンサ、車速センサ及びリバースギアセンサ等を設けることで、これらの各センサの検出値に基づき求めることができる。
【００３１】
第８発明にあっては、変換テーブルに拡大比率に応じた大きさの車両の図データを付加する手段を設けることで、表示用データには車両の図データが表示されることになり、この車両の図データの大きさから現在の表示の拡大率を判断でき、表示される状況の距離感等の把握を容易にできる。なお、拡大率の判断しやすさ及び第２発明の俯瞰方向への変更等を考慮すると、車両の図データには車両の鳥瞰図を適用するのが好適である。
【００３２】
第９発明にあっては、一旦、駐車操作を終了してエンジンを停止しても、車外に出てみると、もう少し車両を寄せたい場合等が現実には存在するため、このような場合に対して、エンジン停止から記憶された時間内にエンジンを再始動した場合は、駐車操作時の拡大表示を維持し、駐車操作に適した画像を即時に表示して、実際の状況に適した表示を実現できる。
【００３３】
第１０発明にあっては、小さい変換テーブルが車両から後方へ伸びるガイド線データを付加する手段を備えるので、駐車の最終段階における拡大された表示で操作の目安を提供して駐車操作を支援できる。なお、ガイド線は、車両の幅方向の両端部から車両の長手方向と平行に延出させることが、車両の駐車状況を確実に把握できるようにする観点から好ましい。
【００３４】
第１１発明にあっては、小さい変換テーブルが車両の後端からの距離を示す距離線データを付加する手段を備えるので、拡大表示へ切り換えた後には、車両の後方からの距離を、表示用データで示される距離線に基づき必要な後進距離を判断でき、確実な駐車操作を行うことができる。
【００３５】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて説明する。
図１は、本発明の実施形態に係る画像変換システム１０の全体構成図である。画像変換システム１０は車両Ｓに構築されており、バックカメラ１２をモニタ装置１４が接続されている画像処理装置１３へ情報系ケーブル１５で接続すると共に、情報系ケーブル１５の端末のゲートウェイ装置１６を介して超音波センサ１８Ａ、操舵角センサ１８Ｂ、車速センサ１８Ｃ、エンジン回転センサ１８Ｄ及びリバースギアセンサ１８Ｅを接続している。
【００３６】
画像変換システム１０の情報系ケーブル１５で接続される範囲は、同期通信用ネットワークのＩＥＥＥ１３９４の規格に合致したネットワーク構成になっており、車両に構築される車載ＬＡＮの一部に相当する情報系ＬＡＮ１１を形成している。一方、超音波センサ１８Ａ等の接続を行うボディ系ケーブル１９に係る範囲は、車載ＬＡＮにおけるボディ系ＬＡＮ１７を形成しており、ゲートウェイ装置１６が系統の相違する情報系ＬＡＮ１１及びボディ系ＬＡＮ１７を接続して、各センサ１８Ａ等の検出信号を情報系ＬＡＮ１１側の画像処理装置１３へ伝送している。
【００３７】
情報系ＬＡＮ１１に含まれるバックカメラ１２は撮像装置に相当し、図２に示すように車両Ｓの後方に取り付けられている。バックカメラ１２は広角レンズが装着されて車両の後方を広角で撮像するようにしている。図３（ａ）はバックカメラ１２で撮像された撮像データの一例となる画像４０であり、図３（ｂ）に示す駐車場Ｐの点Ａの位置で車両Ｓの後方を撮像したものである。なお、画像４０は広角レンズの影響により、歪みのある湾曲画像になる。また、バックカメラ１２の撮像及び撮像データの伝送は、画像処理装置１３のリバースギアセンサ１８Ｅの後進ギヤ位置の検出に応じた制御により行われる。
【００３８】
一方、図４に示す画像処理装置１３は、伝送された撮像データをモニタ装置１４で表示する表示用データに変換するものであり、内部に変換テーブル用メモリ２１、通信インタフェース２２、マイクロコンピュータ２３、画像処理ＡＳＩＣ２４、フレームメモリ２５、モニタインタフェース２６、ＲＯＭ２７及びＲＡＭ２８を具備している。
【００３９】
変換テーブル用メモリ２１は、バックカメラ１２の撮像データを表示用データへ変換する際に使用する変換テーブルを記憶するものであり、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ＰＲＯＭ）で形成されている。
【００４０】
変換テーブル用メモリ２１に記憶される変換テーブルには様々な種類があり、例えば、図３（ａ）の歪みのある画像４０を、図５（ａ）（ｂ）（ｃ）に示す俯瞰方向で且つ歪みの矯正された種々の大きさの表示用データの画像４１、４２、４３に変換するもの、さらには、図６に示す一段と大きく拡大されてガイド線４６Ａ、４６Ｂ等が付加された表示用データの画像４４に変換するものがある。なお、図５（ａ）（ｂ）（ｃ）の各画像４１〜４３は、図３（ｂ）の駐車場Ｐの点Ａにおいて撮像された画像を変換したものであり、図６の画像４４は点Ｂにおいて撮像された画像を変換したものである。
【００４１】
上述したような変換を行う変換テーブルは、画像の拡大、画像の視点方向の変更及び歪みを矯正する処理手段を組み合わせた内容になっている。また、この変換テーブルでは、変換された表示用データを形成する各画素の座標を元にして、変換される撮像データを形成する各画素の座標を演算により特定する。このような変換テーブルに基づき変換することで、表示用データの全ての画素に撮像データの何れかの画素を配置できる。但し、表示用データの画素から演算で特定された座標が撮像データに存在しないときは、画素の配置は行わない。
【００４２】
次に、上述した各処理手段毎に変換テーブルの中身を説明する。
画像の拡大に係る変換テーブルは、変換される元の画像の一部の範囲を切り出して、切り出した範囲を表示用の画像に変換するものである。具体的には、図７に示すように、変換されるデータの画像５０を形成する画素の元座標範囲５０ａの一部の範囲と、変換したデータの画像５１を形成する画素の新座標範囲５１ａとの対応付けを行う。
【００４３】
このような変換テーブルに基づき変換を行うことで、矩形の元座標範囲５０ａの一部に含まれる画像を矩形の新座標範囲５１ａとして切り出し、この新座標範囲５１ａを前記一部の範囲より広い大きさにすることで拡大する。例えば、この新座標範囲５１ａを元座標範囲５０ａと同等の寸法にして切り出した画像の拡大を行う。
【００４４】
上述した切り出す新座標範囲５１ａの大きさはパラメータにより特定している。具体的には、図８に示すように、ｘ軸方向（水平方向）の両端のｘｍｉｎ　、ｘｍａｘ　のパラメータの数値及びｙ軸方向（垂直方向）の両端のｙｍｉｎ　、ｙｍａｘ　のパラメータの数値を適宜設定することで行われ、ｘ軸方向の辺５１ｂの長さはｘｍａｘ　−ｘｍｉｎ　、で求めることができ、ｙ軸方向の辺５１ｃの長さはｙｍｉｎ　−ｙｍａｘ　で求めることができる。
【００４５】
よって、図５（ａ）（ｂ）（ｃ）の各画像４１、４２、４３及び図６の画像４４は、画像４１のｘ軸方向及びｙ軸方向の辺５１ｂ、５１ｃの長さを夫々「１」とした場合、図５（ｂ）の画像４２は「１．２」、図５（ｃ）の画像４３は「１．３」、図６の画像４４は「３」となるように、それぞれの変換に対応する変換テーブルにおけるパラメータを設定されている。なお、このようなパラメータの数値は、上述した数値以外にも拡大率に応じた変換テーブル毎に設定可能である。
【００４６】
上述した図８の新座標範囲５１ａ内の点Ｔに対応する図１のモニタ装置１４で表示される変換後の表示用データの座標範囲内の画素位置は以下の数式（１）（２）で特定できる。
ｘ＝（ｘｍａｘ　−ｘｍｉｎ　）／Ｃ×ｉ＋ｘｍｉｎ　・・・（１）
ｙ＝（ｙｍｉｎ　−ｙｍａｘ　）／Ｄ×ｊ＋ｙｍａｘ　・・・（２）
但し、ｘは変換後の画素の水平座標、ｙは変換後の画素の垂直座標、Ｃは表示用データの水平画素数、Ｄは表示用データの垂直画素数、ｉは点Ｔの水平座標、ｊは点Ｔの垂直座標である。
【００４７】
上述した数式（１）（２）に基づき、前記変換テーブルは切り出された画像を表示用データの座標範囲に拡大して画素の配置を規定する。なお、本実施形態の表示用データの画素数は（Ｃ、Ｄ）＝（３６０、５２５）にしている。
【００４８】
また、画像を俯瞰方向に変換する処理手段（方向変換手段）は、変換後の画素の水平座標をｘ′、変換後の画素の垂直座標をｙ′、変換元の画素の水平座標をＸ′、変換元の画素の垂直座標をＹ′とすると、下記の数式（３）（４）に基づき対応付けが行われる。
Ｘ′＝（ｙ′ｃｏｓθ＋Ｈｓｉｎθ）×ｘ′／Ｆ・・・（３）
Ｙ′＝（Ｆｃｏｓθ−ｙ′ｓｉｎθ）×Ｈ／（Ｆｓｉｎθ−ｙ′ｃｏｓθ）・・・（４）
但し、図９に示すように、Ｈは車両Ｓの接地面ｇからバックカメラ１２までの距離、Ｆはバックカメラ１２の焦点距離、θは車両Ｓの接地面ｇに対するバックカメラ１２の撮像方向（光軸方向）の角度である。
【００４９】
さらに、湾曲画像の歪みを矯正する処理手段（歪み矯正手段）は、変換後の画素の水平座標をｘ″、変換後の画素の垂直座標をｙ″、変換元の画素の水平座標をＸ″、変換元の画素の垂直座標をＹ″とすると、下記の数式（５）（６）に基づき対応付けが行われる。
Ｘ″＝（ｘ″−ａ）／［１＋ｋ×｛（ｘ″−ａ）２　＋（ｙ″−ｂ）２　｝］・・・（５）
Ｙ″＝（ｙ″−ｂ）／［１＋ｋ×｛（ｘ″−ａ）２　＋（ｙ″−ｂ）２　｝］／ｃ・・・（６）
但し、ａは表示用データの中心位置の画素の水平座標、ｂは表示用データの中心位置の画素の垂直座標、ｋはバックカメラの撮像レンズ（広角レンズ）に係る調和係数、ｃはアスペクト比率（縦横比）である。
【００５０】
本実施形態の変換テーブルは、上述した３種の処理である画像の拡大、画像方向の変更及び歪み矯正を、画素毎に一度の変換で行うため、上述した数式（１）〜（６）を順次代入して組み合わせた内容になっている。即ち、式（１）及び式（２）の各右辺を、式（３）における変換後の画素の水平座標ｘ′及び式（４）の変換後の画素の垂直座標をｙ′に夫々代入すると共に、この代入を行った式（３）（４）の各右辺を、式（５）における変換後の画素の水平座標ｘ″及び式（６）の変換後の画素の垂直座標をｙ″に夫々代入し、図８の点Ｔの（ｉ、ｊ）と、式（５）（６）の変換元の座標（Ｘ″、Ｙ″）との対応付けを行っている。
【００５１】
なお、各変換テーブルは上述した対応付けに加えて、車両の図データを表示用データに付加する手段を具備し、さらに、図６の画像４４の変換に係る最も小さい範囲に対応する変換テーブルは、ガイド線データ及び距離線データを表示用データに付加する手段も具備している。即ち、図５（ａ）（ｂ）（ｃ）、図６の各表示用データの画像４１、４２、４３、４４で表示される車両の鳥瞰図４５及び図６の画像４４で表示される車両の鳥瞰図４５の後部両端から後方へ延出する２本のガイド線４６Ａ、４６Ｂ、さらには、車両の鳥瞰図４５の後端からの距離を示す距離線４７Ａ〜４７Ｃが各変換テーブルに基づく変換で付加される。
【００５２】
各変換テーブルは、上述した車両の鳥瞰図４５、ガイド線４６Ａ等を付加する箇所に該当する画素には、撮像データの画素を対応付けるのではなく、変換情報としてＲＧＢ値を規定することで上述した鳥瞰図４５等を表示用データの各画像４１〜４４へ付加するようにしている。また、各変換テーブルは、各画像４１〜４４における車両の鳥瞰図４５の大きさを、撮像データの元の座標範囲の一部の範囲と表示用データの座標範囲の比に基づいて夫々相違させている。よって、各画像４１〜４４における車両の鳥瞰図４５の大きさを見ることで、各画像４１〜４４の拡大率を把握できるようにしている。
【００５３】
なお、図６の画像４４における２本のガイド線４６Ａ、４６Ｂは車両の鳥瞰図４５の後部両端から後方へ延出させることで、各ガイド線４６Ａ、４６Ｂの間隔を、丁度、車両幅と一致させており、これにより車両幅の認識性を高めている。また、画像４４における距離線４７Ａは車両の後端から５０ｃｍ離れた位置を示し、以下、距離線４７Ｂは１ｍ、距離線４７Ｃは２ｍ離れた位置を示している。なお、各距離線４７Ａ〜４７Ｃは、後述する図４に示す操作部２９に設けられた切換スイッチにより、手動で表示する線を適宜切換可能にしている。
【００５４】
上述した種々の複数の変換テーブルは、後述するマイクロコンピュータ２３の発行する読出用トリガに対応させて変換テーブル用メモリ２１に記憶されており、読出用トリガに応じて画像処理ＡＳＩＣ２４で読み出される。
【００５５】
一方、図４に示す画像処理装置１３の他のハードウェアである通信インタフェース２２はシステムの物理層処理、データリンク層処理及びトランザクション層処理を行うネットワークの接続インタフェースであり、バックカメラ１２から伝送された撮像データ及び図１に示すボディ系ＬＡＮ１７の各センサ１８Ａ〜１８Ｅの検出信号の受付に係る処理を上述した各層に応じて行っている。
【００５６】
マイクロコンピュータ２３は、ＲＯＭ２７内に記憶されているプログラムに基づき画像変換処理に係る全般の制御処理を行うと共に、条件に応じて変換の対応付けに係る一部の座標範囲が大きい変換テーブルから小さい変換テーブルへ切換を行う変換テーブル切換手段等として機能している。
【００５７】
マイクロコンピュータ２３は、先ず基本的に、車両Ｓの変速器がリバースギアに入ったことを検出するリバースギアセンサ１８Ｅの検出信号を受け付けており、この検出信号を受け付けた場合、図３（ａ）に示す撮像データの画像４０を図５（ａ）の表示用データの画像４１へ変換する際に適用される変換テーブルに対応する読出用トリガを発行し、画像処理ＡＳＩＣ２４に読出用トリガに対応する変換テーブルを変換テーブル用メモリ２１から読み出させる制御を行う。
【００５８】
また、マイクロコンピュータ２３には操作部２９が接続されている。操作部２９は、変換に適用される変換テーブルの手動で切り換える場合の切換操作を受け付けるスイッチを有している。具体的には図３（ａ）に示す撮像データの画像４０から図５（ａ）の表示用データの画像４１へ変換する変換テーブル、画像４０から図５（ｂ）の画像４２へ変換する変換テーブル、画像４０から図５（ｃ）の画像４３へ変換する変換テーブルを適宜切り換えることをスイッチ操作により受け付けており、受け付けた内容を切換信号としてマイクロコンピュータ２３へ伝送している。
【００５９】
マイクロコンピュータ２３は、前記切換信号を受け付けた場合、切換信号に対応する読出用トリガを画像処理ＡＳＩＣ２４へ発行し、前記同様に画像処理ＡＳＩＣ２４に対応する変換テーブルを読み出させる制御を行う。
【００６０】
また、図３（ａ）の画像４０を図６の表示用データの画像４４へ変換する際に使用される変換テーブルに、上述した画像４１、４２、４３に係る各変換テーブルから切り換えるのは、マイクロコンピュータ２３の変換テーブル切換手段が行っている。この変換テーブル切換手段は、マイクロコンピュータ２３が受け付ける図１の各センサ１８Ａ〜１８Ｄの検出信号と、ＲＯＭ２７に記憶される距離、前進距離、時間との比較により画像４４に係る変換テーブルに切り換えるか否かを判断する。
【００６１】
超音波センサ１８Ａは、図２に示すように車両Ｓの後部に取り付けられて、車両Ｓの後部から後方に位置する物Ｍまでの距離Ｌを測定する距離測定手段に相当する。また、上述したＲＯＭ２７に記憶される距離は、超音波センサ１８Ａが測定した距離Ｌと比較されて、画像４４に係る変換テーブルに切り換える基準となるものであり、本実施形態では１ｍに設定された距離が記憶されている。
【００６２】
なお、１ｍに設定している理由としては、画像４４は最も座標範囲が小さく、その結果、画像が大きく表示されるので、車両Ｓを後進させて駐車する場合、一連の駐車操作の最終段階で、車両Ｓを停止する際の距離等を確認する場合に最適となるからである。即ち、図３（ｂ）の図で説明すると、点Ａに位置する車両Ｓが点Ｂへ移動して正確に駐車スペースＰ１へ車両Ｓを止める際、壁Ｗからの距離に応じて画像４４が表示されるようにしている。
【００６３】
よって、車両Ｓが駐車スペースＰ１内に入り後方の壁Ｗから車両Ｓの後部までの距離が１ｍ以下になれば、自動的に画像４４に係る変換テーブルに切り換えられ、図１のモニタ装置１４には画像４４が表示される。画像４４は各画像が大きいため、細かい箇所も良好に確認できると共に、ガイド線４６Ａ、４６Ｂにより駐車スペースＰ１に対する車両Ｓの傾き等も把握できる上、距離線４７Ａ等により車両Ｓの後方への距離も認識でき、駐車時の最終段階における操作を支援できる。
【００６４】
また、操舵角センサ１８Ｂは、車両Ｓの操舵装置によりステアリングホイールが中立範囲の状態か、中立範囲から操舵されているかを検知して、車両Ｓの直進状態を検出する直進検出手段に該当するものである。マイクロコンピュータ２３は、操舵角センサ１８Ｂが直進状態の検出に係る検出信号を受け付けており、この検出信号を受け付けたとき、変換テーブル切換手段として上述した後方までの距離の条件を満たしている状態であれば画像４４に係る変換テーブルへの切換を行う。
【００６５】
このような直進状態の検出に応じて変換を行うのは、実際の駐車状況を考慮しているためであり、図１０に示すように、車両Ｓを駐車スペースＰ１へ駐車する際、隣の駐車スペースＰ２に他の車両Ｓ′が既に駐車されていることもある。この場合、車両Ｓの方向を転換する際、車両Ｓの後方から他の車両Ｓ′までの距離が１ｍ以下になると、運転者が望まない状況でモニタ装置１４の表示が拡大された画像４４に勝手に切り換えられるので、車両Ｓの直進状態でなければ、画像４４に係る変換テーブルの切換を行わないようにして、常に適切な表示が行われるように制御している。
【００６６】
また、車速センサ１８Ｃは、車両Ｓの変速機が前進側のギアに入っている場合の車速パルスの検出信号をマイクロコンピュータ２３へ伝送するものであり、マイクロコンピュータ２３自体は、受け付けた前記検出信号から車両Ｓの前進距離を演算して測定する前進距離測定手段として機能する。また、ＲＯＭ２７に記憶される前進距離は、マイクロコンピュータ２３の前進距離測定手段で測定される前進距離の比較対象になるものであり、本実施形態では５ｍに設定されて記憶されている。
【００６７】
マイクロコンピュータ２３の変換テーブル切換手段は、上述した２つの条件を満たして画像４４に係る変換テーブルに切り換えた場合、車両が前進しても前進距離が５ｍ以内であれば前記変換テーブルに切り換えた状態を維持する制御を行う。即ち、実際の駐車操作の最終段階では、正確に車両Ｓを止めようとするときに、車両Ｓの姿勢を整えるため等の理由で一旦車両Ｓを前進することもあるが、上記のような制御を行うことで、モニタ装置１４の表示が煩雑に切り換わることを防止している。
【００６８】
さらに、エンジン回転センサ１８Ｄはエンジンの回転している状態を検出して検出信号をマイクロコンピュータ２３へ伝送するものである。マイクロコンピュータ２３は、この検出信号の受付の有無でエンジン停止状態とエンジン始動状態を認識し、エンジン停止状態からエンジン始動状態になるまでの時間を測定する時間測定手段として機能する。また、ＲＯＭ２７に記憶される時間は、マイクロコンピュータ２３の時間測定手段で測定される時間と比較されるものであり、本実施形態では３分に設定されて記憶されている。
【００６９】
マイクロコンピュータ２３の変換テーブル切換手段は、上述した２つの条件を満たして画像４４に係る変換テーブルに切り換えた場合、車両Ｓを止めてエンジンを一旦停止しても、３分以内にエンジンを始動した場合は、画像４４の表示が維持される制御を行う。即ち、実際の駐車操作の最終段階では、一旦車両Ｓを止めて運転者が車外に出てから、再度、車両位置の微調整をすることもあるため、このような事態に対処するため上記のような制御を行い、再始動後にもスムーズに画像４４をモニタ装置１４に表示できるようにしている。
【００７０】
また、マイクロコンピュータ２３に制御される画像処理ＡＳＩＣ２４は、画像処理専用のカスタムＩＣであり、変換手段としてバックカメラ１２の撮像データを変換テーブル用メモリ２１から読み出した変換テーブルに基づいて画像が拡大等される表示用データに変換するものである。なお、画像処理ＡＳＩＣ２４は、マイクロコンピュータ２３が発行する読出用トリガに応じて読み出した種々の変換テーブルに基づき変換を行うことにより、撮像データを種々の拡大率の表示用データに変換できる。このように変換された表示用データは、一旦、画像処理ＡＳＩＣ２４からフレームメモリ２５へ伝送される。
【００７１】
フレームメモリ２５は、撮像データ記憶領域及び表示用データ記憶領域を有しており、撮像データ記憶領域でバックカメラ１２から伝送された撮像データを１画面単位で一時的に記憶し、表示用データ記憶領域で画像処理ＡＳＩＣ２４により変換された表示用データを１画面単位で記憶している。なお、表示用データ記憶領域は、１画面分の表示用データを蓄積した後、蓄積した各表示用データをモニタインタフェース２６へ順次送出している。また、表示用データ記憶領域では、表示用データ以外にも、初期画面用のデータ、背景用のデータ及びメニュー画面用のデータ、オーディオ・エアコン制御画面のデータ等も記憶している。
【００７２】
モニタインタフェース２６は、モニタ装置１４への接続用インタフェースであり、表示用データをアナログ画像信号の形態でモニタ装置１４へ出力する。なお、モニタインタフェース２６は、アナログＲＧＢ信号又はモニタ装置１４との間でデジタル伝送等に係るデジタル画像信号に対応したデータを出力可能にしてもよい。また、ＲＡＭ２８には変換処理中に生じた各種データ等が記憶される。
【００７３】
なお、図１の情報系ＬＡＮ１１には、図示していないナビゲーション装置、テレビチューナ等も接続されており、バックカメラ１２で撮像された画像をモニタ装置１４で表示しないとき等は、ナビゲーション装置のナビゲーション画面又はテレビチューナが受信したテレビ画面等をモニタ装置１４で表示するように画像処理装置１３が制御を行っている。
【００７４】
次に、画像変換システム１０におけるバックカメラ１２の撮像データの変換に係る一連の処理例を、車両Ｓの駐車状況に基づいて図１１の第１フローチャート及び図１２の第２フローチャートに従って説明する。
先ず、画像変換システム１０の電源スイッチをオンにしてシステムを立ち上げる（Ｓ１）。なお、システム立上に伴い、エンジンが始動され車両Ｓは目的地へ移動する走行が行われるものとする。また、車両Ｓの走行中は、モニタ装置１４にナビゲーション画面又はオーディオ・エアコン制御画面等が表示される（Ｓ２）。
【００７５】
次に、車両Ｓが駐車状況になり車両Ｓのリバースギアが入れられたか、又は、バックカメラ１２の撮像データの画像表示操作が操作部２９で行われたかが画像処理装置１３で判断される（Ｓ３）。リバースギアが入れられず、バックカメラ１２の画像表示操作も行われていない場合（Ｓ３：ＮＯ）、モニタ装置１４でナビゲーション画面等が表示される段階（Ｓ２）へ戻る。また、リバースギアが入れられた場合、又は、バックカメラ１２の画像表示操作が行われた場合（Ｓ３：ＹＥＳ）、バックカメラ１２の撮像データを図５（ａ）（ｂ）（ｃ）の画像４１、４２、４３の何れかに相当する画像の表示用データへ変換してモニタ装置１４で表示する（Ｓ４）。
【００７６】
この状態で、表示される画像の拡大表示操作が操作部２９で行われたか判断され（Ｓ５）、操作が行われていない場合は（Ｓ５：ＮＯ）、現状の変換された画像の表示が維持される（Ｓ４）。また、操作が行われた場合は（Ｓ５：ＹＥＳ）、操作に応じた画像４２又は画像４３に相当する拡大変換が行われた画像を表示する（Ｓ６）。
【００７７】
さらに、車両後方の物までの距離が１ｍ以内かを画像処理装置１３が判断し（Ｓ７）、１ｍを越えている場合は（Ｓ７：ＮＯ）、１ｍ以内になるまでループ状態となり現状の表示が維持される。一方、１ｍ以内になった場合（Ｓ７：ＹＥＳ）、図１２の第２フローチャートに示すように、続いて車両が直進状態であるかを画像処理装置１３が判断する（Ｓ８）。
【００７８】
車両が直進状態でないと判断した場合（Ｓ８：ＮＯ）、図１１の第１フローチャートの車両後方の物までの距離が１ｍ以内であるかの判断段階（Ｓ７）へ戻る。また、車両が直進状態であると判断した場合（Ｓ８：ＹＥＳ）、駐車操作の最終段階であると判断して、バックカメラ１２の撮像データを図６の画像４４に相当するガイド線４６Ａ、４６Ｂ及び距離線４７Ａ等を付加した表示用データの拡大画像に変換してモニタ装置１４で表示する（Ｓ９）。
【００７９】
この後、駐車が完了したと思われる場合は、エンジンを停止するが（Ｓ１０）、車外に出て適切な駐車位置でないとき等に対応して、駐車位置を調節するためエンジンを再始動したかを次の段階で画像処理装置１３が判断する（Ｓ１１）。エンジンを再始動していない場合は（Ｓ１１：ＮＯ）、そのまま処理を終了する。
【００８０】
一方、エンジンを再始動した場合（Ｓ１１：ＹＥＳ）、エンジン停止からエンジン再始動までが３分以内かを画像処理装置１３が判断する（Ｓ１２）。３分を越える場合は（Ｓ１２：ＮＯ）、駐車のためのエンジン再始動ではないと判断されて、図１１の第１フローチャートのナビゲーション画面等の表示の段階（Ｓ２）へ戻る。また、３分以内であれば（Ｓ１２：ＹＥＳ）、ガイド線４６Ａ、４６Ｂ及び距離線４７Ａ等を付加した拡大画像の表示が維持される（Ｓ１３）。
【００８１】
さらに、エンジン再始動後に車両の前進距離が５ｍ以内であるかを画像処理装置１３が判断する（Ｓ１４）。前進距離が５ｍをこえる場合は（Ｓ１４：ＮＯ）、駐車のための前進ではないと判断されて、図１１の第１フローチャートのナビゲーション画面等の表示の段階（Ｓ２）へ戻る。また、前進距離が５ｍ以内の場合は（Ｓ１４：ＹＥＳ）、ガイド線４６Ａ、４６Ｂ及び距離線４７Ａ等を付加した表示用データの拡大画像をモニタ装置１４で表示する段階（Ｓ９）へ戻り、以降、上記同様の処理になる。
【００８２】
このように本発明に係る画像変換システム１０は、駐車操作の最終段階では、運転者が特別な操作をすることなしに自動的に、最も拡大された画像が表示されるため、運転者は運転操作を続けた状態で、駐車操作に最適な画像の表示を確認できる。なお、本発明に係る画像変換システム１０は、上述した形態以外にも種々の変形例が可能である。
【００８３】
例えば、上述した実施形態では、図１に示すように、画像処理装置１３はモニタ装置１４と別体にされているが、画像処理装置１３をモニタ装置１４に組み込んで画像処理装置１３とモニタ装置１４とを一体化するようにしてもよい。さらに、画像処理装置１３はゲートウェイ装置１６と一体化するようにしてもよい。また、図６の画像４４では、距離線４７Ａ〜４７Ｃの線種を夫々相違させて表示しているが、各線の色を相違させて表示するようにしてもよい。
【００８４】
さらに、本実施形態では、バックカメラ１２の撮像データを表示用データの変換テーブルに基づき変換するようにしているが、車両Ｓの前部両端及び側方等の他の箇所に取り付けるカメラの撮像データに対しても同様な変換を行うことができる。さらに、また、本実施形態の変換テーブルは、画像の拡大、画像方向を俯瞰方向へ変更及び歪みの矯正を組合せた内容になっているが、カメラの性質及びカメラの取付位置等に応じて、変換テーブルの内容を前記処理のいずれか一つ、又は、いずれか２つに対応させたものにしてもよい。
【００８５】
また、図６の表示用データの画像４４に係る変換テーブルへの切換は、画像変換システム１０を以下のような構成にして制御することで行うようにしてもよい。即ち、モニタ装置１４にタッチパネル機能を設けて、図３（ｂ）の様な表示用データの画像を表示した状態で、駐車の目標位置の点Ｂの箇所を触れることで点Ｂの位置座標を受け付ける受付手段、及び、表示される車両Ｓの位置となる点Ａの箇所を触れることで点Ａの位置座標を特定する特定手段をモニタ装置１４に具備させる。
【００８６】
また、点Ｂの位置座標及び点Ａの位置座標に係るデータは画像処理装置１３のマイクロコンピュータ２３へ伝送する。マイクロコンピュータ２３は、点Ａから点Ｂに至る表示用データ上における水平画素数及び垂直画素数を求め、１画素当たりの実際の距離を換算して、点Ａから点Ｂの水平距離及び垂直距離の合計距離を演算する演算手段として機能させる。また、マイクロコンピュータ２３は車両Ｓの後進距離を測定する測定手段として、車速センサ１８Ｃからの車速パルスの検出信号及びリバースギアセンサ１８Ｅの検出信号を受け付けて後進距離を測定する。
【００８７】
さらに、マイクロコンピュータ２３は、差演算手段として測定した後進距離と演算した合計距離の差を演算し、この差の距離がＲＯＭ２７に記憶されている比較用の距離以下の場合に、画像４４に係る変換テーブルへ切り換える制御を行うようにしてもよい。なお、車両Ｓの後進距離を一段と正確に測定するために、車両に角速度センサ（ジャイロセンサ）を設けて、マイクロコンピュータ２３に検出信号を伝送するようにしてもよい。
【００８８】
また、画素の配置を図８における配置と相違させた上下反転用及び鏡像反転用の変換テーブルを設けると共に、図４の操作部２９に上下反転スイッチ及び鏡像反転スイッチを設けて上下反転及び鏡像反転の変換を行うようにしてもよい。
【００８９】
即ち、図８に示す新座標範囲５１ａはｙ軸方向において上端にｙｍａｘ　、下端にｙｍｉｎ　を配置するように規定しているが、上下反転用の変換テーブルはｙ軸方向において上端にｙｍｉｎ　、下端にｙｍａｘ　を夫々配置するよう規定する。また、操作部２９の上下切換スイッチを操作することで、上述した上下反転用の変換テーブルの読出用トリガを発生させて、手動で上下反転の表示切換を行うようにしてもよい。
【００９０】
また、鏡像反転の変換に関しては、図８に示す新座標範囲５１ａはｘ軸方向において左端にｘｍｉｎ　、右端にｘｍａｘ　を配置するように規定しているが、鏡像反転用の変換テーブルはｘ軸方向において左端にｘｍａｘ　、右端にｘｍｉｎ　を配置するよう規定する。また、操作部２９の鏡像切換スイッチを操作することで、上述した鏡像反転用の変換テーブルの読出用トリガを発生させて、手動で鏡像反転の表示切換を行うようにしてもよい。なお、この場合、操作部２９の上下切換スイッチ及び鏡像切換スイッチを同時に操作することで、上下反転及び鏡像反転を同時に変換できるようにしてもよい。
【００９１】
【発明の効果】
以上に詳述した如く、第１発明及び第１２発明にあっては、撮像データの一部の座標範囲と、表示用データの座標範囲とを対応付ける変換テーブルに基づき変換を行うことで、撮像データの画像を拡大した表示用データへ自動でスムーズに変換できる。
第２発明にあっては、変換テーブルが方向変換手段を備えることで、撮像データの画像拡大及び画像の俯瞰方向の変更を同時に行うことができる。
【００９２】
第３発明にあっては、変換テーブルが歪み矯正手段を備えることで、撮像データの画像が湾曲していても違和感のない自然な画像で表示できる。
第４発明にあっては、距離測定手段等を備えることで、自動的に表示される画像を拡大でき、運転者の駐車操作を支援できる。
第５発明にあっては、直進検出手段を設けることで、車両が直進状態であるときに、拡大画像の表示を行い、画像の切換が煩雑になるのを防止できる。
【００９３】
第６発明にあっては、実際の駐車状況で行われる前進操作による前進距離を判断して画像の切換を行うので適切な表示を確保できる。
第７発明にあっては、表示される画像の拡大切換を実際の後進距離に基づき行うので、現実の車両の位置と駐車する目標位置の関係に応じた表示の切換を実現できる。
【００９４】
第８発明にあっては、表示用データには拡大率に応じた大きさの車両の図データが表示されることで、車両の図データの大きさから現在の表示の拡大率を容易に判断できる。
第９発明にあっては、エンジン停止から記憶された時間内にエンジンを再始動した場合は、駐車操作時の拡大表示を維持できる。
【００９５】
第１０発明にあっては、拡大表示の切換を行ったときは車両から後方へ伸びるガイド線の図データを付加するので、最終段階の駐車操作を支援できる。
第１１発明にあっては、車両の後方からの距離を示す距離線を表示するため、駐車する際に必要な後進距離を容易に把握できる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像変換システムの全体構成図である。
【図２】車両に対するバックカメラの取付位置及び超音波センサの検出状況を示す概略平面図である。
【図３】（ａ）はバックカメラの撮像データの一例の画像を示す図であり、（ｂ）は駐車場における車両の駐車状況を示す概略平面図である。
【図４】画像処理装置の構成を示すブロック図である。
【図５】（ａ）（ｂ）（ｃ）は拡大変換された表示用データの画像を示す図である。
【図６】ガイド線及び距離線が付加された表示用データの最拡大画像を示す図である。
【図７】元座標範囲の一部の範囲と新座標範囲の関係を示す図である。
【図８】新座標範囲の水平及び垂直座標を示す図である。
【図９】車両の後部のバックカメラの取付状況を示す概略側面図である。
【図１０】駐車状況の一例を示す概略平面図である。
【図１１】本発明の処理に係る第１フローチャートである。
【図１２】本発明の処理に係る第２フローチャートである。
【符号の説明】
１０　画像変換システム
１１　情報系ＬＡＮ
１２　バックカメラ
１３　画像処理装置
１４　モニタ装置
１６　ゲートウェイ装置
１７　ボディ系ＬＡＮ
１８Ａ　超音波センサ
１８Ｂ　操舵角センサ
１８Ｃ　車速センサ
１８Ｄ　エンジン回転センサ
１８Ｅ　リバースギアセンサ
２１　変換テーブル用メモリ
２３　マイクロコンピュータ
２９　操作部
４０　撮像データの画像
４１〜４４　表示用データの画像
４５　車両の鳥瞰図
４６Ａ、４６Ｂ　ガイド線
４７Ａ、４７Ｂ、４７Ｃ　距離線
Ｓ　車両[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a device for converting image data of an image pickup device attached to a vehicle into display data, and more particularly to an image conversion system and an image processing device capable of smoothly converting image data into display data in which a specific range of the image data is enlarged. .
[0002]
[Prior art]
Conventionally, a camera is attached to a front part, a rear part, and the like of a vehicle in a blind spot from a driver's seat of a vehicle, and image data captured by the camera is converted into display data by an image processing device, and the display data is installed in the vehicle. There is an image conversion system for displaying on a monitor device.
[0003]
The types of conversion in the conventional image conversion system include a method of changing a viewpoint direction of an image of image data and a method of adding diagram data such as various guide lines to the image data. For example, there is a device that changes the viewpoint direction of an image, in which the captured image is converted into an image viewed from the overhead direction by an image processing device, and the image converted in the overhead direction is displayed on a monitor device in the vehicle. By doing so, various decisions related to the driving operation of the driver are supported.
[0004]
Further, the conversion to the display data to which the diagram data such as the guide line is added is performed, for example, when the vehicle is parked in the parking space, and the guide line or the like added by performing such conversion is converted into the vehicle. It can be used as a guide to the degree of progress. In the above-described conversion in the image processing apparatus, converted display data as output data is obtained using pixels of a captured image as a conversion source as input data.
[0005]
[Problems to be solved by the invention]
As described above, in the conversion of the conventional image conversion system, the driving direction is supported by changing the viewpoint direction of the image. However, there is a function of changing the display range of the converted image on the monitor device. In some cases, the driving operation cannot be supported in detail by enlarging the image. For example, when a vehicle is parked in a space where other vehicles and the like are parked around, there are times when it is desired to confirm a large display at a place where there is a possibility that the own vehicle and another vehicle may come into contact. However, since the conversion does not correspond to the enlarged display, there is a problem that the distance between the own vehicle and another vehicle cannot be confirmed in detail.
[0006]
In addition, a back camera used at the time of a parking operation or the like is often equipped with a wide-angle lens so that a wide range can be imaged. However, an image captured by such a wide-angle lens is curved, and is displayed on a monitor device. Distortion also occurs in the converted display data, which gives a sense of incongruity compared to the actual situation, and has a problem of confusing the grasp of the sense of distance. It should be noted that such a problem is conventionally dealt with by adding a guide line or the like. However, since the guide line or the like is added to the curved image, the uncomfortable feeling cannot be solved.
[0007]
Further, in the conventional conversion, since display data output from image data input to the image processing apparatus is obtained, conversion information is stored in a pixel position of display data that does not correspond to a pixel position of the image data. Not placed. As a result, there is a problem that a blank portion where an image is not displayed occurs in a portion of the display data where the conversion information is not arranged.
[0008]
The present invention has been made in view of such circumstances, and an object of the present invention is to provide an image conversion system and an image processing apparatus capable of automatically enlarging and converting an image of captured data without performing a special operation. And
Another object of the present invention is to provide an image conversion system that can smoothly change the viewpoint direction of an image of captured image data and correct distortion while enlarging the image, thereby contributing to a parking operation of a vehicle.
[0009]
Still another object of the present invention is to provide an image conversion system that does not generate a blank portion in display data by defining the arrangement of each pixel of input data based on output data by conversion of a conversion table. .
[0010]
[Means for Solving the Problems]
An image conversion system according to a first aspect of the present invention is an image conversion system including an imaging device attached to a vehicle, and an image processing device configured to convert imaging data captured by the imaging device into display data. The image processing apparatus is a conversion table that associates a part of the coordinate range of the pixels forming the imaging data with the coordinate range of the pixels forming the display data, which is a range larger than the part of the range. A conversion unit that performs the conversion for enlarging an image of the imaging data in the partial range based on the conversion table.
[0011]
An image conversion system according to a second aspect is characterized in that the conversion table includes a direction conversion unit that converts the image of the imaged data into an image in a bird's-eye view direction.
[0012]
In the image conversion system according to a third aspect, the imaging device captures imaging data of a curved image, and the conversion table includes a distortion correction unit that performs conversion for correcting distortion of the curved image. Features.
[0013]
In the image conversion system according to a fourth aspect of the present invention, the imaging device captures an image of the rear of the vehicle, the plurality of conversion tables are provided, and the partial ranges associated with each of the conversion tables are different from each other. A distance measuring means for measuring a distance from a vehicle to an object located behind, and a distance storing means for storing a distance, the image processing apparatus further comprises a distance storing means for storing the distance measured by the distance measuring means. A conversion table switching means for switching from a conversion table having a large range to a conversion table having a small range when the distance is equal to or shorter than the distance stored in the conversion table.
[0014]
The image conversion system according to a fifth aspect of the present invention further includes a straight traveling detecting unit that detects a straight traveling state of the vehicle, and the conversion table switching unit performs the switching when the straight traveling detecting unit detects the straight traveling state. Features.
[0015]
The image conversion system according to a sixth aspect further includes a forward distance measuring unit that measures a forward distance of the vehicle, and a forward distance storage unit that stores the forward distance, wherein the conversion table switching unit performs the switching. In this case, when the forward distance measured by the forward distance measuring means is equal to or shorter than the forward distance stored in the forward distance storing means, the apparatus is provided with a means for maintaining the switching performed.
[0016]
In the image conversion system according to a seventh aspect, the imaging device captures an image of the rear of the vehicle, the plurality of conversion tables are provided, and the partial ranges associated with each conversion table are different from each other. Measuring means for measuring the reverse distance of the vehicle, and distance storage means for storing the distance, the image processing apparatus further includes a receiving means for receiving a target position in the display data, Specifying means for specifying a position, distance calculating means for calculating the distance from the position of the vehicle specified by the specifying means to the target position received by the receiving means, and the distance calculated by the distance calculating means and the measuring means A difference calculating means for calculating a difference between the measured reverse distances, and if the difference between the distances calculated by the difference calculating means is less than or equal to the distance stored in the distance storage means, the partial range is large. Characterized in that it comprises a conversion table switching means for switching from the stomach conversion table to a smaller conversion tables.
[0017]
In the image conversion system according to an eighth aspect, each of the conversion tables converts, to the display data, vehicle figure data having a size corresponding to a ratio of a coordinate range of the display data to a partial range of the imaging data. It is characterized by having means for adding.
[0018]
An image conversion system according to a ninth aspect further includes a time measuring unit that measures a time from an engine stop to an engine start of the vehicle, and a time storage unit that stores a time. In the case where the switching has been performed, a unit that maintains the switching performed when the time measured by the time measuring unit is equal to or less than the time stored in the time storing unit is provided.
[0019]
An image conversion system according to a tenth aspect is characterized in that the small conversion table includes means for adding guide line data indicating a guide line extending rearward of the vehicle to the display data.
[0020]
An image conversion system according to an eleventh aspect is characterized in that the small conversion table includes means for adding distance line data indicating a distance line indicating a distance from a rear end of the vehicle to the display data.
[0021]
An image processing apparatus according to a twelfth aspect is the image processing apparatus for converting imaging data into display data, wherein a part of a coordinate range of a pixel forming the imaging data and a range larger than the partial range are used. A conversion table for associating a coordinate range of pixels forming the display data, and a conversion unit for performing the conversion for enlarging an image of the captured data in the partial range based on the conversion table. Features.
[0022]
In the first invention and the twelfth invention, since the conversion table associates a partial range of the imaging data with the coordinate range of the display data, the conversion is performed based on the conversion table, thereby obtaining the image of the imaging data. Can be automatically and smoothly converted to enlarged display data. By displaying the display data obtained by enlarging the image of the imaged data in this way, the driver can grasp in detail the situation of the part necessary for determining the driving operation.
[0023]
Note that the enlargement ratio corresponds to a ratio between a partial range of the image data and the coordinate range of the display data. When the coordinate range of the display data is constant, a part of the image data is The smaller the range, the larger the displayed image will be.
[0024]
In the second aspect, since the conversion table includes the direction conversion unit, the viewpoint of the image can be changed to the bird's-eye view direction simultaneously with the enlargement of the image of the captured data, and two different conversions can be performed efficiently. In addition, it is preferable that such a change in the bird's-eye view direction is performed based on a conversion formula from the viewpoints of efficiency of conversion processing, high accuracy, and the like.
[0025]
According to the third aspect, since the conversion table includes the distortion correcting means, the distortion can be corrected even if the image of the imaged data is curved, so that the converted display data is displayed as a natural image without a sense of incongruity. It is possible to easily grasp the sense of distance and the like. Further, by correcting the distortion at the same time as the scale change of the imaging data, the conversion efficiency can be improved, and in addition to the change of the bird's-eye view direction according to the second invention, the scale change, the direction change, and the distortion correction can be performed at once. It is also possible to do. Preferably, the conversion according to the third invention is also performed based on a conversion formula.
[0026]
According to the fourth invention, the conversion target of the image conversion system is the image data of the back camera. By providing the distance measurement means and the like, the automatically displayed image can be enlarged, and the parking operation can be performed. In a situation where close attention is required, the driver can be released from the operation of changing the enlargement ratio and the burden on the driver can be reduced. The image captured by the back camera is basically displayed by detecting that the reverse gear of the vehicle has been engaged. Further, an operation switch or the like corresponding to the change in the enlargement ratio may be provided in consideration of the case where the enlargement ratio is manually changed. It is preferable that an ultrasonic sensor is applied to the distance measuring means.
[0027]
According to the fifth aspect of the present invention, by providing the straight-ahead detecting means, the enlarged image is displayed when the vehicle is in the straight-ahead state, so that the display according to the actual parking situation can be performed. That is, when another vehicle is parked next to the parking space to be parked, when the vehicle changes direction to the parking space and is parked, another vehicle is placed behind the vehicle parked in the middle of the direction change. Situation occurs. At this time, based on the fourth invention, it is assumed that the display is switched to the enlarged image in response to detection of another vehicle behind.
[0028]
In general, it is not necessary to enlarge the display in a situation where the vehicle is turned into a parking space after turning, so when turning, the turning is completed and parking is terminated on the condition that the steering device of the vehicle is being steered. Unnecessary display switching can be avoided by switching the display only when the vehicle at the stage is in the straight traveling state. In addition, as described above, the distance to the rear wall or the like is measured by the distance measuring means and displayed in an enlarged manner, so that a detailed situation to the wall or the like can be confirmed, and a determination to stop the vehicle at an appropriate position is supported. it can. Note that a sensor for detecting the steering angle of the steering device or the like can be applied as the straight traveling detection means.
[0029]
According to the sixth aspect of the present invention, the switching of the conversion table is maintained in accordance with the relationship between the distance measured by the forward distance measuring means and the stored forward distance, so that a display suitable for the operation state of the vehicle can be performed. . That is, in the actual parking operation, the vehicle traveling backward may be moved forward once to adjust the posture of the vehicle. However, if the scale display of the image is switched every time the vehicle moves forward, the display situation becomes complicated. . Therefore, once in the parking operation stage, the display of the enlarged image is maintained without performing unnecessary switching, and a display state that is easy to see can be secured.
[0030]
In the seventh aspect, since the enlargement switching of the displayed image is performed based on the actual reverse travel distance, the display according to the relationship between the actual position of the vehicle and the target parking position can be further performed. As a means for receiving the target position in the display data, a monitor device having a touch panel function or the like can be applied, and by touching the position to be parked in the image displayed on the monitor device, a pixel unit of the displayed image is displayed. By converting between the target position and the actual distance, the distance from the target position to the current vehicle position can be calculated. The actual reverse distance can be obtained based on the detection values of these sensors by providing a gyro sensor, a vehicle speed sensor, a reverse gear sensor, and the like on the vehicle.
[0031]
According to the eighth aspect of the present invention, by providing the conversion table with a unit for adding the figure data of the vehicle having the size corresponding to the enlargement ratio, the display data displays the figure data of the vehicle. The enlargement ratio of the current display can be determined from the size of the diagram data of the vehicle, and the sense of distance and the like of the displayed condition can be easily grasped. In consideration of the ease of determining the enlargement ratio and the change of the second invention to the bird's-eye view direction, it is preferable to apply a bird's-eye view of the vehicle to the vehicle diagram data.
[0032]
According to the ninth invention, even if the parking operation is completed and the engine is stopped, there is actually a case where the driver wants to pull the vehicle a little further when going out of the vehicle. On the other hand, if the engine is restarted within the time stored since the engine was stopped, the enlarged display at the time of the parking operation is maintained, the image suitable for the parking operation is immediately displayed, and the display suitable for the actual situation Can be realized.
[0033]
According to the tenth aspect, since the small conversion table includes means for adding guide line data extending rearward from the vehicle, it is possible to provide an indication of the operation with an enlarged display at the final stage of parking and assist the parking operation. . In addition, it is preferable that the guide lines extend from both ends in the width direction of the vehicle in parallel with the longitudinal direction of the vehicle from the viewpoint of reliably grasping the parking state of the vehicle.
[0034]
According to the eleventh aspect, the small conversion table includes means for adding distance line data indicating the distance from the rear end of the vehicle. Therefore, after switching to the enlarged display, the distance from the rear of the vehicle is displayed. The required reverse distance can be determined based on the distance line indicated by the data, and a reliable parking operation can be performed.
[0035]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the present invention will be described with reference to the drawings showing the embodiments.
FIG. 1 is an overall configuration diagram of an image conversion system 10 according to an embodiment of the present invention. The image conversion system 10 is built in the vehicle S, and connects the back camera 12 to the image processing device 13 to which the monitor device 14 is connected by the information cable 15 and connects the gateway device 16 of the terminal of the information cable 15 to the image processing device 13. The ultrasonic sensor 18A, steering angle sensor 18B, vehicle speed sensor 18C, engine rotation sensor 18D, and reverse gear sensor 18E are connected via the sensor.
[0036]
The range connected by the information cable 15 of the image conversion system 10 has a network configuration that conforms to the IEEE 1394 standard of the synchronous communication network, and corresponds to a part of the in-vehicle LAN 11 built in the vehicle. Is formed. On the other hand, the range related to the body system cable 19 for connecting the ultrasonic sensor 18A and the like forms the body system LAN 17 in the in-vehicle LAN, and the gateway device 16 connects the information system LAN 11 and the body system LAN 17 having different systems. Thus, the detection signals from the sensors 18A and the like are transmitted to the image processing device 13 on the information LAN 11 side.
[0037]
The back camera 12 included in the information LAN 11 corresponds to an imaging device, and is attached to the rear of the vehicle S as shown in FIG. The back camera 12 is equipped with a wide-angle lens so that the rear of the vehicle is imaged at a wide angle. FIG. 3A is an image 40 that is an example of image data captured by the back camera 12, and is an image of the rear of the vehicle S at the position of the point A of the parking lot P illustrated in FIG. . Note that the image 40 becomes a distorted curved image due to the influence of the wide-angle lens. The imaging of the back camera 12 and the transmission of the imaging data are performed by control according to the detection of the reverse gear position of the reverse gear sensor 18E of the image processing device 13.
[0038]
On the other hand, the image processing device 13 shown in FIG. 4 converts the transmitted image data into display data to be displayed on the monitor device 14, and includes a conversion table memory 21, a communication interface 22, a microcomputer 23, An image processing ASIC 24, a frame memory 25, a monitor interface 26, a ROM 27, and a RAM 28 are provided.
[0039]
The conversion table memory 21 stores a conversion table used when converting the imaging data of the back camera 12 into display data, and is formed of an EEPROM (Electrically Erasable PROM).
[0040]
There are various types of conversion tables stored in the conversion table memory 21. For example, the distorted image 40 shown in FIG. 3A is displayed in the bird's-eye view direction shown in FIGS. 5A, 5B, and 5C. Further, the image data 41, 42, and 43 are converted into display data images 41, 42, and 43 of various sizes in which distortion has been corrected, and further, the display data shown in FIG. 6 that is further enlarged to have guide lines 46A and 46B added thereto. Some of them are converted into data images 44. The images 41 to 43 in FIGS. 5A, 5B, and 5C are obtained by converting the image captured at the point A of the parking lot P in FIG. 3B, and the image 44 in FIG. Is obtained by converting the image captured at the point B.
[0041]
The conversion table for performing the above-described conversion has a combination of processing means for enlarging an image, changing the viewpoint direction of the image, and correcting distortion. In this conversion table, the coordinates of each pixel forming the converted imaging data are specified by calculation based on the coordinates of each pixel forming the converted display data. By performing conversion based on such a conversion table, any pixel of the imaging data can be arranged in all pixels of the display data. However, when the coordinates specified by the calculation from the pixels of the display data do not exist in the imaging data, the pixels are not arranged.
[0042]
Next, the contents of the conversion table for each processing means described above will be described.
The conversion table related to the enlargement of an image cuts out a partial range of the original image to be converted, and converts the cut-out range into an image for display. Specifically, as shown in FIG. 7, a part of the original coordinate range 50a of the pixels forming the image 50 of the converted data and the new coordinate range 51a of the pixels forming the image 51 of the converted data Is associated with.
[0043]
By performing conversion based on such a conversion table, an image included in a part of the rectangular original coordinate range 50a is cut out as a rectangular new coordinate range 51a, and the new coordinate range 51a is larger than the partial range. It expands by doing. For example, the size of the new coordinate range 51a is made equal to that of the original coordinate range 50a, and the cut out image is enlarged.
[0044]
The size of the new coordinate range 51a to be cut out is specified by a parameter. Specifically, as shown in FIG. 8, x at both ends in the x-axis direction (horizontal direction) min , X max And y at both ends in the y-axis direction (vertical direction) min , Y max This is performed by setting the numerical values of the parameters as appropriate, and the length of the side 51b in the x-axis direction max -X min , And the length of the side 51c in the y-axis direction is y min -Y max Can be obtained by
[0045]
Therefore, each of the images 41, 42, and 43 in FIGS. 5A, 5B, and 5C and the image 44 in FIG. 6 indicate the lengths of the sides 51b and 51c of the image 41 in the x-axis direction and the y-axis direction, respectively. When “1” is set, the image 42 in FIG. 5B is “1.2”, the image 43 in FIG. 5C is “1.3”, and the image 44 in FIG. 6 is “3”. The parameters in the conversion table corresponding to each conversion are set. Note that the numerical values of such parameters can be set for each conversion table according to the enlargement ratio, in addition to the numerical values described above.
[0046]
The pixel position in the coordinate range of the converted display data displayed on the monitor device 14 in FIG. 1 corresponding to the point T in the new coordinate range 51a in FIG. Can be identified.
x = (x max -X min ) / C × i + x min ... (1)
y = (y min -Y max ) / D × j + y max ... (2)
Here, x is the horizontal coordinate of the pixel after conversion, y is the vertical coordinate of the pixel after conversion, C is the number of horizontal pixels of display data, D is the number of vertical pixels of display data, i is the horizontal coordinate of point T, j is the vertical coordinate of the point T.
[0047]
Based on the above equations (1) and (2), the conversion table defines the arrangement of pixels by enlarging the clipped image to the coordinate range of the display data. In this embodiment, the number of pixels of the display data is (C, D) = (360, 525).
[0048]
Processing means (direction conversion means) for converting the image into the bird's-eye view direction includes x 'the horizontal coordinate of the converted pixel, y' the vertical coordinate of the converted pixel, and X 'the horizontal coordinate of the conversion source pixel. If the vertical coordinate of the pixel as the conversion source is Y ', the association is performed based on the following equations (3) and (4).
X ′ = (y′cos θ + H sin θ) × x ′ / F (3)
Y ′ = (Fcosθ−y′sinθ) × H / (Fsinθ−y′cosθ) (4)
However, as shown in FIG. 9, H is the distance from the ground plane g of the vehicle S to the back camera 12, F is the focal length of the back camera 12, and θ is the imaging direction of the back camera 12 with respect to the ground plane g of the vehicle S ( (Optical axis direction).
[0049]
Further, the processing means (distortion correcting means) for correcting the distortion of the curved image includes the horizontal coordinates of the converted pixel as x ", the vertical coordinates of the converted pixel as y", and the horizontal coordinates of the source pixel as X ". Assuming that the vertical coordinate of the conversion source pixel is Y ″, the association is performed based on the following equations (5) and (6).
X ″ = (x ″ −a) / [1 + k × ｛(x ″ −a) 2 + (Y "-b) 2 ｝] ・ ・ ・ (5)
Y ″ = (y ″ −b) / [1 + k × ｛(x ″ −a) 2 + (Y "-b) 2 ｝] / C (6)
Here, a is the horizontal coordinate of the pixel at the center of the display data, b is the vertical coordinate of the pixel at the center of the display data, k is the harmonic coefficient of the imaging lens (wide-angle lens) of the back camera, and c is the aspect ratio. (Aspect ratio).
[0050]
The conversion table of the present embodiment performs the above-described equations (1) to (6) in order to perform the above-described three types of processing such as image enlargement, image direction change, and distortion correction by one conversion for each pixel. It is a content that is sequentially substituted and combined. That is, the right-hand sides of Expressions (1) and (2) are substituted into the horizontal coordinate x 'of the pixel after conversion in Expression (3) and the vertical coordinate of the pixel after conversion in Expression (4), respectively. At the same time, the right side of each of the substituted equations (3) and (4) is set to the horizontal coordinate x ″ of the converted pixel in equation (5) and the vertical coordinate of the converted pixel in equation (6) to y ″. Each of them is substituted, and (i, j) at the point T in FIG. 8 is associated with the transformation source coordinates (X ″, Y ″) in Expressions (5) and (6).
[0051]
Each conversion table includes, in addition to the association described above, means for adding vehicle drawing data to display data. Further, the conversion table corresponding to the smallest range related to the conversion of the image 44 in FIG. For adding the guide line data and the distance line data to the display data. That is, the bird's-eye view 45 of the vehicle displayed in the display data images 41, 42, 43, and 44 of FIGS. 5A, 5B, and 5C, and the vehicle displayed in the image 44 of FIG. Two guide lines 46A and 46B extending rearward from both ends of the rear part of the bird's-eye view 45 and distance lines 47A to 47C indicating the distance from the rear end of the bird's-eye view 45 of the vehicle are added by conversion based on each conversion table. You.
[0052]
Each of the conversion tables does not correspond to a pixel corresponding to a location to which the above-described bird's-eye view 45 of the vehicle, the guide line 46A or the like is added, but a pixel of imaging data, but defines an RGB value as conversion information. For example, 45 is added to each of the images 41 to 44 of the display data. In addition, each conversion table makes the size of the bird's-eye view 45 of the vehicle in each of the images 41 to 44 different based on the ratio of a part of the original coordinate range of the imaging data to the coordinate range of the display data. I have. Therefore, by looking at the size of the bird's-eye view 45 of the vehicle in each of the images 41 to 44, the enlargement ratio of each of the images 41 to 44 can be grasped.
[0053]
The two guide lines 46A and 46B in the image 44 of FIG. 6 extend rearward from both ends of the rear part of the bird's-eye view 45 of the vehicle so that the interval between the guide lines 46A and 46B exactly matches the vehicle width. This enhances the recognition of vehicle width. The distance line 47A in the image 44 indicates a position 50 cm away from the rear end of the vehicle. Hereinafter, the distance line 47B indicates a position 1 m away and the distance line 47C indicates a position 2 m away. Each of the distance lines 47A to 47C can be appropriately switched manually by a changeover switch provided on the operation unit 29 shown in FIG.
[0054]
The various conversion tables described above are stored in the conversion table memory 21 in correspondence with a readout trigger issued by the microcomputer 23 described later, and are read out by the image processing ASIC 24 according to the readout trigger.
[0055]
On the other hand, a communication interface 22 which is another hardware of the image processing apparatus 13 shown in FIG. 4 is a connection interface of a network which performs physical layer processing, data link layer processing and transaction layer processing of the system, and is transmitted from the back camera 12. The processing relating to the reception of the captured image data and the detection signals of the sensors 18A to 18E of the body LAN 17 shown in FIG. 1 is performed in accordance with each layer described above.
[0056]
The microcomputer 23 performs general control processing related to image conversion processing based on a program stored in the ROM 27, and also converts a small conversion table in which a part of the coordinate range related to conversion is large according to conditions. It functions as a conversion table switching means for switching to a table.
[0057]
First, the microcomputer 23 basically receives a detection signal of the reverse gear sensor 18E that detects that the transmission of the vehicle S has entered the reverse gear. When the detection signal is received, the microcomputer 23 shown in FIG. 5A, a readout trigger corresponding to a conversion table applied when converting the image 40 of the imaging data to the image 41 of the display data in FIG. 5A is issued, and the image processing ASIC 24 responds to the readout trigger. The control for reading the conversion table from the conversion table memory 21 is performed.
[0058]
An operation unit 29 is connected to the microcomputer 23. The operation unit 29 has a switch that receives a switching operation when manually switching a conversion table applied to conversion. More specifically, a conversion table for converting the image 40 of the captured data shown in FIG. 3A into the image 41 of the display data of FIG. 5A, and a conversion table for converting the image 40 to the image 42 of FIG. Switching of the table and the conversion table for converting the image 40 to the image 43 of FIG. 5C as appropriate is received by a switch operation, and the received content is transmitted to the microcomputer 23 as a switching signal.
[0059]
When the microcomputer 23 receives the switching signal, the microcomputer 23 issues a readout trigger corresponding to the switching signal to the image processing ASIC 24, and performs control to read out the conversion table corresponding to the image processing ASIC 24 as described above.
[0060]
In addition, the conversion table used when converting the image 40 in FIG. 3A into the image 44 of the display data in FIG. 6 is switched from each of the conversion tables related to the images 41, 42, and 43 described above. The conversion table switching means of the microcomputer 23 performs this. The conversion table switching means compares the detection signals of the sensors 18A to 18D of FIG. 1 received by the microcomputer 23 with the distance, forward distance, and time stored in the ROM 27 to switch to the conversion table for the image 44. Judge.
[0061]
The ultrasonic sensor 18A is attached to a rear part of the vehicle S as shown in FIG. 2 and corresponds to a distance measuring unit that measures a distance L from the rear part of the vehicle S to an object M located behind. Further, the distance stored in the ROM 27 is compared with the distance L measured by the ultrasonic sensor 18A and serves as a reference for switching to the conversion table for the image 44. In the present embodiment, the distance is set to 1 m. The distance is stored.
[0062]
The reason for setting the distance to 1 m is that the image 44 has the smallest coordinate range, and as a result, the image is displayed in a large size. This is because it is optimal when confirming the distance or the like when stopping the vehicle S. In other words, referring to FIG. 3B, when the vehicle S located at the point A moves to the point B and stops the vehicle S at the parking space P1 accurately, the image 44 is displayed according to the distance from the wall W. To be displayed.
[0063]
Therefore, when the vehicle S enters the parking space P1 and the distance from the rear wall W to the rear of the vehicle S becomes 1 m or less, the conversion table is automatically switched to the conversion table related to the image 44, and the monitor table 14 in FIG. Displays an image 44. Since each image 44 is large, it is possible to confirm fine points well, to understand the inclination of the vehicle S with respect to the parking space P1 by the guide lines 46A and 46B, and to determine the distance to the rear of the vehicle S by the distance line 47A and the like. Can be recognized, and the operation at the final stage of parking can be supported.
[0064]
Further, the steering angle sensor 18B corresponds to a straight-ahead detecting unit that detects whether the steering wheel of the vehicle S is in a neutral range or is being steered from the neutral range by a steering device of the vehicle S, and detects a straight-ahead state of the vehicle S. It is. The microcomputer 23 receives the detection signal related to the detection of the straight traveling state by the steering angle sensor 18B. When the detection signal is received, the microcomputer 23 satisfies the condition of the distance to the rear as the conversion table switching means. If there is, switching to the conversion table for the image 44 is performed.
[0065]
The reason why the conversion is performed in accordance with the detection of such a straight traveling state is that the actual parking situation is taken into consideration. As shown in FIG. Another vehicle S 'may already be parked in the space P2. In this case, when the direction of the vehicle S is changed, if the distance from the rear of the vehicle S to another vehicle S ′ is 1 m or less, the display 44 of the monitor device 14 is enlarged in an undesired situation by the driver. Since the switching is performed without permission, the switching of the conversion table related to the image 44 is not performed unless the vehicle S is in the straight traveling state, and control is performed so that appropriate display is always performed.
[0066]
The vehicle speed sensor 18C transmits a detection signal of a vehicle speed pulse to the microcomputer 23 when the transmission of the vehicle S is in the forward gear, and the microcomputer 23 itself receives the detection signal. Function as forward distance measuring means for calculating and measuring the forward distance of the vehicle S from the vehicle. The forward distance stored in the ROM 27 is to be compared with the forward distance measured by the forward distance measuring means of the microcomputer 23, and is set to 5 m in the present embodiment and stored.
[0067]
When the conversion table switching means of the microcomputer 23 switches to the conversion table according to the image 44 while satisfying the above two conditions, even if the vehicle advances, if the forward distance is within 5 m, the conversion table switching means switches to the conversion table. Control to maintain. That is, in the final stage of the actual parking operation, when the vehicle S is to be stopped accurately, the vehicle S may be moved forward once for the purpose of adjusting the posture of the vehicle S, but the control as described above is performed. By doing so, the display of the monitor device 14 is prevented from being complicatedly switched.
[0068]
Further, the engine rotation sensor 18D detects the state of rotation of the engine and transmits a detection signal to the microcomputer 23. The microcomputer 23 recognizes the engine stop state and the engine start state based on the presence or absence of the detection signal, and functions as time measuring means for measuring the time from the engine stop state to the engine start state. The time stored in the ROM 27 is compared with the time measured by the time measuring means of the microcomputer 23, and is set to 3 minutes in the present embodiment and stored.
[0069]
When the conversion table switching means of the microcomputer 23 switches to the conversion table according to the image 44 while satisfying the above two conditions, the engine is started within three minutes even if the vehicle S is stopped and the engine is temporarily stopped. In this case, control for maintaining the display of the image 44 is performed. That is, in the final stage of the actual parking operation, the vehicle S may be stopped once, the driver may go out of the vehicle, and then the vehicle position may be finely adjusted again. By performing such control, the image 44 can be smoothly displayed on the monitor device 14 even after the restart.
[0070]
The image processing ASIC 24 controlled by the microcomputer 23 is a custom IC dedicated to image processing. The image processing ASIC 24 is used as a conversion unit to enlarge an image based on a conversion table read from the conversion table memory 21 by capturing image data of the back camera 12. This is converted into display data to be displayed. Note that the image processing ASIC 24 can convert the imaging data into display data of various magnifications by performing conversion based on various conversion tables read in response to a read trigger issued by the microcomputer 23. The display data thus converted is temporarily transmitted from the image processing ASIC 24 to the frame memory 25.
[0071]
The frame memory 25 has an imaging data storage area and a display data storage area, and temporarily stores the imaging data transmitted from the back camera 12 in a unit of one screen in the imaging data storage area. The display data converted by the image processing ASIC 24 in the area is stored for each screen. The display data storage area stores display data for one screen and then sequentially sends the stored display data to the monitor interface 26. In addition, in addition to the display data, the display data storage area also stores data for the initial screen, data for the background, data for the menu screen, data for the audio / air conditioner control screen, and the like.
[0072]
The monitor interface 26 is an interface for connection to the monitor device 14, and outputs display data to the monitor device 14 in the form of an analog image signal. The monitor interface 26 may be capable of outputting analog RGB signals or data corresponding to digital image signals related to digital transmission or the like with the monitor device 14. The RAM 28 stores various data generated during the conversion process.
[0073]
A navigation device, a television tuner, and the like (not shown) are also connected to the information LAN 11 in FIG. 1. When the image captured by the back camera 12 is not displayed on the monitor device 14, for example, the navigation of the navigation device is performed. The image processing device 13 controls the monitor device 14 to display a screen or a television screen or the like received by the television tuner.
[0074]
Next, a series of processing examples related to the conversion of the imaging data of the back camera 12 in the image conversion system 10 will be described based on the parking situation of the vehicle S according to the first flowchart in FIG. 11 and the second flowchart in FIG.
First, the power switch of the image conversion system 10 is turned on to start up the system (S1). In addition, it is assumed that the engine is started and the vehicle S travels to the destination with the start of the system. Further, while the vehicle S is running, a navigation screen or an audio / air conditioner control screen is displayed on the monitor device 14 (S2).
[0075]
Next, the image processing device 13 determines whether the vehicle S is in a parking state and the reverse gear of the vehicle S has been engaged, or whether an image display operation of image data of the back camera 12 has been performed on the operation unit 29 (S3). ). When the reverse gear is not engaged and the image display operation of the back camera 12 is not performed (S3: NO), the process returns to the stage (S2) where the navigation screen or the like is displayed on the monitor device 14. Further, when the reverse gear is engaged or when the image display operation of the back camera 12 is performed (S3: YES), the image data of the back camera 12 is converted into the image shown in FIGS. 5A, 5B, and 5C. The image is converted into display data of an image corresponding to any of 41, 42, and 43 and displayed on the monitor device 14 (S4).
[0076]
In this state, it is determined whether or not the enlarged display operation of the displayed image has been performed by the operation unit 29 (S5). If the operation has not been performed (S5: NO), the display of the current converted image is maintained. Is performed (S4). If an operation has been performed (S5: YES), an image subjected to enlargement conversion corresponding to the image 42 or the image 43 corresponding to the operation is displayed (S6).
[0077]
Further, the image processing device 13 determines whether the distance to the object behind the vehicle is within 1 m (S7). If the distance exceeds 1 m (S7: NO), the current state is displayed in a loop until the distance is within 1 m. Will be maintained. On the other hand, when the distance is within 1 m (S7: YES), as shown in the second flowchart of FIG. 12, the image processing device 13 subsequently determines whether the vehicle is in a straight-ahead state (S8).
[0078]
When it is determined that the vehicle is not in the straight traveling state (S8: NO), the process returns to the first flowchart in FIG. 11 in which it is determined whether the distance to an object behind the vehicle is within 1 m (S7). When it is determined that the vehicle is in a straight-ahead state (S8: YES), it is determined that the parking operation is the final stage, and the image data of the back camera 12 is converted into guide lines 46A and 46B corresponding to the image 44 in FIG. Then, the display data is converted into an enlarged image of the display data to which the distance line 47A and the like are added and displayed on the monitor device 14 (S9).
[0079]
Thereafter, if it is considered that parking has been completed, the engine is stopped (S10), but the engine is restarted to adjust the parking position, for example, when the vehicle goes out of the vehicle and is not at an appropriate parking position. Is determined by the image processing apparatus 13 in the next stage (S11). If the engine has not been restarted (S11: NO), the process ends.
[0080]
On the other hand, when the engine is restarted (S11: YES), the image processing device 13 determines whether the time from engine stop to engine restart is within three minutes (S12). If the time exceeds three minutes (S12: NO), it is determined that the engine is not restarted for parking, and the process returns to the display step (S2) of the navigation screen or the like in the first flowchart of FIG. If it is within 3 minutes (S12: YES), the display of the enlarged image to which the guide lines 46A and 46B and the distance line 47A are added is maintained (S13).
[0081]
Further, after the engine is restarted, the image processing device 13 determines whether the forward distance of the vehicle is within 5 m (S14). If the forward distance exceeds 5 m (S14: NO), it is determined that the vehicle is not traveling for parking, and the process returns to the display step (S2) of the navigation screen or the like in the first flowchart of FIG. If the forward distance is within 5 m (S14: YES), the process returns to the step (S9) of displaying an enlarged image of the display data to which the guide lines 46A, 46B and the distance line 47A are added on the monitor device 14 (S9). , Processing similar to the above.
[0082]
As described above, in the image conversion system 10 according to the present invention, at the final stage of the parking operation, the most enlarged image is automatically displayed without any special operation by the driver. With the operation continued, it is possible to confirm the display of an image optimal for the parking operation. In addition, the image conversion system 10 according to the present invention can be variously modified in addition to the above-described embodiment.
[0083]
For example, in the above-described embodiment, as shown in FIG. 1, the image processing device 13 is provided separately from the monitor device 14. However, the image processing device 13 is incorporated in the monitor device 14, and the image processing device 13 and the monitor device 14 may be integrated. Further, the image processing device 13 may be integrated with the gateway device 16. In the image 44 of FIG. 6, the distance lines 47A to 47C are displayed with different line types, but the lines may be displayed with different colors.
[0084]
Furthermore, in the present embodiment, the imaging data of the back camera 12 is converted based on the conversion table of the display data. However, the imaging data of the camera attached to the front end of the vehicle S and other places such as the side. A similar conversion can be performed for. Furthermore, the conversion table of the present embodiment has contents that combine image enlargement, image direction change to bird's-eye view direction, and correction of distortion, but depending on the characteristics of the camera and the mounting position of the camera, etc. The contents of the conversion table may correspond to any one or two of the processes.
[0085]
The switching of the display data of FIG. 6 to the conversion table for the image 44 may be performed by controlling the image conversion system 10 with the following configuration. That is, by providing the monitor device 14 with a touch panel function and touching the point B of the target parking position while displaying the image of the display data as shown in FIG. The monitor device 14 is provided with a receiving means for receiving and a specifying means for specifying the position coordinates of the point A by touching the point A which is the position of the vehicle S to be displayed.
[0086]
The data relating to the position coordinates of the point B and the position coordinates of the point A are transmitted to the microcomputer 23 of the image processing device 13. The microcomputer 23 calculates the number of horizontal pixels and the number of vertical pixels on the display data from the point A to the point B, converts the actual distance per pixel, and calculates the horizontal distance and the vertical distance from the point A to the point B. Function as a calculating means for calculating the total distance of. Further, the microcomputer 23 receives the detection signal of the vehicle speed pulse from the vehicle speed sensor 18C and the detection signal of the reverse gear sensor 18E and measures the reverse distance as a measuring means for measuring the reverse distance of the vehicle S.
[0087]
Further, the microcomputer 23 calculates a difference between the backward distance measured as the difference calculating means and the calculated total distance, and when the difference distance is equal to or smaller than the comparison distance stored in the ROM 27, the microcomputer 23 calculates the difference. Control for switching to the conversion table may be performed. In order to more accurately measure the backward travel distance of the vehicle S, an angular velocity sensor (gyro sensor) may be provided in the vehicle and a detection signal may be transmitted to the microcomputer 23.
[0088]
Also, a conversion table for upside down and mirror image inversion where the arrangement of pixels is different from the arrangement in FIG. 8 is provided, and an upside down switch and a mirror image inversion switch are provided in the operation unit 29 in FIG. May be converted.
[0089]
That is, the new coordinate range 51a shown in FIG. max , Y at the bottom min Is defined, but the conversion table for upside-down inversion has y at the upper end in the y-axis direction. min , Y at the bottom max To be arranged respectively. By operating the up / down switch of the operation unit 29, a trigger for reading the above-described up / down inversion conversion table may be generated, and the up / down inversion display may be manually switched.
[0090]
Further, regarding the conversion of mirror image inversion, the new coordinate range 51a shown in FIG. min , Right end x max Is defined, but the conversion table for mirror image inversion is located at the left end in the x-axis direction. max , Right end x min Is specified. By operating the mirror image switch of the operation unit 29, a trigger for reading the conversion table for mirror image inversion described above may be generated, and the display switching of mirror image inversion may be manually performed. In this case, by operating the up / down switch and the mirror image switch of the operation unit 29 at the same time, the upside down and mirror image inversion may be simultaneously converted.
[0091]
【The invention's effect】
As described in detail above, in the first invention and the twelfth invention, the conversion of the imaging data is performed based on the conversion table that associates a part of the coordinate range of the imaging data with the coordinate range of the display data. Can be automatically and smoothly converted to enlarged display data.
According to the second aspect, since the conversion table includes the direction conversion unit, it is possible to simultaneously enlarge the image of the captured data and change the bird's-eye view direction of the image.
[0092]
According to the third aspect, since the conversion table includes the distortion correcting means, even if the image of the captured data is curved, it can be displayed as a natural image without a sense of incongruity.
According to the fourth aspect of the present invention, by providing the distance measuring means and the like, the automatically displayed image can be enlarged, and the parking operation of the driver can be supported.
According to the fifth aspect of the invention, by providing the straight-ahead detecting means, it is possible to display an enlarged image when the vehicle is in a straight-ahead state, thereby preventing the image switching from becoming complicated.
[0093]
According to the sixth aspect of the present invention, an appropriate display can be ensured because switching of images is performed by determining a forward distance by a forward operation performed in an actual parking situation.
According to the seventh aspect, since the enlargement switching of the displayed image is performed based on the actual reverse distance, the display can be switched in accordance with the relationship between the actual position of the vehicle and the target parking position.
[0094]
According to the eighth aspect, the display data displays the vehicle figure data having a size corresponding to the magnification, so that the current display magnification can be easily determined from the size of the vehicle figure data. it can.
According to the ninth aspect, when the engine is restarted within the time stored since the engine was stopped, the enlarged display at the time of the parking operation can be maintained.
[0095]
According to the tenth aspect, when the enlarged display is switched, the drawing data of the guide line extending rearward from the vehicle is added, so that the parking operation at the final stage can be supported.
In the eleventh invention, since the distance line indicating the distance from the rear of the vehicle is displayed, the reverse distance required for parking can be easily grasped.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of an image conversion system according to an embodiment of the present invention.
FIG. 2 is a schematic plan view showing an attachment position of a back camera to a vehicle and a detection state of an ultrasonic sensor.
3A is a diagram showing an image of an example of image data of a back camera, and FIG. 3B is a schematic plan view showing a parking situation of a vehicle in a parking lot.
FIG. 4 is a block diagram illustrating a configuration of an image processing apparatus.
FIGS. 5A, 5B, and 5C are diagrams illustrating an image of display data that has been enlarged and converted.
FIG. 6 is a diagram illustrating a maximum-enlarged image of display data to which a guide line and a distance line are added.
FIG. 7 is a diagram illustrating a relationship between a partial range of an original coordinate range and a new coordinate range.
FIG. 8 is a diagram showing horizontal and vertical coordinates of a new coordinate range.
FIG. 9 is a schematic side view showing the state of attachment of the rear camera at the rear of the vehicle.
FIG. 10 is a schematic plan view showing an example of a parking situation.
FIG. 11 is a first flowchart according to the processing of the present invention.
FIG. 12 is a second flowchart according to the processing of the present invention.
[Explanation of symbols]
10. Image conversion system
11 Information LAN
12 Back camera
13 Image processing device
14 Monitor device
16 Gateway device
17 Body LAN
18A ultrasonic sensor
18B steering angle sensor
18C vehicle speed sensor
18D engine rotation sensor
18E reverse gear sensor
21 Conversion table memory
23 Microcomputer
29 Operation unit
40 Image of imaging data
41-44 Display data image
45 Bird's-eye view of the vehicle
46A, 46B Guide wire
47A, 47B, 47C Distance line
S vehicle

Claims (12)

車両に取り付けてある撮像装置と、該撮像装置が撮像した撮像データを表示用データに変換を行う画像処理装置とを接続してなる画像変換システムにおいて、
前記画像処理装置は、
前記撮像データを形成する画素の座標範囲の一部の範囲と、該一部の範囲より大きい範囲である前記表示用データを形成する画素の座標範囲とを対応付ける変換テーブルと、
該変換テーブルに基づいて、前記一部の範囲における撮像データの画像を拡大する前記変換を行う変換手段と
を備えることを特徴とする画像変換システム。In an image conversion system that connects an imaging device attached to a vehicle and an image processing device that converts imaging data captured by the imaging device into display data,
The image processing device includes:
A conversion table for associating a part of the coordinate range of the pixels forming the imaging data with the coordinate range of the pixels forming the display data, which is a range larger than the part range;
A conversion unit for performing the conversion for enlarging the image of the imaging data in the partial range based on the conversion table. 前記変換テーブルは、
前記撮像データの画像を俯瞰方向の画像に変換を行う方向変換手段を備える請求項１に記載の画像変換システム。The conversion table,
The image conversion system according to claim 1, further comprising a direction conversion unit configured to convert the image of the imaging data into an image in a bird's-eye view direction. 前記撮像装置は、湾曲画像の撮像データを撮像するものであり、
前記変換テーブルは、
前記湾曲画像の歪みを矯正する変換を行う歪み矯正手段を備える請求項１又は請求項２に記載の画像変換システム。The imaging device is for imaging imaging data of a curved image,
The conversion table,
The image conversion system according to claim 1, further comprising a distortion correction unit configured to perform conversion for correcting distortion of the curved image. 前記撮像装置は車両の後方を撮像するものであり、
前記変換テーブルは複数であり、各変換テーブルで対応付けられる前記一部の範囲は夫々相違しており、
車両から後方に位置する物までの距離を測定する距離測定手段と、
距離を記憶する距離記憶手段と
を備え、
前記画像処理装置は更に、
前記距離測定手段の測定した距離が前記距離記憶手段の記憶する距離以下の場合、前記一部の範囲が大きい変換テーブルから小さい変換テーブルへ切換を行う変換テーブル切換手段を備える請求項１乃至請求項３のいずれかに記載の画像変換システム。The imaging device is for imaging the rear of the vehicle,
There are a plurality of conversion tables, and the partial ranges associated with each conversion table are different from each other,
Distance measuring means for measuring the distance from the vehicle to an object located behind,
Distance storing means for storing the distance,
The image processing apparatus further includes:
The conversion table switching means for switching from a conversion table having a larger range to a conversion table having a smaller range when the distance measured by the distance measuring means is equal to or less than the distance stored in the distance storage means. 3. The image conversion system according to any one of 3. 車両の直進状態を検出する直進検出手段を更に備え、
前記変換テーブル切換手段は、
前記直進検出手段が直進状態を検出したときに、前記切換を行う請求項４に記載の画像変換システム。The vehicle further includes a straight traveling detecting unit that detects a straight traveling state of the vehicle,
The conversion table switching means,
The image conversion system according to claim 4, wherein the switching is performed when the straight traveling detecting unit detects a straight traveling state. 車両の前進距離を測定する前進距離測定手段と、
前進距離を記憶する前進距離記憶手段と
を更に備え、
前記変換テーブル切換手段は、
前記切換が行われた場合で、前記前進距離測定手段の測定した前進距離が前記前進距離記憶手段の記憶する前進距離以下のとき、前記行われた切換を維持する手段を備える請求項４又は請求項５に記載の画像変換システム。Forward distance measuring means for measuring a forward distance of the vehicle,
Further comprising forward distance storage means for storing the forward distance,
The conversion table switching means,
5. The apparatus according to claim 4, further comprising: a unit that maintains the switching when the forward distance measured by the forward distance measuring unit is equal to or less than the forward distance stored in the forward distance storage unit. Item 6. The image conversion system according to Item 5. 前記撮像装置は車両の後方を撮像するものであり、
前記変換テーブルは複数であり、各変換テーブルで対応付けられる前記一部の範囲は夫々相違しており、
車両の後進距離を測定する測定手段と、
距離を記憶する距離記憶手段と
を備え、
前記画像処理装置は更に、
前記表示用データにおける目標位置を受け付ける受付手段と、
前記表示用データにおける車両の位置を特定する特定手段と、
該特定手段の特定した車両の位置から前記受付手段の受け付けた目標位置までの距離を演算する距離演算手段と、
該距離演算手段の演算した距離と前記測定手段が測定した後進距離の差を演算する差演算手段と、
前記差演算手段の演算した距離の差が前記距離記憶手段の記憶する距離以下の場合、前記一部の範囲が大きい変換テーブルから小さい変換テーブルへ切換を行う変換テーブル切換手段と
を備える請求項１乃至請求項３のいずれかに記載の画像変換システム。The imaging device is for imaging the rear of the vehicle,
There are a plurality of conversion tables, and the partial ranges associated with each conversion table are different from each other,
Measuring means for measuring the reverse distance of the vehicle;
Distance storing means for storing the distance,
The image processing apparatus further includes:
Receiving means for receiving a target position in the display data;
Specifying means for specifying the position of the vehicle in the display data,
Distance calculating means for calculating a distance from the position of the vehicle specified by the specifying means to the target position received by the receiving means;
Difference calculating means for calculating the difference between the distance calculated by the distance calculating means and the reverse distance measured by the measuring means,
2. A conversion table switching means for switching from a conversion table in which the part of the range is large to a conversion table in which the part of the range is small, when the difference between the distances calculated by the difference calculating means is equal to or less than the distance stored in the distance storage means. The image conversion system according to claim 3. 前記各変換テーブルは、
前記撮像データの一部の範囲に対する前記表示用データの座標範囲の比に応じた大きさの車両の図データを前記表示用データに付加する手段を備える請求項４乃至請求項７のいずれかに記載の画像変換システム。Each of the conversion tables,
8. The display device according to claim 4, further comprising a unit configured to add, to the display data, vehicle drawing data having a size corresponding to a ratio of a coordinate range of the display data to a partial range of the imaging data. 9. Image conversion system as described. 車両のエンジン停止からエンジン始動までの時間を測定する時間測定手段と、
時間を記憶する時間記憶手段と
を更に備え、
前記変換テーブル切換手段は、
前記切換が行われた場合で、前記時間測定手段の測定した時間が前記時間記憶手段の記憶する時間以下のとき、前記行われた切換を維持する手段を備える請求項４乃至請求項８のいずれかに記載の画像変換システム。Time measuring means for measuring the time from stopping the engine of the vehicle to starting the engine,
Time storage means for storing time,
The conversion table switching means,
9. The apparatus according to claim 4, further comprising a unit configured to maintain the switch when the time measured by the time measuring unit is equal to or less than the time stored in the time storage unit. An image conversion system according to any of the claims. 前記小さい変換テーブルは、
車両の後方へ延出するガイド線を示すガイド線データを前記表示用データに付加する手段を備える請求項８又は請求項９に記載の画像変換システム。The small conversion table is
The image conversion system according to claim 8, further comprising a unit configured to add guide line data indicating a guide line extending rearward of the vehicle to the display data. 前記小さい変換テーブルは、
車両の後端からの距離を示す距離線を示す距離線データを前記表示用データに付加する手段を備える請求項８乃至請求項１０のいずれかに記載の画像変換システム。The small conversion table is
The image conversion system according to claim 8, further comprising a unit configured to add distance line data indicating a distance line indicating a distance from a rear end of the vehicle to the display data. 撮像データを表示用データへ変換する画像処理装置において、
前記撮像データを形成する画素の座標範囲の一部の範囲と、該一部の範囲より大きい範囲である前記表示用データを形成する画素の座標範囲とを対応付ける変換テーブルと、
該変換テーブルに基づいて、前記一部の範囲における撮像データの画像を拡大する前記変換を行う変換手段と
を備えることを特徴とする画像処理装置。In an image processing device that converts imaging data into display data,
A conversion table for associating a part of the coordinate range of the pixels forming the imaging data with the coordinate range of the pixels forming the display data, which is a range larger than the part range;
An image processing apparatus comprising: a conversion unit that performs the conversion for enlarging an image of the imaging data in the partial range based on the conversion table.
JP2002215805A 2002-07-24 2002-07-24 Image conversion system and image processing apparatus Expired - Fee Related JP3982357B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002215805A JP3982357B2 (en) 2002-07-24 2002-07-24 Image conversion system and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002215805A JP3982357B2 (en) 2002-07-24 2002-07-24 Image conversion system and image processing apparatus

Publications (2)

Publication Number Publication Date
JP2004064150A true JP2004064150A (en) 2004-02-26
JP3982357B2 JP3982357B2 (en) 2007-09-26

Family

ID=31937747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002215805A Expired - Fee Related JP3982357B2 (en) 2002-07-24 2002-07-24 Image conversion system and image processing apparatus

Country Status (1)

Country Link
JP (1) JP3982357B2 (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006148327A (en) * 2004-11-17 2006-06-08 Olympus Corp Image creating apparatus
JP2007062649A (en) * 2005-09-01 2007-03-15 Clarion Co Ltd Distance information display device for vehicle
JP2007149011A (en) * 2005-11-30 2007-06-14 Auto Network Gijutsu Kenkyusho:Kk Vehicle circumference viewing device
WO2007145257A1 (en) * 2006-06-13 2007-12-21 Pioneer Corporation Display device, display method, display program and computer readable recording medium
JP2008024077A (en) * 2006-07-19 2008-02-07 Xanavi Informatics Corp On-vehicle device
JP2008030705A (en) * 2006-07-31 2008-02-14 Aisin Aw Co Ltd Display system for vehicle circumference image display system
JP2009118415A (en) * 2007-11-09 2009-05-28 Alpine Electronics Inc Method and apparatus for generating bird's-eye view image
JP2010241193A (en) * 2009-04-02 2010-10-28 Denso Corp Electronic control device for parking assistance, and parking assistance device for vehicle
WO2011158285A1 (en) * 2010-06-15 2011-12-22 三菱電機株式会社 Vehicle surroundings monitoring device
JP2012006504A (en) * 2010-06-25 2012-01-12 Nissan Motor Co Ltd Vehicle control device and method
KR101266059B1 (en) * 2011-10-19 2013-05-21 인하대학교 산학협력단 Rear view camera of vehicles using distance information
JP2014201146A (en) * 2013-04-03 2014-10-27 市光工業株式会社 Image display device for vehicle
WO2016067535A1 (en) * 2014-10-29 2016-05-06 株式会社デンソー Parking assistance device
JP2018164186A (en) * 2017-03-24 2018-10-18 トヨタ自動車株式会社 Visual recognition device for vehicle

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102487408B1 (en) * 2021-09-07 2023-01-12 포티투닷 주식회사 Apparatus and method for determining a routing route for mobility and medium recording it

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
JP2001106004A (en) * 1999-10-14 2001-04-17 Toyota Autom Loom Works Ltd Steering assist device for moving backward of vehicle
JP2001163132A (en) * 1999-09-30 2001-06-19 Toyota Autom Loom Works Ltd Image converting device for device for monitoring back of vehicle
JP2002359839A (en) * 2001-03-29 2002-12-13 Matsushita Electric Ind Co Ltd Method and device for displaying image of rearview camera
JP2003212041A (en) * 2002-01-25 2003-07-30 Toyota Central Res & Dev Lab Inc Vehicle rear display device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
JP2001163132A (en) * 1999-09-30 2001-06-19 Toyota Autom Loom Works Ltd Image converting device for device for monitoring back of vehicle
JP2001106004A (en) * 1999-10-14 2001-04-17 Toyota Autom Loom Works Ltd Steering assist device for moving backward of vehicle
JP2002359839A (en) * 2001-03-29 2002-12-13 Matsushita Electric Ind Co Ltd Method and device for displaying image of rearview camera
JP2003212041A (en) * 2002-01-25 2003-07-30 Toyota Central Res & Dev Lab Inc Vehicle rear display device

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006148327A (en) * 2004-11-17 2006-06-08 Olympus Corp Image creating apparatus
JP4647975B2 (en) * 2004-11-17 2011-03-09 オリンパス株式会社 Image generation device
JP2007062649A (en) * 2005-09-01 2007-03-15 Clarion Co Ltd Distance information display device for vehicle
JP2007149011A (en) * 2005-11-30 2007-06-14 Auto Network Gijutsu Kenkyusho:Kk Vehicle circumference viewing device
WO2007145257A1 (en) * 2006-06-13 2007-12-21 Pioneer Corporation Display device, display method, display program and computer readable recording medium
JP2008024077A (en) * 2006-07-19 2008-02-07 Xanavi Informatics Corp On-vehicle device
JP2008030705A (en) * 2006-07-31 2008-02-14 Aisin Aw Co Ltd Display system for vehicle circumference image display system
JP4595902B2 (en) * 2006-07-31 2010-12-08 アイシン・エィ・ダブリュ株式会社 Vehicle periphery image display system and vehicle periphery image display method
JP2009118415A (en) * 2007-11-09 2009-05-28 Alpine Electronics Inc Method and apparatus for generating bird's-eye view image
JP2010241193A (en) * 2009-04-02 2010-10-28 Denso Corp Electronic control device for parking assistance, and parking assistance device for vehicle
WO2011158285A1 (en) * 2010-06-15 2011-12-22 三菱電機株式会社 Vehicle surroundings monitoring device
JP5052707B2 (en) * 2010-06-15 2012-10-17 三菱電機株式会社 Vehicle periphery monitoring device
US9064293B2 (en) 2010-06-15 2015-06-23 Mitsubishi Electric Corporation Vehicle surroundings monitoring device
JP2012006504A (en) * 2010-06-25 2012-01-12 Nissan Motor Co Ltd Vehicle control device and method
KR101266059B1 (en) * 2011-10-19 2013-05-21 인하대학교 산학협력단 Rear view camera of vehicles using distance information
JP2014201146A (en) * 2013-04-03 2014-10-27 市光工業株式会社 Image display device for vehicle
WO2016067535A1 (en) * 2014-10-29 2016-05-06 株式会社デンソー Parking assistance device
JP2016088104A (en) * 2014-10-29 2016-05-23 株式会社デンソー Parking support device
US20170228605A1 (en) * 2014-10-29 2017-08-10 Denso Corporation Parking assistance apparatus
US10268905B2 (en) 2014-10-29 2019-04-23 Denso Corporation Parking assistance apparatus
JP2018164186A (en) * 2017-03-24 2018-10-18 トヨタ自動車株式会社 Visual recognition device for vehicle
US10737624B2 (en) 2017-03-24 2020-08-11 Toyota Jidosha Kabushiki Kaisha Viewing device for vehicle

Also Published As

Publication number Publication date
JP3982357B2 (en) 2007-09-26

Similar Documents

Publication Publication Date Title
US7505047B2 (en) Vehicle periphery viewing apparatus
US9467679B2 (en) Vehicle periphery monitoring device
US6587760B2 (en) Motor vehicle parking support unit and method thereof
JP5379913B2 (en) Parking assistance device, parking assistance system, and parking assistance camera unit
US7432799B2 (en) Driving support apparatus and driving support method
JP2004064150A (en) Image conversion system and image processor
US20130120161A1 (en) Parking assistance device
CN109689458B (en) Parking assistance method and device
JP4844323B2 (en) Parking assistance device and parking assistance method
WO2011090163A1 (en) Parameter determination device, parameter determination system, parameter determination method, and recording medium
JP5549235B2 (en) Driving assistance device
JP2012071635A5 (en)
JP5136256B2 (en) Parking assist device and image display method
JP2009065483A (en) Parking support system
JP2013090005A (en) Image generation apparatus
JP6471522B2 (en) Camera parameter adjustment device
KR20120094397A (en) Automobile camera module and method of guiding parking
JP2008145364A (en) Route guiding device
JP2008030705A (en) Display system for vehicle circumference image display system
JP2009100261A (en) Vehicle surrounding image supplying device, and method of correcting wide-angle image
JP4470041B2 (en) Obstacle detection support device
JP4595649B2 (en) Parking support method and parking support device
WO2010007960A1 (en) View-point conversion video image system for camera mounted on vehicle and method for acquiring view-point conversion video image
KR200487391Y1 (en) Panorama view system of vehicle
JP2005335444A (en) Auxiliary information presenting device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070625

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100713

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110713

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110713

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130713

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees