JP3796945B2 - Voice guidance navigation apparatus, voice guidance navigation method, and medium on which voice guidance navigation program is recorded - Google Patents

Voice guidance navigation apparatus, voice guidance navigation method, and medium on which voice guidance navigation program is recorded Download PDF

Info

Publication number
JP3796945B2
JP3796945B2 JP4784798A JP4784798A JP3796945B2 JP 3796945 B2 JP3796945 B2 JP 3796945B2 JP 4784798 A JP4784798 A JP 4784798A JP 4784798 A JP4784798 A JP 4784798A JP 3796945 B2 JP3796945 B2 JP 3796945B2
Authority
JP
Japan
Prior art keywords
guidance
feature
voice
voice guidance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP4784798A
Other languages
Japanese (ja)
Other versions
JPH11248477A (en
Inventor
昭彦 野島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP4784798A priority Critical patent/JP3796945B2/en
Publication of JPH11248477A publication Critical patent/JPH11248477A/en
Application granted granted Critical
Publication of JP3796945B2 publication Critical patent/JP3796945B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像情報に基づいて抽出した特徴物を利用して案内を行う音声案内ナビゲーション装置に関する。
【0002】
【従来の技術】
従来より、経路案内のためのナビゲーション装置が知られており、広く普及されるようになってきている。このナビゲーション装置は、通常ディスプレイを有し、ここに現在地表示を含む地図を表示することを基本とする。また、目的地を設定した場合には、記憶している地図情報に基づいて、目的地までの最適経路を探索する。そして、目的地までの経路が設定された走行においては、経路を常に表示して経路案内を行う。
【0003】
また、走行中は、運転者は前方を注視することが必要であり、ディスプレイを注視することはできない。そこで、音声により、右左折などを案内することも行われている。すなわち、案内が必要な案内交差点(分岐点)の手前で「○○m先××交差点を左方向です。」等という案内音声をスピーカから出力し、経路を案内する。これによって、運転者は前方を注視したまま耳から案内を得ることができる。
【0004】
ここで、分岐点の特定には、通常交差点名が用いられるが、必ずしも分かりやすくない。そこで、特開平4−1520号公報や特開平4−324321号公報には、交差点に存在するビル名等の特徴物を案内に利用することが提案されている。このような特徴物を利用することによって、運転者に分岐点を分かりやすく説明でき、より好適な経路案内が行える。
【0005】
【発明が解決しようとする課題】
しかし、上述のような特徴物を利用するものは、運転者が特徴物を容易に見いだすことができることを前提にしている。しかし、自車両位置によっては、運転者にとって、特徴物を見つけにくい場合も生じる。このような場合には、案内がかえってわかりにくいものになってしまうという問題点があった。
【0006】
本発明は、上記問題点を解決することを課題としてなされたものであり、自車位置と特徴物の位置関係を考慮することによって、運転者にわかりやすい音声案内を行うことができる車両用音声案内ナビゲーション装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明は、車両に搭載され、案内を行う案内交差点において、車両運転者への案内を音声にて行う音声案内ナビゲーション装置において、案内交差点付近の特徴物の形状およびその位置データを取得する取得手段と、案内交差点についての画像を取得するカメラと、カメラによって得た画像を画像処理すると共に、画像処理された画像と前記取得手段によって得た特徴物の形状を比較して特徴物が認識できるか否かを判定する判定手段と、この判定手段において、特徴物が認識できる場合において、その特徴物を利用した音声による案内を行い、特徴物が認識できない場合には、特徴物を利用しない音声案内を行う音声案内手段と、前記特徴物を利用する案内を行う場合においては、その特徴物の位置に応じて、この特徴物を利用した音声による案内の案内開始時期を制御する案内時期制御手段と、を有することを特徴とする。このように、案内開始時期を調整できるため、特徴物を確認しやすくなる。また、カメラにより特徴物を確認できる。
【0008】
また、本発明は、前記案内時期制御手段は、さらに特徴物の視認性に応じて、前記案内開始時期を調整することを特徴とする。小さな特徴物を遠くで案内するために、特徴物を発見できない等という問題の発生を防止できる。
【0009】
また、本発明は、前記取得手段は、特徴物についてのデータを外部のデータベースから取得することを特徴とする。特徴物のデータを内部に保持しておく必要がなく、装置構成を簡略化できる。また、外部のデータベースであれば、これを更新することも比較的容易である。
【0010】
また、本発明は、前記案内時期制御手段は、特徴物の自車位置からの相対方向に関する案内を前記音声案内文に加えることを特徴とする。方向についての案内が入っているため、運転者が特徴物を認識しやすい。
【0011】
また、本発明は、車両に搭載され、案内を行う案内交差点において、車両運転者への案内を音声にて行う音声案内ナビゲーション方法において、案内交差点付近の特徴物の形状およびその位置データを取得し、案内交差点についての画像をカメラにより取得し、カメラによって得た画像を画像処理すると共に、画像処理された画像と前記取得した特徴物の形状を比較して特徴物が認識できるか否かを判定し、この判定において、前記特徴物が認識できる場合には、その特徴物の位置に応じて、前記音声案内手段による特徴物を利用した音声による案内の案内開始時期を決定するとともに、前記決定された時期になったときに、特徴物を含めた音声案内を行い、前記判定において、特徴物が認識できない場合には、音声案内手段に特徴物を利用しない音声案内を行うことを特徴とする。
【0012】
また、本発明は、車両に搭載される音声案内ナビゲーション装置に、案内を行う案内交差点において車両運転者への案内を音声にて出力させる音声案内ナビゲーションプログラムを記録した媒体であって、前記音声案内ナビゲーション装置を、案内交差点付近の特徴物の形状およびその位置データを取得させ、案内交差点についての画像をカメラにより取得させ、カメラによって得た画像を画像処理すると共に、画像処理された画像と前記取得した特徴物の形状を比較して特徴物が認識できるか否かを判定させ、この判定において、前記特徴物が認識できる場合には、その特徴物の位置に応じて、前記音声案内手段による特徴物を利用した音声による案内の案内開始時期を決定させるとともに、前記決定された時期になったときに、特徴物を含めた音声案内を行わせ、前記判定において、特徴物が認識できない場合には、音声案内手段に特徴物を利用しない音声案内を行わせることを特徴とする。
【0013】
【発明の実施の形態】
以下、本発明の実施の形態(以下実施形態という)について、図面に基づいて説明する。
【0014】
図1は、一実施形態に係る装置の全体構成を示すブロック図である。車両には、カメラ10が搭載されている。このカメラ10はCCDカメラなどで構成され、車両の前方の画像を取得する。また、カメラ10には、画像処理部12が接続されており、画像処理部12はカメラ10から供給される画像データについて各種の処理を行う。例えば、カメラ10から供給される画像データを2値化したり、各種形状を抽出したりし、後述するナビゲーション制御部14における所定形状のIDサインが存在するか否かの処理を行うための前処理を行う。なお、この画像処理部において、IDサインが存在するか否かの判定まで行ってもよい。
【0015】
この画像処理部12には、ナビゲーション制御部14が接続されている。このナビゲーション制御部14はナビゲーションのための各種処理を行う。このナビゲーション制御部14には、現在位置検出のためのDGPS装置16が接続されており、ここから現在位置情報が供給される。このDGPS装置16はGPS(グローバル・ポジショニング・システム)により得られる位置情報に、地上の固定局から得られる誤差情報をあわせ、比較的正確な位置検出を行う。
【0016】
ナビゲーション制御部14には、地図データベース18が接続されている。この地図データベース18は、経路案内及び地図表示に必要な各種の地図データを記憶するものであり、例えばCDROMで構成されている。なお、地図データベース18をRAMなどで構成し、必要なデータのみを外部から取得し、ここに記憶することも好適である。さらに、ナビゲーション制御部14には、IDサインデータベース20が接続されている。このIDサインデータベース20は、交差点などにおける特徴物である各種の看板などについての形状、大きさ、これを利用した案内文等を記憶している。このIDサインデータベース20は、CDROMなどで構成し、予め用意しておいてもよいが、必要なものについて外部から取得して記憶することが好適であり、本実施形態ではRAMで構成されている。
【0017】
また、ナビゲーション制御部14には、ディスプレイ22が接続されていると共に、音声合成部24を介しスピーカ26が接続されている。ディスプレイ22は、経路案内のための各種表示を行う。なお、このディスプレイ22の前面にタッチパネルを構成し、表示に基づいて各種入力が行えるようになっている。また、音声合成部24は、ナビゲーション制御部14から供給されるデータに基づいて音声合成を行って音声信号を作成し、これをスピーカ26に供給することで、スピーカ26から所望の音声を出力する。
【0018】
さらに、ナビゲーション制御部14には、通信部28が接続されており、この通信部28を介し、外部とのデータ通信を行う。この通信部28は、例えばモデムを介して接続された携帯電話機などで構成されるが、電波ビーコンや、光ビーコンとの通信を行う通信機や、衛星通信を行う通信機などを備えることも好適である。
【0019】
車両の通信部(携帯電話機)28は、無線基地局30、公衆回線網32を介し、情報センタ34と接続されている。情報センタ34は、各種の情報を記憶するデータベース36を有しており、車両からのリクエストに応じて、各種のデータを提供する。
【0020】
次に、車両において、経路を設定したときの動作について、図2に基づいて説明する。まず、経路設定を行う場合には、通常のナビゲーション装置と同様に、目的地を設定する。目的地は、地図上で設定したり、施設名、住所など各種の情報から入力できる。そして、この目的地を設定した場合には、地図データベース18の地図情報を基に最適経路の探索を行い、この結果に基づいて目的地までの経路が設定される(S11)。
【0021】
このようにして経路が設定された場合には、この設定された経路において右左折を行う分岐点などの案内ポイントについてのデータを抽出する(S12)。そして、これら案内ポイントについてのデータを情報センタ34に送信し、案内ポイントについてのIDサインデータの送信をリクエストする(S13)。
【0022】
ここで、案内ポイントについてのデータとは、分岐点を直接特定するデータであってもよく、あるいは設定された経路を含むエリアを特定するデータであってもよい。
【0023】
情報センタ34では、後述するような動作により、案内ポイントについてのIDサインデータを用意し、これを送信してくる。そこで、車両側では送られてくるIDサインデータを受信する(S14)。次に、取得したIDサインデータと、設定された経路とを比較し、IDサインの位置と、案内ポイントでの右左折の方向などの相対的なデータを検出する(S15)。そして、検出したデータにより、案内文を決定し、IDサインデータと共に、IDサインデータベース20に記憶する(S16)。
【0024】
次に、情報センタ34における動作について、図3に基づいて説明する。まず、車両からの案内ポイントにおけるIDサインデータのリクエストがあるかを判定している(S21)。この判定で、YESであれば、提供された案内ポイントについて、IDサインデータがあるか否かを判定する(S22)。例えば、分岐点の案内において、「○○というガソリンスタンドの看板」等というIDサインがその案内ポイントに関連して設定してあるかどうかを判定する。
【0025】
そして、このS22の判定でYESであれば、IDサインデータをデータベース36から取得する(S23)。このIDサインデータは、IDサインの形状についての画像データ、存在位置(緯度、経度、高さ)、説明文などからなっている。なお、このようなIDサインデータは、必ずしも情報センタ34で固定的に記憶していなくてもよい。例えば、情報センタ34において、走行する車両から画像データの提供を受け、利用価値のあるものを自動的に記憶するようにしてもよい。次に、取得したIDサインデータを車両送信用に処理し(S24)、これを車両に配信する(S25)。なお、S22において、データがなければ、S25において、IDサインデータがない旨のデータを送信する。この場合、IDサインデータを利用しない交差点名などを送信するようにしてもよい。
【0026】
なお、IDサインがどこになるかについてデータを全て車両側のIDサインデータベース20に記憶していれば、情報センタ34との通信動作の必要はなく、上述のようなIDサインデータの記憶のための動作を全て車両側で行うことができる。また、目的地を情報センタ34に提供して目的地までの経路の設定、IDサインデータの作成までを全て情報センタ34にて行うこともできる。
【0027】
次に、経路を設定して走行しているときの動作について、図4に基づいて説明する。まず、走行中においては、DGPS装置16からの情報などを基に、現在位置を常時検出している。そこで、案内ポイントが500m以内かを判定している(S31)。そして、この判定でYESとなった場合には、案内ポイントについてのIDサインデータをIDサインデータベース20から読み込む(S32)。そして、現在位置からIDサインの方向を特定する(S33)。すなわち、現在位置(車線を含む)と、IDサインデータによる位置、大きさなどのデータから現在位置からどの方向にIDサインが見えるかを特定する。
【0028】
次に、カメラ10によって得た画像と、読み込んだIDサインの形状についてのデータを比較し、IDサインについての画像認識を行う(S34)。例えば、IDサインが○○ガソリンスタンドの看板であれば、そのロゴのデータと、カメラ10で得た画像についての比較を行う。そして、IDサインが認識できたかを判定する(S35)。
【0029】
この判定で、YESであれば、案内時期を決定する(S36)。この案内時期の決定は、IDサインである例えば看板の大きさや見やすさ、さらに車速などを考慮して決定する。すなわち、看板などは、車両が走行している際に、目に入りやすいタイミングがある。そこで、そのタイミングで、案内文が出力されるように、案内時期を決定する。すなわち、S15で検出した自車位置とIDサインの相対位置により、案内時期を決定する。
【0030】
特に、看板などのIDサインは、他のビルの陰になったりして見えないタイミングもある。そこで、IDサインが見えるタイミングを選ぶことが重要である。さらに、案内文の出力には、ある程度の時間がかかる。そこで、車速に応じて、案内の出力開始時期を変更することも好適である。また、IDサインには、非常にわかりやすいものもあれば、あまりわかりやすくないものも存在する。非常にわかりやすいものであれば、案内ポイントにおける通常の経路案内のタイミングで単にIDサインを含めた案内を行えばよい。一方、それほどわかりやすくなければ、IDサインについての説明も含め、若干早めに案内を行うことが好適である。また、看板などの大きさに応じて案内のタイミングを変更することも好適である。
【0031】
そして、案内時期にきたかを判定し(S37)、案内時期にきた場合にIDサインを利用した案内を実施する(S38)。例えば、「○○ガソリンスタンドの先の交差点を右方向です。」等という案内を実施する。ここで、IDサインが通常のタイミングにおいて見えないような場合に、「もう少し進むと○○ガソリンスタンドが見えてきますので、その先の交差点を右方向です。」等という案内を行うことも好適である。
【0032】
さらに、IDサインの存在する方向を案内文に含めることも好適である。例えば、「右前方の○○ガソリンスタンドの先の交差点を右方向です。」、「正面に見える○×自動車の販売店の交差点を右方向です。」、「前方ちょっと左方向に見える××レストランの看板の手前の信号を左方向です。」等という案内が行える。
【0033】
また、案内ポイントの交差点に至る間に、複数のIDサインを含めることも好適である。例えば、「左側の○○ガソリンスタンドを通り過ぎ、××レストランの手前の交差点を左方向です。」等という案内もできる。なお、案内ポイントの交差点をすぎたときには、次の案内ポイント(または最終目的地)についての案内を行うことが好適である。例えば、「この先しばらくは、○○方面に向けて直進です。」等という案内を出力する。
【0034】
なお、S35においてNOであり、IDサインを認識できなかったときには、通常の案内を行う(S39)。例えば、「300m先、○○交差点を左方向です。」等という案内を出力する。
【0035】
また、このような音声出力する案内文は各種あり、基本的に外部からテキストデータで取得する。そこで、音声合成部24で音声信号を得る。
【0036】
このように、本実施形態によれば、IDサインの位置に応じて、案内のタイミングを決定する。従って、IDサインがよく見えるような自車位置にきたときに、IDサインを利用した案内文を出力することができる。また、車速に応じて案内タイミングを調整することで、より好ましいタイミングでの案内が行える。さらに、案内文にIDサインの見える方向についての言葉を加えることで、IDサインを運転者が認識しやすくなる。また、IDサインの大きさ、見やすさなどに応じて、案内のタイミングを調整することで、よりIDサインを認識しやすくすることができる。
【0037】
また、本実施形態では、IDサインを画像認識できた場合に、IDサインを利用した案内を行う。このため、違法駐車の車や建物の改築などの都合で、IDサインが見えない場合に、これを利用した案内が行われてしまうことを防止できる。また、情報センタ34が常に走行している車両から画像データをもらいIDサインについてのデータを更新しておけば、常に最新の情報を用いた案内を行うことができる。
【0038】
さらに、目的地への案内では、目的地周辺のIDサインを用いて、最終目的地に近い案内が可能になる。特に、最終目的地は、各種店舗、施設、駐車場等の場合も多く、IDサイン自体が、最終目的地となる場合も多い。このような場合には、最終目的地そのものへの案内が行える。
【0039】
また、ナビゲーション制御部14における上述のような動作は、ROMなどに記憶してあるプログラムを実行することで達成される。しかし、このプログラムは、外部からロードしてEEPROMに記憶することなども好適である。このようなロードするプログラムは、CDROMなどに記憶して提供したり、通信で提供することなどが可能である。特に、情報センタ34がナビゲーション制御部14の通信で提供することも好適である。また、最初のプログラムは、ナビゲーション装置14に予め記憶しておき、これをCDROMや、通信でバージョンアップすることも好適である。さらに、地図データベース18にプログラムを記憶しておくことも好適である。
【0040】
なお、IDサインとしては、建物等も有り、この場合には、三次元データを持っておき、見える方向に応じて、形状データを変更することが好ましい。また、上述の案内は、交差点などを案内ポイントとしたが、単に通過する地点における確認用の案内にIDサインを利用することも好適である。また、昼間と夜間では、見やすいIDサインが異なることも多いため、明るさに応じて、IDサインを変更することも好適である。
【0041】
さらに、ドライバの視認しやすい目標物(IDサイン)についてのデータを取得して音声案内を行うことも好適である。この場合、目標物についてのデータは、必ずしも外部から取得せず、車載の地図データベース18などに記憶されているものを読み出して取得してもよい。また、必ずしも画像認識する必要もない。
【0042】
例えば、図5に示すような経路を走行する場合において、ドライバにとって視認しやすい「レストラン○×」、「○○ガソリンスタンド」などをIDサインとして利用する。そして、「レストラン○×から500m先の交差点を左折です。」、「○○ガソリンスタンドの次の交差点を左方向です。」などという、案内ポイント(交差点分岐、合流など)までの距離やそこまでの分岐点数などの相対的な表現を含めた案内を行う。このように、案内ポイント周辺の目標物に限らず、経路上にある確実に視認できる目標物を利用した案内を行うことで、わかりやすい案内が行え、ドライバの安心感を向上させることができる。
【0043】
さらに、単純な道なりの走行中において、走行中においてドライバの視認しやすい目標物を利用して案内を行うことも好適である。例えば、図6に示すように、従来から行われている「しばらく10km程道なりです。」などという案内に代え、または加えて、「××駅から50km程直進が続きます。」などという目標物を利用した案内を行う。これによって、ドライバの安心感を向上させることができる。なお、このような案内は、ドライバの運転心理安定のために行うものであり、煩わしさを感じない程度の頻度(数分に1回)で行うことが好ましい。
【0044】
【発明の効果】
以上説明したように、本発明によれば、特徴物の存在位置に応じて案内の開始時期を調整するため、適切なタイミングで特徴物を利用したわかりやすい案内を行うことができる。
【図面の簡単な説明】
【図1】 全体構成を示すブロック図である。
【図2】 経路設定時のフローチャートである。
【図3】 センタにおけるフローチャートである。
【図4】 走行時におけるフローチャートである。
【図5】 案内の具体例を示す図である。
【図6】 案内の具体例を示す図である。
【符号の説明】
10 カメラ、12 画像処理部、14 ナビゲーション制御部、16 DGPS装置、18 地図データベース、20 IDサインデータベース、22 ディスプレイ、24 音声合成部、26 スピーカ、28 通信部、30 無線基地局、32 公衆電話回線、34 情報センタ、36 データベース。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a voice guidance navigation apparatus that performs guidance using a feature extracted based on image information.
[0002]
[Prior art]
Conventionally, navigation devices for route guidance have been known and have become widespread. This navigation apparatus has a normal display, and is based on displaying a map including a present location display here. When the destination is set, the optimum route to the destination is searched based on the stored map information. And in the travel where the route to the destination is set, the route is always displayed and route guidance is performed.
[0003]
In addition, while driving, the driver needs to watch the front and cannot watch the display. Therefore, guidance such as turning left and right is also performed by voice. That is, a guidance voice such as “XXm ahead xx intersection is to the left” is output from the speaker in front of the guidance intersection (branch point) that needs guidance, and the route is guided. As a result, the driver can obtain guidance from the ear while gazing at the front.
[0004]
Here, the name of an intersection is usually used to specify a branch point, but it is not always easy to understand. Therefore, Japanese Patent Application Laid-Open No. 4-1520 and Japanese Patent Application Laid-Open No. 4-324321 propose using a feature such as a building name existing at an intersection for guidance. By using such a feature, the branch point can be explained in an easy-to-understand manner to the driver, and more suitable route guidance can be performed.
[0005]
[Problems to be solved by the invention]
However, the thing using the above-mentioned features presupposes that the driver can easily find the features. However, depending on the position of the host vehicle, it may be difficult for the driver to find a feature. In such a case, there is a problem that the guidance is rather difficult to understand.
[0006]
The present invention has been made in order to solve the above-mentioned problems, and it is possible to provide a voice guidance for a vehicle capable of providing a voice guidance that is easy for the driver to understand by considering the positional relationship between the vehicle position and the feature. An object is to provide a navigation device.
[0007]
[Means for Solving the Problems]
The present invention relates to a voice guidance navigation apparatus that performs guidance to a vehicle driver by voice at a guidance intersection mounted on a vehicle and performs guidance, and obtains a shape of a feature near the guidance intersection and its position data. And a camera that acquires an image of a guidance intersection, and whether an image obtained by the camera is subjected to image processing and whether the image can be recognized by comparing the image processed image and the shape of the feature obtained by the acquisition unit. In the determination means for determining whether or not the feature object can be recognized in the determination means, voice guidance using the feature object is performed, and when the feature object cannot be recognized, the voice guidance not using the feature object a voice guidance unit for performing, in a case where the guidance for using the features thereof, depending on the position of the feature thereof, the speech using the characteristic object A guide timing control means for controlling the guidance start timing of the guide that is characterized by having a. In this way, since the guidance start time can be adjusted, it becomes easier to check the characteristic object. In addition, features can be confirmed by the camera.
[0008]
Further, the present invention is characterized in that the guide time control means further adjusts the guide start time according to the visibility of the feature. Since a small feature is guided at a distance, it is possible to prevent a problem that the feature cannot be found.
[0009]
Further, the present invention is characterized in that the acquisition means acquires data about a feature from an external database. It is not necessary to store the data of the characteristic object inside, and the apparatus configuration can be simplified. In addition, it is relatively easy to update an external database.
[0010]
In addition, the present invention is characterized in that the guidance time control means adds guidance on the relative direction of the feature from the vehicle position to the voice guidance sentence. Since guidance about directions is included, it is easy for the driver to recognize features.
[0011]
Further, the present invention provides a voice guidance navigation method in which guidance is provided to a vehicle driver by voice at a guidance intersection that is mounted on a vehicle and performs guidance, and acquires the shape of a feature near the guidance intersection and its position data. The image about the guidance intersection is acquired by the camera, the image obtained by the camera is image-processed, and the image processed image is compared with the acquired shape of the feature to determine whether the feature can be recognized. In this determination, when the feature can be recognized, the guidance start time of the voice guidance using the feature by the voice guidance unit is determined according to the position of the feature, and the determination is made. If the feature is not recognized in the judgment, the voice guidance means is used. And performing no voice guidance.
[0012]
The present invention also provides a voice guidance navigation apparatus mounted on a vehicle, a medium in which a voice guidance navigation program to output guidance to the vehicle driver by voice in the guidance intersection for performing guidance, the voice guidance The navigation device acquires the shape of the feature near the guidance intersection and its position data, causes the camera to obtain an image of the guidance intersection, performs image processing on the image obtained by the camera, and obtains the image processed image and the acquisition In this determination, if the feature can be recognized, the feature by the voice guidance means is determined according to the position of the feature. things together to determine a guidance start timing of the voice guidance using, when it is time to said determined characteristics thereof Meta to perform the voice guidance, in the determination, when the characteristic object can not be recognized, characterized in that to perform the voice guidance that does not utilize the features thereof to the voice guidance unit.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention (hereinafter referred to as embodiments) will be described with reference to the drawings.
[0014]
FIG. 1 is a block diagram illustrating an overall configuration of an apparatus according to an embodiment. A camera 10 is mounted on the vehicle. The camera 10 is composed of a CCD camera or the like, and acquires an image in front of the vehicle. An image processing unit 12 is connected to the camera 10, and the image processing unit 12 performs various processes on image data supplied from the camera 10. For example, preprocessing for binarizing image data supplied from the camera 10, extracting various shapes, and performing processing for determining whether or not an ID sign of a predetermined shape exists in the navigation control unit 14 to be described later I do. Note that this image processing unit may perform the determination up to whether or not an ID signature exists.
[0015]
A navigation control unit 14 is connected to the image processing unit 12. The navigation control unit 14 performs various processes for navigation. The navigation control unit 14 is connected to a DGPS device 16 for detecting the current position, from which current position information is supplied. The DGPS device 16 performs relatively accurate position detection by combining position information obtained by GPS (Global Positioning System) with error information obtained from a fixed station on the ground.
[0016]
A map database 18 is connected to the navigation control unit 14. The map database 18 stores various map data necessary for route guidance and map display, and is composed of, for example, a CDROM. It is also preferable that the map database 18 is constituted by a RAM or the like, and only necessary data is acquired from outside and stored therein. Furthermore, an ID signature database 20 is connected to the navigation control unit 14. The ID sign database 20 stores the shape and size of various signboards that are characteristic objects at intersections and the like, and guidance sentences using the shapes and sizes. The ID signature database 20 may be composed of a CDROM or the like and may be prepared in advance. However, it is preferable to obtain necessary items from the outside and store them. In this embodiment, the ID sign database 20 is composed of RAM. .
[0017]
In addition, a display 22 is connected to the navigation control unit 14, and a speaker 26 is connected via a voice synthesis unit 24. The display 22 performs various displays for route guidance. A touch panel is formed on the front surface of the display 22 so that various inputs can be made based on the display. The voice synthesizer 24 performs voice synthesis based on the data supplied from the navigation control unit 14 to create a voice signal, and supplies the voice signal to the speaker 26, thereby outputting a desired voice from the speaker 26. .
[0018]
Further, a communication unit 28 is connected to the navigation control unit 14, and data communication with the outside is performed via the communication unit 28. The communication unit 28 is configured by, for example, a mobile phone connected via a modem, but it is also preferable to include a communication device that performs communication with a radio wave beacon, an optical beacon, a communication device that performs satellite communication, and the like. It is.
[0019]
A vehicle communication unit (mobile phone) 28 is connected to an information center 34 via a radio base station 30 and a public line network 32. The information center 34 has a database 36 that stores various types of information, and provides various types of data in response to requests from vehicles.
[0020]
Next, an operation when a route is set in the vehicle will be described with reference to FIG. First, when setting a route, a destination is set in the same manner as a normal navigation device. The destination can be set on a map or input from various information such as a facility name and address. When this destination is set, the optimum route is searched based on the map information in the map database 18, and the route to the destination is set based on this result (S11).
[0021]
When the route is set in this way, data on guidance points such as a branch point for making a right / left turn on the set route is extracted (S12). And the data about these guidance points are transmitted to the information center 34, and the transmission of the ID sign data about the guidance points is requested (S13).
[0022]
Here, the data about the guidance point may be data for directly specifying the branch point, or data for specifying the area including the set route.
[0023]
The information center 34 prepares ID sign data for the guide point and transmits it by an operation as described later. Therefore, the ID sign data sent is received on the vehicle side (S14). Next, the acquired ID sign data is compared with the set route, and relative data such as the position of the ID sign and the direction of the left / right turn at the guidance point is detected (S15). Then, the guidance text is determined based on the detected data, and stored in the ID signature database 20 together with the ID signature data (S16).
[0024]
Next, the operation in the information center 34 will be described with reference to FIG. First, it is determined whether there is a request for ID sign data at a guidance point from a vehicle (S21). If YES in this determination, it is determined whether there is ID sign data for the provided guidance point (S22). For example, in the guidance of the branch point, it is determined whether or not an ID sign such as “a sign of a gas station named OO” is set in relation to the guidance point.
[0025]
And if it is YES by determination of this S22, ID signature data will be acquired from the database 36 (S23). The ID sign data includes image data regarding the shape of the ID sign, an existing position (latitude, longitude, height), an explanatory note, and the like. Note that such ID sign data does not necessarily have to be stored permanently in the information center 34. For example, the information center 34 may receive image data from a traveling vehicle and automatically store those that have utility value. Next, the acquired ID sign data is processed for vehicle transmission (S24) and distributed to the vehicle (S25). If there is no data in S22, data indicating that there is no ID sign data is transmitted in S25. In this case, an intersection name that does not use ID sign data may be transmitted.
[0026]
If all the data regarding where the ID sign is stored is stored in the ID sign database 20 on the vehicle side, there is no need for communication operation with the information center 34, and for storing the ID sign data as described above. All operations can be performed on the vehicle side. It is also possible to provide the destination to the information center 34 to set the route to the destination and to create ID sign data all at the information center 34.
[0027]
Next, the operation when traveling while setting a route will be described with reference to FIG. First, during traveling, the current position is always detected based on information from the DGPS device 16 and the like. Therefore, it is determined whether the guide point is within 500 m (S31). If the determination is YES, ID sign data for the guidance point is read from the ID sign database 20 (S32). Then, the direction of the ID sign is specified from the current position (S33). That is, the direction in which the ID sign can be seen from the current position is specified from the current position (including the lane) and data such as the position and size of the ID sign data.
[0028]
Next, the image obtained by the camera 10 is compared with the data about the shape of the read ID sign, and the image recognition for the ID sign is performed (S34). For example, if the ID sign is a sign of a OO gas station, the logo data and the image obtained by the camera 10 are compared. Then, it is determined whether the ID signature has been recognized (S35).
[0029]
If YES in this determination, the guidance time is determined (S36). This guidance time is determined in consideration of, for example, the size and visibility of a signboard, which is an ID sign, and the vehicle speed. That is, there is a timing at which a signboard or the like is likely to be seen when the vehicle is traveling. Therefore, the guidance time is determined so that the guidance text is output at that timing. That is, the guidance time is determined based on the vehicle position detected in S15 and the relative position of the ID sign.
[0030]
In particular, there are times when an ID sign such as a signboard is hidden behind other buildings. Therefore, it is important to select the timing when the ID sign can be seen. Furthermore, it takes a certain amount of time to output the guidance text. Therefore, it is also preferable to change the output start time of guidance according to the vehicle speed. Also, some ID signs are very easy to understand, while others are not so easy to understand. If it is very easy to understand, guidance including an ID sign may be simply performed at the timing of normal route guidance at the guidance point. On the other hand, if it is not so easy to understand, it is preferable to provide guidance a little earlier, including explanation of the ID sign. It is also preferable to change the timing of guidance according to the size of a signboard or the like.
[0031]
Then, it is determined whether or not the guidance time has come (S37), and when the guidance time comes, guidance using the ID sign is performed (S38). For example, a guidance such as “The intersection at the end of the petrol station is to the right.” Here, when the ID sign cannot be seen at normal timing, it is also suitable to give guidance such as “If you go a little further, you will see the gas station. is there.
[0032]
Furthermore, it is also preferable to include the direction in which the ID sign exists in the guidance sentence. For example, “To the right, the intersection at the front of the XX petrol station is to the right.” “To the right, the intersection at the front of the XX car dealership is to the right.” "The signal in front of the signboard is on the left."
[0033]
It is also preferable to include a plurality of ID signs before reaching the intersection of the guide points. For example, it is possible to provide guidance such as “pass the XX petrol station on the left and turn left at the intersection in front of XX restaurant”. In addition, when the intersection of the guidance points has passed, it is preferable to provide guidance for the next guidance point (or final destination). For example, a guidance such as “I will go straight toward XX for a while” is output.
[0034]
If NO in S35 and the ID signature cannot be recognized, normal guidance is provided (S39). For example, a guidance such as “300m ahead, left at XX intersection” is output.
[0035]
In addition, there are various kinds of guidance sentences for such voice output, which are basically acquired as text data from the outside. Therefore, the voice synthesizer 24 obtains a voice signal.
[0036]
Thus, according to this embodiment, the timing of guidance is determined according to the position of the ID sign. Accordingly, when the vehicle comes to a position where the ID sign can be seen well, a guidance sentence using the ID sign can be output. Further, by adjusting the guide timing according to the vehicle speed, it is possible to guide at a more preferable timing. Furthermore, the driver can easily recognize the ID sign by adding a word about the direction in which the ID sign can be seen to the guidance sentence. In addition, the ID sign can be more easily recognized by adjusting the guidance timing according to the size of the ID sign, ease of viewing, and the like.
[0037]
In the present embodiment, when the ID signature can be recognized, guidance using the ID signature is performed. For this reason, it is possible to prevent the guidance using the ID sign from being performed when the ID sign cannot be seen due to illegal parking or rebuilding of the building. Also, if the information center 34 obtains image data from a vehicle that is always running and updates the data about the ID sign, guidance using the latest information can always be performed.
[0038]
Further, in the guidance to the destination, it is possible to guide near the final destination by using ID signs around the destination. In particular, the final destination is often a variety of stores, facilities, parking lots, and the like, and the ID sign itself is often the final destination. In such a case, guidance to the final destination itself can be performed.
[0039]
Further, the above-described operation in the navigation control unit 14 is achieved by executing a program stored in a ROM or the like. However, it is also preferable to load this program from the outside and store it in the EEPROM. Such a program to be loaded can be stored in a CD-ROM or the like, provided via communication, or the like. In particular, it is also preferable that the information center 34 provides by communication of the navigation control unit 14. It is also preferable to store the first program in the navigation device 14 in advance and upgrade the version by CDROM or communication. It is also preferable to store the program in the map database 18.
[0040]
The ID sign includes a building and the like. In this case, it is preferable to have three-dimensional data and change the shape data according to the viewing direction. In the above-described guidance, an intersection or the like is used as a guidance point, but it is also preferable to use an ID sign for guidance for confirmation at a passing point. In addition, since the easy-to-see ID sign often differs between daytime and nighttime, it is also preferable to change the ID sign according to the brightness.
[0041]
Furthermore, it is also preferable to obtain voice guidance by acquiring data on a target (ID sign) that is easily visible to the driver. In this case, the data about the target may not be acquired from the outside, but may be acquired by reading out data stored in the in-vehicle map database 18 or the like. Further, it is not always necessary to recognize an image.
[0042]
For example, when traveling on a route as shown in FIG. 5, “restaurant XX”, “OO petrol station”, etc., which are easy for the driver to visually recognize, are used as ID signs. And the distance to the guidance point (intersection branch, merge, etc.) and so on, such as "Turn left at the intersection 500m from the restaurant XX", "Left the next intersection at the XX petrol station" Guidance including relative expressions such as the number of branch points. Thus, not only the target around the guidance point but also the guidance using the target that can be surely seen on the route can provide easy-to-understand guidance and improve the driver's sense of security.
[0043]
Furthermore, during traveling on a simple road, it is also preferable to perform guidance using a target that is easily visible to the driver during traveling. For example, as shown in FIG. 6, instead of or in addition to the conventional guidance of “It ’s been about 10 km for a while”, the goal of “going straight about 50 km from XX station.” Provide guidance using objects. As a result, the driver's sense of security can be improved. In addition, such guidance is performed for the driver's driving psychological stability, and it is preferable that the guidance is performed at a frequency (once every several minutes) that does not cause inconvenience.
[0044]
【The invention's effect】
As described above, according to the present invention, since the start time of guidance is adjusted according to the position where the feature is present, easy-to-understand guidance using the feature can be performed at an appropriate timing.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration.
FIG. 2 is a flowchart when setting a route;
FIG. 3 is a flowchart in the center.
FIG. 4 is a flowchart during traveling.
FIG. 5 is a diagram showing a specific example of guidance.
FIG. 6 is a diagram showing a specific example of guidance.
[Explanation of symbols]
10 cameras, 12 image processing units, 14 navigation control units, 16 DGPS devices, 18 map databases, 20 ID sign databases, 22 displays, 24 speech synthesis units, 26 speakers, 28 communication units, 30 radio base stations, 32 public telephone lines , 34 Information center, 36 database.

Claims (10)

車両に搭載され、案内を行う案内交差点において、車両運転者への案内を音声にて行う音声案内ナビゲーション装置において、
案内交差点付近の特徴物の形状およびその位置データを取得する取得手段と、
案内交差点についての画像を取得するカメラと、
カメラによって得た画像を画像処理すると共に、画像処理された画像と前記取得手段によって得た特徴物の形状を比較して特徴物が認識できるか否かを判定する判定手段と、
この判定手段において、特徴物が認識できる場合において、その特徴物を利用した音声による案内を行い、特徴物が認識できない場合には、特徴物を利用しない音声案内を行う音声案内手段と、
前記特徴物を利用する案内を行う場合においては、その特徴物の位置に応じて、この特徴物を利用した音声のよる案内の案内開始時期を制御する案内時期制御手段と、
を有することを特徴とする音声案内ナビゲーション装置。
In a voice guidance navigation apparatus that performs guidance to a vehicle driver by voice at a guidance intersection that is installed in a vehicle and performs guidance ,
Acquisition means for acquiring the shape of the feature near the guidance intersection and its position data;
A camera that acquires an image of the guidance intersection;
A determination unit that performs image processing on an image obtained by the camera and determines whether the feature can be recognized by comparing the image processed image and the shape of the feature obtained by the acquisition unit;
In this determination means, when a feature can be recognized, voice guidance using the feature is performed, and when the feature cannot be recognized, voice guidance means for performing voice guidance without using the feature;
When performing the guidance using the feature, a guidance timing control means for controlling the guidance start timing of the guidance by voice using the feature according to the position of the feature;
A voice guidance navigation apparatus comprising:
請求項1に記載の装置において、
前記案内時期制御手段は、さらに特徴物の視認性に応じて、前記案内開始時期を調整することを特徴とする音声案内ナビゲーション装置。
The apparatus of claim 1.
The voice guidance navigation apparatus characterized in that the guidance time control means further adjusts the guidance start time according to the visibility of a feature.
請求項1または2に記載の装置において、
前記取得手段は、特徴物についてのデータを外部のデータベースから取得することを特徴とする音声案内ナビゲーション装置。
The apparatus according to claim 1 or 2,
The voice guidance navigation apparatus characterized in that the acquisition means acquires data on a feature from an external database.
請求項1〜3のいずれか1つに記載の装置において、
前記案内時期制御手段は、特徴物の自車位置からの相対方向に関する案内を前記音声案内文に加えることを特徴とする音声案内ナビゲーション装置。
The device according to any one of claims 1 to 3,
The said guidance time control means adds the guidance regarding the relative direction from the own vehicle position of a feature to the said voice guidance sentence, The voice guidance navigation apparatus characterized by the above-mentioned.
車両に搭載され、案内を行う案内交差点において、車両運転者への案内を音声にて行う音声案内ナビゲーション方法において、
案内交差点付近の特徴物の形状およびその位置データを取得し、
案内交差点についての画像をカメラにより取得し、
カメラによって得た画像を画像処理すると共に、画像処理された画像と前記取得した特徴物の形状を比較して特徴物が認識できるか否かを判定し、
この判定において、前記特徴物が認識できる場合には、その特徴物の位置に応じて、前記音声案内手段による特徴物を利用した音声による案内の案内開始時期を決定するとともに、前記決定された時期になったときに、特徴物を含めた音声案内を行い、
前記判定において、特徴物が認識できない場合には、音声案内手段に特徴物を利用しない音声案内を行うことを特徴とする音声案内ナビゲーション方法。
In a voice guidance navigation method in which guidance is provided to a vehicle driver by voice at a guidance intersection that is installed in a vehicle and performs guidance .
Obtain the shape of the feature near the guidance intersection and its position data,
Obtain an image of the guidance intersection with the camera,
The image obtained by the camera is subjected to image processing, and it is determined whether or not the feature can be recognized by comparing the image processed image and the shape of the acquired feature.
In this determination, when the feature can be recognized, the guidance start time of the voice guidance using the feature by the voice guidance unit is determined according to the position of the feature, and the determined time is determined. When it becomes, perform voice guidance including the feature,
In the determination, if the feature cannot be recognized , the voice guidance navigation method characterized by performing voice guidance without using the feature in the voice guidance means .
請求項5に記載の方法において、
前記特徴物についてのデータを外部のセンタから通信で取得することを特徴とする音声案内ナビゲーション方法。
The method of claim 5, wherein
A voice guidance navigation method characterized in that data on the feature is acquired from an external center by communication.
車両に搭載される音声案内ナビゲーション装置に、案内を行う案内交差点において車両運転者への案内を音声にて出力させる音声案内ナビゲーションプログラムを記録した媒体であって、
前記音声案内ナビゲーション装置を、
案内交差点付近の特徴物の形状およびその位置データを取得させ、
案内交差点についての画像をカメラにより取得させ、
カメラによって得た画像を画像処理すると共に、画像処理された画像と前記取得した特徴物の形状を比較して特徴物が認識できるか否かを判定させ、
この判定において、前記特徴物が認識できる場合には、その特徴物の位置に応じて、前記音声案内手段による特徴物を利用した音声による案内の案内開始時期を決定させるとともに、前記決定された時期になったときに、特徴物を含めた音声案内を行わせ、
前記判定において、特徴物が認識できない場合には、音声案内手段に特徴物を利用しない音声案内を行わせることを特徴とする音声案内ナビゲーションプログラムを記録した媒体。
A voice recording navigation device mounted on a vehicle is a medium that records a voice guidance navigation program for outputting guidance to a vehicle driver by voice at a guidance intersection where guidance is performed ,
The voice guidance navigation device ,
Get the shape of the feature near the guidance intersection and its location data,
Let the camera obtain an image of the guidance intersection,
The image obtained by the camera is subjected to image processing, and the image processed image is compared with the acquired feature shape to determine whether the feature can be recognized,
In this determination, when the feature can be recognized, the guidance start time of the voice guidance using the feature by the voice guidance unit is determined according to the position of the feature, and the determined time is determined. When it becomes, voice guidance including the feature is performed ,
In the determination, if a feature cannot be recognized, a medium on which is recorded a voice guidance navigation program that causes the voice guidance means to perform voice guidance without using the feature.
請求項7に記載の媒体において、
前記音声案内ナビゲーションプログラムは、さらに特徴物の視認性に応じて、前記案内開始時期を調整させることを特徴とする音声案内ナビゲーションプログラムを記録した媒体。
The medium of claim 7,
The medium in which the voice guidance navigation program further adjusts the guidance start time according to the visibility of a feature.
請求項7または8に記載の媒体において、
前記音声案内ナビゲーションプログラムは、特徴物についてのデータを外部のデータベースから取得させることを特徴とする音声案内ナビゲーションプログラムを記録した媒体。
The medium according to claim 7 or 8,
The voice guidance navigation program stores data on a feature object from an external database.
請求項7〜9のいずれか1つに記載の媒体において、
前記音声案内ナビゲーションプログラムは、特徴物の自車位置からの相対方向に関する案内を前記音声案内文に加えさせることを特徴とする音声案内ナビゲーションプログラムを記録した媒体。
The medium according to any one of claims 7 to 9,
The voice guidance navigation program stores a voice guidance navigation program in which a guidance on a relative direction of a feature from the vehicle position is added to the voice guidance sentence.
JP4784798A 1998-02-27 1998-02-27 Voice guidance navigation apparatus, voice guidance navigation method, and medium on which voice guidance navigation program is recorded Expired - Lifetime JP3796945B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4784798A JP3796945B2 (en) 1998-02-27 1998-02-27 Voice guidance navigation apparatus, voice guidance navigation method, and medium on which voice guidance navigation program is recorded

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4784798A JP3796945B2 (en) 1998-02-27 1998-02-27 Voice guidance navigation apparatus, voice guidance navigation method, and medium on which voice guidance navigation program is recorded

Publications (2)

Publication Number Publication Date
JPH11248477A JPH11248477A (en) 1999-09-17
JP3796945B2 true JP3796945B2 (en) 2006-07-12

Family

ID=12786767

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4784798A Expired - Lifetime JP3796945B2 (en) 1998-02-27 1998-02-27 Voice guidance navigation apparatus, voice guidance navigation method, and medium on which voice guidance navigation program is recorded

Country Status (1)

Country Link
JP (1) JP3796945B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3908056B2 (en) 2002-02-26 2007-04-25 アルパイン株式会社 Car navigation system
JP2009133657A (en) * 2007-11-29 2009-06-18 Pioneer Electronic Corp Guidance device, guidance method, guidance program, and recording medium thereof
US20090306882A1 (en) * 2008-06-10 2009-12-10 Yahoo! Inc. System, apparatus, or method for enhanced route directions
JP5056902B2 (en) * 2010-05-20 2012-10-24 アイシン・エィ・ダブリュ株式会社 Route guidance system and route guidance method
US8958982B2 (en) 2010-06-14 2015-02-17 Mitsubishi Electric Corporation Navigation device
JP5569365B2 (en) * 2010-11-30 2014-08-13 アイシン・エィ・ダブリュ株式会社 Guide device, guide method, and guide program
JP5697493B2 (en) * 2011-03-08 2015-04-08 三菱電機株式会社 Navigation device

Also Published As

Publication number Publication date
JPH11248477A (en) 1999-09-17

Similar Documents

Publication Publication Date Title
US6076041A (en) Land vehicle navigation apparatus with guidance display image limiter for recognizability enhancement
US8874373B2 (en) Map information delivery system, method, and program
JP3719313B2 (en) Information search and distribution device for mobile communication terminal and mobile communication terminal
JP4479028B2 (en) Communication type in-vehicle information processing apparatus and communication type information center
JP3371895B2 (en) Navigation system, remote navigation device and method, and vehicle-mounted navigation device
US20200307576A1 (en) Driver assistance apparatus and driver assistance method
JPWO2007037281A1 (en) Peripheral search data creation system, peripheral search system, peripheral search data creation method, peripheral search method, and navigation device
JP2006038558A (en) Car navigation system
JPH10319840A (en) Route relative information provision system and on-vehicle information communication device
JP3796945B2 (en) Voice guidance navigation apparatus, voice guidance navigation method, and medium on which voice guidance navigation program is recorded
JP3287278B2 (en) Beacon information providing device
JP2005326265A (en) Display method for updated information of navigation system and running road
JP2000283772A (en) Running position indication apparatus
JP6272373B2 (en) MAP INFORMATION CREATION DEVICE, NAVIGATION SYSTEM, INFORMATION DISPLAY METHOD, INFORMATION DISPLAY PROGRAM, RECORDING MEDIUM
JP2004177199A (en) Car navigation apparatus, car navigation method, program, and recording medium
JP3344533B2 (en) Navigation device and navigation method
JP2001050761A (en) Navigation system for vehicle
JP2001084487A (en) On-vehicle navigation system
JP2690459B2 (en) Route guidance device
JPH07234995A (en) Route guidance device
JP2003075177A (en) Communications navigation device and server device
JPH10300489A (en) Navigation system
JP4165457B2 (en) Road information collection system
JP2007071662A (en) Navigation system, navigation device and operating mode control method in navigation device
JP2000310543A (en) Car navigation system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050428

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060410

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090428

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110428

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120428

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120428

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 8

EXPY Cancellation because of completion of term