以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。
(第一実施形態)
[装置の構成]
図1を用いて、本発明の第一実施形態に係る記録装置について説明する。図1は、本発明の第一実施形態に係る記録装置の構成の一例を示すブロック図である。記録装置1は、車両に発生したイベントを記録する、ドライブレコーダなどの車両用記録装置である。記録装置1は、車両の走行中および駐車中に検出されたイベントに基づいて映像データを、イベント記録データとして記録する。映像データは、連続したフレーム画像からなる動画像データを含む。記録装置1は、イベントの検出に対応する映像データにおいて、撮影された他車両と他車両のナンバープレートに記された情報とを対応付ける。記録装置1は、イベント記録データなどの映像データの再生機能を備えている場合、記録再生装置と言い換えてもよい。
記録装置1は、様々な車両を含む任意の移動体に搭載される。記録装置1は、車両などの移動体に載置されているものに加えて、可搬型で車両などの移動体において利用可能な装置であってもよい。また、記録装置1は、車両などの移動体にあらかじめ設置されている装置やナビゲーション装置などの機能または構成を含んで実現されてもよい。以下の説明においては、記録装置1は、車両に取り付けられているものとして説明する。記録装置1は、撮像部10と、記録部20と、認識辞書記憶部30と、操作部40と、表示部50と、センサ60と、GNSS(Global Navigation Satellite System)の一例であるGPS(Global Positioning System)受信部70と、CAN(Controller Area Network)インターフェース部(以下、「IF部」という。)80と、車両用記録制御装置としての制御装置100とを備える。
撮像部10は、記録装置1が搭載されている車両において用いられるカメラであり、車両の車室内外の任意の範囲を撮影する。撮像部10は、例えば、記録装置1に固有のカメラ、または、車両に取り付けられている俯瞰映像用のカメラなどでもよい。撮像部10は、例えば、車両の前方を撮影するカメラ、車両の後方を撮影するカメラ、車両の側方を撮影するカメラ、のいずれかまたはそれらの組み合わせであってもよく、車両の周辺を撮影するように複数のカメラを含むカメラユニットまたは全天周カメラであってもよい。また、車室内を撮影するカメラを含んでいてもよい。撮像部10は、車両において用いられるカメラが撮影した映像データを映像データ取得部120へ出力する。
記録部20は、記録装置1における種々のデータを記録する。記録部20は、例えば、車両の走行中および駐車中に撮像部10が撮影した映像データを記録する。記録部20は、例えば、イベントの検出に基づく所定期間の映像データをイベント記録データとして保存する。記録部20は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、ソリッドステートドライブなどの記憶装置で実現することができる。記録部20は、複数の異なるメモリなどで構成されてもよい。または、図示しない通信装置を介して無線接続される外部記録部であってもよい。記録部20は、制御装置100の記録制御部123から出力された制御信号に基づいて、映像データまたはイベント記録データを記録する。
認識辞書記憶部30は、映像データから他車両および他車両のナンバープレートの情報を認識するための、種々の認識辞書を記憶する。認識辞書記憶部30が記憶している認識辞書は、例えば映像データから様々な車両を認識するために、様々な角度からみた車両や様々な種類の車両を予め機械学習させた辞書である。また、認識辞書記憶部30は、他車両のナンバープレートを特定するための辞書、特定したナンバープレートに記された文字を認識するための辞書などを記憶していてもよい。認識処理部125は、認識辞書記憶部30が記憶する認識辞書を参照する。認識辞書記憶部30は、図示しない通信機能を介して接続される外部サーバなどの記憶装置であってもよい。
操作部40は、記録装置1に対する様々な操作を受付するインターフェースである。操作部40は、例えば、撮影した映像データを記録部20にイベント記録データとして手動で保存させる操作を受付可能である。操作部40は、例えば、記録部20に記録した映像データまたはイベント記録データを再生する操作を受付可能である。操作部40は、例えば、記録部20に記録したイベント記録データを消去する操作を受付可能である。操作部40は、例えば、記録装置1の動作を開始または終了させる操作を受付可能である。操作部40は、受け付けた操作に応じた操作信号を操作制御部126へ出力する。操作部40は、例えば、物理的なスイッチや、表示部50に設けられたタッチパネルで実現することができる。
表示部50は、種々の映像を表示する。表示部50は、例えば、記録部20が記録しているイベント記録データなどが再生された場合に、再生された映像を表示する。表示部50は、例えば、記録装置1に固有の表示装置、または、ナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示部50は、撮像部10と一体に形成されていてもよい。表示部50は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro-Luminescence)ディスプレイなどを含むディスプレイである。表示部50は、本実施形態において、車両の運転者前方の、ダッシュボード、インストルメントパネル、センターコンソールなどに配置されている。表示部50は、制御装置100の表示制御部127から出力された映像信号に基づいて、映像を表示する。表示部50は、撮像部10が撮影している映像、または、記録部20に記録された映像を表示する。
センサ60は、車両に対するイベントの発生に起因する種々の情報を検出するセンサである。センサ60は、例えば、加速度センサであり、車両に対して生じる加速度を検出する。加速度センサは、例えば、3軸方向の加速度を検出するセンサである。3軸方向とは、車両の前後方向、左右方向、および上下方向である。センサ60は、例えば、ジャイロセンサであり、車両の姿勢に関する情報を検出する。センサ60は、検出結果をセンサ情報取得部128へ出力する。
GPS受信部70は、図示しないGPS衛星から電波を受信する。GPS受信部70は、GPS受信回路、GPS受信アンテナなどから構成される。GPS受信部70は、受信した電波の信号を位置情報取得部130へ出力する。
IF部80は、CANを介して各種車両情報を取得するためのインターフェースである。車両情報には、例えば、エンジンの動作状況や、車両の走行状況などに関する情報が含まれている。
制御装置100は、例えば、CPU(Central Processing Unit)などで構成された演算処理装置(制御装置)である。制御装置100は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御装置100には図示しない内部メモリなどが含まれる。内部メモリは、制御装置100の各部を実現させるためのプログラムが記憶されている。この場合、制御装置100は、内部メモリなどに記憶されているプログラムを展開して実行することで、各部の機能を実現する。また、内部メモリは、制御装置100におけるデータの一時記憶などにも用いられる。制御装置100は、バス110によって接続された、映像データ取得部120と、バッファメモリ121と、映像データ処理部122と、記録制御部123と、再生制御部124と、認識処理部125と、操作制御部126と、表示制御部127と、センサ情報取得部128と、イベント検出部129と、位置情報取得部130と、車両情報取得部131と、対応付け処理部132と、を有する。
映像データ取得部120は、外部から各種の映像データを取得する。映像データ取得部120は、例えば、撮像部10から撮像部10が撮影した映像データを取得する。映像データ取得部120は、車両の周辺を撮影した映像データを取得する。映像データ取得部120は、例えば、撮像部10から取得した映像データをバッファメモリ121および表示制御部127へ出力する。映像データ取得部120は、映像データに加えて、撮像部10または他の位置に配置された図示しないマイクロフォンが取得した音声データを含んだ撮影データを取得してもよい。
バッファメモリ121は、映像データ取得部120が取得した映像データを一時的に記憶する制御装置100の内部メモリである。より詳しくは、バッファメモリ121は、映像データ取得部120が取得した一定時間分の映像データを、更新しながら一時的に記憶する。
映像データ処理部122は、バッファメモリ121が一時的に記憶している映像データに対して種々の処理を実行する。映像データ取得部120は、例えばバッファメモリ121が一時的に記憶している映像データを、例えばH.264やMPEG-4(Moving Picture Experts Group)などの任意の方式のコーデックで符号化された、例えばMP4形式などの任意のファイル形式に変換する。映像データ処理部122は、例えば、バッファメモリ121が一時的に記憶している映像データから、一定時間分のデータファイルとした映像データを生成する。具体的には、映像データ処理部122は、バッファメモリ121が一時的に記憶している映像データから、60秒間の映像データを1つのデータファイルとして生成する。映像データ処理部122は、生成した映像データを記録制御部123へ出力する。1つのデータファイルとして生成される映像データの期間は、一例として60秒としたが、これには限定されない。ここで言う映像データとは、撮像部10が撮影した映像に加えて音声が含まれたデータであってもよい。
記録制御部123は、種々のデータを記録部20に記録する。記録制御部123は、例えば、映像データ処理部122でファイル化された映像データを、記録部20に記録させる制御を行う。記録制御部123は、車両のアクセサリ電源がONであるときなど、イベントが検出されていない期間は、映像データ処理部122でファイル化された映像データを、上書き可能な映像データとして、記録部20に記録する。より詳しくは、記録制御部123は、イベントが検出されていない期間は、映像データ処理部122が生成した映像データを記録部20に記録し続ける。記録制御部123は、記録部20の容量が一杯になった場合、最も古い映像データに新しい映像データを上書きして記録する。このような記録処理をループ記録処理という。
記録制御部123は、イベント検出部129がイベントの発生を検出した場合、イベントの検出に対応する映像データを保存する。イベントの検出に対応する映像データとは、映像データ処理部122が生成した映像データにおける所定の期間の映像データである。記録制御部123は、イベントの検出に対応する映像データを、上書きが禁止されたイベント記録データとして記録部20に保存する。記録制御部123は、他車両とナンバープレートの情報とが対応付けされた場合、映像データから認識された他車両と認識された他車両のナンバープレートの情報とを対応付けが維持された状態で、イベント記録データを、記録部20に上書き禁止として保存させる。
記録制御部123が記録部20に保存するイベント記録データは、例えば、イベントが検出された時点の前後60秒程度の所定の期間の映像データをバッファメモリ121からコピーし、イベント記録データとして保存する。
再生制御部124は、記録部20に記録されている種々のデータを再生する。より詳しくは、再生制御部124は、操作制御部126から出力された操作部40の操作に応じた制御信号に従って、任意の映像データを再生する。再生制御部124は、例えば、記録部20にデータファイルとして記録されている映像データを再生する。再生制御部124は、例えば、記録部20に保存されているイベント記録データを再生する。
認識処理部125は、映像データ取得部120が取得した映像データを構成するフレーム画像から、他車両および他車両のナンバープレートの情報を認識する。認識処理部125は、認識辞書記憶部30に記憶された認識辞書を参照し、他車両およびナンバープレートの情報を認識する。認識処理部125は、ナンバープレートの情報として、例えば、ナンバープレートに記された文字情報を認識する。
操作制御部126は、操作部40がユーザなどから受け付けた操作に関する操作信号を取得する。操作制御部126は、例えば、映像データの手動保存操作を示す保存操作情報、再生操作を示す再生操作情報、または、映像データの消去操作を示す消去操作情報などの操作に関する操作信号を取得する。操作制御部126は、例えば、受け付けた操作信号に応じた制御信号を記録制御部123または再生制御部124へ出力する。この場合、記録制御部123および再生制御部124は、制御信号に従って、動作を実行する。
表示制御部127は、種々の映像を表示部50に表示させる。より詳しくは、表示制御部127は、表示部50に映像信号を出力することで、表示部50に映像を表示させる。表示制御部127は、例えば、撮像部10が撮影している映像、または、記録部20に記録されたループ記録映像データまたはイベント記録データの再生によって表示する映像信号を出力する。
センサ情報取得部128は、センサ60から種々の検出結果を取得する。センサ情報取得部128は、センサ60から、車両に加わった加速度情報を取得する。センサ情報取得部128は、例えば車両と、他の車両などの他の物体が衝突したときの加速度情報を取得する。センサ情報取得部128は、取得したセンサ60からの検出結果をイベント検出部129へ出力する。
イベント検出部129は、車両に対するイベントを検出する。イベント検出部129は、センサ情報取得部128が取得したセンサ60の検出結果に基づいて、イベントを検出する。イベント検出部129は、例えば、検出結果としての加速度の大きさなどに基づいて、イベントを検出する。イベント検出部129は、取得した加速度の大きさが、衝突に該当する加速度であることを判別可能な閾値より大きい加速度である場合に、イベントとして検出する。イベント検出部129は、イベントを検出すると、記録制御部123に対してイベントが検出された情報を示す制御信号を出力する。イベント検出部129によるイベントの検出は、加速度情報に基づくイベントの検出に限らず任意である。イベント検出部129は、映像データ取得部120が取得した映像データに基づく動体検出や、図示しない近接センサなどの検出結果、あるいは複数のセンサ情報の組み合わせによってイベントを検出してもよい。
位置情報取得部130は、車両の現在位置を示す位置情報を取得する。位置情報取得部130は、GPS受信部70が受信した電波に基づいて、車両の現在位置の位置情報を公知の方法によって算出する。位置情報取得部130は、準天頂衛星を含む他の測位システムを使用して、車両の現在位置の位置情報を算出してもよい。位置情報取得部130が算出した位置情報は、イベント検出部129がイベントを検出した場合、イベント記録データとともに記録部20に保存されてもよい。
車両情報取得部131は、IF部80からのCANを介して種々の車両情報を取得する。車両情報取得部131は、車両情報として、例えば車両のエンジンの動作に関する情報、車速情報など車両の動作に関する情報を取得する。車両情報取得部131は、取得した車両情報を記録制御部123へ出力する。
対応付け処理部132は、認識処理部125が他車両および他車両のナンバープレートの情報を認識した場合、他車両とナンバープレートの情報とを対応付ける。対応付け処理部132は、他車両が含まれかつ他車両のナンバープレートの情報が認識できないフレーム画像の他車両に、フレーム画像において認識されたナンバープレートの情報を対応付ける。対応付け処理部132は、認識処理部125が他車両を認識している間の映像データを構成するフレーム画像の少なくとも1つにおいて、他車両のナンバープレートの情報を認識した場合、他車両とナンバープレートの情報とを対応付ける。対応付け処理部132は、他車両とナンバープレートの情報とを対応付けた場合、ナンバープレートの情報を認識できないフレーム画像の他車両に、ナンバープレートの情報を対応付ける。
[他車両とナンバープレートの情報との対応付け]
図2および図3を用いて、第一実施形態に係る制御装置100による他車両とナンバープレートの情報との対応付けについて説明する。図2は、第一実施形態に係るフレーム画像の一例を示す模式図である。図3は、図2に対応する別のフレーム画像の一例を示す模式図である。図2に示すフレーム画像F11および図3に示すフレーム画像F12は、映像データ取得部120が取得した映像データを構成するフレーム画像である。フレーム画像F11からフレーム画像F12までの間の連続したフレーム画像は、全て他車両C1が含まれるものとする。
図2に示すように、フレーム画像F11は、他車両C1と他車両C1のナンバープレートN1を含む。認識処理部125は、フレーム画像F11から、他車両C1を認識する。認識処理部125は、他車両C1を認識した場合、他車両C1のナンバープレートN1の認識処理を開始する。認識処理部125は、例えば、フレーム画像F11内の他車両C1を含む他車両検出枠Fc11から、他車両C1のナンバープレートN1の認識処理を行う。認識処理部125は、ナンバープレートN1を認識した場合、ナンバープレートN1の情報を認識する。認識処理部125は、例えば、他車両検出枠Fc11内のナンバープレートN1を含むナンバープレート検出枠Fn11から、ナンバープレートN1の情報を認識する。認識処理部125は、例えば、認識された他車両C1に含まれるナンバープレートN1の情報を所定割合以上認識した場合に、ナンバープレートN1の情報を認識したものとして処理する。所定割合とは、例えばナンバープレートN1に記された文字の50%以上や、3文字以上などである。認識処理部125は、第一実施形態において、ナンバープレートN1に記された文字情報を認識する。対応付け処理部132は、認識処理部125が、フレーム画像F11において他車両C1および他車両C1のナンバープレートN1に記された文字情報を認識した場合、他車両C1とナンバープレートN1に記された文字情報とを対応付けて記憶する。
図3に示すように、フレーム画像F12は、他車両C1を含み、他車両C1のナンバープレートN1を含まない。認識処理部125は、フレーム画像F12から、他車両C1を認識する。認識処理部125は、他車両C1を認識した場合、他車両C1のナンバープレートN1の認識処理を開始する。認識処理部125は、例えば、フレーム画像F12内の他車両C1を含む他車両検出枠Fc12から、他車両C1のナンバープレートN1の認識処理を開始する。対応付け処理部132は、認識処理部125が、フレーム画像F12においてナンバープレートN1の情報を認識しない場合、フレーム画像F11において対応付けられたナンバープレートN1に記された文字情報を、フレーム画像F12の他車両C1に対応付けて記憶する。また、図3のように、他車両C1のナンバープレートN1が含まれる画像であって、振動などによりナンバープレートN1が適切に認識できないフレーム画像に対しても、同様の対応付け処理が行われる。
対応付け処理部132は、認識処理部125が他車両C1を認識している間の映像データを構成するフレーム画像の少なくとも1つにおいて、他車両C1のナンバープレートN1の情報を認識した場合、他車両C1とナンバープレートN1に記された文字情報とを対応付ける。対応付け処理部132は、いずれかのフレーム画像F11において他車両C1とナンバープレートN1に記された文字情報とを対応付けた場合、ナンバープレートN1に記された文字情報を認識できないフレーム画像F12の他車両C1に、ナンバープレートN1に記された文字情報を対応付ける。他車両C1とナンバープレートN1に記された文字情報との対応付けは、認識処理部125が他車両C1を認識しなくなるまで維持される。
[装置による処理]
図4および図5を用いて、第一実施形態に係る制御装置100による映像データの記録処理の流れを説明する。映像データの記録処理とは、ループ記録処理およびイベント記録データの保存処理を含む。図4は、第一実施形態に係る制御装置の記録処理の流れの一例を示すフローチャートである。図5は、第一実施形態に係る制御装置の機能を説明する概略図である。より詳しくは、図5は、他車両認識期間Pc1、ナンバープレート認識期間Pn1、対応付け期間Pm1および記録保存期間Ps1の一例を示す図である。他車両認識期間Pc1は、時刻t11から時刻t16までの、認識処理部125が他車両を認識している期間であり、図2および図3の場合は、他車両C1を認識している期間である。ナンバープレート認識期間Pn1は、時刻t12から時刻t13までの、認識処理部125が他車両のナンバープレートの情報を認識している期間であり、図2に示す一例の場合は、他車両C1のナンバープレートN1を認識している期間である。対応付け期間Pm1は、時刻t12から時刻t16までの、対応付け処理部132が他車両とナンバープレートの情報とを対応付けている期間であり、図2および図3に示す一例の場合は、他車両C1とナンバープレートN1の情報とを対応付けている期間である。記録保存期間Ps1は、時刻t14から時刻t15までの、イベント記録データとして記録される期間である。図4に示す処理は、制御装置100が、予め定められた制御プログラムおよびデータに基づいて実行する。制御装置100は、例えば、車両が動作可能となる、記録装置1に車両から電源が供給される、またはユーザなどから操作部40が受け付けた開始操作に関する所定の操作信号を、操作制御部126が受け付けることによって、図4に示すステップS101に移行して処理を開始する。
図4に示すように、制御装置100は、撮像部10が撮影した映像データのループ記録処理、他車両およびナンバープレートの認識処理、対応付け処理、およびイベント検出処理を開始する(ステップS101)。より詳しくは、映像データ取得部120は、撮像部10が撮像した映像データの取得を開始する。バッファメモリ121は、映像データ取得部120が取得した映像データの一時的な記憶を開始する。映像データ処理部122は、バッファメモリ121が一時的に記憶する映像データのデータファイルとしての生成を開始する。記録制御部123は、映像データ処理部122が生成した映像データの記録部20への記録を開始させる。認識処理部125は、映像データ取得部120が取得した映像データを構成するフレーム画像から、他車両および他車両のナンバープレートの情報の認識処理を開始する。イベント検出部129は、センサ60から検出結果の受け付けを開始する。イベント検出部129は、受け付けた検出結果に基づいて、イベントの検出処理を開始する。
図5に示すように、認識処理部125が時刻t11において他車両を認識すると、認識処理部125は、他車両のナンバープレートの情報の認識処理を行う。認識処理部125が時刻t12において他車両のナンバープレートの情報を認識すると、対応付け処理部132は、他車両とナンバープレートの情報とを対応付ける。認識処理部125が時刻t13においてナンバープレートを認識しなくなっても、対応付け処理部132は、他車両とナンバープレートの情報との対応付けを継続する。図5は、認識処理部125が、時刻t11から時刻t16までの期間、他車両を認識できているが、時刻t11から時刻t12までの期間、および時刻t13から時刻t16までの期間は、他車両が認識できているにもかかわらず、他車両のナンバープレートの情報が認識できていないことを示す。他車両のナンバープレートの情報が認識できていない理由としては、ナンバープレートが撮影範囲から外れたり、遮蔽されたりすることで写らなくなった状態か、ナンバープレートが写っているが車両の振動などの理由によって、ナンバープレートの情報が適切に認識できていない場合などである。
図4に示すように、制御装置100は、ステップS101の処理を開始した後、ステップS102に移行し、車両に対するイベントが検出されたか否かを判断する(ステップS102)。より詳しくは、制御装置100は、イベント検出部129がイベントを検出したか否かを判断する。制御装置100は、イベントが検出された場合(ステップS102;Yes)、ステップS103に移行する。制御装置100は、イベントが検出されていない場合(ステップS102;No)、ステップS107に移行する。
イベントが検出されたと判断された場合(ステップS102;Yes)、制御装置100は、他車両C1が認識されているか否かを判断する(ステップS103)。より詳しくは、制御装置100は、イベントが検出された時刻T1において、認識処理部125が他車両を既に認識しているか否かを判断する。制御装置100は、他車両が認識されている場合(ステップS103;Yes)、ステップS104に移行する。制御装置100は、他車両が認識されていない場合(ステップS103;No)、ステップS106に移行する。図5に示す一例の場合、イベントが検出された時刻T1の時点を含み、時刻T1より前の時刻t11から他車両が認識されているので、制御装置100は、他車両が認識されていると判断する。
他車両が認識されている場合(ステップS103;Yes)、制御装置100は、認識されている他車両のナンバープレートの情報が認識されているか否かを判断する(ステップS104)。より詳しくは、制御装置100は、イベントが検出された時刻T1において、認識処理部125が他車両のナンバープレートの情報を既に認識しているか否かを判断する。制御装置100は、認識されている他車両のナンバープレートの情報が認識されている場合(ステップS104;Yes)、ステップS105に移行する。制御装置100は、認識されている他車両C1のナンバープレートの情報が認識されていない場合(ステップS104;No)、ステップS106に移行する。
図5に示す一例の場合、他車両が時刻t11で認識されてから、イベントが検出された時刻T1より前である時刻t12で他車両のナンバープレートが認識されているため、制御装置100は、認識されている他車両のナンバープレートの情報が認識されていると判断する。他車両認識期間Pc1であって、ナンバープレート認識期間Pn1より後の期間は、対応付け期間Pm1である。すなわち、図5に示す一例の場合、イベントが検出された時刻T1において、他車両とナンバープレートの情報とは、対応付けられている。ナンバープレート認識期間Pn1は、図5においては期間として例示したが、1フレームの映像のみナンバープレートが認識できた場合であっても、同様の対応付けが可能である。
認識されている他車両のナンバープレートの情報が認識されている場合(ステップS104;Yes)、制御装置100は、イベント検出前後の映像データを上書き禁止のイベント記録データとして保存する(ステップS105)。この際、制御装置100は、認識されている他車両とナンバープレートの情報とを対応付けた状態で保存する。より詳しくは、記録制御部123は、図5に示すイベント検出の時刻T1を含む前後の記録保存期間Ps1の映像データを、認識されている他車両とナンバープレートの情報とを対応付けた状態で、イベント記録データとして記録部20に保存させる。制御装置100は、ステップS107に移行する。
他車両が認識されていない場合(ステップS103;No)、または認識されている他車両のナンバープレートの情報が認識されていない場合(ステップS104;No)、制御装置100は、イベント検出前後の映像データを上書き禁止として保存する(ステップS106)。より詳しくは、記録制御部123は、イベント検出前後の映像データをイベント記録データとして記録部20に保存させる。この場合、他車両とナンバープレートの情報とは、対応付けられていないので保存されない。制御装置100は、ステップS107に移行する。
制御装置100は、撮像部10が撮影した映像データのループ記録処理、他車両およびナンバープレートの認識処理、対応付け処理、およびイベント検出処理を終了するか否かを判断する(ステップS107)。より詳しくは、制御装置100は、例えば、車両の動作が終了したか、記録装置1に車両から電源が供給されなくなったか、またはユーザなどから操作部40が受け付けた終了操作に関する所定の操作信号を、操作制御部126が受け付けたか否かを判断する。制御装置100は、ループ記録処理、認識処理、対応付け処理、およびイベント検出処理を終了すると判断した場合(ステップS107;Yes)、制御装置100は、図4に示すフローチャートの処理を終了する。制御装置100は、ループ記録処理、認識処理、対応付け処理、およびイベント検出処理を終了しないと判断した場合(ステップS107;No)、ステップS102に移行する。
制御装置100は、図4に示すフローチャートの処理を終了すると、撮像部10が撮影した映像データのループ記録処理、他車両およびナンバープレートの認識処理、対応付け処理、およびイベント検出処理を終了させる。より詳しくは、映像データ取得部120は、撮像部10が撮像した映像データの取得を終了する。バッファメモリ121は、映像データ取得部120が取得した映像データの一時的な記憶を終了する。映像データ処理部122は、バッファメモリ121が一時的に記憶する映像データのデータファイルとしての生成を終了する。記録制御部123は、映像データ処理部122が生成したループ記録映像データの記録部20への記録を終了させる。認識処理部125は、映像データ取得部120が取得した映像データを構成するフレーム画像F11から、他車両および他車両のナンバープレートの情報の認識処理を終了する。イベント検出部129は、センサ60から検出結果の受け付けを終了する。イベント検出部129は、受け付けた検出結果に基づいて、イベントの検出処理を終了する。
以上説明したように、第一実施形態の記録装置1は、他車両を認識している状態において他車両のナンバープレートの情報を認識すると、他車両とナンバープレートの情報とを対応付ける。記録装置1は、ナンバープレートを認識しなくなっても、他車両とナンバープレートの情報との対応付けを継続する。これにより、イベントの発生を検出した前後のイベント記録データにおいて、ナンバープレートの情報を認識できなくても、記録装置1は、既に対応付けられたナンバープレートの情報を他車両に対応付けることができる。このため、記録装置1は、撮影対象の他車両の好適な特定に寄与できる。記録装置1は、例えば、事故の検証に有用なイベント記録データを提供することができる。
(第二実施形態)
[装置による処理]
図6および図7を用いて、第二実施形態に係る制御装置100による映像データの記録処理の流れを説明する。映像データの記録処理とは、ループ記録処理およびイベント記録データの保存処理を含む。図6は、第二実施形態に係る制御装置の記録処理の流れの一例を示すフローチャートである。図7は、第二実施形態に係る制御装置の機能を説明する概略図である。より詳しくは、図7は、他車両認識期間Pc2、ナンバープレート認識期間Pn2、対応付け期間Pm2および記録保存期間Ps2の一例を示す図である。他車両認識期間Pc2は、時刻t21から時刻t24までの、認識処理部125が他車両を認識している期間であり、図2および図3に示す一例の場合は、他車両C1を認識している期間である。ナンバープレート認識期間Pn2は、時刻t22から時刻t23までの、認識処理部125が他車両のナンバープレートの情報を認識している期間であり、図2に示す一例の場合は、他車両C1のナンバープレートN1を認識している期間である。対応付け期間Pm2は、時刻t21から時刻t24までの、対応付け処理部132が他車両とナンバープレートの情報とを対応付けている期間であり、図2および図3に示す一例の場合は、他車両C1とナンバープレートN1の情報とを対応付けている期間である。記録保存期間Ps2は、時刻t21から時刻t24までの、イベント記録データとして記録される期間である。図6に示す処理は、制御装置100が、予め定められた制御プログラムおよびデータに基づいて実行する。制御装置100は、例えば、車両が動作可能となる、記録装置1に車両から電源が供給される、またはユーザなどから操作部40が受け付けた開始操作に関する所定の操作信号を、操作制御部126が受け付けることによって、図6に示すステップS121に移行して処理を開始する。
図6に示すように、制御装置100は、撮像部10が撮影した映像データのループ記録処理、およびイベント検出処理を開始する(ステップS121)。より詳しくは、映像データ取得部120は、撮像部10が撮像した映像データの取得を開始する。バッファメモリ121は、映像データ取得部120が取得した映像データの一時的な記憶を開始する。映像データ処理部122は、バッファメモリ121が一時的に記憶する映像データのデータファイルとしての生成を開始する。記録制御部123は、映像データ処理部122が生成した映像データを記録部20へ記録させる。イベント検出部129は、センサ60から検出結果の受け付けを開始する。イベント検出部129は、受け付けた検出結果に基づいて、イベントの検出処理を開始する。制御装置100は、ステップS122に移行する。
制御装置100は、イベントが検出されたか否かを判断する(ステップS122)。より詳しくは、制御装置100は、イベント検出部129がイベントを検出したか否かを判断する。制御装置100は、イベントが検出された場合(ステップS122;Yes)、ステップS123に移行する。制御装置100は、イベントが検出されていない場合(ステップS122;No)、ステップS130に移行する。
イベントが検出された場合(ステップS122;Yes)、制御装置100は、他車両およびナンバープレートの認識処理を開始する(ステップS123)。より詳しくは、認識処理部125は、イベントが検出された時刻T2を含むバッファメモリ121における映像データの初めから、他車両および他車両のナンバープレートの情報の認識処理を開始する。認識処理部125は、映像データを構成するフレーム画像から、他車両および他車両のナンバープレートの情報の認識処理を行う。制御装置100は、ステップS124に移行する。
制御装置100は、他車両が認識されているか否かを判断する(ステップS124)。より詳しくは、制御装置100は、イベントが検出された時刻T2を含むバッファメモリ121における映像データにおいて、認識処理部125が他車両を認識しているか否かを判断する。制御装置100は、他車両が認識されている場合(ステップS124;Yes)、ステップS125に移行する。制御装置100は、他車両が認識されていない場合(ステップS124;No)、ステップS128に移行する。図7に示す一例の場合、認識処理部125は、イベントが検出された時刻T2を含むバッファメモリ121における映像データから、時刻t21から時刻t24までの他車両認識期間Pc2において他車両を認識する。
他車両が認識されている場合(ステップS124;Yes)、制御装置100は、認識されている他車両のナンバープレートの情報が認識されているか否かを判断する(ステップS125)。より詳しくは、制御装置100は、イベントが検出された時刻T2を含むバッファメモリ121における映像データにおいて、認識処理部125が他車両のナンバープレートの情報を認識しているか否かを判断する。制御装置100は、認識されている他車両C1のナンバープレートの情報が認識されている場合(ステップS125;Yes)、ステップS126に移行する。制御装置100は、認識されている他車両のナンバープレートの情報が認識されていない場合(ステップS125;No)、ステップS128に移行する。図7に示す一例の場合、認識処理部125は、他車両認識期間Pc2の映像データから、時刻t22から時刻t23までの期間で、ナンバープレートN1の情報が認識できているため、この期間をナンバープレート認識期間Pn2とする。
認識されている他車両のナンバープレートの情報が認識されている場合(ステップS125;Yes)、制御装置100は、認識されている他車両とナンバープレートの情報とを対応付けする(ステップS126)。より詳しくは、対応付け処理部132は、他車両を認識している間の映像データを構成するフレーム画像の少なくとも1つにおいて、他車両のナンバープレートの情報を認識した場合、他車両とナンバープレートの情報とを対応付ける。図7に示す一例の場合、対応付け処理部132は、他車両認識期間Pc2と一致する対応付け期間Pm2の他車両に、ナンバープレートの情報を対応付ける。すなわち、対応付け処理部132は、ナンバープレートを認識した時刻t22より遡って、他車両とナンバープレートの情報とを対応付ける。
ステップS126の処理を実行すると、制御装置100は、ステップS127に移行する。制御装置100は、イベント検出前後の映像データを上書き禁止としたイベント記録データとして保存する(ステップS127)。この際、制御装置100は、認識されている他車両とナンバープレートの情報とを対応付けた状態で保存する。より詳しくは、記録制御部123は、図7に示すイベント検出の時刻T2を含む前後の記録保存期間Ps2の映像データを、認識されている他車両とナンバープレートの情報とを対応付けた状態で、イベント記録データとして記録部20に保存させる。図7に示す一例のように、記録保存期間Ps2は、他車両認識期間Pc2および対応付け期間Pm2と一致する。図6に示すように、制御装置100は、ステップS129に移行する。
他車両が認識されていない場合(ステップS124;No)、または認識されている他車両のナンバープレートの情報が認識されていない場合(ステップS125;No)、制御装置100は、イベント検出前後の映像データを上書き禁止として保存する(ステップS128)。より詳しくは、記録制御部123は、イベント検出前後の映像データをイベント記録データとして記録部20に保存させる。この場合、他車両とナンバープレートの情報とは、対応付けられていないので保存されない。制御装置100は、ステップS129に移行する。
制御装置100は、他車両およびナンバープレートの認識処理を終了する(ステップS129)。認識処理部125は、映像データ取得部120が取得した映像データを構成するフレーム画像から、他車両および他車両のナンバープレートの情報の認識処理を終了する。制御装置100は、ステップS130に移行する。
制御装置100は、撮像部10が撮影した映像データのループ記録処理、およびイベント検出処理を終了するか否かを判断する(ステップS130)。より詳しくは、制御装置100は、例えば、車両の動作が終了したか、記録装置1に車両から電源が供給されなくなったか、またはユーザなどから操作部40が受け付けた終了操作に関する所定の操作信号を、操作制御部126が受け付けたか否かを判断する。制御装置100は、ループ記録処理およびイベント検出処理を終了すると判断した場合(ステップS130;Yes)、制御装置100は、図6に示すフローチャートの処理を終了する。制御装置100は、ループ記録処理およびイベント検出処理を終了しないと判断した場合(ステップS130;No)、ステップS122に移行する。
制御装置100は、図6に示すフローチャートの処理を終了すると、撮像部10が撮影した映像データのループ記録処理、およびイベント検出処理を終了させる。より詳しくは、映像データ取得部120は、撮像部10が撮像した映像データの取得を終了する。バッファメモリ121は、映像データ取得部120が取得した映像データの一時的な記憶を終了する。映像データ処理部122は、バッファメモリ121が一時的に記憶する映像データのデータファイルとしての生成を終了する。記録制御部123は、映像データ処理部122が生成したループ記録映像データの記録部20への記録を終了させる。イベント検出部129は、センサ60から検出結果の受け付けを終了する。イベント検出部129は、受け付けた検出結果に基づいて、イベントの検出処理を終了する。
以上説明したように、第二実施形態の記録装置1は、イベントの発生を検出した場合、イベントが検出された時刻T2を含むバッファメモリ121における映像データから他車両および他車両のナンバープレートの情報の認識処理を行う。記録装置1は、他車両および他車両のナンバープレートの情報を認識した場合、他車両を認識している期間において、他車両とナンバープレートの情報とを対応付ける。対応付け処理部132は、ナンバープレートを認識した時刻t22より遡って、他車両とナンバープレートの情報とを対応付ける。このように、記録装置1は、ナンバープレートを認識していない期間においても、他車両とナンバープレートの情報とを対応付ける。これにより、イベントの発生を検出した時刻T2のフレーム画像において、ナンバープレートの情報を認識できなくても、記録装置1は、他車両とナンバープレートの情報とを対応付けることができる。このため、記録装置1は、撮影対象の他車両の好適な特定に寄与できる。
次に、図8から図10を用いて、第一実施形態および第二実施形態に係る制御装置100で対応付け処理が行われたイベント記録データの再生処理の流れを説明する。図8は、制御装置の再生処理の流れの一例を示すフローチャートである。図8の処理は、記録装置1で実行されてもよく、記録装置1で保存したイベント記録データを、他の装置で再生する場合に、他の装置で実行されてもよい。図8に示す処理は、制御装置100が、予め定められた制御プログラムおよびデータに基づいて実行する。制御装置100は、例えば、記録装置1の電源がONされることによって、図8に示すステップS111に移行して処理を開始する。
制御装置100は、イベント記録データの再生開始の指示があったか否かを判断する(ステップS111)。より詳しくは、制御装置100は、例えば、ユーザなどから操作部40が受け付けた再生開始操作に関する所定の操作信号を、操作制御部126が受け付けたか否かを判断する。制御装置100は、イベント記録データの再生開始の指示があったと判断した場合(ステップS111;Yes)、ステップS112に移行する。制御装置100は、イベント記録データの再生開始の指示がなかったと判断した場合(ステップS111;No)、制御装置100は、所定の周期毎にステップST111を繰り返し実行するか、本処理を終了する。
イベント記録データの再生開始の指示があった場合(ステップS111;Yes)、制御装置100は、対応付けられたナンバープレートの情報があるか否かを判断する(ステップS112)。より詳しくは、制御装置100は、イベント記録データに記録された他車両の映像データに、ナンバープレートの情報が対応付けられているか否かを判断する。制御装置100は、対応付けられたナンバープレートの情報がある場合(ステップS112;Yes)、ステップS113に移行する。制御装置100は、対応付けられたナンバープレートの情報がない場合(ステップS112;No)、ステップS114に移行する。
対応付けられたナンバープレートの情報がある場合(ステップS112;Yes)、制御装置100は、ナンバープレートの情報が表示されるようにイベント記録データの再生処理を開始する(ステップS113)。より詳しくは、制御装置100は、イベント記録データの他車両の映像データに、ナンバープレートの対応付けデータを対応付けた状態で、再生制御部124にイベント記録データの再生処理を開始させる。制御装置100は、ステップS115に移行する。
対応付けられたナンバープレートの情報がない場合(ステップS112;No)、制御装置100は、イベント記録データの再生処理を開始する(ステップS114)。より詳しくは、制御装置100は、再生制御部124にイベント記録データの再生処理を開始させる。制御装置100は、ステップS115に移行する。
制御装置100は、ステップS113またはステップS114の処理を行った後、イベント記録データの再生が終了したか否かを判断する(ステップS115)。より詳しくは、制御装置100は、例えば、イベント記録データの再生が最後まで終了した場合、ユーザなどから操作部40が受け付けた再生終了操作に関する所定の操作信号を、操作制御部126が受け付けた場合などに、イベント記録データの再生が終了したと判断する。制御装置100は、イベント記録データの再生が終了したと判断した場合(ステップS115;Yes)、制御装置100は、図8に示すフローチャートの処理を終了する。制御装置100は、イベント記録データの再生が終了していないと判断した場合(ステップS115;No)、制御装置100は、ステップS115に移行する。
制御装置100は、図8に示すフローチャートの処理を終了すると、イベント記録データの再生処理を終了する。より詳しくは、制御装置100は、再生制御部124にイベント記録データの再生処理を終了させる。
図9は、再生画面の一例を示す模式図である。図10は、図9に対応する別の再生画面の一例を示す模式図である。図9および図10は、図8に示すステップS113の再生処理で表示部50に表示されるイベント記録データの再生画像を模式的に示す図である。
図9に示すように、表示画像F31には、他車両C3と他車両C3のナンバープレートN3が含まれている。図9は、認識処理部125が、表示画像F31を構成するフレーム画像から、他車両C3を認識している状態であり、さらに他車両C3のナンバープレートN3を認識している状態である。図9は、イベント記録データとして映像データが保存された期間、またはイベント記録データの前後の期間の映像データに含まれている他車両C3のナンバープレートN3の情報が認識されており、他車両C3のナンバープレートN3の情報が対応付けデータDm3として表示されていることを示す。対応付けデータDm3の表示方法は実施形態に限定されない。イベント記録データの再生においては、他車両検出枠Fc31およびナンバープレート検出枠Fn31は表示されなくてもよい。
図10に示すように、表示画像F32は、他車両C3が含まれているが、他車両C3のナンバープレートN3を含まない。このような場合であっても、イベント記録データとして映像データが保存された期間、またはイベント記録データの前後の期間の映像データに含まれている他車両C3のナンバープレートN3の情報が認識されているため、他車両C3に対して、対応付けデータDm3を表示することができる。また、図示していないが、フレーム画像に他車両C3と他車両C3のナンバープレートN3が含まれている場合であっても、車両の振動などによって、ナンバープレートN3の情報が認識できない場合もある。このような場合であっても、図9同様に、対応付けデータDm3を表示することができる。イベント記録データの再生においては、対応付けデータDm3の表示方法は実施形態に限定されない。他車両検出枠Fc32およびナンバープレート検出枠Fn32は表示されなくてもよい。
対応付け処理部132は、認識処理部125が他車両を認識している間の映像データを構成するフレーム画像の少なくとも1つにおいて、他車両のナンバープレートの情報を認識した場合、他車両とナンバープレートの画像情報とを対応付ける。対応付け処理部132は、いずれかのフレーム画像から他車両とナンバープレートの画像情報とを対応付けた場合、ナンバープレートの画像情報を認識できないフレーム画像の他車両に、ナンバープレートの画像情報を対応付ける。他車両とナンバープレートの画像情報との対応付けは、認識処理部125が他車両を認識しなくなるまで維持される。
以上説明したように、記録装置1は、第一実施形態および第二実施形態の処理で対応付けられたナンバープレートの情報を、イベント記録データに対応付けて再生する。このため、イベント記録データの再生中に、ナンバープレートの情報が認識処理部125で認識できない期間がある場合や、目視でナンバープレート情報が確認できない場合であっても、適切にナンバープレートの情報を確認することができる。記録装置1は、認識できたナンバープレートの情報を、図9および図10に示すように、ナンバープレートの情報が認識できたフレーム画像におけるナンバープレートの画像情報を他車両に対応付ける。これにより、ナンバープレートの形状および色彩などから、汚れまたは改造などのナンバープレートの状況が推測できる。
図9および図10の例においては、対応付けデータDm3として、ナンバープレートの情報が認識処理部125で認識されたフレーム画像のナンバープレートを含む画像を、イベント記録データにおける他車両と対応付けができるように表示したが、認識処理部125で認識されたナンバープレートに記されている文字情報を図9および図10の対応付けデータDm3に代えて表示することとしてもよい。
上述したように、本発明にかかる記録装置1は、撮影対象の他車両の好適な特定に寄与できる。記録装置1は、例えば、事故の検証に有用なイベント記録データを提供することができる。
図示した記録装置1の構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、記録装置の具体的形態は、図示のものに限られず、記録装置の処理負担や使用状況などに応じて、その全部又は一部を任意の単位で機能的又は物理的に分散又は統合してもよい。
記録装置1の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェア又はソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、又は、それらの組み合わせによって種々の形で実現できる。