JP5198609B2 - Electronic device, display control method, and program - Google Patents
Electronic device, display control method, and program Download PDFInfo
- Publication number
- JP5198609B2 JP5198609B2 JP2011059740A JP2011059740A JP5198609B2 JP 5198609 B2 JP5198609 B2 JP 5198609B2 JP 2011059740 A JP2011059740 A JP 2011059740A JP 2011059740 A JP2011059740 A JP 2011059740A JP 5198609 B2 JP5198609 B2 JP 5198609B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- image data
- deletion
- face
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は動画像データから抽出された静止画像を用いて当該動画像データの削除に関するユーザ操作を支援する電子機器および表示制御方法並びにプログラムに関する。 The present invention relates to an electronic device, a display control method, and a program that support user operations related to deletion of moving image data using a still image extracted from the moving image data.
一般に、ビデオレコーダ、パーソナルコンピュータといった電子機器は、テレビジョン放送番組データのような各種映像コンテンツデータ(動画像データ)を記録および再生することが可能である。この場合、電子機器に格納された各映像コンテンツデータにはタイトル名が付加されるが、タイトル名だけでは、ユーザが、各映像コンテンツデータがどのような内容のものであるかを把握することは困難である。このため、映像コンテンツデータの内容を把握するためには、その映像コンテンツデータを再生することが必要となる。しかし、総時間長の長い映像コンテンツデータの再生には、たとえ早送り再生機能等を用いた場合であっても、多くの時間が要される。 In general, an electronic device such as a video recorder or a personal computer can record and reproduce various video content data (moving image data) such as television broadcast program data. In this case, a title name is added to each video content data stored in the electronic device, but it is not possible for the user to grasp what the content of each video content data is based on the title name alone. Have difficulty. For this reason, in order to grasp the content of the video content data, it is necessary to reproduce the video content data. However, reproduction of video content data with a long total time length requires a lot of time even when a fast-forward reproduction function or the like is used.
特許文献1には、顔サムネイル画像を表示する情報処理装置が開示されている。この情報処理装置は、画像コンテンツに対応する顔サムネイル画像それぞれをその画像コンテンツの全部または一部分をユーザが選択するためのインデックスとして表示する機能を有している。 Patent Document 1 discloses an information processing apparatus that displays a face thumbnail image. This information processing apparatus has a function of displaying each face thumbnail image corresponding to the image content as an index for the user to select all or part of the image content.
ところで、電子機器の記憶装置の記憶容量には制限があるので、ユーザは、記憶装置に格納された番組データのような動画像データの中から不要な動画像データを削除する操作を行うことが必要な場合がある。 Incidentally, since the storage capacity of the storage device of the electronic device is limited, the user may perform an operation of deleting unnecessary moving image data from moving image data such as program data stored in the storage device. May be necessary.
通常、あるデータがユーザによって削除対象データとして選択された場合には、そのデータを削除しても良いかどうかをユーザに確認させための削除確認画面が表示される。しかし、この削除確認画面は単にデータを本当に削除しても良いかをユーザに再度問い合わせるためのインタフェースであり、YESボタンおよびNOボタンしか表示されない。したがって、ユーザは、自身の判断で、削除対象データの削除または非削除を決定することが必要である。しかし、削除対象としてユーザによって指定された動画像データには、ユーザが興味を持っているシーンが含まれている場合もある。ユーザは、削除対象の動画像データにそのようなシーンが含まれていることを忘れていることがままある。 Normally, when certain data is selected as deletion target data by the user, a deletion confirmation screen for allowing the user to confirm whether or not the data can be deleted is displayed. However, this deletion confirmation screen is simply an interface for inquiring the user again whether or not the data can really be deleted, and only the YES button and the NO button are displayed. Therefore, it is necessary for the user to determine deletion or non-deletion of the deletion target data based on his / her own judgment. However, the moving image data designated by the user as a deletion target may include a scene in which the user is interested. The user may forget that such a scene is included in the moving image data to be deleted.
したがって、ユーザが動画像データの削除または非削除を決定することを支援するための新たな機能の実現が必要である。 Therefore, it is necessary to realize a new function for assisting the user in determining whether to delete or not delete moving image data.
本発明は上述の事情を考慮してなされたものであり、動画像データの削除に関するユーザ操作を支援することができる電子機器および支援方法を提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an electronic device and a support method that can support a user operation related to deletion of moving image data.
請求項1記載の電子機器は、1以上の動画像データと、前記動画像データ毎に当該動画像データから抽出された複数の顔画像を格納する記憶手段と、前記1以上の動画像データの一覧を表示する第1の表示処理手段と、前記動画像データの一覧から削除対象動画像データが選択された場合、前記削除対象動画像データの削除の可否を確認するための削除確認画面であって前記削除対象動画像データに対応する複数の顔画像のうち、前記削除対象動画像データ内の再生されたことがある区間内に出現する複数の顔画像が表示された削除確認画面を表示する第2の表示処理手段とを具備することを特徴とする。 The electronic apparatus according to claim 1, one or more moving image data, storage means for storing a plurality of face images extracted from the moving image data for each moving image data, and the one or more moving image data When a deletion target moving image data is selected from the first display processing means for displaying a list and the moving image data list, a deletion confirmation screen for confirming whether or not the deletion target moving image data can be deleted is displayed. A deletion confirmation screen displaying a plurality of face images appearing in a section that has been reproduced in the deletion target moving image data among the plurality of face images corresponding to the deletion target moving image data. And second display processing means.
また、請求項5記載の表示制御方法は、電子機器の記憶装置に格納されている1以上の動画像データの削除に関する表示制御を行う表示制御方法であって、前記動画像データ毎に当該動画像データから複数の顔画像を抽出するステップと、前記1以上の動画像データの一覧を表示するステップと、前記動画像データの一覧から削除対象動画像データが選択された場合、前記削除対象動画像データの削除の可否を確認するための削除確認画面であって前記削除対象動画像データに対応する複数の顔画像のうち、前記削除対象動画像データ内の再生されたことがある区間内に出現する複数の顔画像が表示された削除確認画面を表示するステップとを具備することを特徴とする。
The display control method according to
本発明によれば、動画像データの削除に関するユーザ操作を支援することができる。 ADVANTAGE OF THE INVENTION According to this invention, user operation regarding deletion of moving image data can be assisted.
以下、図面を参照して、本発明の実施形態を説明する。
まず、図1および図2を参照して、本発明の一実施形態に係る電子機器の構成を説明する。本実施形態の電子機器は、例えば、情報処理装置として機能するノートブック型の携帯型パーソナルコンピュータ10から実現されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First, with reference to FIG. 1 and FIG. 2, the structure of the electronic device which concerns on one Embodiment of this invention is demonstrated. The electronic apparatus according to the present embodiment is realized by, for example, a notebook portable
このパーソナルコンピュータ10は、放送番組データ、外部機器から入力されるビデオデータといった、映像コンテンツデータ(動画像データ)を記録および再生することができる。即ち、パーソナルコンピュータ10は、テレビジョン放送信号によって放送される放送番組データの視聴および録画を実行するためのテレビジョン(TV)機能を有している。このTV機能は、例えば、パーソナルコンピュータ10に予めインストールされているTVアプリケーションプログラムによって実現されている。また、TV機能は、外部のAV機器から入力されるビデオデータを記録する機能、および記録されたビデオデータおよび記録された放送番組データを再生する機能も有している。
The
さらに、パーソナルコンピュータ10は、パーソナルコンピュータ10に格納された、ビデオデータ、放送番組データのような映像コンテンツデータ(動画像データ)中に出現する人物の顔画像の一覧等を表示する顔画像一覧表示機能を有している。この顔画像一覧表示機能は、例えば、TV機能内にその一機能として実装されている。顔画像一覧表示機能は、ナビゲーション対象としてユーザによって選択された映像コンテンツデータの概要等をユーザに提示するための映像インデキシング機能の一つである。この顔画像一覧表示機能は、ナビゲーション対象の映像コンテンツデータ全体の中のどの時間帯にどの人物が登場するのかをユーザに提示することができる。また、この顔画像一覧表示機能は、映像コンテンツデータ内に含まれる所定の属性区間に着目して人物の一覧を表示することもできる。
Further, the
さらに、この顔画像一覧表示機能は、映像コンテンツデータから等時間間隔で抽出された複数のフレームそれぞれに対応するサムネイル画像の一覧を表示することもできる。 Furthermore, this face image list display function can also display a list of thumbnail images corresponding to each of a plurality of frames extracted from video content data at equal time intervals.
また、パーソナルコンピュータ10は、映像コンテンツデータ(動画像データ)の削除に関するユーザ操作を支援するための削除決定支援機能を有している。この削除決定支援機能は、顔画像一覧表示機能によって各動画像データから抽出された複数の静止画像から構成される静止画像群(上述の顔画像群、または上述のサムネイル画像群)を用いて、削除対象動画像データの概要をユーザに提示する機能である。
The
削除決定支援機能は、パーソナルコンピュータ10内に格納された映像コンテンツデータ(動画像データ)の一覧を表示する。この映像コンテンツデータの一覧から削除対象映像コンテンツデータがユーザによって選択された時、削除決定支援機能は、削除対象映像コンテンツデータの削除の有無をユーザに確認するための削除確認画面を表示する。この削除確認画面には、削除対象映像コンテンツデータから抽出された静止画像群(上述の顔画像群、または上述のサムネイル画像群)が、例えば、それら静止画像群が出現する順番に並んで表示される。
The deletion decision support function displays a list of video content data (moving image data) stored in the
削除確認画面には削除対象映像コンテンツデータに対応する全ての静止画像を表示してもよいが、削除対象映像コンテンツデータの開始から終了までのシーケンスの中で過去に再生されたことがある区間(再生されたシーン)に出現する各静止画像のみを削除確認画面に表示してもよい。これにより、削除対象映像コンテンツデータの削除/非削除の決定のために有用な静止画像群をユーザに提示することができる。また、削除対象映像コンテンツデータに対応する全ての静止画像を削除確認画面上に表示し、且つ全ての静止画像の内、過去に再生されたことがある区間(再生されたシーン)に出現する各静止画像を強調表示しても良い。 Although all the still images corresponding to the deletion target video content data may be displayed on the deletion confirmation screen, a section that has been played in the past in the sequence from the start to the end of the deletion target video content data ( Only each still image appearing in the reproduced scene) may be displayed on the deletion confirmation screen. This makes it possible to present to the user a group of still images that are useful for determining whether to delete or not delete the video content data to be deleted. In addition, all still images corresponding to the deletion target video content data are displayed on the deletion confirmation screen, and each of the still images that appear in a section (reproduced scene) that has been reproduced in the past. A still image may be highlighted.
図1はコンピュータ10のディスプレイユニットを開いた状態における斜視図である。本コンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とから構成されている。ディスプレイユニット12には、TFT−LCD(Thin Film Transistor Liquid Crystal Display)17から構成される表示装置が組み込まれている。
FIG. 1 is a perspective view of the
ディスプレイユニット12は、コンピュータ本体11に対し、コンピュータ本体11の上面が露出される開放位置とコンピュータ本体11の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体11は薄い箱形の筐体を有しており、その上面にはキーボード13、本コンピュータ10をパワーオン/パワーオフするためのパワーボタン14、入力操作パネル15、タッチパッド16、およびスピーカ18A,18Bなどが配置されている。
The
入力操作パネル15は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、TV機能(放送番組データ/ビデオデータの視聴、放送番組データ/ビデオデータの録画、録画された放送番組データ/ビデオデータの再生)を制御するための操作ボタン群も含まれている。また、コンピュータ本体11の正面には、本コンピュータ10のTV機能をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部20が設けられている。リモコンユニットインタフェース部20は、赤外線信号受信部などから構成されている。
The
コンピュータ本体11の例えば右側面には、TV放送用のアンテナ端子19が設けられている。また、コンピュータ本体11の例えば背面には、例えばHDMI(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ(動画像データ)を外部ディスプレイに出力するために用いられる。
On the right side of the computer
次に、図2を参照して、本コンピュータ10のシステム構成について説明する。
Next, the system configuration of the
本コンピュータ10は、図2に示されているように、CPU101、ノースブリッジ102、主メモリ103、サウスブリッジ104、グラフィクスプロセッシングユニット(GPU)105、ビデオメモリ(VRAM)105A、サウンドコントローラ106、BIOS−ROM109、LANコントローラ110、ハードディスクドライブ(HDD)111、DVDドライブ112、ビデオプロセッサ113、メモリ113A、無線LANコントローラのようなネットワークコントローラ114、IEEE 1394コントローラ115、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116、TVチューナ117、およびEEPROM118等を備えている。
As shown in FIG. 2, the
CPU101は本コンピュータ10の動作を制御するプロセッサであり、ハードディスクドライブ(HDD)111から主メモリ103にロードされる、オペレーティングシステム(OS)201、およびTVアプリケーションプログラム202のような各種アプリケーションプログラムを実行する。TVアプリケーションプログラム202はTV機能を実行するためのソフトウェアである。このTVアプリケーションプログラム202は、TVチューナ117によって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをHDD111に記録する録画処理、およびHDD111に記録された放送番組データ/ビデオデータを再生する再生処理等を実行する。また、CPU101は、BIOS−ROM109に格納されたBIOS(Basic Input Output System)も実行する。BIOSはハードウェア制御のためのプログラムである。
The
ノースブリッジ102はCPU101のローカルバスとサウスブリッジ104との間を接続するブリッジデバイスである。ノースブリッジ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ102は、PCI EXPRESS規格のシリアルバスなどを介してGPU105との通信を実行する機能も有している。
The
GPU105は、本コンピュータ10のディスプレイモニタとして使用されるLCD17を制御する表示コントローラである。このGPU105によって生成される表示信号はLCD17に送られる。また、GPU105は、HDMI制御回路3およびHDMI端子2を介して、外部ディスプレイ装置1にデジタル映像信号を送出することもできる。
The
HDMI端子2は上述の外部ディスプレイ接続端子である。HDMI端子2は、デジタルオーディオ信号と、非圧縮のデジタル映像信号とを一本のケーブルでテレビのような外部ディスプレイ装置1に送出することができる。HDMI制御回路3は、HDMIモニタと称される外部ディスプレイ装置1にデジタル映像信号をHDMI端子2を介して送出するためのインタフェースである。
The
サウスブリッジ104は、LPC(Low Pin Count)バス上の各デバイス、およびPCI(Peripheral Component Interconnect)バス上の各デバイスを制御する。また、サウスブリッジ104は、ハードディスクドライブ(HDD)111およびDVDドライブ112を制御するためのIDE(Integrated Drive Electronics)コントローラを内蔵している。さらに、サウスブリッジ104は、サウンドコントローラ106との通信を実行する機能も有している。
The south bridge 104 controls each device on an LPC (Low Pin Count) bus and each device on a PCI (Peripheral Component Interconnect) bus. The south bridge 104 includes an IDE (Integrated Drive Electronics) controller for controlling the hard disk drive (HDD) 111 and the DVD drive 112. Further, the south bridge 104 has a function of executing communication with the
またさらに、サウスブリッジ104には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ113が接続されている。
Furthermore, a
ビデオプロセッサ113は、前述の映像インデキシングに関する各種処理を実行するプロセッサである。このビデオプロセッサ113は、映像インデキシング処理を実行するためのインデキシング処理部として機能する。すなわち、映像インデキシング処理においては、ビデオプロセッサ113は、映像コンテンツデータに含まれる動画像データから人物の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報、等を出力する。顔画像の抽出は、例えば、映像コンテンツデータに含まれる動画像データの各フレームから顔領域を検出する顔検出処理、検出された顔領域をフレームから切り出す切り出し処理等によって実行される。顔領域の検出は、例えば、各フレームの画像の特徴を解析して、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。
The
さらに、ビデオプロセッサ113は、例えば、映像コンテンツデータ内に含まれるコマーシャル(CM)区間を検出する処理、および音声インデキシング処理も実行する。通常、各CM区間の時間長は、予め決められた幾つかの時間長の内の1つに設定されている。また、CM区間の前後には一定時間長の無音期間が存在する。したがって、CM区間の検出処理においては、例えば、映像コンテンツデータ内に含まれるオーディオデータが分析され、一定時間長の無音区間が検出される。そして、検出された連続する2つの無音区間に挾まれ、且つ一定値以上の時間長を有する部分データを含む区間が、CM区間として検出される。
Furthermore, the
音声インデキシング処理は、映像コンテンツデータ内に含まれるオーディオデータを分析して、映像コンテンツデータ内に含まれる、音楽が流れている音楽区間、および人物によるトークが行われているトーク区間を検出するインデキシング処理である。音声インデキシング処理においては、例えば、オーディオデータの周波数スペクトルの特徴が分析され、その周波数スペクトルの特徴に応じて、音楽区間、およびトーク区間が検出される。音楽区間に対応する周波数スペクトルの特徴と、トーク区間に対応する周波数スペクトルの特徴とは互いに異なるので、周波数スペクトルの特徴を分析することによって、音楽区間およびトーク区間のそれぞれを検出することができる。また、音楽区間に対応する周波数スペクトルの特徴とトーク区間に対応する周波数スペクトルの特徴とが混ざり合った周波数スペクトル特徴(音響特徴)を有する区間は、音楽区間とトーク区間とが重なった重畳区間として検出することができる。 In the audio indexing process, the audio data included in the video content data is analyzed to detect a music section in which the music flows and a talk section in which a person is talking. It is processing. In the audio indexing process, for example, the characteristics of the frequency spectrum of the audio data are analyzed, and the music section and the talk section are detected according to the characteristics of the frequency spectrum. Since the characteristics of the frequency spectrum corresponding to the music section and the characteristics of the frequency spectrum corresponding to the talk section are different from each other, the music section and the talk section can be detected by analyzing the characteristics of the frequency spectrum. In addition, a section having a frequency spectrum feature (acoustic feature) in which a frequency spectrum feature corresponding to a music section and a frequency spectrum feature corresponding to a talk section are mixed is a superimposed section in which the music section and the talk section overlap. Can be detected.
さらに、音声インデキシング処理は、映像コンテンツデータ内の各部分データ(一定時間長のデータ)毎に歓声レベルを検出する歓声レベル検出処理、および映像コンテンツデータ内の各部分データ毎に盛り上がりレベルを検出する盛り上がりレベル検出処理を実行する。 Furthermore, the audio indexing process detects a cheer level for each partial data (data of a certain length of time) in the video content data, and detects a swell level for each partial data in the video content data. The swell level detection process is executed.
歓声レベルは、歓声の大きさを示す。歓声は、大勢の人の声が合わさった音である。大勢の人の声が合わさった音は、ある特定の周波数スペクトルの分布を有する。歓声レベル検出処理においては、映像コンテンツデータに含まれるオーディオデータの周波数スペクトルが分析され、そしてその周波数スペクトルの分析結果に従って、各部分データの歓声レベルが検出される。盛り上がりレベルは、ある一定以上の音量レベルがある一定時間長以上連続的に発生する区間の音量レベルである。例えば、比較的盛大な拍手、大きな笑い声のような音の音量レベルが、盛り上がりレベルである。盛り上がりレベル検出処理においては、映像コンテンツデータに含まれるオーディオデータの音量の分布が分析され、その分析結果に従って、各部分データの盛り上がりレベルが検出される。なお、音量レベルそのものを盛り上がりレベルとして使用することも可能である。 The cheer level indicates the size of the cheer. Cheers are the sounds of many people. The sound of many human voices has a certain frequency spectrum distribution. In the cheer level detection process, the frequency spectrum of the audio data included in the video content data is analyzed, and the cheer level of each partial data is detected according to the analysis result of the frequency spectrum. The excitement level is a volume level of a section in which a volume level above a certain level is continuously generated for a certain length of time. For example, the volume level of a sound such as a relatively large applause and a loud laughter is the excitement level. In the swell level detection process, the volume distribution of the audio data included in the video content data is analyzed, and the swell level of each partial data is detected according to the analysis result. It is also possible to use the volume level itself as the excitement level.
メモリ113Aは、ビデオプロセッサ113の作業メモリとして用いられる。インデキシング処理(CM検出処理、映像インデキシング処理、および音声インデキシング処理)を実行するためには多くの演算量が必要とされる。本実施形態においては、CPU101とは異なる専用のプロセッサであるビデオプロセッサ113がバックエンドプロセッサとして使用され、このビデオプロセッサ113によってインデキシング処理が実行される。よって、CPU101の負荷の増加を招くことなく、インデキシング処理を実行することが出来る。なお、CM検出処理は上述したようにオーディオデータを解析することによって実行することができるので、以下では、CM検出処理を音声インデキシング処理内の1つの処理として扱うことにする。
The memory 113A is used as a working memory for the
サウンドコントローラ106は音源デバイスであり、再生対象のオーディオデータをスピーカ18A,18BまたはHDMI制御回路3に出力する。
The
無線LANコントローラ114は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ115は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。 The wireless LAN controller 114 is a wireless communication device that performs wireless communication of, for example, IEEE 802.11 standard. The IEEE 1394 controller 115 executes communication with an external device via an IEEE 1394 standard serial bus.
エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、電力管理のためのエンベデッドコントローラと、キーボード(KB)13およびタッチパッド16を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。このエンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、ユーザによるパワーボタン14の操作に応じて本コンピュータ10をパワーオン/パワーオフする機能を有している。さらに、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、リモコンユニットインタフェース20との通信を実行する機能を有している。
The embedded controller / keyboard controller IC (EC / KBC) 116 is a one-chip microcomputer in which an embedded controller for power management and a keyboard controller for controlling the keyboard (KB) 13 and the
TVチューナ117はテレビジョン(TV)放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子19に接続されている。このTVチューナ117は、例えば、地上波デジタルTV放送のようなデジタル放送番組データを受信可能なデジタルTVチューナとして実現されている。また、TVチューナ117は、外部機器から入力されるビデオデータをキャプチャする機能も有している。
The
次に、図3を参照して、TVアプリケーションプログラム202によって実行される顔画像一覧表示機能について説明する。
Next, the face image list display function executed by the
放送番組データのような映像コンテンツデータに対するインデキシング処理(映像インデキシング処理、および音声インデキシング処理)は、上述したように、インデキシング処理部として機能するビデオプロセッサ113によって実行される。
As described above, the indexing process (video indexing process and audio indexing process) for video content data such as broadcast program data is executed by the
ビデオプロセッサ113は、TVアプリケーションプログラム202の制御の下、例えば、ユーザによって指定された録画済みの放送番組データ等の映像コンテンツデータに対してインデキシング処理を実行する。また、ビデオプロセッサ113は、TVチューナ117によって受信された放送番組データをHDD111に格納する録画処理と並行して、当該放送番組データに対するインデキシング処理を実行することもできる。
Under the control of the
映像インデキシング処理(顔画像インデキシング処理とも云う)においては、ビデオプロセッサ113は、映像コンテンツデータに含まれる動画像データをフレーム単位で解析する。そして、ビデオプロセッサ113は、動画像データを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報を出力する。各顔画像に対応するタイムスタンプ情報としては、映像コンテンツデータの開始から当該顔画像が登場するまでの経過時間、または当該顔画像が抽出されたフレーム番号、等を使用することが出来る。
In the video indexing process (also referred to as face image indexing process), the
さらに、ビデオプロセッサ113は、抽出された各顔画像のサイズ(解像度)も出力する。ビデオプロセッサ113から出力される顔検出結果データ(顔画像、タイムスタンプ情報TS、およびサイズ)は、データベース111Aに顔画像インデキシング情報として格納される。このデータベース111Aは、HDD111内に用意されたインデキシングデータ記憶用の記憶領域である。
Furthermore, the
さらに、映像インデキシング処理においては、ビデオプロセッサ113は、顔画像を抽出する処理と並行して、サムネイル画像取得処理も実行する。サムネイル画像は、映像コンテンツデータから例えば等時間間隔で抽出された複数のフレームの各々に対応する画像(縮小画像)である。すなわち、ビデオプロセッサ113は、顔画像を含むフレームであるか否かに関係なく、映像コンテンツデータから例えば所定の等時間間隔でフレームを順次抽出し、抽出した各フレームに対応する画像(サムネイル画像)と、そのサムネイル画像が出現する時点を示すタイムスタンプ情報TSとを出力する。ビデオプロセッサ113から出力されるサムネイル画像取得結果データ(サムネイル、タイムスタンプ情報TS)も、データベース111Aにサムネイルインデキシング情報として格納される。
Further, in the video indexing process, the
さらに、映像インデキシング処理においては、抽出された複数の顔画像を人物別に複数の顔画像グループに分類する顔画像分類処理も実行される。ある顔画像グループに属する顔画像同士、つまり同一人物に対応する顔画像同士には、当該顔画像グループ、つまり当該人物を識別する識別子(ID)が関連付けられる。 Furthermore, in the video indexing process, a face image classification process for classifying the extracted plurality of face images into a plurality of face image groups for each person is also executed. Face images belonging to a certain face image group, that is, face images corresponding to the same person, are associated with an identifier (ID) for identifying the face image group, that is, the person.
また、音声インデキシング処理においては、ビデオプロセッサ113は、映像コンテンツに含まれるオーディオデータの音響特徴を分析して、映像コンテンツデータ内に含まれる複数種の属性区間(CM区間、音楽区間、およびトーク区間)を検出し、検出された各属性区間の開始および終了の時点を規定する区間属性情報を出力する。この区間属性情報は、例えば、各属性区間毎にその属性区間の開始時点および終了時点をそれぞれ示す時間情報から構成することができる。また、区間属性情報を、属性区間の開始時点を示す情報とその属性区間の時間長を示す情報とによって構成してもよい。
In the audio indexing process, the
この区間属性情報は、属性検出結果情報としてデータベース111Aに格納される。さらに、音声インデキシング処理においては、ビデオプロセッサ113は、上述の歓声レベル検出処理および盛り上がりレベル検出処理も実行する。これら歓声レベル検出処理の結果および盛り上がりレベル検出処理の結果も、上述の属性検出結果情報の一部としてデータベース111Aに格納される。
This section attribute information is stored in the
属性検出結果情報(区間属性情報)は、図4に示されているように、例えば、CM区間テーブル、音楽区間テーブル、トーク区間テーブル、および歓声/盛り上がりテーブルから構成されている。 As shown in FIG. 4, the attribute detection result information (section attribute information) includes, for example, a CM section table, a music section table, a talk section table, and a cheer / climax table.
CM区間テーブルは、検出されたCM区間の開始時点および終了時点を示すCM区間属性情報を格納する。映像コンテンツデータの開始位置から終端位置までのシーケンス内に複数のCM区間が存在する場合には、それら複数のCM区間それぞれに対応するCM区間属性情報がCM区間テーブルに格納される。CM区間テーブルにおいては、検出された各CM区間毎に当該CM区間の開始時点および終了時点をそれぞれ示すスタートタイム情報およびエンドタイム情報が格納される。 The CM section table stores CM section attribute information indicating the start time and end time of the detected CM section. When there are a plurality of CM sections in the sequence from the start position to the end position of the video content data, CM section attribute information corresponding to each of the plurality of CM sections is stored in the CM section table. In the CM section table, start time information and end time information indicating the start time and end time of the CM section are stored for each detected CM section.
音楽区間テーブルは、検出された音楽区間の開始時点および終了時点を示す音楽区間属性情報を格納する。映像コンテンツデータの開始位置から終端位置までのシーケンス内に複数の音楽区間が存在する場合には、それら複数の音楽区間それぞれに対応する音楽区間属性情報が音楽区間テーブルに格納される。音楽区間テーブルにおいては、検出された各音楽区間毎に当該音楽区間の開始時点および終了時点をそれぞれ示すスタートタイム情報およびエンドタイム情報が格納される。 The music section table stores music section attribute information indicating the start time and end time of the detected music section. When there are a plurality of music sections in the sequence from the start position to the end position of the video content data, music section attribute information corresponding to each of the plurality of music sections is stored in the music section table. In the music section table, start time information and end time information indicating the start time and end time of the music section are stored for each detected music section.
トーク区間テーブルは、検出されたトーク区間の開始時点および終了時点を示す音楽区間属性情報を格納する。映像コンテンツデータの開始位置から終端位置までのシーケンス内に複数のトーク区間が存在する場合には、それら複数のトーク区間それぞれに対応するトーク区間属性情報がトーク区間テーブルに格納される。トーク区間テーブルにおいては、検出された各トーク区間毎に当該トーク区間の開始時点および終了時点をそれぞれ示すスタートタイム情報およびエンドタイム情報が格納される。 The talk section table stores music section attribute information indicating the start time and end time of the detected talk section. When there are a plurality of talk sections in the sequence from the start position to the end position of the video content data, talk section attribute information corresponding to each of the plurality of talk sections is stored in the talk section table. In the talk section table, start time information and end time information indicating the start time and end time of the talk section are stored for each detected talk section.
歓声/盛り上がりテーブルは、映像コンテンツデータ内の一定時間長の部分データ(タイムセグメントT1,T2,T3,…)それぞれにおける歓声レベルおよび盛り上がりレベルを格納する。 The cheer / climax table stores cheer levels and excitement levels in each partial data (time segments T1, T2, T3,...) Of a certain time length in the video content data.
図3に示されているように、TVアプリケーションプログラム202は、顔画像一覧表示機能を実行するための顔画像一覧表示処理部301を含んでいる。この顔画像一覧表示処理部301は、例えば、インデキシングビューワプログラムとして実現されており、データベース111Aに格納されたインデキシング情報(顔画像インデキシング情報、サムネイルインデキシング情報、区間属性情報、等)を用いて、映像コンテンツデータの概要を提示するためのインデキシングビュー画面を表示する。
As shown in FIG. 3, the
具体的には、顔画像一覧表示処理部301は、データベース111Aから顔画像インデキシング情報(顔画像、タイムスタンプ情報TS、およびサイズ)を読み出し、そしてその顔画像インデキシング情報を用いて、映像コンテンツデータに登場する人物の顔画像の一覧を、インデキシングビュー画面上の2次元の表示エリア(以下、顔サムネイル表示エリアと称する)上に表示する。この場合、顔画像一覧表示処理部301は、映像コンテンツデータの総時間長を、例えば等間隔で、複数の時間帯に分割し、時間帯毎に、抽出された顔画像の内から当該時間帯に登場する顔画像を所定個選択する。そして、顔画像一覧表示処理部301は、時間帯毎に、選択した所定個の顔画像それぞれを並べて表示する。
Specifically, the face image list
すなわち、2次元の顔サムネイル表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含む。複数の列それぞれには、映像コンテンツデータの総時間長を構成する複数の時間帯が割り当てられている。具体的には、例えば、複数の列それぞれには、映像コンテンツデータの総時間長をこれら複数の列の数で等間隔に分割することによって得られる、互いに同一の時間長を有する複数の時間帯がそれぞれ割り当てられる。もちろん、各列に割り当てられる時間帯は必ずしも同一の時間長でなくてもよい。顔画像一覧表示処理部301は、顔画像それぞれに対応するタイムスタンプ情報TSに基づき、各列内に属する行数分の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれを、例えば、それら顔画像の出現頻度順(顔画像の検出時間長順)のような順序で並べて表示する。この場合、例えば、当該各列に割り当てられた時間帯に属する顔画像の内から、出現頻度(登場頻度)の高い順に顔画像が行数分だけ選択され、選択された顔画像が登場頻度順に上から下に向かって並んで配置される。もちろん、出現頻度順ではなく、各列に割り当てられた時間帯に出現する顔画像それぞれを、その出現順に並べて表示してもよい。
That is, the two-dimensional face thumbnail display area includes a plurality of face image display areas arranged in a matrix including a plurality of rows and a plurality of columns. A plurality of time zones constituting the total time length of the video content data are assigned to each of the plurality of columns. Specifically, for example, in each of the plurality of columns, a plurality of time zones having the same time length obtained by dividing the total time length of the video content data at equal intervals by the number of the plurality of columns. Are assigned to each. Of course, the time zone allocated to each column does not necessarily have the same time length. The face image list
この顔画像一覧表示機能により、映像コンテンツデータ全体の中のどの時間帯にどの人物が登場するのかをユーザに分かりやすく提示することができる。顔サムネイル表示エリアの具体的な構成例については、図7以降で後述する。 With this face image list display function, it is possible to easily show to the user which person appears in which time zone in the entire video content data. A specific configuration example of the face thumbnail display area will be described later with reference to FIG.
また、顔画像一覧表示処理部301は、データベース111Aからサムネイルインデキシング情報(サムネイル、タイムスタンプ情報TS)を読み出し、そしてサムネイルインデキシング情報を用いて、サムネイル画像それぞれを、顔サムネイル表示エリアの下方側または上方側の一方に配置されたサムネイル表示エリア(以下、じゃばらサムネイル表示エリアと称する)上に、それらサムネイル画像の出現時間順に一列に並べて表示する。
In addition, the face image list
映像コンテンツデータによっては、顔画像が登場しない時間帯も存在する。したがって、インデキシングビュー画面上に顔サムネイル表示エリアのみならず、じゃばらサムネイル表示エリアも表示することにより、顔画像が登場しない時間帯においても、その時間帯の映像コンテンツデータの内容をユーザに提示することができる。 Depending on the video content data, there may be a time period when the face image does not appear. Therefore, by displaying not only the face thumbnail display area but also the loose thumbnail display area on the indexing view screen, the contents of the video content data in that time period can be presented to the user even during the time period when the face image does not appear. Can do.
さらに、顔画像一覧表示処理部301は、データベース111Aから区間属性情報(CM区間属性情報、音楽区間属性情報、トーク区間属性情報)を読み出し、その区間属性情報に従って、映像コンテンツデータの開始位置から終端位置までのシーケンス内における各属性区間(CM区間、音楽区間、トーク区間)の位置(開始時点から終了時点までの区間)を示すバー領域を含む区間バーを、インデキシングビュー画面上の顔サムネイル表示エリアの下方側または上方側の一方に表示する。
Further, the face image list
インデキシングビュー画面上に区間バーを表示することにより、顔サムネイル表示エリア内の各顔画像がどのような属性区間(CM区間、音楽区間、トーク区間)に登場する人物の顔画像であるかを、ユーザに提示することができる。したがって、ユーザは、登場人物と、区間属性とを考慮して、映像コンテンツデータ全体の中から再生を開始すべきデータ位置を見つけることができる。 By displaying a section bar on the indexing view screen, it is possible to determine in which attribute section (CM section, music section, talk section) each face image in the face thumbnail display area is a face image of a person appearing. It can be presented to the user. Therefore, the user can find the data position where playback should start from the entire video content data in consideration of the characters and the section attributes.
さらに、顔画像一覧表示処理部301は、データベース111Aから歓声レベル情報および盛り上がりレベル情報を読み出し、それら歓声レベル情報および盛り上がりレベル情報に従って、映像コンテンツデータの開始位置から終端位置までのシーケンス内における歓声レベルの変化および盛り上がりレベルの変化をそれぞれ示すグラフを、インデキシングビュー画面上の顔サムネイル表示エリアの下方側または上方側の一方に配置されたレベル表示エリア上に表示する。
Further, the face image list
このレベル表示エリアを見ることにより、ユーザは、映像コンテンツデータ内のどの辺りに大きな歓声が生じた区間が存在し、また映像コンテンツデータ内のどの辺りに盛り上がりの大きな区間が存在するかを知ることができる。ユーザは、登場人物と、区間属性と、歓声レベルと、盛り上がりレベルとを考慮して、映像コンテンツデータ全体の中から再生を開始すべきデータ位置を見つけることができる。 By looking at this level display area, the user knows where in the video content data there is a section where a great cheer has occurred, and where in the video content data there is a section where there is a large excitement. Can do. The user can find a data position where reproduction should be started from the entire video content data in consideration of the characters, section attributes, cheer level, and excitement level.
図5は、顔画像分類処理によって複数の顔画像を分類することによって得られる幾つかの顔画像グループと各顔画像グループに対応するID(顔ID)との関係を示している。 FIG. 5 shows the relationship between several face image groups obtained by classifying a plurality of face images by face image classification processing and IDs (face IDs) corresponding to the face image groups.
ビデオプロセッサ113は、ある映像コンテンツデータの動画像データから抽出した顔画像間の特徴データの相関に基づいて、同一人物に対応する顔画像それぞれを同一カテゴリーに分類する顔画像分類処理を実行する。顔画像分類処理においては、類似する特徴を有する顔画像同士が同一カテゴリー(同一の顔画像グループ)に分類される。図5に示すように、同一人物に対応する顔画像それぞれには、同一のID(顔ID)が付与される。図5においては、カテゴリー1は、ある人物Aの顔画像の集合を示しており、カテゴリー2は、ある人物Bの顔画像の集合を示しており、またカテゴリー3は、ある人物Cの顔画像の集合を示している。カテゴリー1に属する顔画像それぞれには、人物Aを識別するためのID(顔ID=A)が関連付けられる。カテゴリー2に属する顔画像それぞれには、人物Bを識別するためのID(顔ID=B)が関連付けられる。カテゴリー3に属する顔画像それぞれには、人物Cを識別するためのID(顔ID=C)が関連付けられる。
The
次に、図6を参照して、TVアプリケーションプログラム202の機能構成を説明する。
Next, the functional configuration of the
TVアプリケーションプログラム202は、上述の顔画像一覧表示処理部301に加え、記録処理部401、インデキシング制御部402、再生処理部403、コンテンツ管理部404等を備えている。
The
記録処理部401は、TVチューナ117によって受信された放送番組データ、または外部機器から入力されるビデオデータをHDD111に記録する記録処理を実行する。また、記録処理部401は、ユーザによって予め設定された録画予約情報(チャンネル番号、日時)によって指定される放送番組データをTVチューナ117を用いて受信し、その放送番組データをHDD111に記録する予約録画処理も実行する。
The
インデキシング制御部402は、ビデオプロセッサ(インデキシング処理部)113を制御して、インデキシング処理(映像インデキシング処理、音声インデキシング処理)をビデオプロセッサ113に実行させる。ユーザは、録画対象の放送番組データ毎にインデキシング処理を実行するか否かを指定することができる。例えば、インデキシング処理の実行が指示された録画対象の放送番組データについては、その放送番組データをHDD111に記録する処理と並行してインデキシング処理が自動的に開始される。また、ユーザは、既にHDD111に格納されている映像コンテンツデータの内から、インデキシング処理を実行すべき映像コンテンツデータを指定することもできる。
The
再生処理部403は、HDD111に格納されている各映像コンテンツデータを再生する処理を実行する。また、再生処理部403は、ある映像コンテンツデータの顔画像一覧の中の一つの顔画像が選択されている状態でユーザ操作によって再生要求イベントが入力された時、選択されている顔画像が出現する、映像コンテンツデータ内の位置に対応する時点から、映像コンテンツデータの再生を開始することができる。
The
ユーザは、顔画像一覧を見ながら、映像コンテンツデータの再生を開始すべき位置を決定することができる。したがって、ユーザは、顔画像一覧の中の任意の顔画像を選択的に指定することにより、たとえば、ユーザにとって興味がある人物が登場する1以上のシーンのみを視聴することができる。 The user can determine the position where the reproduction of the video content data is to be started while viewing the face image list. Therefore, the user can view only one or more scenes in which a person interested in the user appears by selectively specifying an arbitrary face image in the face image list.
なお、インデキシング処理は、必ずしもビデオプロセッサ113によって実行する必要はなく、例えば、TVアプリケーションプログラム202にインデキシング処理を実行する機能を設けてもよい。この場合、インデキシング処理は、TVアプリケーションプログラム202の制御の下に、CPU101によって実行される。
Note that the indexing process is not necessarily executed by the
コンテンツ管理部404は、HDD111に格納された各映像コンテンツデータを管理する。このコンテンツ管理部404は、HDD111に格納された映像コンテンツデータの一覧を表示するためのコンテンツ一覧画面を表示する処理、および上述の削除決定支援機能を実行する。たとえば、コンテンツ一覧画面から削除対象映像コンテンツデータがユーザによって選択された時、コンテンツ管理部404は、ユーザに削除対象映像コンテンツデータの概要を提示するために、削除対象映像コンテンツデータから抽出された静止画像(顔画像、またはサムネイル画像)それぞれがそれら静止画像の出現時間順に並べられた削除確認画面を表示する。
The
次に、図7および図8を参照して、インデキシングビュー画面の具体的な構成について説明する。 Next, a specific configuration of the indexing view screen will be described with reference to FIGS. 7 and 8.
図7には、顔画像一覧表示処理部301によってLCD17に表示されるインデキシングビュー画面の例が示されている。このインデキシングビュー画面は、ある映像コンテンツデータ(例えば放送番組データ)をインデキシング処理することによって得られた画面である。このインデキシングビュー画面には、顔画像の一覧を表示するための上述の顔サムネイル表示エリアと、上述のレベル表示エリアと、上述の区間バーと、サムネイル画像の一覧をじゃばら形式で表示するための上述のじゃばらサムネイル表示エリアとを含んでいる。
FIG. 7 shows an example of an indexing view screen displayed on the
ここで、じゃばら形式とは、選択されているサムネイル画像を通常サイズで表示し、他の各サムネイル画像についてはその横方向サイズを縮小して表示する表示形式である。図7においては、左端のサムネイル画像が選択されている場合を示している。 Here, the loose format is a display format in which a selected thumbnail image is displayed in a normal size, and the other thumbnail images are displayed in a reduced size in the horizontal direction. FIG. 7 shows a case where the leftmost thumbnail image is selected.
顔画像一覧表示処理部301は、ユーザ操作によって選択されたサムネイル画像を第1の横幅サイズで表示し、他の各サムネイル画像の横幅サイズを第1の横幅サイズよりも小さい横幅サイズで表示する。具体的には、選択されたサムネイル画像は第1の横幅サイズで表示され、その選択されたサムネイル画像の近傍の幾つかサムネイル画像はその横幅が縮小された状態で表示され、他の各サムネイル画像はさらに僅かな横幅で表示される。選択されているサムネイル画像には、さらに矩形の枠を付加してもよい。
The face image list
レベル表示エリアにおいては、歓声レベルの変化を示すグラフ(図7中の濃い色で示されるグラフ)と、盛り上がりレベルの変化を示すグラフ(図7中の薄い色で示されるグラフ)が表示される。 In the level display area, a graph indicating a change in cheering level (a graph indicated by a dark color in FIG. 7) and a graph indicating a change in a rising level (a graph indicated by a light color in FIG. 7) are displayed. .
区間バーは、トーク区間、音楽区間、CM区間それぞれの位置を示す。区間バーにおいては、各CM区間の位置にはある色のバー領域(図7の黒色の帯状領域)が表示される。また、各音楽区間の位置には他の色のバー領域(図7のクロスハッチングされた帯状領域)が表示される。また、各トーク区間の位置にはさらに別の色のバー領域(図7のハッチングされた帯状領域)が表示される。ユーザは、リモコンユニットのボタン、上下左右等のカーソルキーの操作により、区間バー内の一つのバー領域を選択することもできる。 The section bar indicates the position of each of the talk section, music section, and CM section. In the section bar, a bar area of a certain color (black strip area in FIG. 7) is displayed at the position of each CM section. In addition, bar areas of other colors (cross-hatched belt-like areas in FIG. 7) are displayed at the positions of the music sections. Further, a bar area of another color (a hatched band-like area in FIG. 7) is displayed at the position of each talk section. The user can also select one bar area in the section bar by operating the buttons on the remote control unit and the cursor keys such as up / down / left / right.
顔サムネイル表示エリアにおいては、複数の顔画像の一覧が表示される。なお、顔画像が一定期間以上連続して検出されなかった場合には、フレーム全体のサムネイル画像を顔サムネイル表示エリアに表示しても良い。また、シーンの変わり目毎に、フレーム全体のサムネイル画像を顔サムネイル表示エリアに表示しても良い。 In the face thumbnail display area, a list of a plurality of face images is displayed. When face images are not detected continuously for a certain period or longer, thumbnail images of the entire frame may be displayed in the face thumbnail display area. In addition, a thumbnail image of the entire frame may be displayed in the face thumbnail display area at each scene change.
図8は、顔サムネイル表示エリアの構成例が示されている。 FIG. 8 shows a configuration example of the face thumbnail display area.
顔サムネイル表示エリアは、複数の行と複数の列とを含むマトリクス状に配置された複数個の顔画像表示エリアを含んでいる。図8においては、顔サムネイル表示エリアは6行×16列から構成されている。顔サムネイル表示エリアに含まれる顔画像表示エリアの数は、96個である。 The face thumbnail display area includes a plurality of face image display areas arranged in a matrix including a plurality of rows and a plurality of columns. In FIG. 8, the face thumbnail display area is composed of 6 rows × 16 columns. The number of face image display areas included in the face thumbnail display area is 96.
列1〜列16のそれぞれには、互いに同一の時間長Tを有する複数の時間帯がそれぞれ割り当てられる。時間長Tは、映像コンテンツデータの総時間長を列数(=16)で等間隔で分割することによって得られる。 A plurality of time zones having the same time length T are assigned to each of the columns 1 to 16. The time length T is obtained by dividing the total time length of the video content data by equal number of columns (= 16).
例えば、映像コンテンツデータの総時間長が2時間であるならば、その2時間が16個の時間帯に等間隔で分割される。この場合、各時間帯の時間長Tは、7.5分である。例えば、列1には、先頭0:00:00から0:07:30までの時間帯が割り当てられ、列2には、0:07:30から0:15:00までの時間帯が割り当てられ、列3には、0:15:00から0:22:30までの時間帯が割り当てられる。映像コンテンツデータの総時間長に応じて、各時間帯の時間長Tは変化する。
For example, if the total time length of the video content data is 2 hours, the 2 hours are divided into 16 time zones at equal intervals. In this case, the time length T of each time zone is 7.5 minutes. For example, column 1 is assigned the time zone from the beginning 0:00:00 to 0:07:30, and
もちろん、複数の列それぞれに割り当てられる時間帯の長さは、必ずしも同一である必要はない。 Of course, the length of the time zone assigned to each of the plurality of columns is not necessarily the same.
顔画像一覧表示処理部301は、ビデオプロセッサ113によって抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、各列内の6個の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをたとえば上述の頻度順または出現順に並べて表示する。この場合、顔画像一覧表示処理部301は、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から行数分(6個)の顔画像を選択し、選択した行数分の顔画像それぞれを並べて表示する。
The face image list
このように、顔サムネイル表示エリアにおいては、左端位置(1,1)を基点とし、右端位置(6,16)を映像コンテンツデータの終端とする時間軸が用いられている。 In this way, the face thumbnail display area uses a time axis with the left end position (1, 1) as a base point and the right end position (6, 16) as the end of video content data.
顔サムネイル表示エリアの各顔画像表示エリアに表示される顔画像のサイズは“大”、“中”、“小”の内からユーザが選択することができる。行と列の数は、ユーザが選択した顔画像のサイズに応じて変化される。顔画像のサイズと行と列の数との関係は、次の通りである。 The size of the face image displayed in each face image display area of the face thumbnail display area can be selected from “large”, “medium”, and “small”. The number of rows and columns is changed according to the size of the face image selected by the user. The relationship between the size of the face image and the number of rows and columns is as follows.
(1)“大”の場合; 3行×8列
(2)“中”の場合; 6行×16列
(3)“小”の場合: 10行×24列
“大”の場合においては、各顔画像は、例えば、180×180ピクセルのサイズで表示される。“中”の場合においては、各顔画像は、例えば、90×90ピクセルのサイズで表示される。“小”の場合においては、各顔画像は、例えば、60×60ピクセルのサイズで表示される。デフォルトの顔画像サイズは、例えば、“中”に設定されている。
(1) “Large”; 3 rows x 8 columns (2) “Medium”; 6 rows x 16 columns (3) “Small”: 10 rows x 24 columns “Large” Each face image is displayed with a size of 180 × 180 pixels, for example. In the case of “medium”, each face image is displayed with a size of 90 × 90 pixels, for example. In the case of “small”, each face image is displayed with a size of 60 × 60 pixels, for example. The default face image size is set to “medium”, for example.
顔サムネイル表示エリア内の各顔画像は、選択されていない“標準”状態、選択されている“フォーカス”状態の2つの状態のいずれかに設定される。“フォーカス”状態の顔画像のサイズは、“標準”状態の時のサイズ(180×180、90×90、または60×60)よりも大きく設定される。図8においては、座標(1,12)の顔画像が“フォーカス”状態である場合を示している。 Each face image in the face thumbnail display area is set to one of two states, a “normal” state that is not selected and a “focus” state that is selected. The size of the face image in the “focus” state is set larger than the size in the “standard” state (180 × 180, 90 × 90, or 60 × 60). FIG. 8 shows a case where the face image at the coordinates (1, 12) is in the “focus” state.
じゃばらサムネイル表示エリアに表示されるサムネイル画像の枚数は、ユーザ設定に従って、例えば240枚、144枚、96枚、48枚のいずれかに設定される。デフォルトは例えば240枚である。 The number of thumbnail images displayed in the loose thumbnail display area is set to, for example, 240, 144, 96, or 48 according to the user setting. The default is 240 sheets, for example.
サムネイル画像は、選択されていない“標準”状態、選択されている“フォーカス”状態の2つの状態のいずれかに設定される。“フォーカス”状態のサムネイル画像は、他のサムネイル画像よりも大きいサイズで表示される。 The thumbnail image is set to one of two states, a “normal” state that is not selected and a “focus” state that is selected. The thumbnail image in the “focus” state is displayed in a larger size than the other thumbnail images.
次に、図9を参照して、コンテンツ管理部404によって実行される削除確認処理について説明する。
Next, the deletion confirmation process executed by the
ユーザによって映像コンテンツデータの一覧表示が要求された時またはユーザによってコンテンツ削除が要求された時に、コンテンツ管理部404は、図9の上側に示されているようなコンテンツ一覧画面をLCD17の表示画面上に表示する。HDD111に映像コンテンツデータA、映像コンテンツデータB、映像コンテンツデータC、および映像コンテンツデータDが格納されているならば、コンテンツ管理部404は、映像コンテンツデータA,B,C,Dそれぞれに対応するサムネイル画像、または映像コンテンツデータA,B,C,Dそれぞれに対応するフォルダアイコン等を、コンテンツ一覧画面上に表示する。さらに、サムネイル画像またはフォルダアイコンに対応付けて、各映像コンテンツデータのファイル名または番組名などを表示してもよい。
When the video content data list display is requested by the user or the content deletion is requested by the user, the
ユーザによるリモコンユニットまたはキーボード13の操作によって映像コンテンツデータA,B,C,D内のある映像コンテンツデータが削除対象の映像コンテンツデータとして選択された時、コンテンツ管理部404は、図9の下側に示されているような削除確認画面をLCD17の表示画面上に表示する。削除確認画面は、削除対象映像コンテンツデータに対応する顔画像(顔サムネイル画像)の一覧と、削除確認ダイアログとを表示する。この削除確認ダイアログには、削除対象の映像コンテンツデータを削除してもよいかどうかをユーザに確認するためのメッセージと、YESボタン、NOボタンとが表示される。
When a certain video content data in the video content data A, B, C, D is selected as the video content data to be deleted by the operation of the remote control unit or the
例えば、コンテンツ一覧画面から映像コンテンツデータBが削除対象映像コンテンツデータとしてユーザによって選択された場合、コンテンツ管理部404は、データベース111から映像コンテンツデータBに対応する顔画像群(顔サムネイル画像群)を取得し、それら顔画像群を削除確認画面上に表示すると共に、削除確認ダイアログを削除確認画面上に表示する。映像コンテンツデータBに対応する顔画像群(顔サムネイル画像群)は、例えば、それら顔画像が出現する順番で並んで表示される。
For example, when the video content data B is selected as deletion target video content data from the content list screen by the user, the
削除確認画面には削除対象映像コンテンツデータに対応する全ての顔画像を表示してもよいが、削除対象映像コンテンツデータの開始から終了までのシーケンスの中で過去に再生されたことがある各区間(再生された各シーン)に出現する各顔画像のみを削除確認画面上に表示してもよい。このように、ユーザによる過去の再生履歴を考慮することにより、削除対象映像コンテンツデータの削除/非削除をユーザが決定するために有用な顔画像群を削除確認画面上に効率よく表示することができる。 Although all face images corresponding to the deletion target video content data may be displayed on the deletion confirmation screen, each section that has been reproduced in the past in the sequence from the start to the end of the deletion target video content data Only the face images that appear in (reproduced scenes) may be displayed on the deletion confirmation screen. As described above, by considering the past reproduction history by the user, it is possible to efficiently display a group of face images useful for the user to decide whether to delete / not delete the deletion target video content data on the deletion confirmation screen. it can.
また、削除対象映像コンテンツデータに対応する全ての顔画像を削除確認画面上に表示しておき、さらに、全ての顔画像の中で、過去に再生されたことがある区間(再生されたシーン)に出現する各顔画像のみを強調表示しても良い。 Further, all face images corresponding to the deletion target video content data are displayed on the deletion confirmation screen, and further, a section that has been reproduced in the past (reproduced scene) among all the face images. Only the face images appearing on the screen may be highlighted.
図10は、図7で説明したインデックスビュー画面を利用した削除確認画面の例を示している。 FIG. 10 shows an example of a deletion confirmation screen using the index view screen described in FIG.
図9の上側に示したコンテンツ一覧画面上でユーザがある映像コンテンツデータの削除を指定する操作を行った時、コンテンツ管理部404は、図10の画面を、削除確認画面としてLCD17の表示画面上に表示する。
When the user performs an operation for designating deletion of video content data on the content list screen shown in the upper side of FIG. 9, the
図10の削除確認画面は、図7のインデックスビュー画面と、このインデックスビュー画面上に表示される削除確認ダイアログとから構成されている。なお、必ずしもインデックスビュー画面全体を削除確認画面として使用する必要はなく、インデックスビュー画面内の顔サムネイル表示エリアのみを削除確認画面の表示に使用しても良い。この場合、削除確認画面は、顔サムネイル表示エリアと削除確認ダイアログとから構成される。 The deletion confirmation screen in FIG. 10 includes the index view screen in FIG. 7 and a deletion confirmation dialog displayed on the index view screen. Note that it is not always necessary to use the entire index view screen as the deletion confirmation screen, and only the face thumbnail display area in the index view screen may be used to display the deletion confirmation screen. In this case, the deletion confirmation screen includes a face thumbnail display area and a deletion confirmation dialog.
また、顔サムネイル表示エリアに表示される顔画像群の中の特定の顔画像群のみを表示するようにしてもよい。この場合、特定の顔画像群としては、削除対象映像コンテンツデータの開始から終了までのシーケンスの内で、過去に再生されたことのある区間(再生されたシーン)内に出現する顔画像群を使用することができる。コンテンツ管理部404は、映像コンテンツデータ毎にその再生された区間を示す情報、または再生された区間に出現する各顔画像を示す情報等を再生履歴情報として管理する。コンテンツ管理部404は、この再生履歴情報を用いて、削除対象映像コンテンツデータに対応する顔画像群から、再生されたことのある区間(シーン)内に属する顔画像群を選択する。そして、コンテンツ管理部404は、選択した顔画像群のみを削除確認画面上に表示する。
Further, only a specific face image group among the face image groups displayed in the face thumbnail display area may be displayed. In this case, the specific face image group is a face image group that appears in a section (reproduced scene) that has been reproduced in the past in the sequence from the start to the end of the deletion target video content data. Can be used. The
なお、顔サムネイル表示エリアに表示される顔サムネイル一覧を削除確認画面の表示に使用する場合した場合においては、顔サムネイル表示エリアに表示される顔画像群の中で、再生されたことのある区間(再生されたシーン)内に属する顔画像群を第1表示モード(強調表示モード)で表示し、他の各顔画像を標準表示モードのような第2表示モードで表示してもよい。第1表示モードは所定の顔画像を強調表示するための表示モードである。顔画像を強調表示する表土モードの例としては、例えば、(1)顔画像に枠を付ける、(2)顔画像のサイズを大きくする、等がある。 If the face thumbnail list displayed in the face thumbnail display area is used to display the deletion confirmation screen, the section that has been played in the face image group displayed in the face thumbnail display area A group of face images belonging to (reproduced scene) may be displayed in the first display mode (highlight display mode), and each other face image may be displayed in a second display mode such as the standard display mode. The first display mode is a display mode for highlighting a predetermined face image. Examples of the topsoil mode for highlighting the face image include (1) adding a frame to the face image, (2) increasing the size of the face image, and the like.
本実施形態では、ユーザによって選択されたインデキシングビュー画面上の任意の顔画像を再生処理の開始のトリガとして使用し、その顔画像が出現する時点から映像コンテンツデータを再生することが出来る。したがって、本実施形態では、これまでに再生処理を開始するトリガとして使用されたことのある顔画像、つまり再生を開始する時点の基準として選択されたことのある顔画像を、再生されたことのある区間(再生されたシーン)内に出現する顔画像として使用することができる。この場合、コンテンツ管理部404は、映像コンテンツデータ毎にその再生のトリガとして使用された顔画像を識別する識別子(または当該顔画像に対応する人物のID(顔ID)等)を再生履歴情報として記憶および管理する。そして、コンテンツ管理部404は、再生履歴情報に基づいて、削除対象映像コンテンツデータに対応する顔画像群から、再生を開始する時点の基準として使用されたことのある各顔画像を選択し、選択した顔画像それぞれを、再生されたシーン内に出現する顔画像として、削除確認画面上に表示する。
In the present embodiment, an arbitrary face image on the indexing view screen selected by the user can be used as a trigger for starting the reproduction process, and video content data can be reproduced from the point in time when the face image appears. Therefore, in the present embodiment, a face image that has been used as a trigger for starting the reproduction process so far, that is, a face image that has been selected as a reference at the time of starting reproduction has been reproduced. It can be used as a face image that appears in a certain section (reproduced scene). In this case, the
これにより、ユーザによって過去に再生のトリガとして選択された各顔画像をユーザに提示することができる。再生のトリガとして選択された顔画像はユーザが興味を持つ人物の顔画像である場合が多い。したがって、再生のトリガとして使用されたことのある各顔画像を削除確認画面上に表示することにより、削除対象映像コンテンツデータの削除/非削除の決定のために有用な顔画像を効率よくユーザに提示することができる。 Thereby, each face image selected as a trigger for reproduction in the past by the user can be presented to the user. In many cases, the face image selected as a trigger for reproduction is a face image of a person interested in the user. Therefore, by displaying each face image that has been used as a trigger for playback on the deletion confirmation screen, a face image useful for determining whether to delete or not delete the video content data to be deleted can be efficiently displayed to the user. Can be presented.
また、再生のトリガとして実際に使用されたことのある顔画像のみならず、この顔画像と同一のグループに属する全ての顔画像を、再生されたシーン内に出現する人物の顔画像として、削除確認画面上に表示してもよい。この場合、コンテンツ管理部404は、再生のトリガとして使用された顔画像と、当該顔画像と同一の人物に対応する各顔画像とを、削除対象動画像データに対応する顔画像群の内から選択し、選択した顔画像それぞれを削除確認画面上に表示する。
In addition to the face image that has actually been used as a trigger for playback, all face images belonging to the same group as this face image are deleted as face images of people appearing in the played scene. You may display on a confirmation screen. In this case, the
また、再生されたシーンに出現する顔画像群を削除確認画面上に表示するための他の例としては、総再生時間が長い顔画像を優先して削除確認画面上に表示する処理を使用し得る。この場合、コンテンツ管理部404は、顔画像毎に当該顔画像に対応するフレームが削除対象動画像データの再生によって再生された総再生時間を管理する。具体的には、コンテンツ管理部404は、例えば、再生されたシーン内に含まれる顔画像毎(または再生されたシーン内に含まれる顔画像グループ毎)に、当該顔画像に対応するフレームが再生された総時間長(総再生時間長)を規定するための再生履歴情報を管理する。再生回数が多いシーンに含まれている顔画像(または顔画像グループ)ほど、その顔画像(またはその顔画像グループ)の延べ再生時間は長くなる。コンテンツ管理部404は、削除対象映像コンテンツデータに対応する顔画像群の内から、総再生時間の長い上位所定個数の顔画像を選択し、この選択された顔画像それぞれを、再生されたシーン内に出現する顔画像として、削除確認画面上に表示する。
As another example for displaying the face image group appearing in the reproduced scene on the deletion confirmation screen, a process of displaying a face image with a long total reproduction time on the deletion confirmation screen is used. obtain. In this case, the
図11は、インデックスビュー画面を利用した削除確認画面の別の例を示している。 FIG. 11 shows another example of the deletion confirmation screen using the index view screen.
図11の削除確認画面は、顔サムネイル表示エリアに表示される顔画像一覧と、削除確認ダイアログとから構成されている。顔画像一覧の内、再生されたシーンに出現する各顔画像は強調表示される。図11においては、再生されたシーンに出現する各顔画像に枠が付加されている例が示されている。また、ユーザによって過去に再生のトリガとして選択された顔画像(図11における顔画像B1)は、例えば、大きなサイズで表示してもよい。 The deletion confirmation screen in FIG. 11 includes a face image list displayed in the face thumbnail display area and a deletion confirmation dialog. Each face image appearing in the reproduced scene is highlighted in the face image list. FIG. 11 shows an example in which a frame is added to each face image appearing in the reproduced scene. Further, the face image (face image B1 in FIG. 11) previously selected as a playback trigger by the user may be displayed in a large size, for example.
また、ユーザによって過去に再生のトリガとして選択された顔画像と同一の顔画像グループに属する顔画像それぞれを強調表示してもよい。この場合の表示例を図12に示す。図12においては、ユーザによって過去に再生のトリガとして選択された顔画像(顔画像B1)と、この顔画像B1と同一の顔画像グループに属する各顔画像とが、強調表示されている。なお、これまでの間に、ユーザによって再生処理のトリガとして2人の人物それぞれに対応する2つの顔画像が選択されたことがある場合には、それら2人の人物の一方の人物に対応する顔画像群と、他方の人物に対応する顔画像群とが、強調表示される。 Further, each face image belonging to the same face image group as the face image selected by the user as a reproduction trigger in the past may be highlighted. A display example in this case is shown in FIG. In FIG. 12, a face image (face image B1) previously selected as a playback trigger by the user and each face image belonging to the same face image group as the face image B1 are highlighted. If two face images corresponding to each of the two persons have been selected by the user as a trigger for the reproduction process so far, one of the two persons is handled. The face image group and the face image group corresponding to the other person are highlighted.
次に、図13を参照して、コンテンツ管理部404の構成例を説明する。
Next, a configuration example of the
コンテンツ管理部404は、お気に入り登録部501、再生履歴管理部502、コンテンツ一覧表示処理部503、削除確認画面表示処理部504、および削除処理部505を備えている。
The
お気に入り登録部501は、映像コンテンツデータ毎にユーザによってお気に入り顔画像として選択された1以上の顔画像をお気に入りデータベース111Bに格納する。ユーザは、ある映像コンテンツデータに対応するインデックスビュー画面上に表示されている任意の顔画像をお気に入り顔画像として選択することができる。選択された顔画像はお気に入りデータベース111Bに格納される。
The
再生履歴管理部502は、映像コンテンツデータ毎に、再生されたシーン、再生されたシーンに出現する各顔画像、再生されたシーンの再生トリガとして使用された顔画像、再生されたシーンに出現する各顔画像(または各顔画像グループ)の総再生時間、等を再生履歴情報として管理することができる。この再生履歴情報は、再生履歴データベース111Cに保存される。総再生時間を示す情報としては、例えば、再生されたシーン内において各顔画像が登場する回数または登場する時間長を使用してもよい。また、各顔画像毎にそのフレームの再生回数を、総再生時間を示す情報として使用してもよい。
The reproduction
コンテンツ一覧表示処理部503は、HDD111に格納されている映像コンテンツデータの一覧を表示する。削除確認画面表示処理部504は、映像コンテンツデータの一覧から削除対象映像コンテンツデータがユーザによって選択された時、削除対象映像コンテンツデータの削除の有無をユーザに確認するための削除確認画面を表示する。この場合、削除確認画面表示処理部504は、データベース11Aから削除対象映像コンテンツデータに対応する顔画像群を取得し、削除確認画面上にそれら顔画像群を並べて表示する。この場合、削除確認画面表示処理部504は、再生履歴データベース111C内の再生履歴情報を参照することにより、削除対象映像コンテンツデータに対するユーザの再生操作の履歴に基づいて、削除確認画面上に表示すべき顔画像群(または削除確認画面上に表示された顔画像群の中で強調表示する顔画像群)を選択することが出来る。また、削除確認画面表示処理部504は、お気に入りデータベース111Bから削除対象映像コンテンツデータに対応するお気に入り顔画像を取得し、そのお気に入り顔画像を削除確認画面上に表示することもできる。
A content list
削除処理部505は、削除確認画面上の削除確認ダイアログ内のYESボタンがユーザ操作によって選択された時、削除対象映像コンテンツデータをHDD111から削除する。
The
次に、図14のフローチャートを参照して、顔画像一覧表示処理部301によって実行される表示処理の手順を説明する。
Next, the procedure of the display process executed by the face image list
まず、顔画像一覧表示処理部301は、データベース111Aに格納されている顔画像それぞれを、それら顔画像に対応するタイムスタンプ情報に基づいて、それら顔画像の登場時間順(出現時間順)にソートする(ステップS101)。次いで、顔画像一覧表示処理部301は、ユーザによって指定された表示すべき顔画像サイズに応じて行及び列の数を決定すると共に、例えばインデキシング対象の映像コンテンツデータの総時間長を列数で均等に分割することによって、各列(大区間)に割り当てる時間帯を算出する。そして、顔画像一覧表示処理部301は、表示処理対象の列に割り当てられた時間帯内に属する顔画像の内から、行数分の顔画像を選択する(ステップS102)。表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも多い場合には、顔画像一覧表示処理部301は、例えば、出現頻度の高い顔画像を優先的に選択する処理を実行することもできる。
First, the face image list
この場合、顔画像一覧表示処理部301は、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、当該時間帯において登場する頻度の高い顔画像を優先的に選択する。また、表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも多い場合、顔画像一覧表示処理部301は、データベース11Aに格納された顔画像それぞれのサイズ情報に基づいて、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、サイズの大きい顔画像を優先的に選択する処理を実行することもできる。
In this case, the face image list
クローズアップされた顔を映すフレームから抽出される顔画像のサイズは、比較的大きなものとなる。したがって、抽出された顔画像のサイズが大きいほど、重要度の高い人物である可能性が高い。よって、サイズの大きい顔画像を優先的に選択することにより、重要度の高い人物の顔画像を優先的に表示することが可能となる。 The size of the face image extracted from the frame showing the close-up face is relatively large. Therefore, the larger the size of the extracted face image, the higher the possibility that the person is more important. Therefore, it is possible to preferentially display a face image of a highly important person by preferentially selecting a large face image.
次いで、顔画像一覧表示処理部301は、表示処理対象の列内の複数の顔画像表示エリアに、選択した顔画像それぞれを例えば出現頻度順または出現時間順に並べて表示する(ステップS103)。出現頻度の高い顔画像ほど、または出現時間の早い顔画像ほど、上方の顔画像表示エリアに表示される。
Next, the face image list
ステップS102,S103の処理は、全ての列に対する処理が完了するまで、表示処理対象の列の番号を更新しながら繰り返し実行される(ステップS104,S105)。この結果、顔画像表示エリアには、複数の顔画像が表示モードで表示される。 The processes in steps S102 and S103 are repeatedly executed while updating the numbers of the display process target columns until the processes for all the columns are completed (steps S104 and S105). As a result, a plurality of face images are displayed in the display mode in the face image display area.
なお、表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも少ない場合には、対応する時間帯内に属するサムネイル画像を表示処理対象の列に表示することも出来る。 If the number of face images belonging to the time zone assigned to the display processing target column is smaller than the number of rows, thumbnail images belonging to the corresponding time zone may be displayed in the display processing target column. I can do it.
全ての列に対する処理が完了すると(ステップS104のNO)、顔画像一覧表示処理部301は、データベース11Aに格納されているサムネイル画像それぞれを、それらサムネイル画像それぞれのタイムスタンプ情報に基づいて、じゃばらサムネイル表示エリア上にそれらサムネイル画像が出現する時間順に一列に並べて表示する(ステップS106)。
When the processing for all the columns is completed (NO in step S104), the face image list
次いで、顔画像一覧表示処理部301は、データベース111Aから歓声レベル情報および盛り上がりレベル情報を読み出し、それら歓声レベル情報および盛り上がりレベル情報に従って、レベル表示エリア上に、映像コンテンツデータの開始位置から終端位置までのシーケンス内における歓声レベルの変化を示すグラフと、シーケンス内における盛り上がりレベルの変化をそれぞれ示すグラフとを表示する(ステップS107)。
Next, the face image list
次に、顔画像一覧表示処理部301は、データベース111AからCM区間属性情報、音楽区間属性情報、およびトーク区間属性情報を読み出し、それらCM区間属性情報、音楽区間属性情報、およびトーク区間属性情報に基づいて、CM区間バー、音楽区間バー、トーク区間バーをそれぞれ表示する(ステップS108)。CM区間バーには、CM区間の位置を示すバー領域が表示される。同様に、音楽区間バーには音楽区間の位置を示すバー領域が表示され、トーク区間バーにはトーク区間の位置を示すトークバー領域が表示される。
Next, the face image list
次に、図15のフローチャートを参照して、再生処理部403によって実行される再生処理の手順を説明する。
Next, with reference to the flowchart of FIG. 15, the procedure of the reproduction process executed by the
ユーザ操作に応じて映像コンテンツデータの再生を指示するイベントが入力された時(ステップS301のYES)、再生処理部403は、顔画像一覧表示処理部301と連携して、顔サムネイル表示エリア上のある顔画像がユーザによって選択されているか否かを判定する(ステップS302)。選択されている顔画像が存在するならば(ステップS302のYES)、再生処理部403は、選択されている顔画像のタイムスタンプ情報に基づいて、選択されている顔画像が登場する時点を検出する(ステップS303)。そして、再生処理部403は、検出された時点、または検出された時点よりも所定時間前の時点(たとえば2秒前の時点)から、映像コンテンツデータの再生を開始する(ステップS304)。
When an event instructing reproduction of video content data is input in response to a user operation (YES in step S301), the
なお、じゃばらサムネイル表示エリア上のあるサムネイル画像が選択されている状態で映像コンテンツデータの再生を指示するイベントが入力された時には、その選択されているサムネイル画像のタイムスタンプ情報に基づいて、再生処理部403は、選択されているサムネイル画像が出現する時点、または選択されているサムネイル画像が出現する時点よりも所定時間前の時点(たとえば、2秒前の時点)から、映像コンテンツデータの再生を開始する。
When an event instructing playback of video content data is input in a state where a thumbnail image on the jumble thumbnail display area is selected, playback processing is performed based on the time stamp information of the selected thumbnail image. The
このように、顔画像およびサムネイル画像のどちらも、映像コンテンツデータの再生のトリガとして使用することがとできる。 Thus, both the face image and the thumbnail image can be used as a trigger for reproducing the video content data.
次に、図16のフローチャートを参照して、コンテンツ管理部404によって実行される削除確認処理の手順を説明する。
Next, a procedure of the deletion confirmation process executed by the
ユーザ操作によって映像コンテンツデータの一覧表示が要求された時またはユーザ操作によってコンテンツ削除が要求された時、コンテンツ管理部404は、HDD111に格納されている映像コンテンツデータの一覧を提示するコンテンツ一覧画面をLCD17の表示画面上に表示する(ステップS401)。
When a list display of video content data is requested by a user operation or when content deletion is requested by a user operation, the
ユーザ操作によってある映像コンテンツデータが削除対象の映像コンテンツデータが選択されたならば(ステップS402のYES)、コンテンツ管理部404は、削除対象映像コンテンツデータに対応する顔画像群を、それら顔画像群それぞれが出現する時間順に対応する順番に従って、削除確認画面上に時系列に並べて表示すると共に、削除確認画面に削除確認ダイアログを表示する(ステップS403)。
If video content data to be deleted is selected as a video content data by a user operation (YES in step S402), the
削除確認ダイアログ内のYESボタンがユーザによってクリックされた場合、つまり削除対象映像コンテンツデータの削除をユーザが決定した場合(ステップS404のYES)、コンテンツ管理部404は、削除対象映像コンテンツデータをHDD111から削除する(ステップS405)。
When the user clicks the YES button in the deletion confirmation dialog, that is, when the user decides to delete the deletion target video content data (YES in step S404), the
以上のように、本実施形態においては、ユーザによってある映像コンテンツデータの削除が指定された時に、削除対象映像コンテンツデータの削除/非削除をユーザに再確認するためのメッセージのみならず、削除対象映像コンテンツデータの概要を示す顔画像群が、削除確認画面上に自動的に表示される。よって、ユーザに対して、削除対象映像コンテンツデータの削除/非削除を決定するために有用な情報を提示することが出来るので、映像コンテンツデータの削除に関するユーザ操作を支援することができる。 As described above, in this embodiment, when deletion of certain video content data is designated by the user, not only a message for reconfirming the deletion / non-deletion of deletion target video content data but also a deletion target A group of face images showing an outline of the video content data is automatically displayed on the deletion confirmation screen. Therefore, information useful for determining whether to delete or not delete the video content data to be deleted can be presented to the user, and user operations relating to deletion of the video content data can be supported.
なお、本実施形態では、削除対象映像コンテンツデータから抽出された顔画像群を削除確認画面上に表示する例を中心に説明したが、顔画像群の代わりに、削除対象映像コンテンツデータから抽出されたサムネイル画像群を削除確認画面上に表示するようにしてもよい。 Note that, in the present embodiment, description has been made centering on an example in which the face image group extracted from the deletion target video content data is displayed on the deletion confirmation screen. The thumbnail image group may be displayed on the deletion confirmation screen.
また、本実施形態では、各映像コンテンツデータが動画像データとオーディオデータとから構成されている場合を想定したが、各映像コンテンツデータは動画像データのみから構成されていても良い。 In the present embodiment, it is assumed that each video content data is composed of moving image data and audio data, but each video content data may be composed only of moving image data.
また、動画像データとこの動画像データから抽出された複数の静止画像(顔画像等)とがパッケージ化された映像コンテンツデータを使用することも出来る。この場合、インデキシング処理を行わずとも、削除確認画面上に静止画像群を表示することができる。 It is also possible to use video content data in which moving image data and a plurality of still images (such as face images) extracted from the moving image data are packaged. In this case, the still image group can be displayed on the deletion confirmation screen without performing the indexing process.
本実施形態の顔画像一覧表示処理、再生処理、および削除確認処理の手順は全てソフトウェアによって実現することができるので、このソフトウェアをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入することにより、本実施形態と同様の効果を容易に実現することができる。 Since the procedures of the face image list display process, the playback process, and the deletion confirmation process of the present embodiment can all be realized by software, this software can be implemented in a normal computer through a computer-readable storage medium. Effects similar to those of the embodiment can be easily realized.
また、本実施形態の電子機器はコンピュータ10によって実現するのみならず、例えば、HDDレコーダ、DVDレコーダ、テレビジョン装置といった様々なコンシューマ電子機器によって実現することもできる。この場合、TVアプリケーションプログラム202の機能は、DSP、マイクロコンピュータのようなハードウェアによって実現することができる。
In addition, the electronic device of the present embodiment can be realized not only by the
また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。 Further, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine a component suitably in different embodiment.
以下に、原出願の特許査定時の特許請求の範囲に記載された発明を付記する。
[1]1以上の動画像データと、前記動画像データ毎に当該動画像データから抽出された複数の静止画像から構成される静止画像群とを格納する記憶装置と、
前記1以上の動画像データの一覧を表示する第1の表示処理手段と、
前記動画像データの一覧から削除対象動画像データが選択された場合、前記削除対象動画像データの削除の可否を確認するための削除確認画面であって前記削除対象動画像データに対応する静止画像群が並べられた削除確認画面を表示する第2の表示処理手段とを具備し、
前記第2の表示処理手段は、前記削除対象動画像データに対応する静止画像群のうち、前記削除対象動画像データの開始から終了までのシーケンスの中で再生されたことがある区間内に出現する静止画像群を前記削除確認画面上に表示することを特徴とする電子機器。
[2]前記削除対象動画像データに対応する前記静止画像群は前記削除対象動画像データから抽出された複数の顔画像を含み、
前記1以上の動画像データから選択された動画像データに対応する顔画像の一覧を前記表示画面上に表示する第3の表示処理手段と、
前記顔画像の一覧の中から選択された顔画像が出現する、前記選択された動画像データ内の位置に対応する時点から、前記選択された動画像データの再生を開始する再生手段とをさらに具備し、
前記第2の表示処理手段は、前記削除対象動画像データに対応する顔画像群の内で、前記再生を開始する時点の基準として選択されたことのある各顔画像を、前記再生された区間内に出現する静止画像として、前記削除確認画面上に表示することを特徴とする[1]記載の電子機器。
[3]前記第2の表示処理手段は、前記再生を開始する時点の基準として選択されたことのある顔画像と、当該顔画像と同一の人物に対応する各顔画像とを、前記削除対象動画像データに対応する顔画像群の内から選択し、選択した顔画像それぞれを前記削除確認画面上に表示することを特徴とする[2]記載の電子機器。
[4]前記削除対象動画像データに対応する前記静止画像群は前記削除対象動画像データから抽出された複数の顔画像を含み、
前記顔画像毎に当該顔画像に対応するフレームが前記削除対象動画像データの再生によって再生された総再生時間を管理する再生履歴管理手段をさらに具備し、
前記第2の表示処理手段は、前記削除対象動画像データに対応する顔画像群の内から総再生時間の長い上位所定個数の顔画像を選択し、前記選択された各顔画像を、前記再生された区間内に属する静止画像として、前記削除確認画面上に表示することを特徴とする[1]記載の電子機器。
[5]前記第2の表示処理手段は、前記削除対象動画像データの削除の可否をユーザに確認するメッセージを、前記静止画像群が並べられた領域とは異なる領域に表示することを特徴とする[1]記載の電子機器。
[6]動画像データから複数の顔画像を抽出すると共に、抽出された各顔画像が前記動画像データ内に出現する時点を示すタイムスタンプ情報を出力するインデキシング処理手段と、
前記タイムスタンプ情報に基づいて、前記抽出された顔画像の一覧を表示エリア上に表示する顔画像一覧表示手段であって、表示エリア上には顔画像それぞれが並べられている、顔画像一覧表示手段と、
前記顔画像の一覧の中から選択された顔画像が出現する、前記動画像データ内の位置に対応する時点から、前記動画像データの再生を開始する再生手段と、
前記動画像データの削除が指定された場合、前記動画像データの削除の可否を確認するための削除確認画面であって前記動画像データに対応する顔画像それぞれが並べられた削除確認画面を表示する削除確認画面表示手段とを具備することを特徴とする電子機器。
[7]前記削除確認画面表示手段は、前記動画像データに対応する顔画像群のうち、前記削除対象動画像データの開始から終了までのシーケンスの中で再生されたことがある区間内に出現する顔画像群を前記削除確認画面上に表示することを特徴とする[6]記載の電子機器。
[8]前記削除確認画面表示手段は、前記削除対象動画像データに対応する顔画像群のうち、前記再生を開始する時点の基準として選択されたことのある顔画像と、当該顔画像と同一の人物に対応する各顔画像とを、前記削除確認画面上に表示することを特徴とする[7]記載の電子機器。
[9]前記顔画像毎に当該顔画像に対応するフレームが前記削除対象動画像データの過去の再生に伴って再生された総再生時間を管理する再生履歴管理手段をさらに具備し、
前記削除確認画面表示手段は、前記削除対象動画像データに対応する顔画像群の内から総再生時間の長い上位所定個数の顔画像を選択し、前記選択された各顔画像を、前記再生された区間内に出現する顔画像群として、前記削除確認画面上に表示することを特徴とする[7]記載の電子機器。
[10]前記削除確認画面表示手段は、前記削除対象動画像データの削除の可否をユーザに確認するメッセージを、前記動画像データに対応する顔画像それぞれが並べられた領域とは異なる領域に表示することを特徴とする[6]記載の電子機器。
[11]電子機器の記憶装置に格納されている動画像データの削除に関する表示制御を行う表示制御方法であって、
処理対象の各動画像データから複数の静止画像を抽出するステップと、
前記記憶装置に格納されている1以上の動画像データの一覧を表示するステップと、
前記動画像データの一覧から削除対象動画像データが選択された場合、前記削除対象動画像データの削除の可否を確認するための削除確認画面であって前記削除対象動画像データに対応する静止画像群のうち、前記削除対象動画像データの開始から終了までのシーケンスの中で再生されたことがある区間内に出現する静止画像群が並べられた削除確認画面を表示するステップとを具備することを特徴とする表示制御方法。
[12]前記削除確認画面を表示するステップは、前記削除対象動画像データの削除の可否をユーザに確認するメッセージを、前記静止画像群が並べられた領域とは異なる領域に表示することを特徴とする[11]記載の表示制御方法。
The invention described in the scope of the claims at the time of the appraisal of the original application will be added below.
[1] A storage device that stores one or more moving image data and a still image group composed of a plurality of still images extracted from the moving image data for each moving image data;
First display processing means for displaying a list of the one or more moving image data;
When deletion target moving image data is selected from the list of moving image data, it is a deletion confirmation screen for confirming whether or not the deletion target moving image data can be deleted, and a still image corresponding to the deletion target moving image data Second display processing means for displaying a deletion confirmation screen in which groups are arranged,
The second display processing means appears in a section that has been reproduced in the sequence from the start to the end of the deletion target moving image data in the still image group corresponding to the deletion target moving image data. A still image group to be displayed on the deletion confirmation screen.
[2] The still image group corresponding to the deletion target moving image data includes a plurality of face images extracted from the deletion target moving image data,
Third display processing means for displaying a list of face images corresponding to moving image data selected from the one or more moving image data on the display screen;
Reproduction means for starting reproduction of the selected moving image data from a time corresponding to a position in the selected moving image data at which the face image selected from the list of face images appears; Equipped,
The second display processing means selects each face image that has been selected as a reference at the time of starting the reproduction, from the face image group corresponding to the deletion target moving image data, as the reproduced section. The electronic device according to [1], wherein the electronic device is displayed as a still image appearing on the deletion confirmation screen.
[3] The second display processing unit may select a face image that has been selected as a reference when starting the reproduction, and each face image corresponding to the same person as the face image to be deleted. The electronic device according to [2], wherein a face image group corresponding to moving image data is selected and each selected face image is displayed on the deletion confirmation screen.
[4] The still image group corresponding to the deletion target moving image data includes a plurality of face images extracted from the deletion target moving image data,
A playback history managing means for managing a total playback time in which a frame corresponding to the face image is played back by playback of the deletion target moving image data for each face image;
The second display processing means selects an upper predetermined number of face images having a long total reproduction time from the face image group corresponding to the deletion target moving image data, and the selected face images are reproduced. The electronic device according to [1], wherein a still image belonging to the selected section is displayed on the deletion confirmation screen.
[5] The second display processing means displays a message for confirming whether or not the deletion target moving image data can be deleted in a region different from the region where the still image groups are arranged. The electronic device according to [1].
[6] Indexing processing means for extracting a plurality of face images from the moving image data and outputting time stamp information indicating a time point at which each extracted face image appears in the moving image data;
Face image list display means for displaying a list of the extracted face images on a display area based on the time stamp information, wherein each face image is arranged on the display area. Means,
Reproduction means for starting reproduction of the moving image data from a time corresponding to a position in the moving image data at which the face image selected from the list of face images appears;
When deletion of the moving image data is designated, a deletion confirmation screen for confirming whether or not the moving image data can be deleted is displayed. The deletion confirmation screen displays the face images corresponding to the moving image data. An electronic device comprising: a deletion confirmation screen display means for performing.
[7] The deletion confirmation screen display means appears in a section of the face image group corresponding to the moving image data that has been reproduced in a sequence from the start to the end of the deletion target moving image data. The electronic device according to [6], wherein a group of face images to be displayed is displayed on the deletion confirmation screen.
[8] The deletion confirmation screen display means is the same as the face image that has been selected as a reference at the time of starting the reproduction from the face image group corresponding to the moving image data to be deleted. The electronic device according to [7], wherein each face image corresponding to the person is displayed on the deletion confirmation screen.
[9] A playback history management means for managing a total playback time in which a frame corresponding to the face image is played back with the previous playback of the deletion target moving image data for each face image;
The deletion confirmation screen display means selects a predetermined number of face images having a long total reproduction time from the face image group corresponding to the deletion target moving image data, and the selected face images are reproduced. The electronic device according to [7], wherein the electronic device is displayed on the deletion confirmation screen as a group of face images appearing in the section.
[10] The deletion confirmation screen display means displays a message for confirming whether or not the deletion target moving image data can be deleted in a region different from the region where the face images corresponding to the moving image data are arranged. [6] The electronic device according to [6].
[11] A display control method for performing display control related to deletion of moving image data stored in a storage device of an electronic device,
Extracting a plurality of still images from each moving image data to be processed;
Displaying a list of one or more moving image data stored in the storage device;
When deletion target moving image data is selected from the list of moving image data, it is a deletion confirmation screen for confirming whether or not the deletion target moving image data can be deleted, and a still image corresponding to the deletion target moving image data Displaying a deletion confirmation screen in which still image groups appearing in a section that has been reproduced in a sequence from the start to the end of the deletion target moving image data among the groups are displayed. A display control method characterized by the above.
[12] The step of displaying the deletion confirmation screen displays a message for confirming whether or not the deletion target moving image data can be deleted in a region different from the region where the still image groups are arranged. The display control method according to [11].
10…電子機器(コンピュータ)、111A…データベース、113…ビデオプロセッサ、117…TVチューナ、301…顔画像一覧表示処理部、402…インデキシング制御部、403…再生処理部、404…コンテンツ管理部。
DESCRIPTION OF
Claims (6)
前記1以上の動画像データの一覧を表示する第1の表示処理手段と、
前記動画像データの一覧から削除対象動画像データが選択された場合、前記削除対象動画像データの削除の可否を確認するための削除確認画面であって前記削除対象動画像データに対応する複数の顔画像のうち、前記削除対象動画像データ内の再生されたことがある区間内に出現する複数の顔画像が表示された削除確認画面を表示する第2の表示処理手段とを具備することを特徴とする電子機器。 Storage means for storing one or more moving image data and a plurality of face images extracted from the moving image data for each moving image data;
First display processing means for displaying a list of the one or more moving image data;
When deletion target moving image data is selected from the list of moving image data, a deletion confirmation screen for confirming whether or not the deletion target moving image data can be deleted includes a plurality of deletion image moving image data corresponding to the deletion target moving image data. Second display processing means for displaying a deletion confirmation screen on which a plurality of face images appearing in a section that has been reproduced in the deletion target moving image data among the face images are displayed. Features electronic equipment.
前記第2の表示処理手段は、前記削除対象動画像データに対応する複数の顔画像の内から総再生時間の長い複数の顔画像を選択し、前記選択された複数の顔画像を前記削除確認画面上に表示することを特徴とする請求項1記載の電子機器。 Replay history management means for managing the total replay time for each face image corresponding to the face image replayed in the past replay of the deletion target moving image data;
The second display processing means selects a plurality of face images having a long total reproduction time from a plurality of face images corresponding to the deletion target moving image data, and confirms the deletion of the selected plurality of face images. The electronic device according to claim 1, wherein the electronic device is displayed on a screen.
前記動画像データ毎に当該動画像データから複数の顔画像を抽出するステップと、
前記1以上の動画像データの一覧を表示するステップと、
前記動画像データの一覧から削除対象動画像データが選択された場合、前記削除対象動画像データの削除の可否を確認するための削除確認画面であって前記削除対象動画像データに対応する複数の顔画像のうち、前記削除対象動画像データ内の再生されたことがある区間内に出現する複数の顔画像が表示された削除確認画面を表示するステップとを具備することを特徴とする表示制御方法。 A display control method for performing display control related to deletion of one or more moving image data stored in a storage device of an electronic device,
Extracting a plurality of face images from the moving image data for each moving image data;
Displaying a list of the one or more moving image data;
When deletion target moving image data is selected from the list of moving image data, a deletion confirmation screen for confirming whether or not the deletion target moving image data can be deleted includes a plurality of deletion image moving image data corresponding to the deletion target moving image data. Displaying a deletion confirmation screen on which a plurality of face images appearing in a section that has been reproduced in the moving image data to be deleted among the face images are displayed. Method.
前記1以上の動画像データの一覧を表示する手順と、
前記動画像データの一覧から削除対象動画像データが選択された場合、前記削除対象動画像データの削除の可否を確認するための削除確認画面であって前記削除対象動画像データに対応する複数の顔画像のうち、前記削除対象動画像データ内の再生されたことがある区間内に出現する複数の顔画像が表示された削除確認画面を表示する手順とをコンピュータに実行させることを特徴とするプログラム。 For each one or more moving image data stored in the storage device, a procedure for extracting a plurality of face images from the moving image data;
Displaying a list of the one or more moving image data;
When deletion target moving image data is selected from the list of moving image data, a deletion confirmation screen for confirming whether or not the deletion target moving image data can be deleted includes a plurality of deletion image moving image data corresponding to the deletion target moving image data. And a step of causing a computer to execute a procedure for displaying a deletion confirmation screen on which a plurality of face images appearing in a section that has been reproduced in the deletion target moving image data are displayed. program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011059740A JP5198609B2 (en) | 2011-03-17 | 2011-03-17 | Electronic device, display control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011059740A JP5198609B2 (en) | 2011-03-17 | 2011-03-17 | Electronic device, display control method, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010017238A Division JP4709929B2 (en) | 2010-01-28 | 2010-01-28 | Electronic device and display control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011176839A JP2011176839A (en) | 2011-09-08 |
JP5198609B2 true JP5198609B2 (en) | 2013-05-15 |
Family
ID=44689200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011059740A Active JP5198609B2 (en) | 2011-03-17 | 2011-03-17 | Electronic device, display control method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5198609B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7119881B2 (en) * | 2018-10-15 | 2022-08-17 | 日本電信電話株式会社 | VIDEO MANAGEMENT DEVICE, VIDEO MANAGEMENT METHOD AND PROGRAM |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001167110A (en) * | 1999-12-08 | 2001-06-22 | Matsushita Electric Ind Co Ltd | Picture retrieving method and its device |
JP4567937B2 (en) * | 2002-02-15 | 2010-10-27 | 三洋電機株式会社 | Moving picture reproducing apparatus and moving picture reproducing method |
JP2007331121A (en) * | 2006-06-12 | 2007-12-27 | Seiko Epson Corp | Recorder, and recording control program |
-
2011
- 2011-03-17 JP JP2011059740A patent/JP5198609B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011176839A (en) | 2011-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4909856B2 (en) | Electronic device and display method | |
JP4331240B2 (en) | Electronic apparatus and image display method | |
JP4834640B2 (en) | Electronic device and image display control method | |
JP4496264B2 (en) | Electronic device and video display method | |
JP5057918B2 (en) | Electronic device and scene type display method | |
JP4620150B2 (en) | Electronic device and video processing method | |
JP4322945B2 (en) | Electronic device and image display control method | |
US8666223B2 (en) | Electronic apparatus and image data management method | |
JP4834639B2 (en) | Electronic device and image display control method | |
JP2009076982A (en) | Electronic apparatus, and face image display method | |
JP2009038680A (en) | Electronic device and face image display method | |
JP2009089065A (en) | Electronic device and facial image display apparatus | |
JP4856105B2 (en) | Electronic device and display processing method | |
JP2009081699A (en) | Electronic apparatus and method of controlling face image extraction | |
JP4709929B2 (en) | Electronic device and display control method | |
JP5330551B2 (en) | Electronic device and display processing method | |
JP5039020B2 (en) | Electronic device and video content information display method | |
JP5198609B2 (en) | Electronic device, display control method, and program | |
JP5232291B2 (en) | Electronic device and face image display method | |
JP4987653B2 (en) | Electronic apparatus and image display method | |
JP2009200827A (en) | Electronic device and image display method | |
JP5038836B2 (en) | Information processing device | |
JP5566984B2 (en) | Electronic apparatus and image display method | |
JP5318171B2 (en) | Electronic device and image display control method | |
JP5284426B2 (en) | Electronic apparatus and image display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120710 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121023 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130206 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5198609 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 Free format text: JAPANESE INTERMEDIATE CODE: R313121 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |