JP5213747B2 - Video content storage and viewing system and method - Google Patents
Video content storage and viewing system and method Download PDFInfo
- Publication number
- JP5213747B2 JP5213747B2 JP2009029688A JP2009029688A JP5213747B2 JP 5213747 B2 JP5213747 B2 JP 5213747B2 JP 2009029688 A JP2009029688 A JP 2009029688A JP 2009029688 A JP2009029688 A JP 2009029688A JP 5213747 B2 JP5213747 B2 JP 5213747B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- unit
- video content
- metadata
- classification category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
本発明は、映像コンテンツ保管視聴システムおよび方法に関し、特に、ユーザが、デジカメ、ビデオカメラ等で撮影した静止画像または動画像に自動的にコンテンツ名、チャプター名等を付けて保管すると共に、該コンテンツ名、チャプター名等の付けられた映像をVoD(ビデオオンデマンド)でユーザに提供することのできる映像コンテンツ保管視聴システムおよび方法に関する。また、必要に応じて、ユーザが該コンテンツ名、チャプター名等を修正してフィードバックできる機能を備えた映像コンテンツ保管視聴システムおよび方法に関する。 The present invention relates to a video content storage / viewing system and method, and in particular, a user automatically stores a still image or a moving image captured by a digital camera, a video camera or the like with a content name, a chapter name, and the like stored therein. The present invention relates to a video content storage / viewing system and method capable of providing a user with a video having a name, a chapter name, and the like by VoD (video on demand). The present invention also relates to a video content storage / viewing system and method having a function that allows a user to correct the content name, chapter name, etc. and feed back as necessary.
下記の特許文献1には、次のような技術が開示されている。個人で撮影されたパーソナルビデオ映像等の記録媒体を代理店、郵便局、運送会社などを通してコンテンツ保管・加工業者に預け、ビデオコンテンツの保管・加工を依頼する。そしてその保管されたビデオコンテンツをブロードバンド系高速アクセス回線を経由して、保管依頼した人または関係者がパソコンもしくはテレビにて見たい時に見たい内容を自由に選択して視聴する。その保管依頼の際、ユーザは、住所等の顧客基本情報、コンテンツ加工に関する処理情報、文字でのディレクトリ情報を申込書に記入して依頼する。そうすると、該コンテンツ保管・加工業者は、前記パーソナルビデオ映像等をデジタル加工すると共に、該デジタル加工データに前記申込書に記載された情報を付加して保管する。また、ユーザが後にアクセスする際に必要となるID、パスワードが生成され、前記デジタル加工データと関連付けられて登録される。その後、該コンテンツ保管・加工業者は、ユーザから預かったコンテンツ媒体および生成されたIDとパスワードを、代理店、郵便局、運送会社などを通して依頼元ユーザへ引き渡すが、その際に、保管コンテンツへのアクセス方法についての詳細も告知される。 The following technique is disclosed in Patent Document 1 below. Personal video footage recorded by individuals is deposited with content storage / processing companies through agents, post offices, shipping companies, etc., and requests for storage / processing of video content. The stored video content can be freely selected and viewed through the broadband high-speed access line when the person who requested the storage or the person concerned wants to view it on a personal computer or television. At the time of the storage request, the user requests customer basic information such as an address, processing information related to content processing, and directory information in text on an application form. Then, the content storage / processing company digitally processes the personal video image and the like, and adds the information described in the application form to the digital processing data and stores it. In addition, an ID and a password required when the user accesses later are generated and registered in association with the digitally processed data. Thereafter, the content storage / processing company delivers the content medium deposited from the user and the generated ID and password to the requesting user through an agent, a post office, a transportation company, etc. Details about access methods will also be announced.
この従来方式によれば、各個人のパーソナルビデオ映像がコンテンツ保管・加工業者に委託保管されるので、ビデオコンテンツの紛失を回避できると共に、ブロードバンドを経由して自宅にいながら見ることができる。また、ビデオコンテンツの内容にディレクトリ情報が埋め込まれているので、見たい場面をオンデマンド形式により自由に選択して視聴することができるようになる。 According to this conventional method, personal video images of each individual are consigned and stored in a content storage / processing company, so that loss of video content can be avoided and the personal video images can be viewed while at home via broadband. In addition, since directory information is embedded in the content of the video content, a desired scene can be freely selected and viewed in an on-demand format.
しかしながら、前記した従来技術では、個人で撮影されたパーソナルビデオ映像等の記録媒体を代理店、郵便局、運送会社などを通してコンテンツ保管・加工業者に送る必要があるので時間と手間がかかるという課題、ユーザが文字でのディレクトリ情報を申込書に記入して依頼しなければならないので面倒であるという課題、コンテンツ保管・加工業者は該申込書に記入されたディレクトリ情報に基づいて手作業でコンテンツに入力する必要があるという課題および該ディレクトリ情報の修正については何ら配慮されていない課題等があった。 However, in the above-described conventional technology, it is necessary to send a recording medium such as a personal video image taken by an individual to a content storage / processing company through an agent, a post office, a transportation company, etc. The problem that it is troublesome because the user has to fill out the application form with directory information written in text, content storage / processing companies manually enter the content based on the directory information entered in the application form There is a problem that it is necessary to do this and a problem that no consideration is given to the correction of the directory information.
本発明の目的は、前記した課題を解消し、個人で撮影されたパーソナルビデオ映像等のコンテンツに対して自動的にコンテンツ単位又は/及びチャプター単位で映像分類情報を付加して保管し、該保管されたコンテンツをVoD等でユーザに提供することのできる映像コンテンツ保管視聴システムおよび方法を提供することにある。また、他の目的は、自動的に付加された映像分類情報をユーザが修正してフィードバックできる映像コンテンツ保管視聴システムおよび方法を提供することにある。 An object of the present invention is to solve the above-described problems, automatically add video classification information to contents such as personal video images shot by individuals, and / or chapters, and store the contents. Another object of the present invention is to provide a video content storage / viewing system and method that can provide a user with the content that is provided by VoD or the like. Another object of the present invention is to provide a video content storage / viewing system and method that allows a user to correct and feed back automatically added video classification information.
前記目的を達成するために、本発明は、ネットワーク経由でアップロードされた映像コンテンツを予め定められた映像規格に変換する映像規格変換部と、該映像規格変換部で変換された映像コンテンツに分類カテゴリを自動的に付与する分類カテゴリ付与部と、前記分類カテゴリを含むメタデータを作成するメタデータ作成部と、前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存するコンテンツ保存部と、前記コンテンツ保存部に保存された映像ファイルを、ネットワーク経由で送出する映像ファイル送出部と、前記ネットワーク経由で受信された修正フィードバック情報を処理するフィードバック処理部とを具備し、前記フィードバック処理部は、修正フィードバック情報の内容に応じて、前記分類カテゴリ付与部およびメタデータ作成部の内の少なくとも一つに更新処理要求する点に特徴がある。 In order to achieve the above object, the present invention provides a video standard conversion unit that converts video content uploaded via a network into a predetermined video standard, and a category classified into video content converted by the video standard conversion unit. A classification category assigning unit that automatically assigns a metadata, a metadata creation unit that creates metadata including the classification category, a content storage unit that stores a video file of the video content in association with the metadata, and the content A video file transmission unit for transmitting the video file stored in the storage unit via a network; and a feedback processing unit for processing the correction feedback information received via the network , wherein the feedback processing unit includes correction feedback Depending on the content of the information, the classification category assigning unit That at least one update processing request among the fine metadata generator is characterized.
また、ネットワーク経由でアップロードされた映像コンテンツを予め定められた映像規格に変換する映像規格変換部と、該映像規格変換部で変換された映像コンテンツを、関連する内容を一映像区間とする複数映像区間に分割する映像分割部と、該分割部で分割された映像区間に分類カテゴリを自動的に付与する分類カテゴリ付与部と、前記分類カテゴリを含むメタデータを作成するメタデータ作成部と、前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存するコンテンツ保存部と、前記コンテンツ保存部に保存された映像ファイルを、ネットワーク経由で送出する映像ファイル送出部と、前記ネットワーク経由で受信された修正フィードバック情報を処理するフィードバック処理部とを具備し、前記フィードバック処理部は、修正フィードバック情報の内容に応じて、前記映像分割部、分類カテゴリ付与部およびメタデータ作成部の内の少なくとも一つに更新処理要求する点に他の特徴がある。 In addition, a video standard conversion unit that converts video content uploaded via a network into a predetermined video standard, and a plurality of videos in which the video content converted by the video standard conversion unit is related to one video section. A video dividing unit that divides into sections, a classification category providing unit that automatically assigns classification categories to the video sections divided by the dividing unit, a metadata creation unit that creates metadata including the classification categories, A content storage unit that stores a video file of video content in association with the metadata , a video file transmission unit that transmits the video file stored in the content storage unit via a network, and a correction received via the network A feedback processing unit for processing feedback information, the feedback processing , Depending on the content of the modified feedback information, the video division unit, there are other features in that at least one update processing request of the classification category imparting part and metadata generator.
また、前記分類カテゴリ付与部は、前記映像区間の特徴量を抽出する映像特徴量抽出部と、映像の特徴量と分類カテゴリとの関連を記憶する特徴量データベースと、前記特徴量と前記特徴量データベースとを比較して、該特徴量データベース中の類似する特徴量の分類カテゴリを該映像区間の分類カテゴリとする特徴量比較処理部とを含む点に他の特徴がある。 The classification category adding unit includes a video feature amount extracting unit that extracts a feature amount of the video section, a feature amount database that stores a relationship between a video feature amount and a classification category, the feature amount, and the feature amount. Another feature is that it includes a feature quantity comparison processing unit that compares a classification category of similar feature quantities in the feature quantity database with a classification category of the video section in comparison with the database.
また、前記映像分割部、分類カテゴリ付与部およびメタデータ作成部は、前記更新処理要求を受けると、前記修正フィードバック情報に従って、映像区間、分類カテゴリまたはメタデータを修正する点に他の特徴がある。 In addition, the video dividing unit, the classification category adding unit, and the metadata creating unit have another feature in that, upon receiving the update processing request, the video section, the classification category, or the metadata is corrected according to the correction feedback information. .
本発明によれば、ユーザのビデオカメラやデジカメなどで撮影された動画像または静止画像に対して、自動的にタイトルおよび映像区間の分類カテゴリを付与し、ユーザに提供することができるという効果がある。また、ユーザは、自動的に付与されたタイトルおよび映像区間の分類カテゴリを修正することができるので、自分の映像コンテンツに満足のいくタイトルや分類カテゴリを付けることができる。 According to the present invention, it is possible to automatically assign titles and video segment classification categories to moving images or still images captured by a user's video camera or digital camera, and provide them to the user. is there. Further, since the user can correct the automatically assigned title and the classification category of the video section, the user can attach a satisfactory title and classification category to his / her video content.
また、修正情報は、映像分割部、分類カテゴリ付与部またはメタデータ作成部の更新処理に反映されるので、これらの処理精度が高められていくという効果、つまり学習効果がある。 In addition, since the correction information is reflected in the update process of the video dividing unit, the classification category adding unit, or the metadata creating unit, there is an effect that the processing accuracy is improved, that is, a learning effect.
また、ユーザは、自分が撮影した映像コンテンツをネットワークを介してVoDプラットフォームに送信するだけで、自動的にタイトルおよび映像区間の分類カテゴリが付与され、コンテンツ保存部に保存されるので、従来方式のようなユーザが文字でのディレクトリ情報を申込書に記入して依頼したり、パーソナルビデオ映像等の記録媒体を代理店、郵便局、運送会社などを通してコンテンツ保管・加工業者に送らなければならないといった面倒さは一切ないという効果がある。 In addition, the user can automatically assign titles and video segment classification categories and transmit them to the content storage unit simply by transmitting the video content captured by the user to the VoD platform via the network. Such users have to fill out an application form with directory information written in text, or send recording media such as personal video images to content storage and processing companies through agents, post offices, shipping companies, etc. There is no effect at all.
以下に、図面を参照して本発明を詳細に説明する。図1は、本発明が実施されるネットワーク環境の一例の説明図である。 Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 is an explanatory diagram of an example of a network environment in which the present invention is implemented.
撮像装置1はビデオカメラ、デジカメなどからなり、該撮像装置1で撮影されたユーザ個人等の映像データは、PC等の端末装置2を経由して、または直接にWiFi、WiMax等によりインターネット網3に送られる。インターネット網3に送られた映像データ又は映像コンテンツ(以下、映像コンテンツと呼ぶ)はサーバであるVoDプラットフォーム4に映像入力部から入力される。該VoDプラットフォーム4の構成は後で詳細に説明するが、前記映像入力部から受信した映像コンテンツをチャプター分けする機能、映像コンテンツ単位又は/及びチャプター単位で映像分類情報(メタデータ)を作成する機能、EPG(電子番組表)作成機能、映像ファイル作成機能、該映像ファイルを保管する機能、IDおよびパスワードを生成して該映像コンテンツに関連させる機能、VoD視聴要求のアクセスに対応する機能、フィードバック情報に対応する機能などを有している。
The imaging device 1 is composed of a video camera, a digital camera, etc., and video data such as individual users captured by the imaging device 1 is transmitted via the
VoDプラットフォーム4はVoD視聴装置6からインターネット網3又はVoDインフラ網5を介してアクセスされると、前記IDおよびパスワードを照合した上で要求された映像コンテンツを映像出力部からVoDインフラ網5を介してVoD視聴装置6へ送出する。VoD視聴装置6はテレビやSTB等からなり、ユーザは該VoD視聴装置6の映像面上に映出された映像コンテンツの映像分類情報を用いて、見たい映像コンテンツやチャプターを選択的に映出することにより、効率的にかつ自宅に居ながら楽しむことができる。また、VoDプラットフォーム4で自動的に付けられた前記映像分類情報に満足しない場合には、ユーザは好みの映像分類情報をVoDプラットフォーム4にフィードバックして、映像分類情報を修正することができる。また、VoDプラットフォーム4は、該フィードバック情報により前記チャプター分け機能および映像分類情報を作成する機能の精度が向上するように学習をすることができる。
When the VoD platform 4 is accessed from the VoD viewing device 6 via the
まず、図2を参照して、前記VoDプラットフォーム4の構成の要部を説明する。該VoDプラットフォーム4は、ネットワーク経由でアップロードされた映像コンテンツが静止画像であるか動画像であるかを判定する静止画・動画判定部10と、映像コンテンツを予め定められた映像規格に変換する映像規格変換部11と、該映像規格変換部11で変換された映像コンテンツを、関連する内容を一映像区間とする複数映像区間に分割する映像分割部12と、該分割部12で分割された映像区間に分類カテゴリを自動的に付与する分類カテゴリ付与部13と、前記分類カテゴリを含むメタデータを作成するメタデータ作成部14と、前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存するコンテンツ保存部15と、該映像コンテンツの映像ファイルをユーザに送出する送出部16と、受信された修正フィードバック情報を処理するフィードバック処理部17とから構成される。前記静止画・動画判定部10で動画像と判定された場合には、映像規格変換部11は映像分割部12に接続され、一方静止画像と判定された場合には映像分割部12をスキップして分類カテゴリ部付与部13に接続される。前記フィードバック処理部17は、修正フィードバック情報の内容に応じて、前記映像分割部12、分類カテゴリ付与部13、または/およびメタデータ作成部14に更新処理要求をする。
First, the main part of the configuration of the VoD platform 4 will be described with reference to FIG. The VoD platform 4 includes a still image / moving
次に、前記VoDプラットフォーム4の構成の詳細を図3を参照して説明する。VoDプラットフォーム4は図示されているように、前記インターネット網3を介して送られてきた映像コンテンツが入力する映像入力部21、例えばDVフォーマットの映像や静止画のJEPG映像をMPEG2や非圧縮映像に変換する映像規格変換部22、該変換された映像をシーンやショットなどのチャプターに分割するチャプター分割部23を有する。映像入力部21は、映像コンテンツを受信すると共に静止画像であるか動画像であるかの判定をし、その判定信号で映像規格変換部22をチャプター分割部23へ接続するか該チャプター分割部23をスキップして映像特徴量抽出部24に接続するかの制御をする。静止画像の場合にはチャプター分割をする必要がないので、チャプター分割部23をスキップする。映像規格変換部22に、静止画が入力された場合には、複数の静止画を使用してスライドショー的な動画として、MPEG2や非圧縮映像に変換してもよい。
Next, details of the configuration of the VoD platform 4 will be described with reference to FIG. As shown in the figure, the VoD platform 4 is a
VoDプラットフォーム4は、また、前記分割されたチャプターから特徴量を抽出する映像特徴量抽出部24、映像特徴量と映像分類情報(以下、分類カテゴリという)との対応データを格納する特徴量データベース(DB)25、前記映像特徴量抽出部24で抽出された映像特徴量と特徴量データDB25のデータとを比較する特徴量比較処理部26を有する。前記分類カテゴリ付与部13は、前記映像特徴量抽出部24、特徴量DB25および特徴量比較処理部26に相当する。該分類カテゴリ付与部13を構成する特徴量データDB25は、ニューラルネットワーク等を利用した知識ベースであって、分類カテゴリの付与を行うとともに、外部フィードバックによって学習可能なものであってもよい。ここに、前記特徴量DB25は、少なくとも個別データベースと一般データベースを有する。前記個別データベースには、ユーザの個人認識用データ、例えばユーザの家族の顔認識用データと名前とがリンクして格納され、前記一般データベースには、一般的な映像特徴量、例えば赤ちゃん、ハイハイ、歩き、水遊び、誕生日、保育園、運動会、遊園地などの一般的な事象認識用のデータが格納される。
The VoD platform 4 also includes a video feature
VoDプラットフォーム4は、また、前記特徴量比較処理部26での比較処理により取得された映像特徴量に適合する分類カテゴリにより前記チャプターのメタデータを作成するメタデータ作成部27、該チャプターのメタデータを総合して映像コンテンツのタイトルを作成し、該タイトルとチャプターのメタデータ等から電子番組表を作成するEPG(Electric Program Guide)作成部28、前記メタデータをBML(Broadcast Markup Language)またはHTMLで表すBML・HTML作成部29、チャプター分割部23よりの映像コンテンツと電子番組表とBML・HTMLで記述されたメタデータとで映像ファイルを作成する映像ファイル(TS;Transport stream)作成部30、該映像ファイルを格納するVoDコンテンツ保存部31および図1の映像出力部に相当するVoD送出部32を有する。
The VoD platform 4 also includes a
該VoDプラットフォーム4は、さらに、図1のフィードバック情報入力部に相当するVoD受信部41を有し、該VoD受信部41は、ユーザからのVoD視聴要求とフィードバック情報とを識別し、VoD視聴要求であればVoDコンテンツ保存部31にVoD視聴要求を送り、一方フィードバック情報であれば該フィードバック情報をフィードバック処理部42に送る。
The VoD platform 4 further includes a
VoDコンテンツ保存部31はVoD視聴要求を受けるとIDおよびパスワードの照合をした上で、ユーザから要求された映像ファイルを読み出し、VoD送出部32、VoDインフラ網5を介して、VoD視聴装置6に転送する。一方、フィードバック処理部42は、フィードバック情報の内容を分析し、フィードバック情報がチャプター分け修正情報であれば、チャプター分割部23に更新処理要求をし、メタデータの修正情報であれば、特徴量DB25とメタデータ作成部27に更新処理要求をする。なお、特徴量DB25の修正に関しては、前記個別データベースや一般データベースが修正される(学習機能)と共に、メタデータ作成部27で作成されたメタデータを修正する。
When receiving the VoD viewing request, the VoD
前記チャプター分割部23は、基本的には、映像コンテンツの各フレーム間での映像変化量が時間的に予め定められた閾値以上の場合に該フレームをチャプター分け画面(又はカット画面又はシーンチェンジ画面)とし、該チャプター分け画面間の映像を映像特徴量抽出部24に出力する。なお、該チャプター分割部23は、例えば、電子情報通信学会秋期大会、D−264(1993)の「フィルタを用いた映像カット点検出」、電子情報通信学会秋期大会、D−501(1994)の「フレーム間輝度差分と色差相関による圧縮動画像データからのカット検出」、特開平07−059108号公報、特開平09−083864号公報等に記載されている周知の技術を用いて、チャプター分けを行うことができる。チャプター分割部23は、前記閾値を修正する等して更新処理することができる。
Basically, the
次に、前記映像特徴量抽出部24、特徴量比較処理部26およびメタデータ作成部27の動作を、図4のフローチャートを参照して説明する。以下では、前記チャプター分け画面間の映像を「チャプター映像」と呼ぶ。
Next, operations of the video feature
ステップS1では、映像特徴量抽出部24はチャプター映像から特徴量(映像の特徴となっている部分を定量化したもの)、例えば、動物体などの対象物の面積、周囲長、円形度、重心など及び/又は色特徴、顔特徴などを抽出する。該特徴量は、動物体に限らず、静止物体や背景画像の対象物からも抽出するのが好ましい。一例として、2007年3月15日 CQ出版株式会社発行「改訂版ディジタル画像処理の基礎と応用」の第60〜62頁に記されている方法を用いて前記特徴量を抽出することができる。ステップS2では、特徴量比較処理部26が、前記特徴量を特徴量DB25内の情報と比較(例えば、パターン認識)し、分類カテゴリ候補と分類度を取得する。分類カテゴリ候補の例としては、赤ちゃん、ハイハイ、歩き、誕生日などがあり、分類度の例は、0〜1までの値とすることができる。分類度は、例えば赤ちゃん、ハイハイ、歩き、誕生日などの映像が、特徴量DB25内の情報と比較し、その分類カテゴリ候補との一致度合いの値と、該分類カテゴリーが映っているフレーム数をチャプター映像のフレーム数で割り算することにより求めた値を掛けた値により表現することができる。また、該値に重み係数を掛けた値を分類度としてもよい。誕生日は大事な行事であるので、重み係数は大きくなる。また、前記チャプター映像に赤ちゃんの顔が映っている場合には、特徴量比較処理部26は特徴量DB25の個別データベースに予め登録されている顔情報にアクセスし、顔認識ができた場合にはこの顔情報とリンクしている名前を読み出し、該チャプター映像の分類カテゴリ候補のひとつとすることができる。
In step S1, the video feature
ステップS3では、メタデータ作成部27がチャプター映像に対応したメタデータ(以下、チャプターメタと呼ぶ)を作成する。チャプターメタの例としては、対象ファイル名、チャプター画面の時刻情報、前記分類カテゴリ候補と分類度とからなる分類メタなどがある。また、他の分類カテゴリと合成したメタデータを生成することも可能である。例えば、はるかちゃんのハイハイとか、だいきくんの誕生日とかのメタデータとすると、より良好にチャプター映像を識別することができるようになる。図12に、個別データベースへの顔情報の登録画面の概念図を示す。ステップS4では、全てのチャプター映像に対して分類付けが行われたか否かの判断がなされ、否定の場合には、ステップS5に進んで、次のチャプター映像が映像特徴量抽出部24に送られる。そして、前記ステップS1〜S4の処理が繰り返される。
In step S3, the
その後、ステップS4の判断が肯定になると、ステップS6に進んで、メタデータ作成部27において全体の映像コンテンツについての分類カテゴリ候補(以下、タイトル候補と呼ぶ)を、演算により求める処理が行われる。この処理例を図5に示す。例えば各チャプター映像の始めから終わりまでの時間をTn(n=1,2,・・・)とし、各チャプター映像で得られた各分類カテゴリ候補の分類度をPni(i=1,2,・・・)とすると、Tn×Pniが一番大きい値の分類カテゴリをタイトルの第1候補、二番目に大きい値の分類カテゴリをタイトルの第2候補とする。図示の例では、ハイハイが第1候補、赤ちゃんが第2候補となる。他の処理例として、映像コンテンツ全体で、同じ分類カテゴリ候補のTn×Pniの和を求め、該和の値が一番大きい分類カテゴリをタイトルの第1候補、二番目に大きい値の分類カテゴリをタイトルの第2候補としてもよい。次に、ステップS7では、前記タイトル候補を、全体の映像コンテンツすなわち映像ファイル全体のメタ(以下、タイトルメタと呼ぶ)として登録する。
Thereafter, when the determination in step S4 becomes affirmative, the process proceeds to step S6, and the
次に、EPG作成部28は、図6に示されているように、前記タイトルメタと各チャプターメタを含むEPG(電子番組表)情報を作成する。例えば、タイトル:ハイハイ、内容:(0〜1分)赤ちゃん、ハイハイ、歩き、(1〜3分)ハイハイ、赤ちゃん、歩きといったEPG情報を作成する。
Next, as shown in FIG. 6, the
次に、前記BML・HTML作成部29および映像ファイル作成部30の機能を図7を参照して説明する。
Next, functions of the BML /
ステップS11で、BML・HTML作成部29はタイトルメタおよびチャプターメタを利用して、BMLまたはHTMLデータを作成する。ステップS12では、全部のチャプター映像のチャプターメタに対して、BMLまたはHTMLデータを作成したかどうかの判断がなされ、該判断が否定の場合にはステップS11に戻って次のチャプター映像のBMLまたはHTMLデータを作成する。ステップS12の判断が肯定になると、ステップS13に進んで、前記映像ファイル作成部30は、前記BMLまたはHTMLデータと、前記EPGおよび映像コンテンツとを多重させ、映像ファイルを作成する。なお、該映像ファイルは、VoDコンテンツ保存部に送付され、メタデータ作成部27からVoDコンテンツ保存部に送付される前記タイトルメタおよびチャプターメタと関連付けられて保存される。前記タイトルメタおよびチャプターメタのBMLまたはHTMLデータは、後で詳述するタイトルや分類カテゴリを修正するのに使用されるデータであり、図8にVoD視聴装置6の修正画面の概念図を示す。分類カテゴリ候補は前記Tn×Pniの値の大きさ順にプルダウン方式にてユーザに選択可能に表示される。
In step S11, the BML /
図9は、前記VoDコンテンツ保存部31に格納されるデータの概念図である。該VoDコンテンツ保存部31には、図示されているように、映像ファイル(映像、BML・HTMLデータ、EPG)31aとメタデータ31bとが関連付けられて格納される。該メタデータ31bは、主に、ユーザによるVoD視聴要求時の検索処理の際に用いられることができる。
FIG. 9 is a conceptual diagram of data stored in the VoD
次に、図10を参照して、VoD視聴装置6でなされるフィードバック(修正)機能の概要を説明する。 Next, an overview of a feedback (correction) function performed by the VoD viewing device 6 will be described with reference to FIG.
ステップS21では、ユーザがIDおよびパスワードを入力してVoD視聴の操作をする。ここでユーザは、視聴したい映像の検索をすることもできる。ステップS22では、視聴要求された映像ファイルがVoDコンテンツ保存部31から読み出され、VoD視聴装置6は該読み出された映像ファイルを受信する。ステップS23では、ユーザによって修正機能が選択されたか否かの判断がなされ、肯定の場合には、ステップS24に進み、各映像ファイルの代表チャプター映像(前記Tn×Pniが最大の映像)をタイトルメタと共に表示する。S24の右側の表示例では、赤ちゃん、ハイハイ、歩き、誕生日などが各映像ファイルのタイトルメタに相当し、A,B,C,D,E,Fなどが各映像ファイルの代表チャプター映像に相当する。この表示は、VoD視聴装置6の映像画面の一部の領域になされるのが好適である。以下に述べる表示についても同様である。
In step S21, the user inputs an ID and password and performs a VoD viewing operation. Here, the user can also search for videos to be viewed. In step S22, the requested video file is read from the VoD
ステップS25では、映像ファイルA〜Fの内のいずれか一つが選択されたか否かの判断がなされ、この判断が肯定の場合には、ステップS26に進んで、タイトル候補をプルダウン方式で表示する。S26の右側の表示例では、映像ファイルAが選択され、そのタイトル候補が赤ちゃん、ハイハイ、歩きの順にプルダウン方式で表示された例を示す。ステップS27では、タイトルの第1候補から他の候補への修正がなかったかどうかの判断がなされ、なかった場合にはステップS29に進み、あった場合にはステップS28で修正内容を前記VoDプラットフォーム4にフィードバックした後、再表示のためにステップS26に戻る。なお、該フィードバックを受けたVoDプラットフォーム4の動作は、図11を参照して後述する。 In step S25, it is determined whether any one of the video files A to F is selected. If this determination is affirmative, the process proceeds to step S26 to display title candidates in a pull-down manner. The display example on the right side of S26 shows an example in which the video file A is selected and the title candidates are displayed in a pull-down manner in the order of baby, hi-hi, and walking. In step S27, it is determined whether or not there has been a correction from the first candidate of the title to another candidate. If there is no correction, the process proceeds to step S29. If there is, the correction content is transferred to the VoD platform 4 in step S28. Is fed back to step S26 for redisplay. The operation of the VoD platform 4 that has received the feedback will be described later with reference to FIG.
ステップS29では、選択された映像コンテンツ内のチャプター映像を、対応する分類カテゴリ候補と共に表示する。S29の右の表示例では、前記チャプター映像がチャプター1,チャプター2の映像であり、それぞれに対応する分類カテゴリ候補が赤ちゃん、ハイハイ、歩き、誕生日などである。次いで、分類カテゴリの第1候補から他候補への修正がなかったかどうかの判断がなされ、なかった場合にはステップS32に進み、あった場合にはステップS31で修正内容を前記VoDプラットフォーム4にフィードバックした後再表示のためにステップS29に戻る。ステップS32では、チャプター分けの修正がなかったかどうかの判断がなされ、なかった場合にはステップS34に進み、あった場合にはステップS33で修正内容を前記VoDプラットフォーム4にフィードバックした後再表示のためにステップS29に戻る。ステップS34では、修正操作が終了したかどうかの判断がなされ、否定の場合にはステップS24に戻って、再度各映像ファイルの代表チャプター映像をタイトルと共に表示する。以下、前記したステップS24〜S34の処理が繰り返される。この繰り返しの結果、ステップS34の判断が肯定になると、修正処理は終了する。
In step S29, the chapter video in the selected video content is displayed together with the corresponding category category candidate. In the display example on the right side of S29, the chapter video is the video of chapter 1 and
次に、前記フィードバック情報を受信したVoDプラットフォーム4の動作について図11を参照して説明する。前記フィードバック処理部42は、ステップS41でフィードバック(修正)情報を受信したか否かの判断をし、肯定の場合にはステップS42に進んで、修正内容がチャプター分けであるか否かの判断をする。この判断が肯定の場合にはステップS44に進んで、チャプター分割部23へ修正内容を通知する。そうすると、チャプター分割部23は、チャプター分けを修正すると共にチャプター分けに使用されるパラメータなどを更新してその精度を高めるように学習する。
Next, the operation of the VoD platform 4 that has received the feedback information will be described with reference to FIG. The
ステップS43では、修正内容が映像コンテンツのタイトル又はチャプターの分類カテゴリであるか否かの判断がなされる。この判断が肯定の場合にはステップS45に進んで特徴量DB25、メタデータ作成部27へ通知する。これにより、メタデータ作成部27は、タイトルメタ又はチャプターメタを修正する。また、特徴DB25の個人認識用データベースまたは一般データベースは更新され、メタデータ作成の精度を高めるように更新される。
In step S43, it is determined whether or not the correction content is a title or chapter classification category of the video content. If this determination is affirmative, the process proceeds to step S45 to notify the
なお、フィードバック処理部42が更新処理要求を通知する際には、VoDコンテンツ保存部から、該当する映像コンテンツを得てチャプター分割部23に送付し、チャプター分割、映像特徴量抽出、特徴量比較、メタデータ作成、映像ファイル作成を再度行うことになる。また、フィードバック処理部42がVoDコンテンツ保存部から映像コンテンツを得る代わりに、別途、映像入力部21、映像規格変換部22、チャプター分割部23のどこかに、映像コンテンツを保存し必要時にオリジナルの映像ファイルを呼び出せるようなデータベースを設けて対処してもよい。
When the
本発明によれば、ユーザは自分で撮影した動画像や静止画像をネットを介してVoDプラットフォームに送信するだけで、自動的にタイトルや分類カテゴリが付けられた映像コンテンツをVoDコンテンツ保存部に保管することができる。そして、必要な時に、VoD受信要求をすれば、VoDコンテンツ保存部から自分の映像コンテンツを読み出してVoD視聴装置に再生して楽しむことができる。また、前記自動的に付けられたタイトルや分類カテゴリを自分の好みに合わせて修正することができるので、満足のいくタイトルや分類カテゴリの付いた映像コンテンツをVoDコンテンツ保存部に保存することができる。また、自分が撮影した映像をVoDコンテンツ保存部に保存、管理できるので、自分で映像コンテンツを管理するといった煩わしさや、映像コンテンツを紛失したりすることから開放される。 According to the present invention, a video content with a title and a classification category is automatically stored in a VoD content storage unit by simply transmitting a moving image or a still image captured by the user to the VoD platform via the network. can do. When a VoD reception request is made when necessary, the user can read his / her video content from the VoD content storage unit and play it back on the VoD viewing device. In addition, since the automatically assigned titles and classification categories can be modified according to the user's preference, video content with satisfactory titles and classification categories can be stored in the VoD content storage unit. . In addition, since the video shot by the user can be stored and managed in the VoD content storage unit, it is freed from the trouble of managing the video content by itself and the loss of the video content.
以上、本発明を好ましい実施形態により説明したが、本発明の趣旨を逸脱しない範囲で、種々の変形ができることは明らかである。 As mentioned above, although this invention was demonstrated by preferable embodiment, it is clear that various deformation | transformation can be made in the range which does not deviate from the meaning of this invention.
4・・・VoDプラットフォーム、6・・・VoD視聴装置、11、22・・・映像規格変換部、12・・・映像分割部、13・・・分類カテゴリ付与部、14、27・・・メタデータ作成部、15・・・コンテンツ保存部、16・・・送出部、17・・・フィードバック処理部、23・・・チャプター分割部、24・・・映像特徴量抽出部、25・・・特徴量DB、26・・・特徴量比較処理部、28・・・EPG作成部、29・・・BML・HTML作成部、30・・・映像ファイル(TS)作成部、31・・・VoDコンテンツ保存部、32・・・VoD送出部、41・・・VoD受信部、42・・・フィードバック処理部。 4 ... VoD platform, 6 ... VoD viewing device, 11, 22 ... Video standard conversion unit, 12 ... Video division unit, 13 ... Category category assignment unit, 14, 27 ... Meta Data creation unit, 15 ... content storage unit, 16 ... transmission unit, 17 ... feedback processing unit, 23 ... chapter division unit, 24 ... video feature amount extraction unit, 25 ... feature Amount DB, 26 ... feature amount comparison processing section, 28 ... EPG creation section, 29 ... BML / HTML creation section, 30 ... video file (TS) creation section, 31 ... VoD content storage Unit, 32... VoD sending unit, 41... VoD receiving unit, 42.
Claims (13)
該映像規格変換部で変換された映像コンテンツに分類カテゴリを自動的に付与する分類カテゴリ付与部と、
前記分類カテゴリを含むメタデータを作成するメタデータ作成部と、
前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存するコンテンツ保存部と、
前記コンテンツ保存部に保存された映像ファイルを、ネットワーク経由で送出する映像ファイル送出部と、
前記ネットワーク経由で受信された修正フィードバック情報を処理するフィードバック処理部とを具備し、
前記フィードバック処理部は、修正フィードバック情報の内容に応じて、前記分類カテゴリ付与部およびメタデータ作成部の内の少なくとも一つに更新処理要求することを特徴とする映像コンテンツ保管視聴システム。 A video standard converter that converts video content uploaded via the network to a predetermined video standard;
A classification category adding unit that automatically assigns a classification category to the video content converted by the video standard conversion unit;
A metadata creation unit for creating metadata including the classification category;
A content storage unit for storing a video file of the video content in association with the metadata;
A video file sending unit for sending a video file stored in the content storage unit via a network;
A feedback processing unit for processing the modified feedback information received via the network ,
The video content storage / viewing system, wherein the feedback processing unit makes an update processing request to at least one of the classification category adding unit and the metadata creating unit according to the content of the correction feedback information.
該映像規格変換部で変換された映像コンテンツを、関連する内容を一映像区間とする複数映像区間に分割する映像分割部と、
該分割部で分割された映像区間に分類カテゴリを自動的に付与する分類カテゴリ付与部と、
前記分類カテゴリを含むメタデータを作成するメタデータ作成部と、
前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存するコンテンツ保存部と、
前記コンテンツ保存部に保存された映像ファイルを、ネットワーク経由で送出する映像ファイル送出部と、
前記ネットワーク経由で受信された修正フィードバック情報を処理するフィードバック処理部とを具備し、
前記フィードバック処理部は、修正フィードバック情報の内容に応じて、前記映像分割部、分類カテゴリ付与部およびメタデータ作成部の内の少なくとも一つに更新処理要求することを特徴とする映像コンテンツ保管視聴システム。 A video standard converter that converts video content uploaded via the network to a predetermined video standard;
A video dividing unit that divides the video content converted by the video standard conversion unit into a plurality of video sections having a related content as one video section;
A classification category adding unit that automatically assigns a classification category to the video section divided by the dividing unit;
A metadata creation unit for creating metadata including the classification category;
A content storage unit for storing a video file of the video content in association with the metadata;
A video file sending unit for sending a video file stored in the content storage unit via a network;
A feedback processing unit for processing the modified feedback information received via the network ,
The video content storage / viewing system, wherein the feedback processing unit requests update processing to at least one of the video dividing unit, the classification category adding unit, and the metadata creating unit according to the content of the correction feedback information .
前記分類カテゴリ付与部は、前記映像区間の特徴量を抽出する映像特徴量抽出部と、映像の特徴量と分類カテゴリとの関連を記憶する特徴量データベースと、前記特徴量と前記特徴量データベースとを比較して、該特徴量データベース中の類似する特徴量の分類カテゴリを該映像区間の分類カテゴリとする特徴量比較処理部とを含むことを特徴とする映像コンテンツ保管視聴システム。 The video content storage / viewing system according to claim 2,
The classification category adding unit includes a video feature amount extraction unit that extracts a feature amount of the video section, a feature amount database that stores a relationship between a video feature amount and a classification category, the feature amount, and the feature amount database. And a feature quantity comparison processing unit that uses a category category of similar feature quantities in the feature quantity database as a category category of the video section.
前記分類カテゴリ付与部は、前記映像区間に付与した分類カテゴリを基に、前記映像コンテンツのタイトルを自動的に付与する機能を有することを特徴とする映像コンテンツ保管視聴システム。 The video content storage / viewing system according to claim 2,
The video content storage / viewing system, wherein the classification category assigning unit has a function of automatically assigning a title of the video content based on a classification category assigned to the video section.
前記メタデータ作成部は、前記映像コンテンツのタイトルと前記映像区間の分類カテゴリを含む前記映像コンテンツのメタデータを作成することを特徴とする映像コンテンツ保管視聴システム。 The video content storage / viewing system according to claim 2,
The video content storage / viewing system, wherein the metadata creation unit creates metadata of the video content including a title of the video content and a classification category of the video section.
前記映像コンテンツのタイトルおよび前記映像区間の分類カテゴリを用いて、電子番組表(EPG)を作成するEPG作成部と、
前記映像コンテンツのタイトルおよび前記映像区間の分類カテゴリのメタデータをBMLまたはHTML言語で記述するBML・HTML作成部とを具備することを特徴とする映像コンテンツ保管視聴システム。 The video content storage / viewing system according to claim 5,
An EPG creation unit that creates an electronic program guide (EPG) using the title of the video content and the classification category of the video section;
A video content storage / viewing system comprising: a BML / HTML creation unit that describes metadata of a title of the video content and a classification category of the video section in BML or HTML language.
前記フィードバック処理部からの更新処理要求は前記映像区間の修正情報であり、
前記映像分割部は、該修正情報に従って映像区間の修正を行うことを特徴とする映像コンテンツ保管視聴システム。 The video content storage / viewing system according to claim 2,
The update processing request from the feedback processing unit is correction information of the video section,
The video content storage and viewing system, wherein the video division unit corrects a video section according to the correction information.
前記フィードバック処理部からの更新処理要求は前記分類カテゴリの修正情報であり、
前記特徴量データベースは、該修正情報に従って、前記映像の特徴量と分類カテゴリとの関連の修正を行うことを特徴とする映像コンテンツ保管視聴システム。 In the video content storage and viewing system according to claim 3,
The update processing request from the feedback processing unit is correction information of the classification category,
The video content storage / viewing system, wherein the feature amount database corrects the relationship between the feature amount of the video and the classification category according to the correction information.
前記フィードバック処理部からの更新処理要求は前記分類カテゴリの修正情報であり、
前記メタデータ作成部は、該修正情報に従って前記映像コンテンツのタイトルまたは前記映像区間の分類カテゴリの修正を行うことを特徴とする映像コンテンツ保管視聴システム。 The video content storage / viewing system according to claim 5,
The update processing request from the feedback processing unit is correction information of the classification category,
The video content storage / viewing system, wherein the metadata creation unit corrects a title of the video content or a classification category of the video section according to the correction information.
該映像規格に変換された映像コンテンツに分類カテゴリを自動的に付与する工程と、
前記分類カテゴリを含むメタデータを作成する工程と、
前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存する工程と、
前記保存された映像ファイルを、ネットワーク経由で送出する工程と、
前記ネットワーク経由で受信された修正フィードバック情報を処理する工程と、
前記修正フィードバック情報の内容に応じて、前記分類カテゴリ付与およびメタデータ作成の内の少なくとも一つを更新処理する工程とからなる映像コンテンツ保管視聴方法。 Converting video content uploaded via a network into a predetermined video standard;
Automatically assigning a classification category to the video content converted to the video standard;
Creating metadata including the classification categories;
Storing the video file of the video content in association with the metadata;
Sending the stored video file via a network;
Processing the modified feedback information received via the network ;
A video content storage / viewing method comprising a step of updating at least one of the classification category assignment and the metadata creation in accordance with the content of the correction feedback information.
該映像規格変換された映像コンテンツを、関連する内容を一映像区間とする複数映像区間に分割する工程と、
該分割された映像区間に分類カテゴリを自動的に付与する工程と、
前記分類カテゴリを含むメタデータを作成する工程と、
前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存する工程と、
前記保存された映像ファイルを、ネットワーク経由で送出する工程と、
前記ネットワーク経由で受信された修正フィードバック情報を処理する工程と、
前記修正フィードバック情報の内容に応じて、前記映像分割、分類カテゴリ付与およびメタデータ作成の内の少なくとも一つを更新処理する工程とからなる映像コンテンツ保管視聴方法。 Converting video content uploaded via a network into a predetermined video standard;
Dividing the video content having undergone video standard conversion into a plurality of video sections in which the related content is one video section;
Automatically assigning a classification category to the divided video section;
Creating metadata including the classification categories;
Storing the video file of the video content in association with the metadata;
Sending the stored video file via a network;
Processing the modified feedback information received via the network ;
A video content storage / viewing method comprising a step of updating at least one of the video division, classification category assignment, and metadata creation according to the content of the correction feedback information.
前記メタデータを基に電子番組表(EPG)を作成する工程と、
前記メタデータをBMLまたはHTMLで記述する工程とをさらに有することを特徴とする映像コンテンツ保管視聴方法。 The video content storage / viewing method according to claim 10 or 11,
Creating an electronic program guide (EPG) based on the metadata;
The video content storage and viewing method further comprising a step of describing the metadata in BML or HTML.
前記映像コンテンツの分類カテゴリは、該映像区間の特徴量を予め格納された映像の特徴量と比較し、類似度の高い特徴量に対応する分類カテゴリが用いられることを特徴とする映像コンテンツ保管視聴方法。 The video content storage / viewing method according to claim 11 ,
As the video content classification category, the video content storage / viewing is characterized in that the feature quantity of the video section is compared with the pre-stored video feature quantity, and the classification category corresponding to the feature quantity with high similarity is used. Method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009029688A JP5213747B2 (en) | 2009-02-12 | 2009-02-12 | Video content storage and viewing system and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009029688A JP5213747B2 (en) | 2009-02-12 | 2009-02-12 | Video content storage and viewing system and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010187185A JP2010187185A (en) | 2010-08-26 |
JP5213747B2 true JP5213747B2 (en) | 2013-06-19 |
Family
ID=42767568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009029688A Expired - Fee Related JP5213747B2 (en) | 2009-02-12 | 2009-02-12 | Video content storage and viewing system and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5213747B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5716464B2 (en) * | 2011-03-07 | 2015-05-13 | 富士通株式会社 | Image processing program, image processing method, and image processing apparatus |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007049332A (en) * | 2005-08-09 | 2007-02-22 | Sony Corp | Recording and reproducing apparatus and method, and recording apparatus and method |
JP4239108B2 (en) * | 2006-10-24 | 2009-03-18 | ソニー株式会社 | Content character information acquisition method, content character information acquisition program, content character information acquisition device, and video content recording device |
-
2009
- 2009-02-12 JP JP2009029688A patent/JP5213747B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010187185A (en) | 2010-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100492437B1 (en) | Image retrieval system and image retrieval method | |
JP5121367B2 (en) | Apparatus, method and system for outputting video | |
CA2924065C (en) | Content based video content segmentation | |
US7281054B2 (en) | Contents distribution method, contents information processing device, and computer product | |
KR100515542B1 (en) | Content searching/distributing device and content searching/distributing method | |
US20090077034A1 (en) | Personal ordered multimedia data service method and apparatuses thereof | |
US9100701B2 (en) | Enhanced video systems and methods | |
US20100158391A1 (en) | Identification and transfer of a media object segment from one communications network to another | |
KR20130108311A (en) | Video bit stream transmission system | |
JP6601944B2 (en) | Content generating apparatus and program | |
US20120150990A1 (en) | System and method for synchronizing with multimedia broadcast program and computer program product thereof | |
KR101933696B1 (en) | Vod service system based on ai video learning platform | |
KR101867950B1 (en) | Real Time Display System of Additional Information for Live Broadcasting and Image Service | |
JP4770875B2 (en) | Image feature data generation device, image feature determination device, and image search system | |
JP5213747B2 (en) | Video content storage and viewing system and method | |
US7353451B2 (en) | Meta data creation apparatus and meta data creation method | |
JP2020524418A (en) | VOD service system based on AI video learning platform | |
KR101779975B1 (en) | System for providing additional service of VOD content using SNS message and method for providing additional service using the same | |
KR102130073B1 (en) | Image learning system that performs resolution restoration function based on object | |
KR102036383B1 (en) | Content creation method and apparatus | |
KR101997909B1 (en) | Program and recording medium for extracting ai image learning parameters for resolution restoration | |
KR102130075B1 (en) | Image learning support system for resolution restoration using user's preference information | |
KR101933699B1 (en) | Method of improving resolution based on ai image learning | |
KR101933698B1 (en) | Device for extracting and providing weights through ai image learning | |
KR100889725B1 (en) | Presentation Method and VOD System for Contents Information Provision in VOD Service |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110822 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130226 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160308 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |