JP5170708B2 - 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置 - Google Patents

Description

本発明は、動画像ストリームを加工する方法及び装置、それを用いた動画像再生装置、並びに動画像配信装置に関するものである。本発明は特に、高速再生や逆高速再生等の特殊再生を行なう際に好適に用いられる。

動画像信号を低ビットレート、高圧縮率且つ高画質で符号化して符号化データを生成したり、符号化された動画像を復号化したりする技術として、ＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）が標準化したＨ．２６１、Ｈ．２６３がある。また、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）のＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等が国際標準規格として広く用いられている。

更に、近年ＩＴＵとＩＳＯが共同で規格化を行なったＨ．２６４がある（非特許文献１）。このＨ．２６４は従来の動画像符号化技術に比べ、更なる圧縮効率向上、画質向上を実現できることが知られている。

これら動画像符号化技術では、動画像信号を効率よく圧縮するために、各フレームの時間的な相関を利用するフレーム間予測符号化技術が広く用いられている。フレーム間予測符号化は、すでに符号化したフレームの画像信号から現在のフレームの画像信号を予測し、予測した信号と現在の信号との間の予測誤差信号を符号化する。一般的な動画像では時間的に近接するフレームの画像信号には高い相関が存在するため、この技術は圧縮効率向上に効果的である。

ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等の動画像符号化技術では、フレーム間予測符号化を利用しないＩピクチャ（フレーム内符号化画像）、すでに符号化した１枚のフレームからのフレーム間予測符号化を利用するＰピクチャ（片方向予測符号化画像）、すでに符号化した２枚のフレームからのフレーム間予測符号化を利用するＢピクチャ（双方向予測符号化画像）を組み合わせて動画像を符号化する。

復号化の際には、Ｉピクチャは１フレーム単独で復号できるが、Ｐピクチャ、Ｂピクチャは復号するのにフレーム間予測で予測に用いる画像データが予め必要であるため１フレーム単独では復号できない。

動画像符号化方式におけるピクチャ構成の例を図１に示す。それぞれの四角形が１フレームを表し、下にはピクチャ種別と表示順を示す（例えばＢ５は表示順で５番目のフレームでＢピクチャとして符号化されことを表す）。このように性質の異なるＩピクチャ、Ｐピクチャ、Ｂピクチャを適切に組み合わせて動画像を符号化することが行われている。

図１は動画像符号化のピクチャ構成の一例を示す図である。図１に示すように符号化された動画像ビットストリームを高速再生、逆高速再生等の特殊再生する場合には、ビットストリームから単独で復号化可能なＩピクチャのビットストリームのみを抜き出して再生することが行われている。

図２は高速再生ビットストリーム、及び逆高速再生ビットストリームを得る動作例を示す図である。図３は高速再生及び逆高速再生を行う装置の構成を示す図である。図３に示すように、ビットストリームはストリーム抜き出し部１０１に入力される。ストリーム抜き出し部１０１は入力されたビットストリームからＩピクチャのビットストリームのみを抜き出し、ストリーム並び替え部１０２に供給する。ストリーム並び替え部１０２は供給されたＩピクチャのビットストリームを必要に応じて並び替えて外部に出力する。

図２の例で説明すると、高速再生の場合には、図２の上部に図示されたビットストリームからストリーム抜き出し部１０１でＩピクチャのビットストリームのみを順番に抜き出し、それを並べてビットストリームを構成することで、図２の左下部に示す、高速再生ビットストリームが得られる。高速再生の場合には、Ｉピクチャの抜き出しのみを行い、ストリーム並び替え部１０２での並び替え処理は発生しない。

また、逆高速再生の場合には、同じくストリーム抜き出し部１０１でビットストリームからＩピクチャのみを抜き出し、それをストリーム並び替え部１０２で表示順とは逆順に並び替えて出力する。そうすることで、図２の右下部に示す、逆高速再生ビットストリームが得られる。

例えば、特許文献１には上記方法を発展させ、表示に必要な最小限のＩピクチャのみを抜き出して高速再生用ストリームを生成する技術が開示されている。特許文献１の方法は、近年規格化されたＨ．２６４動画像符号化技術で符号化されたビットストリームの特殊再生でも利用できる。しかし、Ｈ．２６４ではＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の符号化標準と比較して符号化の自由度が高くなっており、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４の符号化標準が適用できない場合がある。以下、その内容を説明する。

Ｈ．２６４ではＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４の符号化標準とは異なり、Ｉスライスのみで構成される単独で復号可能なピクチャがＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャとＩピクチャの２種類になっている。ＩＤＲピクチャではデコーダの内部状態リセット動作が行なわれ、ＭＰＥＧ−２等の符号化標準のＩピクチャと同様に完全に単独復号可能である。

一方、Ｈ．２６４のＩピクチャは画像データ自体は単独復号であるものの、ヘッダ部の復号には過去のピクチャの情報が必要である。このため、特殊再生にはＩＤＲピクチャのみを利用するのが簡便な方式である。以下、本願明細書において、特に指定しない限り、ＩＤＲピクチャ、ＩピクチャはそれぞれＨ．２６４方式でのＩＤＲピクチャ、Ｉピクチャを指すものとする。

ここで、符号化器の動作によっては、符号化効率の向上等の目的でＩＤＲピクチャ枚数が少なく、Ｉピクチャ枚数が多いビットストリームが生成される。この場合、ＩＤＲのみを利用した特殊再生では利用できるピクチャの枚数が少なく、滑らかな動きが実現できない。

図４はＩＤＲのみを利用した高速再生ビットストリームの動作例を示す。図４の上部に元のビットストリーム、図４の下部に高速再生ビットストリームを示す。この例では、元のビットストリームには６フレーム毎に画像データ自体を単独再生可能なピクチャ（ＩＤＲまたはＩ）が含まれている。このうち、ＩＤＲピクチャは１８フレーム間隔である。他はＩピクチャである。

図４に示すように、ＩＤＲのみを用いると、画像データ自体は単独復号できるＩピクチャは使わないため、１８フレームのうち１フレームしか特殊再生に利用できず、高速再生ビットストリームの動きの滑らかさが落ちてしまう。しかし、特殊再生に（ＩＤＲではない）Ｉピクチャも用いる場合、上述のようにヘッダ部の情報（ピクチャ番号、出力順、フレームバッファ管理情報等）の復号に過去のピクチャ情報が必要である。そのため、ＩＤＲ及びＩを抜き出して並び替え等を行なうと、ヘッダ部を正常に復号できず、ピクチャの出力順が乱れる、復号化装置がエラーと判断して復号結果が得られる、等の問題が発生する。

例えば、ｓｌｉｃｅ＿ｈｅａｄｅｒ（）に存在するｆｒａｍｅ＿ｎｕｍは参照ピクチャ毎に１ずつインクリメントするように規定されているが、ＩＤＲ及びＩを抜き出して並べると、隣接する参照ピクチャ間でｆｒａｍｅ＿ｎｕｍの値が２以上増加する場合があり、復号化装置によってはエラーと判断する可能性がある。

これを避けるには、復号化装置に特殊再生用の動作モードを備え、特殊再生モード時にはヘッダ部の出力順情報や復号エラーは無視して、復号化した画像データを復号化した順番でそのまま出力する、という復号化動作を行なう技術が考えられる。
特開平０５−３４４４９４号公報 ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４「Ａｄｖａｎｃｅd ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」、２００５年３月

上述のように復号化装置に特殊再生用の動作モードを備える技術では、ＩＤＲピクチャに加えてＩピクチャも利用した滑らかな高速再生、高速逆再生等の特殊再生を実現できる。しかしながら、この技術は復号化装置に新たな機能を加えるものであるため、この技術を用いた復号化装置と、この技術を用いない復号化装置とでは、同一のビットストリームを入力しても復号化結果が大きく異なってしまう。

ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等の国際標準規格の動画像符号化技術では復号化装置の動作を厳密に規定しており、同一のビットストリームを入力すれば規格に準拠した復号化装置であれば、どの製造者の製造した復号化装置であってもほぼ同じまたは全く同じ復号化結果が得られることが保証される。この点が国際標準規格の動画像符号化技術の大きな利点の一つである。このため、復号化装置に標準規格外の機能を加える技術は、利用目的によっては好ましくない。

また、復号化装置に標準規格外の機能を加えると、復号化装置の構成が複雑になり、設計や製造の難易度が高くなる、費用が上がる、等の問題が発生する場合がある。動画像の符号化装置と復号化装置では、通常復号化装置の方が多数利用されるため、復号化装置の構成が複雑になる影響は大きい。

本発明の典型的な(exemplary)目的は、復号化装置を変更することなく高速再生や高速逆再生等の特殊再生を実現することが可能な動画像ストリーム加工方法及び装置、それを用いた動画像再生装置、並びに動画像配信装置を提供することにある。

本発明の典型的な(exemplary)動画像ストリーム加工装置は、動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームとを抜き出す抜き出し部と、
前記抜き出し部で抜き出された前記第２のビットストリームを単独で復号可能なピクチャの第３のビットストリームに変換する変換部と、を備え、
前記抜き出し部により抜き出された前記第１のピクチャのビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する動画像ストリーム加工装置である。

また、本発明の典型的な(exemplary)動画像ストリーム加工装置は、動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームと、符号化パラメータセットのビットストリームとを抜き出す抜き出し部と、
前記抜き出された符号化パラメータセットを記憶する記憶部と、
前記記憶された符号化パラメータセットを変更して、画像データ部以外のビット長変化を調整する符号化パラメータセットを生成する生成部と、
前記抜き出し部で抜き出された前記第２のビットストリームを、前記生成部で生成された符号化パラメータセットに基づいて単独で復号可能なピクチャの第３のビットストリームに変換する変換部と、を備え、
前記抜き出し部により抜き出された前記第１のビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する動画像ストリーム加工装置である。

また、本発明の典型的な(exemplary)動画像再生装置は、上記動画像ストリーム加工装置と、動画像を符号化したビットストリームの復号化を行なう動画像復号化装置と、通常再生時には入力ビットストリームを前記動画像復号化装置に供給し、高速再生又は逆高速再生の特殊再生時には入力ビットストリームを前記動画像ストリーム加工装置に供給して当該動画像ストリーム加工装置で処理されたビットストリームを前記動画像復号化装置に供給するように切り替えるビットストリーム切り替え装置と、前記動画像復号化装置からの復号画像を表示する動画像表示装置と、を備えたことを特徴とする。

また、本発明の典型的な(exemplary)記憶媒体は、動画像を符号化したビットストリームと、請求項１乃至６のいずれか１項に記載の動画像ストリーム加工装置で処理された特殊再生用ビットストリームと、前記ビットストリームと前記特殊再生用ビットストリームとを関連付ける情報を有する管理テーブルと、を記憶したことを特徴とする。

また、本発明の典型的な(exemplary)動画像配信装置は、上記記憶媒体と、通常再生時には前記記憶媒体から前記ビットストリームを読み出し、特殊再生時には前記管理テーブルを参照して前記ビットストリームと関連付けられた特殊再生用ビットストリームを読み出すビットストリーム切り替え装置と、前記ビットストリーム切り替え装置で読み出されたビットストリームを受信端末に送出するビットストリーム送出装置と、を備えることを特徴とする。

また、本発明の典型的な(exemplary)動画像ストリーム加工方法は、動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームとを抜き出し、
抜き出された前記第２のビットストリームを単独で復号可能なピクチャの第３のビットストリームに変換し、
抜き出された前記第１のビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する画像ストリーム加工方法である。

また、本発明の典型的な(exemplary)動画像ストリーム加工方法は、動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームと、符号化パラメータセットのビットストリームとを抜き出し、
記憶部に前記抜き出された符号化パラメータセットを記憶し、
前記記憶された符号化パラメータセットを変更して、画像データ部以外のビット長変化を調整する符号化パラメータセットを生成し、
抜き出された前記第２のビットストリームを、生成された前記符号化パラメータセットに基づいて単独で復号可能なピクチャの第３のビットストリームに変換し、
抜き出された前記第１のビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する画像ストリーム加工方法である。

本願は、２００８年１月２４日に出願された特願２００８−０１３７０３号に基づき、優先権の利益を主張するものである。そして、特願２００８−０１３７０３号の内容は本願の明細書の内容に含まれる。

本発明によれば、より動きの滑らかな高速再生、逆高速再生等の特殊再生を実現できる。その理由は、従来方式では画像データ部は単独復号化できるが、ヘッダ部は単独復号できないピクチャを特殊再生に利用できなかったのに対し、本発明ではこのようなピクチャを完全に単独復号化可能なピクチャに変換して特殊再生に利用するためである。特殊再生用ビットストリームは通常の復号化装置に入力して復号可能であるため、特殊再生を実現するための追加機能等を持たない通常の復号化装置に特殊再生用ストリームを入力して復号することで従来よりも動きの滑らかな高速再生や高速逆再生等の特殊再生が実現することが可能となる。

動画像符号化のピクチャ構成の例を示す図である。 背景技術となる方式の動作例を説明する図である。 背景技術となる方式の構成を示すブロック図である。 背景技術となる方式の動作例を説明する図である。 本発明の第１の実施形態の構成を示すブロック図である。 第１の実施形態の処理手順を示す流れ図である。 ＩピクチャからＩＤＲピクチャへの変換処理手順を示す流れ図である。 第１の実施形態の動作を説明する図である。 第１の実施形態のビットストリームを高速再生ビットストリームに変換する動作を説明する図である。 本発明の第２の実施形態の処理手順を示す流れ図である。 本発明の第３の実施形態の処理手順を示す流れ図である。 本発明の第４の実施形態の構成を示すブロック図である。 第４の実施形態の処理手順を示す流れ図である。 第４の実施形態のＩピクチャからＩＤＲピクチャへの変換処理手順を示す流れ図である。 第４の実施形態の動作を説明する図である。 本発明の第５の実施形態の構成を示すブロック図である。 本発明の第６の実施形態の構成を示すブロック図である。 第６の実施形態の管理テーブルの例を示す図である。 第６の実施形態の管理テーブルの別の例を示す図である。 本実施形態の動画像ストリーム加工装置を構成するコンピュータの一構成例を示すブロック図である。

符号の説明

１０１ ストリーム抜き出し部
１０２ ストリーム並び替え部
２０１ ストリーム抜き出し部
２０２ 切り替え部
２０３ ストリーム変換部
２０４ ストリーム並び替え部
３０１ ストリーム抜き出し部
３０２ 切り替え部
３０３ ストリーム並び替え部
３０４ 符号化パラメータセット記憶部
３０５ ストリーム変換部
３０６ ストリーム生成部
４０１ ビットストリーム切り替装置
４０２ 動画像ストリーム加工装置
４０３ 動画像復号化装置
４０４ 動画像表示装置
５０１ 記憶媒体
５０２ ビットストリーム切り替え装置
５０３ ビットストリーム送出装置
５１１ ビットストリーム
５１２ 特殊再生用ビットストリーム
５１３ 管理テーブル

次に、発明を実施するための典型的な(exemplary)形態について図面を参照して詳細に説明する。以下の実施形態ではＨ．２６４方式の例を挙げて説明する。

（第１の実施形態）
本発明の第１の実施形態を図５から図９を参照して説明する。図５は本発明の第１の実施形態の動画像ストリーム加工装置の構成を示す構成図、図６、図７はその動作手順を示すフローチャートである。図８、図９はその動作の概要を説明するための図である。

まず、本実施形態では、図５に示すように、切り替え部２０２、ストリーム変換部２０３を備える点が図３の構成と異なる。図５のストリーム抜き出し部２０１、ストリーム並び替え部２０４は、図３のストリーム抜き出し部１０１、ストリーム並び替え部１０４にそれぞれ対応する。ストリーム並び替え部２０４は、高速再生の場合には抜き出された順に並べて出力し、逆高速再生の場合には、抜き出された順とは逆順に並べて出力する。したがって、ストリーム並び替え部２０４は高速再生用ビットストリームか、逆高速再生用ビットストリームを生成して出力するビットストリーム出力部となる。

切り替え部２０２は、ストリーム抜き出し部２０１から供給されたストリームがＩＤＲピクチャかＩピクチャかによって切り替える。即ち、ＩＤＲピクチャであればストリーム並び替え部２０４にストリームをそのまま供給し、Ｉピクチャであればストリーム変換部２０３にストリームを供給する。ストリーム変換部２０３は入力されたＩピクチャのストリームをＩＤＲピクチャに変換する。

Ｉピクチャ及びＩＤＲピクチャについては背景技術で説明した通りである。即ち、ＩＤＲピクチャはＭＰＥＧ−２等の従来符号化標準のＩピクチャと同様に完全に単独復号可能である。Ｈ．２６４のＩピクチャは画像データ自体は単独復号であるものの、ヘッダ部の復号には過去のピクチャの情報が必要である。つまり、Ｈ．２６４方式においてＩＤＲピクチャは画像データ部が単独復号可能であり、Ｉピクチャは画像データ部は単独復号可能であるが、画像データ部以外は単独復号できない。

次に、図６を用いて動作を説明する。処理を開始すると（ステップＳ１００１）、まず、ストリーム抜き出し部２０１は入力されたビットストリーム（動画像を符号化したビットストリーム）を読み、画像データ部に単独復号可能なピクチャ（Ｈ．２６４ではＩＤＲまたはＩピクチャ）が含まれるかどうかを判定する（ステップＳ１００２）。Ｈ．２６４の場合、例えば、ｓｌｉｃｅ＿ｈｅａｄｅｒ（）のｓｌｉｃｅ＿ｔｙｐｅによって符号化タイプを判定できる。ＩＤＲまたはＩピクチャが存在しない場合にはステップＳ１００７に移行し、動作を終了する。

ＩＤＲまたはＩピクチャが存在する場合には、ストリーム抜き出し部２０１はＩＤＲまたはＩピクチャのストリームを抜き出し、切り替え部２０２に供給する（ステップＳ１００３）。切り替え部２０２は入力されたストリームがＩＤＲピクチャかＩピクチャかによって接続を切り替える（ステップＳ１００４）。ＩＤＲピクチャの場合はストリームをそのままストリーム並び替え部２０４に供給する（ステップＳ１００６）。Ｉピクチャの場合はストリームをストリーム変換部２０３に供給する。

ストリーム変換部２０３は入力されたＩピクチャのストリームをＩＤＲピクチャに変換し（ステップＳ１００５）、変換結果のＩＤＲピクチャのストリームをストリーム並び替え部２０４に供給する。ストリーム並び替え部２０４は、入力されたストリームに必要に応じた並び替え処理を行なってストリームを出力する（ステップＳ１００６）。そして、ステップＳ１００２に戻って入力ビットストリームから次のＩＤＲまたはＩピクチャを探す。ＩＤＲまたはＩピクチャが存在しなければ、ステップＳ１００７で処理が終了する。

ストリーム並び替え部２０４の必要に応じた並び替え処理とは、図９に示すように、高速再生の場合はＩＤＲピクチャを抜き出された順に並べて高速再生用ビットストリームを得ることをいう。逆高速再生の場合は図９とは逆の並び順に並び替えて逆高速再生用ビットストリームを得ることをいう。

ストリーム変換部２０３は上述のように入力されたＩピクチャのストリームをＩＤＲピクチャに変換する。その動作について図７、図８を用いて詳細に説明する。図７はその動作を示すフローチャート、図８はその動作を説明する図である。図７のステップＳ１１０１から処理を開始する。

Ｈ．２６４方式の場合には、ヘッダ部（ｓｌｉｃｅ＿ｈｅａｄｅｒ（））より上位はＩＤＲピクチャとＩピクチャでストリームシンタックスが異なるため、必要な書き換えを行なう（ステップＳ１１０２）。

具体例としては、次の（１）〜（５）の方法がある。

（１）ｎａｌ＿ｕｎｉｔ（）のｎａｌ＿ｒｅｆ＿ｉｄｃを５に変更する、
（２）ｓｌｉｃｅ＿ｈｅａｄｅｒ（）にｉｄｒ＿ｐｉｃ＿ｉｄを追加する、
（３）ｓｌｉｃｅ＿ｈｅａｄｅｒ（）のｆｒａｍｅ＿ｎｕｍを０に変更する、
（４）ｓｌｉｃｅ＿ｈｅａｄｅｒ（）のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の値が０になるように関連する符号語を変更する、
（５）ｄｅｃ＿ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ（）の内容をＩＤＲピクチャのシンタックスに変更する。例えば、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇ＝０、ｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇ＝０、のように書き換えを行なう。

画像データ部（ｓｌｉｃｅ＿ｄａｔａ（））のストリームの内容はＩＤＲピクチャとＩピクチャで違いは無いため、内容の書き換えは必要ない。但し、Ｈ．２６４方式では特定の符号語についてはその先頭位置あるいは終端位置がバイト境界（バイトアライメント位置）に無ければならないという規定がある。例えば、ｓｌｉｃｅ＿ｄａｔａ（）に存在するｐｃｍ＿ｓａｍｐｌｅ＿ｌｕｍａは先頭がバイトアライメント位置に無くてはならず、ｒｂｓｐ＿ｔｒａｉｌｉｎｇ＿ｂｉｔｓ（）の末尾もバイトアライメント位置に無くてはならない。

しかし、ヘッダ部の書き換えの内容によってはｓｌｉｃｅ＿ｈｅａｄｅｒ（）のビット長が変化する場合があり、その場合には後続のｓｌｉｃｅ＿ｄａｔａ（）以降のビットストリームはｓｌｉｃｅ＿ｈｅａｄｅｒ（）のビット長変化分だけビット位置が変化する。この結果、バイトアライメント規定がある符号語もそのビット位置が変化し、バイトアライメントの規定を満たさなくなる場合がある。

図８はこの動作の例を示す。図８の横軸はビットストリーム中でのビット位置を表し、小目盛が１ビット単位、大目盛が８ビット単位の位置を示す。この例では、変換前のヘッダ部は図８の２バイト目の５ビット目までで、後ろに画像データ部が続いている。画像データ部の中には、黒三角で示す箇所にバイトアライメント規定されている符号語が存在する。このストリームのヘッダ部の書き換えを行なった結果、ヘッダ部が４ビット長くなった場合、図８に示すように変換後のストリームは全体に４ビットだけ後ろにずれ、その結果バイトアライメントすべき符合語の位置がアライメント位置からずれてしまい、規格違反のストリームとなってしまう。

この問題を避けるため、画像データ部に関しては一旦エントロピー符号（Ｈ．２６４ではＣＡＶＬＣまたはＣＡＢＡＣ）の復号化を行い、必要に応じてバイトアライメント規約整合のための補正を行いながら再度エントロピー符号化を行なう（ステップＳ１１０３）。例えば、ｐｃｍ＿ｓａｍｐｌｅ＿ｌｕｍａの場合には、再エントロピー符号化時にバイトアライメント規約を満たすよう、その直前のｐｃｍ＿ａｌｉｇｎｍｅｎｔ＿ｚｅｒｏ＿ｂｉｔの数を増減する。

他には、例えば、ｃａｂａｃ＿ａｌｉｇｎｍｅｎｔ＿ｏｎｅ＿ｂｉｔのビット数、ｒｂｓｐ＿ａｌｉｇｎｍｅｎｔ＿ｚｅｒｏ＿ｂｉｔのビット数を増減する。画像データ部に関しては、このようなバイトアライメント整合のためのストリーム整形処理のみを行なうことで、ＩピクチャのＩＤＲピクチャへの変換を完了する（ステップＳ１１０４）。なお、簡単のため説明は省略しているが、以上の変換処理はピクチャに含まれる全スライスに対して行なう。

次に、図４と同じストリームを入力した場合の動作例を図９を用いて説明する。図４に示した動作では高速再生ストリームの生成にＩＤＲのみを利用していたため、この例では２枚のピクチャしか利用できず、動きの滑らかさが損なわれる。

図９は本実施形態の動作例を示す図である。図９の上部に元のビットストリーム、図９の下部に高速再生ビットストリームを示す。本実施形態の動作例では、図９に示すように、２枚のＩＤＲピクチャ（ＩＤＲ０、ＩＤＲ１８）に加え、入力ビットストリームのＩピクチャ（Ｉ６、Ｉ１２）も高速再生ストリームに利用する。Ｉピクチャを用いる際には、ストリーム変換部２０３でＩピクチャをＩＤＲピクチャ（ＩＤＲ６、ＩＤＲ１２）に変換した上で利用する。これにより高速再生に利用できるピクチャ枚数が増加し、より滑らかな特殊再生を実現できる。

本実施形態では、ＩＤＲピクチャ及びＩピクチャのストリームを抜き出し、ＩピクチャについてはＩＤＲピクチャに変換した上で特殊再生ビットストリーム生成に利用する。これにより、背景技術で利用していた枚数以上の枚数のピクチャを特殊再生に利用できる。また、特殊再生に利用するのはＩピクチャから変換したものも含めＩＤＲピクチャのみであるので、各ピクチャは完全に単独復号可能であり、並び替え等を行なっても規格に準拠した正しいビットストリームが得られる。これにより、復号化装置の変更無しに、より滑らかな高速再生、高速逆再生等の特殊再生を実現できる動画像ストリーム加工装置及び方法を提供することができる。

（第２の実施形態）
次に、本発明の第２の実施形態を説明する。図１０は第２の実施形態の動作手順を示すフローチャートである。本実施形態の動画像ストリーム加工装置の構成は第１の実施形態の構成と同一である。全体の処理フローチャートも図６のフローチャートと同一である。第１の実施形態と異なるのはストリーム変換部２０３の変換処理である。図１０はストリーム変換部２０３の動作を示すものである。

まず、図１０のステップＳ１２０１から処理を開始する。次いで、ヘッダ部より上位の書き換え（ステップＳ１２０２）の後に書き換えによるヘッダ部のビット長変化が８の倍数であったか否かを判定する（ステップＳ１２０３）。本実施形態では０も８の倍数とする。以下の実施形態でも同様である。

８の倍数であった場合、画像データ部のストリームのビット位置のずれは８の倍数であるため、画像データ部の各符号語のバイトアライメント位置のずれは発生しない。このため、画像データ部についてはそれ以上の処理は必要なく（Ｓ１２０７で終了）、入力ストリームをそのまま出力する。

一方、ヘッダ部のビット長変化が８の倍数でなかった場合には、画像データ部の先頭にバイトアライメント整合のためのビットが存在するか否かを判定する（ステップＳ１２０４）。存在する場合にはそのビット数を調整してバイトアライメントを整合させる（ステップＳ１２０６）。Ｈ．２６４の場合には、エントロピー符号化にＣＡＢＡＣを用いている時は画像データ部（ｓｌｉｃｅ＿ｄａｔａ（））の先頭にはバイトアライメントを合わせるための符号語ｃａｂａｃ＿ａｌｉｇｎｍｅｎｔ＿ｏｎｅ＿ｂｉｔが存在するため、このｃａｂａｃ＿ａｌｉｇｎｍｅｎｔ＿ｏｎｅ＿ｂｉｔのビット数を調整してバイトアライメントを整合させる。

ここで、バイトアライメントを整合させることで、それ以降の画像データ部のストリームについてはバイトアライメント位置のずれは発生しないことが保証されるため、これ以上の処理は必要なく、入力のストリームをそのまま出力する。一方、エントロピー符号化にＣＡＢＡＣを用いていない場合には（画像データ部の先頭にアライメントビットが存在しない）、第１の実施形態と同様に画像データ部のエントロピー符号の復号化と再符号化を行なう（Ｓ１２０５）。

本実施形態では、ＩピクチャをＩＤＲピクチャに変換する際にヘッダ部のビット長変化が８の倍数の場合には処理は行なわない。また、８の倍数ではない場合、エントロピー符号化にＣＡＢＡＣを用いている時にはエントロピー符号の復号化と再符号化を行なわないか、より簡易な処理を行なう。

そうすることで、バイトアライメントの問題を解決することが可能となる。第１の実施形態では演算負荷の大きいエントロピー符号の復号化と再符号化処理を常に行なっていたが、本実施形態では可能な限りこの処理を行なわないことで、より小さい演算負荷で高速再生、高速逆再生等の特殊再生を実現できる。

（第３の実施形態）
次に、本発明の第３の実施形態を説明する。図１１は第３の実施形態の動作手順を示すフローチャートである。本実施形態の動画像ストリーム加工装置の構成は第１、第２の実施形態の構成と同一である。全体の処理フローチャートは図６の第１の実施形態のフローチャートと同一である。第１、第２の実施形態と異なるのはストリーム変換部２０３での変換処理である。図１１はストリーム変換部２０３の動作を示すものである。

まず、図１１のステップＳ１３０１〜ステップＳ１３０３の処理は第２の実施形態のフローチャート（図１０）におけるステップＳ１２０１〜ステップＳ１２０３と同一である。但し、ステップＳ１３０３でヘッダ部のビット長変化が８の倍数でなかった場合の処理が異なる。

その場合、本実施形態ではヘッダ部（ｓｌｉｃｅ＿ｈｅａｄｅｒ（））の符号語の一部を変更することでヘッダ部のビット長変化が８の倍数になるように調整を試みる（ステップＳ１３０４）。例えば、ＩＤＲピクチャのｓｌｉｃｅ＿ｈｅａｄｅｒ（）の符号語ｉｄｒ＿ｐｉｃ＿ｉｄは、０〜６５５３５の範囲で値を変更することが可能で、ビット長は値によって２ビット単位で変化する。

これを用いれば、ヘッダ部のビット長変化が２，４，６ビットであった場合にｉｄｒ＿ｐｉｄ＿ｉｄの値を適切に選ぶことでビット長を更に２ビット単位で調整してヘッダ部のビット長変化を８の倍数にすることができる。この後、ヘッダ部のビット長変化が８の倍数であるかを再度判定し（ステップＳ１３０５）、８の倍数であった場合にはそれ以上の変換処理は行なわない。ステップＳ１３０４で調整しても、なおビット長変化が８の倍数にできなかった場合の処理（ステップＳ１３０６〜ステップＳ１３０８）は、第２の実施形態のフローチャート（図１０）のステップＳ１２０４〜ステップＳ１２０６の処理と同一である。

本実施形態では、ＩピクチャをＩＤＲピクチャに変換する際に、ヘッダ部のビット長変化が８の倍数の場合でなかった時にヘッダ部の符号語の値を調整してビット長変化が８の倍数となるように試みる。これにより、演算負荷の大きいエントロピー符号の復号化と再符号化処理が必要となる場合を減らし、より小さい演算負荷で高速再生、高速逆再生等の特殊再生を実現できる。

（第４の実施形態）
次に、本発明の第４の実施形態を図１２、図１３、図１４を用いて説明する。図１２は本実施形態の動画像ストリーム加工装置の構成を示すブロック図、図１３及び図１４は本実施形態の動作手順を示すフローチャートである。

まず、図１２に示すストリーム抜き出し部３０１、切り替え部３０２、ストリーム並び替え部３０３、ストリーム変換部３０５は、図５のストリーム抜き出し部２０１、切り替え部２０２、ストリーム並び替え部２０４、ストリーム変換部２０３にそれぞれ対応するものである。機能は同様である。但し、切り替え部３０２は後述するように符号化パラメータセットのストリームの場合には、抜き出されたストリームを符号化パラメータセット記憶部３０４に供給する。

本実施形態では、符号化パラメータセット記憶部３０４、ストリーム生成部３０６を追加した点が第１の実施形態と異なる。符号化パラメータセット記憶部３０４は供給されたストリームを記憶する。

次に、図１３を用いて動作を説明する。処理を開始すると（ステップＳ１４０１）、ストリーム抜き出し部３０１は入力されたビットストリーム（動画像を符号化したビットストリーム）を読み、画像データ部を単独復号可能なピクチャ（Ｈ．２６４ではＩＤＲまたはＩピクチャ）が含まれているかどうかを判定する（ステップＳ１４０２）。

ＩＤＲまたはＩピクチャが存在しない場合にはステップＳ１４０８に移行し、動作を終了する。ＩＤＲまたはＩピクチャが存在する場合には、ストリーム抜き出し部３０１で必要なストリームを抜き出す（ステップＳ１４０３）。ここでは、ＩＤＲまたはＩピクチャに加え、符号化パラメータセットのストリームも抜き出す。符号化パラメータセットはピクチャの復号化に必要な各種パラメータ群をまとめたもので、例えば、Ｈ．２６４の場合にはｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（），ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）がある。

抜き出したストリームは切り替え部３０２に供給される。切り替え部３０２は入力されるストリームのタイプ（ＩＤＲピクチャ、Ｉピクチャ、または符号化パラメータセット）によって接続を切り替える（ステップＳ１４０４）。ＩＤＲピクチャの場合はストリームをそのままストリーム並び替え部３０３に供給する。Ｉピクチャの場合はストリームをストリーム変換部３０５に供給する。符号化パラメータセットの場合には符号化パラメータセット記憶部３０４に供給する。符号化パラメータセット記憶部３０４は入力されたストリームを記憶する（ステップＳ１４０７）。

ストリーム変換部３０５は入力されたＩピクチャのストリームをＩＤＲピクチャに変換し（ステップＳ１４０５）、変換結果のＩＤＲピクチャのストリームをストリーム並び替え部３０３に供給する。変換の際には、必要に応じて符号化パラメータセット記憶部３０４に記憶されている符号化パラメータセットを読み出してストリーム生成部３０６に供給し、ストリーム生成部３０６で生成されたストリームも合わせてストリーム並び替え部３０３に供給する。

ストリーム並び替え部３０３は上述の実施形態と同様に入力されたストリームに必要に応じた並び替え処理を行なってストリームを出力する（ステップＳ１４０６）。そして、ステップＳ１４０２に戻って入力ビットストリームから次のＩＤＲまたはＩピクチャを探す。ステップＳ１４０８で処理が終了する。

ストリーム変換部３０５は入力されたＩピクチャのストリームをＩＤＲピクチャに変換するが、その動作を図１４のフローチャートを用いて詳細に説明する。ヘッダ部変更（ステップＳ１５０２）とヘッダ部のビット長変化判定（ステップＳ１５０３）の処理は第３の実施形態（図１１）のステップＳ１３０２、Ｓ１３０３と同一である。本実施形態ではヘッダ部のビット長変化が８の倍数でなかった場合、ヘッダ部（ｓｌｉｃｅ＿ｈｅａｄｅｒ（））及び符号化パラメータセットの両方を調整する（Ｓ１５０４）。その後、処理を終了する（Ｓ１５０５）。

調整が必要なビット数が偶数であった場合には、第３の実施形態（図１１）のステップＳ１３０４と同様にｓｌｉｃｅ＿ｈｅａｄｅｒ（）の符号語の値の変更で調整できる。しかし、調整が必要なビット数が奇数であった場合にはこの方法だけでは調整できない。このような場合には、例えば、ｓｌｉｃｅ＿ｈｅａｄｅｒ（）の符号語ｆｒａｍｅ＿ｎｕｍのビット長を変更することで調整する。

ｆｒａｍｅ＿ｎｕｍのビット長はｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）の符号語ｌｏｇ２＿ｍａｘ＿ｆｒａｍｅ＿ｎｕｍ＿ｍｉｎｕｓ４の値で決まる。そこで、ｆｒａｍｅ＿ｎｕｍのビット長調整が必要な場合には、符号化パラメータセット記憶部３０４からアクティブなｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）及びｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）を読み出し、ストリーム生成部３０６でｌｏｇ２＿ｍａｘ＿ｆｒａｍｅ＿ｎｕｍ＿ｍｉｎｕｓ４の値を変更したｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）及びそれを参照するｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）を生成する。

ｌｏｇ２＿ｍａｘ＿ｆｒａｍｅ＿ｎｕｍ＿ｍｉｎｕｓ４以外の符号語の値は変更前のものを用いればよい。また、必要に応じてｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ、ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ等の符号語を変更しても良い。ストリーム変換部３０５は、ストリーム生成部３０６で生成したｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）、ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）を参照するようにｓｌｉｃｅ＿ｈｅａｄｅｒ（）を書き換える。

例えば、全体としては、奇数ビット数の調整のためにｌｏｇ２＿ｍａｘ＿ｆｒａｍｅ＿ｎｕｍ＿ｍｉｎｕｓ４を変更し、残った偶数ビット数の調整はｉｄｒ＿ｐｉｃ＿ｉｄの変更で行なう、というような処理をすることで、ヘッダ部のビット長変化がどのような値であっても８の倍数に調整することができる。この調整処理によって画像データ部のバイトアライメント位置のずれは発生しなくなるため、画像データ部については入力のストリームをそのまま出力する。

図１５は上述のようなストリーム変換部３０５やストリーム生成部３０６等の動作を示すものである。図１５ではストリーム抜き出し部３０１に入力された動画像を符号化したビットストリームとストリーム並び替え部３０３に供給されたビットストリームを示す。図１５中ＳＰＳ、ＰＰＳはそれぞれｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）、ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）を表す。図１５の例では、入力ビットストリームのＰＰＳはＳＰＳを参照し、ＩＤＲ０、Ｉ６、Ｉ１２等のピクチャはＰＰＳを参照する。

本実施形態では、ＳＰＳ、ＰＰＳは符号化パラメータセット記憶部３０４に記憶される。高速再生ビットストリームを生成する際には、図１５に示すようにＩピクチャＩ６及びＩ１２ピクチャはストリーム変換部３０５でＩＤＲピクチャＩＤＲ６及びＩＤＲ１２にそれぞれ変換される。

この変換の際に、ｓｌｉｃｅ＿ｈｅａｄｅｒ（）のｆｒａｍｅ＿ｎｕｍのビット長調整が必要な場合には、符号化パラメータセット記憶部３０４からＳＰＳ及びＰＰＳを読み出す。そして、ストリーム生成部３０６ではｌｏｇ２＿ｍａｘ＿ｆｒａｍｅ＿ｎｕｍ＿ｍｉｎｕｓ４の値を変更したｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）（ＳＰＳ’）及びそれを参照するｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）（ＰＰＳ’）を生成する。

このことは、図１５に示すようにストリーム変換部３０５でＩＤＲ６及びＩＤＲ１２ピクチャに変換する際に、ｌｏｇ２＿ｍａｘ＿ｆｒａｍｅ＿ｎｕｍ＿ｍｉｎｕｓ４の値を変更することで、そのピクチャの画像データ部以外のビット長（ビット長変化）が８の倍数となるように変更するものである。

ストリーム変換部３０５はストリーム生成部３０６で生成されたＳＰＳ’及びＰＰＳ’を参照するようにｓｌｉｃｅ＿ｈｅａｄｅｒ（）を書き換えながらＩＤＲ６及びＩＤＲ１２を出力する。ＳＰＳ’、ＰＰＳ’及びＩＤＲ６、ＩＤＲ１２はＩＤＲ０と共にストリーム並び替え部３０３に供給され、高速再生又は逆高速再生等を行なう場合の高速再生ビットストリームに用いられる。

本実施形態では、ＩピクチャをＩＤＲピクチャに変換する際に、必要に応じて値を変更した符号化パラメータセットを生成してヘッダ部のビット長変化を８の倍数に調整する。これにより、ヘッダ部のビット長変化がどのような値であっても８の倍数に調整することができ、演算負荷の大きいエントロピー符号の復号化と再符号化処理は不要となり、より小さい演算負荷で高速再生、高速逆再生等の特殊再生を実現できる動画像ストリーム加工装置及び方法を提供することができる。

（第５の実施形態）
次に、本発明の第５の実施形態となる動画像再生装置を説明する。図１６は第５の実施形態の構成を示すブロック図である。動画像ストリーム加工装置４０２は第１から第４の実施形態のいずれかで説明した動画像ストリーム加工装置である。ビットストリーム切り替え装置４０１は通常再生時には入力されたビットストリームを直接動画像復号化装置４０３に供給する。高速再生、逆高速再生等の特殊再生時には入力ビットストリームを動画像ストリーム加工装置４０２に供給し、その動画像ストリーム加工装置４０２からの出力ビットストリームを動画像復号化装置４０３に供給する。

動画像ストリーム加工装置４０２は入力されたビットストリームに対し、上述のような第１乃至第４の実施形態で説明した特殊再生用ビットストリーム生成の処理を行ない、処理結果のビットストリームを出力する。動画像復号化装置４０３は入力されたビットストリームの復号処理を行ない、復号結果の画像を動画像表示装置４０４に供給する。動画像表示装置４０４は、入力された画像を例えばＣＲＴや液晶ディスプレイ等の表示部に表示出力する。

本実施形態では、通常再生時には入力ビットストリームをそのまま動画像復号化装置４０３に供給し、高速再生、逆高速再生等の特殊再生時には動画像ストリーム加工装置４０２で高速再生、逆高速再生等の特殊再生用ストリームを生成して動画像復号化装置４０３に供給する。そうすることで、動画像復号化装置に特殊再生向けの新たな機能追加等を行なわずに高速再生、高速逆再生等の特殊再生を実現できる動画像再生装置を提供することができる。

（第６の実施形態）
次に、本発明の第６の実施形態を図１７、図１８、図１９を用いて説明する。図１７は第６の実施形態の構成を示すブロック図、図１８及び図１９は第６の実施形態の管理テーブルの例を示す図である。

記憶媒体５０１は動画像を符号化したビットストリーム５１１と、ビットストリーム５１１を第１乃至第４の実施形態のいずれかの動画像ストリーム加工装置に入力して生成した高速再生、逆高速再生等の特殊再生用の特殊再生用ビットストリーム５１２を記憶している。またビットストリーム５１１と特殊再生用ビットストリーム５１２の関連付け情報を記録した管理テーブル５１３を有する。５０２はビットストリーム切り替え装置、５０３はビットストリーム送出装置である。

管理テーブル５１３にはビットストリーム５１１と特殊再生用ビットストリーム５１２の切り替えを可能にする情報が格納されている。管理テーブル５１３の簡易な例を図１８に示す。図１８の例では、ビットストリーム５１１と特殊再生用ビットストリーム５１２それぞれを格納したファイル名を対応付けて格納することでストリーム切り替えを可能にする。また、図１９に示すような情報を格納することも考えられる。

図１９の例では、ビットストリームと特殊再生用ストリーム（高速再生用ビットストリーム及び逆高速再生用ビットストリーム）それぞれを格納したファイル名を対応付けて格納するのに加え、特殊再生用ストリームの各ピクチャに対応するビットストリーム５１１でのタイムスタンプを格納する。このような情報を格納することで、通常再生から特殊再生へ、或いは特殊再生から通常再生へ動作を切り替える際に再生位置のタイムスタンプを継承した自然な動作切り替えが可能になる。

ビットストリーム切り替え装置５０２は通常再生時には記憶媒体５０１からビットストリーム５１１を読み出してビットストリーム送出装置５０３に供給する。高速再生、高速逆再生等の特殊再生時には管理テーブル５１３を参照してビットストリーム５１１に関連付けられている特殊再生用ビットストリーム５１２を読み出してビットストリーム送出装置５０３に供給する。ビットストリーム送出装置５０３は入力されたビットストリームを所定の受信端末に向けてコンピュータネットワーク等の伝送路に送出する。

本実施形態では、通常のビットストリームと特殊再生用ビットストリームを関連付けて格納し、通常再生時には通常のビットストリームを、特殊再生時には関連付けられている特殊再生用ビットストリームを受信端末に向け送出する。そうすることで、受信端末の動画像復号化装置に特殊再生向けの新たな機能追加等を行なわずに高速再生、高速逆再生等の特殊再生を実現できる動画像配信装置を提供することができる。

なお、以上説明した各実施形態では、Ｈ．２６４動画像符号化方式に則った応用について述べたが、本発明はこの応用のみに限定されるものではなく、完全に単独復号可能なピクチャと、画像データ部は単独復号可能だが画像データ部以外は単独復号可能ではないピクチャとを持つ動画像符号化方式にも適用可能である。

また、ＩピクチャからＩＤＲピクチャへの変換においてｌｏｇ２＿ｍａｘ＿ｆｒａｍｅ＿ｎｕｍ＿ｍｉｎｕｓ４、ｉｄｒ＿ｐｉｃ＿ｉｄの値を変更する例について説明したが、変更の方法は当然これらに限定されるものではない。

例えば、ｌｏｇ２＿ｍａｘ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｍｉｎｕｓ４やｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を変更してヘッダ部のビット長変化を調整する方法等も考えられる。また、特殊再生の例として高速再生や高速逆再生の場合を例に挙げて説明したが、本発明は、再生方式はこれらに限定されることは無い。例えば、プレイリスト再生や別のビットストリームへの再生位置移動等にも本発明の方式は適用することができる。

以上説明した本発明はコンピュータがプログラムを記録媒体から読み込んで実行することによっても実現することが出来る。即ち、上述のような本発明はソフトウェアによって実現することが可能である。

動画像ストリーム加工装置をソフトウェアで構成する場合は、図５又は図１２に示した動画像ストリーム加工装置の機能を記述したプログラムを、ハードディスク等の記憶部に記憶し、制御部となるＣＰＵがプログラムプログラムに従って処理（制御）を実行することにより、利用者情報提示システムの機能を実現することができる。

図２０は本実施形態の動画像ストリーム加工装置を構成するコンピュータの一構成例を示すブロック図である。

図５又は図１２に示す動画像ストリーム加工装置の機能を記述したプログラムをハードディスク装置等のディスク装置１１０１に記憶する。図５に示す動画像ストリーム加工装置の機能を実現する場合、ディスク装置１１０１には、またストリーム抜き出し部２０１に入力されるビットストリーム、ストリーム抜き出し部２０１で抜き出されたビットストリーム、ストリーム変換部２０３で変換されたビットストリームが記憶される。図１２に示す動画像ストリーム加工装置の機能を実現する場合、ディスク装置１１０１は符号化パラメータセット記憶部３０４としても機能する。ＣＰＵ１１０３により動画像ストリーム加工装置の機能を実現するプログラムが実行される。１１０５はデータバス等のバス、１１０２はＣＰＵ１１０３の情報処理に必要な情報を記憶するＤＲＡＭ等のメモリを示す。Ｉ／Ｏデバイス１１０４は外部に加工されたビットストリームを出力する通信部となる。

なお、上記プログラム（プログラムプロダクトともいう）はＦＤ（フロッピィディスク）、ＣＤＲＯＭ、ＤＶＤ、フラッシュメモリ等のコンピュータ読み取り可能な情報記録媒体に記録することができる。図２０では記憶部としてディスク装置を用いているが、ＦＤ、ＣＤＲＯＭ等のコンピュータ読み取り可能な情報記録媒体に記録されたプログラムを上記コンピュータのディスク装置に読み込み、処理を実行することで、動画像ストリーム加工装置として機能させることができる。

以上、本発明の代表的な実施形態について説明したが、本発明は、本願の請求の範囲によって規定される、その精神または主要な特徴から逸脱することなく、他の種々の形で実施することができる。そのため、前述した各実施形態は単なる例示にすぎず、限定的に解釈されるべきではない。本発明の範囲は特許請求の範囲によって示すものであって、明細書や要約書の記載には拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更はすべて本発明の範囲内のものである。

Claims (13)

1. 動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームとを抜き出す抜き出し部と、
   前記抜き出し部で抜き出された前記第２のビットストリームを単独で復号可能なピクチャの第３のビットストリームに変換する変換部と、を備え、
   前記抜き出し部により抜き出された前記第１のピクチャのビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する動画像ストリーム加工装置。
2. 前記変換部は、前記第２のビットストリームの、前記画像データ部以外の部分の内容を変更して前記第３のビットストリームに変換することを特徴とする請求項１に記載の動画像ストリーム加工装置。
3. 前記変換部は、前記第２のビットストリームを前記第３のビットストリームに変換する際、前記画像データ部以外の部分のビット長変化が８の倍数でなかった場合には、当該画像データ部を復号化して画像の内容は変えずに前記画像データ部がバイトアライメント規約を満たすように再度符号化することを特徴とする請求項２に記載の動画像ストリーム加工装置。
4. 前記変換部は、前記第２のビットストリームの画像データ部以外の部分のビット長変化が８の倍数となるように前記画像データ部以外の部分の内容を変更することを特徴とする請求項２に記載の動画像ストリーム加工装置。
5. 動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームと、符号化パラメータセットのビットストリームとを抜き出す抜き出し部と、
   前記抜き出された符号化パラメータセットを記憶する記憶部と、
   前記記憶された符号化パラメータセットを変更して、画像データ部以外のビット長変化を調整する符号化パラメータセットを生成する生成部と、
   前記抜き出し部で抜き出された前記第２のビットストリームを、前記生成部で生成された符号化パラメータセットに基づいて単独で復号可能なピクチャの第３のビットストリームに変換する変換部と、を備え、
   前記抜き出し部により抜き出された前記第１のビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する動画像ストリーム加工装置。
6. 前記生成部は、前記記憶された符号化パラメータセットを画像データ部以外のビット長変化を８の倍数とする符号化パラメータセットに変更し、
   前記変換部は、前記第２のビットストリームを前記第３のビットストリームに変換する際に、前記生成された符号化パラメータセットに基づき画像データ部以外のビット長変化が８の倍数となるように変換することを特徴とする請求項５に記載の動画像ストリーム加工装置。
7. 請求項１乃至６のいずれか１項に記載の動画像ストリーム加工装置と、
   動画像を符号化したビットストリームの復号化を行なう動画像復号化装置と、
   通常再生時には入力ビットストリームを前記動画像復号化装置に供給し、高速再生又は逆高速再生の特殊再生時には入力ビットストリームを前記動画像ストリーム加工装置に供給して当該動画像ストリーム加工装置で処理されたビットストリームを前記動画像復号化装置に供給するように切り替えるビットストリーム切り替え装置と、
   前記動画像復号化装置からの復号画像を表示する動画像表示装置と、
   を備えたことを特徴とする動画像再生装置。
8. 動画像を符号化したビットストリームと、請求項１乃至６のいずれか１項に記載の動画像ストリーム加工装置で処理された特殊再生用ビットストリームと、前記ビットストリームと前記特殊再生用ビットストリームとを関連付ける情報を有する管理テーブルと、を記憶した記憶媒体。
9. 請求項８に記載の記憶媒体と、
   通常再生時には前記記憶媒体から前記ビットストリームを読み出し、特殊再生時には前記管理テーブルを参照して前記ビットストリームと関連付けられた特殊再生用ビットストリームを読み出すビットストリーム切り替え装置と、
   前記ビットストリーム切り替え装置で読み出されたビットストリームを受信端末に送出するビットストリーム送出装置と、
   を備えたことを特徴とする動画像配信装置。
10. 動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームとを抜き出し、
    抜き出された前記第２のビットストリームを単独で復号可能なピクチャの第３のビットストリームに変換し、
    抜き出された前記第１のビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する画像ストリーム加工方法。
11. 動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームと、符号化パラメータセットのビットストリームとを抜き出し、
    記憶部に前記抜き出された符号化パラメータセットを記憶し、
    前記記憶された符号化パラメータセットを変更して、画像データ部以外のビット長変化を調整する符号化パラメータセットを生成し、
    抜き出された前記第２のビットストリームを、生成された前記符号化パラメータセットに基づいて単独で復号可能なピクチャの第３のビットストリームに変換し、
    抜き出された前記第１のビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する画像ストリーム加工方法。
12. コンピュータに、
    動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームとを抜き出す処理と、
    抜き出された前記第２のビットストリームを単独で復号可能なピクチャの第３のビットストリームに変換する処理と、
    抜き出された前記第１のビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する処理と、を実行させるためのプログラム。
13. コンピュータに、
    動画像を符号化したビットストリームから、単独で復号可能なピクチャの第１のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第２のビットストリームと、符号化パラメータセットのビットストリームとを抜き出す処理と、
    記憶部に前記抜き出された符号化パラメータセットを記憶する処理と、
    前記記憶された符号化パラメータセットを変更し、画像データ部以外のビット長変化を調整する符号化パラメータセットを生成する処理と、
    抜き出された前記第２のビットストリームを、生成された前記符号化パラメータセットに基づいて単独で復号可能なピクチャの第３のビットストリームに変換する処理と、
    抜き出された前記第１のビットストリームと、前記第３のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する処理と、を実行させるためのプログラム。

Images