JP7306527B2 - decoding device - Google Patents
decoding device Download PDFInfo
- Publication number
- JP7306527B2 JP7306527B2 JP2022071720A JP2022071720A JP7306527B2 JP 7306527 B2 JP7306527 B2 JP 7306527B2 JP 2022071720 A JP2022071720 A JP 2022071720A JP 2022071720 A JP2022071720 A JP 2022071720A JP 7306527 B2 JP7306527 B2 JP 7306527B2
- Authority
- JP
- Japan
- Prior art keywords
- mmtp
- unit
- decoding
- audio
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
この発明は、映像信号や音声信号が符号化されたビットストリームに多重化されている
符号化データを復号する復号装置に関するものである。
The present invention relates to a decoding device for decoding encoded data multiplexed in a bitstream in which video signals and audio signals are encoded.
日本のディジタル放送では、以下の非特許文献1に記載されているように、映像信号や音声信号の符号化データである映像ストリームと音声ストリームは、MPEG-2(Moving Picture Experts Group Phase-2)のシステム規格であるトランスポートストリーム(TS)形式で多重化されて伝送される。このとき、符号化装置は、映像ストリーム及び音声ストリームに関連するメタデータの符号化データについても、映像ストリーム及び音声ストリームと一緒に多重化して伝送する。
In Japanese digital broadcasting, as described in Non-Patent
MPEG-2でのトランスポートストリーム(TS)の他に、MPEGで標準化が進められている新しいトランスポート方式として、MMT(MPEG Media Transport)があり、MMTは、1つのプログラムを構成する1以上の映像コンポーネント(映像ストリーム)と音声コンポーネント(音声ストリーム)を伝送する際、コンポーネント毎に、異なる伝送形態(例えば、放送、通信など)での伝送を可能にしている。 In addition to the transport stream (TS) in MPEG-2, there is MMT (MPEG Media Transport) as a new transport system being standardized by MPEG. When transmitting a video component (video stream) and an audio component (audio stream), each component can be transmitted in a different transmission mode (eg, broadcasting, communication, etc.).
ここで、HEVC/H.265(以下、「HEVC」と称する)は、MPEG及びITU(International Telecommunication Union)で標準化された新しい映像符号化方式である。
HEVCでは、時間階層符号化(時間方向にスケーラブルな符号化)が導入されており、アクセスユニット(1ピクチャを復号するために必要な符号化データを含む単位)を構成する符号化単位のNAL(Network Abstraction Layer)ユニット毎に階層レベルを指定することができる。
Here, HEVC/H. H.265 (hereafter referred to as “HEVC”) is a new video coding system standardized by MPEG and ITU (International Telecommunications Union).
In HEVC, temporal hierarchical coding (coding that is scalable in the temporal direction) has been introduced, and NAL ( (Network Abstraction Layer) A hierarchical level can be specified for each unit.
図9はHEVCでの時間階層符号化例を示す説明図である。
図9において、TemporalIDは各アクセスユニット(AU)の階層レベルを示す識別情報である。
IRAPは、HEVCで規定されているIRAP(Intra random access point)ピクチャのことであり、ビットストリームの途中から復号を開始するときに、表示順でIRAPピクチャ以降のピクチャについては正常に復号されることが保証される。
GOP(Group Of Pictures)は、1以上のアクセスユニット(AU)の映像信号がフレーム間予測符号化方式で符号化された場合に、前記1以上のアクセスユニットの映像信号の全てを復号することが可能な複数のアクセスユニット(AU)の集合である。即ち、符号化順で先頭のアクセスユニット(AU)であるIRAPピクチャと、そのIRAPピクチャに続くアクセスユニット(AU)(IRAPピクチャ以外のピクチャ)との集合である。
FIG. 9 is an explanatory diagram showing an example of temporal layered coding in HEVC.
In FIG. 9, TemporalID is identification information indicating the hierarchical level of each access unit (AU).
IRAP is an IRAP (Intra random access point) picture defined by HEVC, and when decoding is started from the middle of a bitstream, pictures following the IRAP picture in display order are decoded normally. is guaranteed.
GOP (Group Of Pictures) is capable of decoding all of the video signals of one or more access units (AU) when the video signals of one or more access units (AU) are encoded by the inter-frame prediction coding method. A set of possible Access Units (AUs). That is, it is a set of an IRAP picture that is the first access unit (AU) in coding order and an access unit (AU) following the IRAP picture (pictures other than the IRAP picture).
時間階層符号化の内容は公知であるため詳細な説明を省略するが、時間階層符号化の制約として、符号化対象のアクセスユニット(AU)が有する階層レベルより大きい階層レベルを有するアクセスユニット(AU)は参照することができないというものがある。
このような制約を設けることで、例えば図11の例で階層レベル2以下(TemporalID≦2)のアクセスユニット(AU)は、復号時に階層レベル3(TemoralID=3)のアクセスユニット(AU)を参照しないため、階層レベル3のアクセスユニット(AU)を復号することなく階層レベル2以下(TemporalID≦2)のアクセスユニット(AU)を復号することが可能である。
なお、HEVCでは、最大階層が6までの参照構造による時間階層符号化が可能である。
Since the content of temporal layered coding is well known, a detailed description is omitted. ) cannot be referenced.
By providing such restrictions, for example, in the example of FIG. 11, access units (AUs) at
In HEVC, temporal hierarchical coding is possible using a reference structure with a maximum of 6 hierarchies.
図10は図9のピクチャ構造で符号化される各ピクチャの符号化順及び表示順を示す説明図である。
図10に示すように、階層レベル3のアクセスユニットと階層レベル2以下のアクセスユニットが表示順で交互になるように符号化されていれば、階層レベル0から階層レベル3のすべてのアクセスユニットを復号した場合の表示フレームレートが2N(Hz)であったときに、階層レベル2以下のアクセスユニットのみを復号した場合には表示フレームレートN(Hz)で再生することができる。従って、表示フレームレートがN(Hz)以下に対応している復号装置で再生する場合には階層レベル2以下のアクセスユニットのみを復号装置に渡せばよい。
FIG. 10 is an explanatory diagram showing the encoding order and display order of each picture encoded in the picture structure of FIG.
As shown in FIG. 10, if access units at hierarchy level 3 and access units at
例えばMMTでは、図10のように構成された映像のビットストリームを多重化して配信するときに、階層レベル2以下のアクセスユニットのみで構成されるアクセスユニットの集合と階層レベル3のアクセスユニットのみで構成されるアクセスユニットの集合に対し、それぞれ異なる値の識別子を付与して配信することができる。なおMMTでは、同一の識別子を付与したアクセスユニットの集合をアセットと呼ぶ。階層レベル2以下のアクセスユニットで構成されるアセットの識別子をA0、階層レベル3のアクセスユニットで構成されるアセットの識別子をA1として、アセットごとに異なる伝送形態で伝送することも可能であり、例えばアセットA0を放送で伝送し、アセットA1を通信で伝送することも可能である。
MMTでは、アセット間で提示時刻の同期をとるために、GOP単位に表示順で先頭のアクセスユニットの提示時刻をNTP(Network Time Protocol)形式で記述する記述子を用意しており、GOP単位に本記述子を多重化して伝送することができる。またアセットが異なる場合にはアセットごとに先頭のアクセスユニットの提示時刻を伝送することができ、異なる伝送形態で伝送された複数のアセットを受信側で受け取った場合も提示時刻で同期をとって再生(提示)することができる。
For example, in MMT, when multiplexing and distributing a video bitstream configured as shown in FIG. Identifiers of different values can be assigned to sets of configured access units for distribution. In MMT, a set of access units assigned the same identifier is called an asset. It is also possible to transmit the identifier of an asset composed of access units at
In MMT, in order to synchronize the presentation time between assets, a descriptor is prepared that describes the presentation time of the first access unit in the display order for each GOP in NTP (Network Time Protocol) format. This descriptor can be multiplexed and transmitted. Also, if the assets are different, the presentation time of the first access unit can be transmitted for each asset, and even if multiple assets transmitted in different transmission formats are received by the receiving side, they can be played back in synchronization with the presentation time. You can (present).
従来の符号化装置は以上のように構成されているので、図9のように時間階層符号化された映像のビットストリームを各アクセスユニットの階層レベルに応じて異なるアセットを構成し、アセットごとに異なる伝送形態を用いて伝送した場合には、復号装置において各アクセスユニットの復号タイミングに基づき、図10に示すような符号化順と同じ順番のビットストリームを再構成する必要があるが、MMTでは各アクセスユニットの復号時刻を伝送することができないため、ビットストリームを再構成できないという課題があった。 Since the conventional encoding apparatus is configured as described above, a bitstream of time-hierarchically encoded video is configured into different assets according to the hierarchical level of each access unit as shown in FIG. When transmission is performed using a different transmission format, it is necessary for the decoding device to reconstruct a bitstream in the same order as the encoding order as shown in FIG. 10 based on the decoding timing of each access unit. Since the decoding time of each access unit cannot be transmitted, there is a problem that the bitstream cannot be reconstructed.
この発明は上記のような課題を解決するためになされたもので、時間階層符号化された映像のビットストリームを各アクセスユニットの階層レベルに応じて異なるアセットを構成し伝送する場合でも、復号装置において各アクセスユニットの復号タイミングに基づいて時間階層符号化されたビットストリームを再構成し復号することができる復号装置を得ることを目的とする。 SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems. It is an object of the present invention to obtain a decoding device capable of reconstructing and decoding a time-hierarchically-encoded bitstream based on the decoding timing of each access unit in the above.
この発明に係る復号装置は、1つのプログラムを構成する1以上のコンポーネントに関し、コンポーネント毎に異なる伝送形式によりデータの伝送が可能なMMTにおける映像信号の符号化データを復号する復号装置であって、符号化データのMMTPペイロードに含まれる記述子から、フレーム間予測符号化方式で符号化された複数のアクセスユニットの集合である1以上のGOPにおける、提示順で先頭のアクセスユニットの提示時刻を示す提示時刻情報と、当該アクセスユニットとは異なり符号化順で先頭のアクセスユニットの復号時刻と提示時刻との時間差情報と、アクセスユニットの単位で符号化する提示時刻情報及び表示時刻情報を表す単位と、を得る制御情報復号手段と、制御情報復号手段が取得した、提示時刻情報、時間差情報、および単位を用いて、各アクセスユニットの提示時刻および復号時刻を算出し、符号化データに含まれる映像信号を復号する復号手段とを備えたものである。 A decoding device according to the present invention relates to one or more components that constitute one program, and is a decoding device that decodes encoded data of a video signal in an MMT capable of transmitting data in a different transmission format for each component, Indicates the presentation time of the top access unit in presentation order in one or more GOPs, which are a set of multiple access units encoded by the inter-frame predictive encoding method, from the descriptor included in the MMTP payload of the encoded data. presentation time information, time difference information between the decoding time and the presentation time of the first access unit in the encoding order different from the access unit, and a unit representing presentation time information and display time information encoded in units of access units , and the presentation time information, the time difference information, and the unit acquired by the control information decoding means are used to calculate the presentation time and the decoding time of each access unit, and the video included in the encoded data and decoding means for decoding the signal.
この発明によれば、時間階層符号化された映像のビットストリームを各アクセスユニットの階層レベルに応じて異なるアセットを構成し伝送する場合でも、復号装置において各アクセスユニットの復号タイミングに基づいて時間階層符号化されたビットストリームを再構成し復号することができる効果がある。 According to the present invention, even when a bit stream of time-hierarchy-encoded video is configured and transmitted as different assets according to the hierarchy level of each access unit, the decoding device performs time-hierarchy encoding based on the decoding timing of each access unit. Advantageously, the encoded bitstream can be reconstructed and decoded.
実施の形態1.
図1はこの発明の実施の形態1による符号化装置を示す構成図である。
図1において、音声符号化部1はディジタルの音声信号が与えられると、音声のアクセスユニット(AU)単位に、例えば、MPEG-4オーディオなどの方式によって当該音声信号を符号化して、その音声信号の符号化データである音声ストリームを生成するとともに、その音声ストリームに関するメタデータを符号化する処理を実施する。また符号化されたアクセスユニットの提示時刻(PTS)を音声MMTPパケット生成部8へ出力する。
音声MMTPペイロード生成部2は音声符号化部1により符号化されたメタデータとアクセスユニット(AU)単位の音声信号の符号化データからなる音声MMTPペイロードを生成する処理を実施する。
FIG. 1 is a configuration diagram showing an encoding apparatus according to
In FIG. 1, an
The audio
HEVC符号化部3はディジタルの映像信号が与えられると、映像のアクセスユニット(AU)単位に、HEVC方式によって当該映像信号を符号化して、その映像信号の符号化データである映像ストリームを生成するとともに、その映像ストリームに関するメタデータを符号化する処理を実施する。
映像MMTPペイロード生成部4はHEVC符号化部3により符号化されたメタデータとアクセスユニット(AU)単位の映像信号の符号化データからなる映像MMTPペイロードを生成する処理を実施する。なお、HEVC符号化部3及び映像MMTPペイロード生成部4から映像符号化手段が構成されている。
When a digital video signal is supplied, the HEVC encoding unit 3 encodes the video signal by the HEVC method for each access unit (AU) of the video, and generates a video stream which is the encoded data of the video signal. Along with this, a process of encoding metadata relating to the video stream is performed.
The video MMTP payload generation unit 4 performs processing for generating a video MMTP payload consisting of the metadata encoded by the HEVC encoding unit 3 and the encoded data of the video signal in access unit (AU) units. The HEVC encoding unit 3 and the video MMTP payload generation unit 4 constitute video encoding means.
制御情報符号化部5は音声符号化部1により生成された音声ストリーム及びHEVC符号化部3により生成された映像ストリームに関する制御情報として、MMTで規定されているPAメッセージと呼ばれる制御情報を符号化する処理を実施する。
図11にPAメッセージの構成を示す。PAメッセージは1個以上のテーブルから構成される。
PAメッセージに含まれる1つのテーブルには、1つのプログラム(MMTでは、パッケージと称する)を構成する1以上の映像コンポーネント(映像ストリーム)や音声コンポーネント(音声ストリーム)に関する情報が記述されている。MMTでは、映像コンポーネント及び音声コンポーネントがアセットと呼ばれる。
The control information encoder 5 encodes control information called a PA message defined by MMT as control information relating to the audio stream generated by the
FIG. 11 shows the structure of the PA message. A PA message consists of one or more tables.
One table included in the PA message describes information about one or more video components (video streams) and audio components (audio streams) that make up one program (referred to as a package in MMT). In MMT, video and audio components are called assets.
具体的には、アセットを識別するアセットID、アセットの種類(HEVC形式の映像ストリームやMPEG-4 オーディオ形式の音声ストリームなどの種類)を識別するアセットタイプ、各アセットの符号化データやメタデータを格納しているMMTPパケットを示すパケットIDあるいはIP配信される場合のIPアドレスなどアセットの取得先に関する情報、各アセットに関するメタ情報を記述するための各種記述子が、パッケージを構成するアセットの数分だけテーブルに含まれている。
記述子には、各アセットのMPU(Media Processing Unit)を構成しているアクセスユニット(AU)の中で、提示順(表示順)で先頭のアクセスユニット(AU)の提示時刻(表示時刻)を示すMPUタイムスタンプ記述子(提示時刻情報)などMMT規格で定義されている記述子の他に、ユーザーが独自に新たな記述子を定義することも可能であり、独自記述子としてMPU時刻情報記述子が含まれる。
Specifically, the asset ID that identifies the asset, the asset type that identifies the asset type (such as HEVC format video stream or MPEG-4 audio format audio stream), and the encoded data and metadata of each asset. The packet ID indicating the stored MMTP packet or the IP address in the case of IP distribution, information on the acquisition destination of the asset, and various descriptors for describing the meta information about each asset are as many as the number of assets that make up the package. only included in the table.
In the descriptor, the presentation time (display time) of the leading access unit (AU) in the presentation order (display order) among the access units (AU) that make up the MPU (Media Processing Unit) of each asset. In addition to the descriptors defined by the MMT standard, such as the MPU time stamp descriptor (presentation time information) shown below, users can also define their own new descriptors. child is included.
なお、MPUは、1以上のアクセスユニット(AU)から構成されており、MPU単体で映像や音声の復号処理を行うことができる単位となる。また、MPUは、1以上のアクセスユニット(AU)の映像信号がフレーム間予測符号化方式で符号化される場合には、前記1以上のアクセスユニット(AU)の映像信号の全てを復号することが可能な複数のアクセスユニット(AU)の集合であるGOPと同じ単位になる。 The MPU is composed of one or more access units (AUs), and is a unit capable of decoding video and audio by itself. Further, when the video signal of one or more access units (AU) is encoded by the inter-frame prediction coding method, the MPU decodes all the video signals of the one or more access units (AU). is the same unit as a GOP, which is a set of multiple access units (AUs) in which .
MPU時刻情報記述子には、復号時刻(DTS)や提示時刻(PTS)などの時刻情報を記述する単位を示す情報(timescale)やMPUを構成しているアクセスユニット(AU)の中で、符号化順で先頭のアクセスユニット(AU)の復号時刻を算出するための情報(initial_presentation_time_delay)、MPUを構成している各アクセスユニットの復号時刻や提示時刻を算出するための情報が符号化されているか否かを示すフラグ(presentation_time_offset_present_flag,decoding_time_offset_present_flag)、各アクセスユニットの復号時刻や提示時刻を算出するための情報を符号化するときの符号長を示す情報(time_offset_length_minus1)などが記述されている。 The MPU time information descriptor includes information (timescale) indicating the unit for describing time information such as decoding time (DTS) and presentation time (PTS), and code Whether information for calculating the decoding time of the first access unit (AU) in the encoding order (initial_presentation_time_delay) and information for calculating the decoding time and presentation time of each access unit constituting the MPU are encoded Flags indicating whether or not (presentation_time_offset_present_flag, decoding_time_offset_present_flag), information indicating the code length when encoding information for calculating the decoding time and presentation time of each access unit (time_offset_length_minus1), and the like are described.
制御MMTPペイロード生成部6は制御情報符号化部5により符号化された制御情報の符号化データからなる制御MMTPペイロードを生成する処理を実施する。
なお、制御情報符号化部5の一部及び制御MMTPペイロード生成部6から制御情報符号化手段が構成されている。また、制御情報符号化部5の他の一部は時刻情報符号化手段を構成している。
The control MMTP
A part of the control information encoding unit 5 and the control MMTP
映像MMTPパケット生成部9は、映像MMTPペイロード生成部4により生成された映像MMTPペイロードに所定のMMTPヘッダを付与してビットストリームを構成する映像MMTPパケットを生成する。MMTPヘッダは、必須で符号化する情報を含む必須ヘッダとオプショナルで符号化する情報を含む拡張ヘッダから構成される。必須ヘッダにはMMTPペイロードに含まれる符号化データの種別に応じて割り当てられるパケットIDなどが含まれる。
拡張ヘッダは、MMTPペイロードに含まれる符号化データのアクセスユニット単位に提示時刻や復号時刻を算出するための情報(提示時刻情報や復号時刻情報)を符号化するか否かを示すフラグの値に応じて、提示時刻情報(presentation_time_offset)や復号時刻情報(decoding_time_offset)が含まれる。
The video MMTP
The extension header contains a flag value indicating whether or not to encode information (presentation time information and decoding time information) for calculating the presentation time and decoding time for each access unit of the encoded data included in the MMTP payload. Accordingly, presentation time information (presentation_time_offset) and decoding time information (decoding_time_offset) are included.
音声MMTPパケット生成部8は、音声MMTPペイロード生成部2により生成された音声MMTPペイロードに所定のMMTPヘッダを付与してビットストリームを構成する音声MMTPパケットを生成する。MMTPヘッダは、必須で符号化する情報を含む必須ヘッダとオプショナルで符号化する情報を含む拡張ヘッダから構成される。拡張ヘッダの内容については、映像MMTPパケット生成部にて符号化される拡張ヘッダと同じである。
The audio
制御MMTPパケット生成部10は、制御MMTPペイロード生成部6により生成された制御MMTPペイロードに所定のMMTPヘッダを付与し、ビットストリームを構成する制御MMTPパケットを生成する。
The control MMTP
MMTPパケット多重化部7は、音声MMTPパケット生成部により生成された音声MMTPパケットと、制御MMTPパケット生成部により生成された制御MMTPパケットと、映像MMTPパケット生成部により生成された映像MMTPパケットとを多重化してビットストリームを構成する処理を実施する。
MMTPパケット多重化部7は、アセットごとに異なるビットストリームを構成することもできる。例えば図9に示すように時間階層符号化された映像ビットストリームの階層レベル2以下のアクセスユニットを含むアセットのMMTPパケットから構成されるビットストリーム1と、階層レベル3のアクセスユニットを含むアセットのMMTPパケットから構成されるビットストリーム2として、それぞれのビットストリームを異なる伝送形態で送ることも可能である。
なお、MMTPパケット多重化部7は多重化手段を構成している。
The MMTP packet multiplexer 7 combines the audio MMTP packets generated by the audio MMTP packet generator, the control MMTP packets generated by the control MMTP packet generator, and the video MMTP packets generated by the video MMTP packet generator. A process of multiplexing and constructing a bitstream is performed.
The MMTP packet multiplexer 7 can also compose a different bitstream for each asset. For example, as shown in FIG. 9, a
The MMTP packet multiplexing unit 7 constitutes multiplexing means.
図1の例では、符号化装置の構成要素である音声符号化部1、音声MMTPペイロード生成部2、HEVC符号化部3、映像MMTPペイロード生成部4、制御情報符号化部5、制御MMTPペイロード生成部6及び制御MMTPパケット生成部10等のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなど)で構成されているものを想定しているが、符号化装置がコンピュータで構成されていてもよい。
符号化装置をコンピュータで構成する場合、音声符号化部1、音声MMTPペイロード生成部2、HEVC符号化部3、映像MMTPペイロード生成部4、制御情報符号化部5、制御MMTPペイロード生成部6及び制御MMTPパケット生成部10等の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
In the example of FIG. 1, an
When the encoding device is configured by a computer, an
図2はこの発明の実施の形態1による符号化装置の処理内容(符号化方法)を示すフローチャートである。
FIG. 2 is a flow chart showing the processing contents (encoding method) of the encoding device according to
図3はこの発明の実施の形態1による復号装置を示す構成図である。
図3において、MMTPパケット解析部12は、符号化装置(図1の符号化装置、あるいは、図1の符号化装置に相当する符号化装置)から出力された1以上のアセットを含む1以上のビットストリームが入力する。MMTPパケット解析部12は、ビットストリームを構成しているMMTPパケットのMMTPヘッダを解析して、そのMMTPヘッダに含まれているパケットIDを取得し、そのパケットIDがMMTPペイロードに含まれている符号化データが制御情報(PAメッセージ)である旨を示していれば、そのMMTPパケットに含まれているMMTPペイロードである制御MMTPペイロードを制御MMTPペイロード処理部13に出力する。
FIG. 3 is a configuration diagram showing a decoding device according to
In FIG. 3, the MMTP
制御MMTPペイロード処理部13はMMTPパケット解析部12から出力された制御MMTPペイロードに含まれている符号化データの復号処理を実施して、制御情報であるPAメッセージを復号する。
また、制御MMTPペイロード処理部13はPAメッセージに記述されているテーブルからパッケージを構成するアセットに関する情報、各アセットの符号化データやメタデータを格納しているMMTPパケットを示すパケットIDあるいはIP配信される場合のIPアドレスなどアセットの取得先に関する情報を復号する。パケットIDやアセットの取得先に関する情報はMMTPパケット解析部へ出力する。
また、制御MMTPペイロード処理部13はPAメッセージに記述されているテーブルからパッケージを構成するアセットに関するMPUタイムスタンプ記述子とMPU時刻情報記述子を復号する。
The control MMTP
In addition, the control MMTP
Also, the control MMTP
MMTPパケット解析部12は、MMTPヘッダに含まれているパケットIDを取得し、取得したパケットIDと制御MMTPペイロード処理部13より出力された各アセットのパケットIDとを照合し、そのパケットIDがMMTPペイロードに含まれている符号化データが音声信号または映像信号である旨を示していれば、そのMMTPパケットをアセット分離部14に出力する処理を実施する。
The MMTP
また、MMTPパケット解析部12は、制御MMTPペイロード処理部13により復号されたMPU時刻情報記述子に記述されているMPUを構成している各アクセスユニットの復号時刻や提示時刻を算出するための情報が符号化されているか否かを示すフラグ(presentation_time_offset_present_flag,decoding_time_offset_present_flag)の値に応じて、MMTP拡張ヘッダより提示時刻情報(presentation_time_offset)や復号時刻情報(decoding_time_offset)を復号し、MPUタイムスタンプ記述子に記述されている提示順で先頭のアクセスユニット(AU)の提示時刻とMPU時刻情報記述子に記述されている符号化順で先頭のアクセスユニット(AU)の復号時刻を算出するための情報(initial_presentation_time_delay)を復号して得られる符号化順で先頭のアクセスユニット(AU)の復号時刻とから各アクセスユニット(AU)の提示時刻および復号時刻を算出する処理を実施する。算出された提示時刻および復号時刻は、アクセスユニットに含まれる符号化データの種別に応じて、音声MMTPペイロード処理部15および映像MMTPペイロード処理部19へ出力される。
The MMTP
アセット分離部14は制御MMTPペイロード処理部13により復号されたPAメッセージのテーブルに記述されているアセットID、アセットタイプ及びパケットIDを参照して、MMTPパケット解析部12から出力されたMMTPパケットに含まれているMMTPペイロードが音声MMTPペイロードであるのか、映像MMTPペイロードであるのかを特定し、音声MMTPペイロードであれば、そのMMTPパケットに含まれている音声MMTPペイロードを抽出して、その音声MMTPペイロードを音声MMTPペイロード処理部15に出力し、映像MMTPペイロードであれば、そのMMTPパケットに含まれている映像MMTPペイロードを抽出して、その映像MMTPペイロードを映像MMTPペイロード処理部19に出力する処理を実施する。
The asset separation unit 14 refers to the asset ID, asset type, and packet ID described in the table of the PA message decoded by the control MMTP
音声MMTPペイロード処理部15はアセット分離部14から出力された音声MMTPペイロードから音声ストリームのMFU(Media Fragment Unit)又はMPUを再構成することで、後段の音声ストリーム復号部17で復号可能な形式の音声エレメンタリーストリーム(音声ES)を生成し、その音声ESを音声ESバッファ16に格納する処理を実施する。MFUは、MPUよりも小さな単位であり、1アクセスユニット(AU)または1NALユニットを1MFUと定義することができる。
また、音声MMTPペイロード処理部15はアセット分離部14から出力された音声MMTPペイロードに含まれている音声ストリームに関するメタデータを抽出し、そのメタデータを音声ESバッファ16に格納する処理を実施する。音声ESバッファ16は音声ES及びメタデータを一時的に格納するメモリである。
The audio MMTP
Also, the audio MMTP
音声ストリーム復号部17は、各アクセスユニット(AU)のDTS(復号時刻)になると、音声ESバッファ16から音声ESを取り出して、当該アクセスユニット(AU)の音声信号を復号し、その復号した音声信号とPTS(提示時刻)を音声データバッファ18に格納する処理を実施する。
音声データバッファ18は音声ストリーム復号部17により復号された音声信号とPTS(提示時刻)を一時的に格納するメモリである。
When the DTS (decoding time) of each access unit (AU) comes, the audio stream decoding unit 17 extracts the audio ES from the
The
映像MMTPペイロード処理部19はアセット分離部14から出力された映像MMTPペイロードから映像ストリームのMFU又はMPUを再構成することで、後段のHEVCES復号部21で復号可能な形式のHEVCエレメンタリーストリーム(HEVC ES)を生成し、そのHEVCエレメンタリーストリームをHEVCESバッファ20に格納する処理を実施する。
また、映像MMTPペイロード処理部19はアセット分離部14から出力された映像MMTPペイロードに含まれている映像ストリームに関するメタデータを抽出し、そのメタデータをHEVCESバッファ20に格納する処理を実施する。
HEVCESバッファ20はHEVCエレメンタリーストリーム及びメタデータを一時的に格納するメモリである。
The video MMTP
Also, the video MMTP
The
HEVCES復号部21は各アクセスユニット(AU)のDTS(復号時刻)になると、HEVCESバッファ20からHEVCエレメンタリーストリームを取り出して、当該アクセスユニット(AU)の映像信号を復号し、その復号した映像信号である復号画像とPTS(提示時刻)を復号画像バッファ22に格納する処理を実施する。
復号画像バッファ22はHEVCES復号部21により復号された各アクセスユニット(AU)の復号画像とPTS(提示時刻)を一時的に格納するメモリである。
なお、映像MMTPペイロード処理部19、HEVCESバッファ20、HEVCES復号部21及び復号画像バッファ22から映像復号手段が構成されている。
When the DTS (decoding time) of each access unit (AU) comes, the
The decoded
The video MMTP
図3の例では、復号装置の構成要素であるMMTPパケット解析部12、制御MMTPペイロード処理部13、アセット分離部14、音声MMTPペイロード処理部15、音声ESバッファ16、音声ストリーム復号部17、音声データバッファ18、映像MMTPペイロード処理部19、HEVCESバッファ20、HEVCES復号部21及び復号画像バッファ22のそれぞれが専用のハードウェア(バッファ以外は、例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなど)で構成されているものを想定しているが、復号装置がコンピュータで構成されていてもよい。
復号装置をコンピュータで構成する場合、音声ESバッファ16、音声データバッファ18、HEVCESバッファ20及び復号画像バッファ22をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、MMTPパケット解析部12、制御MMTPペイロード処理部13、アセット分離部14、音声MMTPペイロード処理部15、音声ストリーム復号部17、映像MMTPペイロード処理部19及びHEVCES復号部21の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
In the example of FIG. 3, MMTP
When the decoding device is configured by a computer, the
図4はこの発明の実施の形態1による復号装置の処理内容(復号方法)を示すフローチャートである。
FIG. 4 is a flow chart showing the processing contents (decoding method) of the decoding device according to
次に動作について説明する。
最初の符号化装置の処理内容を説明する。
音声符号化部1は、ディジタルの音声信号が与えられると、音声のアクセスユニット(AU)単位に、例えば、MPEG-4オーディオなどの方式によって当該音声信号を符号化して、その音声信号の符号化データである音声ストリームを生成するとともに、その音声ストリームに関するメタデータを符号化する(図2のステップST1)。
HEVC符号化部3は、ディジタルの映像信号が与えられると、映像のアクセスユニット(AU)単位に、HEVC方式によって当該映像信号を符号化して、その映像信号の符号化データである映像ストリームを生成するとともに、その映像ストリームに関するメタデータを符号化する(ステップST2)。
Next, the operation will be explained.
The processing contents of the first encoding device will be explained.
When a digital audio signal is supplied, the
When a digital video signal is supplied, the HEVC encoding unit 3 encodes the video signal by the HEVC method in units of video access units (AU), and generates a video stream that is the encoded data of the video signal. At the same time, it encodes metadata about the video stream (step ST2).
ここで、図5はMMTでビットストリームを伝送する場合の符号化データの概要を示す説明図である。
図5において、アクセスユニット(AU)は、映像であれば、1ピクチャを復号するために必要な符号化データを含む単位であり、音声であれば、符号化単位となる1以上のサンプルから構成されるフレームである。
NALユニットはHEVCの符号化単位であり、1アクセスユニット(AU)は、1以上のNALユニットから構成される。
MPUは、1以上のアクセスユニットから構成され、MPU単体で映像や音声の復号処理を行うことができる単位となる。また、MPUは、1以上のアクセスユニット(AU)の映像信号がフレーム間予測符号化方式で符号化される場合には、前記1以上のアクセスユニット(AU)の映像信号の全てを復号することが可能な複数のアクセスユニット(AU)の集合であるGOPと同じ単位になる。
MFUは、MPUよりも小さな単位であり、1アクセスユニット(AU)又は1NALユニットを1MFUと定義することができる。
Here, FIG. 5 is an explanatory diagram showing an overview of encoded data when transmitting a bitstream in MMT.
In FIG. 5, an access unit (AU) is a unit containing coded data necessary to decode one picture in the case of video, and is composed of one or more samples that are a coding unit in the case of audio. is a frame that is
A NAL unit is an HEVC coding unit, and one access unit (AU) is composed of one or more NAL units.
The MPU is composed of one or more access units, and is a unit capable of decoding video and audio by itself. Further, when the video signal of one or more access units (AU) is encoded by the inter-frame prediction coding method, the MPU decodes all the video signals of the one or more access units (AU). is the same unit as a GOP, which is a set of multiple access units (AUs) in which .
MFU is a unit smaller than MPU, and one access unit (AU) or one NAL unit can be defined as one MFU.
図6はMPUの構成例を示す説明図である。
図6において、MPUメタデータは、MPUに関連するメタデータが記述されるものである。なおMPUメタデータは符号化しなくてもよい。
ムービーフラグメントメタデータ(MFメタ)は、1アクセスユニット(AU)の符号化データ(サンプルデータ)に付随するメタデータが記述されるものである。例えば、アクセスユニット(AU)の符号化データがファイル形式で格納される場合、アクセスユニット(AU)毎に、符号化データが格納されているアドレスや符号化データのデータ長、当該アクセスユニット(AU)の時間長に関する情報が含まれる。なおムービーフラグメントメタデータは符号化しなくてもよい。
MPUメタデータ、ムービーフラグメントメタデータ、MFU及びMMTの制御情報は、MMTPパケット化されて伝送される。MMTPパケットはMMTPヘッダとMMTPペイロードから構成される。
FIG. 6 is an explanatory diagram showing a configuration example of the MPU.
In FIG. 6, the MPU metadata describes metadata related to the MPU. Note that the MPU metadata may not be encoded.
Movie fragment metadata (MF meta) describes metadata attached to encoded data (sample data) of one access unit (AU). For example, when the encoded data of the access unit (AU) is stored in a file format, for each access unit (AU), the address where the encoded data is stored, the data length of the encoded data, the access unit (AU ) is included. Note that movie fragment metadata does not have to be encoded.
MPU metadata, movie fragment metadata, MFU and MMT control information are MMTP packetized and transmitted. An MMTP packet consists of an MMTP header and an MMTP payload.
音声MMTPペイロード生成部2は、音声符号化部1からメタデータ(MPUメタデータ、MFメタなど)の符号化データと、アクセスユニット(AU)単位の音声信号の符号化データとを受けると、MPU単位のMPUメタデータの符号化データと、アクセスユニット(AU)単位のMFメタの符号化データ及び音声信号の符号化データ(サンプルデータ)からなる音声MMTPペイロードを生成する(ステップST3)。
映像MMTPペイロード生成部4は、HEVC符号化部3からメタデータ(MPUメタデータ、MFメタなど)の符号化データと、アクセスユニット(AU)単位の映像信号の符号化データとを受けると、MPU単位のMPUメタデータの符号化データと、アクセスユニット(AU)単位のMFメタの符号化データ及び映像信号の符号化データ(サンプルデータ)からなる映像MMTPペイロードを生成する(ステップST4)。
When audio MMTP
When the video MMTP payload generation unit 4 receives the encoded data of the metadata (MPU metadata, MF meta, etc.) from the HEVC encoding unit 3 and the encoded data of the video signal in access unit (AU) units, the MPU A video MMTP payload consisting of encoded data of MPU metadata in units, encoded data of MF meta in units of access units (AU), and encoded data (sample data) of video signals is generated (step ST4).
制御情報符号化部5は、音声符号化部1により生成された音声ストリーム及びHEVC符号化部3により生成された映像ストリームに関する制御情報を符号化する(ステップST5)。
音声ストリーム及び映像ストリームに関する制御情報として、例えば、MMTで規定されているPAメッセージやMPU時刻情報記述子などを符号化する。
PAメッセージには、上述したように、1つのプログラム(MMTでは、パッケージと称する)を構成する1以上の映像コンポーネント(映像ストリーム)や音声コンポーネント(音声ストリーム)に関する情報が記述されている。
即ち、PAメッセージには、音声符号化部1及びHEVC符号化部3により生成されたアセット(映像ストリーム、音声ストリーム)を識別するアセットID、アセットの種類を識別するアセットタイプ、各アセットのMPUを構成しているアクセスユニット(AU)の中で、提示順で先頭のアクセスユニット(AU)の提示時刻を示すMPUタイムスタンプ記述子、各アセットの符号化データやメタデータを格納しているMMTPパケットを示すパケットIDなどが記述されている。
The control information encoding unit 5 encodes control information regarding the audio stream generated by the
As control information related to the audio stream and the video stream, for example, the PA message and MPU time information descriptor defined by MMT are encoded.
As described above, the PA message describes information about one or more video components (video streams) and audio components (audio streams) that make up one program (referred to as a package in MMT).
That is, the PA message includes an asset ID that identifies the asset (video stream, audio stream) generated by the
図7はMPU時刻情報記述子を示す説明図である。
MPU時刻情報記述子には、図7に示すように、どのMPUに関連する情報を含むかを識別するためのシーケンス番号(mpu_sequence_number)と、符号化順でMPU先頭のアクセスユニットの復号時刻と提示順でMPU先頭のアクセスユニットの提示時刻の時間差(initial_presentation_time_delay)と、アクセスユニットの単位で符号化する提示時刻情報及び表示時刻情報を表す単位(timescale)(1/timeslcale秒)、アクセスユニットの単位で提示時刻情報を符号化するか否かを示すフラグ(presentation_time_offset_present_flag)、アクセスユニットの単位で復号時刻情報を符号化するか否かを示すフラグ(decoding_time_offset_present_flag)、アクセスユニットの単位で符号化する提示時刻情報及び表示時刻情報の符号長(time_offset_length_minus1)などが記述されている。なお、timescale、presentation_time_offset_present_flag、decoding_time_offset_present_flag、time_offset_length_minus1は常に固定値を用いるようにすれば、符号化しなくてもよい。
FIG. 7 is an explanatory diagram showing the MPU time information descriptor.
As shown in FIG. 7, the MPU time information descriptor contains a sequence number (mpu_sequence_number) for identifying which MPU related information is included, and the decoding time and presentation of the MPU head access unit in encoding order. In order, the time difference (initial_presentation_time_delay) of the presentation time of the access unit at the head of the MPU, the unit (timescale) representing presentation time information and display time information encoded in access unit units (1/timescale seconds), and in access unit units A flag indicating whether to encode the presentation time information (presentation_time_offset_present_flag), a flag indicating whether to encode the decoding time information in units of access units (decoding_time_offset_present_flag), and presentation time information encoded in units of access units. and the code length of display time information (time_offset_length_minus1). Note that timescale, presentation_time_offset_present_flag, decoding_time_offset_present_flag, and time_offset_length_minus1 do not need to be coded if fixed values are always used.
制御MMTPペイロード生成部6は、制御情報符号化部5から制御情報の符号化データを受けると、その制御情報の符号化データからなる制御MMTPペイロードを生成する(ステップST6)。
映像MMTPパケット生成部は、映像MMTPペイロード生成部により生成された映像MMTPペイロードに所定のMMTPヘッダを付与してビットストリームを構成する映像MMTPパケットを生成する。MMTPヘッダは、必須で符号化する情報を含む必須ヘッダとオプショナルで符号化する情報を含む拡張ヘッダから構成される。必須ヘッダにはMMTPペイロードに含まれる符号化データの種別に応じて割り当てられるパケットIDなどが含まれる。
The control
The video MMTP packet generation unit adds a predetermined MMTP header to the video MMTP payload generated by the video MMTP payload generation unit to generate video MMTP packets forming a bitstream. The MMTP header is composed of a mandatory header containing mandatory encoded information and an extension header containing optionally encoded information. The essential header includes a packet ID and the like assigned according to the type of encoded data included in the MMTP payload.
拡張ヘッダは、MMTPペイロードに含まれる符号化データのアクセスユニット単位に提示時刻や復号時刻を算出するための情報(提示時刻情報や復号時刻情報)を符号化するか否かを示すフラグの値に応じて、提示時刻情報(presentation_time_offset)や復号時刻情報(decoding_time_offset)が含まれる。
提示時刻情報(presentation_time_offset)は、MMTPペイロードに含まれる符号化データのアクセスユニットの提示時刻と提示順でMPU先頭アクセスユニットの提示時刻の差である。
復号時刻情報(decoding_time_offset)は、MMTPペイロードに含まれる符号化データのアクセスユニットの復号時刻と符号化順でMPU先頭アクセスユニットの復号時刻の差である。
なお提示時刻情報(presentation_time_offset)は、復号時刻情報(decoding_time_offset)を復号して算出されるアクセスユニットの復号時刻からの差を符号化するようにしてもよい。
The extension header contains a flag value indicating whether or not to encode information (presentation time information and decoding time information) for calculating the presentation time and decoding time for each access unit of the encoded data included in the MMTP payload. Accordingly, presentation time information (presentation_time_offset) and decoding time information (decoding_time_offset) are included.
The presentation time information (presentation_time_offset) is the difference between the presentation time of the access unit of the encoded data included in the MMTP payload and the presentation time of the MPU head access unit in the order of presentation.
The decoding time information (decoding_time_offset) is the difference between the decoding time of the access unit of the encoded data included in the MMTP payload and the decoding time of the MPU head access unit in the encoding order.
The presentation time information (presentation_time_offset) may encode the difference from the decoding time of the access unit calculated by decoding the decoding time information (decoding_time_offset).
音声MMTPパケット生成部8は、音声MMTPペイロード生成部2により生成された音声MMTPペイロードに所定のMMTPヘッダを付与してビットストリームを構成する音声MMTPパケットを生成する。MMTPヘッダは、必須で符号化する情報を含む必須ヘッダとオプショナルで符号化する情報を含む拡張ヘッダから構成される。
The audio
制御MMTPパケット生成部10は、制御MMTPペイロード生成部6により生成された制御MMTPペイロードに所定のMMTPヘッダを付与し、ビットストリームを構成する制御MMTPパケットを生成する。
このMMTPパケットを生成する際、所定のMMTPヘッダを付与するが、このMMTPヘッダには、MMTPペイロードに含まれている符号化データの種別に応じて割り当てられるパケットIDが含まれる。
The control MMTP
When generating this MMTP packet, a predetermined MMTP header is attached, and this MMTP header includes a packet ID assigned according to the type of encoded data included in the MMTP payload.
MMTPパケット多重化部7は、音声MMTPパケット生成部8により生成された音声MMTPパケットと、制御MMTPパケット生成部10により生成された制御MMTPパケットと、映像MMTPパケット生成部9により生成された映像MMTPパケットとを多重化してビットストリームを構成する。(ステップST7)
The MMTP packet multiplexer 7 combines the audio MMTP packets generated by the audio
次に復号装置の処理内容を説明する。
MMTPパケット解析部12は、符号化装置(図1の符号化装置、あるいは、図1の符号化装置に相当する符号化装置)から出力された1以上のアセットを含む1以上のビットストリームを入力して、そのビットストリームを構成しているMMTPパケットのMMTPヘッダを解析して、そのMMTPヘッダに含まれているパケットIDを取得する。
MMTPパケット解析部12は、そのパケットIDがMMTPペイロードに含まれている符号化データが制御情報(PAメッセージ、HEVCピクチャ構造記述子)である旨を示していれば、そのMMTPパケットに含まれているMMTPペイロードである制御MMTPペイロードを制御MMTPペイロード処理部13に出力する。
Next, the processing contents of the decoding device will be explained.
The MMTP
If the packet ID indicates that the encoded data contained in the MMTP payload is control information (PA message, HEVC picture structure descriptor), the MMTP
一方、そのパケットIDがMMTPペイロードに含まれている符号化データが音声信号又は映像信号である旨を示していれば、そのMMTPパケットをアセット分離部14に出力する。
また、MMTPパケット解析部12は、制御MMTPペイロード処理部13により復号されたMPU時刻情報記述子に記述されているMPUを構成している各アクセスユニットの復号時刻や提示時刻を算出するための情報が符号化されているか否かを示すフラグ(presentation_time_offset_present_flag,decoding_time_offset_present_flag)の値に応じて、MMTP拡張ヘッダより提示時刻情報(presentation_time_offset)や復号時刻情報(decoding_time_offset)を復号し、MPUタイムスタンプ記述子に記述されている提示順で先頭のアクセスユニット(AU)の提示時刻とMPU時刻情報記述子に記述されている符号化順で先頭のアクセスユニット(AU)の復号時刻とから各アクセスユニット(AU)の提示時刻および復号時刻を算出する処理を実施する。算出された提示時刻および復号時刻は、アクセスユニットに含まれる符号化データの種別に応じて、音声MMTPペイロード処理部15および映像MMTPペイロード処理部19へ出力される。
On the other hand, if the packet ID indicates that the encoded data contained in the MMTP payload is an audio signal or video signal, the MMTP packet is output to the asset separator 14 .
The MMTP
制御MMTPペイロード処理部13はMMTPパケット解析部12から出力された制御MMTPペイロードに含まれている符号化データの復号処理を実施して、制御情報であるPAメッセージを復号する。
また、制御MMTPペイロード処理部13はPAメッセージに記述されているテーブルからパッケージを構成するアセットに関する情報、各アセットの符号化データやメタデータを格納しているMMTPパケットを示すパケットIDあるいはIP配信される場合のIPアドレスなどアセットの取得先に関する情報を復号する。パケットIDやアセットの取得先に関する情報はMMTPパケット解析部へ出力する。
また、制御MMTPペイロード処理部13はPAメッセージに記述されているテーブルからパッケージを構成するアセットに関するMPUタイムスタンプ記述子とMPU時刻情報記述子を復号する。
The control MMTP
In addition, the control MMTP
Also, the control MMTP
アセット分離部14は、制御MMTPペイロード処理部13がPAメッセージを復号すると、そのPAメッセージのテーブルに記述されているアセットID、アセットタイプ及びパケットIDを参照して、MMTPパケット解析部12から出力されたMMTPパケットに含まれているMMTPペイロードが音声MMTPペイロードであるのか、映像MMTPペイロードであるのかを特定する。
When the control MMTP
アセット分離部14は、MMTPパケット解析部12から出力されたMMTPパケットに含まれているMMTPペイロードが音声MMTPペイロードであれば、そのMMTPパケットに含まれている音声MMTPペイロードを抽出して、その音声MMTPペイロードを音声MMTPペイロード処理部15に出力する。
アセット分離部14は、MMTPパケット解析部12から出力されたMMTPパケットに含まれているMMTPペイロードが映像MMTPペイロードであれば、そのMMTPパケットに含まれている映像MMTPペイロードを抽出して、その映像MMTPペイロードを映像MMTPペイロード処理部19に出力する。
If the MMTP payload contained in the MMTP packet output from the MMTP
If the MMTP payload included in the MMTP packet output from the MMTP
音声MMTPペイロード処理部15は、アセット分離部14から音声MMTPペイロードを受けると、その音声MMTPペイロードから音声ストリームのMFU又はMPUを再構成することで、後段の音声ストリーム復号部17で復号可能な形式の音声エレメンタリーストリーム(音声ES)を生成し、その音声ESを音声ESバッファ16に格納する。
音声MMTPペイロードから音声ESを生成する処理自体は公知の技術であるため詳細な説明を省略する。
また、音声MMTPペイロード処理部15は、アセット分離部14から出力された音声MMTPペイロードに含まれている音声ストリームに関するメタデータを抽出し、そのメタデータを音声ESバッファ16に格納する。
When the audio MMTP payload is received from the asset separation unit 14, the audio MMTP
Since the processing itself for generating an audio ES from an audio MMTP payload is a known technique, detailed description thereof will be omitted.
Also, the audio MMTP
音声ストリーム復号部17は、MMTPパケット解析部にて復号したDTSを参照して、各アクセスユニット(AU)の復号時刻を把握し、各アクセスユニット(AU)の復号時刻になると、音声ESバッファ16から音声ESを取り出して、当該アクセスユニット(AU)の音声信号を復号し、その復号した音声信号とMMTPパケット解析部にて復号したPTS(提示時刻)を音声データバッファ18に格納する。
これにより、外部の再生装置(図示せず)は、音声データバッファ18に格納されている音声信号とPTS(提示時刻)を取り出せば、その提示時刻に音声信号を再生することができる。
The audio stream decoding unit 17 refers to the DTS decoded by the MMTP packet analysis unit to grasp the decoding time of each access unit (AU). , the audio signal of the access unit (AU) is decoded, and the decoded audio signal and the PTS (presentation time) decoded by the MMTP packet analysis unit are stored in the
As a result, an external playback device (not shown) can reproduce the audio signal at the presentation time by extracting the audio signal and the PTS (presentation time) stored in the
映像MMTPペイロード処理部19は、アセット分離部14から映像MMTPペイロードを受けると、その映像MMTPペイロードから映像ストリームのMFU又はMPUを再構成することで、後段のHEVCES復号部21で復号可能な形式のHEVCエレメンタリーストリーム(HEVC ES)を生成し、そのHEVCエレメンタリーストリームをHEVCESバッファ20に格納する。
映像MMTPペイロードからHEVCエレメンタリーストリームを生成する処理自体は公知の技術であるため詳細な説明を省略する。
また、映像MMTPペイロード処理部19は、アセット分離部14から出力された映像MMTPペイロードに含まれている映像ストリームに関するメタデータを抽出し、そのメタデータをHEVCESバッファ20に格納する。
Upon receiving the video MMTP payload from the asset separation unit 14, the video MMTP
Since the process itself of generating an HEVC elementary stream from a video MMTP payload is a known technology, detailed description thereof will be omitted.
Also, the video MMTP
HEVCES復号部21は、MMTPパケット解析部にて復号したDTSを参照して、各アクセスユニット(AU)の復号時刻を把握し、各アクセスユニット(AU)の復号時刻になると、HEVCESバッファ20からHEVCエレメンタリーストリームを取り出して、当該アクセスユニット(AU)の映像信号を復号し、その復号した映像信号である復号画像とMMTPパケット解析部にて復号したPTS(提示時刻)を復号画像バッファ22に格納する。
これにより、外部の再生装置(図示せず)は、復号画像バッファ22に格納されている復号画像とPTS(提示時刻)を取り出せば、その提示時刻に復号画像を再生することができる。
TemporalIDが0からMのアクセスユニットから構成される時間階層符号化された映像ビットストリームを、TemporalIDが0から(M-1)のアクセスユニットから構成されるビットストリームとTemporalIDがMのアクセスユニットから構成されるビットストリームに分離して、それぞれのビットストリームが異なる伝送路を用いて伝送されるときの処理について説明する。
図12に分離前のビットストリームと分離後のビットストリームの一例を示す。
The
As a result, an external reproduction device (not shown) can reproduce the decoded image at the presentation time by extracting the decoded image and the PTS (presentation time) stored in the decoded
A temporally layered encoded video bitstream composed of access units with
FIG. 12 shows an example of a bitstream before separation and an example of a bitstream after separation.
MMTPパケット解析部12は、入力されたビットストリームを構成しているMMTPパケットに含まれている制御MMTPペイロードを制御MMTPペイロード処理部13に出力し、そのビットストリームを構成しているMMTPパケットに含まれている音声MMTPペイロード又は映像MMTPペイロードをアセット分離部14に出力する。
The MMTP
制御MMTPペイロード処理部13は、MMTPパケット解析部12から制御MMTPペイロードを受けると、その制御MMTPペイロードに含まれている符号化データの復号処理を実施して、制御情報であるPAメッセージを復号する(ステップST15)。
制御MMTPペイロード処理部13は、PAメッセージに記述されているアセットに関する情報などから、映像ビットストリームが時間階層符号化されていて、時間階層レベル(TemporalID)によって2以上のアセット(例えばアセット1、アセット2)に分離されてアセットごとに異なる伝送路から取得していること、アセット間の依存関係(アセット2はアセット1と依存関係にあること)などの情報を取得する。
Upon receiving the control MMTP payload from the MMTP
The control MMTP
アセット分離部14は、MMTPパケット解析部12からMMTPパケットを受け取ると、PAメッセージに記述された映像アセットに関する情報に基づいて、パケットIDを参照して、そのMMTPパケットに含まれている映像MMTPペイロードを映像MMTPペイロード処理部19に出力する。例えば映像アセットがアセット1とアセット2から構成されている場合には、それぞれのアセットに関する映像MMTPペイロードが映像MMTPペイロード処理部へ出力される。
When receiving the MMTP packet from the MMTP
映像MMTPペイロード処理部19は、アセット分離部14から2以上の映像アセットに係る映像MMTPペイロードを受けるとそれぞれの映像MMTPペイロードからHEVCエレメンタリーストリームを生成して、そのHEVCエレメンタリーストリームをHEVCESバッファ20に格納するとともに、各々の映像MMTPペイロードに含まれているアクセスユニットの復号時刻と提示時刻をHEVCESバッファ20に格納する(ステップST19)。
When the video MMTP
HEVCES復号部21は、例えばアセット1とアセット2の依存関係に基づき、アセット1のアクセスユニットのDTSとアセット2のアクセスユニットのDTSを比較することによって、分離前のHEVCエレメンタリーストリームの符号化順を特定することができ、異なるビットストリームに分離して入力されたHEVCエレメンタリーストリームを正しい復号時刻でHEVCESバッファ20から取り出して、当該アクセスユニット(AU)の映像信号を復号することができる。
The
以上で明らかなように、この実施の形態1によれば、1以上のアクセスユニット(AU)の映像信号が時間階層符号化された場合に、各アクセスユニットの階層レベルに応じて異なるアセットを構成する場合に、各アセットを構成するMPUの単位にMPU時刻情報記述子を符号化し、MPU時刻情報記述子に含まれるMMTPペイロードに含まれる符号化データのアクセスユニット単位に提示時刻や復号時刻を算出するための情報(提示時刻情報や復号時刻情報)を符号化するか否かを示すフラグの値に応じて、MPUを構成するアクセスユニットの単位に、提示時刻情報(presentation_time_offset)や復号時刻情報(decoding_time_offset)を符号化するように構成したので、時間階層符号化された映像のビットストリームを各アクセスユニットの階層レベルに応じて異なるアセットを構成し伝送する場合でも、復号装置において各アクセスユニットの復号タイミングに基づいて時間階層符号化されたビットストリームを再構成し復号することができる符号化装置、復号装置が得られる効果がある。 As is clear from the above, according to the first embodiment, when video signals of one or more access units (AU) are temporally hierarchically encoded, different assets are configured according to the hierarchical levels of each access unit. When doing so, encode the MPU time information descriptor for each MPU that constitutes each asset, and calculate the presentation time and decoding time for each access unit of the encoded data included in the MMTP payload included in the MPU time information descriptor. Presentation time information (presentation_time_offset) and decoding time information (presentation_time_offset) and decoding time information ( decoding_time_offset), even when a bit stream of time-hierarchically-encoded video is configured and transmitted as different assets according to the hierarchical level of each access unit, the decoding device can decode each access unit. There is an effect that an encoding device and a decoding device can be obtained that can reconstruct and decode a time-hierarchically-encoded bitstream based on timing.
なお、本願発明はその発明の範囲内において、実施の形態の自由な組み合わせ、あるいは実施の形態の任意の構成要素の変形、もしくは実施の形態において任意の構成要素の省略が可能である。 Within the scope of the invention, the present invention can freely combine the embodiments, modify any constituent elements of the embodiments, or omit arbitrary constituent elements from the embodiments.
1 音声符号化部、2 音声MMTPペイロード生成部、3 HEVC符号化部(映像符号化手段)、4 映像MMTPペイロード生成部(映像符号化手段)、5 制御情報符号化部(制御情報符号化手段、時刻情報符号化手段)、6 制御MMTPペイロード生成部(制御情報符号化手段)、7 MMTPパケット多重化部(多重化手段)、8 音声MMTPパケット生成部、9 映像MMTPパケット生成部、10 制御MMTPパケット生成部、12 MMTPパケット解析部、13 制御MMTPペイロード処理部(提示時刻算出手段)、14 アセット分離部、15 音声MMTPペイロード処理部、16 音声ESバッファ、17 音声ストリーム復号部、18 音声データバッファ、19 映像MMTPペイロード処理部(映像復号手段)、20 HEVCESバッファ(映像復号手段)、21 HEVCES復号部(映像復号手段)、22 復号画像バッファ(映像復号手段)。 1 audio encoding unit, 2 audio MMTP payload generation unit, 3 HEVC encoding unit (video encoding means), 4 video MMTP payload generation unit (video encoding means), 5 control information encoding unit (control information encoding means , time information encoding means), 6 control MMTP payload generation section (control information encoding means), 7 MMTP packet multiplexing section (multiplexing means), 8 audio MMTP packet generation section, 9 video MMTP packet generation section, 10 control MMTP packet generator, 12 MMTP packet analyzer, 13 control MMTP payload processor (presentation time calculator), 14 asset separator, 15 audio MMTP payload processor, 16 audio ES buffer, 17 audio stream decoder, 18 audio data Buffer, 19 video MMTP payload processing section (video decoding means), 20 HEVCES buffer (video decoding means), 21 HEVCES decoding section (video decoding means), 22 decoded image buffer (video decoding means).
Claims (1)
前記符号化データのMMTPペイロードに含まれる記述子から、フレーム間予測符号化方式で符号化された複数のアクセスユニットの集合である1以上のGOPにおける、提示順で先頭のアクセスユニットの提示時刻を示す提示時刻情報と、当該アクセスユニットとは異なり符号化順で先頭のアクセスユニットの復号時刻と前記提示時刻との時間差情報と、アクセスユニットの単位で符号化する提示時刻情報及び表示時刻情報を表す単位と、を復号する制御情報復号手段と、
前記制御情報復号手段が取得した、前記提示時刻情報、前記時間差情報、および前記単位を用いて、各アクセスユニットの前記提示時刻および前記復号時刻を算出し、前記符号化データに含まれる前記映像信号を復号する復号手段と
を備えた復号装置。 A decoding device for decoding encoded data of a video signal in an MMT capable of transmitting data in a different transmission format for each of the one or more components constituting one program,
From the descriptor included in the MMTP payload of the encoded data, the presentation time of the first access unit in the order of presentation in one or more GOPs, which is a set of a plurality of access units encoded by the inter-frame predictive encoding method. time difference information between the decoding time and the presentation time of the first access unit different from the access unit in encoding order, and presentation time information and display time information encoded in access unit units. a control information decoding means for decoding a unit;
calculating the presentation time and the decoding time of each access unit using the presentation time information, the time difference information, and the unit acquired by the control information decoding means, and calculating the video signal included in the encoded data; A decoding device comprising decoding means for decoding and .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022071720A JP7306527B2 (en) | 2019-08-22 | 2022-04-25 | decoding device |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019152048A JP6879344B2 (en) | 2019-08-22 | 2019-08-22 | Decryptor |
JP2021071838A JP7067653B2 (en) | 2019-08-22 | 2021-04-21 | Decoding device |
JP2022071720A JP7306527B2 (en) | 2019-08-22 | 2022-04-25 | decoding device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021071838A Division JP7067653B2 (en) | 2019-08-22 | 2021-04-21 | Decoding device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022090106A JP2022090106A (en) | 2022-06-16 |
JP7306527B2 true JP7306527B2 (en) | 2023-07-11 |
Family
ID=87852708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022071720A Active JP7306527B2 (en) | 2019-08-22 | 2022-04-25 | decoding device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7306527B2 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7067653B2 (en) | 2019-08-22 | 2022-05-16 | 三菱電機株式会社 | Decoding device |
-
2022
- 2022-04-25 JP JP2022071720A patent/JP7306527B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7067653B2 (en) | 2019-08-22 | 2022-05-16 | 三菱電機株式会社 | Decoding device |
Also Published As
Publication number | Publication date |
---|---|
JP2022090106A (en) | 2022-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7091421B2 (en) | Transmitter and receiver | |
US11368744B2 (en) | Device and associated method for using layer description and decoding syntax in multi-layer video | |
JP5575949B2 (en) | Broadcast data transmission method and apparatus | |
JP5748234B2 (en) | Method and apparatus for decoding an enhanced video stream | |
KR101204134B1 (en) | Flexible sub-stream referencing within a transport data stream | |
JP7067653B2 (en) | Decoding device | |
JP6344392B2 (en) | Encoding device, encoding method, transmitting device, decoding device, decoding method, and receiving device | |
JP7306527B2 (en) | decoding device | |
JP6641344B2 (en) | Encoding device | |
JPH104539A (en) | Data multiplexing method and multiplexed data reproduction device | |
JP2015226305A (en) | Encoding device | |
JP6825075B2 (en) | Decryptor | |
KR101941781B1 (en) | Method and Apparatus for Receiving 8K Broadcasting based on MMT | |
JP7003308B2 (en) | Decoding device | |
JP2013219514A (en) | Image packet transmitter, image packet receiver, image transmission system, image transmission method, and image transmission program | |
JP6257448B2 (en) | Encoding device, decoding device, encoding method, and decoding method | |
KR20060089508A (en) | Apparatus and method for creating transport stream for efficient transmission of timing information, and dmb transmission system using it | |
JP2002094995A (en) | Data processing method, data processing unit and data processing system | |
KR20120058373A (en) | Video transmission and device playing system based on http streaming using svc server |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230612 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7306527 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |