JP2017055438A - Transmitter, transmission method, receiver and reception method - Google Patents

Transmitter, transmission method, receiver and reception method Download PDF

Info

Publication number
JP2017055438A
JP2017055438A JP2016223017A JP2016223017A JP2017055438A JP 2017055438 A JP2017055438 A JP 2017055438A JP 2016223017 A JP2016223017 A JP 2016223017A JP 2016223017 A JP2016223017 A JP 2016223017A JP 2017055438 A JP2017055438 A JP 2017055438A
Authority
JP
Japan
Prior art keywords
stream
image data
descriptor
layer
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016223017A
Other languages
Japanese (ja)
Other versions
JP2017055438A5 (en
JP6350638B2 (en
Inventor
塚越 郁夫
Ikuo Tsukagoshi
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016223017A priority Critical patent/JP6350638B2/en
Publication of JP2017055438A publication Critical patent/JP2017055438A/en
Publication of JP2017055438A5 publication Critical patent/JP2017055438A5/ja
Application granted granted Critical
Publication of JP6350638B2 publication Critical patent/JP6350638B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PROBLEM TO BE SOLVED: To enable satisfactory decoding processing on the reception side.SOLUTION: Hierarchy coding is performed on the image data of each picture which configures moving image data, so as to generate a first stream which has coded image data of the picture on the lower hierarchy side and a second stream which has coded image data of the picture on the higher hierarchy side. The first and second streams are multiplexed so that a multiplex stream is obtained, and there are inserted, in the multiplexed stream, a first descriptor describing a level designation value of the first stream in association with the first stream, and also a second descriptor describing a level designation value of a bit stream having the first stream combined with the second stream in association with the second stream.SELECTED DRAWING: Figure 12

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、動画像データを構成する各ピクチャの画像データを階層符号化して送信する送信装置等に関する。   The present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and more particularly to a transmission device that hierarchically encodes and transmits image data of each picture constituting moving image data.

圧縮動画を、放送、ネット等でサービスする際、受信機のデコード能力によって再生可能なフレーム周波数の上限が制限される。従って、サービス側は普及している受信機の再生能力を考慮して、低フレーム周波数のサービスのみに制限したり、高低複数のフレーム周波数のサービスを同時提供したりする必要がある。   When a compressed moving image is serviced by broadcast, network, etc., the upper limit of the frame frequency that can be reproduced is limited by the decoding capability of the receiver. Therefore, it is necessary for the service side to restrict the service to a low frame frequency service or to provide a plurality of high and low frame frequency services at the same time in consideration of the reproduction capability of popular receivers.

受信機は、高フレーム周波数のサービスに対応するには、高コストとなり、普及の阻害要因となる。初期に低フレーム周波数のサービス専用の安価な受信機のみ普及していて、将来サービス側が高フレーム周波数のサービスを開始する場合、新たな受信機が無いと全く視聴不可能であり、サービスの普及の阻害要因となる。   The receiver is expensive to cope with a service with a high frame frequency, which is an obstacle to the spread. In the early stage, only low-priced receivers dedicated to low-frame frequency services are prevalent, and if the service side starts high-frame frequency services in the future, it will be impossible to view without new receivers. It becomes an obstruction factor.

例えば、HEVC(High Efficiency Video Coding)において、動画像データを構成する各ピクチャの画像データを階層符号化することによる時間方向スケーラビリティが提案されている(非特許文献1参照)。受信側では、NAL(Network Abstraction Layer)ユニットのヘッダに挿入されているテンポラルID(temporal_id)情報に基づき、各ピクチャの階層を識別でき、デコード能力に対応した階層までの選択的なデコードが可能となる。   For example, in HEVC (High Efficiency Video Coding), temporal direction scalability has been proposed by hierarchically encoding image data of each picture constituting moving image data (see Non-Patent Document 1). On the receiving side, the hierarchy of each picture can be identified based on temporal ID (temporal_id) information inserted in the header of a NAL (Network Abstraction Layer) unit, and selective decoding up to a hierarchy corresponding to the decoding capability is possible. Become.

Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, “Overview of the High Efficiency Video Coding (HEVC) Standard” IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY, VOL. 22, NO. 12, pp. 1649-1668, DECEMBER 2012Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, “Overview of the High Efficiency Video Coding (HEVC) Standard” IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY, VOL. 22, NO. 12, pp 1649-1668, DECEMBER 2012

本技術の目的は、受信側において良好なデコード処理を可能とすることにある。   An object of the present technology is to enable a good decoding process on the receiving side.

動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、
低階層側と高階層側の階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化する
送信装置にある。
A video stream that classifies image data of each picture constituting moving image data into a plurality of hierarchies, encodes image data of pictures of the classified hierarchies, and has image data of the encoded pictures of each hierarchy An image encoding unit for generating
A transmission unit for transmitting a container of a predetermined format including the generated video stream;
The image encoding unit is
There is a transmission apparatus in which the lower layer side and the higher layer side have the same hierarchical structure, and corresponding pictures on the lower layer side and the higher layer side are sequentially encoded as one set.

本技術において、画像符号化部により、動画像データを構成する各ピクチャの画像データが符号化されてビデオストリーム(符号化ストリーム)が生成される。この場合、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化され、各階層のピクチャの画像データを持つビデオストリームが生成される。ここで、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化される。   In the present technology, the image encoding unit encodes the image data of each picture constituting the moving image data to generate a video stream (encoded stream). In this case, the image data of each picture constituting the moving image data is classified into a plurality of layers and encoded, and a video stream having the image data of the pictures of each layer is generated. Here, the lower layer side and the higher layer side have the same hierarchical structure, and corresponding pictures on the lower layer side and the higher layer side are combined into one set and sequentially encoded.

送信部により、上述のビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、画像符号化部は、各階層のピクチャの符号化画像データを持つ単一のビデオストリームを生成するか、あるいは複数の階層を上位階層側および下位階層側の2つの組に分割し、各階層組のピクチャの符号化画像データをそれぞれ持つ2つのビデオストリームを生成する、ようにされてもよい。   A container having a predetermined format including the above-described video stream is transmitted by the transmission unit. For example, the image encoding unit generates a single video stream having encoded image data of pictures in each layer, or divides a plurality of layers into two sets of an upper layer side and a lower layer side, Two video streams each having encoded image data of a hierarchical set of pictures may be generated.

このように本技術においては、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化される。そのため、受信側では、低階層側および高階層側のピクチャの符号化画像データに対してデコード処理を行う際に、バッファサイズの減少およびデコード遅延の減少が可能となる。   As described above, in the present technology, the hierarchical configurations on the low layer side and the high layer side are made equal, and the corresponding pictures on the low layer side and the high layer side are combined into one set and sequentially encoded. Therefore, on the receiving side, it is possible to reduce the buffer size and the decoding delay when performing decoding processing on the encoded image data of the pictures on the lower layer side and the higher layer side.

なお、本技術において、例えば、階層情報をコンテナのレイヤに挿入する階層情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、階層情報は、各階層のレベル指定値の情報を持つ、ようにされてもよい。また、この場合、例えば、階層情報挿入部は、階層情報を、コンテナのレイヤの、ビデオストリームの各ピクチャの符号化画像データに同期した位置に挿入する、ようにされてもよい。   In the present technology, for example, a hierarchy information insertion unit that inserts hierarchy information into a container layer may be further provided. In this case, for example, the hierarchy information may have information on level designation values of each hierarchy. In this case, for example, the hierarchy information insertion unit may insert the hierarchy information at a position in the container layer that is synchronized with the encoded image data of each picture of the video stream.

例えば、階層情報挿入部は、階層情報を、PESパケットのエクステンションフィールドに挿入する、ようにされてもよい。この場合、階層情報挿入部は、階層情報をPESパケットのエクステンションフィールドに挿入することを、少なくともコーデッド・ビデオ・シーケンス単位で行う、ようにされてもよい。また、この場合、例えば、プログラムマップテーブルの配下に、PESパケットのエクステンションフィールドに階層情報が挿入されているか否かを明示する情報を挿入する情報挿入部をさらに備える、ようにされてもよい。   For example, the hierarchy information insertion unit may insert the hierarchy information into the extension field of the PES packet. In this case, the hierarchical information insertion unit may be configured to insert the hierarchical information into the extension field of the PES packet at least in units of coded video sequences. In this case, for example, an information insertion unit that inserts information indicating whether or not the hierarchy information is inserted into the extension field of the PES packet may be further provided under the program map table.

また、例えば、階層情報挿入部は、階層情報を、プログラムマップテーブルの配下に挿入する、ようにされてもよい。また、例えば、階層情報挿入部は、階層情報を、イベントインフォメーションテーブルの配下に挿入する、ようにされてもよい。   For example, the hierarchy information insertion unit may insert hierarchy information under the program map table. For example, the hierarchy information insertion unit may insert hierarchy information under the event information table.

このようにコンテナのレイヤに階層情報が挿入されることから、受信側では、この階層情報を参照することで、ビデオストリームからデコーダの能力に見合った階層までのピクチャの符号化画像データを選択的に取り出すことが容易に可能となる。   Since the hierarchical information is inserted into the container layer in this way, the reception side can selectively encode the encoded image data of the picture from the video stream to the layer that matches the capability of the decoder by referring to this hierarchical information. Can be easily taken out.

また、本技術の他の概念は、
動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記符号化では、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されており、
上記受信されたコンテナを処理する処理部をさらに備える
受信装置にある。
Other concepts of this technology are
Receive a container of a predetermined format including a video stream having encoded image data of pictures of each layer obtained by classifying and encoding image data of each picture constituting moving image data into a plurality of layers. With a receiver
In the above coding, the lower layer side and the higher layer side have the same hierarchical structure, and the corresponding pictures on the lower layer side and the higher layer side are combined into one set and sequentially encoded.
The receiving apparatus further includes a processing unit for processing the received container.

本技術において、受信部により、所定フォーマットのコンテナが受信される。このコンテナには、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの画像データを持つビデオストリームが含まれている。この場合、符号化では、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されている。   In the present technology, a container having a predetermined format is received by the receiving unit. This container includes a video stream having image data of pictures in each layer obtained by classifying and encoding image data of each picture constituting moving image data into a plurality of layers. In this case, in the encoding, the layer configurations on the low layer side and the high layer side are made equal, and the corresponding pictures on the low layer side and the high layer side are made into one set and sequentially encoded.

処理部により、受信されたコンテナが処理される。例えば、処理部は、階層情報に基づいて、ビデオストリームから所定階層以下の階層のピクチャの符号化画像データを選択的に取り出して復号化し、この所定階層以下の階層のピクチャの画像データを得る、ようにされてもよい。   The received container is processed by the processing unit. For example, the processing unit selectively takes out and decodes encoded image data of a picture in a hierarchy below a predetermined hierarchy from the video stream based on the hierarchy information, and obtains image data of a picture in a hierarchy below the predetermined hierarchy. It may be made like.

このように本技術においては、受信されるコンテナに含まれているビデオストリームにおいて、低階層側および高階層側の階層構成が等しくされ、低階層側および高階層側に対応するピクチャが一つの組にされて順次符号化されている。そのため、例えば、低階層側および高階層側のピクチャの符号化画像データに対してデコード処理を行う際に、バッファサイズの減少およびデコード遅延の減少が可能となる。   As described above, in the present technology, in the video stream included in the received container, the hierarchical structure on the low layer side and the high layer side are made equal, and one set of pictures corresponding to the low layer side and the high layer side is provided. Are sequentially encoded. Therefore, for example, when decoding processing is performed on encoded image data of pictures on the lower layer side and the higher layer side, it is possible to reduce the buffer size and the decoding delay.

なお、本技術において、コンテナのレイヤに階層情報が挿入されており、処理部は、階層情報に基づいて、ビデオストリームから所定階層以下の階層のピクチャの符号化画像データを選択的に取り出して復号化し、この所定階層以下の階層のピクチャの画像データを得る、ようにされてもよい。この場合、ビデオストリームからデコーダの能力に見合った階層のピクチャの符号化画像データを選択的に取り出すことが、容易に可能となる。   In the present technology, hierarchical information is inserted in the container layer, and the processing unit selectively extracts and decodes encoded image data of a picture in a hierarchy lower than a predetermined hierarchy from the video stream based on the hierarchical information. It is also possible to obtain picture data of pictures in a hierarchy below this predetermined hierarchy. In this case, it is possible to easily extract the encoded image data of a picture in a hierarchy corresponding to the capability of the decoder from the video stream.

本技術によれば、受信側において良好なデコード処理が可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。   According to the present technology, a good decoding process can be performed on the receiving side. Note that the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.

実施の形態としての送受信システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the transmission / reception system as embodiment. 送信装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of a transmitter. エンコーダで行われる階層符号化の一例を示す図である。It is a figure which shows an example of the hierarchical encoding performed with an encoder. NALユニットヘッダの構造例(Syntax)およびその構造例における主要なパラメータの内容(Semantics)を示す図である。It is a figure which shows the structure example (Syntax) of the NAL unit header, and the content (Semantics) of the main parameters in the structure example. エンコーダで行われる階層符号化の他の一例を示す図である。It is a figure which shows another example of the hierarchical encoding performed with an encoder. 各ピクチャの符号化画像データの構成例を示す図である。It is a figure which shows the structural example of the encoding image data of each picture. レイヤ・デコーディング・デスクリプタ(Layer_decoding_descriptor)の構造例(Syntax)を示す図である。It is a figure which shows the structural example (Syntax) of a layer decoding descriptor (Layer_decoding_descriptor). レイヤ・デコーディング・デスクリプタの構造例における主要な情報の内容(Semantics)を示す図である。It is a figure which shows the content (Semantics) of the main information in the structural example of a layer decoding descriptor. PESエクステンション・フィールド・データ「pes_extension_field_data()」の構造例(Syntax)を示す図である。It is a figure which shows the structural example (Syntax) of PES extension field data "pes_extension_field_data ()". ペス・エクステンション・デスクリプタ(PES_extension_descriptor)の構造例(Syntax)と、その構造例における主要な情報の内容(Semantics)を示す図である。It is a figure which shows the structure example (Syntax) of the pes extension descriptor (PES_extension_descriptor), and the content (Semantics) of the main information in the structure example. 単一ストリームによる配信を行う場合であって、プログラムマップテーブルの配下に階層情報を挿入する場合におけるトランスポートストリームTSの構成例を示す図である。It is a figure which shows the structural example of the transport stream TS in the case of performing distribution by a single stream and inserting hierarchical information under the program map table. 2ストリームによる配信を行う場合であって、プログラムマップテーブルの配下に階層情報を挿入する場合におけるトランスポートストリームTSの構成例を示す図である。It is a figure which shows the structural example of the transport stream TS in the case of delivering by 2 streams, and inserting hierarchical information under the program map table. 単一ストリームによる配信を行う場合であって、イベントインフォメーションテーブルの配下に階層情報を挿入する場合におけるトランスポートストリームTSの構成例を示す図である。It is a figure which shows the example of a structure of transport stream TS in the case of delivering by a single stream, and inserting hierarchical information under the event information table. 2ストリームによる配信を行う場合であって、イベントインフォメーションテーブルの配下に階層情報を挿入する場合におけるトランスポートストリームTSの構成例を示す図である。It is a figure which shows the structural example of transport stream TS in the case of delivering by 2 streams, and inserting hierarchy information under the event information table. 単一ストリームによる配信を行う場合であって、PESパケットヘッダのエクステンションフィールドに階層情報を挿入する場合におけるトランスポートストリームTSの構成例を示す図である。It is a figure which shows the structural example of the transport stream TS in the case of performing distribution by a single stream and inserting hierarchical information in the extension field of the PES packet header. 2ストリームによる配信を行う場合であって、PESパケットのヘッダのエクステンションフィールドに階層情報を挿入する場合におけるトランスポートストリームTSの構成例を示す図である。It is a figure which shows the example of a structure of the transport stream TS in the case of performing distribution by 2 streams and inserting hierarchical information in the extension field of the header of the PES packet. 受信装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of a receiver. 階層構成が変化する場合における符号化画像データの「level_idc」のシグナリングと階層情報との対応関係の一例を示す図である。It is a figure which shows an example of the corresponding | compatible relationship between signaling of "level_idc" of encoding image data, and hierarchy information in case a hierarchy structure changes.

以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
Hereinafter, modes for carrying out the invention (hereinafter referred to as “embodiments”) will be described. The description will be given in the following order.
1. Embodiment 2. FIG. Modified example

<1.実施の形態>
[送受信システム]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と、受信装置200とを有する構成となっている。
<1. Embodiment>
[Transmission / reception system]
FIG. 1 shows a configuration example of a transmission / reception system 10 as an embodiment. The transmission / reception system 10 includes a transmission device 100 and a reception device 200.

送信装置100は、コンテナとしてのトランスポートストリームTSを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、各階層のピクチャの画像データの符号化データを持つビデオストリームが含まれる。この場合、各階層のピクチャの符号化画像データを持つ単一のビデオストリーム、あるいは複数の階層が上位階層側および下位階層側の2つの組に分割され、各階層組のピクチャの符号化画像データをそれぞれ持つ2つのビデオストリームが含まれる。   The transmission device 100 transmits a transport stream TS as a container on a broadcast wave or a network packet. In this transport stream TS, image data of each picture constituting moving image data is classified into a plurality of layers, and a video stream having encoded data of image data of pictures of each layer is included. In this case, a single video stream having encoded image data of pictures in each layer, or a plurality of layers is divided into two sets of an upper layer side and a lower layer side, and encoded image data of pictures in each layer group Are included in each video stream.

例えば、H.264/AVC、H.265/HEVCなどの符号化が施され、被参照ピクチャが自己階層および/または自己階層よりも低い階層に所属するように符号化される。そして、この場合、低階層側および高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化される。このような符号化が行われることで、受信側では、低階層側および高階層側のピクチャの符号化画像データに対してデコード処理を行う際に、バッファサイズの減少およびデコード遅延の減少が可能となる。   For example, H.M. H.264 / AVC, H.H. Encoding such as H.265 / HEVC is performed, and the referenced picture is encoded so as to belong to the self hierarchy and / or a hierarchy lower than the self hierarchy. In this case, the lower layer side and the higher layer side have the same hierarchical structure, and the corresponding pictures on the lower layer side and the higher layer side are combined into one set and sequentially encoded. By performing such encoding, the receiving side can reduce the buffer size and the decoding delay when decoding the encoded image data of the pictures on the lower layer side and the higher layer side. It becomes.

各階層のピクチャの符号化画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。この実施の形態においては、各ピクチャのNALユニット(nal_unit)のヘッダ部分に、階層識別情報(temporal_idを意味する“nuh_temporal_id_plus1”)が配置される。このように階層識別情報が付加されることで、受信側では、所定階層以下の階層の符号化画像データを選択的に取り出してデコード処理を行うことができる。   Hierarchy identification information for identifying the belonging hierarchy is added to the encoded image data of the picture of each hierarchy for each picture. In this embodiment, hierarchical identification information (“nuh_temporal_id_plus1” meaning temporal_id) is arranged in the header portion of the NAL unit (nal_unit) of each picture. By adding the layer identification information in this way, the receiving side can selectively extract the encoded image data of the layer below the predetermined layer and perform the decoding process.

コンテナのレイヤに、各階層のレベル指定値の情報などを含む階層情報が挿入される。受信側では、この階層情報を参照することで、ビデオストリームからデコーダの能力に見合った階層のピクチャの符号化画像データを選択的に取り出すことが、容易に可能となる。例えば、この階層情報は、プログラムマップテーブル(PMT:Program Map Table)の配下、あるいはイベントインフォメーションテーブル(EIT:Event Information Table)の配下に挿入される。   Hierarchy information including information on level designation values of each hierarchy is inserted into the container layer. On the receiving side, by referring to the layer information, it is possible to easily extract the encoded image data of the picture of the layer corresponding to the capability of the decoder from the video stream. For example, this hierarchical information is inserted under a program map table (PMT) or an event information table (EIT).

また、例えば、この階層情報は、ビデオストリームの各ピクチャの符号化画像データに同期した位置であるPESパケットのヘッダのPESエクステンションフィールド(PES extension field)に挿入される。これにより、受信側では、階層構成が変化する場合にも、ビデオストリームからデコーダの能力に見合った階層のピクチャの符号化画像データを選択的に取り出すことを適切に行うことが可能となる。   Further, for example, this hierarchical information is inserted into a PES extension field of the header of the PES packet that is a position synchronized with the encoded image data of each picture of the video stream. As a result, on the receiving side, even when the layer structure changes, it is possible to appropriately extract encoded image data of pictures in a layer corresponding to the capability of the decoder from the video stream.

このように階層情報がPESパケットのエクステンションフィールドに挿入されるとき、PESパケットのエクステンションフィールドに階層情報が挿入されていることを識別する識別情報が、プログラムマップテーブルの配下に挿入される。この場合、受信側においては、この識別情報に基づいて、PESパケットのエクステンションフィールドに階層情報が挿入されていることを識別可能となる。   Thus, when the hierarchy information is inserted into the extension field of the PES packet, identification information for identifying that the hierarchy information is inserted into the extension field of the PES packet is inserted under the program map table. In this case, the receiving side can identify that the hierarchy information is inserted in the extension field of the PES packet based on this identification information.

受信装置200は、送信装置100から放送波あるいはネットのパケットに載せて送られてくる上述のトランスポートストリームTSを受信する。受信装置200は、このトランスポートストリームTSを処理する。この場合、コンテナのレイヤに含まれる階層情報に基づいて、ビデオストリームから、デコーダの能力に見合った所定階層以下の階層のピクチャの符号化画像データが選択的に取り出されて復号化(デコード)され、この所定階層以下の階層のピクチャの画像データが得られる。   The receiving device 200 receives the above-described transport stream TS transmitted from the transmitting device 100 on broadcast waves or net packets. The receiving apparatus 200 processes this transport stream TS. In this case, based on the hierarchy information included in the container layer, the encoded image data of the picture of the hierarchy below the predetermined hierarchy corresponding to the capability of the decoder is selectively extracted from the video stream and decoded (decoded). Then, picture data of pictures in a hierarchy below this predetermined hierarchy is obtained.

「送信装置の構成」
図2は、送信装置100の構成例を示している。この送信装置100は、CPU(Central Processing Unit)101と、エンコーダ102と、圧縮データバッファ(cpb:coded picture buffer)103と、マルチプレクサ104と、送信部105を有している。CPU101は、制御部であり、送信装置100の各部の動作を制御する。
"Configuration of Transmitter"
FIG. 2 shows a configuration example of the transmission device 100. The transmission apparatus 100 includes a CPU (Central Processing Unit) 101, an encoder 102, a compressed data buffer (cpb: coded picture buffer) 103, a multiplexer 104, and a transmission unit 105. The CPU 101 is a control unit and controls the operation of each unit of the transmission device 100.

エンコーダ102は、非圧縮の動画像データVDを入力して、階層符号化を行う。エンコーダ102は、この動画像データVDを構成する各ピクチャの画像データを複数の階層に分類する。そして、エンコーダ102は、この分類された各階層のピクチャの画像データを符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する。   The encoder 102 receives the uncompressed moving image data VD and performs hierarchical encoding. The encoder 102 classifies the image data of each picture constituting the moving image data VD into a plurality of hierarchies. Then, the encoder 102 encodes the image data of the classified pictures of each layer, and generates a video stream having the encoded image data of the pictures of each layer.

エンコーダ102は、例えば、H.264/AVC、H.265/HEVCなどの符号化を行う。この際、エンコーダ102は、参照するピクチャ(被参照ピクチャ)が、自己階層および/または自己階層よりも下位の階層に所属するように、符号化する。また、エンコーダ102は、複数の階層を低階層側と高階層側に二分し、それぞれの階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化する。   The encoder 102 is, for example, H.264. H.264 / AVC, H.H. Encoding such as H.265 / HEVC is performed. At this time, the encoder 102 performs encoding so that a picture to be referred to (referenced picture) belongs to the own hierarchy and / or a hierarchy lower than the own hierarchy. In addition, the encoder 102 divides a plurality of hierarchies into a low hierarchy side and a high hierarchy side, equalizes each hierarchy structure, and sequentially encodes corresponding pictures on the low hierarchy side and the high hierarchy side as one set. .

図3は、エンコーダ102で行われる階層符号化の一例を示している。この例は、0から5までの6階層に分類され、各階層のピクチャの画像データに対して符号化が施された例である。   FIG. 3 shows an example of hierarchical encoding performed by the encoder 102. In this example, the image data is classified into 6 layers from 0 to 5, and the image data of pictures in each layer is encoded.

縦軸は階層を示している。階層0から5のピクチャの符号化画像データを構成するNALユニット(nal_unit)のヘッダ部分に配置されるtemporal_id(階層識別情報)として、それぞれ、0から5が設定される。一方、横軸は表示順(POC:picture order of composition)を示し、左側は表示時刻が前で、右側は表示時刻が後になる。   The vertical axis represents the hierarchy. 0 to 5 are set as temporal_id (hierarchy identification information) arranged in the header portion of the NAL unit (nal_unit) constituting the encoded image data of the pictures of layers 0 to 5, respectively. On the other hand, the horizontal axis indicates the display order (POC: picture order of composition), the display time is on the left side and the display time is on the right side.

図4(a)は、NALユニットヘッダの構造例(Syntax)を示し、図4(b)は、その構造例における主要なパラメータの内容(Semantics)を示している。「Forbidden_zero_bit」の1ビットフィールドは、0が必須である。「Nal_unit_type」の6ビットフィールドは、NALユニットタイプを示す。「Nuh_layer_id」の6ビットフィールドは、0を前提とする。「Nuh_temporal_id_plus1」の3ビットフィールドは、temporal_idを示し、1を加えた値(1〜6)をとる。   FIG. 4A shows a structure example (Syntax) of the NAL unit header, and FIG. 4B shows contents (Semantics) of main parameters in the structure example. In the 1-bit field of “Forbidden_zero_bit”, 0 is essential. The 6-bit field “Nal_unit_type” indicates the NAL unit type. The 6-bit field of “Nuh_layer_id” is assumed to be 0. A 3-bit field of “Nuh_temporal_id_plus1” indicates temporal_id and takes a value (1 to 6) obtained by adding 1.

図3に戻って、矩形枠のそれぞれがピクチャを示し、数字は、符号化されているピクチャの順、つまりエンコード順(受信側ではデコード順)を示している。例えば、「0」から「7」の8個のピクチャによりサブ・ピクチャグループ(Sub group of pictures)が構成されており、「0」はそのサブ・ピクチャグループの先頭のピクチャとなる。このサブ・ピクチャグループがいくつか集まってGOP(Group Of Pictures)となる。   Returning to FIG. 3, each of the rectangular frames indicates a picture, and the numbers indicate the order of the encoded pictures, that is, the encoding order (decoding order on the receiving side). For example, a sub picture group (Sub group of pictures) is composed of eight pictures from “0” to “7”, and “0” is the head picture of the sub picture group. Several of these sub-picture groups are gathered to form a GOP (Group Of Pictures).

この例では、階層0から2の3階層が低階層側で、階層3から5の3階層が高階層側となる。図示のように、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されていく。例えば、最初に低階層側の「0」と高階層側の「1」とが1つの組にされて符号化され、次に低階層側の「2」と高階層側の「3」とが1つの組にされて符号化され、以下同様に符号化されていく。この場合、低階層は、ある一定階層より低い階層に限定される。これにより、低階層をデコードする際には、限定された階層のみをデコードすることで安定したデコード表示が可能になる。このことは、低階層、高階層に分けられていない場合であっても同様である。   In this example, the three hierarchies 0 to 2 are on the low hierarchy side, and the three hierarchies 3 to 5 are the high hierarchy side. As shown in the figure, the lower layer side and the higher layer side have the same hierarchical structure, and corresponding pictures on the lower layer side and the higher layer side are combined into one set and sequentially encoded. For example, first, “0” on the lower layer side and “1” on the higher layer side are encoded as one set, and then “2” on the lower layer side and “3” on the higher layer side are encoded. One set is encoded and then encoded in the same manner. In this case, the lower hierarchy is limited to a hierarchy lower than a certain hierarchy. As a result, when decoding a low hierarchy, it is possible to display a stable decode by decoding only a limited hierarchy. This is the same even when it is not divided into a low hierarchy and a high hierarchy.

図3に戻って、実線、破線矢印は、符号化におけるピクチャの参照関係を示している。例えば、「0」はIピクチャ(Intra picture)であり、他のピクチャを参照しない。「1」はPピクチャであり、「1」のピクチャを参照して符号化される。「2」はBピクチャであり、「0」のピクチャと、前のサブ・ピクチャグループのピクチャ(図示せず)を参照して符号化される。「3」はBピクチャであり、「0」、「2」のピクチャを参照して符号化される。同様に、その他のピクチャは、表示順で近くのピクチャを参照して符号化される。なお、「D」は、参照するピクチャと表示順でどのくらい離れているかを示している。「D」の表示がないところは、D=1である。   Returning to FIG. 3, the solid line and broken line arrows indicate the reference relationship of pictures in encoding. For example, “0” is an I picture (Intra picture) and does not refer to other pictures. “1” is a P picture, which is encoded with reference to the picture “1”. “2” is a B picture, which is encoded with reference to a picture of “0” and a picture (not shown) of the previous sub-picture group. “3” is a B picture and is encoded with reference to pictures “0” and “2”. Similarly, other pictures are encoded with reference to nearby pictures in display order. Note that “D” indicates how far away from the picture to be referred is in display order. Where there is no indication of “D”, D = 1.

図5は、エンコーダ102で行われる階層符号化の他の一例を示している。詳細説明は省略するが、この例は、図3の例では高階層側の各ピクチャの表示順が低階層側の各ピクチャの表示順より1ピクチャ分遅れているが、図5の例では高階層側の各ピクチャの表示順が低階層側の各ピクチャの表示順より1ピクチャ分進んでいる。この例の場合も、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されていく。   FIG. 5 shows another example of hierarchical encoding performed by the encoder 102. Although detailed description is omitted, in this example, in the example of FIG. 3, the display order of each picture on the high hierarchy side is delayed by one picture from the display order of each picture on the low hierarchy side, but in the example of FIG. The display order of each picture on the layer side is advanced by one picture from the display order of each picture on the lower layer side. Also in this example, the hierarchical structure on the lower layer side and the higher layer side are made equal, and the corresponding pictures on the lower layer side and the higher layer side are made into one set and sequentially encoded.

エンコーダ102は、各階層のピクチャの符号化画像データを持つビデオストリームを生成する。例えば、各階層のピクチャの符号化画像データを持つ単一のビデオストリームを生成するか、あるいは上位階層側および下位階層側のピクチャの符号化画像データをそれぞれ持つ2つのビデオストリームを生成する。   The encoder 102 generates a video stream having encoded image data of pictures in each layer. For example, a single video stream having encoded image data of pictures in each layer is generated, or two video streams each having encoded image data of pictures on the upper layer side and the lower layer side are generated.

図6は、各ピクチャの符号化画像データの構成例を示している。GOPの先頭ピクチャの符号化画像データは、AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI、EOSのNALユニットにより構成される。一方、GOPの先頭ピクチャ以外のピクチャは、AUD、PPS、PSEI、SLICE、SSEI、EOSのNALユニットにより構成される。VPSはSPSと共に、シーケンス(GOP)に一度、PPSは毎ピクチャで伝送可能とされている。なお、EOSは存在しなくともよい。   FIG. 6 shows a configuration example of encoded image data of each picture. The coded image data of the first picture of the GOP is composed of NAL units of AUD, VPS, SPS, PPS, PSEI, SLICE, SSEI, and EOS. On the other hand, pictures other than the first picture of the GOP are configured by NAL units of AUD, PPS, PSEI, SLICE, SSEI, and EOS. VPS and SPS can be transmitted once in a sequence (GOP), and PPS can be transmitted in each picture. Note that EOS may not exist.

SPS(Sequence Parameter Set)には、ビットストリームのレベル指定値である「general_level_idc」が挿入されている。また、SPSには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ(sub_layer)として括られ、“Sublayer_level_presented_flag”が“1”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」も挿入可能とされている。以上はSPSだけでなくVPSにおいても供給される。   In the SPS (Sequence Parameter Set), a “general_level_idc” that is a bitstream level specification value is inserted. Further, the SPS includes pictures belonging to each layer indicated by “temporal_id” as sublayers (sub_layer), and “Sublayer_level_presented_flag” is set to “1”, which is a bit rate level designation value for each sublayer. “Sublayer_level_idc” can also be inserted. The above is supplied not only in SPS but also in VPS.

例えば、図3の階層符号化の例を考える。SPSに挿入される「general_level_idc」の値は、階層0から5の全てのピクチャを含むレベル値とされる。例えば、そのフレームレートが、120Pであるときは、 “Level5.2”とされる。また、SPSに挿入される「sublayer_level_idc[2]」の値は、階層0から2のピクチャのみを含むレベル値とされる。例えば、そのフレームレートが、60Pであるときは、 “Level5.1”とされる。   For example, consider the example of hierarchical encoding in FIG. The value of “general_level_idc” inserted into the SPS is a level value including all the pictures in the layers 0 to 5. For example, when the frame rate is 120P, “Level 5.2” is set. Further, the value of “sublayer_level_idc [2]” inserted into the SPS is a level value including only the pictures in the layers 0 to 2. For example, when the frame rate is 60P, “Level 5.1” is set.

図2に戻って、圧縮データバッファ(cpb)103は、エンコーダ102で生成された、各階層のピクチャの符号化画像データを含むビデオストリームを、一時的に蓄積する。マルチプレクサ104は、圧縮データバッファ103に蓄積されているビデオストリームを読み出し、PESパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームTSを得る。このトランスポートストリームTSには、上述したように、単一あるいは複数のビデオストリームが含まれる。   Returning to FIG. 2, the compressed data buffer (cpb) 103 temporarily stores the video stream including the encoded image data of the pictures of each layer generated by the encoder 102. The multiplexer 104 reads the video stream stored in the compressed data buffer 103, converts it into a PES packet, further converts it into a transport packet, multiplexes it, and obtains a transport stream TS as a multiplexed stream. As described above, the transport stream TS includes a single or a plurality of video streams.

マルチプレクサ104は、コンテナのレイヤに、階層情報を挿入する。送信部105は、マルチプレクサ104で得られたトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、受信装置200に送信する。   The multiplexer 104 inserts hierarchy information into the container layer. The transmitting unit 105 transmits the transport stream TS obtained by the multiplexer 104 to a receiving device 200 on a broadcast wave or a net packet.

[階層情報の挿入について]
マルチプレクサ104における階層情報の挿入についてさらに説明する。マルチプレクサ104は、例えば、以下の(A),(B),(C)のいずれかにより、コンテナのレイヤに階層情報を挿入する。
(A)プログラムマップテーブル(PMT:Program Map Table)の配下に、階層情報を挿入する。
(B)イベントインフォメーションテーブル(EIT:Event Information Table)の配下に、階層情報を挿入する。
(C)PESパケットのヘッダのエクステンションフィールド(Extension field)に階層情報を挿入する。
[About inserting hierarchy information]
The insertion of hierarchical information in the multiplexer 104 will be further described. The multiplexer 104 inserts hierarchical information into the container layer by, for example, any one of the following (A), (B), and (C).
(A) Hierarchy information is inserted under a program map table (PMT).
(B) Hierarchy information is inserted under an event information table (EIT).
(C) The hierarchy information is inserted into the extension field (Extension field) of the header of the PES packet.

「(A)の説明」
トランスポートストリームTSには、PSI(Program Specific Information)として、PMTが含まれている。このPMTには、各ビデオストリームに関連した情報を持つビデオエレメンタリ・ループ(video ES1 loop)が存在する。このビデオエレメンタリ・ループには、各ビデオストリームに対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
"Description of (A)"
The transport stream TS includes PMT as PSI (Program Specific Information). In this PMT, there is a video elementary loop (video ES1 loop) having information related to each video stream. In the video elementary loop, information such as a stream type and a packet identifier (PID) is arranged corresponding to each video stream, and a descriptor describing information related to the video stream is also arranged.

マルチプレクサ104は、このデスクリプタの一つとして新たに定義するレイヤ・デコーディング・デスクリプタ(Layer_decoding_descriptor)を挿入する。図7(a),(b)は、レイヤ・デコーディング・デスクリプタの構造例(Syntax)を示している。また、図8は、その構造例における主要な情報の内容(Semantics)を示している。   The multiplexer 104 inserts a layer decoding descriptor (Layer_decoding_descriptor) newly defined as one of the descriptors. FIGS. 7A and 7B show a structure example (Syntax) of the layer decoding descriptor. FIG. 8 shows the contents (Semantics) of main information in the structural example.

「Layer_decoding_descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、レイヤ・デコーディング・デスクリプタであることを示す。「Layer_decoding_descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降の「layer_information()」のバイト数を示す。   An 8-bit field of “Layer_decoding_descriptor_tag” indicates a descriptor type, and here indicates a layer decoding descriptor. The 8-bit field of “Layer_decoding_descriptor_length” indicates the length (size) of the descriptor, and indicates the number of bytes of “layer_information ()” thereafter as the descriptor length.

図7(b)は、「layer_information()」の構造例(Syntax)を示している。「layer_minimum LMI」の3ビットフィールドは、“temporal_id”の最小値で示される階層(layer)を示す。「layer_maximum LMX」の3ビットフィールドは、“temporal_id”の最大値で示される階層(layer)を示す。ここで、“temporal_id”を割り当てるレイヤ数は、(LMX−LMI+1)となる。「layer_level_idc[i]」の8ビットフィールドは、各階層のビットレートのレベル指定値である「level_idc」を示す。   FIG. 7B illustrates a structure example (Syntax) of “layer_information ()”. A 3-bit field of “layer_minimum LMI” indicates a layer (layer) indicated by the minimum value of “temporal_id”. A 3-bit field of “layer_maximum LMX” indicates a layer (layer) indicated by the maximum value of “temporal_id”. Here, the number of layers to which “temporal_id” is assigned is (LMX−LMI + 1). An 8-bit field of “layer_level_idc [i]” indicates “level_idc” that is a level designation value of the bit rate of each layer.

「(B)の説明」
また、トランスポートストリームTSには、イベント単位の管理を行うSI(Serviced Information)としてのEITが含まれている。マルチプレクサ104は、このEITの配下に、上述したレイヤ・デコーディング・デスクリプタ(図7参照)を配置する。この場合、マルチプレクサ104は、このEITの配下に、従来周知のコンポーネント・デスクリプタ(Component descriptor)をも配置し、PESストリームとのリンクをとる。
"Explanation of (B)"
In addition, the transport stream TS includes EIT as SI (Serviced Information) for managing event units. The multiplexer 104 arranges the above-described layer decoding descriptor (see FIG. 7) under the EIT. In this case, the multiplexer 104 also arranges a conventionally known component descriptor (Component Descriptor) under this EIT, and establishes a link with the PES stream.

「(C)の説明」
PESパケットのヘッダに、PESエクステンションフィールド(Extension field)を設けることができる。マルチプレクサ104は、このエクステンションフィールドに、階層情報を持つPESエクステンション・フィールド・データを挿入する。マルチプレクサ104は、このようにPESパケットのヘッダにPESエクステンションフィールドを設けて、階層情報を持つPESエクステンション・フィールド・データを挿入することを、例えば、少なくともCVS(Coded Video Sequence)単位で行う。図9は、PESエクステンション・フィールド・データ「pes_extension_field_data()」の構造例(Syntax)を示している。
"Explanation of (C)"
A PES extension field can be provided in the header of the PES packet. The multiplexer 104 inserts PES extension field data having hierarchical information into this extension field. The multiplexer 104 thus provides the PES extension field in the header of the PES packet and inserts the PES extension field data having hierarchical information in at least a CVS (Coded Video Sequence) unit, for example. FIG. 9 shows a structure example (Syntax) of the PES extension field data “pes_extension_field_data ()”.

なお、「PES_extension field length」は、このシンタクス構造の外部で与えられるものとする。「start_sync_byte」の8ビットフィールドは、エクステンション・フィールド(extension field)の開始を表す符号値を示す。「extension_field_type」の8ビットフィールドは、エクステンションフィールドのタイプを示す。ここでは、階層情報を供給することを示す。「layer_information()」は、上述したように、「layer_minimum LMI」「layer_minimum LMX」、「layer_level_idc[i]」のフィールドを持つ(図7(b)参照)。   Note that “PES_extension field length” is given outside of this syntax structure. An 8-bit field of “start_sync_byte” indicates a code value indicating the start of an extension field. The 8-bit field “extension_field_type” indicates the type of the extension field. Here, it shows that hierarchical information is supplied. As described above, “layer_information ()” has fields of “layer_minimum LMI”, “layer_minimum LMX”, and “layer_level_idc [i]” (see FIG. 7B).

この場合、マルチプレクサ104は、ビデオエレメンタリ・ループに、デスクリプタの1つとして、PESエクステンションフィールドに階層情報が挿入されていることを明示するためのペス・エクステンション・デスクリプタ(PES_extension_descriptor)を配置する。   In this case, the multiplexer 104 arranges a pes extension descriptor (PES_extension_descriptor) in the video elementary loop for clearly indicating that hierarchical information is inserted in the PES extension field as one of the descriptors.

図10(a)は、ペス・エクステンション・デスクリプタ(PES_extension_descriptor)の構造例(Syntax)を示している。また、図10(b)は、その構造例における主要な情報の内容(Semantics)を示している。「PES_extention_descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、ペス・エクステンション・デスクリプタであることを示す。「PES_extention_descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。「PES_extension_existed」の1ビットフィールドは、該当するPESストリームのPESエクステンションフィールドに符号化がなされているかを示す。1”は、符号化がなされていることを示し、“0”は符号化がなされていないことを示す。   FIG. 10A shows a structural example (Syntax) of a pes extension descriptor (PES_extension_descriptor). FIG. 10B shows the contents (Semantics) of main information in the structural example. An 8-bit field of “PES_extention_descriptor_tag” indicates a descriptor type, and here indicates a pes extension descriptor. The 8-bit field of “PES_extention_descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor. The 1-bit field of “PES_extension_existed” indicates whether or not the PES extension field of the corresponding PES stream is encoded. “1” indicates that encoding is performed, and “0” indicates that encoding is not performed.

[トランスポートストリームTSの構成]
図11は、単一ストリームによる配信を行う場合であって、プログラムマップテーブル(PMT:Program Map Table)の配下に階層情報を挿入する場合(上述の(A))におけるトランスポートストリームTSの構成例を示している。この構成例では、複数の階層のピクチャの例えばHEVCによる符号化画像データを持つビデオストリームのPESパケット「video PES1」が存在する。
[Configuration of transport stream TS]
FIG. 11 shows a configuration example of the transport stream TS in the case where distribution is performed by a single stream and hierarchical information is inserted under a program map table (PMT: Program Map Table (A)). Is shown. In this configuration example, there is a PES packet “video PES1” of a video stream having encoded image data by, for example, HEVC of pictures in a plurality of layers.

各ピクチャの符号化画像データには、VPS、SPS、PPS、SLICE、SEIなどのNALユニットが存在する。上述したように、NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_idを意味する“nuh_temporal_id_plus1”)が配置されている。SPSには、ビットストリームのレベル指定値である「general_level_idc」が挿入されている。また、SPSには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ(sub_layer)として括られ、“Sublayer_level_presented_flag”が“1”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」が挿入される。   NAL units such as VPS, SPS, PPS, SLICE, and SEI exist in the encoded image data of each picture. As described above, the layer identification information (“nuh_temporal_id_plus1” meaning temporal_id) of the picture is arranged in the header of the NAL unit. In the SPS, “general_level_idc” that is a level designation value of the bitstream is inserted. Further, the SPS includes pictures belonging to each layer indicated by “temporal_id” as sublayers (sub_layer), and “Sublayer_level_presented_flag” is set to “1”, which is a bit rate level designation value for each sublayer. “Sublayer_level_idc” is inserted.

また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。   In addition, the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). This PSI is information describing to which program each elementary stream included in the transport stream belongs.

PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ(video ES loop)が存在する。   In the PMT, there is a program loop that describes information related to the entire program. The PMT includes an elementary loop having information related to each elementary stream. In this configuration example, there is a video elementary loop (video ES loop).

ビデオエレメンタリ・ループには、ビデオストリーム(video PES1)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したレイヤ・デコーディング・デスクリプタ(Layer_decoding_descriptor)が挿入される。   In the video elementary loop, information such as a stream type and a packet identifier (PID) is arranged corresponding to the video stream (video PES1), and a descriptor describing information related to the video stream is also arranged. The As one of the descriptors, the above-described layer decoding descriptor (Layer_decoding_descriptor) is inserted.

例えば、図3、図5の階層符号化例の場合、このデスクリプタに記述される内容は、以下とされる。すなわち、「layer_minimum LMI」=0、「layer_maximum LMX」=5、「layer_level_idc[0]」=Level5、「layer_level_idc[1]」=Level5、「layer_level_idc[2]」=Level5.1、「layer_level_idc[3]」=Level5.2、「layer_level_idc[4]」=Level5.2、「layer_level_idc[5]」=Level5.2とされる。   For example, in the case of the hierarchical encoding examples of FIGS. 3 and 5, the contents described in this descriptor are as follows. That is, “layer_minimum LMI” = 0, “layer_maximum LMX” = 5, “layer_level_idc [0]” = Level5, “layer_level_idc [1]” = Level5, “layer_level_idc [2]” = Level5.1, “layer_level_idc [3] ] = Level5.2, “layer_level_idc [4]” = Level5.2, and “layer_level_idc [5]” = Level5.2.

図12は、2ストリームによる配信を行う場合であって、プログラムマップテーブル(PMT:Program Map Table)の配下に階層情報を挿入する場合(上述の(A))におけるトランスポートストリームTSの構成例を示している。この構成例では、複数の階層が低階層側と高階層側の2つの組に分割され、この2つ組のピクチャの例えばHEVCによる符号化画像データをそれぞれ持つビデオストリームのPESパケット「video PES1」、「video PES2」が存在する。   FIG. 12 shows an example of the configuration of the transport stream TS in the case where distribution is performed using two streams and hierarchical information is inserted under the program map table (PMT: Program Map Table (A)). Show. In this configuration example, a plurality of hierarchies are divided into two sets of a low hierarchy side and a high hierarchy side, and PES packets “video PES1” of video streams each having image data encoded by, for example, HEVC of these two sets of pictures. "Video PES2" exists.

低階層側の各ピクチャの符号化画像データには、VPS、SPS、PPS、SLICE、SEIなどのNALユニットが存在する。NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_idを意味する“nuh_temporal_id_plus1”)が配置されている。SPSには、ビットストリームのレベル指定値である「general_level_idc」が挿入されている。また、SPSには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ(sub_layer)として括られ、“sublayer_level_presented_flag”が“1”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」が挿入される。   The encoded image data of each picture on the lower layer side includes NAL units such as VPS, SPS, PPS, SLICE, and SEI. In the header of the NAL unit, layer identification information (“nuh_temporal_id_plus1” meaning temporal_id) of the picture is arranged. In the SPS, “general_level_idc” that is a level designation value of the bitstream is inserted. Also, in SPS, pictures belonging to each layer indicated by “temporal_id” are bundled as sublayers (sub_layer), and “sublayer_level_presented_flag” is set to “1”, which is a bit rate level designation value for each sublayer. “Sublayer_level_idc” is inserted.

一方、高階層側の各ピクチャの符号化画像データには、PPS、SLICEなどのNALユニットが存在する。NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_idを意味する“nuh_temporal_id_plus1”)が配置されている。   On the other hand, NAL units such as PPS and SLICE exist in the encoded image data of each picture on the higher layer side. In the header of the NAL unit, layer identification information (“nuh_temporal_id_plus1” meaning temporal_id) of the picture is arranged.

また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。   In addition, the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). This PSI is information describing to which program each elementary stream included in the transport stream belongs.

PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、2つのビデオエレメンタリ・ループ(video ES1 loop, video ES2 loop )が存在する。   In the PMT, there is a program loop that describes information related to the entire program. The PMT includes an elementary loop having information related to each elementary stream. In this configuration example, there are two video elementary loops (video ES1 loop, video ES2 loop).

各ビデオエレメンタリ・ループには、ビデオストリーム(video PES1, video PES2)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したレイヤ・デコーディング・デスクリプタ(Layer_decoding_descriptor)が挿入される。   In each video elementary loop, information such as a stream type and a packet identifier (PID) is arranged corresponding to the video stream (video PES1, video PES2), and information related to the video stream is described. A descriptor is also placed. As one of the descriptors, the above-described layer decoding descriptor (Layer_decoding_descriptor) is inserted.

例えば、図3、図5の階層符号化例の場合、PESパケット「video PES1」、「video PES2」に対応したデスクリプタにそれぞれ記述される内容は、以下とされる。すなわち、PESパケット「video PES1」に対応したデスクリプタでは、「layer_minimum LMI」=0、「layer_maximum LMX」=2、「layer_level_idc[0]」=Level5、「layer_level_idc[1]」=Level5、「layer_level_idc[2]」=Level5.1とされる。また、PESパケット「video PES1」に対応したデスクリプタでは、「layer_minimum LMI」=3、「layer_maximum LMX」=5、「layer_level_idc[3]」=Level5.2、「layer_level_idc[4]」=Level5.2、「layer_level_idc[5]」=Level5.2とされる。   For example, in the case of the hierarchical coding examples of FIGS. 3 and 5, the contents described in the descriptors corresponding to the PES packets “video PES1” and “video PES2” are as follows. That is, in the descriptor corresponding to the PES packet “video PES1”, “layer_minimum LMI” = 0, “layer_maximum LMX” = 2, “layer_level_idc [0]” = Level5, “layer_level_idc [1]” = Level5, “layer_level_idc [2 ] ”= Level 5.1. In the descriptor corresponding to the PES packet “video PES1”, “layer_minimum LMI” = 3, “layer_maximum LMX” = 5, “layer_level_idc [3]” = Level5.2, “layer_level_idc [4]” = Level5.2, “Layer_level_idc [5]” = Level5.2.

図13は、単一ストリームによる配信を行う場合であって、イベントインフォメーションテーブル(EIT:Event Information Table)の配下に階層情報を挿入する場合(上述の(B))におけるトランスポートストリームTSの構成例を示している。この構成例では、図11の構成例と同様に、複数の階層のピクチャの例えばHEVCによる符号化画像データを持つビデオストリームのPESパケット「video PES1」が存在する。   FIG. 13 shows a configuration example of the transport stream TS in the case where distribution is performed by a single stream and hierarchical information is inserted under the event information table (EIT) (above (B)). Is shown. In this configuration example, as in the configuration example of FIG. 11, there is a PES packet “video PES1” of a video stream having encoded image data based on, for example, HEVC of pictures in a plurality of layers.

また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。   In addition, the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). This PSI is information describing to which program each elementary stream included in the transport stream belongs.

PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ(video ES loop)が存在する。このビデオエレメンタリ・ループには、ビデオストリーム(video PES1)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。   In the PMT, there is a program loop that describes information related to the entire program. The PMT includes an elementary loop having information related to each elementary stream. In this configuration example, there is a video elementary loop (video ES loop). In this video elementary loop, information such as stream type and packet identifier (PID) is arranged corresponding to the video stream (video PES1), and a descriptor describing information related to the video stream is also arranged. Is done.

また、トランスポートストリームTSには、イベント単位の管理を行うSI(Serviced Information)としてのEITが含まれている。このEITの配下に、上述したレイヤ・デコーディング・デスクリプタ(Layer_decoding_descriptor)が配置される。詳細説明は省略するが、このデスクリプタに記述される内容は、図11の構成例と同様となる。なお、このEITの配下には、従来既知のコンポーネント・デスクリプタ(Component descriptor)が配置されており、PESパケット「video PES1」とのリンクが取られている。   In addition, the transport stream TS includes EIT as SI (Serviced Information) for managing event units. Under the EIT, the above-described layer decoding descriptor (Layer_decoding_descriptor) is arranged. Although detailed description is omitted, the contents described in this descriptor are the same as those in the configuration example of FIG. Note that a conventionally known component descriptor (Component descriptor) is arranged under this EIT, and is linked to the PES packet “video PES1”.

図14は、2ストリームによる配信を行う場合であって、イベントインフォメーションテーブル(EIT:Event Information Table)の配下に階層情報を挿入する場合(上述の(B))におけるトランスポートストリームTSの構成例を示している。この構成例では、図12の構成例と同様に、複数の階層が低階層側と高階層側の2つの組に分割され、この2つ組のピクチャの例えばHEVCによる符号化画像データをそれぞれ持つビデオストリームのPESパケット「video PES1」、「video PES2」が存在する。   FIG. 14 shows an example of the configuration of the transport stream TS in the case of performing delivery by two streams and inserting hierarchical information under the event information table (EIT: Event Information Table (above (B)). Show. In this configuration example, as in the configuration example of FIG. 12, a plurality of hierarchies are divided into two sets of a low hierarchy side and a high hierarchy side, and each of the two sets of pictures has, for example, HEVC encoded image data. There are PES packets “video PES1” and “video PES2” of the video stream.

また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。   In addition, the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). This PSI is information describing to which program each elementary stream included in the transport stream belongs.

PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、2つのビデオエレメンタリ・ループ(video ES1 loop, video ES2 loop )が存在する。各ビデオエレメンタリ・ループには、ビデオストリーム(video PES1, video PES2)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。   In the PMT, there is a program loop that describes information related to the entire program. The PMT includes an elementary loop having information related to each elementary stream. In this configuration example, there are two video elementary loops (video ES1 loop, video ES2 loop). In each video elementary loop, information such as a stream type and a packet identifier (PID) is arranged corresponding to the video stream (video PES1, video PES2), and information related to the video stream is described. A descriptor is also placed.

また、トランスポートストリームTSには、イベント単位の管理を行うSI(Serviced Information)としてのEITが含まれている。このEITの配下に、PESパケット「video PES1」、「video PES2」のそれぞれに対応したレイヤ・デコーディング・デスクリプタ(Layer_decoding_descriptor)が配置される。詳細説明は省略するが、このデスクリプタに記述される内容は、図12の構成例と同様となる。なお、このEITの配下には、従来既知のコンポーネント・デスクリプタ(Component descriptor)が配置されており、PESパケット「video PES1」、「video PES2」とのリンクが取られている。   In addition, the transport stream TS includes EIT as SI (Serviced Information) for managing event units. Under the EIT, layer decoding descriptors (Layer_decoding_descriptor) corresponding to the PES packets “video PES1” and “video PES2” are arranged. Although detailed description is omitted, the contents described in this descriptor are the same as those in the configuration example of FIG. Under this EIT, a conventionally known component descriptor (Component descriptor) is arranged, and links with PES packets “video PES1” and “video PES2” are taken.

図15は、単一ストリームによる配信を行う場合であって、PESパケットのヘッダのエクステンションフィールド(Extension field)に階層情報を挿入する場合(上述の(C))におけるトランスポートストリームTSの構成例を示している。この構成例では、図11の構成例と同様に、複数の階層のピクチャの例えばHEVCによる符号化画像データを持つビデオストリームのPESパケット「video PES1」が存在する。   FIG. 15 shows a configuration example of the transport stream TS in the case where distribution is performed by a single stream, and hierarchical information is inserted into the extension field (Extension field) of the header of the PES packet (the above (C)). Show. In this configuration example, as in the configuration example of FIG. 11, there is a PES packet “video PES1” of a video stream having encoded image data based on, for example, HEVC of pictures in a plurality of layers.

PESパケットのヘッダに、PESエクステンションフィールド(Extension field)が設けられ、「layer_information()」を持つPESエクステンション・フィールド・データ「pes_extension_field_data()」が挿入される。詳細説明は省略するが、この「layer_information()」の記述内容は、図11の構成例におけるレイヤ・デコーディング・デスクリプタと同様となる。   A PES extension field (Extension field) is provided in the header of the PES packet, and PES extension field data “pes_extension_field_data ()” having “layer_information ()” is inserted. Although the detailed description is omitted, the description content of “layer_information ()” is the same as the layer decoding descriptor in the configuration example of FIG.

また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。   In addition, the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). This PSI is information describing to which program each elementary stream included in the transport stream belongs.

PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ(video ES loop)が存在する。   In the PMT, there is a program loop that describes information related to the entire program. The PMT includes an elementary loop having information related to each elementary stream. In this configuration example, there is a video elementary loop (video ES loop).

各ビデオエレメンタリ・ループには、ビデオストリーム(video PES1, video PES2)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、ペス・エクステンション・デスクリプタ(PES_extention_descriptor)が挿入される。このペス・エクステンション・デスクリプタは、PESエクステンションフィールドに階層情報が挿入されていることを明示するためのデスクリプタである。   In each video elementary loop, information such as a stream type and a packet identifier (PID) is arranged corresponding to the video stream (video PES1, video PES2), and information related to the video stream is described. A descriptor is also placed. As one of these descriptors, a pes extension descriptor (PES_extention_descriptor) is inserted. This pes extension descriptor is a descriptor for clearly indicating that hierarchical information is inserted in the PES extension field.

図16は、2ストリームによる配信を行う場合であって、PESパケットのヘッダのエクステンションフィールド(Extension field)に階層情報を挿入する場合(上述の(C))におけるトランスポートストリームTSの構成例を示している。この構成例では、図12の構成例と同様に、複数の階層が低階層側と高階層側の2つの組に分割され、この2つ組のピクチャの例えばHEVCによる符号化画像データをそれぞれ持つビデオストリームのPESパケット「video PES1」、「video PES2」が存在する。   FIG. 16 shows a configuration example of the transport stream TS in the case of performing distribution by two streams and inserting hierarchical information in the extension field (Extension field) of the header of the PES packet (the above (C)). ing. In this configuration example, as in the configuration example of FIG. 12, a plurality of hierarchies are divided into two sets of a low hierarchy side and a high hierarchy side, and each of the two sets of pictures has, for example, HEVC encoded image data. There are PES packets “video PES1” and “video PES2” of the video stream.

PESパケット「video PES1」のヘッダに、PESエクステンションフィールド(Extension field)が設けられ、「layer_information()」を持つPESエクステンション・フィールド・データ「pes_extension_field_data()」が挿入される。詳細説明は省略するが、この「layer_information()」の記述内容は、図12の構成例におけるPESパケット「video PES1」に対応したレイヤ・デコーディング・デスクリプタと同様となる。   A PES extension field (Extension field) is provided in the header of the PES packet “video PES1”, and PES extension field data “pes_extension_field_data ()” having “layer_information ()” is inserted. Although detailed description is omitted, the description content of “layer_information ()” is the same as that of the layer decoding descriptor corresponding to the PES packet “video PES1” in the configuration example of FIG.

また、PESパケット「video PES2」のヘッダに、PESエクステンションフィールド(Extension field)が設けられ、「layer_information()」を持つPESエクステンション・フィールド・データ「pes_extension_field_data()」が挿入される。詳細説明は省略するが、この「layer_information()」の記述内容は、図12の構成例におけるPESパケット「video PES2」に対応したレイヤ・デコーディング・デスクリプタと同様となる。   Further, a PES extension field (Extension field) is provided in the header of the PES packet “video PES2”, and PES extension field data “pes_extension_field_data ()” having “layer_information ()” is inserted. Although detailed description is omitted, the description content of “layer_information ()” is the same as that of the layer decoding descriptor corresponding to the PES packet “video PES2” in the configuration example of FIG.

また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。   In addition, the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). This PSI is information describing to which program each elementary stream included in the transport stream belongs.

PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、2つのビデオエレメンタリ・ループ(video ES1 loop, video ES2 loop )が存在する。   In the PMT, there is a program loop that describes information related to the entire program. The PMT includes an elementary loop having information related to each elementary stream. In this configuration example, there are two video elementary loops (video ES1 loop, video ES2 loop).

各ビデオエレメンタリ・ループには、ビデオストリーム(video PES1, video PES2)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、ペス・エクステンション・デスクリプタ(PES_extention_descriptor)が挿入される。このペス・エクステンション・デスクリプタは、PESエクステンションフィールドに階層情報が挿入されていることを明示するためのデスクリプタである。   In each video elementary loop, information such as a stream type and a packet identifier (PID) is arranged corresponding to the video stream (video PES1, video PES2), and information related to the video stream is described. A descriptor is also placed. As one of these descriptors, a pes extension descriptor (PES_extention_descriptor) is inserted. This pes extension descriptor is a descriptor for clearly indicating that hierarchical information is inserted in the PES extension field.

図2に示す送信装置100の動作を簡単に説明する。エンコーダ102には、非圧縮の動画像データVDが入力される。エンコーダ102では、この動画像データVDに対して、階層符号化が行われる。すなわち、エンコーダ102では、この動画像データVDを構成する各ピクチャの画像データが複数の階層に分類されて符号化され、各階層のピクチャの符号化画像データを持つビデオストリームが生成される。   The operation of the transmission apparatus 100 shown in FIG. 2 will be briefly described. The encoder 102 receives uncompressed moving image data VD. In the encoder 102, hierarchical encoding is performed on the moving image data VD. That is, the encoder 102 classifies and encodes the image data of each picture constituting the moving image data VD into a plurality of layers, and generates a video stream having the encoded image data of the pictures of each layer.

この場合、参照するピクチャが、自己階層および/または自己階層よりも下位の階層に所属するように、符号化される。また、この場合、複数の階層が低階層側と高階層側に二分され、それぞれの階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化される。また、この場合、各階層のピクチャの符号化画像データを持つ単一のビデオストリームが生成されるか、あるいは上位階層側および下位階層側のピクチャの符号化画像データをそれぞれ持つ2つのビデオストリームが生成される。   In this case, the picture to be referenced is encoded so as to belong to the self hierarchy and / or a hierarchy lower than the self hierarchy. Also, in this case, a plurality of hierarchies are divided into a lower hierarchy side and a higher hierarchy side, the respective hierarchy configurations are made equal, and the corresponding pictures on the lower hierarchy side and the higher hierarchy side are made into one set and sequentially encoded. The In this case, a single video stream having encoded image data of pictures in each layer is generated, or two video streams each having encoded image data of pictures on the upper layer side and the lower layer side are generated. Generated.

エンコーダ102で生成された、各階層のピクチャの符号化データを含むビデオストリームは、圧縮データバッファ(cpb)103に供給され、一時的に蓄積される。マルチプレクサ104では、圧縮データバッファ103に蓄積されているビデオストリームが読み出され、PESパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームTSが得られる。このトランスポートストリームTSには、上述したように、単一あるいは複数のビデオストリームが含まれる。   The video stream generated by the encoder 102 and including the encoded data of the pictures of each layer is supplied to the compressed data buffer (cpb) 103 and temporarily accumulated. In the multiplexer 104, the video stream stored in the compressed data buffer 103 is read out, converted into a PES packet, further converted into a transport packet, and multiplexed to obtain a transport stream TS as a multiplexed stream. As described above, the transport stream TS includes a single or a plurality of video streams.

このようにマルチプレクサ104でトランスポートストリームTSが生成されるとき、コンテナのレイヤに、例えば、プログラムマップテーブル(PMT)の配下に、イベントインフォメーションテーブル(EIT)の配下に、あるいはPESパケットのヘッダのエクステンションフィールドに階層情報が挿入される。マルチプレクサ104で生成されたトランスポートストリームTSは、送信部105に送られる。送信部105では、このトランスポートストリームTSが、放送波あるいはネットのパケットに載せて、受信装置200に送信される。   When the transport stream TS is generated by the multiplexer 104 in this way, the container layer, for example, under the program map table (PMT), under the event information table (EIT), or the extension of the header of the PES packet. Hierarchy information is inserted into the field. The transport stream TS generated by the multiplexer 104 is sent to the transmission unit 105. In the transmission unit 105, the transport stream TS is transmitted to the reception device 200 on a broadcast wave or a net packet.

「受信装置の構成」
図17は、受信装置200の構成例を示している。この受信装置200は、CPU(Central Processing Unit)201と、受信部202と、デマルチプレクサ203と、圧縮データバッファ(cpb:coded picture buffer)204を有している。また、この受信装置200は、デコーダ205と、非圧縮データバッファ(dpb:decoded picture buffer)206と、ポスト処理部207と、表示部208を有している。CPU201は、制御部を構成し、受信装置200の各部の動作を制御する。
"Receiver configuration"
FIG. 17 illustrates a configuration example of the receiving device 200. The receiving apparatus 200 includes a CPU (Central Processing Unit) 201, a receiving unit 202, a demultiplexer 203, and a compressed data buffer (cpb: coded picture buffer) 204. The receiving apparatus 200 includes a decoder 205, an uncompressed data buffer (dpb: decoded picture buffer) 206, a post processing unit 207, and a display unit 208. The CPU 201 constitutes a control unit and controls the operation of each unit of the receiving device 200.

受信部202は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。デマルチプレクサ203は、トランスポートストリームTSから、デコーダ205の能力に応じた階層のピクチャの符号化画像データを、選択的に取り出し、圧縮データバッファ(cpb:coded picture buffer)204に送る。この場合、各ピクチャのNALユニット(nal_unit)のヘッダ部分に配置されている、“temporal_id”を意味する「nuh_temporal_id_plus1」の値を参照する。   The reception unit 202 receives the transport stream TS transmitted from the transmission device 100 on broadcast waves or net packets. The demultiplexer 203 selectively extracts encoded image data of a picture of a layer corresponding to the capability of the decoder 205 from the transport stream TS, and sends it to a compressed data buffer (cpb: coded picture buffer) 204. In this case, the value of “nuh_temporal_id_plus1” that means “temporal_id”, which is arranged in the header portion of the NAL unit (nal_unit) of each picture, is referred to.

この場合、デマルチプレクサ203はコンテナのレイヤに挿入されている階層情報を抽出し、この階層情報から各階層の「layer_level_idc」を認識し、デコーダ205の能力ではどの階層までデコード可能かを検出する。例えば、図3、図5の階層符号化例で、「layer_level_idc[0]」=Level5、「layer_level_idc[1]」=Level5、「layer_level_idc[2]」=Level5.1、「layer_level_idc[3]」=Level5.2、「layer_level_idc[4]」=Level5.2、「layer_level_idc[5]」=Level5.2であるとする。この場合、デコーダ205が60P、つまり“Level5.1”の能力があるときには、階層2までデコード可能であると検出される。また、この場合、デコーダ205が120P、つまり“Level5.2”の能力があるときには、階層5までデコード可能であると検出される。   In this case, the demultiplexer 203 extracts the layer information inserted in the layer of the container, recognizes “layer_level_idc” of each layer from the layer information, and detects to which layer the decoder 205 can decode. For example, in the hierarchical coding examples of FIGS. 3 and 5, “layer_level_idc [0]” = Level5, “layer_level_idc [1]” = Level5, “layer_level_idc [2]” = Level5.1, “layer_level_idc [3]” = Assume that Level 5.2, “layer_level_idc [4]” = Level 5.2, and “layer_level_idc [5]” = Level 5.2. In this case, when the decoder 205 has the capability of 60P, that is, “Level 5.1”, it is detected that decoding up to layer 2 is possible. Further, in this case, when the decoder 205 has the capability of 120P, that is, “Level 5.2”, it is detected that decoding up to layer 5 is possible.

圧縮データバッファ(cpb)204は、デマルチプレクサ203から送られてくる各階層のピクチャの符号化画像データを、一時的に蓄積する。デコーダ205は、圧縮データバッファ204に蓄積されている各ピクチャの符号化画像データを、それぞれ、そのピクチャのDTS(Decoding Time stamp)で与えられるデコードタイミングで読み出してデコードし、非圧縮データバッファ(dpb)206に送る。   The compressed data buffer (cpb) 204 temporarily stores the encoded image data of the pictures of each layer sent from the demultiplexer 203. The decoder 205 reads out and decodes the encoded image data of each picture stored in the compressed data buffer 204 at a decoding timing given by a DTS (Decoding Time stamp) of the picture, and decodes the uncompressed data buffer (dpb ) 206.

非圧縮データバッファ(dpb)206は、デコーダ205でデコードされた各ピクチャの画像データを、一時的に蓄積する。ポスト処理部207は、非圧縮データバッファ(dpb)206からPTS(Presentation Time stamp)で与えられる表示タイミングで順次読み出された各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせる処理を行う。   An uncompressed data buffer (dpb) 206 temporarily stores the image data of each picture decoded by the decoder 205. The post processing unit 207 adjusts the frame rate of the image data of each picture sequentially read at the display timing given by the PTS (Presentation Time stamp) from the uncompressed data buffer (dpb) 206 to the display capability. Process.

例えば、デコード後の各ピクチャの画像データのフレームレートが60fpsであって、表示能力が120fpsであるとき、ポスト処理部207は、デコード後の各ピクチャの画像データに対して時間方向解像度が2倍となるように補間処理を施し、120fpsの画像データとして表示部208に送る。   For example, when the frame rate of the image data of each picture after decoding is 60 fps and the display capability is 120 fps, the post processing unit 207 has a resolution in the time direction twice that of the image data of each picture after decoding. Interpolation processing is performed so that the image data is 120 fps and sent to the display unit 208.

表示部208は、例えば、LCD(Liquid Crystal Display)、有機EL(Organic Electro-Luminescence)パネル等で構成されている。なお、この表示部208は、受信装置200に接続される外部機器であってもよい。   The display unit 208 includes, for example, an LCD (Liquid Crystal Display), an organic EL (Organic Electro-Luminescence) panel, and the like. The display unit 208 may be an external device connected to the receiving device 200.

図17に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、デマルチプレクサ203に送られる。デマルチプレクサ203では、トランスポートストリームTSから、コンテナのレイヤに挿入されている階層情報に基づいて、デコーダ205の能力に応じた階層のピクチャの符号化画像データが選択的に取り出され、圧縮データバッファ(cpb)204に送られ、一時的に蓄積される。   The operation of the receiving apparatus 200 shown in FIG. 17 will be briefly described. The reception unit 202 receives the transport stream TS transmitted from the transmission device 100 on broadcast waves or net packets. This transport stream TS is sent to the demultiplexer 203. The demultiplexer 203 selectively extracts, from the transport stream TS, encoded image data of a picture of a hierarchy according to the capability of the decoder 205 based on the hierarchy information inserted in the container layer, and a compressed data buffer Sent to (cpb) 204 and temporarily stored.

デコーダ205では、圧縮データバッファ204に蓄積されている各階層のピクチャの符号化画像データが取り出される。そして、デコーダ205では、取り出された各ピクチャの符号化画像データが、それぞれ、そのピクチャのデコードタイミングでデコードされ、非圧縮データバッファ(dpb)206に送られ、一時的に蓄積される。   The decoder 205 extracts the encoded image data of the pictures of each layer stored in the compressed data buffer 204. Then, the decoder 205 decodes the extracted encoded image data of each picture at the decoding timing of the picture, sends it to the uncompressed data buffer (dpb) 206, and temporarily accumulates it.

そして、非圧縮データバッファ(dpb)206から表示タイミングで順次読み出された各ピクチャの画像データは、ポスト処理部207に送られる。ポスト処理部207では、各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせるための補間あるいはサブサンプルが行われる。このポスト処理部207で処理された各ピクチャの画像データは、表示部208に供給され、動画像の表示が行われる。   The image data of each picture sequentially read from the uncompressed data buffer (dpb) 206 at the display timing is sent to the post processing unit 207. In the post processing unit 207, interpolation or sub-sampling is performed on the image data of each picture so that the frame rate matches the display capability. The image data of each picture processed by the post processing unit 207 is supplied to the display unit 208, and a moving image is displayed.

以上説明したように、図1に示す送受信システム10において、送信装置100では、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化される。そのため、例えば、受信装置200では、低階層側および高階層側のピクチャの符号化画像データに対してデコード処理を行う際に、一括りのタイミングで進めることが可能となり、バッファサイズの減少とデコード遅延の減少が可能となる。   As described above, in the transmission / reception system 10 shown in FIG. 1, in the transmission apparatus 100, the hierarchical structure on the lower layer side and the higher layer side are equalized, and the corresponding pictures on the lower layer side and the higher layer side are combined into one set. And sequentially encoded. Therefore, for example, in the receiving apparatus 200, when decoding processing is performed on the encoded image data of the pictures on the lower layer side and the higher layer side, it is possible to proceed at a batch timing, thereby reducing the buffer size and decoding. Delay can be reduced.

また、図1に示す送受信システム10において、送信装置100では、階層符号化された各階層のピクチャの画像データを持つビデオストリームを含むトランスポートストリームを生成する際に、コンテナのレイヤに階層情報が挿入される。そのため、例えば、受信装置200では、この階層情報を参照することで、ビデオストリームからデコーダの能力に見合った階層までのピクチャの符号化画像データを選択的に取り出すことが容易に可能となる。   Further, in the transmission / reception system 10 shown in FIG. 1, when the transmission apparatus 100 generates a transport stream including a video stream having image data of each hierarchically encoded picture, hierarchical information is stored in the container layer. Inserted. Therefore, for example, the receiving device 200 can easily selectively extract the encoded image data of the picture from the video stream to the layer corresponding to the capability of the decoder by referring to the layer information.

また、図1に示す送受信システム10において、送信装置100では、階層情報は、例えば、ビデオストリームの各ピクチャの符号化画像データに同期した位置であるPESパケットのヘッダのPESエクステンションフィールド(PES extension field)に、少なくともCVS(Coded Video Sequence)単位で挿入される。そのため、受信側では、階層構成に変化がある場合にも、ビデオストリームからデコーダの能力に見合った階層までのピクチャの符号化画像データを選択的に取り出すことを適切に行うことが可能となる。   Also, in the transmission / reception system 10 shown in FIG. 1, in the transmission device 100, the hierarchical information is, for example, a PES extension field (PES extension field) in the header of a PES packet that is a position synchronized with the encoded image data of each picture of the video stream. ) At least in units of CVS (Coded Video Sequence). Therefore, on the receiving side, even when there is a change in the layer configuration, it is possible to appropriately extract encoded image data of pictures from the video stream to the layer corresponding to the capability of the decoder.

図18は、階層構成が変化する場合における符号化画像データの「level_idc」のシグナリングと階層情報との対応関係の一例を示している。この例は、階層0から2の3階層の符号化が行われている第1の50PCVS系から、階層0から3の4階層の符号化が行われている第2の50PCVS系に変化し、さらに、階層0から5の6階層の符号化が行われている100PCVS系に変化する。また、図示の例は、階層情報が、PMTの配下に挿入されている例を示しているが、上述したように、EITの配下、あるいはPESエクステンションフィールドに挿入される場合にあっても同様である。   FIG. 18 illustrates an example of the correspondence between “level_idc” signaling of encoded image data and layer information when the layer configuration changes. This example changes from the first 50 PCVS system in which the three-layer encoding of layers 0 to 2 is performed to the second 50 PCVS system in which the four-layer encoding of layers 0 to 3 is performed, Further, the system changes to a 100 PCVS system in which encoding of 6 layers from 0 to 5 is performed. The example shown in the figure shows an example in which the hierarchy information is inserted under the PMT. However, the same applies to the case where the hierarchy information is inserted under the EIT or in the PES extension field as described above. is there.

第1の50PCVS系の期間では、単一のビデオストリームで配信されている。符号化画像データのSPSに挿入される「general_level_idc」の値は、階層0から2の全てのピクチャを含むレベル値である“Level5.1”とされている。また、階層1のビットレートのレベル指定値である「sublayer_level_idc[1]」は“Level5”とされている。この場合、階層情報に関しては、「layer_level_idc[0]」=Level4.1、「layer_level_idc[1]」=Level5、「layer_level_idc[2]」=Level5.1」とされている。   In the period of the first 50 PCVS system, a single video stream is distributed. The value of “general_level_idc” inserted into the SPS of the encoded image data is “Level 5.1”, which is a level value including all the pictures in layers 0 to 2. In addition, “sublayer_level_idc [1]”, which is the level designation value of the bit rate of layer 1, is set to “Level5”. In this case, regarding layer information, “layer_level_idc [0]” = Level 4.1, “layer_level_idc [1]” = Level 5, and “layer_level_idc [2]” = Level 5.1 ”.

第2の50PCVS系の期間では、単一のビデオストリームで配信されている。符号化画像データのSPSに挿入される「general_level_idc」の値は、階層0から3の全てのピクチャを含むレベル値である“Level5.1”とされている。また、階層2のビットレートのレベル指定値である「sublayer_level_idc[2]」は“Level5”とされている。この場合、階層情報に関しては、「layer_level_idc[0]」=Level4、「layer_level_idc[1]」=Level4.1、「layer_level_idc[2]」=Level5」、「layer_level_idc[3]」=Level5.1」とされている。   In the second 50 PCVS system period, a single video stream is distributed. The value of “general_level_idc” inserted into the SPS of the encoded image data is “Level 5.1”, which is a level value including all the pictures in layers 0 to 3. In addition, “sublayer_level_idc [2]”, which is the level designation value of the bit rate of layer 2, is set to “Level 5”. In this case, regarding layer information, “layer_level_idc [0]” = Level4, “layer_level_idc [1]” = Level4.1, “layer_level_idc [2]” = Level5, “layer_level_idc [3]” = Level5.1 Has been.

100PCVS系の期間では、2つのビデオストリームで配信されている。符号化画像データのSPSに挿入される「general_level_idc」の値は、階層0から5の全てのピクチャを含むレベル値である“Level5.2”とされている。また、階層2のビットレートのレベル指定値である「sublayer_level_idc[2]」は“Level5.1”とされている。この場合、階層情報に関しては、「layer_level_idc[0]」=Level4.1、「layer_level_idc[1]」=Level5、「layer_level_idc[2]」=Level5.1」、「layer_level_idc[3]」=Level5.2」、「layer_level_idc[4]」=Level5.2」、「layer_level_idc[5]」=Level5.2」とされている。   In the 100 PCVS system period, two video streams are distributed. The value of “general_level_idc” inserted into the SPS of the encoded image data is “Level 5.2” that is a level value including all the pictures in the layers 0 to 5. In addition, “sublayer_level_idc [2]” that is a level specification value of the bit rate of layer 2 is set to “Level 5.1”. In this case, regarding layer information, “layer_level_idc [0]” = Level4.1, “layer_level_idc [1]” = Level5, “layer_level_idc [2]” = Level5.1 ”,“ layer_level_idc [3] ”= Level5.2 “Layer_level_idc [4]” = Level 5.2 ”and“ layer_level_idc [5] ”= Level 5.2”.

図示のように階層構成が変化していく場合、受信装置200のデコーダ205が、例えば50Pに対応するとき、デマルチプレクサ203では、階層情報に基づいて、第1の50PCVS系の期間では階層0から2が取り出され、第2の50PCVS系の期間では階層0から3が取り出され、100PCVS系の期間では階層0から2が取り出され、圧縮データバッファ204に送られる。そして、デコーダ205では、各ピクチャの符号化画像データがそれぞれのデコードタイミングでデコードされ、50Pの画像データが得られる。   When the hierarchical structure changes as shown in the figure, when the decoder 205 of the receiving apparatus 200 corresponds to, for example, 50P, the demultiplexer 203 starts from the hierarchical level 0 during the first 50 PCVS system period based on the hierarchical information. 2 is taken out, hierarchies 0 to 3 are taken out during the second 50 PCVS system period, and hierarchies 0 through 2 are taken out during the 100 PCVS system period, and sent to the compressed data buffer 204. Then, the decoder 205 decodes the encoded image data of each picture at the respective decode timings to obtain 50P image data.

<2.変形例>
なお、上述実施の形態においては、送信装置100と受信装置200からなる送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置200の部分が、例えば、HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「HDMI」は、登録商標である。
<2. Modification>
In the above-described embodiment, the transmission / reception system 10 including the transmission device 100 and the reception device 200 is shown, but the configuration of the transmission / reception system to which the present technology can be applied is not limited to this. For example, the receiving device 200 may have a configuration of a set top box and a monitor connected by a digital interface such as HDMI (High-Definition Multimedia Interface). “HDMI” is a registered trademark.

また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG−2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)、インターネット配信で使用されているMP4などの種々のフォーマットのコンテナが該当する。   Further, in the above-described embodiment, an example in which the container is a transport stream (MPEG-2 TS) is shown. However, the present technology can be similarly applied to a system configured to be distributed to receiving terminals using a network such as the Internet. In the Internet distribution, it is often distributed in a container of MP4 or other formats. In other words, containers of various formats such as transport stream (MPEG-2 TS) adopted in the digital broadcasting standard and MP4 used in Internet distribution correspond to the container.

また、本技術は、以下のような構成を取ることもできる。
(1)動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、
低階層側と高階層側の階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化する
送信装置。
(2)階層情報をコンテナのレイヤに挿入する階層情報挿入部をさらに備える
前記(1)に記載の送信装置。
(3)上記階層情報は、各階層のレベル指定値の情報を持つ
前記(2)記載の送信装置。
(4)上記階層情報挿入部は、
上記階層情報を、上記コンテナのレイヤの、上記ビデオストリームの各ピクチャの符号化画像データに同期した位置に挿入する
前記(2)または(3)に記載の送信装置。
(5)上記階層情報挿入部は、
上記階層情報を、PESパケットのエクステンションフィールドに挿入する
前記(4)に記載の送信装置。
(6)上記階層情報挿入部は、
上記階層情報をPESパケットのエクステンションフィールドに挿入することを、少なくともコーデッド・ビデオ・シーケンス単位で行う
前記(5)に記載の送信装置。
(7)プログラムマップテーブルの配下に、上記PESパケットのエクステンションフィールドに上記階層情報が挿入されているか否かを明示する情報を挿入する情報挿入部をさらに備える
前記(5)または(6)に記載の送信装置。
(8)上記階層情報挿入部は、
上記階層情報を、プログラムマップテーブルの配下に挿入する
前記(2)または(3)に記載の送信装置。
(9)上記階層情報挿入部は、
上記階層情報を、イベントインフォメーションテーブルの配下に挿入する
前記(2)または(3)に記載の送信装置。
(10)上記画像符号化部は、
上記各階層のピクチャの符号化画像データを持つ単一のビデオストリームを生成するか、あるいは上記複数の階層を上記上位階層側および上記下位階層側の2つの組に分割し、各階層組のピクチャの符号化画像データをそれぞれ持つ2つのビデオストリームを生成する
前記(1)から(9)のいずれかに記載の送信装置。
(11)動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオストリームを生成する画像符号化ステップと、
送信部により、上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、
低階層側と高階層側の階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化する
送信方法。
(12)動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記符号化では、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されており、
上記受信されたコンテナを処理する処理部をさらに備える
受信装置。
(13)コンテナのレイヤに階層情報が挿入されており、
上記処理部は、
上記階層情報に基づいて、上記ビデオストリームから所定階層以下の階層のピクチャの符号化画像データを選択的に取り出して復号化し、該所定階層以下の階層のピクチャの画像データを得る
前記(12)に記載の受信装置。
(14)受信部により、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部ステップを有し、
上記符号化では、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されており、
上記受信されたコンテナを処理する処理ステップをさらに有する
受信方法。
Moreover, this technique can also take the following structures.
(1) The image data of each picture constituting the moving image data is classified into a plurality of layers, the image data of the classified pictures of each layer is encoded, and the encoded image data of each layer of pictures An image encoding unit for generating a video stream having;
A transmission unit for transmitting a container of a predetermined format including the generated video stream;
The image encoding unit is
A transmission apparatus that equalizes a hierarchical structure on a low layer side and a high layer side and sequentially encodes corresponding pictures on a low layer side and a high layer side as one set.
(2) The transmission device according to (1), further including a hierarchy information insertion unit that inserts hierarchy information into a container layer.
(3) The transmission device according to (2), wherein the hierarchy information includes information on a level designation value of each hierarchy.
(4) The hierarchical information insertion unit
The transmission device according to (2) or (3), wherein the hierarchical information is inserted into a position of the container layer synchronized with encoded image data of each picture of the video stream.
(5) The hierarchical information insertion unit
The transmission apparatus according to (4), wherein the hierarchy information is inserted into an extension field of a PES packet.
(6) The hierarchical information insertion unit
The transmission apparatus according to (5), wherein the layer information is inserted into an extension field of a PES packet at least in units of coded video sequences.
(7) The system according to (5) or (6), further including an information insertion unit that inserts information specifying whether or not the hierarchy information is inserted into an extension field of the PES packet under the program map table. Transmitter.
(8) The hierarchy information insertion unit
The transmission device according to (2) or (3), wherein the hierarchy information is inserted under a program map table.
(9) The hierarchical information insertion unit
The transmission device according to (2) or (3), wherein the hierarchy information is inserted under an event information table.
(10) The image encoding unit
Generate a single video stream having the encoded image data of the pictures of each layer, or divide the plurality of layers into two sets of the upper layer side and the lower layer side, and The transmission device according to any one of (1) to (9), wherein two video streams each having the encoded image data are generated.
(11) The image data of each picture constituting the moving image data is classified into a plurality of layers, the image data of the classified pictures of each layer is encoded, and the encoded image data of each layer of pictures An image encoding step for generating a video stream having:
A transmission step of transmitting a container of a predetermined format including the generated video stream by the transmission unit;
In the image encoding step,
A transmission method in which a lower layer side and a higher layer side have the same hierarchical structure, and corresponding pictures on the lower layer side and the higher layer side are sequentially encoded as one set.
(12) A container of a predetermined format including a video stream having encoded image data of pictures of each layer obtained by classifying and encoding image data of each picture constituting moving image data into a plurality of layers A receiving unit for receiving
In the above coding, the lower layer side and the higher layer side have the same hierarchical structure, and the corresponding pictures on the lower layer side and the higher layer side are combined into one set and sequentially encoded.
A receiving device further comprising a processing unit for processing the received container.
(13) Hierarchy information is inserted in the container layer,
The processing unit
Based on the layer information, the encoded image data of a picture of a layer below a predetermined layer is selectively extracted from the video stream and decoded to obtain image data of a picture of a layer below the predetermined layer. (12) The receiving device described.
(14) The receiver includes a video stream having encoded image data of pictures of each layer obtained by classifying and encoding image data of each picture constituting moving image data into a plurality of layers. A receiving unit step for receiving a container in a predetermined format;
In the above coding, the lower layer side and the higher layer side have the same hierarchical structure, and the corresponding pictures on the lower layer side and the higher layer side are combined into one set and sequentially encoded.
A receiving method further comprising processing steps for processing the received container.

本技術の主な特徴は、低階層側と高階層側の階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化することで、受信側で低階層側および高階層側のピクチャの符号化画像データに対してデコード処理を行う際に、バッファサイズの減少およびデコード遅延の減少を可能としたことである(図3、図5参照)。また、本技術の主な特徴は、コンテナのレイヤに階層情報が挿入されることで、受信側でビデオストリームからデコーダの能力に見合った階層までのピクチャの符号化画像データを選択的に取り出すことを容易に可能としたことである(図7、図11〜図16参照)。   The main feature of this technology is that the lower layer side and the higher layer side have the same hierarchical structure, and the corresponding pictures on the lower layer side and the higher layer side are sequentially encoded as one set, so that the reception side has a low level. This is to reduce the buffer size and the decoding delay when performing the decoding process on the encoded image data of the pictures on the hierarchy side and the higher hierarchy side (see FIGS. 3 and 5). In addition, the main feature of this technique is that layer information is inserted into the container layer, so that on the receiving side, the encoded image data of the picture from the video stream to the layer that matches the capability of the decoder can be selectively extracted. Is easily made possible (see FIGS. 7 and 11 to 16).

10・・・送受信システム
100・・・送信装置
101・・・CPU
102・・・エンコーダ
103・・・圧縮データバッファ(cpb)
104・・・マルチプレクサ
105・・・送信部
200・・・受信装置
201・・・CPU
202・・・受信部
203・・・デマルチプレクサ
204・・・圧縮データバッファ(cpb)
205・・・デコーダ
206・・・非圧縮データバッファ(dpb)
207・・・ポスト処理部
208・・・表示部
DESCRIPTION OF SYMBOLS 10 ... Transmission / reception system 100 ... Transmission apparatus 101 ... CPU
102: Encoder 103: Compressed data buffer (cpb)
104: Multiplexer 105 ... Transmitting unit 200 ... Receiving device 201 ... CPU
202: receiving unit 203 ... demultiplexer 204 ... compressed data buffer (cpb)
205: Decoder 206: Uncompressed data buffer (dpb)
207 ... Post processing unit 208 ... Display unit

Claims (5)

動画像データを構成する各ピクチャの画像データを階層符号化し、低階層側のピクチャの符号化画像データを持つ第1のストリームと高階層側のピクチャの符号化画像データを持つ第2のストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記第1のストリームおよび上記第2のストリームを多重化して多重化ストリームを得ると共に、該多重化ストリームに、上記第1のストリームに対応させて該第1のストリームのレベル指定値が記述された第1のデスクリプタを挿入し、上記第2のストリームに対応させて上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値が記述された第2のデスクリプタを挿入する多重化部を備え、
上記符号化画像データはNALユニット構造を有し、上記画像符号化部は、上記第1のストリームのSPSのNALユニットに、上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値と共に上記第1のストリームのレベル指定値を挿入し、
上記多重化ストリームはトランスポートストリームであり、上記第1のデスクリプタおよび上記第2のデスクリプタは、プログラムマップテーブルに挿入され、
上記多重化部で得られた多重化ストリームを送信する送信部をさらに備える
送信装置。
The image data of each picture constituting the moving image data is hierarchically encoded, and the first stream having the encoded image data of the lower layer picture and the second stream having the encoded image data of the higher layer picture An image encoding unit to be generated;
The first stream and the second stream generated by the image encoding unit are multiplexed to obtain a multiplexed stream, and the multiplexed stream is associated with the first stream. A first descriptor describing the level designation value of the stream is inserted, and the level designation value of the bit stream combining the first stream and the second stream is described corresponding to the second stream. A multiplexing unit for inserting a second descriptor;
The encoded image data has a NAL unit structure, and the image encoding unit includes a bit stream level obtained by combining the first stream and the second stream with the SPS NAL unit of the first stream. Insert the first stream level specification value along with the specified value,
The multiplexed stream is a transport stream, and the first descriptor and the second descriptor are inserted into a program map table,
A transmission apparatus further comprising: a transmission unit that transmits the multiplexed stream obtained by the multiplexing unit.
上記第1のデスクリプタには上記第1のストリームに含まれるピクチャの階層の最大および最小の情報がさらに記述され、上記第2のデスクリプタには上記第2のストリームに含まれるピクチャの階層の最大および最小の情報がさらに記述される
請求項1に記載の送信装置。
The first descriptor further describes maximum and minimum information of a hierarchy of pictures included in the first stream, and the second descriptor includes maximum and minimum information of a hierarchy of pictures included in the second stream. The transmission apparatus according to claim 1, wherein the minimum information is further described.
画像符号化部が、動画像データを構成する各ピクチャの画像データを階層符号化し、低階層側のピクチャの符号化画像データを持つ第1のストリームと高階層側のピクチャの符号化画像データを持つ第2のストリームを生成する画像符号化ステップと、
多重化部が、上記画像符号化ステップで生成された上記第1のストリームおよび上記第2のストリームを多重化して多重化ストリームを得ると共に、該多重化ストリームに、上記第1のストリームに対応させて該第1のストリームのレベル指定値が記述された第1のデスクリプタを挿入し、上記第2のストリームに対応させて上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値が記述された第2のデスクリプタを挿入する多重化ステップを有し、
上記符号化画像データはNALユニット構造を有し、上記画像符号化ステップでは、上記第1のストリームのSPSのNALユニットに、上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値と共に上記第1のストリームのレベル指定値を挿入し、
上記多重化ストリームはトランスポートストリームであり、上記第1のデスクリプタおよび上記第2のデスクリプタは、プログラムマップテーブルに挿入され、
送信部が、上記多重化ステップで得られた多重化ストリームを送信する送信ステップをさらに有する
送信方法。
The image encoding unit hierarchically encodes the image data of each picture constituting the moving image data, and converts the first stream having the encoded image data of the lower layer picture and the encoded image data of the higher layer picture. An image encoding step for generating a second stream having:
A multiplexing unit multiplexes the first stream and the second stream generated in the image encoding step to obtain a multiplexed stream, and associates the multiplexed stream with the first stream. The first descriptor describing the level designation value of the first stream is inserted, and the bit stream level designation combining the first stream and the second stream in correspondence with the second stream A multiplexing step for inserting a second descriptor describing the value;
The encoded image data has a NAL unit structure, and in the image encoding step, the level of the bit stream in which the first stream and the second stream are combined with the SPS NAL unit of the first stream. Insert the first stream level specification value along with the specified value,
The multiplexed stream is a transport stream, and the first descriptor and the second descriptor are inserted into a program map table,
A transmission method, wherein the transmission unit further includes a transmission step of transmitting the multiplexed stream obtained in the multiplexing step.
動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、低階層側のピクチャの符号化画像データを持つ第1のストリームと高階層側のピクチャの符号化画像データを持つ第2のストリームを含むと共に、上記第1のストリームに対応して該第1のストリームのレベル指定値が記述された第1のデスクリプタを含み、上記第2のストリームに対応して上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値が記述された第2のデスクリプタを含む多重化ストリームを受信する受信部を備え、
上記符号化画像データはNALユニット構造を有し、上記第1のストリームのSPSのNALユニットに、上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値と共に上記第1のストリームのレベル指定値が挿入されており、
上記多重化ストリームはトランスポートストリームであり、上記第1のデスクリプタおよび上記第2のデスクリプタは、プログラムマップテーブルに挿入されており、
デコード能力に応じて、上記受信された多重化ストリームに含まれる上記第1のストリームに、あるいは上記第1のストリームおよび上記第2のストリームの双方にデコード処理を実行する処理部をさらに備える
受信装置。
A first stream having encoded image data of a picture on the lower layer side and encoded image data of a picture on the higher layer side, generated by hierarchically encoding the image data of each picture constituting the moving image data A first descriptor including a second stream, a level specification value of the first stream corresponding to the first stream, and the first stream corresponding to the second stream. A receiving unit for receiving a multiplexed stream including a second descriptor in which a level designation value of a bit stream combining the stream and the second stream is described;
The encoded image data has a NAL unit structure, and the first stream SPS NAL unit is combined with the first stream and the second stream together with the bit stream level designation value. Stream level specification value is inserted,
The multiplexed stream is a transport stream, and the first descriptor and the second descriptor are inserted in a program map table,
A receiving apparatus that further includes a processing unit that performs a decoding process on the first stream included in the received multiplexed stream or on both the first stream and the second stream according to a decoding capability .
受信部が、動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、低階層側のピクチャの符号化画像データを持つ第1のストリームと高階層側のピクチャの符号化画像データを持つ第2のストリームを含むと共に、上記第1のストリームに対応して該第1のストリームのレベル指定値が記述された第1のデスクリプタを含み、上記第2のストリームに対応して上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値が記述された第2のデスクリプタを含む多重化ストリームを受信する受信ステップを有し、
上記符号化画像データはNALユニット構造を有し、上記第1のストリームのSPSのNALユニットに、上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値と共に上記第1のストリームのレベル指定値が挿入されており、
上記多重化ストリームはトランスポートストリームであり、上記第1のデスクリプタおよび上記第2のデスクリプタは、プログラムマップテーブルに挿入されており、
処理部が、デコード能力に応じて、上記受信された多重化ストリームに含まれる上記第1のストリームに、あるいは上記第1のストリームおよび上記第2のストリームの双方にデコード処理を実行する処理ステップをさらに有する
受信方法。
The receiving unit encodes the first stream having the encoded image data of the lower layer picture and the higher layer side picture generated by hierarchically encoding the image data of each picture constituting the moving image data A second stream having image data, a first descriptor describing a level designation value of the first stream corresponding to the first stream, and a second stream corresponding to the second stream A receiving step of receiving a multiplexed stream including a second descriptor in which a level designation value of a bit stream combining the first stream and the second stream is described;
The encoded image data has a NAL unit structure, and the first stream SPS NAL unit is combined with the first stream and the second stream together with the bit stream level designation value. Stream level specification value is inserted,
The multiplexed stream is a transport stream, and the first descriptor and the second descriptor are inserted in a program map table,
A processing step in which a processing unit executes a decoding process on the first stream included in the received multiplexed stream or on both the first stream and the second stream according to a decoding capability. And a receiving method.
JP2016223017A 2016-11-16 2016-11-16 Transmitting apparatus, transmitting method, receiving apparatus, and receiving method Active JP6350638B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016223017A JP6350638B2 (en) 2016-11-16 2016-11-16 Transmitting apparatus, transmitting method, receiving apparatus, and receiving method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016223017A JP6350638B2 (en) 2016-11-16 2016-11-16 Transmitting apparatus, transmitting method, receiving apparatus, and receiving method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015152911A Division JP6052354B2 (en) 2015-07-31 2015-07-31 Transmitting apparatus, transmitting method, receiving apparatus, and receiving method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018108751A Division JP6614281B2 (en) 2018-06-06 2018-06-06 Receiving apparatus and receiving method

Publications (3)

Publication Number Publication Date
JP2017055438A true JP2017055438A (en) 2017-03-16
JP2017055438A5 JP2017055438A5 (en) 2017-04-20
JP6350638B2 JP6350638B2 (en) 2018-07-04

Family

ID=58317711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016223017A Active JP6350638B2 (en) 2016-11-16 2016-11-16 Transmitting apparatus, transmitting method, receiving apparatus, and receiving method

Country Status (1)

Country Link
JP (1) JP6350638B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013157826A1 (en) * 2012-04-16 2013-10-24 한국전자통신연구원 Image information decoding method, image decoding method, and device using same
WO2014002914A1 (en) * 2012-06-28 2014-01-03 ソニー株式会社 Transmission/reception device, method, and coding/decoding device
WO2014007550A1 (en) * 2012-07-03 2014-01-09 삼성전자 주식회사 Method and apparatus for coding video having temporal scalability, and method and apparatus for decoding video having temporal scalability

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013157826A1 (en) * 2012-04-16 2013-10-24 한국전자통신연구원 Image information decoding method, image decoding method, and device using same
WO2014002914A1 (en) * 2012-06-28 2014-01-03 ソニー株式会社 Transmission/reception device, method, and coding/decoding device
WO2014007550A1 (en) * 2012-07-03 2014-01-09 삼성전자 주식회사 Method and apparatus for coding video having temporal scalability, and method and apparatus for decoding video having temporal scalability

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS ET AL., HIGH EFFICIENCY VIDEO CODING (HEVC) TEXT SPECIFICATION DRAFT 9, [ONLINE], JPN6015039089, pages 31 - 32, ISSN: 0003664718 *
INFORMATION TECHNOLOGY --GENINFORMATION TECHNOLOGY --GENERIC CODING OF MOVING PICTURES AND ASSOCIATE, JPN6015007366, 24 May 2012 (2012-05-24), pages 5, ISSN: 0003664720 *
SAM NARASIMHAN ET AL., CONSIDERATION OF BUFFER MANAGEMENT ISSUES HEVC SCALABILITY, [ONLINE], JPN6015039088, ISSN: 0003664719 *
山本 智幸: "新しい画像符号化技術 1−7 HEVCプロファイル・レベルと拡張作業", 映像情報メディア学会誌, vol. 第67巻 第7号, JPN6017039988, 1 July 2013 (2013-07-01), pages 39 - 42, ISSN: 0003664717 *

Also Published As

Publication number Publication date
JP6350638B2 (en) 2018-07-04

Similar Documents

Publication Publication Date Title
US9819976B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
JPWO2015025747A1 (en) Encoding device, encoding method, transmitting device, decoding device, decoding method, and receiving device
US11758160B2 (en) Transmission device, transmission method, reception device, and reception method
JP7548285B2 (en) Transmission method and receiving device
JP5961317B2 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
JP5836424B2 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
JP2017069978A (en) Transmitter, transmission method, receiver and reception method
JP5976189B2 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
JP6614281B2 (en) Receiving apparatus and receiving method
JP6350638B2 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
JP5976188B2 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
JP6052354B2 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
JP5966075B2 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
JP2015204634A (en) Transmission device, transmission method, reception device, and reception method
BR112016020162B1 (en) DEVICES AND METHODS OF TRANSMISSION AND RECEPTION

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180521

R151 Written notification of patent or utility model registration

Ref document number: 6350638

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151