JP6643430B2 - 再生装置、再生方法、及びプログラム - Google Patents

再生装置、再生方法、及びプログラム Download PDF

Info

Publication number
JP6643430B2
JP6643430B2 JP2018159683A JP2018159683A JP6643430B2 JP 6643430 B2 JP6643430 B2 JP 6643430B2 JP 2018159683 A JP2018159683 A JP 2018159683A JP 2018159683 A JP2018159683 A JP 2018159683A JP 6643430 B2 JP6643430 B2 JP 6643430B2
Authority
JP
Japan
Prior art keywords
track
tile
box
data
tracks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018159683A
Other languages
English (en)
Other versions
JP2018182772A (ja
Inventor
ドゥヌアル フランク
ドゥヌアル フランク
マゼ フレデリック
マゼ フレデリック
ルフェーブル ジャン
ルフェーブル ジャン
コンコラト シリル
コンコラト シリル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2018182772A publication Critical patent/JP2018182772A/ja
Application granted granted Critical
Publication of JP6643430B2 publication Critical patent/JP6643430B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、一般的には、特に圧縮されたビデオストリームにおけるユーザー選択の関心領域のＨＴＴＰ（ハイパーテキスト転送プロトコル）ストリーミングに関するストリーム配信を向上させるために、例えばＭＰＥＧ標準化機構によって規定されるようなベースメディアファイルフォーマットにしたがってタイムドメディアデータ（ｔｉｍｅｄ ｍｅｄｉａ ｄａｔａ）をカプセル化する分野に関する。
ビデオ符号化は、ビデオ画像を伝送または保存することができるように、一連のビデオ画像をコンパクトなデジタル化されたビットストリームに変換する方法である。符号化装置は、表示および観視のためにビットストリームを復元することができる関連付けられた復号化装置とともに、ビデオ画像を符号化するために用いられる。一般的な目的は、オリジナルのビデオ情報より小さなサイズになるようにビットストリームを形成することである。これは、ビットストリームコードを伝送または保存するのに必要な、転送ネットワークまたはストレージ装置の容量を減少させる利点がある。伝送されるために、ビデオビットストリームは、一般的にはヘッダおよびチェックビットを付加する伝送プロトコルにしたがって一般的にはカプセル化される。
最近、動画像符号化専門家グループ（ＭＰＥＧ：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）は、ＨＴＴＰ（ハイパーテキスト転送プロトコル）上の既存のストリーミングソリューションを統一して後継とするための新たな規格を公開した。「動的適応型ＨＴＴＰストリーミング（ＤＡＳＨ：Ｄｙｎａｍｉｃ ａｄａｐｔｉｖｅ ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）」と呼ばれるこの新たな規格は、標準的ウェブサーバ上に基づくＨＴＴＰ上のメディアストリーミングモデルをサポートするように意図され、ここで、インテリジェンス（すなわち、ストリーミングするべきメディアデータの選択、並びにユーザー選択、ネットワーク条件、およびクライアント能力に対するビットストリームの動的な適応）は、クライアント選択および装置に排他的に依存する。
このモデルにおいて、メディアプレゼンテーションは、データセグメントにおいて、および提示されるべきタイムドメディアデータの編成を表現する「メディア表現記述（ＭＰＤ：Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）」と呼ばれるマニフェストにおいて体系化される。特に、マニフェストは、データセグメントのダウンロードのために用いるリソース識別子を備え、有効なメディアプレゼンテーションを取得するためにそれらのデータセグメントを選択して組み合わせるコンテキストを提供する。リソース識別子は、一般的には、バイトレンジに組み合わされるであろうＨＴＴＰ−ＵＲＬ（ユニフォームリソースロケータ：Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）である。マニフェストに基づいて、クライアント装置は、そのニーズ、その能力（例えば、サポートされるコーデック、表示サイズ、フレームレート、品質レベルなど）にしたがって、およびネットワーク条件（例えば、利用可能な帯域幅）に応じて、メディアデータサーバからどのメディアセグメントがダウンロードされるべきなのかを常に決定する。
さらに、ビデオ解像度は、標準解像度（ＳＤ）から高解像度（ＨＤ）に、さらには超高解像度（例えば、４Ｋ２Ｋまたは８Ｋ４Ｋ）、すなわち、４，０９６×２，４００画素または７，６８０×４，３２０画素の画像を備えるビデオにまで移行し、常に増大している。しかしながら、特にビデオが超高解像度である場合、すべての受信装置およびビデオ復号化装置が、最大解像度のビデオにアクセスするためのリソース（例えば、ネットワークアクセス帯域幅またはＣＰＵ（中央処理装置：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））を所有しているとは限らないし、すべてのユーザーが、このようなビデオにアクセスする必要があるとは限らない。このような状況において、いくつかの関心領域（ＲＯＩ：Ｒｅｇｉｏｎｓ−ｏｆ−Ｉｎｔｅｒｅｓｔ）のみにアクセスするための、すなわち全体のビデオシーケンスのいくつかの空間的サブパートのみにアクセスするための能力を提供することは、特に有利である。
ビデオに属するフレームの空間的サブパートにアクセスするための既知のメカニズムは、概してタイルと称される、独立して復号することができる空間領域の配置として、ビデオの各フレームを編成することにある。ＳＶＣ（スケーラブルビデオ符号化：Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）またはＨＥＶＣ（高効率動画像符号化方式：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などのいくつかのビデオフォーマットは、タイル解像度のためのサポートを提供する。ユーザー定義のＲＯＩは、１またはいくつかの連続するタイルをカバーしてもよい。
したがって、ＨＴＴＰプロトコルにしたがってユーザー選択のＲＯＩをストリーミングするために、１つ以上のタイルに対する空間的アクセスを可能にするとともにアクセスされるタイルの組み合わせを可能にするように、符号化ビデオビットストリームのタイムドメディアデータのカプセル化を提供することは重要である。
符号化ビデオビットストリームが、一般的には、完全なフレームに対応する１セットの連続する時間的サンプルとして構成され、時間的サンプルは、復号順序の関数として編成されるべきであるということを想起するべきである。ファイルフォーマットは、このような符号化ビットストリームをカプセル化し記述するために用いられる。
説明のためには、国際規格機構のベースメディアファイルフォーマット（ＩＳＯ ＢＭＦＦ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ Ｏｒｇａｎｉｚａｔｉｏｎ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）は、ネットワークまたは別のビットストリーム配信機構を介したローカルストレージまたは伝送のいずれかのために符号化されたタイムドメディアデータビットストリームを記載する、既知の柔軟で且つ拡張可能なフォーマットである。このファイルフォーマットは、オブジェクト指向である。それは、シーケンシャルにまたは階層的に編成され、且つ符号化されたタイムドメディアデータビットストリームのタイミングパラメータおよび構造パラメータなどのパラメータを規定する、ボックスと呼ばれるビルディングブロックから構成される。 このファイルフォーマットによれば、タイムドメディアデータビットストリームは、トラックボックス（ｔｒａｃｋ ｂｏｘ）と称される別のデータ構造において規定されるｍｄａｔボックス（ｍｄａｔ ｂｏｘ）と称されるデータ構造内に含まれる。トラックは、各サンプルが単一のタイムスタンプに関連付けられたすべてのデータ（すなわち、単一のフレームに関連付けられたすべてのデータまたは同じタイムスタンプを共有するいくつかのフレームに関連付けられたすべてのデータ）に対応する、サンプルのタイムドシーケンスを表現する。
ＳＶＣフォーマットのビデオの様なスケーラブルビデオのために、層状のメディアデータ構成は、複数の従属トラックを用いることによって効率的に表現することができ、各トラックは、特定のレベルのスケーラビリティでビデオを表現する。トラック間のデータ重複を回避するために、抽出器を用いることができる。標準的ファイルフォーマットによれば、抽出器は、他のビットストリームからのネットワーク抽象化層（ＮＡＬ）ユニットの効率的な抽出を可能にする、ビットストリームに直接的に含まれるデータ構造である。例えば、エンハンスメントレイヤトラックのビットストリームは、ベースレイヤトラックからのＮＡＬユニットを参照する抽出器を備えてもよい。その後、このようなエンハンスメントレイヤトラックがファイルフォーマットから抽出される場合、抽出器が参照しているデータと抽出器を置換しなければならない。
サブ情報を記述し、且つこのサブ情報に対するアクセスを容易にするために、またはビットストリームを複数セグメントに効率的に編成するために、これらのメカニズムを埋め込むＩＳＯ ＢＭＦＦを用いる際に、いくつかのストラテジーを採用することができる。
例えば、「Ｈ．２６４／ＳＶＣの適応型ＨＴＴＰストリーミング上のＩＳＯのベースメディアファイルフォーマットの関連事項（Ｉｍｐｌｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ ｏｎ Ａｄａｐｔｉｖｅ ＨＴＴＰ Ｓｔｒｅａｍｉｎｇ ｏｆ Ｈ．２６４／ＳＶＣ）」という題の記事において、著者のコフラー（Ｋｏｆｌｅｒ）らは、ＩＳＯ ＢＭＦＦの制限だけでなく実現性を考慮したＨＴＴＰストリーミングためのスケーラブルビデオビットストリーム（Ｈ２６４／ＳＶＣ）を編成するための以下の３つの個別の方針を提示する。
ａ）ファイルタイプボックス「ｆｔｙｐ」と、ＩＳＯ ＢＭＦＦメタデータ（トラック定義を含む）をすべて含むムービーボックス「ｍｏｏｖ」とを備える特定のファイルヘッダを含む単一のファイルであって、単一のファイルは、また、全体の符号化ビットストリームを含む単一のｍｄａｔボックスを備える。この構成は、ローカルストレージに適しているが、クライアントが全体のビットストリームの一部のみを必要とするであろうＨＴＴＰストリーミングには適していない。
ｂ）断片化に適している複数のｍｏｏｆ／ｍｄａｔボックスを含む単一のファイル。このフォーマットは、プログレシブなダウンロードを可能にする。ｍｏｏｆボックスは、断片レベルにおいてｍｏｏｖボックスと同等である。断片化されたメディアファイルを用いる、このスキームによれば、スケーラブルビットストリームは、個別のスケーラビリティレベルにおいてビデオを表現する複数の従属トラックに分割される。抽出器は、他のトラックからＮＡＬユニットを参照するために用いられる。１タイル当たり１トラックが用いられる場合、すべてのアドレス指定可能なトラックが予め準備されなければならず、トラックは、独立して選択されることができない。いくつかのタイルが表示される場合、いくつかのビットストリームが復号されなければならず、ベースレイヤは数回復号される。
ｃ）各ファイルが、それ自身のＵＲＬによってアクセス可能であり、且つ独立してダウンロード可能である、複数セグメントファイル。各セグメントは、普通は、ある種のファイルヘッダとして機能するセグメントタイプボックス（ｓｔｙｐ）と、オプションのセグメントインデックスボックス（ｓｉｄｘ）と、１または複数の断片とから構成される。なおまた、各断片は、ｍｏｏｆおよびｍｄａｔボックスから構成される。断片化されたメディアファイルを用いる、このスキームによれば、各トラックは、１レベルのスケーラビリティに関する関連付けられたビットストリームと共にそれ自身のセグメント内に格納される。必要ならば、抽出器は、従属トラックから必要なビットストリームを参照するために用いられる。このような符号化方式は、トラックを独立的にストリーミングするのに特に適している。それは、ＤＡＳＨ規格に十分に適合しているが、いくつかのビットストリームが復号されねばならないので、タイルストリーミングには適していない。したがって、１トラック当たり１つの復号器が必要である。さらに、１つ以上のタイルを選択する場合、ベースレイヤのビットストリームの潜在的な重複がある。
空間的タイルに適用されたとき、これらのストラテジーのどれも、ＨＴＴＰストリーミングとの関連において特定のタイルに対する効率的なアクセスを可能にしない。実際、既存のファイルフォーマットの定義により、符号化ビットストリーム内のいくつかの不継続のバイトレンジにアクセスすることが、さらに必要になり得るし、または、それは所定の時間間隔に対応するいくつかのフレームの空間的タイルを表示するためにビットストリームの重複をもたらし得る。
これらの問題を解決するために、クライアントアプリケーションによってどんなトラックの組み合わせが選択されても、ＩＳＯ ＢＭＦＦ構文解析の結果がビデオ復号器に対する有効なビデオエレメンタリービットストリームに常に結びつく、ということを保証する、空間的タイルに適した効率的なデータ構成およびトラック記述スキームが提供される。
これらの制約に直面して、発明者達は、サーバ内のパーティション化されたタイムドメディアデータをカプセル化するための、およびメディアファイル内のカプセル化されたパーティション化されたタイムドメディアデータからタイムドメディアデータビットストリームを提供するための、方法および装置を提供する。
本発明は、上記のような従来技術の短所を改善することを概略的な目的とする。
本発明のさらなる効果は、図面および詳細な説明の検討をすれば当業者にとって明らであろう。あらゆる付加的な効果も、また、本明細書に組み込まれるように意図される。
本発明の実施形態は、ここで、以下の図面を参照しながら、単なる例として記載されることになる。
図１ａおよび図１ｂよりなる図１は、符号化ビデオビットストリーム内の符号化タイルの例を図示する。 図１ａおよび図１ｂよりなる図１は、符号化ビデオビットストリーム内の符号化タイルの例を図示する。 ユーザーによって選択された表示されるべきタイルの時間的パイプを図示する。 特定の実施形態による、スケーラブルメディアデータトラックを用いたイニシャライゼーションセグメントファイルのブロック図の一例を図示する。 図３において示されたものなどのイニシャライゼーションセグメントファイルにおいて宣言されるトラックに対応する、特定の実施形態による、タイルトラックと１つの複合トラックとを備えるメディアセグメントファイルのブロック図の一例を図示する。 所定の時間期間の連続するビデオフレームの空間部を表現する有効な復号可能なタイムドメディアデータビットストリームを構築するためにダウンロードされたメディアデータセグメントを連結する例を図示する。 図６ａおよび図６ｂからなる図６は、特定の実施形態による、サーバとクライアント装置間でタイムドメディアデータを伝送するためのステップを図示するフローチャートである。 図６ａおよび図６ｂからなる図６は、特定の実施形態による、サーバとクライアント装置間でタイムドメディアデータを伝送するためのステップを図示するフローチャートである。 は、クライアント装置によって受信された連結メディアセグメントから有効なタイムドメディアデータビットストリームの生成を図示するフローチャートである。 １つ以上の実施形態のステップを実施することができるサーバまたはクライアント装置のブロック図を表現する。 図９ａ、図９ｂ、および図９ｃからなる図９は、ＨＥＶＣビットストリーム内のタイルおよびスライスセグメントの例を図示する。 図９ａ、図９ｂ、および図９ｃからなる図９は、ＨＥＶＣビットストリーム内のタイルおよびスライスセグメントの例を図示する。 図９ａ、図９ｂ、および図９ｃからなる図９は、ＨＥＶＣビットストリーム内のタイルおよびスライスセグメントの例を図示する。 は、本発明の実施形態による、複合トラックと独立したタイルトラックとを備える１セットのトラックとしてＨＥＶＣビットストリームをカプセル化する例を図示する。 ＨＥＶＣビットストリームをカプセル化するための、第１の実施形態による、メディアデータトラックを用いたイニシャライゼーションセグメントファイルのブロック図の一例を図示する。 図１２ａおよび図１２ｂからなる図１２は、様々なタイリング構成を取り扱うのに適した、サブサンプルレベルにおける、全ビデオ内のタイルの位置と、タイルのサイズと、アーティファクトを伴わずにタイルトラックを復号することができるという指標との信号化を図示する。 図１２ａおよび図１２ｂからなる図１２は、様々なタイリング構成を取り扱うのに適した、サブサンプルレベルにおける、全ビデオ内のタイルの位置と、タイルのサイズと、アーティファクトを伴わずにタイルトラックを復号することができるという指標との信号化を図示する。 本発明の実施形態による、標準的ビデオトラックとして再生可能な複合トラックおよび独立したタイルトラックを備える１セットのトラックとしてＨＥＶＣビットストリームをカプセル化する一例を図示する。 は、本発明の別の実施形態による、標準的ビデオトラックとして再生可能な複合トラック、イニシャライゼーションデータトラックおよび独立したタイルトラックを備える１セットのトラックとしてＨＥＶＣビットストリームをカプセル化する一例を図示する。 タイルを記述するためのサブトラック機能（すなわちｓｕｂ＿ｔｒａｃｋボックス）を用いた例を図示する。 サブトラックを伴うタイルのカプセル化を図示するフローチャートである。 ビデオの複数のタイルをカバーする関心領域の一例を図示する。 符号化の依存関係ための総括的な信号伝達を用いたＨＥＶＣビットストリームをカプセル化する一例を図示する。 図１９ａおよび図１９ｂを備える図１９は、符号化の依存関係のために総括的な信号伝達を用いてカプセル化されたトラックのトラックヘッダおよびトラック参照の一例を図示する。 図１９ａおよび図１９ｂを備える図１９は、符号化の依存関係のために総括的な信号伝達を用いてカプセル化されたトラックのトラックヘッダおよびトラック参照の一例を図示する。 符号化の依存関係のための総括的な信号伝達を用いてカプセル化されたｍｐ４ファイルまたはセグメントを解釈するためにクライアント装置によって実行されたプロセスを図示するフローチャートである。 図２１ａおよび図２１ｂよりなる図２１は、従来技術および本発明の実施形態による依存関係を図示するグラフをそれぞれ表現する。 図２１ａおよび図２１ｂよりなる図２１は、従来技術および本発明の実施形態による依存関係を図示するグラフをそれぞれ表現する。
特定の実施形態によれば、タイムドサンプル（例えば画像）を備えるタイル化タイムドメディアデータ（例えばビデオデータ）などのパーティション化されたタイムドメディアデータは、１セットのいくつかのタイムドメディアデータトラック、普通はベースレイヤトラックおよびいくつかのタイルトラック、およびタイムドメディアデータトラックに対する参照を備える参照または複合トラックとして送信される。各タイルトラックは、いくつかのタイムドサンプルの１つの空間的サブサンプル（例えば、いくつかのＮＡＬユニット）を備える。拡張された抽出器のタイプは、複合トラックからタイムドメディアデータトラックを参照するために規定される。タイムドメディアデータトラックは、表示することができないものとしてラベルづけされ、タイルに対してタイムドメディアデータを伝達し記述する。このようなタイムドメディアデータトラックのセットおよび複合トラックは、空間的ビデオタイルの選択、構成、および効率的なストリーミングを可能にする。各トラックは、サーバ装置からクライアント装置に対して１セットのメディアセグメントファイルとして送信することができる。イニシャライゼーションセグメントファイルは、メディアセグメントファイルを復号するのに必要なメタデータを送信するために用いられる。
図１ａおよび図１ｂよりなる図１は、符号化ビデオビットストリーム内の符号化タイルの例を図示する。説明のために、ビデオフレームの空間的サブパート（空間的サブサンプル）に対応する独立的に復号可能なタイルから各ビデオフレーム（タイムドサンプル）が構成されると、以下の記述においては見なされる。ビデオは、異なるレベルのスケーラビリティにおいてスケーラブルで系統的であることが望ましい。図１ａに図示されるように、ビデオフレーム１００は、ＨＤベースレイヤ（１０２）および４Ｋ２Ｋエンハンスメントレイヤ（１０４）を備えてもよい。さらに、説明のために、エンハンスメントレイヤ１０４は、符号ａ、ｂ、ｃおよびｄで示された４つの通常のタイルに分割されることができる。異なる形状のタイルが扱われてもよい、ということに留意するべきである。同様に、ベースレイヤ１０２は、いくつかのタイルに分割されることができる。このようなケースにおいて、いくつかの複合トラックは、例えば、ベースレイヤに対して１つ、およびエンハンスメントレイヤまたはエンハンスメントレイヤの各々に対して１つ、用いることができる。
また、本発明はスケーラブルビデオフォーマットに限定されない、ということに留意するべきである。それは、すべてのビデオフォーマットが独立的に復号されることを可能にするタイルに対して適用することができる。したがって、ＭＰＥＧ４、ＡＶＣ、ＨＥＶＣ、ＳＶＣ、または未来のＳＨＶＣのような、任意のビデオ圧縮アルゴリズムも、また、本発明の実施形態とともに用いられることができる。
図１ｂは、復号順序における典型的な符号化ビデオビットストリームを表現する。図示されるように、符号化ビデオビットストリームは、ここで、時間的順序で符号化された３つのビデオフレーム（１１０、１１２、および１１４）を備える。各ビデオフレームは、エンハンスメントレイヤのＮＡＬユニットが後続するベースレイヤ（ＢＬ）のネットワーク抽象化層（ＮＡＬ）ユニットをすべて備える。例えば、第１のビデオフレーム（１１０）のベースレイヤ（１０２−１）のＮＡＬユニット（１ＢＬ、１１６）には、第１のビデオフレームのエンハンスメントレイヤ（１０４−１）のＮＡＬユニット（１ｃｏｍｍｏｎ、１ａ、１ｂ、１ｃ、１ｄ、１１８）が後続する。
空間的タイルをもつエンハンスメントレイヤに対応するビデオビットストリームの一部分は、各タイルのＮＡＬユニットから構成される。オプションとして、それは、また、すべてのタイルに共通で、且つ任意のタイルを復号するのに必要な、ＮＡＬユニットを含んでもよい。所定のフレームのすべてのタイルに共通のＮＡＬユニットは、ビデオビットストリームの対応する部分におけるいかなる場所（すなわち、ビデオフレームのタイルのＮＡＬユニットの前、間、または後）にも設置されることができる。
図示されるように、空間的タイルａ、ｂ、ｃ、およびｄを備える第１のビデオフレーム（１１０）のエンハンスメントレイヤに対応するビデオビットストリームの部分は、各タイル（１ａ、１ｂ、１ｃ、および１ｄ）のためのＮＡＬユニットと、すべてのタイルａ、ｂ、ｃ、およびｄに共通のＮＡＬユニット（１ｃｏｍｍｏｎ）とから構成される。
図２は、ユーザーによって選択された表示されるべきタイルの時間的パイプを図示する。より正確には、図２は、第１のビデオフレームｎおよび第２のビデオフレームｎ＋ｍ（ここで、ｎおよびｍは整数値である）を表現しており、第１および第２のビデオフレームの各々は、１〜１２と番号付けられた１２個のタイルを備える。これら１２個のタイルの中で、第３および第７のもののみが表示されるべきである（太線によって示されるように）。ビデオフレームｎおよびｎ＋ｍは、所定の時間期間に対応する一連の連続するフレームに属する。そのため、フレームｎからフレームｎ＋ｍまでの各フレームの第３および第７のタイルは、連続的に表示される。
図１に図示されるように、ビデオビットストリームのデータは、全フレームに対応する時間的サンプルとして構成される。したがって、これらのフレームの特定の空間領域が図２を参照して上記したように所定の期間の間にアクセスされる場合に、各々のフレーム毎にいくつかの小さなバイトレンジにアクセスすることが必要である。これは、生成されたリクエストの数の点から、およびデータのオーバヘッドの点から、ＨＴＴＰストリーミングにおいて非効率的である。
そのため、ＲＯＩストリーミングのための圧縮されたビデオにおける効率的なアクセスを提供するために、タイムドメディアデータビットストリームは、特定のタイルのデータが所定の期間に（パイプを形成する）連続したバイトレンジ（すなわち、連続するフレームのセット）として構成されるように、インデックス付けられるか、または再構成されるべきである。
したがって、ビデオフレームの空間的サブパートのみが表示される場合、選択された空間領域に対応するタイルのパイプのみが、１パイプおよび１期間当たり１つのＨＴＴＰ要求を用いてダウンロードされなければならない（例えば図２のタイル３および７）。
図３は、特定の実施形態による、メディアデータトラックを用いたイニシャライゼーションセグメントファイルのブロック図の一例を図示する。
図３に図示されたイニシャライゼーションセグメントファイル、および図４に図示されたメディアセグメントファイルは、いくつかのトラックが独立的にストリーミングされる一方で、ＩＳＯのベースメディアファイルフォーマットでビデオビットストリームを再構成しカプセル化する本発明の実施形態を図示する。説明のために、図３および図４の内容は、図１に図示されたビデオビットストリームに基づく。
いくつかのトラックが独立的にストリーミングされる一方で、ＩＳＯ ＢＭＦＦにおいてビデオビットストリームを再構成しカプセル化するために、タイルトラックと呼ばれる新たなタイプのトラックが規定される。タイルトラックは、定義によれば、サンプルが単一のタイムスタンプに関連付けられたデータをすべて表現するところの関連付けられたサンプルのタイムドシーケンスによる、トラックである。サンプルが普通は個々のビデオフレームである既知のビデオメディアトラック対し、タイルトラックのサンプルは、全ビデオフレームの空間的に規定されたサブパートを規定する。したがって、タイルトラックは、所定のタイルに関連するＮＡＬユニットのみを含む。このように、独立したセグメントファイル内に各トラックを保存することによって、連続したバイトレンジをもつタイルのパイプを作成することが可能である。
しかしながら、一つのタイルトラックが復号されて再生されるのに必要なＮＡＬユニットおよび情報をすべて含んでいないので、「複合トラック」と呼ばれる付加トラックが用いられる。特定の実施形態によれば、複合トラックは、完全なタイル化フレーム（すなわち、すべてのタイルの構成）を表現するメディアトラックである。複合トラックは、（復号順序のフレーム毎に）図１を参照して記載したるような、その典型的な構成において符号化されたタイムドメディアデータビットストリームの表現である。複合トラックは、それぞれのタイルトラック内のＮＡＬユニットを参照するために抽出器オブジェクトを用いる。さらに、それは、このようなＮＡＬユニットが存在するならば、すべてのタイルに共通のＮＡＬユニットを含んでもよい。
特定の実施形態によれば、イニシャライゼーションセグメントファイルは、他のメディアセグメントファイル内のカプセル化されたタイムドメディアデータビットストリームを規定するのに必要なメタデータをすべて送信するために用いられる。図３に示されるように、イニシャライゼーションセグメントファイル３００は、ファイルタイプボックス「ｆｔｙｐ」３０２と、ムービーボックス「ｍｏｏｖ」３０４とを含む。ファイルタイプボックス３０２は、セグメントファイルがどのＩＳＯ ＢＭＦ規格に準拠するのかを識別し、その規格のバージョン番号を示すことが好ましい。ムービーボックス「ｍｏｏｖ」３０４は、メディアセグメントファイル内に保存されたプレゼンテーションを記述するすべてのメタデータと、特にプレゼンテーションにおいて利用可能なすべてのトラックとを提供する。
ムービーボックス「ｍｏｏｖ」３０４は、図１の具体例として提供されたスケーラブルビデオビットストリームに対応するトラックの各々（「トラック」ボックス３０６−１〜３０６−６）に対する定義を含む。
トラックボックス３０６−１は、ベースレイヤを表現し（ｔｒａｃｋ＿ＩＤ＝１）、４つのトラックボックス３０６−２〜３０６−５（トラックボックス３０６−３および３０６−４は図示せず）は、エンハンスメントレイヤの４つのタイルａ、ｂ、ｃ、およびｄを表現し（ｔｒａｃｋ＿ＩＤ＝２〜５）、トラックボックス３０６−６は、エンハンスメントレイヤを記述する複合トラックを表現する（ｔｒａｃｋ＿ＩＤ＝６）。
各トラックボックスは、少なくとも、トラックヘッダボックス「ｔｋｈｄ」総称して３０８と、トラックメディアボックス「ｍｄｉａ」総称して３１０を含む。トラックが他のトラックからのデータに依存するならば、トラック参照ボックス「ｔｒｅｆ」もある。図示されるように、識別子ｔｒａｃｋ＿ＩＤ＝６を有する複合トラックは、識別子ｔｒａｃｋ＿ＩＤ＝１〜６を有するトラックからのデータにトラックが依存するということを示す、トラック参照ボックス「ｔｒｅｆ」３１２を備える。
他のボックスがタイムドメディアデータビットストリームをカプセル化するために用いられるＩＳＯ ＢＭＦＦ規格に必須または任意に依存することができるということに留意するべきである。しかしながら、本発明の実施形態は、適用可能にするためにこれらのボックスに依存しないので、ここでは提示されない。
トラックヘッダボックス「ｔｋｈｄ」３０８は、トラックの特性を指定する。情報のいくつかのアイテムの中で、それは、トラックの識別子（ｔｒａｃｋ＿ＩＤ）、トラックの期間、および／またはトラックのビジュアルプレゼンテーションサイズ（すなわち、表示エリアの幅および高さ）を提供する。それは、また、トラックが再生可能か否かを示すフラグパラメータを備える。
ある実施形態によれば、タイルトラックのためのトラックヘッダフラグのデフォルト値は、タイルトラックがクライアント装置による局所的な再生およびプレビューに対して無視されるということを意味する、０（ｔｒａｃｋ＿ｅｎａｂｌｅｄ＝ ０、ｔｒａｃｋ＿ｉｎ＿ｍｏｖｉｅ＝０、ｔｒａｃｋ＿ｉｎ＿ｐｒｅｖｉｅｗ＝０）である。別の実施形態において、トラックがタイルトラックであるということをシグナリングするために、新たなトラックヘッダフラグを作成することができる。
トラックメディアボックス「ｍｄｉａ」３１０は、トラック内のタイムドメディアデータのパラメータを宣言するために用いられるオブジェクトをすべて収納するコンテナとして認識することができる。それは、少なくとも、メディアヘッダボックス「ｍｄｈｄ」総称して３１４と、ハンドラ参照ボックス「ｈｄｌｒ」総称して３１６と、メディア情報ボックス「ｍｉｎｆ」総称して３１８とを収納する。
ハンドラ参照ボックス「ｈｄｌｒ」３１６は、プロセスを宣言し、そのプロセスによってトラックのタイムドメディアデータと、ひいてはトラックにおけるタイムドメディアデータの性質とが提示される。例えば、ビデオトラックは、（「ｖｉｄｅ」に等しいハンドラ型属性により指示される）ビデオハンドラによって扱われるだろう。ビデオサンプルは、ＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ（）タイプのオブジェクトの使用によって記述されることができる。特定の実施形態によれば、（「ｔｉｌｅ」に等しいハンドラ型属性により指示された）タイルハンドラと呼ばれる新たなハンドラタイプは、トラックが空間的サブサンプル情報を含むことを示すために規定される。符号化フォーマットによっては、ＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ（）タイプのオブジェクトがタイルトラック内のサンプルを記述することができなければ、サンプルを記述するＴｉｌｅＳａｍｐｌｅＥｎｔｒｙ（）タイプの特定の目的を規定することが可能である。
メディア情報ボックス「ｍｉｎｆ」３１８は、トラック内のタイムドメディアデータの特性情報を規定するオブジェクトをすべて含む。例えば、ベースレイヤに対して、および複合トラックにおいて規定されたエンハンスメントレイヤに対して、「ｍｉｎｆ」ボックスは、標準的ビデオメディアヘッダボックス「ｖｍｈｄ」（３２０）を収納してもよい。
タイルトラックに関しては、新たなタイルハンドラに対応する、タイルメディアヘッダボックス（ｔｍｈｄ、３２２）とよばれる特定のボックスは、タイルに対して、符号化に依存しないで、一般的なプレゼンテーション情報を規定するために用いられる。特に、それは、複合ビデオトラックによって表現されるビデオ解像度に関連するタイルによってカバーされる空間領域の幾可学的形状情報を収納してもよく、以下のように定義することができる。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＴｉｌｅＭｅｄｉａＨｅａｄｅｒＢｏｘ
ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ（‘ｔｍｈｄ’， ｖｅｒｓｉｏｎ ＝ ０， ０） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｈｏｒｉｚｏｎｔａｌ＿ｏｆｆｓｅｔ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｖｅｒｔｉｃａｌ＿ｏｆｆｓｅｔ；
｝
先に記述されたように、複合トラックは、プレゼンテーションにおいて別のトラックに対してタイプされた参照を提供する特定のトラック参照ボックス「ｔｒｅｆ」３１２を備える。特定の実施形態によれば、このようなタイプ付きの参照は、複合トラックからそれが参照するタイルトラックまでのリンクを確立するために用いることができる「ｔｉｌｅ」参照（３２４）と、この参照を含むトラックからそれが依存するタイムドメディアデータトラックまでのリンクを確立するために用いることができる「ｓｃａｌ」参照（３２６）（例えばベースレイヤトラック（ｔｒａｃｋ＿ＩＤ＝１））とを備えてもよい。
図４は、図３において示されたものの様なイニシャライゼーションセグメントファイルにおいて宣言されたるトラックに対応する、特定の実施形態による、タイルトラックと１つの複合トラックとを備えるメディアセグメントファイルのブロック図の一例を図示する。先に記載したように、図３に示されたイニシャライゼーションセグメントファイル、および図４に示されたメディアセグメントファイルは、いくつかのトラックが独立的にストリーミングされる間に、ＩＳＯのベースメディアファイルフォーマットでビデオビットストリームを再構成しカプセル化する本発明の実施形態を示す。
図４に図示されるように、ＤＡＳＨ規格において規定されるように、各々のメディアセグメントファイル４００−１〜４００−６（メディアセグメントファイル４００−３〜４００−５は、図示されず）は、セグメントタイプボックス「ｓｔｙｐ」総称して４０２と、少なくとも１つのムービー断片ボックス「ｍｏｏｆ」総称して４０４と、少なくとも１つのメディアデータボックス「ｍｄａｔ」総称して４０６と備える。メディアセグメントファイルは、ＨＴＴＰ−ＵＲＬに関連づけられる。
他のボックスがタイムドメディアデータビットストリームをカプセル化するために用いられるＩＳＯ ＢＭＦＦ規格に必須または任意に依存しても良いということに留意するべきである。しかしながら、本発明の実施形態は、適用可能にするためにこれらのボックスに依存しないので、ここでは提示されない。
セグメントタイプボックス「ｓｔｙｐ」４０２のフォーマットは、図３におけるファイルタイプボックス「ｆｔｙｐ」３０２のものと同様であるが、その参照は、ファイルがメディアセグメントファイルであることを示す。
ムービー断片ボックス４０４は、一般的にはムービーボックス「ｍｏｏｖ」内に保存される情報を提供する。そのヘッダ（「ｍｆｈｄ」）は、ムービー断片毎に増加する順序番号（図４のラベルづけされたｓｅｑ＿ｎｕｍ）を含む。このような順序番号は、順序番号の増順に、クライアント装置が、受信されるセグメントファイルを連結し、シーケンス（必要ならば）の完全性を確認することを可能にする。ムービー断片ボックス４０４は、関連付けられたメディアデータボックス（「ｍｄａｔ」、４０６）内にデータを有するトラック毎のトラック断片ボックス「ｔｒａｆ」（総称して４０８）を含む。トラック断片ボックス４０８は、対応するメディアデータボックス（「ｍｄａｔ」、４０６）内に存在するトラックのビットストリームの識別子（ｔｒａｃｋ＿ＩＤ）を保存するために用いられるトラック断片ヘッダボックス「ｔｆｈｄ」総称して４１０を備える。
メディアデータボックスは、一般的にタイムドメディアデータを含む。標準的ビデオトラックにおいて、それはビデオフレームを含む。タイルトラックにおいて、メディアデータボックス４０６は、完全なビデオフレームの空間的に定義されたサブパートを含む。説明のために、トラック識別子ｔｒａｃｋ＿ＩＤ＝２に関連付けられたメディアデータボックスは、エンハンスメントレイヤのタイルに対応するＮＡＬユニットをすべて含む。
複合トラック（図４のｔｒａｃｋ＿ＩＤ＝６）において、メディアデータボックス４０６は、タイル毎に、およびディペンデントレイヤ毎に抽出器（図４のラベルづけされたＥ）を含んでおり、すべてのタイルに共通のＮＡＬユニット（もしあれば）を含む。
図４に示されるように、複合トラックに関連付けられたメディアセグメントファイル４００−６のメディアデータボックス４０６は、特に以下を備える：
・ベースレイヤトラックに関連付けられたメディアセグメントファイル４００−１のメディアデータボックス４０６内に保存されたベースレイヤトラック内で符号化されたベースレイヤデータ（ＮＡＬユニット１ＢＬ）に対するリンクを提供する第１の抽出器４１２−１と、
・いくつかのタイルに共通のＮＡＬユニット４１２−２と、
・エンハンスメントレイヤの第１のタイルトラックに関連付けられたメディアセグメントファイル４００−２のメディアデータボックス４０６内で符号化された第１のタイルのエンハンスメントレイヤデータ（ＮＡＬユニット１ａ）に対するリンクを提供する第２の抽出器４１２−３と、
・エンハンスメントレイヤの第２のタイルトラックに関連付けられたメディアセグメントファイル４００−３（図示せず）のメディアデータボックス４０６内で符号化された第２のタイルのエンハンスメントレイヤデータ（ＮＡＬユニット、１ｂ）に対するリンクを提供する第３の抽出器４１２−４と、
・エンハンスメントレイヤの第３のタイルトラックに関連付けられたメディアセグメントファイル４００−４（図示せず）のメディアデータボックス４０６内で符号化された第３のタイルのエンハンスメントレイヤデータ（ＮＡＬユニット、１ｃ）に対するリンクを提供する第４の抽出器４１２−５と、
・エンハンスメントレイヤの第４のタイルトラックに関連付けられたメディアセグメントファイル４００−５（図示せず）のメディアデータボックス４０６内で符号化された第４のタイルのエンハンスメントレイヤデータ（ＮＡＬユニット、１ｄ）に対するリンクを提供する第５の抽出器４１２−６。
抽出器４１２−１のおかげで取得することができるＮＡＬユニットは、ＮＡＬユニット４１２−２と、抽出器４１２−３〜４１２−６のおかげで取得することができるＮＡＬユニットとを用いて、そのエンハンスメントレイヤを十分に復号することができるフレームのベースレイヤの復号化を可能にする。もしフレームの空間部分が復号されるならば、図４から観察することができるように、メディアセグメントファイル４００−２〜４００−５（すなわちタイルトラックに対応するビットストリーム）をすべてダウンロードすることは必要ではない。
ある特定の実施形態によれば、抽出器は、以下の構文を有するファイルフォーマット内部構造である。
ｃｌａｓｓ ａｌｉｇｎｅｄ（８） Ｅｘｔｒａｃｔｏｒ （） ｛
ＮＡＬＵｎｉｔＨｅａｄｅｒ（）；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｔｒａｃｋ＿ｒｅｆ＿ｉｎｄｅｘ；
ｓｉｇｎｅｄ ｉｎｔ（８） ｓａｍｐｌｅ＿ｏｆｆｓｅｔ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（（ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ＋１）＊８）
ｄａｔａ＿ｏｆｆｓｅｔ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（（ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ＋１）＊８）
ｄａｔａ＿ｌｅｎｇｔｈ；
｝
ここで、ＮＡＬＵｎｉｔＨｅａｄｅｒ（）は、ビデオビットストリームを符号化するために用いられる符号化フォーマットに準拠するＮＡＬユニットの最初の４バイトを表現する。これらの４バイトは、ＮＡＬユニットを、抽出器として識別する（例えば、ＳＶＣにおいて、属性ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは、抽出器ＮＡＬユニットタイプ（タイプ３１）に対して設定される）。
値ｔｒａｃｋ＿ｒｅｆ＿ｉｎｄｅｘは、データが抽出されるべきトラックを見出すために、複合トラックのタイプ「ｓｃａｌ」または「ｔｉｌｅ」のトラック参照ボックス「ｔｒｅｆ」において用いられるインデックスを指定する。値ｓａｍｐｌｅ＿ｏｆｆｓｅｔは、情報源として用いられる、リンクされたトラックにおけるサンプルの相対インデックス（ｒｅｌａｔｉｖｅ ｉｎｄｅｘ）を与える。ｄａｔａ＿ｏｆｆｓｅｔおよびｄａｔａ＿ｌｅｎｇｔｈの値は、それぞれ、コピーする参照サンプル内の第１のバイトのオフセットおよびコピーするバイトの数である。
説明のためにおよび図３を参照して、所定の抽出器のｔｒａｃｋ＿ｒｅｆ＿ｉｎｄｅｘの値が２に等しければ、これは、抽出器がｔｒｅｆボックス内の第２のエントリによって識別されたトラックを参照するということを意味する（すなわち、トラックは、タイルａのためのタイルトラックである識別子ｔｒａｃｋ＿ＩＤ＝２を有し、第１のインデックスは、参照トラック（例えばベースレイヤ）を表現する）。
図５は、所定の時間期間の連続するビデオフレーム（ここで２つの連続するフレームに対応する）の空間部分を表現する有効な復号可能なタイムドメディアデータビットストリームを構築するためにダウンロードされたメディアデータセグメントを連結する一例を示す。他の時間期間にも同じ図を繰り返すことができるだろう。
図３および図４を参照して記述したように、タイムドタイル化メディアデータビットストリームは、１つのイニシャライゼーションセグメントファイルおよび複数のメディアセグメントファイルを備える１セットのデータとして送信され、後者は、いくつかのタイルトラックと１つの複合トラックとを備えることが望ましいい。
イニシャライゼーションセグメントファイルは、各トラックの一般的情報、特にトラック（例えばメディアトラック（オーディオ若しくはビデオ）またはタイルトラック）のタイプ、符号化フォーマット、フレーム解像度および（トラック参照ボックス「ｔｒｅｆ」において与えられる）トラックの中の依存性を提供するムービーボックス（「ｍｏｏｖ」）を備える。これらのデータは、ダウンロードされたメディアセグメントファイルを処理するために用いられる。図１、図３、および図４を参照して記述された具体例を参照すると、イニシャライゼーションセグメントファイルのムービーボックスの内容は、特に、以下を備えることができる。
ＭＯＯＶ
・トラック１：ベースレイヤ
・トラック２：タイルａ
・トラック３：タイルｂ
・トラック４：タイルｃ
・トラック５：タイルｄ
・トラック６：エンハンスメントレイヤ
●ｔｒｅｆ（ｓｃａｌ）：ｔｒａｃｋ＿ＩＤ＝１
●ｔｒｅｆ（ｔｉｌｅ）：ｔｒａｃｋ＿ＩＤ＝２
ｔｒａｃｋ＿ＩＤ＝３
ｔｒａｃｋ＿ＩＤ＝４
ｔｒａｃｋ＿ＩＤ＝５
図５は、必要なメディアセグメントファイル（ここではエンハンスメントレイヤ内のベースレイヤおよびタイルａおよびｃに対応する）のみがサーバからダウンロードされるときにメディアセグメントを連結することによって取得されたファイルフォーマットを概略的に図示する。このようなメカニズムは、必要とされるメディアセグメントファイルのみをダウンロードすることを可能にするだけでなく、重複データのダウンロードも防止する、ということに留意するべきである。
図示されるように、複合トラック５００は、ベースレイヤトラック５０４（スケーラビリティの場合）からのデータおよび再生可能でないタイルトラック（５０６および５０８）からのデータを参照することによって、並びに（図７に対する参照によって記載されたように）欠測値を参照する抽出器を適切に扱うことによって、有効な復号可能なタイムドメディアデータビットストリーム５０２の構築を可能にする。
取得されたファイルフォーマットは、スケーラブルのファイルフォーマット定義に準拠する。例えば、クライアント装置は、複合トラックを選択することによって選択されたタイルａおよびｃをもつベースレイヤトラックまたはエンハンスメントレイヤを選択することによって、ベースレイヤのみを再生することを決定することができる。クライアント装置は、また、複合トラックを再生し続ける間に、後の時間期間における異なる「タイルトラック」（すなわちメディアセグメントファイル）をダウンロードすることによって、表示されるべきタイルを変更することができる。
図６ａおよび図６ｂからなる図６は、特定の実施形態による、サーバとクライアント装置との間でタイムドメディアデータを送信するためのステップを示すフローチャートである。図６ｂに示されるステップがクライアント装置内で実施される間に、タイル化タイムドメディアデータビットストリームからＲＯＩストリーミングに適したセグメントファイルを作成することによってメディアプレゼンテーションを準備するために、図６ａに示されるステップがサーバ内で実施される。
第１のステップ（ステップ６００）において、サーバは、各タイルに対して、タイルに関連付けられたＮＡＬユニットをすべて識別し、所定のタイルに対応するすべてのＮＡＬユニットから構成されるサブサンプルを含むタイルトラックを作成する。例えば、サーバは、ＮＡＬユニットの関連性を異なる領域により識別する副ビデオレベルＳＥＩメッセージと、ＨＥＶＣ標準化（提案ＪＣＴＶＣ−Ｋ０１２８）において提案されてきたような各ＲＯＩの位置およびサイズを識別するためのシーケンスレベルＳＥＩメッセージとに依存してもよい。したがって、サーバは、所定の期間にタイルのパイプを作成することができる。
次のステップ（ステップ６０２）において、サーバは、下位レベルスケーラビリティトラックにリンクされた抽出器（もしあれば）と、すべてのタイルに共通のＮＡＬユニットと、各タイルトラックにリンクされた抽出器を、含んでいる複合トラックとを作成する。抽出器および共通のＮＡＬユニットは、次の様に順序付けられる。つまりそれらが参照しているデータによって抽出器を置換することによって復号順序内の完全なサンプルから構成される有効なタイムドメディアデータビットストリームに結果としてなるのに有利な様にように順序付けられる（図１を参照して記載されたように）。
次に、ステップ６０４において、図３および図４を参照して述べたように、サーバは、ＩＳＯ ＢＭＦＦ表現にしたがって時間期間を含むイニシャライゼーションセグメントファイルおよびメディアセグメントファイルを生成し保存する。タイムドメディアデータトラック（例えばビデオトラック）、複合トラック、およびタイルトラックは、すべて、別のメディアセグメントファイル内に保存される。
その後、サーバは、リクエストに応じて、クライアント装置に対して、イニシャライゼーションおよびメディアセグメントファイルを供給する（ステップ６０６）。サーバは、ＨＴＴＰ要求に対して応答する従来のＨＴＴＰサーバであってもよい。
ＨＴＴＰストリーミングとの関連で、および好ましいある実施形態において、クライアント装置は、サーバから入手可能なメディアプレゼンテーションを記述するマニフェストファイルに対してアクセスする、とする。このマニフェストファイルは、サーバから、最初にイニシャライゼーションセグメントおよびその後メディアセグメントファイルをリクエストすることによって、クライアント装置がメディアプレゼンテーションをストリーミングするために十分な情報（メディアプロパティとセグメントのリスト）を提供する。
タイル化ビデオのストリーミングの間に、クライアント装置エンドにおける、普通はポインティングデバイスなどの選択手段をもつディスプレイ上における、ＲＯＩが選択されると、選択されたＲＯＩに対応するタイルが決定される（ステップ６０８）。
次に、スケーラブルのメディアデータの場合、各々の時間期間毎に、クライアント装置は、ディペンデントレイヤに対応するセグメントファイルをダウンロードするために、サーバに対してリクエストを送信する（ステップ６１０）。ある特定の実施形態によれば、依存される層は、それらの依存される層に依存する層よりも前に、ダウンロードされる。例えば、ベースレイヤのセグメントファイルは、エンハンスメントレイヤのセグメントファイルの前にダウンロードされる。
次のステップにおいて、クライアント装置は、選択されたタイルに対応するメディアセグメントファイルをダウンロードするためにリクエストをサーバに対して送信し（ステップ６１２）、複合トラックに対応するメディアセグメントファイルをダウンロードするためにリクエストをサーバに対して送信する（ステップ６１４）。
次に、ダウンロードされたセグメントファイルは、選択されたＲＯＩに対応する、ＩＳＯ ＢＭＦＦ規格に適合する有効な（復号可能な）タイムドメディアデータビットストリームを構築するために、クライアント装置によって連結される（ステップ６１６）。
図６に示されたフローチャートが、トラックの間のリンクを確立するために（すなわち依存関係を定義するために）抽出器の使用に基づくならば、図１８、図１９、および図２０を参照して記載されたように、トラックの間のリンクを別々に信号することができる、ということに留意するべきである。
（抽出器がトラックの間のリンクを確立するために用いられる場合の）ステップ６１６は、図７を参照して詳細に述べる。
図７は、クライアント装置によって受信された連結メディアセグメントから有効なタイムドメディアデータビットストリームの生成、すなわち、複合トラックがクライアント装置によって再生される際の選択されたタイルおよび１つの複合トラックから復号可能なビットストリームの生成を示すフローチャートである。
第１のステップ（ステップ７００）において、クライアント装置は、先に要求されていたメディアセグメントファイルを受信し（例えば図６におけるステップ６１２、６１４、および６１６）、少なくとも１つのメディアセグメントファイルが受信されたか否かを判定するためにテストが行われる（ステップ７０２）。メディアセグメントファイルが受信されていなければ、処理は終了する。
少なくとも１つのメディアセグメントファイルが受信されている場合および受信されたメディアセグメントファイルが複合トラックを収納していない場合（すなわち、それらは、例えば下位レベル層などの従属トラック若しくはタイルトラックを含む）、それらは、後で使用するためにバッファされる。
逆に、少なくとも１つのメディアセグメントが受信されている場合および受信されたメディアセグメントファイルが複合トラックを含んでいる場合、複合トラックに対応するビットストリーム（普通はＮＡＬユニット）は、データの第１のアイテム（または、受信されたメディアセグメントの少なくとも１つのデータ、普通はＮＡＬユニット、が処理されているならばデータの次のアイテム）を、受信されたメディアセグメントのメディアデータボックス「ｍｄａｔ」から抽出するために解析される（ステップ７０４）。メディアデータボックスにおいて解析するべきデータのアイテムがそれ以上存在しない場合、処理は、新たなメディアセグメントファイルを受信するためにステップ７００に戻る（ステップ７０６）。
次に、データの抽出されたアイテム（例えば抽出されたＮＡＬユニット）が抽出器に対応するか否かを判定するためにテストが行われる（ステップ７０８）。データの抽出されたアイテムが抽出器に対応しない場合、それは、ビデオ復号器によってさらに復号されるように戻される（ステップ７１０）。一方、データの抽出されたアイテムが抽出器である場合、それは、それが参照しているデータのアイテムと置換されなければならない。その目的のために、抽出器のパラメータの値が、その構造から取得される（ステップ７１２）。上記のように、抽出器は、別のトラックからデータを抽出するのに必要なパラメータ値をすべて備える（例えば、ｔｒａｃｋ＿ｒｅｆ＿ｉｎｄｅｘ、ｓａｍｐｌｅ＿ｏｆｆｓｅｔ、ｄａｔａ＿ｏｆｆｓｅｔ、およびｄａｔａ＿ｌｅｎｇｔｈ）。
一旦被参照トラックの識別子が識別されていれば、ステップ７００の間にバッファされたメディアセグメントファイルのセットにおいて被参照トラックが利用可能であるか否かを判定するためにテストが行われる（ステップ７１４）。クライアント装置が選択された関心領域に対応するメディアセグメントファイルのみをダウンロードするので、いくつかのタイルトラックが欠けている、ということを想起するべきである。
ステップ７００の間にバッファされたメディアセグメントファイルのセットにおいて被参照トラックが利用可能な場合、抽出器は、それが参照しているデータと置換され（ステップ７１６）、ビットストリームは、復号されるビデオ復号器に対して送信される（ステップ７１０）。
ステップ７００の間にバッファされたメディアセグメントファイルのセットにおいて被参照トラックが利用可能でない場合、抽出器において参照されたデータの欠如がＩＳＯ ＢＭＦ規格による重大エラーに結びつくので、特定のステップを実行しなければならない。被参照トラックがタイルトラックであるか（被参照トラックは依存するスケーラビリティ層に対応することができる）否か、および抽出器がタイルタイプであるか否かを判定するためにテストが行われる（ステップ７１８）。
被参照トラックがタイルトラックでない場合または抽出器がタイルタイプでない場合、標準的な重大エラーが検出される。一方、被参照トラックがタイルトラックである場合および抽出器がタイルタイプである場合、抽出器は、取り除かれる（ステップ７２２）か、または、抽出器は、タイムドメディアデータビットストリームを符号化する符号化フォーマットに応じて（ステップ７２０）、欠けているタイルの「スキップされた」データを含む代替の「パディングトラック」または「パディングボックス」からのパディングと置換される（ステップ７２４）。ここで、「スキップされた」データは、同じスケーラブルの層に属するか、または別のスケーラブルの層に対して属する、先に復号された画像から取得された他の画素データと置換される、現在の画像において画素データ欠損を表現する。「スキップされた」データは、一般的に、少なくとも１つのフラグによって表現される。例えば、ＨＥＶＣビデオ圧縮フォーマットを考慮すると、パディングデータは、１にセットされたスキップフラグにより符号化された符号化ユニットを排他的に含む１つ以上のＮＡＬＵになり得る。
次に、ビットストリームは、復号されて（ステップ７１０）表示されるビデオ復号器に対して送信され、処理は、以下のデータのアイテムを扱うステップ７０４にてループする。
図８は、１つ以上の実施形態のステップを実施することができるサーバまたはクライアント装置８００のブロック図を示す。
好ましくは、装置８００は通信バス８０２と、装置の起動に際してプログラムＲＯＭ８０６からの命令と起動後のメインメモリ８０８からのソフトウェアアプリケーションに関連する命令とを実行することができる中央処理装置（ＣＰＵ）８０４とを備える。メインメモリ８０８は、通信バス８０２を介してＣＰＵ８０４のワーキングエリアとして機能する例えばランダムアクセスメモリ（ＲＡＭ）タイプであり、その記憶容量は、拡張ポート（図示されず）に対して接続された任意のＲＡＭによって拡張することができる。ソフトウェアアプリケーションに関連する命令は、例えば、ハードディスク（ＨＤ）８１０からメインメモリ８０８またはプログラムＲＯＭ８０６に対してロードされてもよい。このようなソフトウェアアプリケーションは、ＣＰＵ８０４によって実行されたときに、図６ａを参照して記述されたステップをサーバにおいて実行させ、図６ｂおよび図７を参照して記述されたステップをクライアント装置において実行させる。
参照符号８１２は、通信ネットワーク８１４に対する装置８００の接続を可能にするネットワークインタフェースである。ＣＰＵ８０４によって実行される場合のソフトウェアアプリケーションは、ネットワークインタフェースを通じて受信されたリクエストに応答し、およびネットワークを介して他の装置に対してデータストリームおよびリクエストを提供すように構成される。
参照符号８１６は、情報をユーザーに表示し、および／またはユーザーからの入力を受信する、ユーザインタフェースを表現する。
マルチメディアビットストリームの受信または送信を管理するための装置８００が、図６ａ、図６ｂ、および図７を参照して記述されるような方法を実施することができる１つ以上の専用集積回路（ＡＳＩＣ）で構成できることは、変形として、ここで示されるべきである。これらの集積回路は、例えば非限定的に、ビデオシーケンスの生成または表示のために、および／またはオーディオシーケンスを聞くために、装置に集積される。
上記のように、本発明の実施形態は、特に、ＨＥＶＣとして知られているビデオフォーマットに適用することができる。
ＨＥＶＣ規格によれば、画像は、タイル、スライス、およびスライスセグメントに空間的に分割することができる。この規格において、タイルは、水平および垂直の境界（すなわち、行および列）によって定義される画像の矩形の領域に対応する。それは、整数個の符号化ツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔｓ）を含む。そのため、タイルは、例えば、関心領域に対する位置およびサイズを定義することによって関心領域を識別するために効率的に用いることができる。しかしながら、ネットワーク抽象層（ＮＡＬ）ユニットのようなそのカプセル化と同様に、ＨＥＶＣビットストリームの構造も、また、タイルを考慮して構成されていないが、スライスに基づいている。
ＨＥＶＣ規格において、スライスは、スライスセグメントのセットであり、１セットのスライスセグメントの第１のスライスセグメントは、独立したスライスセグメント（すなわち、ヘッダ内に保存された一般的情報が別のスライスセグメントの１つを参照しないスライスセグメント）である。前記スライスセグメントのセットの他のスライスセグメントは、もしあれば、従属するスライスセグメント（すなわち、ヘッダ内に保存された一般的情報が独立したスライスセグメントの１つを参照するスライスセグメント）である。
スライスセグメントは、整数個の連続する符号化ツリーユニットの（ラスタスキャン順に）を含む。そのため、スライスセグメントは、矩形形状になれるか、なれないかであるので、関心領域を表現するには適さない。それは、スライスセグメントデータが後続するスライスセグメントヘッダの形式下でＨＥＶＣビットストリームに符号化される。非依存スライスセグメントおよび依存スライスセグメントは、それらのヘッダによって異なり、依存スライスセグメントが非依存スライスセグメントに依存するので、そのヘッダの情報量は、非依存スライスセグメントのものより少ない。非依存スライスセグメントおよび依存スライスセグメントの両方は、タイルを定義するために用いられる、対応するビットストリーム内のエントリポイントのリスト、またはエントロピー復号同期ポイントのようなリストを含む。
図９ａ、図９ｂ、および図９ｃからなる図９は、タイルおよびスライスセグメントの一例を図示する。より正確には、図９ａは、垂直の境界９０５−１および９０５−２、水平境界９１０−１および９１０−２によって９つの部分において分割された画像（９００）を示す。９１５−１〜９１５−９により参照される９つの部分の各々は、特定のタイルを表現する。
図９ｂは、垂直の境界９０５’によって境界を定められた２つの垂直のタイルを含む画像（９００’）を示す。画像９００’は、５つのスライスセグメントと、非依存スライスセグメント９２０−１（斜線により表現された）と、４つの依存スライスセグメント９２０−２〜９２０−５とを含む単一のスライス（参照符号を付けられていない）を備える。
図９ｃは、垂直の境界９０５’’によって境界を定められた２つの垂直のタイルを含む画像（９００’’）を示す。左のタイルは２つのスライス、つまり１つの非依存スライスセグメント（９２０’−１）および１つの依存スライスセグメント（９２０’−２）を含む第１のスライスと、１つの非依存スライスセグメント（９２０’−３）および１つの依存スライスセグメント（９２０’−４）をまた含む第２のスライス、を備える。右のタイルは、１つの非依存スライスセグメント（９２０’−５）および１つの依存スライスセグメント（９２０’−６）を含む１つのスライスを備える。
ＨＥＶＣ規格によれば、スライスセグメントは、以下の通りに要約されるルールにしたがうタイルにリンクされる（一方若しくは両方の条件が満たさなければならない）。
・スライスセグメント内のすべてのＣＴＵは、同じタイルに属する（すなわち、スライスセグメントは、数個のタイルに属することはできない）。
・タイル内のすべてのＣＴＵは、同じスライスセグメントに属する（すなわち、タイルは、それらのスライスセグメントの各々がそのタイルのみに属するという条件で数個のスライスセグメントに分割されてもよい）。
前述のように、タイルを関心領域に対して適切なサポートとして見なすことができる一方で、スライスセグメントは、通信ネットワーク上での搬送のためにＮＡＬユニットに実際に加えられ、アクセスユニット（すなわち、ファイルフォーマットレベルで符号化された画像またはサンプル）を形成するために集約される主体である。
ＨＥＶＣ規格によれば、以下の通りに定義することができる２バイトのＮＡＬユニットヘッダにおいてＮＡＬユニットのタイプが符号化される、ということを想起するべきできである。
ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ （） ｛
ｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ＿ｂｉｔ
ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ
ｎｕｈ＿ｌａｙｅｒ＿ｉｄ
ｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１
｝
スライスセグメントを符号化するために用いられるＮＡＬユニットは、スライスセグメント内の第１のＣＴＵのアドレスがスライスセグメントアドレス構文要素によるものであるということを示すスライスセグメントヘッダを備える。このようなスライスセグメントヘッダは、以下の通りに定義することができる。
ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｈｅａｄｅｒ （） ｛
ｆｉｒｓｔ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ
ｉｆ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ ＞＝ ＢＬＡ＿Ｗ＿ＬＰ ＆＆ ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ ＜＝ ＲＳＶ＿ＩＲＡＰ＿ＶＣＬ２３）
ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇ
ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ
ｉｆ（！ｆｉｒｓｔ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）｛
ｉｆ（ｄｅｐｅｎｄｅｎｔ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）
ｄｅｐｅｎｄｅｎｔ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｆｌａｇ
ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ａｄｄｒｅｓｓ
｝
Ｉｆ（！ｄｅｐｅｎｄｅｎｔ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｆｌａｇ）｛
［…］
タイリング情報は、ＰＰＳ（画像パラメータセット：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬユニット内に備えられる。その後、スライスセグメントとタイルと間の関係は、これらのパラメータから導き出すことができる。
空間的予測がタイル境界上で（定義によって）リセットされる間に、単数または複数の参照フレーム内の異なるタイルからの時間的予測値をタイルが用いることを妨げるものはない。したがって、非依存タイルを構築するために、予測ユニットのための動きベクトルは、単数または複数の参照フレーム内の同一場所に配置されたタイル内に残るために、符号化中に、タイル内において制約されるのは有利なことである。さらに、１つのタイルのみを復号するときにエラードリフトが導入されないように、インループフィルタ（デブロッキングおよびサンプル適応型オフセット（ＳＡＯ：ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）フィルタ）は、好ましくは、タイル境界上で非アクティブ化されることが望ましい。インループフィルタのこのような制御がＨＥＶＣ規格において利用可能である、ということに留意するべきである。それは、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇとして知られているフラグをもつスライスセグメントヘッダにおいて設定される。このフラグをゼロに明示的に設定することによって、タイル境界における画素は、近傍タイルの境界に位置する画素に依存することができない。動きベクトルおよびインループフィルタに関連するこれらの２つの条件を満たすとき、タイルは「独立的に復号可能なタイル」または「非依存タイル」として見なすことができる。
ビデオビットストリームが１セットの非依存タイルとして符号化されるとき、参照データの欠損または再構成エラーの伝播のリスクを伴わずに、一方のフレームから他方のフレームまでタイルベースの復号化を可能になる。その後、この構成は、例えば、図２に図示された（タイル３および７を備える）関心領域に対応することができるオリジナルのビデオの空間部分のみを再構築することができる。このような構成は、タイルベースの復号化が確実であるということを示すようにビデオビットストリーム内の補足情報として示すことができる。
１スライス当たりのタイルのＨＥＶＣタイル（普通はタイル当たりのスライスの数）、符号化の依存関係、およびスライスセグメントのタイプ（依存または非依存）毎に異なる可能な構成を取り扱うために、タイル復号順序の依存関係は、（圧縮ステップに後続する）カプセル化ステップの間にサーバエンドにおいて考慮されるべきである。これは、受信されたカプセル化ファイルを解析した後にビデオ復号器において処理することができる有効なビデオエレメンタリーストリームを構築する位置にクライアント装置が存在するために重要である。
復号化依存性と復号順序の依存関係との２つのタイプの依存関係が共存する、ということに留意すべきである。
第１のタイプの依存関係は、スケーラブルビデオ符号化において高い頻度で用いられ、ここで、エンハンスメントレイヤは、ベースレイヤに依存し、それ自身によって復号することができない。例えば、別のケースは、図１０、図１３、および図１４を参照して説明したように、または複数のビュー（ｍｕｌｔｉｐｌｅ ｖｉｅｗｓ）を符号化するために、異なるトラックに分割されるデータを対象にする。これらのような場合、異なるサンプルから来るデータは、復号して表示する１つのサンプルを構築するために集約されてもよい。但し、それがランダムな順序で行われると、その集約は、エラーに結びつくかもしれない。
説明のために、ＩＳＯ／ＩＥＣ １４４９６−１５の「ＭＶＣトラック構造」セクションは、異なるビュー（ｄｉｆｆｅｒｅｎｔ ｖｉｅｗｓ）からサンプルを構築する方法を示す。同様に、単一のオブジェクト記述子内にエレメンタリストリーム記述子を集約するためのＩＳＯ／ＩＥＣ １４４９６−１におけるルールがある。第１のケースにおいて、依存関係は「ｓｃａｌ」トラック参照タイプによりシグナリングされる一方で第２のケースにおいて、明示的なフラグｄｅｐｅｎｄｓＯｎ＿ＥＳ＿ＩＤは、このエレメンタリストリームが依存し続ける別のエレメンタリストリームの識別子を示す。ｄｅｐｅｎｄｓＯｎ＿ＥＳ＿ＩＤのこの概念は、その正確な処理セマンティックスがＭＰＥＧ−４システム（ＩＳＯ／ＩＥＣ １４４９６−１）から与えられる簡単な「ｄｐｎｄ」トラック依存関係として、ｍｐ４ファイルフォーマット（ＩＳＯ／ＩＥＣ １４４９６−１４）において変換された。それらがマルチトラックのデータ間をシグナリングする依存関係のために必要とされる特徴のいくつかをカバーする一方で、「ｄｐｎｄ」および「ｓｃａｌ」は、（上位層から下層層まで）下方への依存関係のみを記述しており、復号順序がいくつかの層の間で必要であるが他の層の間では未定である複雑なケースに対処できない。そして、ＩＳＯベースメディアファイルは、いくつかのトラックが復号化の点から他のトラックに依存することを示す、総括的なツールを欠いており、そのため、それらが依存するトラックのサンプルの後に、それらのサンプルが復号されねばならない。
実際、図２１ａにおいて図示したような従来技術の依存関係グラフを想定すると、図２１ａによればメディアファイル２１００がトラックＴ２（２１０２）、Ｔ３（２１０３）、およびＴ４（２１０４）トラックＴ１（２１０１）に依存するが互いには依存せず、トラックＴ５（２１０５）がトラックＴ３（２１０３）およびＴ４（２１０４）に依存するような依存関係により、Ｔｉによって示され符号２１０１〜２１０５により参照される５つのトラックを含み、依存関係の参照（「ｓｃａｌ」または「ｄｐｎｄ」）は、順序の概念を伴わずに、参照２１１２、２１１３、２１１４、２１１５、および２１１６によりそれぞれ表現されるように設定される。このようなケースにおいて、トラックＴ５（２１０５）の復号化は、以下の依存関係グラフ、つまり、Ｔ５−＞［Ｔ３、Ｔ４］または［Ｔ４、Ｔ３］−＞Ｔ１を与える。見てとれるように、トラックＴ２（２１０２）は、このようなメカニズムをもつ依存関係グラフには存在しなかったであろう。そのため、これらの依存関係から完全なストリームの再構成には問題が有った。それは、Ｔ２−＞Ｔ１の依存関係（２１１２）を発見するためのすべてのトラックのスキャンを暗に示し、Ｔ２が処理されるべき順序をまだ欠く。
第２のタイプの依存関係（符号１〜３により図２１ｂにおいて表現された、以下でも「上向きのトラック参照」と呼ばれる復号順序の依存関係を意味する）に関して、多くの使用ケースでは、例えば、各スケーラブルのレベルが専用のトラックに保存される単純なスケーラビリティ（空間的、ＳＮＲ、時間的）などの、トラックを処理する精密な順序が指定されることを必要とし、各層は、単一の下位層に依存する。適切なビデオエレメンタリーストリームの再構成のためにベースから開始して、ｍｐ４構文解析ツールに対して順番に各層を渡さなければならない。第２の使用ケースは、ＨＥＶＣにおける非依存タイルと同様、ビデオストリーム内の空間領域に依存しない復号化である。この場合、各タイルは、任意の順序で、独立的に処理することができるが、非ＶＣＬのＮＡＬユニットを含むトラックの後に処理されなければならない。関心領域に関連する別の使用ケースは、関心領域のＳＮＲの改良（ＳＮＲ ｒｅｆｉｎｅｍｅｎｔｓ）などの進歩的なスケーラビリティであり、ここで、いくつかの領域は、互いに独立して定義および復号されることができる。最後に、（ＳＨＶＣ設計と同様に）ベースレイヤおよびエンハンスメントレイヤが同じメディア形式を用いない場合にはスケーラブルハイブリッド符号化。
ＨＥＶＣの特定のケースのために、データが図１４を参照して記述したように異なるトラックに分割されるとき、規格は、スライスセグメントを表現するＮＡＬユニットの間の復号順序を特に示す。したがって、本発明の目的は、空間部分の送信がクライアントエンドにおいて解析した後に有効で復号可能なビデオエレメンタリーストリームに結びつくように、カプセル化層においてこれらの依存関係を信号伝達することである。
本発明の実施形態によれば、ＨＴＴＰストリーミングとの関連でタイルに対する効率的なアクセスは、ＨＥＶＣ規格に対して適用されたＩＳＯ ＢＭＦＦファイルフォーマットを用いることによって提供される。したがって、符号化される非依存タイルの各々（例えば、図２に表現された１２個のタイルの各々）は、図１０を参照して以下に述べるような「タイルトラック（ｔｉｌｅ ｔｒａｃｋ）」と呼ばれる特定のトラックによって表現される。
これらのタイルトラックは、図１０に図示されるようなフルフレームのＨＥＶＣビットストリームに対応する複合トラックにおいて（トラック毎の定義を含むムービーボックス「ｍｏｏｖ」のトラック参照ボックス「ｔｒｅｆ」を介して）参照される。各タイルトラックは、ＮＡＬユニットにパッケージ化されて、圧縮されたビデオデータを含む。複合トラックは、イニシャライゼーションデータに対応する様々なパラメータセット（例えば、ビデオのパラメータセット、シーケンスパラメータセット、および／または画像パラメータセット）を含む。それは、また、特定のタイプのＮＡＬユニットである抽出器を含む。
上記のように、抽出器は、以下の構文を有するファイルフォーマット内部構造になり得る。
ｃｌａｓｓ ａｌｉｇｎｅｄ（８） Ｅｘｔｒａｃｔｏｒ （） ｛
ＮＡＬＵｎｉｔＨｅａｄｅｒ（）；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｔｒａｃｋ＿ｒｅｆ＿ｉｎｄｅｘ；
ｓｉｇｎｅｄ ｉｎｔ（８） ｓａｍｐｌｅ＿ｏｆｆｓｅｔ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（（ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ＋１）＊８）
ｄａｔａ＿ｏｆｆｓｅｔ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（（ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ＋１）＊８）
ｄａｔａ＿ｌｅｎｇｔｈ；
｝
抽出器は、他のトラックからデータに対するポインタまたは参照として機能し、両方のトラックにおけるデータ重複の代わりに、依存トラックを参照してコンパクトなトラックを構築することを可能にする。抽出器はＮＡＬユニット構文を用いるのが望ましい。したがって、それは、特に、ＮＡＬユニットタイプに関連する情報を備えるＮＡＬユニットヘッダと同じ構造を有するヘッダを備える。このＮＡＬユニットタイプは、例えば、ＨＥＶＣ内の予約された（ｒｅｓｅｒｖｅｄ）ＮＡＬユニットタイプに現在対応する値「４７」に設定される。ヘッダの後には、抽出器によって参照されるトラックに対応するトラックの識別子（ｔｒａｃｋ＿ｉｄ）を含むｔｒｅｆボックスのエントリを検索することを可能にするトラック参照ボックス（ｔｒｅｆ）内のインデックス（ｔｒａｃｋ＿ｒｅｆ＿ｉｎｄｅｘで示される）が続く。第３のパラメータは、現在のサンプルと比較して、抽出器によって参照されるサンプルの時間オフセット（ｓａｍｐｌｅ＿ｏｆｆｓｅｔ）である。第４のおよび第５のパラメータ（ｄａｔａ＿ｏｆｆｓｅｔおよびｄａｔａ＿ｌｅｎｇｔｈで示される）は、それぞれ、そこからコピーするべき位置（好ましくはバイトで）、およびコピーするデータ量（値０は、参照される全体のＮＡＬユニットのコピーを示すために予約される）を提供する。
図１０は、本発明の実施形態にかかる、複合トラックと独立したタイルトラックとを備える１セットのトラックとしてＨＥＶＣビットストリームをカプセル化する一例を図示する。説明のために、カプセル化されたビットストリームは、図２に概略的に図示されたビデオシーケンスに対応する。
図示されるように、カプセル化されたビットストリーム１０００は、トラックのための定義を提供するムービーボックス（「ｍｏｏｖ」）を含むイニシャライゼーションセグメントファイル１００５と、複合トラック１０１５および１２個のタイルトラック１０２０−１〜１０２０−１２を表現するメディアセグメントファイル１０１０（タイルトラック１０２０−１〜１０２０−１２の各々は、ビデオシーケンスの１枚のタイルに関連付けられている）とを備える。
ＤＡＳＨ規格において規定されるように、複合トラック１０１５は、セグメントタイプボックス「ｓｔｙｐ」（図示されず）と、トラックセグメントタイプおよび識別子などのメタデータを備える少なくとも１つのムービー断片ボックス「ｍｏｏｆ」１０２５と、ＰＰＳおよびビデオデータに対する参照を（ビデオデータサンプル毎に）備える少なくとも１つのメディアデータボックス「ｍｄａｔ」１０３０とを備える。
同様に、タイルトラック１０２０−１〜１０２０−１２の各々は、セグメントタイプボックス「ｓｔｙｐ」（図示されず）と、トラックセグメントタイプおよび識別子などのメタデータを備える少なくとも１つのムービー断片ボックス「ｍｏｏｆ」と、ＮＡＬユニット（ＮＡＬＵ）においてパッケージ化され圧縮されたビデオデータを備える少なくとも１つのメディアデータボックス「ｍｄａｔ」とを備える。
識別子２〜１３を有するタイルトラック１０２０−１〜１０２０−１２は、イニシャライゼーションセグメントファイル１００５の（より正確には、識別子ｉｄ＝１を有する複合トラックの定義内のイニシャライゼーションセグメントファイル１００５のムービーボックス「ｍｏｏｖ」の）トラック参照ボックス「ｔｒｅｆ」１０３５内で参照される。
図示されるように、複合トラック１０１５は、他のトラックからのデータに対するポインタまたは参照として機能する抽出器を備える。説明のために、タイルトラック（ｔｒａｃｋ＿ｒｅｆ＿ｉｎｄｅｘ）のインデックスと、データオフセット（ｄａｔａ＿ｏｆｆｓｅｔ）と、複合トラック１０１５の抽出器１０３５−１および１０３５−ｐに対応するデータ長（ｄａｔａ＿ｌｅｎｇｔｈ）とがいくつかのパラメータの中で表現される。
さらに、説明のために、複合トラック１０１５のＮＡＬユニット１０３５−１が処理されるとき、それが抽出器タイプのＮＡＬユニットを表現する（ＮＡＬＵｎｉｔＨｅａｄｅｒが１６進値５Ｅ００に等しい）ということが判定される。したがって、それは、対応する圧縮されたビデオデータを回復するために処理される。その目的のために、そのタイルトラックインデックス（すなわちｔｒａｃｋ＿ｒｅｆ＿ｉｎｄｅｘ＝１）が取得される。このインデックスから、イニシャライゼーションセグメントファイル１００５内に保存されたタイルトラック定義からタイルトラック識別子を回復することが可能である。所定の具体例において、インデックスが１に等しいので、ｔｒｅｆボックスの第１のタイルトラック識別子が選択される（ｉｄ＝２）。次に、この識別子は、対応するタイルトラックにアクセスするために用いられ、その後、抽出器１０３５−１のデータオフセット（すなわち情報源として用いられるべき識別されたトラックにおけるサンプルの相対インデックス）およびデータ長（すなわちコピーするバイト数（例えばｄａｔａ＿ｌｅｎｇｔｈ＝０場合は全ＮＡＬＵ））パラメータを用いて、圧縮されたビデオデータは、タイルトラック１０２０−１（すなわち所定の具体例において符号化されたスライスセグメントＮＡＬＵ １０４０）から抽出される。
処理がなされた後に、抽出器は、それが参照するデータと置換される。図１０に図示された例によれば、構文解析および抽出器１０３５−１の処理は、符号化されたスライスセグメントＮＡＬＵ １０４０によってその置換に導かれ、それにより、ＨＥＶＣ準拠のビットストリームを形成する。
ＨＥＶＣ抽出器のパラメータを保存するために用いられるセマンティックスは、ＳＶＣ規格において定義されたものに近くなり得る、ということに留意するべきである。したがって、ＨＥＶＣ ＮＡＬユニットを参照する抽出器に対して、以下のものを適用することができる。
・ｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ＿ｂｉｔとして知られているパラメータは、ＩＳＯ／ＩＥＣ ２３００８−２において規定されるように設定される。
・ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅとして知られているパラメータは、４７（ＨＥＶＣ用の国際規格最終案の指定コード）に設定される。
・ｎｕｈ＿ｌａｙｅｒ＿ｉｄとして知られているパラメータおよびｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１は、抽出器によって参照された第１のＮＡＬＵからコピーされる（ＨＥＶＣ ＮＡＬユニットを参照するＨＥＶＣトラックにおける抽出器は、異なるｎｕｈ＿ｌａｙｅｒ＿ｉｄ値およびｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１値によっていくつかのＮＡＬユニットを参照しない）。
・ｓａｍｐｌｅ＿ｏｆｆｓｅｔとして知られているパラメータは、０に設定される。
本発明の実施形態によれば、タイルトラックは、空間的に配置されたデータ（例えばＨＥＶＣタイル）のインデックス化をサポートするために用いられる特定のトラックとして見なされるべきである。そのため、特定のシグナリングは、各トラックが、特に、全ビデオ内のタイルの位置（水平および垂直座標）およびタイルのサイズ（幅および高さ）を示し、アーティファクトを伴わずにタイルトラックを復号することができるか否かを示す情報を提供するために必要である。このようなシグナル伝達は、いくつかの実施形態にしたがって実現することができる。
図１０を参照して説明されたものとは異なる特定の実施形態は、図１５および図１６に図示される。
図１５は、タイルを記述するためのサブトラック機能（すなわちｓｕｂ−ｔｒａｃｋボックス）を用いた一例を示す。この実施形態によれば、１５０２で参照される１つのビデオトラックのみが、ＨＥＶＣのエレメンタリビットストリームから構築される。タイル記述およびグルーピング情報は、１５０３で参照されるユーザデータと一緒に、好ましくは、カプセル化されたファイルのユーザ（またはクライアント）に対する選択を提供するために用いられる、１５０４で参照されるトラック選択ボックスとして同じ場所に保存することができる。
ＩＳＯベースメディアファイルフォーマットは、サブトラックを記述するためにボックスを定義するということを想起するべきである。例えば、（全）トラックがグループと交互になりグループを切り替えるために割り当られることができるのと同じ方法で、１５０５および１５０６で参照されるサブトラックは、グループと交互になりグループを切り替えるためにトラックの部分をアサインするために用いられる。言いかえれば、サブトラックは、異なるタイル、または異なるタイルの異なるバージョンを記述するために用いることができる。
一般的な構文は、（現在の実施形態によれば、新たなボックス（タイルサブトラックグループボックス）であるボックス１５１２および１５１３を除いた）図１５のボックスで図示されるようなサブトラック記述のために提供される。ＩＳＯベースメディアファイルフォーマットは、各メディアフォーマット（例えばＳＶＣおよびＭＶＣ）毎に、これらの総括的なボックスを特定化しなければならないということを示す。
この実施形態において、入力ビデオエレメンタリーストリームがタイル化されたＨＥＶＣビットストリームであるということが考慮される。そのため、タイルを適切にカプセル化するために（すなわち、先頭および最終バイトの位置、プラス位置、サイズ、および復号化情報のようなタイルパラメータを持った）、以下のことが要求される。
・各空間的タイルに対応するビデオエレメンタリーストリームのＮＡＬユニットからの１５０７で参照されるデータを識別すること。これは、先頭バイトおよび最後バイトの位置によって表現することができる。
・各タイル記述（普通は、位置、サイズ、非依存符号化などのようなタイルパラメータ）を各サブトラック１５０５および１５０６にリンクすること。
・ユーザタイル選択情報を提供すること、特にタイルとサブトラックとの間の可能な組み合わせを示すこと。
図１６は、サブトラックを伴うタイルのカプセル化を図示するフローチャートである。それは、ビデオエレメンタリーストリームをｍｐ４セグメントにカプセル化するためにサーバエンド（標準サーバになりうるか、またはストリーミングサーバに対するアップロードのためのコンテンツを準備するときにビデオキャプチャ時またはビデオキャプチャ後にカプセル化を公平に行うことができるので例えばビデオを取り込む装置）において実行されるステップを表現する。
（例えば図１１に図示されたように）ｍｐ４セグメントがヘッダ部分およびデータ部分で構成されたアドレス指定可能な主体である、ということを想起するべきである。Ｍｐ４セグメントは、可変になり得る持続時間か、または、シーケンスに沿って同一になり得る持続時間を有する。明瞭にするために、ここで、セグメント持続時間は、時間に沿って定数であり、且つデータをカプセル化することを担当するサーバの初期設定パラメータとして提供される、ということが想定される。但し、可変持続時間を扱っても、図１６に図示されたステップは変わらないであろう。
図示されるように、カプセル化工程の第１のステップは、第１のｍｐ４セグメントのイニシャライゼーションを備える（ステップ１６００）。
前述のように且つ特定の実施形態によれば、カプセル化は、ビデオエレメンタリーストリームを表現するために単一のビデオトラックを作成する（図１２ｂに対する参照によって記述されたように）ことにある。
次のステップにおいて、サーバは、ＮＡＬユニットヘッダを探す（ステップ１６０１）。何らかのＮＡＬユニットが発見されなければ（すなわち、テスト１６０１の結果が偽であれば）、これはビデオエレメンタリーストリームの端部に達したということを意味する。これにより、カプセル化工程を終了する。
一方、ＮＡＬユニットが発見される場合（すなわちテスト１６０１の結果が真）、それが高レベル情報を含む（すなわち非ＶＣＬ（ビデオ符号化層）データ）か否か（すなわちＶＣＬデータ）を判定するために次のステップ（ステップ１６０３）においてそのタイプがチェックされる。現在のＮＡＬユニットが非ＶＣＬデータを含む場合はテスト１３０３の結果は偽であり、それがＶＣＬデータを含む場合はテスト１３０３の結果は真である。
サーバは、ＮＡＬユニットを探し処理しながら、処理されるビデオフレームに対応する現在のタイムスタンプ値を保持する、ということを留意するべきである。初期のタイムスタンプ値は、ゼロに設定され、新たなビデオフレームが検出される度に（ＰｉｃＯｒｄｅｒＣｎｔＶａｌを算出するために使用中の例えば構文パラメータのようなＨＥＶＣの高レベルの構文要素から）更新される。
図示されるように、非ＶＣＬ ＮＡＬユニットおよびＶＣＬ ＮＡＬユニットの両方のデータは、ステップ１６０４および１６０５において、ビデオトラックのデータ部分内にサンプルとして格納される。非ＶＣＬ ＮＡＬユニットに対して、サーバは、現在時刻に対応するタイムスタンプ値によりトラックのデータ部分内にサンプルを（ステップ１６０４において）作成する。次に、タイリング構成（ステップ１６０６）上で情報を提供することができるか否かを判定するために、このＮＡＬユニットの特定のタイプを調べる。説明のために、これは、水平のタイルおよび垂直の境界を指定するＰＰＳ＿ＮＵＴに等しいＮＡＬユニットのタイプ、または、ビデオのタイルおよび／または関心領域、または独立的に符号化された空間領域の情報を与えるＰＲＥＦＩＸ＿ＳＥＩ＿ＮＵＴに等しいものＮＡＬユニットタイプによる特定のＳＥＩメッセージになり得る。
このようなＮＡＬユニットが利用可能な場合、サーバは、（ステップ１６１０および１６１１に対する参照によって以下に記載される）ビデオデータの将来の記述のためにステップ１６０７において、取得されたタイリング構成を保存する。これは、例えば図１２ｂに対する参照によって記述されるようなＴｉｌｅＲｅｇｉｏｎＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙと呼ばれるボックス（ボックス１２７５）において、タイル記述子において行われる。また、それは、タイルまたは独立的に符号化された空間部分、各タイルに用いられる１つのサブトラック、または空間部分を記述するために特に用いられる（図１５において１５０５および１５０６で参照される）対応するサブトラックを作成する（ステップ１６０８）。
より正確には、ステップ１６０８は、現在のサブトラックがタイリング情報を提供する特定のトラックであるということを示すためにサブトラック情報ボックスを準備することを目的とする。これは、図１５において１５０８および１５０９で参照される、既存のＳｕｂｔｒａｃｋＩｎｆｏｒｍａｔｉｏｎＢｏｘ（「ｓｔｒｉ」）ボックスの属性の現在のリストの拡張によって行うことができる。現在、このボックスは、サブトラック間の切換および／または代替手段を記述するが、オリジナルのビデオの任意の空間領域を表示するために、一方がともに構成することができるビデオの空間部分を記述することは可能ではない。
同時に、サーバは、ビデオの空間部分を描写するために、それが１つ以上のタイルを選択することができるということをユーザー装置に対して示すために（図１５において１５０４で参照される）トラック選択ボックスを作成することができる。これは、現在サポートされないので、トラック選択ボックスのいくつかの改良を必要とする。特定の実施形態によれば、「ｔｉｌｅ」値は、同じａｔｔｒｉｂｕｔｅ＿ｌｉｓｔ内の属性を区別する値「ｎｔｌｓ」と同様にトラック選択ボックスのためのａｔｔｒｉｂｕｔｅ＿ｌｉｓｔ内の新たな記述的属性として追加される。名称は、ここでは例として提供され、ＩＳＯベースメディアファイルフォーマットおよびその拡張における既存のコードとそれが矛盾しないという条件で、任意の４つのキャラクタコードも選択することができるかもしれない、ということに留意されたい。第１の値は、タイルの数の点からトラックをスケール調整することができるということを示すことができ、その一方で第２の値がサブトラックにおけるタイルの数を示している。メディアプレゼンテーションがタイルの解像度／数の点で代替トラックを含む場合、サブトラック情報およびトラック選択レベルにおいて属性を区別する「ｎｔｌｓ」は、関連性を持ち得る。そして、（空間的アクセス粒度としても認識される）タイルの所望の解像度／数を選択することができる。
同様に、トラックの代替えグループがフルフレームビデオ（ｎｔｌｓ＝０）および同じビデオ（ｎｔｌｓ＝Ｎ）のタイル化表現を含む場合、２つのトラックは、タイルのそれらの数の点から区別すック内の空間的アクセスを提供する特別なサブトラックであるということを示すために、サブトラック情報ボックス内の可能的な属性のリストも、また、第１の新たな値「ｔｉｌｅ」により拡張される。
図１６に戻って、ＶＣＬ ＮＡＬユニットに対して、ステップ１６０５の間に一旦データがビデオトラックのデータ部分内に格納されれば、サーバは、ステップ１６０９において、現在のビデオデータ（普通はＨＥＶＣ内のスライスセグメント）のためのトラックのヘッダ部分を生成する。そのためには、それは、トラックヘッダ（図３の参照符号３０８）内またはトラック断片ヘッダ（図４の参照符号４１０）内、例えば、サンプルサイズボックス「ｓｔｓｚ」またはトラック実行ボックス（「ｔｒｕｎ」）内に、現在のＮＡＬユニットのためのバイト位置を保存する。また、それは、データ（例えば「ｃｔｔｓ」をサンプリングする構成時間および「ｓｔｔｓ」ボックスをサンプリングする復号化時間）を参照するために、専用のボックス内にタイミング情報を保存する。
次に、タイリング情報が存在して（すなわちテスト１６０６が真の場合）保存されている場合（ステップ１６０７）、現在のＮＡＬユニットが由来するタイルが識別される（ステップ１６１０）。ＨＥＶＣビデオエレメンタリーストリームに対して、この識別は、ＨＥＶＣスライスセグメントヘッダにおいて提供されるスライスセグメントアドレスに基づくことができる。スライスセグメントアドレスが与えられ、タイル構成を認識すれば、タイルインデックスを導き出すことができる。識別されると、現在のサンプルは、識別されたタイルのために、ステップ１６０７において記録されたタイル記述子に関連づけられる（ステップ１６１１）。
これは、サブサンプルグループ化メカニズムに存在し、サブサンプルは、現在のＮＡＬユニットによって伝達されたスライスセグメントである。このスライスセグメントはタイル全体をカバーするか（このようなケースは図９ａに図示されたものに対応する）、またはタイルの一部になり得る（すなわち、タイルは１つ以上のスライスセグメントを含むであろう、このようなケースは、図９ｂまたは図９ｃに図示されたものに対応する）。この関連づけ若しくはリンクステップ１６１１は、また、ステップ１６０８において準備されたサブトラックを更新する。
ステップ１６１１は、サブトラック（図１５において１５０５および１５０６で参照される）とデータ（図１５において１５０７で参照される）との間のマッピングを提供することを目的とする。これは、ＳｕｂＴｒａｃｋＤｅｆｉｎｉｔｉｏｎＢｏｘ（「ｓｔｒｄ」（図１５の参照符号１５１４および１５１５））として知られるボックスで行うことができる。ＳｕｂＴｒａｃｋＤｅｆｉｎｉｔｉｏｎＢｏｘボックスは、フォーマット指定のサブトラック（例えば、ＳＶＣＳｕｂＴｒａｃｋＬａｙｅｒＢｏｘまたはＭＶＣＳｕｂＴｒａｃｋＶｉｅｗＢｏｘ）、および、以下の通りに定義される任意のサンプルグルーピング情報ＳｕｂｔｒａｃｋＳａｍｐｌｅＧｒｏｕｐＢｏｘ（ＩＳＯ／ＩＥＣ １４４９６−１２：２０１２規格のセクション８．１４．６における「ｓｔｓｇ」）のためのコンテナである。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＳｕｂＴｒａｃｋＳａｍｐｌｅＧｒｏｕｐＢｏｘ ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ（‘ｓｔｓｇ’， ０， ０）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｉｔｅｍ＿ｃｏｕｎｔ；
ｆｏｒ（ｉ ＝ ０； ｉ＜ ｉｔｅｍ＿ｃｏｕｎｔ； ｉ＋＋）
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｇｒｏｕｐ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｉｎｄｅｘ；
｝・・・
タイルサブトラックの特定のケースにおいて、ＳｕｂｔｒａｃｋＳａｍｐｌｅＧｒｏｕｐＢｏｘは、好ましくは、以下の通りに示す。
・ｇｒｏｕｐｉｎｇ＿ｔｙｐｅとして、ＴｉｌｅＲｅｇｉｏｎＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙを示す値（例えばタイル領域ＩｎＦｏｒｍａｔｉｏｎまたは図１２ｂの参照符号１２７５で図示されるような「ｔｒｓｇ」のための「ｔｒｉｆ」）。いかなる４文字コードでも、サンプルグループ化、すなわち、この特定の実施形態によれば、タイル内へのサンプルまたはサブサンプルのグループ化の種類を識別するために、一意であるものとする。
・ｇｒｏｕｐ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｉｎｄｅｘとして、現在のタイルのためのｇｒｏｕｐＩＤまたはｔｉｌｅＩＤの値。図１２ｂを参照して記載されたように、この値は、トラックのタイルを記述するためのＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘ内に記録される。
付加的なグルーピング情報は、サブトラックをタイルのグループとして定義するために提供されることができる。新たなＴｉｌｅＳｕｂＴｒａｃｋＧｒｏｕｐＢｏｘ（またはＨＥＶＣＴｉｌｅＳｕｂＴｒａｃｋＧｒｏｕｐＢｏｘ）は、以下の通りに定義することができる。
ＨＥＶＣタイルサブトラックグループボックス
定義
ボックスタイプ：「ｔｓｔｂ」
コンテナ：サブトラック定義ボックス（「ｓｔｒｄ」）
必須：なし
量：０以上
構文
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＴｉｌｅＳｕｂＴｒａｃｋＧｒｏｕｐＢｏｘ ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ（‘ｔｓｔｂ’， ０， ０） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｉｔｅｍ＿ｃｏｕｎｔ；
ｆｏｒ（ｉ ＝ ０； ｉ＜ ｉｔｅｍ＿ｃｏｕｎｔ； ｉ＋＋） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ＧｒｏｕｐＩｄ；
｝
｝
このボックス内のＧｒｏｕｐＩｄｓの和集合は、このボックスによって定義されたサブトラックを記述し、ｉｔｅｍ＿ｃｏｕｎｔは、このボックスにおいてリストアップされたタイルグループの数をカウントし、ＧｒｏｕｐＩｄは、このサブトラックにおいて収納されるタイル群の識別子を表現する。
図１６に戻ると、一旦リンクされれば、現在のタイムスタンプが前もって定義されたセグメント持続時間（ステップ１６１２）よりも大きいか否かを判定することによって現在のセグメントを終了するべきであるか否かをチェックすることによって、サーバはカプセル化を継続する。現在のタイムスタンプが前もって定義されたセグメント持続時間より大きい場合、サーバ上でストリーミングするための準備ができているものとして、ｍｐ４セグメントは保存され（ステップ１６１３）、ステップ１６０１において次のＮＡＬユニットを処理するために、ステップ１６００において、新たなセグメントが作成される。セグメント持続時間に到達していない場合、現在のセグメントのデータ部分を構成し続けるために、サーバは、ステップ１６０１において次のＮＡＬユニットを考慮する。
図１７は、ビデオの複数のタイルをカバーする関心領域の例を示す。図示されたように、新たなボックスＴｉｌｅＳｕｂＴｒａｃｋＧｒｏｕｐＢｏｘ（またはＨＥＶＣＴｉｌｅＳｕｂＴｒａｃｋＧｒｏｕｐＢｏｘ）は、１７００で参照されるビデオシーケンスにおいて１７０１で参照される関心領域を記述するのに有用になり得るし、関心領域は、１セットのビデオフレーム上で検出され（１７１０〜１７２０で参照される）、１枚以上のタイル（１７０２〜１７０５で参照される）をカバーするであろう。
この場合、サブトラックは、既定のＲＯＩを記述するために作成される。関連付けられたＳｕｂＴｒａｃｋＤｅｆｉｎｉｔｉｏｎＢｏｘは、サブトラックに関連付けられた前もって定義されたＲＯＩによって、どのタイルがカバーされるのかを（ｇｒｏｕｐＩＤのリストを通じて）示すためにａＴｉｌｅＳｕｂＴｒａｃｋＧｒｏｕｐＢｏｘ（またはＨＥＶＣＴｉｌｅＳｕｂＴｒａｃｋＧｒｏｕｐＢｏｘ）を含む。ＨＥＶＣビデオエレメンタリーストリーム内のＳＥＩメッセージにおいてこのような関心領域および対応するカバーされるタイルは提供され、ステップ１６０４〜１６０８、１６１０および１６１１によって取り扱うことができ得る。
以上に記述されたものと同様、図１１に図示されたある特定の実施形態によれば、シグナリングをトラックレベルにおいて行うことができる。
図１１は、ＨＥＶＣビットストリームをカプセル化するための、第１の実施形態による、メディアデータトラックを用いたイニシャライゼーションセグメントファイルのブロック図の一例を示す。それは図１０を参照して記載された例に基づく。
イニシャライゼーションセグメントファイル１１００およびメディアセグメントファイル（図示されず）は、ＩＳＯベースメディアファイルフォーマットにおけるＨＥＶＣ標準に準拠するビデオビットストリームを再構成してカプセル化するために用いられる。トラックは独立的にストリーミングされる。
上記のように、イニシャライゼーションセグメントファイルは、他のメディアセグメントファイル内にカプセル化されたタイムドメディアデータビットストリームを定義するのに必要なメタデータをすべて送信するために用いられる。図１１に図示されるように、イニシャライゼーションセグメントファイル１１００は、ファイルタイプボックス「ｆｔｙｐ」１１０５とムービーボックス「ｍｏｏｖ」１１１０とを含む。ファイルタイプボックス１１０５は、好ましくは、セグメントファイルがどのＩＳＯ ＢＭＦ規格に準拠するのかを識別し、その規格のバージョン番号を示す。ムービーボックス「ｍｏｏｖ」１１１０は、メディアセグメントファイル内に保存されたプレゼンテーションを記述するすべてのメタデータと、特にプレゼンテーションにおいて利用可能なすべてのトラックとを提供する。
ムービーボックス１１１０は、所定の例において、１つの複合トラック（１１１５−１）および１２のタイルトラック（１１１５−２〜１１１５−１３）を備えるトラック（「トラック」ボックス１１１５−１〜１１１５−１３）毎の定義を含む。
各トラックボックスは、少なくとも、トラックヘッダボックス「ｔｋｈｄ」総称して１１２０と、トラックメディアボックス「ｍｄｉａ」総称して１１２５とを含む。トラックが他のトラックからのデータに依存するならば、トラック参照ボックス「ｔｒｅｆ」もある。図示されるように、識別子ｔｒａｃｋ＿ＩＤ＝１を有する複合トラックは、識別子ｔｒａｃｋ＿ＩＤ＝２〜１３を有するトラックからのデータにタイルトラックが依存するということを示す、トラック参照ボックス「ｔｒｅｆ」１１３０を備える。
上述したように、他のボックスがタイムドメディアデータビットストリームをカプセル化するために用いられるＩＳＯ ＢＭＦＦ規格に必須または任意に依存することができるということに留意するべきである。しかしながら、本発明の実施形態は、適用可能にこれらのボックスに依存しないので、ここでは提示されない。
図１１を参照して記述された実施形態によれば、全ビデオ内のタイルの位置、タイルのサイズ、およびアーティファクトを伴わないでタイルトラックを復号することができるという指標のシグナル伝達は、トラックヘッダボックス「ｔｋｈｄ」（１１２０）およびメディア情報ボックス「ｍｄｉａ」（１１２５）のボックスを用いて、各トラック定義内の「ｍｏｏｖ」ボックス（１１１０）内にカプセル化されるべき全ＨＥＶＣビットストリームに対して１回行われる。
タイルの位置は、水平および垂直オフセット（ｈｏｒｉｚｏｎｔａｌ＿ｏｆｆｓｅｔおよびｖｅｒｔｉｃａｌ＿ｏｆｆｓｅｔ）を定義するＴｉｌｅＭｅｄｉａＨａｎｄｌｅｒＥｎｔｒｙボックスまたは「ｔｍｈｄ」（１１４０）と称される、新たなタイプのメディアヘッダ情報ボックス１１３５内に配置される。
考慮されるタイルのビジュアルプレゼンテーションのサイズは、既存のトラックヘッダの幅および高さパラメータに加えられる。必要に応じて、考慮されるタイルの現実の画素寸法は、（ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘとして知られているボックス内のＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ（）として知られているパラメータを介して）サンプル記述内にドキュメント化されることができる。
最後に、特定のトラック（タイルトラック）のシグナリングは、ハンドラボックス「ｈｄｌｒ」（１１４５）内で新たなタイプのトラック（「ｔｉｌｅ」）を定義することによって明示的に行われる。
イニシャライゼーションセグメントファイル１１００のムービーボックス「ｍｏｏｖ」１１１０は、「ｍｖｅｘ」ボックス１１５０をさらに備える。このボックスは、カプセル化されたファイルにアクセスするクライアントにムービー断片が存在することを通知するために用いられる。プレゼンテーション内の最長のトラックの持続時間をイニシャライゼーションセグメントファイルにおいて特定することができる。それは、プレゼンテーション持続時間の計算を単純化し、各ムービー断片持続時間の検査を回避する。図示されるように、ｍｖｅｘボックス１１５０は、各トラック（すなわちタイルトラックおよび複合トラック）のすべての断片に共通の情報、例えばトラック識別子およびトラックにおけるサンプルのデフォルトサイズ、の重複を回避するために、トラック毎にトラック拡張ボックスを含む。
タイルトラックのシグナリングのこのような実施形態は、通常のビデオトラックシグナリングと比較して著しいオーバヘッドを招かない、ということに留意するべきである。さらに、プレゼンテーションが分割されたムービー断片の数には依存しないままである。但し、それはビデオシーケンスに沿ったタイリング構成の変更には適合していない。
ビデオシーケンスに沿ったタイリング構成においてバリエーションを取り扱うのに適した別の特定の実施形態によれば、シグナリングは、ＩＳＯ ＢＭＦＦ規格からのサンプルグループ化メカニズムを用いて、サンプルレベルにおいて行われる。
このようなサンプルグループ化メカニズムは、トラック内のサンプルのパーティションを表現するために用いられる。それらは２つのボックスの使用に依存する、つまり、サンプルグループに対するサンプルの割り当てを記述するＳａｍｐｌｅＴｏＧｒｏｕｐボックス（「ｓｂｇｐ」）および特定のサンプルグループ内のサンプルの共通のプロパティを記述するＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス（「ｓｇｐｄ」）である。サンプルグループ化の特定のタイプは、タイプフィールド（「ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ」）を介して１つのＳａｍｐｌｅＴｏＧｒｏｕｐボックスと１つのＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスとの組み合わせによって定義される。複数のサンプルグループ化事例（すなわち、ＳａｍｐｌｅＴｏＧｒｏｕｐボックスとＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスとのペア）は、異なるグループ化基準に基づいて存在することができる。
本発明の実施形態によれば、サンプルのタイリングに関連する新たなグループ化基準が定義される。「ｔｉｌｅ」と呼ばれるこの新たなグループ化＿ｔｙｐｅは、タイルのプロパティを記述し、標準ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙから導き出される。（既存のＳｃａｌａｂｌｅＧｒｏｕｐＥｎｔｒｙまたはＭｕｌｔｉｖｉｅｗＧｒｏｕｐＥｎｔｒｙによりコヒーレンスを保持するためにそれがユニークなボックス識別子コード（普通はＩＳＯ ＢＭＦＦ内の４文字コード）を有するという条件の名称はすべて）ＴｉｌｅＲｅｇｉｏｎＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ ＨＥＶＣＳｐａｔｉａｌＥｎｔｒｙまたはＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙと称することができ、以下の通りに定義される。
ｃｌａｓｓ ＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙ （） ｅｘｔｅｎｄｓ ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ （‘ｔｒｓｇ’） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｔｉｌｅＩＤ； （ｏｒ ｇｒｏｕｐＩＤ）
ｕｎｓｉｇｎｅｄ ｉｎｔ（２） ｉｎｄｅｐｅｎｄｅｎｔ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（６） ｒｅｓｅｒｖｅｄ＝０；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｈｏｒｉｚｏｎｔａｌ＿ｏｆｆｓｅｔ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｖｅｒｔｉｃａｌ＿ｏｆｆｓｅｔ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｒｅｇｉｏｎ＿ｗｉｄｔｈ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ；
／／ ｏｔｈｅｒ ｂｏｘｅｓ
｝
この新たなタイプのグループエントリによれば、ｔｉｌｅＩＤ（またはｇｒｏｕｐＩＤ）パラメータは、グループによって記述されたタイルのための一意の識別子である。ｈｏｒｉｚｏｎｔａｌ＿ｏｆｆｓｅｔおよびｖｅｒｔｉｃａｌ＿ｏｆｆｓｅｔパラメータは、ベース領域の輝度サンプル内のＨＥＶＣフレームの左上画素に対して、タイルによって表現される矩形の領域の左上画素の水平および垂直オフセットをそれぞれ設定するために用いられる。ｒｅｇｉｏｎ＿ｗｉｄｔｈパラメータおよびｒｅｇｉｏｎ＿ｈｅｉｇｈｔパラメータは、ＨＥＶＣフレームの輝度サンプル内の、タイルによって表現される矩形の領域の、幅および高さをそれぞれ設定するために用いられる。非依存パラメータは、タイルは、非依存タイルの定義を参照して上記のように同じタイルに属するサンプルのみに関連する復号化依存性を備える、ということを指定する２ビットのワードである。説明の都合上、およびタイル構成を記述するためのＳＥＩメッセージの標準的用法を参照するために、ｔｉｌｅ＿ｓｅｃｔｉｏｎ＿ｅｘａｃｔ＿ｍａｔｃｈ＿ｆｌａｇとして知られているフラグは、非依存フラグの値を設定するために用いることができる。後者の意味は、以下の通り設定することができる。
・非依存パラメータが０に等しい場合、同じフレーム内または前フレーム内のこのタイルと他のタイルとの間の符号化の依存関係は、未知である。情報は、潜在的な復号化依存性のシグナリングのためにトラック参照ボックスの探索によって発見することができる。
・非依存パラメータが１に等しい場合、同じフレーム内のこのタイルと他のタイルとの間に空間的な符号化依存関係はないが、過去のフレーム内に同じｔｉｌｅＩＤを有するこのタイルとタイルとの間には符号化依存関係が存在する場合がある。
・非依存パラメータが２に等しい場合、同じフレームまたは過去のフレーム内に同じｔｉＩｅＤを有するこのタイルと他のタイルとの間に符号化の依存関係はない。
非依存パラメータ値３は、他のタイルからの単純なｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｈｅａｄｅｒ依存関係を示すために用いることができる。これは１つのスライスが複数のタイルを含むケースになり得る。１つのタイルは、依存するスライスセグメント、ひいては先の非依存スライスセグメントが符号化されるタイルに依存するスライスセグメントのみによって符号化されることができる。このようなケースにおいて、現在のものが依存するタイルの情報は、トラック参照ボックスにおいて発見することができる。
オプションとして、１タイル当たりの平均ビットレートを記述するパラメータは、帯域幅に基づく適応のためにストリーミングクライアントに対して提供するために、タイル記述子において設定することができる。
この実施形態によれば、各タイルのプロパティは、各タイルトラックに対して、「ｔｉｌｅ」ｇｒｏｕｐｉｎｇ＿ｔｙｐｅをもつ１つのＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス（「ｓｇｐｄ」）およびＨＥＶＣＳｐａｔｉａｌＥｎｔｒｙ（またはＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙ）を定義することによって、ムービーヘッダ（「ｍｏｏｖ」ボックス）内に１回与えられる。そして、ＩＳＯ ＢＭＦＦ規格にしたがって、ＳａｍｐｌｅＴｏＧｒｏｕｐボックスは、サンプルの数が予め認識されていないので、そのプロパティにタイルトラック断片の各サンプルを関連づけるために、各タイルトラック断片において定義される。
タイルのグリッドが経時的に変化した場合、新たなＨＥＶＣＳｐａｔｉａｌＥｎｔｒｙ（またはＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙ）をもつ新たなＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス（「ｓｇｐｄ」）は、トラック断片ボックス（「ｔｒａｆ」）において定義され、ＳａｍｐｌｅＴｏＧｒｏｕｐボックス（「ｓｂｇｐ」）によって参照されることができる。そのため、グリッドが経時的に静的であるケースにおいて、少なくとも１つのＳａｍｐｌｅＴｏＧｒｏｕｐボックスは、タイルトラックおよびタイルトラック断片毎に定義される。このボックスは、記述の点から、少なくとも２８バイトを表現する。２秒の持続時間の断片をもつ１６枚のタイルを想定すると、これは、ＳａｍｐｌｅＴｏＧｒｏｕｐボックスに対してのみで、経時的にタイリング構成をシグナリングするために１７９２ビット／秒をに相当するだろう。グリッドが経時的に変化するケースにおいて、コスト（データ量の点での）は、より高くなるであろう。以下に記載されるように、この追加のイニシャライゼーションデータの量は減少させることができる。
サンプルグループボックスは、メタデータを個々サンプルに対して追加するために効率的で且つ拡張可能なツールを提供する、ということに留意するべきである。但し、これは各ＡＵにおいて固定ＮＡＬＵパターンをもつ（すなわち時間に沿った静的なタイリング構成をもつ）タイリング記述子のケースになり得るので、所定のメタデータが所定のトラックのすべてのサンプルに対して有効である、ということは非常にありふれたことである。
これはＳａｍｐｌｅＴｏＧｒｏｕｐボックスを用いて、グループの各サンプルにしたがってフラグを立てることによって示すことができる。
交互に、１タイルトラック当たりのイニシャライゼーションデータの量を低減するために、いくつかのサンプルグループは「デフォルト」（すなわち、すべてのサンプルに対して有効）としてマーク付けすることができる。このデフォルトのグループ化は、静的なタイリング構成に対して、全シーケンスに対して１トラック当たり１回「ｍｏｏｖ」ボックスレベルで定義されるので、バイトに関して記述コストを制限する。
そのために、グループ記述タイプの第２のバージョン（バージョン＝２）は、参照されたサンプルグループが、現在のトラックまたは現在のトラック断片におけるすべてのサンプルに適用される、ということを（ｇｒｏｕｐｉｎｇ＿ｔｙｐｅとして知られているパラメータを介して）示すＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘとして知られているボックス（ｔｒａｆ／ｓｔｂｌボックス毎に複数のＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘが存在する場合がある）において用いることができる。
サンプルグループ記述ボックスの新バージョンは、以下の通りに定義することができる。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘ （ｕｎｓｉｇｎｅｄ ｉｎｔ （３２） ｈａｎｄｌｅｒ＿ｔｙｐｅ） ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ（‘ｓｇｐｄ’， ｖｅｒｓｉｏｎ， ０） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ；
ｉｆ （ｖｅｒｓｉｏｎ ＝＝１） ｜｜ （ｖｅｒｓｉｏｎ＝＝２） ｛ｕｎｓｉｇｎｅｄ ｉｎｔ （３２） ｄｅｆａｕｌｔ＿ｌｅｎｇｔｈ；｝
ｕｎｓｉｇｎｅｄ ｉｎｔ （３２） ｅｎｔｒｙ＿ｃｏｕｎｔ；
ｉｎｔ ｉ；
ｆｏｒ （ ｉ ＝ １； ｉ ＜＝ ｅｎｔｒｙ＿ｃｏｕｎｔ； ｉ＋＋ ） ｛
ｉｆ （ｖｅｒｓｉｏｎ ！＝ ０） ｛
ｉｆ （ｄｅｆａｕｌｔ＿ｌｅｎｇｔｈ＝＝０） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｄｅｓｃｒｉｐｔｉｏｎ＿ｌｅｎｇｔｈ；
｝
｝
ｓｗｉｔｃｈ（ｈａｎｄｌｅｒ＿ｔｙｐｅ） ｛
ｃａｓｅ ‘ｖｉｄｅ’： ／／ ｆｏｒ ｖｉｄｅｏ ｔｒａｃｋｓ
ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ（ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ）；
ｂｒｅａｋ；
ｃａｓｅ ‘ｓｏｕｎ’： ／／ ｆｏｒ ａｕｄｉｏ ｔｒａｃｋｓ
ＡｕｄｉｏＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ（ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ）；
ｂｒｅａｋ；
ｃａｓｅ ‘ｈｉｎｔ’： ／／ ｆｏｒ ｈｉｎｔ ｔｒａｃｋｓ
ＨｉｎｔＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ（ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ）；
ｂｒｅａｋ；
｝
｝
このＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスの拡張タイプによれば、バージョンが２に等しい場合、このグループ記述および任意のＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙは、現在のトラックまたはトラック断片のすべてのサンプルに対して適用する。サンプルグループ記述ボックスが明確であることを示す別の実施形態は、ＩＳＯベースメディアファイルフォーマットのいくつかのボックスにおいて既に用いられているフラグ属性のサポートによって、このボックスを拡張することである。この実施形態において、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘに対する新たな定義は、以下の通りである。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘ （ｕｎｓｉｇｎｅｄ ｉｎｔ （３２） ｈａｎｄｌｅｒ＿ｔｙｐｅ） ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ（‘ｓｇｐｄ’， ｖｅｒｓｉｏｎ， ｆｌａｇｓ） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ；
ｉｆ （ｖｅｒｓｉｏｎ＝＝１） ｛ ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｄｅｆａｕｌｔ＿ｌｅｎｇｔｈ； ｝
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｅｎｔｒｙ＿ｃｏｕｎｔ；
ｉｎｔ ｉ；
ｆｏｒ （ｉ ＝ １ ； ｉ ＜＝ ｅｎｔｒｙ＿ｃｏｕｎｔ ； ｉ＋＋）｛
ｉｆ （ｖｅｒｓｉｏｎ＝＝１） ｛
ｉｆ （ｄｅｆａｕｌｔ＿ｌｅｎｇｔｈ＝＝０） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｄｅｓｃｒｉｐｔｉｏｎ＿ｌｅｎｇｔｈ；
｝
｝
ｓｗｉｔｃｈ（ｈａｎｄｌｅｒ＿ｔｙｐｅ） ｛
ｃａｓｅ ‘ｖｉｄｅ’： ／／ ｆｏｒ ｖｉｄｅｏ ｔｒａｃｋｓ
ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ（ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ）；
ｂｒｅａｋ；
ｃａｓｅ ‘ｓｏｕｎ’： ／／ ｆｏｒ ａｕｄｉｏ ｔｒａｃｋｓ
ＡｕｄｉｏＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ（ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ）；
ｂｒｅａｋ；
ｃａｓｅ ‘ｈｉｎｔ’： ／／ ｆｏｒ ｈｉｎｔ ｔｒａｃｋｓ
ＨｉｎｔＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ（ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ）；
ｂｒｅａｋ；
｝
｝
｝
セマンティックスは変更されず、唯一の差は、以下の通り定義されたフラグ属性の導入である。すなわち、以下のフラグはｓｇｐｄに対して定義される：「０ｘ０００００１：サンプルグループはデフォルトである」は、このトラックまたは現在の断片におけるサンプルがすべてこのグループに対して割り当てられるということを示し、結果的に、このボックスにおいて定義されたすべてのエントリ（特定のサンプルグループエントリ）は、トラックまたはトラック断片（ｔｒａｆ）におけるすべてのサンプルに対して適用する。デフォルトｓｇｐｄボックスが、同じｇｒｏｕｐｉｎｇ＿ｔｙｐｅをもつデフォルトｓｇｐｄボックスを持つ（すなわち、上記のフラグ値、またはバージョン＝２を持つ、またはすべてのサンプルに対して適用するようにシグナリングする何らかの他の手段によって）トラックのためにトラック断片（ｔｒａｆ）において定義される場合、ｔｒａｆにおいて定義されたｓｇｐｄボックスのみが考慮されるものとする。ムービー断片のサイズを変更する、またはそれらを取り除く、場合、デフォルト関連付けがもはや適用しないということが起こり得る。その場合には、通常のＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘは、ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘボックスとともに、新らたな関連付けを反映するように作成されるべきである。このデフォルトのグループ化メカニズムは、分離したトラックにおいてカプセル化された場合のＧＤＲ（段階的復号化リフレッシュ：Ｇｒａｄｕａｌ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）グループ若しくはタイル、または他のサンプルグループ記述タイプの場合の「ロール」などのサンプル記述に対して有用（低減された記述コスト）になり得る。
ｇｒｏｕｐｉｎｇ＿ｔｙｐｅパラメータは、このサンプルグループ記述に関連付けられたＳａｍｐｌｅＴｏＧｒｏｕｐボックスを識別する整数である。トラックまたはトラック断片がそのイニシャライゼーションデータにおいてバージョン＝２をもつＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスを備える場合、（記述が定義によってすべてのサンプルに対して適用するので）対応するｇｒｏｕｐｉｎｇ＿ｔｙｐｅを記述するＳａｍｐｌｅＴｏＧｒｏｕｐボックスをこれらのイニシャライゼーションデータに加える必要はない、ということに留意するべきである。
サンプルグループ記述ボックスの新バージョンのこの定義において、ｅｎｔｒｙ＿ｃｏｕｎｔは、以下のテーブル内のエントリの数を与える整数であり、ｄｅｆａｕｌｔ＿ｌｅｎｇｔｈは、すべてのグループエントリの長さを示し（長さが定数である場合は）、またはそれが可変である場合はゼロを示し、エントリからエントリに対して変化し、そのため、ｄｅｆａｕｌｔ＿ｌｅｎｇｔｈがゼロである場合、ｄｅｓｃｒｉｐｔｉｏｎ＿ｌｅｎｇｔｈは、個々のグループエントリの長さを示す。
この実施形態によれば、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅは、空間／タイルのグループ化を示すために特定の値を有することができ、それは、例えば「ｔｉｌｅ」のためのＡＳＣＩＩコードに対応する１６進値（０ｘ７４６９６Ｃ６５）になり得る。ｇｒｏｕｐｉｎｇ＿ｔｙｐｅに対して同じ値をもつこのボックスの多くとも１つの出現は、トラック毎に存在するものとする。
経時的に移動する適応型グリッドの場合には、グループボックスに対するサンプルは、同一のままであり（すなわち「ｔｉｌｅ」ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ）、すべてのサンプルに対して適用し続ける、ということに留意するべきである。そのため、デフォルトの構成から変更されたタイリング構成がｍｏｏｖ／ｔｒａｋ／ｍｄｉａ／ｍｉｎｆ／ｓｔｂｌボックス内でシグナリングされるタイルトラックのトラック断片において、サンプルグループ記述ボックスのみを更新する必要がある。これは、適応型タイルのための信号化コストを低減する。
交互に、および１タイルトラック当たりのイニシャライゼーションデータの量をさらに低減するために（各タイルトラック断片内のＳａｍｐｌｅＴｏＧｒｏｕｐボックスを繰り返さないようにするために）、参照された新たなＤｅｆａｕｌｔＳａｍｐｌｅＴｏＧｒｏｕｐｓボックス「ｄｓｇｐ」（または同じセマンティックスを有する別の同様のボックス）は、イニシャライゼーション情報の一部として各ｍｏｏｖ／ｔｒａｋボックスからＳａｍｐｌｅＴａｂｌｅボックス（「ｓｔｂｌ」）においてのみ含まれるように定義される。この新たなボックスは、すべてのサンプルに対してトラック内のすべてのサンプルに適用する１セットのサンプルグループ記述を関連づけるだろう。
新たなＤｅｆａｕｌｔＳａｍｐｌｅＴｏＧｒｏｕｐボックスは、以下の通りに定義されることができる。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＤｅｆａｕｌｔＳａｍｐｌｅＴｏＧｒｏｕｐｓ ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ（‘ｄｓｇｐ’， ｖｅｒｓｉｏｎ， ０） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｅｎｔｒｙ＿ｃｏｕｎｔ；
ｆｏｒ （ｉ＝１； ｉ ＜＝ ｅｎｔｒｙ＿ｃｏｕｎｔ； ｉ＋＋） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ；
ｉｆ （ｖｅｒｓｉｏｎ ＝＝ １） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒ；
｝
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｇｒｏｕｐ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｉｎｄｅｘ；
｝
｝
ここで、ｅｎｔｒｙ＿ｃｏｕｎｔパラメータは、各サンプルに関連付けられるグループのリスト内のエントリの数を与え、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅパラメータは、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスにおいて参照されたタイプのグループ化のための識別子である。例えば、特定のある実施形態において、グループ化タイプは、空間／タイルのグループ化を示す特定の値を有することができる。それは、例えば「ｔｉｌｅ」のためのＡＳＣＩＩコードに対応する１６進値（０ｘ７４６９６Ｃ６５）になり得る。ｇｒｏｕｐ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｉｎｄｅｘパラメータは、このグループにおいてサンプルを記述するサンプルグループエントリのインデックスを与える整数である。インデックスは、１からＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス内のサンプルグループエントリ数までの範囲であるか、または、このサンプルがこのタイプの任意のグループのメンバーではないことを示す値ゼロをとる。最後に、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒパラメータは、グループ化のサブタイプのための指標である（もしグループ化タイプによって用いられれば）。
これは、もしタイルグループ化が使用中であれば（ｅｎｔｒｙ＿ｃｏｕｎｔ＝１）ムービー断片の数がいくつであっても１タイル当たり多くとも３２バイトを用いて、トラックからのすべてサンプルが所定のグループ化タイプのための同一グループの記述に追従するということをシグナリングすることを可能にする。経時的に移動する適応型グリッドの場合には、トラック断片において新たなＤｅｆａｕｌｔＳａｍｐｌｅＴｏＧｒｏｕｐｓボックスおよび新たなＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスを定義することができるかもしれない。新たなＤｅｆａｕｌｔＳａｍｐｌｅＴｏＧｒｏｕｐｓボックスは、先の定義を置き換え、新たなＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス内の新たなタイル記述を参照する。従って、ＳａｍｐｌｅＴｏＧｒｏｕｐボックスは、各々のトラック断片毎には定義されず、タイルグリッド定義が変更された場合にのみ定義される。
さらに、ビデオシーケンスに沿ったタイリング構成においてバリエーションを取り扱うのに適した特定の実施形態によれば、シグナリングは、新たなサンプルマップボックスによってサブサンプルレベルにおいて行われる。
さらに、特定の実施形態によれば、一般的なシグナリングは、符号化の依存関係に対して用いられる。この実施形態によれば、各タイルは、１トラックにおいて符号化され、抽出器（記述サイズ（普通はタイル毎に１サンプル当たり１４バイト）の点からコストのかかる）以外の参照が用いられる。
図１８は、符号化の依存関係ための一般的なシグナリングを用いたＨＥＶＣビットストリームをカプセル化する一例を示す。図１７において図示したもののように、それは、単層ストリームのためのカプセル化の例を提供する。それはタイル化ＨＥＶＣビデオエレメンタリーストリームに対応する。明瞭にするために、個別のトラックのデータ部分のみが図１８において表現される（ヘッダ部分は図１９ａに示される）。これらのデータ部分は、以下のように表現する。
・データを集約するために用いられる複合または仮想トラック１８１０、
・すべてのトラックに対して共通の情報を保存するパラメータセットトラック１８２０、および
・所定のタイルのための圧縮されたビデオデータを各々が含むタイルトラック１８３０〜１８９０（説明のために、タイルトラック１８３０および１８９０のみが表現される）。
図１４と比較すると理解することができるように、図１８に図示されたタイルトラック内のサンプルは、もはや抽出器ＮＡＬユニットを用いない。これにより、タイルトラックの記述はより小さなサイズになる。連続的な矢印が復号順序の依存関係を表現する一方で、破線の矢印は、復号化依存性を示す。
例えば、複合トラック１８１０内の１８１１で参照される第１のサンプルは、パラメータセットトラック１８２０の第１のサンプル１８２１と、各タイルトラック１８３１〜１８９１の第１のサンプルとに依存する。これは、１８１９で参照されるサンプルｎと同じである。これらの依存関係は、図１４に図示されたものと同様であるが、後者は、抽出器データ構造により表現されるのでサンプル毎の１依存関係当たり１４バイトのオーバヘッドになる。
よりコンパクトな記述を提供する好ましい実施形態は、以下に提案される。この好ましい実施形態は、以下のことを可能にする。
・復号順序を指定すること、
・ベースおよび強化の固定パターン（または非ＶＣＬ＋タイル）の場合に、サンプル毎に繰り返しの代わりに連結のための単純なルールを提供すること、すなわち、このような単純なルールは、また、オーバヘッドを減少させることを可能にする（抽出器ＮＡＬＵの必要性がない）、および
・抽出器が抽出器を指すことができないという事実をバイパスすること（ＩＳＯ／ＩＥＣ１４４９６−１５のサブ付記項Ａ．３．１を参照）、そのため、Ｎ番目のスケーラブル層は、完全なストリームを集約するために１サンプル当たりＮ個の抽出器を必要とする。
この実施形態によれば、すべてまたは少なくともいくつかのサンプルを処理するために依存関係リンクの１つの記述を用いることができるように、サンプル上の依存関係リンクの反復が用いられる。言いかえれば、各トラックのヘッダ部分における依存関係リンクのこのような反復によって、それらを因数分解することができ、したがって記述コストを低減することができる。
符号化の依存関係に対して総括的なシグナリングを用いた、カプセル化されたトラックのためのトラックヘッダおよびトラック参照の一例を示す、図１９ａおよび図１９ｂを備える図１９に図示されるように、ｍｏｏｖヘッダボックスは、このような依存関係の記述を保存するために用いることができる。
説明のために、図１９ａのｍｏｏｖヘッダ１９００は、図１８に図示されたトラックのヘッダデータ（ｔｒａｋボックス）に対応する。より正確には、図１８の複合または仮想トラック１８１０のヘッダ情報は、参照符号１９１０により図１９ａにおいて表現され、図１８のパラメータセットトラック１８２０のためのヘッダーデータは、参照符号１９２０により図１９ａにおいて表現され、タイルトラックのためのヘッダーデータは、図１８におけるタイルトラック１８３０またはタイルトラック１８９０のような参照符号１９４０により図１９ａにおいて表現される。
図示されるように、各トラックボックスは、参照タイプおよびこの特定の参照タイプに関係するトラックＩＤのリストとして、所定のトラックのための依存関係をリストアップするｔｒｅｆにより示されたトラック参照ボックスを含む。説明のために、ｄｐｎｄおよびｄｏｄｐで示される２つの参照タイプが用いられる。第２の参照タイプが復号順序の依存関係を示す一方で、第１の参照タイプは、復号化依存性を示す。それらは、ＩＳＯ／ＩＥＣ１４４９６のパート１２またはパート１５において定義された他の既存の参照タイプと組み合わせることができる。ｄｐｎｄおよびｄｏｄｐの名称が例として与えられており、それらがＩＳＯのベースメディアファイルフォーマットおよびその拡張における他のコードと衝突しないという条件で任意の他の４文字コードを用いることもできる、ということに留意するべきである。
図示された例において、複合トラックは、パラメータセットトラックおよび各タイルトラック上の復号化依存性を有する。したがって、（１９１１で参照される）そのｔｒｅｆボックスは、複合トラックが依存するトラックとして他のすべてのトラックをリストアップする。一方、パラメータセットトラックには、（１９２１を参照して理解することができるように）復号化依存性がない。そのため、図１３に対する参照によって本明細書の以下に記載されるような「ｈｂａｓ」依存関係を用いて、ベーストラックとして、他のトラックから参照することもできる。これにより、図２０を参照して記述されるようなクライアントエンドにおいて行われる構文解析処理を単純化することができる。
この参照メカニズムは、各トラックに対して表示することができるトラックを再構築するために必要な他のすべてのトラックを示し、トラック内に収納されるＮＡＬユニット間の適切な復号順序をさらに保証する。
図２０は、符号化の依存関係のための総括的なシグナリングを用いてカプセル化されたｍｐ４ファイルまたはセグメントを解釈するためにクライアント装置によって実行されるプロセスを示すフローチャートである。
図示されるように、第１のステップ（ステップ２０００）は、サーバからダウンロードされたか、またはセグメントとしてストリーミングされたローカルファイル若しくはファイルになり得るｍｐ４ファイルを受信することにある。次のステップ（ステップ２００１）において、ｍｏｏｖボックスおよびｔｒａｋボックスは、ユーザデータボックスが存在し、且つトラック選択ボックス（ｔｓｅｌ）を含むか否かを判定するために配置される。これにより、表示するトラックを選択する際に、クライアント装置またはユーザーを支援することができる。
トラック選択ボックスが存在しない場合（すなわち、ステップ２００１の結果は偽である）、最初に遭遇したｔｒａｋボックスに対応するトラックは、デフォルトとして選択される（ステップ２００２）。一方、トラック選択ボックスが存在する場合（すなわち、ステップ２００１の結果は真である）、クライアント装置は、ユーザーの選択においてユーザーを支援するために、ユーザーに対してトラックの属性を提示することができる（ステップ２００３）。交互に、クライアント装置は、トラックヘッダボックス内のトラックに関連付けられたメディアハンドラ情報を解析することができる（例えば図１１を参照）。この実施形態によれば、ビデオトラックのみ（例えば図１８における複合トラック１８１０）を選択することができ、タイルトラック（例えば、図１８におけるタイルトラック１８３０〜１８９０）またはパラメータセットトラック（例えば、図１８におけるパラメータセットトラック１８２０）は選択されない。
次のステップ（ステップ２００４）において、クライアント装置は、復号化に従属しているトラックのリストを構築するために、選択されたトラックのトラック参照ボックスを解析し始める。リスト内の各々のトラックに対して、復号化依存性を反復して処理する（ステップ２００５）。
このリストを構築する間に、クライアントは、すべての従属トラックが他のトラックに対する依存関係を含む「ｄｐｎｄ」参照タイプを含むか否かをチェックする（ステップ２００６）。このような場合、このような場合が生じるべきでないので、処理は終了する（ステップ１００７）。一方、従属トラックの少なくとも１つが他のトラックに対する「ｄｐｎｄ」参照タイプを含まない場合、ステップ２００９においてサンプルの生成をガイドする順序付けられたトラック（ステップ２００８）のリストを構築するために、それはベーストラックとして選択される。その順序は、このトラック（図１９における参照符号１９２２）において宣言される「ｄｏｄｐ」依存関係に従うことによって与えられる。
このステップは、ステップ２００８から取得されるような順序付けられたトラックおよび同じタイムスタンプを有するＮＡＬユニットに対して繰り返す。所定のトラックに対して、同じタイムスタンプをもつＮＡＬユニットは、すべて連結される。ＮＡＬユニットは、再び同じタイムスタンプなどをもつ順序付きリスト内の次のトラックからトラックの順序付きリストの端部までそのように連結されたＮＡＬユニットに後続する。その後、次のサンプルは、入力されたセグメントまたはファイルの端部まで同じ原理で構築される（次のタイムスタンプに対応する）。
これにより、ステップ２０１０においてビデオエレメンタリーストリームが生成される。
どのトラックがベーストラックであるのかを示す依存情報を追加することによって、クライアント装置によって実行される処理、特にベーストラック（すなわちステップ２００５および２００６）を得るステップ、を単純化することができる、ということに留意するべきである。これは、例えば、トラック参照タイプ「ｔｂａｓ」またはＩＳＯ／ＩＥＣ１４４９６−９５内にあるようなｓｂａｓまたは図１３を参照して記述されるようなボックス「ｈｂａｓ」を用いることによって行うことができる。
また、検証ステップは、特にすべてのデータがクライアント装置内に一般的に存在するとは限らないというストリーミング構成において、ステップ２００４（その間クライアントが復号化依存性に従う）と組み合わされることができる、ということに留意するべきである。実際は、復号化依存性がクライアント装置によって読み取られる場合、被参照トラックは、クライアント装置に存在しなければならず、そうでなければ、復号化が可能にならない。それらがまだ受信されていない場合、クライアントがサンプル（ステップ２００９）を作成することを可能にするように、その時に、それらを要求することができる。反対に、ステップ２００８において構築されたトラックの順序付きリストにおいて、１つのトラックがクライアント側において利用可能でない場合に、エラーを伴わずにそれを無視することができる。これは、全ビデオの空間的サブパーツのみを再生することを可能にする。
明瞭にするために、図１９ｂに図示された例は、単層のタイル化ストリームのみが非依存タイルとともにカプセル化される単純なケースである。非依存タイルでない場合、いくつかの復号化依存性は、トラック参照ボックスにおいてシグナリングされ、このトラックからのＮＡＬＵがトラック内のものの前に生じるものとするということを示すために、復号順序の依存関係も、また、トラックにおいてシグナリングされる。例えば、図１９ｂに示されるように、タイルｉが４に等しいＩＤを有するトラックに対応するタイルとの符号化依存性を有する場合（参照１９８０）、復号順序１９８１はトラック参照ボックスにおいてシグナリングされ、復号順序の依存関係は、ＩＤ＝ｔｉｌｅｉをもつトラック内のものの前にこのトラックからのＮＡＬＵが生じるものとするということを示すために、ＩＤ＝４（参照１９７０）をもつトラックにおいてシグナリングされる（１９７１）。エンハンスメントレイヤにおけるタイルが下位層における同じタイルに依存する場合に、これは同じになるだろう。
図２１ａの復号化依存性グラフを考慮すると、図２０に関連して記述された処理は、図２１ｂに図示される。「ｄｏｄｐ」依存関係は、最後に、上方に進むトラック参照を用いて依存関係を記述する。図示されるように、依存関係グラフは、トラックＴ１（２２０１）から依存関係に与えられる順序、２２１２、２２１３、および２２１４、を備える。これらの依存関係は、時間ｔにおけるサンプルＳｉの予期された処理順序が、Ｓ１（ｔ）、Ｓ２（ｔ）、Ｓ３（ｔ）、Ｓ４（ｔ）、Ｓ５（ｔ）であるものとするということを示す。時間ＭＴ２において、トラックＴ１上にサンプルがなく、且つトラックＴ４上にサンプルがない場合、サンプルの処理順序は、Ｓ２（ＭＴ２）、Ｓ３（ＭＴ２）、Ｓ５（ＭＴ２）であるものとし、したがって、サンプルが所定の時間に利用可能でない場合に復号順序の依存関係を無視する。
最後に、この新たな復号順序または上方向の依存関係（「ｄｏｄｐ」または４文字コードの名称であるものすべて）は、以下の通り要約することができる。すなわち、「ｄｏｄｐ」参照は、参照するトラックと参照トラックとの間の依存関係サブツリーを定義する。被参照トラックは、また、他のサブツリーを定義する、「ｄｏｄｐ」を有してもよい。「ｄｏｄｐ」を有しており、どのような「ｄｏｄｐ」によっても参照されていないトラックは、依存関係ツリーのルートである。いかなるメディア時間ＭＴに対して、依存関係ツリーにおけるトラックの１つにサンプルがある場合、メディア時間ＭＴを持つＴｒａｃｋｔｒｅｆ［ｉ］からのサンプルは、もしあればメディア時間ＭＴをもつＴｒａｃｋｔｒｅｆ［ｉ＋１］からのサンプルの前に、 但しもしあれば参照するトラックのメディア時間ＭＴをもつサンプルの後に、メディアプロセッサに対して渡されるものとする。ルートから開始して、１レベルの依存関係ツリーにおけるすべてのトラックが第１に取り扱われ、その後、より深いレベルにおけるトラックが取り扱われる。同じトラックを参照する複数の依存関係が発見されれば、参照の最初の出現に対応するサンプルのみがメディアプロセッサに対して渡されるものとする。
同じメディアハンドラを有していないトラック間に（「ｄｏｄｐ」）参照を持つのはエラーであるが、同じサンプル記述タイプを有していないトラックに（「ｄｏｄｐ」）参照をもたせることができる。
それは、「ｄｏｄｐ」トラック参照を伝えるために用いられるサンプルをトラックにもたないことができ、これにより、例えば「ｄｏｄｐ」を伝える空きのトラックのサンプル記述内に保存されたすべてのパラメータセットをもつＩＳＯＢＭＦファイル内の分離されたトラック内に格納されたＨＥＶＣタイルの符号化階層を記述することができる。
「ｄｏｄｐ」によって参照されるトラックは、個々に処理可能ではないかもしれないが、その場合には、後方互換性の理由のため、これらのトラックは、無効としてマークされるものとする。「ｄｏｄｐ」認識メディアプロセッサは、無効のトラックのすべて若しくは一部を再生することを判断してもよい。
より一般的に、復号順序の依存関係は、コード化された依存メディアの柔軟な記述を可能にするか、または単純なサンプルデータのパーティショニングを提供する。実際に、抽出器とは反対に、このメカニズムは、実際のＮＡＬユニット集約処理から依存関係記述を分離する。その後、外部手段によって保存または配送されたベースメディアストリーム（複数可）のために、ＩＳＯＢＭＦファイル内に保存されたエンハンスメントレイヤの符号化の依存関係を記述することを可能にする。
抽出器の使用に基づいたシグナリングよりもさらなる適応性を提供するこの依存関係のシグナリングの拡張は、復号化依存性が時間に沿って変化するケースを対象とする。例えば、いくつかのタイルトラックから構成される仮想トラックは、所定の時間における関心領域を表現することができる。この関心領域は、仮想トラックと（ＲＯＩによってカバーされた）トラックタイルとの間の依存関係の改良に結びつく時間に沿って変更してもよい。このようなケースを取り扱う位置になるために、新たなトラック参照ボックスは、トラック断片レベルにおいて導入される。すなわち、ｔｒａｋボックス内の広範囲なトラック参照ボックスにおいて宣言される依存関係に一時的に過負荷をかけることを可能にする「トラック断片リファレンスボックス」（ｔｆｒｆ）である。
タイリング構成に関するサンプル記述のためのこの実施形態は、カプセル化されたタイル化ＨＥＶＣビットストリームを単一のトラックに対して適用する。ＭＰＥＧ−４規格に適合する単一のビデオトラックにダウンロードされた空間部分を保存するために、複合トラックの抽出器の決定の後に、タイル化ＨＥＶＣビットストリームのＭＰＥＧ−４カプセル化のための、またはクライアント側における応用を見出してもよい。別の応用は、抽出器をサポートしないＭＰＥＧ−４を準拠する標準的な単一トラックへの複合トラックの変換を対象とすし、ＭＰＥＧ−４構文解析ツールに対してアドレスされる。
図１２ａおよび図１２ｂをからなる図１２は、様々なタイリング構成を取り扱うのに適した、サブサンプルレベルにおける、フルビデオ内のタイルの位置と、タイルのサイズと、アーティファクトを伴わずにタイルトラックを復号することができるという指標とのシグナル伝達を示す。
図１２ａは、クライアント装置（例えばビデオプレーヤ）によって実行されるステップを示す。第１のステップ（ステップ１２００）において、クライアント装置は、イニシャライゼーションデータをダウンロードするか、またはファイルがローカルファイルである場合イニシャライゼーションデータ、例えばＭＰＥＧ−４規格に準拠するカプセル化されたビットストリームのイニシャライゼーションデータ、普通はｍｏｏｖボックスのコンテンツ、を読み取る。
これらのイニシャライゼーションデータから、クライアント装置は、そこにタイル情報が符号化されているトラックヘッダ情報を解析することができる（ステップ１２０５）。このタイル情報により、ユーザーは、１つ以上のタイルに対応することができるクライアント装置のグラフィカルインターフェースを介して関心領域を選択することができる（ステップ１２１０）。
複合トラックと同様に対応するタイルトラックも、クライアント装置によってダウンロードされるか、または読み取られる（ステップ１２１５および１２２０）。次に、複合トラックの抽出器は、単一のビデオトラック（ステップ１２２５）を取得するようにタイルトラックを用いて決定される。最後に、クライアント装置は、取得されたビデオトラック（ステップ１２３０）において、例えばＳａｍｐｌｅＴａｂｌｅＢｏｘ内に、タイリング記述を構築して追加する。
タイリング記述の例は、図１２ｂに示される。図示されるように、タイリング記述１２５０は、ムービーボックス「ｍｏｏｆ」１２５５とデータボックス「ｍｄａｔ」１２６０とを備える。「ｍｏｏｆ」ボックス１２５５は、個別のサンプルグループを記述するＳａｍｐｌｅＴｏＧｒｏｕｐボックス１２６５を含む１トラック当たり１つのＳａｍｐｌｅＴａｂｌｅボックスと、各サンプルのＮＡＬユニット間のマッピングとタイルとを記述するサンプルグループ記述ボックス１２７０と、タイル記述を含むサンプルグループ記述ボックス１２７５とを含む。グループボックス１２６５に対するサンプルは、グループエントリＴｉｌｅＳａｍｐｌｅＭａｐＥｎｔｒｙのための「ｔｓｇｍ」グループ化タイプを示す。
ＴｉｌｅＮＡＬＵＭａｐＥｎｔｒｙ（より一般的にはＮＡＬＵＭａｐＥｎｔｒｙ）グループエントリ１２７０は、サンプルのＮＡＬユニット間のマッピングと、タイルとを定義する（これは、このような実施形態がサブサンプルレベルシグナリングを参照する理由である）。ｇｒｏｕｐｉｎｇ＿ｔｙｐｅパラメータが「ｔｓｇｍ」に等しいこのボックスは、１サンプル当たりのＮＡＬユニットの数を含む。
ＴｉｌｅＮＡＬＵＭａｐＥｎｔｒｙ（またはＮＡＬＵＭａｐＥｎｔｒｙ）ボックスは、（図１２ｂに図示されたように）以下の様に定義することができる。
ｃｌａｓｓ ＴｉｌｅＮＡＬＵＭａｐＥｎｔｒｙ（） ｅｘｔｅｎｄｓ ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ （‘ｔｓｇｍ’） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｒｅｓｅｒｖｅｄ ＝ ０；
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｅｎｔｒｙ＿ｃｏｕｎｔ；
ｆｏｒ （ｉ＝１； ｉ＜＝ ｅｎｔｒｙ＿ｃｏｕｎｔ； ｉ＋＋）
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｔｉｌｅＩＤ；
｝
｝
ここで、ｅｎｔｒｙ＿ｃｏｕｎｔは、トラックサンプル内のＮＡＬＵの数を示し、ｔｉｌｅＩＤは、現在のトラックによって記述された空間的タイルのための一意の識別子を提供する。
ＴｉｌｅＮＡＬＵＭａｐＥｎｔｒｙ（またはＮＡＬＵＭａｐＥｎｔｒｙ）ボックスも、また、サイズの点から以下の様に最適化することができる。
ｃｌａｓｓ ＴｉｌｅＮＡＬＵＭａｐＥｎｔｒｙ（） ｅｘｔｅｎｄｓ ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ （‘ｔｓｇｍ’） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（６） ｒｅｓｅｒｖｅｄ ＝ ０；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｌａｒｇｅ＿ｓｉｚｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｍｏｄｅ；
ｉｆ （ｌａｒｇｅ＿ｓｉｚｅ） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｅｎｔｒｙ＿ｃｏｕｎｔ；
｝ ｅｌｓｅ ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｅｎｔｒｙ＿ｃｏｕｎｔ；
｝
ｆｏｒ （ｉ＝１； ｉ＜＝ ｅｎｔｒｙ＿ｃｏｕｎｔ； ｉ＋＋）
ｉｆ （ｍｏｄｅ） ｛
ｉｆ （ｌａｒｇｅ＿ｓｉｚｅ） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ＮＡＬＵ＿ｓｔａｒｔ＿ｎｕｍｂｅｒ；
｝ ｅｌｓｅ ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ＮＡＬＵ＿ｓｔａｒｔ＿ｎｕｍｂｅｒ；
｝
｝
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｔｉｌｅＩＤ；
｝
｝
ここで、ｌａｒｇｅ＿ｓｉｚｅパラメータは、トラックサンプル内のＮＡＬユニットエントリの数が８または１６ビットで表現されるか否かを示し、モードパラメータは、各ＮＡＬユニットエントリが（モードが設定されない場合に）、またはタイルＩＤ変更に対応するＮＡＬユニットエントリのみが（モードが設定される場合に）記述されるか否かを示す。後者のケースにおいて、ＮＡＬユニット数は、ｌａｒｇｅ＿ｓｉｚｅパラメータの値に依存して１６または８ビットに符号化される。
それは、これらのＮＡＬユニットの各々と特定のタイルとの間のマッピングを指定する。ここで上述したように、タイル記述は、サンプルグループ記述ボックス１２７５内に提供され、各タイルは、順々に記述される。
所定の例は、１つのＮＡＬユニットが１枚のタイル毎にシーケンス持続時間に沿ってデータを含む特定のケースである、ということに留意するべきである。タイルデータがいくつかのＮＡＬユニットに跨って分割される場合、いくつかの集約器は、タイルに対応するＮＡＬユニットのセットの記述をするために用いられる。ＮＡＬユニットの数が時間とともに変化する場合、いくつかのｔｉｌｅＳａｍｐｌｅＭａｐエントリは、定義されることができ、グループ化するべきサンプルは、トラック断片ヘッダにおいて、１つの断片から別の断片に、選択的にグループ化タイプを介しての適切なタイルマップエントリを参照する。
図１０を参照して記載されるようなデータカプセル化スキームにおいて、ＨＥＶＣビットストリームは、圧縮されたビデオデータを実際に含むタイルトラック１０２０−１〜１０２０−２を指す複合トラック１０１５としてカプセル化される。複合トラックは、個別のＨＥＶＣパラメータセットＮＡＬユニット（図１０内の示されたＰＳ）に由来する構成データを含む。複合トラックの他の要素は、主として、タイルトラックにおいてカプセル化された圧縮ビデオデータを（イニシャライゼーションセグメントファイル１００５のｍｏｏｖボックス内に収納されるトラック参照ボックス（「ｔｒｅｆ」）を介して）指し示す、抽出器のリストに、１サンプルおよび１タイルトラック当たり１つが、存在する。
ＩＳＯ ＢＭＦＦ規格（規格のパート１５）における現在の依存関係シグナリング手段は、イニシャライゼーションセグメントファイル１００５のｍｏｏｖボックス内のトラックボックスの部分であるトラック参照ボックス「ｔｒｅｆ」内に配置される。「ｔｒｅｆ」ボックスは、プレゼンテーションにおいて、含んでいるトラックから別のトラックに対する参照を提供する。含んでいるトラックは、プレゼンテーションにおいて複数の他のトラックを参照してもよい。トラック間の依存関係のタイプは、現在の規格において２つの値「ｓｃａｌ」または「ｓｂａｓ」をとることができるｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅパラメータによって指定される。「ｓｂａｓ」値は、スケーラブルベースを表わす。それは、被参照トラックがスケーラブルプレゼンテーションにおいて現在のトラックのスケーラブルベーストラックであることを示す。「ｓｃａｌ」値は、スケーラビリティを表わす。それは、スケーラブル表現の別々な層を表現するトラック間の関連性を示す。それは、含んでいるトラックが被参照トラックに依存するということを意味する。
図１０を参照して記述された実施形態において、スケーラビリティに関連する特定の依存関係はない。スケーラブルのビデオを考慮に入れることができたとしても、複合トラックとタイルトラックとの間の空間的依存関係が注目される。これらの依存関係は、例えば、複合トラック１０１５（ｉｄ＝１）に対応するイニシャライゼーションセグメントファイル１００５、ｍｏｏｖボックスのｔｒｅｆボックスにおいて行われるような、新たな「ｔｉｌｅ」値によって明示的に示すことができる。
１つのトラックから他のトラックに対する依存関係の図示する例がタイルを対象とする（すなわち１つの複合トラックから複数のタイルトラックに対する依存関係）ものである一方で、１つのトラックから１つまたはいくつかのトラックに対する他のタイプの依存関係も同様に取り扱うことができる。そのため、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅパラメータは、例えば、トラックが複数のトラックに依存するということを示すためにサブレイヤ依存関係（例えば「ｓｕｂｌ」値）を示してもよい。
したがって、サブレイヤトラックは、ＨＥＶＣのエレメンタリビットストリームの部分を含むトラックとして定義することができ、それは他のＨＥＶＣ ＮＡＬユニットの復号化処理を損なわずに、廃棄することができる。このような定義は、特に、上記のように、タイルトラックと同様にスケーラブルＨＥＶＣビットストリーム内の時間的な層に対しても適用する。サブレイヤトラックに対応する各トラックは、所定値にセットされたときに、このＨＥＶＣトラックがサブレイヤトラックであり、他のトラック（複数可）から、例えば、複合トラックから参照されるＮＡＬユニットのみを含む（すなわち、このＨＥＶＣトラックは表示することができない）ということを示す、ビット（またはフラグ）を用いて、ＨＥＶＣＣｏｎｆｉｇｕｒａｔｉｏｎ記録において（すなわちＳａｍｐｌｅＴａｂｌｅＢｏｘにおいて）マークされることができる。このビットまたはフラグの値が反対の値を有する場合、それはこのＨＥＶＣトラックがイニシャライゼーションデータも含むサブレイヤトラックである（すなわち、このＨＥＶＣトラックは表示することができる）ということを示す。例えば、現在のＨＥＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄボックスにおいて予約ビットを用いることが可能である。
図１２を参照して記載た特定の実施形態によれば、各タイルトラックは、標準的ビデオトラックとして再生可能である。
図１３は、本発明の実施形態による、標準的ビデオトラックとして再生可能な複合トラックおよび独立したタイルトラックを備える１セットのトラックとしてＨＥＶＣビットストリームをカプセル化する例を図示する。説明のために、カプセル化されたビットストリームは、図２に概略的に図示されたビデオシーケンスに対応する。
図１３に図示されるＨＥＶＣビットストリームカプセル化は、各タイルトラックがイニシャライゼーションおよび構成データの修復を可能にする特定の抽出器を備える点で主として、図１０に図示されたものとは異なる。
図示されるように、タイルトラック１３００−１〜１３００−１２の各々は、これらのイニシャライゼーションおよび構成データは、ＨＥＶＣ標準によれば、普通はＨＥＶＣビットストリームの様々なパラメータセットに対応するということが想起される、イニシャライゼーションおよび構成データを表現する、複合トラック１３１０のＨＥＶＣパラメータセットＮＡＬユニット（ＰＳ示される）を指し示す抽出器１３０５−１〜１３０５−１２を備える。したがって、このようなイニシャライゼーションおよび構成データは、正常なビデオトラックとして再生可能な各タイルトラックを構成する。
各タイルトラックに対して追加された抽出器は、ビデオデータのサンプルの前に、各タイルトラックのメディアデータボックス「ｍｄａｔ」の先頭において配置されるのが良い。
１３１５−１〜１３１５−１２で示されるタイルトラック（１３００−１〜１３００−１２）から複合トラック（１３１０）に対するこれらの依存関係は、例えば、（イニシャライゼーションセグメントファイル１３２５のムービーボックス「ｍｏｏｖ」内の）タイルトラックに関連付けられた「ｔｒｅｆ」ボックス１３２０−１〜１３２０−１２のｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅパラメータにおいてシグナリングされなければならない。この実施形態によれば、パラメータセットを含むトラックは、ＨＥＶＣベーストラック「ｈｂａｓ」として見なされる（これは、スケーラブルプレゼンテーション内の最下位の動作点を含むトラックが「スケーラブルベーストラック」「ｓｂａｓ」として見なされるＳＶＣケースに近い）。図示されるように、ベーストラックに依存するトラック（すなわち、識別子ｉｄ＝１を有する複合トラック１３１０に依存する、識別子ｉｄ＝２〜１２を有するタイルトラック１３００−１〜１３００−１２）は、それらのトラック参照ボックス（１３２０−１〜１３２０−１２）において値「ｈｂａｓ」を有する。
再び、タイリングシグナル伝達は、トラックレベルに、サンプルレベルに、またはトラックおよびサンプルレベルにあることができる。
デフォルトでは、タイルトラックは、表示することができないものとして見なされる、ということに留意するべきである。但し、ＭＰＥＧ−４規格に適合する進歩的な構文解析ツールは、表示することができるタイルトラックを検出し、「ｔｒｅｆ」ボックス（タイルトラックが「ｈｂａｓ」タイプの参照タイプを含む場合、表示することができるものとして見なすことができる）を見ることによって、例えばストリーミングするマニフェストファイルにおいて、それらを明らかにすることができる。これは、ハンドラボックス内の「ｔｉｌｅ」値によりマークされたとしても、このタイルトラックを規格ビデオトラックとして見なすことができる、ということを意味する。タイリングシグナル伝達がサンプルベースである場合、タイリング情報がＳａｍｐｌｅＴａｂｌｅＢｏｘとして知られているボックスに入れられているので、タイルトラックまたはサブレイヤトラックは、それらのハンドラボックス内の「ｖｉｄｅ」としてタグ付けされることができる。
図１４は、本発明の別の実施形態による、標準的ビデオトラックとして再生可能な複合トラック、イニシャライゼーションデータトラックおよび独立したタイルトラックを備える１セットのトラックとしてＨＥＶＣビットストリームをカプセル化する例を示す。説明のために、カプセル化されたビットストリームは、図２に概略的に図示されたビデオシーケンスに対応する。
図１４に示されたＨＥＶＣビットストリームカプセル化は、イニシャライゼーションデータが専用のイニシャライゼーションデータトラック１４００に入れられている（および複合トラック１３１０には加えられない）という点で主として、図１３に図示されたものとは異なる。
図１３を参照して記載されたものと比較すると、このような実施形態によって提供される効果の１つは、タイルトラックが独立的に再生されるべきである場合に送信されるデータ量を対象にすることである。イニシャライゼーションデータは専用のトラックにおいて送信されるので、複合トラックを送信することは必要ない。
ＨＥＶＣファイルフォーマットの現在の規格によれば、ファイルフォーマットにおいてパラメータセット（ＰＳ）を伝達する２つの実現性が存在する、ということが想起されるべきである、すなわち、その二つとは、サンプルエントリ（Ｓａｍｐｌｅ Ｅｎｔｒｙ）として知られているボックスにおいて、またはサンプルエントリ（Ｓａｍｐｌｅ Ｅｎｔｒｙ）ボックスとデータサンプルにおいてである。これらの２つの構成は、サンプルテーブル（ｓａｍｐｌｅ Ｔａｂｌｅ）として知られるボックス内の「ｈｖｃ１」および「ｈｅｖ１」ボックスによりそれぞれシグナリングされる。サンプルにおけるパラメータを保存することがより複雑である一方で、それは、パラメータセットの更新の場合にさらなるダイナミズムを可能にする。そのため、ある好ましい実施形態において、パラメータセットは、特にタイリング構成変更のために、画像パラメータセット（ＰＰＳ）変更を取り扱うことができるようにするために、（サンプルテーブルボックス内のＨＥＶＣＳａｍｐｌｅＥｎｔｒｉｅｓパラメータ内の「ｈｅｖ１」値により）サンプルエントリボックスおよびデータサンプルにおいて伝達される。
したがって、専用のイニシャライゼーションデータトラック１４００は、ビデオパラメータセット、シーケンスパラメータセット、または画像パラメータセットにそれぞれ対応する、タイプが３２、３３、または３４に等しいＮＡＬユニットのようなデータとして非ＶＣＬ ＨＥＶＣ ＮＡＬユニットのみをデータとして含む。
図１４に示されているように、タイルトラック１４１０−１〜１４１０−１２のメディアデータボックス「ｍｄａｔ」の先頭に配置された抽出器１４１５−１〜１４１５−１２は、専用のイニシャライゼーションデータトラック１４００のデータを指し示す。同様に、複合トラック１４０５の第１の抽出器（１４２０）は、専用のイニシャライゼーションデータトラック１４００のデータを指し示す。そのため、イニシャライゼーションデータトラック１４００は、他のいずれのトラックも参照しないカプセル化されたＨＥＶＣビットストリームの唯一のトラックである。そのため、イニシャライゼーションデータトラック１４００（ｉｄ＝２）に関連付けられたｔｒｅｆボックス内に示される依存関係がないので（「ｈｂａｓ」依存関係はｔｒｅｆボックス内にない）、後者は、独立的に表示することができないものと見なされる。
いくつかのイニシャライゼーションデータがビデオビットストリームにおいて修正されると（すなわち画像パラメータセットがＨＥＶＣビットストリームにおいて生じる場合）、それらは、変更が生じる時間的な位置において、参照符号１４２５を参照して示されるようなサンプルデータに入れられる。１４３０および１４３５−１〜１４３５−１２で参照される対応する抽出器は、複合トラック１４０５に、およびタイルトラック１４１０−１〜１４１０−１２の各々に、すなわちこれらの新たなＰＰＳを参照する各々のタイルトラックに、それぞれ挿入される。
カプセル化されたＨＥＶＣビットストリームの各々のトラックにおいて、サンプル（および関連付けられたＮＡＬＵ）は、時間的順序において構成される。同様に、画像パラメータセットは、専用のイニシャライゼーションデータトラック１４００において時間的順序で構成される。「ｔｒｕｎ」ボックス（図１４には図示せず）は、各サンプルのための適切な復号化時間を提供することを可能にする。
当然、局所的で且つ特定の要件を満たすために、当業者は、以下の特許請求の範囲によって定義されるような、但し本発明の保護の範囲内にすべて含まれる、多くの改良および変更を、上記のソリューションに適用することができる。
なお、本実施形態は、以下のように説明することもできる。すなわち、本発明の態様によれば、サーバ内のパーティション化されたタイムドメディアデータをカプセル化する方法であって、パーティション化されたタイムドメディアデータは、タイムドサンプルを備え、各タイムドサンプルは複数のサブサンプルを備えており、前記方法は、
１つのタイムドサンプルの複数のサブサンプルの中から少なくとも１つのサブサンプルを選択するステップと、
選択されたサブサンプル毎に、選択されたサブサンプルと他のタイムドサンプルの各々の対応する一つのサブサンプルとを備える１つのパーティショントラックを作成するステップと、
少なくとも１つの依存関係ボックスを作成するステップであって、各依存関係ボックスは、パーティショントラックに関連しており、１つ以上の他の作成されたパーティショントラックに対する少なくとも１つの参照を備え、少なくとも１つの参照は、１つ以上の他のパーティショントラックに対する復号順序の依存関係を表現する、ステップと、
パーティショントラックの各々を少なくとも１つのメディアファイルに独立してカプセル化するステップと
を備える方法が提供される。
したがって、本発明は、異なる部分、特に異なるサブサンプル（または「タイル」）の組み合わせを可能にする。それは、クライアント装置によってダウンロードされた選択された部分またはタイルのセットが何であれ、クライアントによる解析時に有効なファイルフォーマットおよびエレメンタリストリームの生成に関連する。
そのため、本発明の方法は、有用なデータのみがクライアント装置に対して送信されることが必要なことを考慮すると独立した部分またはタイルの効率的なストリーミングに適している。それは、伝送オーバヘッドを減少させ（バイトレンジリクエストに基づくサンプルと比較して）、且つＭＰＥＧ規格に統合することができるとことを考慮すると、１つ以上の部分または選択タイル（すなわち任意の関心領域）をストリーミングするのに適している。
ある実施形態において、この方法は、少なくとも１つの他の依存関係ボックスを作成するステップであって、各々の他の依存関係ボックスは、パーティショントラックに関系しており、１つ以上の他の作成されたパーティショントラックに対する少なくとも１つの参照を備え、少なくとも１つの他の依存関係ボックスの参照の各々は、復号化依存性を表現する。
ある実施形態において、パーティション化されたタイムドメディアデータは、タイル化タイムドメディアデータであり、サブサンプルは、空間的サブサンプルであり、前記少なくとも１つのパーティショントラックは、少なくとも１つのタイルトラックである。
ある実施形態において、この方法は、考慮されるパーティショントラックに関する初期設定パラメータを備える、各々のパーティショントラックに関連付けられたトラック断片ヘッダを作成するステップを備え、少なくとも１つのトラック断片ヘッダは、他のパーティショントラックに対して考慮されるパーティショントラックの復号順序の依存関係をもつ依存関係ボックスを備える。
ある実施形態において、この方法は、少なくとも１つの作成されたパーティショントラックに対する少なくとも１つの参照を備える少なくとも１つの参照トラックを作成するステップと、前記少なくとも１つの参照トラックをメディアセグメントファイル内に独立的にカプセル化するステップとをさらに備え、少なくとも１つの参照トラックのカプセル化の結果として生じるメディアセグメントファイルは、定義を含むメタデータを保存するためのデータ構造を備え、前記定義は、少なくとも１つの作成された複合トラックに関連付けられた被参照パーティショントラックのリストを備え、参照タイプは、少なくとも１つの作成された複合トラックに関連付けられた被参照パーティショントラックの各々に関連づけられる。
ある実施形態において、この方法は、さらに複数のパーティショントラックに関連するイニシャライゼーションデータを備える少なくとも１つのイニシャライゼーションデータトラックを作成するステップを備え、前記少なくとも１つのイニシャライゼーションデータトラックは、少なくとも１つのメディアセグメントファイル内に独立的にカプセル化され、前記イニシャライゼーションデータトラックは、少なくとも１つの依存関係ボックスを備える。
ある実施形態において、作成されたトラックの各々のカプセル化から結果として生じる前記少なくとも１つのメディアファイルは、国際規格機構によって規定されるようなベースメディアファイルフォーマットおよび動的適応型ＨＴＴＰストリーミングフォーマットとの互換性をもつ。
本発明の別の態様によれば、クライアント装置において、少なくとも１つのメディアファイル内のカプセル化されたパーティション化されたタイムドメディアデータからタイムドメディアデータビットストリームを提供する方法を提供し、前記パーティション化されたタイムドメディアデータは、タイムドサンプルを備え、各タイムドサンプルは、複数のサブサンプルを備えており、少なくとも１つのメディアファイルは、少なくとも１つの依存関係ボックスと少なくとも１つのパーティショントラックとを備え、少なくとも１つのパーティショントラックの各々は１つのタイムドサンプルの複数のサブサンプルの中から選択される１つのサブサンプルを備え、他のタイムドサンプルの各々の１つの対応する空間的サブサンプルを備え、各依存関係ボックスは、パーティショントラックに関連しており、１つ以上の他の作成されたパーティショントラックに対する少なくとも１つの参照を備え、少なくとも１つの参照は、１つ以上の他のパーティショントラックに対する復号順序の依存関係を表現しており、前記方法は、
表示されるべきである少なくとも１つのパーティショントラックを選択するステップと、
パーティショントラックを反復して判定し、順序付けするステップであって、前記パーティショントラックを選択するステップは対応する依存関係ボックスの少なくとも１つの復号順序の依存関係に基づく、
表示される選択されたトラックを非カプセル化するステップと
を備える。
したがって、本発明は、異なる部分、特に異なるサブサンプル（または「タイル」）の組み合わせを可能にする。それは、クライアント装置によってダウンロードされた選択された部分またはタイルのセットが何であれ、クライアントによる解析時に、有効なファイルフォーマットおよびエレメンタリストリームの生成に関連付けられる。
そのため、本発明の方法は、有用なデータのみがクライアント装置に対して送信されることが必要なことを考慮すると、独立した部分またはタイルの効率的なストリーミングに適している。それは、伝送オーバヘッドを減少させ（バイトレンジリクエストに基づくサンプルと比較して）、且つＭＰＥＧ規格に統合することができることを考慮すると、１つ以上の部分または選択タイル（すなわち任意の関心領域）をストリーミングするのに適している。
ある実施形態において、前記少なくとも１つのメディアファイルは、少なくとも１つの他の依存関係ボックスをさらに備え、各々の他の依存関係ボックスは、パーティショントラックに関連しており、１つ以上の他の作成されたパーティショントラックに対する少なくとも１つの参照を備え、少なくとも１つの他の依存関係ボックスの参照の各々は、復号化依存性を表現し、前記パーティショントラックを反復して判定し順序付けするステップ、およびパーティショントラックを選択するステップは、さらに、対応する他の依存関係ボックスの少なくとも１つの復号化依存性に基づく。
ある実施形態において、前記方法は、考慮されるパーティショントラックに関連する初期設定パラメータを備える、各々のパーティショントラックに関連付けられたトラック断片ヘッダを取得するステップをさらに備え、前記少なくとも１つのトラック断片ヘッダは、他のパーティショントラックに対して考慮されるパーティショントラックの復号順序の依存関係をもつ依存関係ボックスを備える。
ある実施形態において、複数のパーティショントラックに関連するイニシャライゼーションデータを備える１つのイニシャライゼーションデータトラックは、少なくとも１つのメディアセグメントファイル内に独立的にカプセル化され、イニシャライゼーションデータトラックは、少なくとも１つの依存関係ボックスを備え、前記方法は、イニシャライゼーションデータトラックを選択し、非カプセル化するステップをさらに備える。
ある実施形態において、少なくとも１つの作成されたパーティショントラックに対する少なくとも１つの参照を備える少なくとも１つの参照トラックは、少なくとも１つのメディアセグメントファイル内に独立的にカプセル化され、少なくとも１つの参照トラックのカプセル化の結果として生じるメディアセグメントファイルは、定義を含むメタデータを保存するためのデータ構造を備え、前記定義は、少なくとも１つの作成された複合トラックに関連付けられた被参照パーティショントラックのリストを備え、参照タイプは、少なくとも１つの作成された複合トラックに関連付けられた被参照パーティショントラックの各々に関連づけられ、前記パーティショントラックを反復して判定し順序付けするステップおよびパーティショントラックを選択するステップは、さらに、少なくとも１つの作成された複合トラックに関連付けられた被参照パーティショントラックの各々に関連付けられた参照タイプに基づく。
本発明の別の態様によれば、サーバ内のパーティション化されたタイムドメディアデータをカプセル化するための装置であって、パーティション化されたタイムドメディアデータは、タイムドサンプルを備え、各タイムドサンプルは、複数のサブサンプルを備えており、以下のステップを実行するように構成された少なくとも１つのマイクロプロセッサを備える装置が提供される：
１つのタイムドサンプルの複数のサブサンプルの中から少なくとも１つのサブサンプルを選択するステップと、
選択されたサブサンプル毎に、選択されたサブサンプルと他のタイムドサンプルの各々の１つの対応するサブサンプルとを備える１つのパーティショントラックを作成するステップと、
少なくとも１つの依存関係ボックスを作成するステップであって、各依存関係ボックスは、パーティショントラックに関連しており、１つ以上の他の作成されたパーティショントラックに対する少なくとも１つの参照を備え、少なくとも１つの参照は、１つ以上の他のパーティショントラックに対する復号順序の依存関係を表現する、
パーティショントラックの各々を少なくとも１つのメディアファイル内で独立的にカプセル化するステップ。
したがって、本発明は、異なる部分、特に異なるサブサンプル（または「タイル」）の組み合わせを可能にする。それは、クライアント装置によってダウンロードされた選択された部分またはタイルのセットが何であれ、クライアントによる解析時に、有効なファイルフォーマットおよびエレメンタリストリームの生成に関連付けられる。
そのため、本発明の装置は、有用なデータのみがクライアント装置に対して送信されることが必要なことを考慮すると、独立した部分またはタイルの効率的なストリーミングに適している。それは、伝送オーバヘッドを減少させ（バイトレンジリクエストに基づくサンプルと比較して）、且つＭＰＥＧ規格に統合することができることを考慮すると、１つ以上の部分または選択タイル（すなわち任意の関心領域）をストリーミングするのに適している。
ある実施形態において、前記少なくとも１つのマイクロプロセッサは、少なくとも１つの他の依存関係ボックスを作成するステップを実行するようにさらに構成され、各々の他の依存関係ボックスは、パーティショントラックに関連しており、１つ以上の他の作成されたパーティショントラックに対する少なくとも１つの参照を備え、少なくとも１つの他の依存関係ボックスの参照の各々は、復号化依存性を表現する。
ある実施形態において、パーティション化されたタイムドメディアデータは、タイル化タイムドメディアデータであり、サブサンプルは、空間的サブサンプルであり、少なくとも１つのパーティショントラックは、少なくとも１つのタイルトラックである。
ある実施形態において、前記少なくとも１つのマイクロプロセッサは、考慮されるパーティショントラックに関連する初期設定パラメータを備える、各々のパーティショントラックに関連付けられたトラック断片ヘッダを作成するステップをさらに実行するように構成され、少なくとも１つのトラック断片ヘッダは、他のパーティショントラックに相対して考慮されるパーティショントラックの復号順序の依存関係をもつ依存関係ボックスを備える。
ある実施形態において、前記少なくとも１つのマイクロプロセッサは、少なくとも１つの作成されたパーティショントラックに対する少なくとも１つの参照を備える少なくとも１つの参照トラックを作成するステップと、少なくとも１つの参照トラックをメディアセグメントファイル内に独立的にカプセル化するステップとを実行するようにさらに構成され、少なくとも１つの参照トラックのカプセル化の結果として生じるメディアセグメントファイルは、定義を含むメタデータを保存するためのデータ構造を備え、定義は、少なくとも１つの作成された複合トラックに関連付けられた被参照パーティショントラックのリストを備え、参照タイプは、少なくとも１つの作成された複合トラックに関連付けられた被参照パーティショントラックの各々に関連づけられる。
ある実施形態において、前記少なくとも１つのマイクロプロセッサは、複数のパーティショントラックに関連するイニシャライゼーションデータを備える少なくとも１つのイニシャライゼーションデータトラックを作成するステップをさらに実行するように構成され、少なくとも１つのイニシャライゼーションデータトラックは、少なくとも１つのメディアセグメントファイル内に独立的にカプセル化され、前記イニシャライゼーションデータトラックは、少なくとも１つの依存関係ボックスを備える。
ある実施形態において、作成されたトラックの各々のカプセル化から結果として生じる前記少なくとも１つのメディアファイルは、国際規格機構によって規定されるようなベースメディアファイルフォーマットおよび動的適応型ＨＴＴＰストリーミングフォーマットとの互換性をもつ。
本発明の別の態様によれば、以上に記載された装置を備えるビデオ符号器が提供される。
本発明の別の態様によれば、クライアント装置において、少なくとも１つのメディアファイル内のカプセル化されたパーティション化されたタイムドメディアデータからタイムドメディアデータビットストリームを提供する装置であって、パーティション化されたタイムドメディアデータは、タイムドサンプルを備え、各タイムドサンプルは、複数のサブサンプルを備えており、少なくとも１つのメディアファイルは、少なくとも１つの依存関係ボックスと少なくとも１つのパーティショントラックとを備え、少なくとも１つのパーティショントラックの各々は、１つのタイムドサンプルの複数のサブサンプルの中から選択される１つのサブサンプルを備え、他のタイムドサンプルの各々の１つの対応する空間的サブサンプルを備え、各依存関係ボックスは、パーティショントラックに関連しており、１つ以上の他の作成されたパーティショントラックに対する少なくとも１つの参照を備え、少なくとも１つの参照は、１つ以上の他のパーティショントラックに対する復号順序の依存関係を表現しており、前記装置は、以下のステップを実行するよう構成された少なくとも一つのマイクロプロセッサを備える：
表示される少なくとも１つのパーティショントラックを選択するステップと、
パーティショントラックを反復して判定し、順序付けするステップであって、前記パーティショントラックを選択するステップは対応する依存関係ボックスの少なくとも１つの復号順序の依存関係に基づく、
表示される選択されたトラックを非カプセル化するステップ。
したがって、本発明は、異なる部分、特に異なるサブサンプル（または「タイル」）の組み合わせを可能にする。それは、クライアント装置によってダウンロードされた選択された部分またはタイルのセットが何であれ、クライアントによる解析時に、有効なファイルフォーマットおよびエレメンタリストリームの生成に関連付けられる。
そのため、本発明の装置は、有用なデータのみがクライアント装置に対して送信されることが必要なことを考慮すると独立した部分またはタイルの効率的なストリーミングに適している。それは、伝送オーバヘッドを減少させ（バイトレンジリクエストに基づくサンプルと比較して）、且つＭＰＥＧ規格に統合することができることを考慮すると、１つ以上の部分または選択タイル（すなわち任意の関心領域）をストリーミングするのに適している。
ある実施形態において、前記少なくとも１つのメディアファイルは、少なくとも１つの他の依存関係ボックスをさらに備え、各々の他の依存関係ボックスは、パーティショントラックに関連しており、１つ以上の他の作成されたパーティショントラックに対する少なくとも１つの参照を備え、前記少なくとも１つの他の依存関係ボックスの参照の各々は、復号化依存性を表現し、前記少なくとも１つのマイクロプロセッサは、パーティショントラックを反復して判定し順序付けするステップ、およびパーティショントラックを選択するステップが、前記対応する他の依存関係ボックスの少なくとも１つの復号化依存性にさらに基づくようにさらに構成される。
ある実施形態において、前記少なくとも１つのマイクロプロセッサは、考慮されるパーティショントラックに関連する初期設定パラメータを備える、各々のパーティショントラックに関連付けられたトラック断片ヘッダを取得するステップを実行するように構成され、少なくとも１つのトラック断片ヘッダは、他のパーティショントラックに相対して考慮されるパーティショントラックの復号順序の依存関係をもつ依存関係ボックスを備える。
ある実施形態において、複数のパーティショントラックに関連するイニシャライゼーションデータを備える１つのイニシャライゼーションデータトラックは、少なくとも１つのメディアセグメントファイル内に独立的にカプセル化され、前記イニシャライゼーションデータトラックは、少なくとも１つの依存関係ボックスを備え、前記方法は、イニシャライゼーションデータトラックを選択し、非カプセル化するステップをさらに備える。
ある実施形態において、少なくとも１つの作成されたパーティショントラックに対する少なくとも１つの参照を備える少なくとも１つの参照トラックは、少なくとも１つのメディアセグメントファイル内に独立的にカプセル化され、前記少なくとも１つの参照トラックのカプセル化の結果として生じるメディアセグメントファイルは、定義を含むメタデータを保存するためのデータ構造を備え、前記定義は、少なくとも１つの作成された複合トラックに関連付けられた被参照パーティショントラックのリストを備え、参照タイプは、少なくとも１つの作成された複合トラックに関連付けられた被参照パーティショントラックの各々に関連づけられ、前記少なくとも１つのマイクロプロセッサは、パーティショントラックを反復して判定し順序付けするステップ、およびパーティショントラックを選択するステップは、さらに、少なくとも１つの作成された複合トラックに関連付けられた被参照パーティショントラックの各々に関連付けられた参照タイプにさらに基づくように構成される。
本発明の別の態様によれば、以上に記載された装置を備えるビデオ復号器が提供される。
本発明の別の態様によれば、クライアントの装置にストリーミングされるサーバ内のパーティション化されたタイムドメディアデータをカプセル化する方法が提供され、前記パーティション化されたタイムドメディアデータは、タイムドサンプルを備え、各タイムドサンプルは、複数のサブサンプルを備えており、前記方法は、以下のステップを備える：
少なくともサブサンプルの一部がサブサンプルのグループに属するように、少なくとも１つのグループを形成するために前記サブサンプルのいくつかをグループ化するステップと、
１つのタイムドサンプルの前記複数のサブサンプルの中から同一グループの少なくとも２つのサブサンプルを選択するステップと、
前記少なくとも２つの選択されたサブサンプルを備える少なくとも１つのトラックを作成するステップと、
前記少なくとも１つの作成されたトラックに対して、少なくとも１つのトラックを作成するように選択されたサブサンプルの各々のための１つのサブトラックボックスを作成するステップであって、前記作成されたサブトラックボックスの少なくとも１つは、選択されたサブサンプルに共通の定義およびプロパティを備える、
前記作成されたトラックの各々を少なくとも一つのメディアファイル内で独立的にカプセル化するステップ。
したがって、本発明は、異なる部分、特に異なるサブサンプル（または「タイル」）の組み合わせを可能にする。それは、クライアント装置によってダウンロードされた選択された部分またはタイルのセットが何であれ、クライアントによる解析時間に、有効なファイルフォーマットおよびエレメンタリストリームの生成に関連付けられる。
そのため、本発明の方法は、有用なデータのみがクライアント装置に対して送信されることが必要なことを考慮すると、独立した部分またはタイルの効率的なストリーミングに適している。それは、伝送オーバヘッドを減少させ（バイトレンジリクエストに基づくサンプルと比較して）、且つＭＰＥＧ規格に統合できることを考慮すると、１つ以上の部分または選択タイル（すなわち任意の関心領域）をストリーミングするのに適している。
ある実施形態において、前記作成されたサブトラックボックスは、ＩＳＯ／ＩＥＣ１４４９６−１２にしたがって規定される。
ある実施形態において、前記作成されたサブトラックボックスの少なくとも１つは、前記作成されたサブトラックボックスの少なくとも１つがタイリング情報を提供する特定のトラックに関連付けられている、ということを示す情報を備える。
ある実施形態において、前記方法は、サンプルのグループまたはサブサンプルのグループを、少なくとも１つのタイルに対してリンクするステップをさらに備える。
ある実施形態において、タイルのグループは、前記作成されたサブトラックボックスの少なくとも１つに関連付けられた少なくとも１つのサブトラック内で符号化される。
ある実施形態において、前記作成されたサブトラックボックスの少なくとも１つは、前記作成されたサブトラックボックスの少なくとも１つに関連付けられたサブトラック内で符号化されたタイルの数を示す情報を備える。
ある実施形態において、前記作成されたトラックの各々のカプセル化から結果として生じるメディアファイルは、前記対応するトラック内に備えられたサブトラックボックスの定義を含む、対応するトラックの定義を含むメタデータを保存するためのデータ構造を備える。
本発明の別の態様によれば、クライアント装置において、少なくとも１つのメディアファイル内のカプセル化されたパーティション化されたタイムドメディアデータからタイムドメディアデータビットストリームを提供する方法が提供され、パーティション化されたタイムドメディアデータは、タイムドサンプルを備え、各タイムドサンプルは、複数のサブサンプルを備えており、少なくとも前記サブサンプルの一部がサブサンプルのグループに属するように、少なくとも１つのグループを形成するためにサブサンプルのいくつかがグループ化され、前記少なくとも１つのメディアファイルは、少なくとも１つのトラックを備え、前記少なくとも１つのトラックは、１つのタイムドサンプルの複数のサブサンプルの中から選択された同一グループの少なくとも２つのサブサンプルを備え、１つのサブトラックボックスは、前記少なくとも１つのトラックを作成するために、選択された前記サブサンプルの各々に対して作成され、前記作成されたサブトラックボックスの少なくとも１つは、選択されたサブサンプルに共通の定義およびプロパティを備え、前記方法は以下のステップを備える：
前記少なくとも１つのメディアファイルから少なくとも１つのサブトラックボックスを選択するステップと、
前記少なくとも１つの選択されたサブトラックボックスから少なくとも１セットの定義およびプロパティを取得するステップと、
復号されるべき複数のサブサンプルを取得するステップであって、前記複数のサブサンプルは、少なくとも１つのセットの定義およびプロパティに依存する。
したがって、本発明は、異なる部分、特に異なるサブサンプル（または「タイル」）の組み合わせを可能にする。それは、クライアント装置によってダウンロードされた選択された部分またはタイルのセットが何であれ、クライアントによる解析時に有効なファイルフォーマットおよびエレメンタリストリームの生成に関連付けられる。
そのため、本発明の前記方法は、有用なデータのみがクライアント装置に対して送信されることが必要なことを考慮すると、独立した部分またはタイルの効率的なストリーミングに適している。それは、伝送オーバヘッドを減少させ（バイトレンジリクエストに基づくサンプルと比較して）、且つＭＰＥＧ規格に統合できることを考慮すると、１つ以上の部分または選択タイル（すなわち任意の関心領域）をストリーミングするのに適している。
ある実施形態において、前記作成されたサブトラックボックスは、ＩＳＯ／ＩＥＣ１４４９６−１２にしたがって規定される。
ある実施形態において、前記サブトラックボックスの少なくとも１つは、作成された前記サブトラックボックスの少なくとも１つがタイリング情報を提供する特定のトラックに関連付けられている、ということを示す情報を備える。
ある実施形態において、タイルのグループは、前記サブトラックボックスの少なくとも１つに関連付けられた少なくとも１つのサブトラック内で符号化される。
ある実施形態において、前記サブトラックボックスの少なくとも１つは、前記作成されたサブトラックボックスの少なくとも１つに関連付けられたサブトラック内で符号化されたタイルの数を示す情報を備える。
ある実施形態において、前記トラックの各々のカプセル化から結果として生じるメディアファイルは、対応するトラック内に備えられたサブトラックボックスの定義を含む、対応するトラックの定義を含むメタデータを保存するためのデータ構造を備える。
本発明の別の態様によれば、クライアントの装置にストリーミングされるべきサーバ内のパーティション化されたタイムドメディアデータをカプセル化する方法が提供され、前記パーティション化されたタイムドメディアデータは、タイムドサンプルを備え、各タイムドサンプルは、複数のサブサンプルを備えており、前記方法は以下のステップを有する：
少なくともサブサンプルの一部がサブサンプルのグループに属するように、少なくとも１つのグループを形成するためにサブサンプルのいくつかをグループ化するステップと、
１つのタイムドサンプルの前記複数のサブサンプルの中から同一グループの少なくとも２つのサブサンプルを選択するステップと、
前記少なくとも２つの選択されたサブサンプルを備える少なくとも１つのトラックを作成するステップと、
少前記作成されたトラックの各々を少なくとも一つのメディアファイル内で独立的にカプセル化するステップ。
したがって、本発明は、異なる部分、特に異なるサブサンプル（または「タイル」）の組み合わせを可能にする。それは、クライアント装置によってダウンロードされた選択された部分またはタイルのセットが何であれ、クライアントによる解析時に、有効なファイルフォーマットおよびエレメンタリストリームの生成に関連付けられる。
そのため、本発明の方法は、有用なデータのみがクライアント装置に対して送信されることが必要なことを考慮すると、独立した部分またはタイルの効率的なストリーミングに適している。それは、伝送オーバヘッドを減少させ（バイトレンジリクエストに基づくサンプルと比較して）、且つＭＰＥＧ規格に統合できることを考慮すると、１つ以上の部分または選択タイル（すなわち任意の関心領域）をストリーミングするのに適している。
本発明の別の態様によれば、クライアントの装置にストリーミングされるべきサーバ内のパーティション化されたタイムドメディアデータをカプセル化する装置が提供され、パーティション化されたタイムドメディアデータは、タイムドサンプルを備え、各タイムドサンプルは、複数のサブサンプルを備えており、前記装置は以下のステップを実行するように構成された少なくとも１つのマイクロプロセッサを備える：
少なくとも前記サブサンプルの一部がサブサンプルのグループに属するように、少なくとも１つのグループを形成するために前記サブサンプルのいくつかをグループ化するステップと、
前記１つのタイムドサンプルの前記複数のサブサンプルの中から同一グループの少なくとも２つのサブサンプルを選択するステップと、
前記少なくとも２つの選択されたサブサンプルを備える少なくとも１つのトラックを作成するステップと、
少なくとも１つの作成されたトラックに対して、少なくとも１つのトラックを作成するように選択された前記サブサンプルの各々のための１つのサブトラックボックスを作成するステップであって、作成されたサブトラックボックスの少なくとも１つは、選択されたサブサンプルに共通の定義およびプロパティを備える、
前記作成されたトラックの各々を少なくとも１つのメディアファイル内で独立的にカプセル化するステップ。
したがって、本発明は、異なる部分、特に異なるサブサンプル（または「タイル」）の組み合わせを可能にする。それは、クライアント装置によってダウンロードされた選択された部分またはタイルのセットが何であれ、クライアントによる解析時に、有効なファイルフォーマットおよびエレメンタリストリームの生成に関連付けられる。
そのため、本発明の装置は、有用なデータのみがクライアント装置に対して送信されることが必要なことを考慮すると、独立した部分またはタイルの効率的なストリーミングに適している。それは、伝送オーバヘッドを減少させ（バイトレンジリクエストに基づくサンプルと比較して）、且つＭＰＥＧ規格に統合できることを考慮すると、１つ以上の部分または選択タイル（すなわち任意の関心領域）をストリーミングするのに適している。
ある実施形態において、作成されたサブトラックボックスは、ＩＳＯ／ＩＥＣ１４４９６−１２にしたがって規定される。
ある実施形態において、前記作成されたサブトラックボックスの少なくとも１つは、前記作成されたサブトラックボックスの少なくとも１つがタイリング情報を提供する特定のトラックに関連付けられている、ということを示す情報を備える。
ある実施形態において、前記少なくとも１つのマイクロプロセッサは、サンプルまたはサブサンプルのグループを少なくとも１つのタイルに対してリンクするステップを実行するようにさらに構成される。
ある実施形態において、タイルのグループは、前記作成されたサブトラックボックスの少なくとも１つに関連付けられた少なくとも１つのサブトラック内で符号化される。
ある実施形態において、前記作成されたサブトラックボックスの少なくとも１つは、作成されたサブトラックボックスの少なくとも１つに関連付けられたサブトラック内で符号化されたタイルの数を示す情報を備える。
ある実施形態において、作成されたトラックの各々のカプセル化から結果として生じるメディアファイルは、対応するトラック内に備えられたサブトラックボックスの定義を含む、対応するトラックの定義を含むメタデータを保存するためのデータ構造を備える。
本発明の別の態様によれば、以上に記載された装置を備えるビデオ符号器が提供される。
本発明の別の態様によれば、クライアント装置において、少なくとも１つのメディアファイル内のカプセル化されたパーティション化されたタイムドメディアデータからタイムドメディアデータビットストリームを提供する装置提供され、前記パーティション化されたタイムドメディアデータは、タイムドサンプルを備え、各タイムドサンプルは、複数のサブサンプルを備えており、少なくとも前記サブサンプルの一部がサブサンプルのグループに属するように、少なくとも１つのグループを形成するために前記サブサンプルのいくつかがグループ化され、前記少なくとも１つのメディアファイルは、少なくとも１つのトラックを備え、少なくとも１つのトラックは、タイムドサンプルの１つの前記複数のサブサンプルの中から選択された同一グループの少なくとも２つのサブサンプルを備え、１つのサブトラックボックスは、前記少なくとも１つのトラックを作成するために、選択された前記サブサンプルの各々に対して作成され、前記作成されたサブトラックボックスの少なくとも１つは、選択されたサブサンプルに共通の定義およびプロパティを備え、装置は以下のステップを実行するように構成された少なくとも１つのマイクロプロセッサを備える：
前記少なくとも１つのメディアファイルから少なくとも１つのサブトラックボックスを選択するステップと、
前記少なくとも１つの選択されたサブトラックボックスから少なくとも１セットの定義およびプロパティを取得するステップと、
復号される複数のサブサンプルを取得するステップであって、前記複数のサブサンプルは、前記少なくとも１つのセットの定義およびプロパティに依存するステップ。
したがって、本発明は、異なる部分、特に異なるサブサンプル（または「タイル」）の組み合わせを可能にする。それは、クライアント装置によってダウンロードされた選択された部分またはタイルのセットが何であれ、クライアントによる解析時に、有効なファイルフォーマットおよびエレメンタリストリームの生成に関連付けられる。
そのため、本発明の装置は、有用なデータのみがクライアント装置に対して送信されることが必要なことを考慮すると、独立した部分またはタイルの効率的なストリーミングに適している。それは、伝送オーバヘッドを減少させ（バイトレンジリクエストに基づくサンプルと比較して）、且つＭＰＥＧ規格に統合できることを考慮すると、１つ以上の部分または選択タイル（すなわち任意の関心領域）をストリーミングするのに適している。
ある実施形態において、作成されたサブトラックボックスは、ＩＳＯ／ＩＥＣ１４４９６−１２にしたがって規定される。
ある実施形態において、前記サブトラックボックスの少なくとも１つは、前記作成されたサブトラックボックスの少なくとも１つがタイリング情報を提供する特定のトラックに関連付けられている、ということを示す情報を備える。
ある実施形態において、タイルのグループは、前記サブトラックボックスの少なくとも１つに関連付けられた少なくとも１つのサブトラック内で符号化される。
ある実施形態において、前記サブトラックボックスの少なくとも１つは、作成されたサブトラックボックスの少なくとも１つに関連付けられたサブトラック内で符号化されたタイルの数を示す情報を備える。
ある実施形態において、前記トラックの各々のカプセル化から結果として生じるメディアファイルは、前記対応するトラック内に備えられた前記サブトラックボックスの定義を含む、対応するトラックの定義を含むメタデータを保存するためのデータ構造を備える。
本発明の別の態様によれば、以上に記載された装置を備えるビデオ復号器が提供される。
本発明の別の態様によれば、クライアントの装置にストリーミングされるサーバ内のパーティション化されたタイムドメディアデータをカプセル化する装置が提供され、パーティション化されたタイムドメディアデータは、タイムドサンプルを備え、各タイムドサンプルは、複数のサブサンプルを備えており、前記装置は以下のステップを実行するように構成された少なくとも１つのマイクロプロセッサを備える：
少なくとも前記サブサンプルの一部がサブサンプルのグループに属するように、少なくとも１つのグループを形成するために前記サブサンプルのいくつかをグループ化するステップと、
タイムドサンプルの１つの前記複数のサブサンプルの中から同一グループの少なくとも２つのサブサンプルを選択するステップと、
前記少なくとも２つの選択されたサブサンプルを備える少なくとも１つのトラックを作成するステップと、
前記作成されたトラックの各々を少なくとも１つのメディアファイル内で独立的にカプセル化するステップ。
したがって、本発明は、異なる部分、特に異なるサブサンプル（または「タイル」）の組み合わせを可能にする。それは、クライアント装置によってダウンロードされた選択された部分またはタイルのセットが何であれ、クライアントによる解析時に、有効なファイルフォーマットおよびエレメンタリストリームの生成に関連付けられる。
そのため、本発明の装置は、有用なデータのみがクライアント装置に対して送信されることが必要なことを考慮すると、独立した部分またはタイルの効率的なストリーミングに適している。それは、伝送オーバヘッドを減少させ（バイトレンジリクエストに基づくサンプルと比較して）、且つＭＰＥＧ規格に統合できることを考慮すると、１つ以上の部分または選択タイル（すなわち任意の関心領域）をストリーミングするのに適している。
本発明のさらなる態様によれば、サーバ内のパーティション化されたタイムドメディアデータをカプセル化する方法が提供され、前記パーティション化されたタイムドメディアデータは、タイムドサンプルを備え、各タイムドサンプルは、複数のサブサンプルを備えており、前記方法は以下のステップを備える：
タイムドサンプルの１つの前記複数のサブサンプルの中から少なくとも１つのサブサンプルを選択するステップと、
選択されたサブサンプル毎に、前記選択されたサブサンプルと他のタイムドサンプルの各々の１つの対応するサブサンプルとを備える１つのパーティショントラックを作成するステップと、
前記作成されたパーティショントラックの少なくとも１つを識別する少なくとも１つの抽出器を備える少なくとも１つの参照トラックを作成するステップと、
前記作成されたトラックの各々を少なくとも１つのメディアセグメントファイル内に独立的にカプセル化するステップ。
したがって、本発明は、異なる部分、特に異なるタイルの組み合わせを可能にし、クライアント装置によってダウンロードされた選択された部分またはタイルのセットが何であれ、クライアントによる解析時に、有効なファイルフォーマットおよびエレメンタリストリームの生成を可能にする。
そのため、本発明の前記方法は、独立した部分またはタイルの効率的なストリーミングに適しており、有用なデータのみがクライアント装置に対して送信されることを必要とし、１つ以上の部分または選択タイル（すなわち任意の関心領域）をストリーミングするのに適しており、インデックス化オーバヘッドを減少させ（バイトレンジリクエストに基づくサンプルと比較して）、ＭＰＥＧ規格に統合することができる。
ある実施形態において、前記パーティション化されたタイムドメディアデータは、タイル化タイムドメディアデータであり、前記サブサンプルは、空間的サブサンプルであり、前記少なくとも１つのパーティショントラックは、少なくとも１つのタイルトラックであり、前記少なくとも１つの参照トラックは、少なくとも１つの複合トラックである。 前記少なくとも１つの参照トラックは、抽出器と、必要に応じてイニシャライゼーションデータとを収納してもよい。
ある実施形態において、前記少なくとも１つの抽出器は、少なくとも１つの識別されたタイルトラックの少なくとも１つの空間的サブサンプルをさらに識別する。
ある実施形態において、前記方法は、前記作成されたタイルトラックおよび前記作成された少なくとも１つの複合トラックから前記タイル化タイムドメディアデータの空間的部分の記述を可能にするパラメータを備えるイニシャライゼーションセグメントファイルを作成するステップをさらに備える。イニシャライゼーションセグメントファイルは、前記作成されたタイルトラックに対する参照と、前記少なくとも１つの作成された複合トラックに関連付けられた被参照タイルトラックのリストと、トラックが空間的サブサンプル情報を含むということを示す、前記作成されたタイルトラックの各々に関連付けられたタイルハンドラと、および／または作成されたタイルトラックの各々に関連付けられた一般的なプレゼンテーション情報とを備えてもよい。
ある実施形態において、少なくとも２つのタイルトラックは、各々の選択された空間的サブサンプルに対して１つのタイルトラックを作成するステップにおいて作成され、前記少なくとも１つの複合トラックは、同じタイムドサンプル内に備えられる任意の２つの空間的サブサンプルを復号するために用いられるべき少なくとも１項目のデータを備える。
ある実施形態において、前記タイル化タイムドメディアデータは、各々がリファレンスレイヤおよび少なくとも１つのエンハンスメントレイヤを備えるタイムドサンプルによるスケーラブルのタイル化タイムドメディアデータであり、リファレンスレイヤは、少なくとも１つの参照空間的サブサンプルを備え、前記少なくとも１つのエンハンスメントレイヤは、複数の強化空間的サブサンプルを備え、各々の選択された空間的サブサンプルに対して１つのタイルトラックを作成するステップにおいて作成されたタイルトラックは、強化空間的サブサンプルを備える強化タイルトラックであり、前記方法は、参照空間的サブサンプルを備える少なくとも１つの参照トラックを作成するステップをさらに備える。
ある実施形態において、前記リファレンスレイヤは、複数の参照空間的サブサンプルを備え、複数の参照トラックが作成され、前記複数の参照トラックの各参照トラックは、参照タイルトラックを形成する。
ある実施形態において、前記作成されたトラックの各々のカプセル化から結果として生じるメディアセグメントファイルは、対応するトラックの定義を含むメタデータを保存するためのデータ構造を備える。
ある実施形態において、前記作成されたトラックの各々のカプセル化から結果として生じるメディアセグメントファイルの少なくとも１つは、対応するトラックの少なくとも１つのグループのサブサンプルの少なくとも１つの定義を含むメタデータを保存するためのデータ構造を備える。
ある実施形態において、前記作成されたトラックの各々のカプセル化から結果として生じる前記メディアセグメントファイルの少なくとも１つは、対応するトラックの別々のグループのサブサンプルの別々の定義を含むメタデータを保存するためのデータ構造を備える。
ある実施形態において、メタデータを保存する前記データ構造は、少なくとも１つの定義と、少なくとも１つの定義が対応するトラックのすべてのサブサンプルに適用されるということを示すバージョンタイプとを含む。
ある好ましい実施形態において、メタデータを保存する前記データ構造は、すべての定義が対応するトラックのすべてのサブサンプルに適用されるということを示すパラメータ（例えば、フラグ）をさらに含む。
パラメータは、また、（例えば定義がサンプルのすべてのサブサンプルに適用されるならば）すべての定義がサンプルに適用されるということを示すことができる。
ある実施形態において、サブサンプルの復号化依存性に関連する対応するトラックの少なくとも１つのグループのサブサンプルの少なくとも１つの定義を含むメタデータを保存する前記データ構造の少なくとも１つのパラメータは、別のグループのサブサンプルを用いずに、グループの各サブサンプルを復号することができるということを示す。
ある実施形態において、一つのグループのサブサンプルは、サブサンプルが属するグループ化タイプにしたがって識別される。
ある実施形態において、一つのグループの前記サブサンプルは、サブサンプルが属するグループ化タイプにしたがって識別され、グループ化タイプは、グループのサブサンプル毎の定義を提供する。
ある実施形態において、前記イニシャライゼーションセグメントファイルは、対応する少なくとも１つのタイルトラックのカプセル化から結果として生じるメディアセグメントファイルにおいて保存される任意の特定の定義に関連付けられていない少なくとも１つのタイルトラックのサブサンプルを処理するためのデフォルトで用いられる１つの定義を備える。
ある実施形態において、前記方法は、デフォルトで用いられるべきイニシャライゼーションセグメントファイル内に保存された定義を修正することを可能にするために、前記作成されたトラックの各々をカプセル化することから結果として生じる前記メディアセグメントファイルの少なくとも１つにイニシャライゼーションデータを追加するステップをさらに備える。
ある実施形態において、前記作成されたトラックの各々のカプセル化から結果として生じる前記メディアセグメントファイルは、空間的サブサンプルを保存するためのデータ構造を備える。
ある実施形態において、前記作成されたトラックの各々のカプセル化から結果として生じる前記メディアセグメントファイルは、抽出器を保存するためのデータ構造を備える。
ある実施形態において、前記作成されたトラックの各々のカプセル化から結果として生じる前記メディアセグメントファイルの少なくとも１つは、標準的メディアセグメントファイルとして前記メディアセグメントファイルの少なくとも１つが独立的に処理されることができるように、前記参照トラック内に格納されたイニシャライゼーションデータを備える。
ある実施形態において、前記作成されたトラックの各々のカプセル化から結果として生じる前記メディアセグメントファイルの少なくとも１つは、前記参照トラック内に格納されたイニシャライゼーションデータを識別する少なくとも１つの抽出器を保存するためのデータ構造を備える。
ある実施形態において、前記作成されたトラックの各々のカプセル化から結果として生じる前記メディアセグメントファイルの少なくとも１つは、標準的メディアセグメントファイルとして前記メディアセグメントファイルの少なくとも１つが独立的に処理されることができるように、複合トラックのイニシャライゼーションデータを識別する少なくとも１つの抽出器を保存するためのデータ構造を備える。
ある実施形態において、前記方法は、前記メディアセグメントファイルの少なくとも１つは、標準的メディアセグメントファイルとして独立的に処理されることができるということを示すフラグを設定するステップをさらに備える。
ある実施形態において、前記方法は、イニシャライゼーションデータを備える少なくとも１つのイニシャライゼーションデータトラックを作成するステップをさらに備え、前記少なくとも１つのイニシャライゼーションデータトラックは、少なくとも１つのメディアセグメントファイル内に独立的にカプセル化される。
ある実施形態において、前記作成されたトラックの各々のカプセル化から結果として生じる前記メディアセグメントファイルの少なくとも１つは、標準的メディアセグメントファイルとして前記メディアセグメントファイルの少なくとも１つを独立的に処理されることができるように、前記イニシャライゼーションデータトラック内に格納されたイニシャライゼーションデータを識別する少なくとも１つの抽出器を保存するためのデータ構造を備える。
ある実施形態において、前記方法は、前記メディアセグメントファイルの少なくとも１つは、標準的メディアセグメントファイルとして独立的に処理されることができるということを示すフラグを設定するステップをさらに備える。
ある実施形態において、サーバは、ハイパーテキスト転送プロトコル（ＨＴＴＰ）との互換性をもつ。
ある実施形態において、前記作成されたトラックの各々のカプセル化から結果として生じる前記メディアセグメントファイルは、国際規格機構によって規定されるようなベースメディアファイルフォーマットおよび動的適応型ＨＴＴＰストリーミングフォーマットとの互換性をもつ。
本発明の別の態様は、クライアント装置において、複数のメディアセグメントファイル内のカプセル化されたパーティション化されたタイムドメディアデータからタイムドメディアデータビットストリームを提供する方法であって、前記パーティション化されたタイムドメディアデータは、タイムドサンプルを備え、各タイムドサンプルは、複数のサブサンプルを備えており、複数のメディアセグメントファイルは、少なくとも１つの参照トラックと少なくとも１つのパーティショントラックとを備え、前記少なくとも１つのパーティショントラックの各々は、１つのタイムドサンプルの前記複数のサブサンプルの中から選択される１つのサブサンプルを備え、他のタイムドサンプルの各々の１つの対応する空間的サブサンプルを備え、前記少なくとも１つの参照トラックは、少なくとも１つのパーティショントラックを識別し、前記識別されたパーティショントラックの少なくとも１つのサブサンプルを識別する少なくとも１つの抽出器を備え、前記方法は以下のステップを備える：
サブサンプルを表現する情報のアイテムを選択するステップと、
選択されたサブサンプルを備える前記少なくとも１つのパーティショントラックを要求するステップであって、前記選択されたサブサンプルは、情報の選択されたアイテムに対応する、
前記複数のメディアセグメントファイルを受信するステップと、
タイムドメディアデータビットストリームを生成するために、少なくとも１つの参照トラックの抽出器を、対応する識別されたサブサンプルによって置き換えるステップ。
したがって、本発明は、異なる部分、特に異なるタイルの組み合わせを可能にし、クライアント装置によってダウンロードされた選択された部分またはタイルのセットが何であれ、クライアントによる解析時に、有効なファイルフォーマットおよびエレメンタリストリームの生成を可能にする。
そのため、本発明の前記方法は、独立した部分またはタイルの効率的なストリーミングに適しており、有用なデータのみがクライアント装置に対して送信されることを必要とし、１つ以上の部分または選択タイル（すなわち任意の関心領域）をストリーミングするのに適しており、インデックス化オーバヘッドを減少させ（バイトレンジリクエストに基づくサンプルと比較して）、ＭＰＥＧ規格に統合できる。
ある実施形態において、前記パーティション化されたタイムドメディアデータは、タイル化タイムドメディアデータであり、サブサンプルは、空間的サブサンプルであり、前記少なくとも１つのパーティショントラックは、少なくとも１つのタイルトラックであり、前記少なくとも１つの参照トラックは、少なくとも１つの複合トラックである。
ある実施形態において、前記パーティション化されたタイムドメディアデータは、タイル化タイムドメディアデータであり、前記サブサンプルは、空間的サブサンプルであり、前記少なくとも１つのパーティショントラックは、少なくとも１つのタイルトラックであり、前記少なくとも１つの参照トラックは、抽出器と必要に応じてイニシャライゼーションデータとを含む少なくとも１つの複合トラックである。
ある実施形態において、前記方法は、
前記少なくとも１つの複合トラックの抽出器からトラック参照を取得するステップと、
前記取得されたトラック参照に対応する前記トラックが受信されたか否かをチェックするステップと、
前記取得されたトラック参照に対応する前記トラックが受信されていなければ、前記タイムドメディアデータビットストリームを生成するために、対応する抽出器を取り除くステップと
をさらに備える。
ある実施形態において、前記方法は、前記取得されたトラック参照に対応する前記トラックがタイルタイプのトラックであることを確認するステップをさらに備える。
ある実施形態において、前記方法は、
前記少なくとも１つの複合トラックの抽出器からトラック参照を取得するステップと、
取得されたトラック参照に対応するトラックが受信されたか否かをチェックするステップと、
前記取得されたトラック参照に対応する前記トラックが受信されていなければ、タイムドメディアデータビットストリームを生成するために、対応する抽出器をパディングに置き換えるステップと
をさらに備える。
ある実施形態において、前記方法は、前記取得されたトラック参照に対応する前記トラックがタイルタイプのトラックであることを確認するステップをさらに備える。
ある実施形態において、前記方法は、前記作成されたタイルトラックおよび前記作成された少なくとも１つの複合トラックから前記タイル化タイムドメディアデータの空間的部分の形成を可能にするパラメータを備えるイニシャライゼーションセグメントファイルを受信するステップをさらに備える。
ある実施形態において、少なくとも２つのタイルトラックを表現する少なくとも２つのメディアセグメントファイルが受信され、前記少なくとも１つの複合トラックは、空間的サブサンプルの同じセットに属する２つの空間的サブサンプルのどれかを復号するために用いられる少なくとも１つのデータを備える。
ある実施形態において、前記タイル化タイムドメディアデータは、各々がリファレンスレイヤおよび少なくとも１つのエンハンスメントレイヤを備えるタイムドサンプルによるスケーラブルのタイル化タイムドメディアデータであり、前記リファレンスレイヤは、少なくとも１つの参照空間的サブサンプルを備え、前記少なくとも１つのエンハンスメントレイヤは、複数の強化空間的サブサンプルを備え、少なくとも２つのトラックを表現する少なくとも２つのメディアセグメントファイルが受信され、少なくとも２つの受信されたトラックの一方は、参照空間的サブサンプルを備える参照トラックであり、少なくとも２つの受信されたトラックの他方は、強化空間的サブサンプルを備える強化タイルトラックである。
ある実施形態において、前記リファレンスレイヤは、複数の参照空間的サブサンプルを備え、各々が参照タイルトラックを形成する複数の参照トラックが受信される。
ある実施形態において、前記メディアセグメントファイルの少なくとも１つは、対応するトラックの少なくとも１つのグループのサブサンプルの少なくとも１つの定義を含むメタデータを保存するためのデータ構造を備え、前記方法は、前記対応するトラックのサブサンプルの前記少なくとも１つのグループを処理するための前記少なくとも１つの定義を取得するステップを備える。
ある実施形態において、前記メディアセグメントファイルの少なくとも１つは、前記参照トラック内に格納されたイニシャライゼーションデータを備え、前記方法は、標準的メディアセグメントファイルとして前記メディアセグメントファイルの少なくとも１つを独立的に処理するステップをさらに備える。
ある実施形態において、少なくとも１つのメディアセグメントファイルは、前記参照トラック内に格納されたイニシャライゼーションデータを識別する少なくとも１つの抽出器を保存するためのデータ構造を備え、前記方法は、前記メディアセグメントファイルの少なくとも１つを処理する際に、前記参照トラック内に格納された前記データにアクセスするステップをさらに備える。
ある実施形態において、前記メディアセグメントファイルの少なくとも１つは、前記複合トラックのイニシャライゼーションデータを識別する少なくとも１つの抽出器を保存するためのデータ構造を備え、前記方法は、標準的メディアセグメントファイルとして前記メディアセグメントファイルの少なくとも１つを独立的に処理するための前記参照トラック内に保存されたデータにアクセスするステップをさらに備える。
ある実施形態において、前記方法は、イニシャライゼーションデータを備える少なくとも１つのイニシャライゼーションデータトラックを取得するステップをさらに備え、前記少なくとも１つのイニシャライゼーションデータトラックは、少なくとも１つのメディアセグメントファイル内に独立的にカプセル化されるステップを。
ある実施形態において、メディアセグメントファイルの少なくとも１つは、前記イニシャライゼーションデータトラック内に格納されたイニシャライゼーションデータを識別する少なくとも１つの抽出器を保存するためのデータ構造を備え、前記方法は、前記メディアセグメントファイルの少なくとも１つを独立的に処理するための前記参照トラック内に格納された前記データにアクセスするステップをさらに備える。
ある実施形態において、クライアント装置は、ハイパーテキスト転送プロトコル（ＨＴＴＰ）との互換性をもつ。
ある実施形態において、受信されたメディアセグメントファイルは、国際規格機構によって規定されるようなベースメディアファイルフォーマットおよび動的適応型ＨＴＴＰストリーミングフォーマットとの互換性をもつ。
本発明の別の態様によれば、以上に記載された方法の各ステップを実行するのに適した手段を備える装置が提供される。
本発明の別の態様によれば、サーバ内のパーティション化されたタイムドメディアデータをカプセル化するための装置であって、前記パーティション化されたタイムドメディアデータは、タイムドサンプルを備え、各タイムドサンプルは、複数のサブサンプルを備えており、前記装置は、以下のステップを実行するように構成された少なくとも１つのマイクロプロセッサを備える：
前記１つのタイムドサンプルの前記複数のサブサンプルの中から少なくとも１つのサブサンプルを選択するステップと、
選択されたサブサンプル毎に、前記選択されたサブサンプルと他のタイムドサンプルの各々対応するサブサンプルとを備える１つのパーティショントラックを作成するステップと、
前記作成されたパーティショントラックの少なくとも１つを識別する少なくとも１つの抽出器を備える少なくとも１つの参照トラックを作成するステップと、
前記作成されたトラックの各々を少なくとも１つのメディアセグメントファイル内に独立的にカプセル化するステップ。
したがって、本発明は、異なる部分、特に異なるタイルの組み合わせを可能にし、クライアント装置によってダウンロードされた選択された部分またはタイルのセットが何であれ、クライアントによる解析時に、有効なファイルフォーマットおよびエレメンタリストリームの生成を可能にする。
そのため、本発明の前記方法は、独立した部分またはタイルの効率的なストリーミングに適しており、有用なデータのみがクライアント装置に対して送信されることが必要であり、１つ以上の部分または選択タイル（すなわち任意の関心領域）をストリーミングするのに適しており、インデックス化オーバヘッドを減少させ（バイトレンジリクエストに基づくサンプルと比較して）、ＭＰＥＧ規格に統合することができる。
ある実施形態において、前記パーティション化されたタイムドメディアデータは、タイル化タイムドメディアデータであり、前記サブサンプルは、空間的サブサンプルであり、前記少なくとも１つのパーティショントラックは、少なくとも１つのタイルトラックであり、前記少なくとも１つの参照トラックは、少なくとも１つの複合トラックである。
ある実施形態において、前記パーティション化されたタイムドメディアデータは、タイル化タイムドメディアデータであり、前記サブサンプルは、空間的サブサンプルであり、前記少なくとも１つのパーティショントラックは、少なくとも１つのタイルトラックであり、前記少なくとも１つの参照トラックは、抽出器と必要に応じてイニシャライゼーションデータとを含む少なくとも１つの複合トラックである。
ある実施形態において、前記マイクロプロセッサは、前記作成されたタイルトラックおよび前記作成された少なくとも１つの複合トラックから前記タイル化タイムドメディアデータの空間的部分の形成を可能にするパラメータを備えるイニシャライゼーションセグメントファイルを作成するステップを実行するようにさらに構成され、前記イニシャライゼーションセグメントファイルは、前記作成されたタイルトラックに対する参照を備える。
ある実施形態において、イニシャライゼーションセグメントファイルは、前記少なくとも１つの作成された複合トラックに関連付けられた被参照タイルトラックのリストをさらに備える。
ある実施形態において、前記イニシャライゼーションセグメントファイルは、前記トラックが空間的サブサンプル情報を含むということを示す、前記作成されたタイルトラックの各々に関連付けられたタイルハンドラをさらに備える。
ある実施形態において、前記イニシャライゼーションセグメントファイルは、前記作成されたタイルトラックの各々に関連付けられた一般的なプレゼンテーション情報をさらに備える。
ある実施形態において、前記マイクロプロセッサは、少なくとも２つのタイルトラックが、各々の選択された空間的サブサンプルに対して１つのタイルトラックを作成するステップにおいて作成されるように、さらに構成され、前記少なくとも１つの複合トラックは、同じタイムドサンプル内に備えられる２つの空間的サブサンプルのどれかを復号するために用いられる少なくとも１つのデータを備える。
ある実施形態において、前記タイル化タイムドメディアデータは、スケーラブルのタイル化タイムドメディアデータでありタイムドサンプルの各々がそれに従ってリファレンスレイヤおよび少なくとも１つのエンハンスメントレイヤを備え、前記リファレンスレイヤは、少なくとも１つの参照空間的サブサンプルを備え、前記少なくとも１つのエンハンスメントレイヤは、複数の強化空間的サブサンプルを備え、前記マイクロプロセッサは、各々の選択された空間的サブサンプルに対して１つのタイルトラックを作成するステップにおいて作成されたタイルトラックが、強化空間的サブサンプルを備える強化タイルトラックであるように、さらに構成され、前記マイクロプロセッサは、参照空間的サブサンプルを備える少なくとも１つの参照トラックを作成するステップを実行するようにさらに構成される。
ある実施形態において、前記リファレンスレイヤは、複数の参照空間的サブサンプルを備え、前記マイクロプロセッサは、複数の参照トラックが作成されるようにさらに構成され、前記複数の参照トラックの各参照トラックは、参照タイルトラックを形成する。
ある実施形態において、前記作成されたトラックの各々のカプセル化から結果として生じるメディアセグメントファイルは、対応するトラックの定義を含むメタデータを保存するためのデータ構造を備える。
ある実施形態において、前記作成されたトラックの各々のカプセル化から結果として生じるメディアセグメントファイルは、空間的サブサンプルを保存するためのデータ構造を備える。
ある実施形態において、前記作成されたトラックの各々のカプセル化から結果として生じるメディアセグメントファイルは、抽出器を保存するためのデータ構造を備える。
ある実施形態において、サーバは、ハイパーテキスト転送プロトコル（ＨＴＴＰ）との互換性をもち、前記作成されたトラックの各々のカプセル化から結果として生じる前記メディアセグメントファイルは、国際規格機構によって規定されるようなベースメディアファイルフォーマットおよび動的適応型ＨＴＴＰストリーミングフォーマットとの互換性をもつ。
本発明の別の態様によれば、以上に記載されたような装置を備えるビデオ符号器が提供される。
本発明の別の態様によれば、クライアント装置において、複数のメディアセグメントファイル内でカプセル化されたパーティション化されたタイムドメディアデータからタイムドメディアデータビットストリームを提供する装置のための装置であって、前記パーティション化されたタイムドメディアデータは、タイムドサンプルを備え、各タイムドサンプルは、複数のサブサンプルを備えており、前記複数のメディアセグメントファイルは、少なくとも１つの参照トラックと少なくとも１つのパーティショントラックとを備え、前記少なくとも１つのパーティショントラックの各々は、タイムドサンプルの１つの複数のサブサンプルの中から選択される１つのサブサンプルを備え、他のタイムドサンプルの各々の１つの対応するサブサンプルを備え、前記少なくとも１つの参照トラックは、少なくとも１つのパーティショントラックを識別し、識別されたパーティショントラックの少なくとも１つのサブサンプルを識別する少なくとも１つの抽出器を備え、前記装置は以下のステップを実行するように構成された少なくとも１つのマイクロプロセッサを備える：
サブサンプルを表現する情報のアイテムを選択するステップと、
前記選択されたサブサンプルを備える前記少なくとも１つのパーティショントラックを要求するステップであって、前記選択されたサブサンプルは、情報の選択されたアイテムに対応する、
前記複数のメディアセグメントファイルを受信するステップと、
前記タイムドメディアデータビットストリームを生成するために、少なくとも１つの参照トラックの抽出器を、対応する識別されたサブサンプルによって置き換えるステップ。
したがって、本発明は、異なる部分、特に異なるタイルの組み合わせを可能にし、クライアント装置によってダウンロードされた選択された部分またはタイルのセットが何であれ、クライアントによる解析時に、有効なファイルフォーマットおよびエレメンタリストリームの生成を可能にする。
そのため、本発明の前記方法は、独立した部分またはタイルの効率的なストリーミングに適しており、有用なデータのみがクライアント装置に対して送信されることを必要とし、１つ以上の部分または選択タイル（すなわち任意の関心領域）をストリーミングするのに適しており、インデックス化オーバヘッドを減少させ（バイトレンジリクエストに基づくサンプルと比較して）、ＭＰＥＧ規格に統合することができる。
ある実施形態において、前記パーティション化されたタイムドメディアデータは、タイル化タイムドメディアデータであり、前記サブサンプルは、空間的サブサンプルであり、前記少なくとも１つのパーティショントラックは、少なくとも１つのタイルトラックであり、前記少なくとも１つの参照トラックは、少なくとも１つの複合トラックである。
ある実施形態において、前記パーティション化されたタイムドメディアデータは、タイル化タイムドメディアデータであり、前記サブサンプルは、空間的サブサンプルであり、前記少なくとも１つのパーティショントラックは、少なくとも１つのタイルトラックであり、前記少なくとも１つの参照トラックは、抽出器と必要に応じてイニシャライゼーションデータとを含む少なくとも１つの複合トラックである。
ある実施形態において、前記マイクロプロセッサは以下のステップを実行するようにさらに構成される：
前記少なくとも１つの複合トラックの抽出器からトラック参照を取得するステップと、
前記取得されたトラック参照に対応する前記トラックが受信されたか否かをチェックするステップと、
前記取得されたトラック参照に対応する前記トラックが受信されていなければ、タイムドメディアデータビットストリームを生成するために、対応する抽出器を取り除くステップ。
ある実施形態において、前記マイクロプロセッサは、前記取得されたトラック参照に対応する前記トラックがタイルタイプのトラックである、ということを確認するステップを実行するようにさらに構成される。
ある実施形態において、前記マイクロプロセッサは以下のステップを実行するようにさらに構成される：
前記少なくとも１つの複合トラックの抽出器からトラック参照を取得するステップと、
前記取得されたトラック参照に対応する前記トラックが受信されたか否かをチェックするステップと、
前記取得されたトラック参照に対応する前記トラックが受信されていなければ、タイムドメディアデータビットストリームを生成するために、対応する抽出器をパディングに置き換えるステップ。
ある実施形態において、前記マイクロプロセッサは、前記取得されたトラック参照に対応する前記トラックがタイルタイプのトラックである、ということを確認するステップを実行するようにさらに構成される。
ある実施形態において、前記マイクロプロセッサは、前記作成されたタイルトラックおよび前記作成された少なくとも１つの複合トラックから前記タイル化タイムドメディアデータの空間的部分の形成を可能にするパラメータを備えるイニシャライゼーションセグメントファイルを受信するステップを実行するようにさらに構成される。
ある実施形態において、前記マイクロプロセッサは、少なくとも２つのタイルトラックを表現する少なくとも２つのメディアセグメントファイルが受信されるようにさらに構成され、前記少なくとも１つの複合トラックは、同じ空間的サブサンプルに属する２つの空間的サブサンプルのどれかを復号するために用いられるべき少なくとも１つのデータを備える。
ある実施形態において、前記タイル化タイムドメディアデータは、スケーラブルのタイル化タイムドメディアデータでありそれに従ってタイムドサンプルの各々がリファレンスレイヤおよび少なくとも１つのエンハンスメントレイヤを備え、前記リファレンスレイヤは、少なくとも１つの参照空間的サブサンプルを備え、前記少なくとも１つのエンハンスメントレイヤは、複数の強化空間的サブサンプルを備え、前記マイクロプロセッサは、少なくとも２つのトラックを表現する少なくとも２つのメディアセグメントファイルが受信されるようにさらに構成され、少なくとも２つの受信されたトラックの一方は、参照空間的サブサンプルを備える参照トラックであり、少なくとも２つの受信されたトラックの他方は、強化空間的サブサンプルを備える強化タイルトラックである。
ある実施形態において、クライアント装置は、ハイパーテキスト転送プロトコル（ＨＴＴＰ）との互換性をもち、受信されたメディアセグメントファイルは、国際規格機構によって規定されるようなベースメディアファイルフォーマットおよび動的適応型ＨＴＴＰストリーミングフォーマットとの互換性をもつ。
本発明の別の態様によれば、以上に記載されたような装置を備えるビデオ復号器が提供される。
本発明をソフトウェアで実施することができるので、本発明は、任意の適切な伝達媒体上のプログラミング可能な装置に提供するためのコンピュータ読み取り可能なコードとして具体化することができる。有形的伝達媒体は、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープ装置、または個体メモリ装置などの記憶媒体、等を含んでもよい。一時的な伝達媒体は、電気的信号、電気信号、光信号、音響信号、磁気信号、または例えばマイクロ波若しくはＲＦ信号等の電磁気信号などの信号を含んでもよい。

Claims (14)

  1. メディアファイルを取得する取得手段と、
    前記取得手段により取得されたメディアファイルに基づいて１以上のタイル領域の画像を再生する再生手段と、を有し、
    前記メディアファイルには、２以上のタイル領域の画像データを有するトラックと、前記トラックにおけるサブトラックの情報を記述するタイルサブトラックグループボックスであって、グループ数及び各グループの識別子が記述されたタイルサブトラックグループボックスと、前記タイルサブトラックグループボックスに記述された識別子に対応するグループを構成するタイル領域に関する情報と、が含まれ、
    前記再生手段は、前記１以上のタイル領域の画像を、前記メディアファイルに含まれた当該タイル領域に関する前記情報を用いて再生することを特徴とする再生装置。
  2. 前記タイルサブトラックグループボックスは、ＩＳＯ／ＩＥＣ１４４９６−１２において規定されるサブトラック定義ボックス内に記述されることを特徴とする請求項１に記載の再生装置。
  3. 前記タイル領域に関する情報には、前記識別子に対応するタイル領域の幅及び高さに関する情報が含まれることを特徴とする請求項１又は２に記載の再生装置。
  4. 前記タイル領域に関する情報には、前記識別子に対応するタイル領域の水平方向及び垂直方向の位置に関する情報が含まれることを特徴とする請求項１乃至３のうち、何れか１項に記載の再生装置。
  5. 前記タイル領域に関する情報には、前記識別子に対応するタイル領域の符号化の依存関係に関する情報が含まれることを特徴とする請求項１乃至４のうち、何れか１項に記載の再生装置。
  6. 前記メディアファイルはＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）により符号化されたビデオストリームを含むことを特徴とする請求項１乃至５のうち、何れか１項に記載の再生装置。
  7. 前記識別子は、ＩＳＯ／ＩＥＣ１４４９６−１５にて規定されるサンプルグループ記述ボックスにおいてタイル領域に関する情報と関連付けられることを特徴とする請求項１乃至６のうち、何れか１項に記載の再生装置。
  8. 前記メディアファイルは、ＩＳＯ／ＩＥＣ１４４９６−１２に準拠するファイルであることを特徴とする請求項１乃至７のうち、何れか１項に記載の再生装置。
  9. 関心領域を指定する指定手段と、
    前記指定手段により指定された関心領域に対応するタイル領域の画像データを有するメディアファイルをサーバに要求する要求手段と、を有することを特徴とする請求項１乃至８のうち、何れか１項に記載の再生装置。
  10. 再生装置が実行する再生方法であって、
    メディアファイルを取得する取得工程と、
    前記取得工程において取得されたメディアファイルに基づいて１以上のタイル領域の画像を再生する再生工程と、を有し、
    前記メディアファイルには、２以上のタイル領域の画像データを有するトラックと、前記トラックにおけるサブトラックの情報を記述するタイルサブトラックグループボックスであって、グループ数及び各グループの識別子が記述されたタイルサブトラックグループボックスと、前記タイルサブトラックグループボックスに記述された識別子に対応するグループを構成するタイル領域に関する情報と、が含まれ、
    前記再生工程は、前記１以上のタイル領域の画像を、前記メディアファイルに含まれた当該タイル領域に関する前記情報を用いて再生することを特徴とする再生方法。
  11. 前記タイルサブトラックグループボックスは、ＩＳＯ／ＩＥＣ１４４９６−１２において規定されるサブトラック定義ボックス内に記述されることを特徴とする請求項１０に記載の再生方法。
  12. 前記タイル領域に関する情報には、前記識別子に対応するタイル領域の幅及び高さに関する情報が含まれることを特徴とする請求項１０又は１１に記載の再生方法。
  13. 関心領域を指定する指定工程と、
    前記指定工程において指定された関心領域に対応するタイル領域の画像データを有するメディアファイルをサーバに要求する要求工程と、を有することを特徴とする請求項１０乃至１２のうち、何れか１項に記載の再生方法。
  14. コンピュータを請求項１乃至９のうち何れか１項に記載の再生装置の各手段として動作させるためのプログラム。
JP2018159683A 2013-07-23 2018-08-28 再生装置、再生方法、及びプログラム Active JP6643430B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1313157.8A GB2516826B (en) 2013-07-23 2013-07-23 Method, device and computer program for encapsulating partitioned timed media data by creating tracks to be independently encapsulated in at least one media f
GB1313157.8 2013-07-23

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016528489A Division JP6395828B2 (ja) 2013-07-23 2014-07-21 パーティション化されたタイムドメディアデータをサブトラック機能を用いてカプセル化する方法、装置、およびコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2018182772A JP2018182772A (ja) 2018-11-15
JP6643430B2 true JP6643430B2 (ja) 2020-02-12

Family

ID=49119166

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016528489A Active JP6395828B2 (ja) 2013-07-23 2014-07-21 パーティション化されたタイムドメディアデータをサブトラック機能を用いてカプセル化する方法、装置、およびコンピュータプログラム
JP2018159683A Active JP6643430B2 (ja) 2013-07-23 2018-08-28 再生装置、再生方法、及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016528489A Active JP6395828B2 (ja) 2013-07-23 2014-07-21 パーティション化されたタイムドメディアデータをサブトラック機能を用いてカプセル化する方法、装置、およびコンピュータプログラム

Country Status (7)

Country Link
US (2) US10212491B2 (ja)
EP (1) EP3025508B1 (ja)
JP (2) JP6395828B2 (ja)
KR (2) KR101897945B1 (ja)
CN (2) CN109982154B (ja)
GB (1) GB2516826B (ja)
WO (1) WO2015011108A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013077236A1 (en) * 2011-11-21 2013-05-30 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
CN106233745B (zh) 2013-07-29 2021-01-15 皇家Kpn公司 向客户端提供瓦片视频流
GB2519746B (en) 2013-10-22 2016-12-14 Canon Kk Method, device and computer program for encapsulating scalable partitioned timed media data
US10320867B2 (en) * 2014-01-07 2019-06-11 Canon Kabushiki Kaisha Method, device, and computer program for encoding inter-layer dependencies in encapsulating multi-layer partitioned timed media data
US10694192B2 (en) 2014-06-27 2020-06-23 Koninklijke Kpn N.V. HEVC-tiled video streaming
GB2539462B (en) * 2015-06-16 2019-04-03 Canon Kk Obtaining media data and metadata from encapsulated bit-streams wherein operating point descriptors can be dynamically set
WO2016204481A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
US10715843B2 (en) * 2015-08-20 2020-07-14 Koninklijke Kpn N.V. Forming one or more tile streams on the basis of one or more video streams
EP3360330B1 (en) 2015-10-08 2021-03-24 Koninklijke KPN N.V. Enhancing a region of interest in video frames of a video stream
US20170111642A1 (en) * 2015-10-14 2017-04-20 Qualcomm Incorporated Support of random access and switching of layers and sub-layers in multi-layer video files
EP3293981A1 (en) * 2016-09-08 2018-03-14 Koninklijke KPN N.V. Partial video decoding method, device and system
US11197040B2 (en) * 2016-10-17 2021-12-07 Mediatek Inc. Deriving and signaling a region or viewport in streaming media
US10805620B2 (en) * 2017-01-11 2020-10-13 Mediatek Inc. Method and apparatus for deriving composite tracks
WO2018155939A1 (ko) 2017-02-22 2018-08-30 에스케이텔레콤 주식회사 영상 복호화 방법 및 장치
KR102424829B1 (ko) * 2017-02-22 2022-07-25 에스케이텔레콤 주식회사 비디오 데이터가 부호화된 비트스트림을 처리하는 방법
WO2018174934A1 (en) * 2017-03-20 2018-09-27 Intel Corporation Systems, methods, and apparatus for matrix move
US11049323B2 (en) * 2017-03-24 2021-06-29 Mediatek Inc. Method and apparatus for deriving VR projection, packing, ROI and viewport related tracks in ISOBMFF and supporting viewport roll signaling
GB2560921B (en) 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
US10924822B2 (en) 2017-04-04 2021-02-16 Qualcomm Incorporated Segment types as delimiters and addressable resource identifiers
US10778993B2 (en) * 2017-06-23 2020-09-15 Mediatek Inc. Methods and apparatus for deriving composite tracks with track grouping
GB2563865A (en) * 2017-06-27 2019-01-02 Canon Kk Method, device, and computer program for transmitting media content
WO2019009870A1 (en) 2017-07-01 2019-01-10 Intel Corporation SAVE BACKGROUND TO VARIABLE BACKUP STATUS SIZE
GB2567625B (en) * 2017-10-12 2020-07-15 Canon Kk Method, device, and computer program for generating timed media data
CN111684802B (zh) 2017-12-06 2023-12-22 V-诺瓦国际有限公司 用于对字节流进行分级编码和解码的方法和设备
CN113557736A (zh) * 2019-03-11 2021-10-26 华为技术有限公司 视频译码中的子图像级滤波
US11581022B2 (en) * 2019-05-29 2023-02-14 Nokia Technologies Oy Method and apparatus for storage and signaling of compressed point clouds
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
KR20220114088A (ko) * 2019-12-31 2022-08-17 노키아 테크놀로지스 오와이 비디오 인코딩 및 비디오 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램 제품
KR20210100853A (ko) * 2020-02-07 2021-08-18 삼성전자주식회사 이미지를 저장하는 전자 장치 및 방법
EP3972269A1 (en) * 2020-09-17 2022-03-23 Lemon Inc. Subpicture entity groups in video coding
US11871143B2 (en) 2020-09-17 2024-01-09 Lemon Inc. Subpicture tracks in coded video
EP3985974B1 (en) * 2020-10-13 2023-05-10 Axis AB An image processing device, a camera and a method for encoding a sequence of video images
GB2617048B (en) * 2021-01-06 2024-10-23 Canon Kk Method and apparatus for encapsulating uncompressed images and uncompressed video data into a file
CN114817647A (zh) * 2022-04-28 2022-07-29 清华大学 一种子图检索的方法、装置及电子设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6833840B2 (en) * 2000-02-14 2004-12-21 Optibase Ltd PROTO implementation in MPEG-4
WO2002014982A2 (en) * 2000-08-11 2002-02-21 Holomage, Inc. Method of and system for generating and viewing multi-dimensional images
CA2542026C (en) * 2002-04-29 2012-11-20 Nokia Corporation Indicating regions within a picture
EP1557837A1 (en) * 2004-01-26 2005-07-27 Sony International (Europe) GmbH Redundancy elimination in a content-adaptive video preview system
US7668914B2 (en) * 2005-03-28 2010-02-23 Alcatel Lucent Milestone synchronization in broadcast multimedia streams
US8019167B2 (en) * 2007-01-03 2011-09-13 Human Monitoring Ltd. Compressing high resolution images in a low resolution video
US20100232504A1 (en) * 2009-03-13 2010-09-16 The State of Oregon acting by and through the State Board of Higher Education on behalf of the Supporting region-of-interest cropping through constrained compression
JP5542912B2 (ja) * 2009-04-09 2014-07-09 テレフオンアクチーボラゲット エル エム エリクソン（パブル） メディア・コンテナ・ファイル管理
JP5638633B2 (ja) * 2010-03-05 2014-12-10 サムスン エレクトロニクス カンパニー リミテッド 複数のストリームを含むコンテンツファイル送受信装置及び方法
KR101633239B1 (ko) * 2011-06-08 2016-06-23 코닌클리즈케 케이피엔 엔.브이. 공간적으로-세그먼트된 콘텐츠 전달
EP2532736A1 (en) * 2011-06-08 2012-12-12 National University of Ireland, Galway Engineered living tissue substitute
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
WO2013077236A1 (en) * 2011-11-21 2013-05-30 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
US9354799B2 (en) * 2012-06-13 2016-05-31 Sonic Ip, Inc. Systems and methods for adaptive streaming systems with interactive video timelines
US9838686B2 (en) * 2013-07-12 2017-12-05 Intel Corporation Techniques for inclusion of thumbnail images in compressed video data

Also Published As

Publication number Publication date
JP6395828B2 (ja) 2018-09-26
KR101897945B1 (ko) 2018-09-12
JP2016527810A (ja) 2016-09-08
US10212491B2 (en) 2019-02-19
EP3025508A1 (en) 2016-06-01
KR20180067713A (ko) 2018-06-20
US10547914B2 (en) 2020-01-28
JP2018182772A (ja) 2018-11-15
GB201313157D0 (en) 2013-09-04
US20190124419A1 (en) 2019-04-25
CN105556982B (zh) 2019-04-02
CN109982154B (zh) 2021-06-08
CN109982154A (zh) 2019-07-05
KR101867570B1 (ko) 2018-06-15
GB2516826A (en) 2015-02-11
US20160165321A1 (en) 2016-06-09
EP3025508B1 (en) 2021-09-08
GB2516826B (en) 2016-06-22
CN105556982A (zh) 2016-05-04
WO2015011108A1 (en) 2015-01-29
KR20160034951A (ko) 2016-03-30

Similar Documents

Publication Publication Date Title
JP6643430B2 (ja) 再生装置、再生方法、及びプログラム
US10645428B2 (en) Method, device, and computer program for encapsulating partitioned timed media data using a generic signaling for coding dependencies
KR101748779B1 (ko) 분할된 시간 설정형 미디어 데이터를 캡슐화하는 방법, 디바이스 및 컴퓨터 프로그램
GB2551296A (en) Method, device, and computer program for encapsulating partitioned timed media data
GB2546027A (en) Method, device, and computer program for encapsulating partioned timed media data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200106

R151 Written notification of patent or utility model registration

Ref document number: 6643430

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151