WO2009093647A1 - 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置 - Google Patents

動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置 Download PDF

Info

Publication number
WO2009093647A1
WO2009093647A1 PCT/JP2009/050958 JP2009050958W WO2009093647A1 WO 2009093647 A1 WO2009093647 A1 WO 2009093647A1 JP 2009050958 W JP2009050958 W JP 2009050958W WO 2009093647 A1 WO2009093647 A1 WO 2009093647A1
Authority
WO
WIPO (PCT)
Prior art keywords
bit stream
picture
stream
bit
bitstream
Prior art date
Application number
PCT/JP2009/050958
Other languages
English (en)
French (fr)
Inventor
Tatsuji Moriyoshi
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to JP2009550551A priority Critical patent/JP5170708B2/ja
Priority to EP20090704263 priority patent/EP2249567A4/en
Priority to US12/863,940 priority patent/US8731065B2/en
Publication of WO2009093647A1 publication Critical patent/WO2009093647A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • G11B27/007Reproducing at a different information rate from the information rate of recording reproducing continuously a part of the information, i.e. repeating
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Definitions

  • the present invention relates to a method and apparatus for processing a moving image stream, a moving image reproduction apparatus using the same, and a moving image distribution apparatus.
  • the present invention is particularly suitably used when performing special reproduction such as high-speed reproduction and reverse high-speed reproduction.
  • H standardized by ITU (International Telecommunication Union) as a technology to generate encoded data by encoding moving image signals at a low bit rate, high compression rate and high image quality, and to decode encoded moving images. . 261, H.H. 263. Also, ISO (International Organization for Standardization) MPEG-1, MPEG-2, MPEG-4, etc. are widely used as international standards.
  • ITU International Telecommunication Union
  • ISO International Organization for Standardization
  • H.264 has been standardized jointly by ITU and ISO. H.264 (Non-Patent Document 1). This H. It is known that H.264 can realize further improvement in compression efficiency and image quality as compared with the conventional moving picture coding technology.
  • inter-frame prediction encoding techniques that use temporal correlation between frames are widely used in order to efficiently compress video signals.
  • inter-frame predictive coding an image signal of a current frame is predicted from an image signal of an already encoded frame, and a prediction error signal between the predicted signal and the current signal is encoded.
  • this technique is effective in improving compression efficiency.
  • MPEG-1, MPEG-2, MPEG-4, H.264 In a moving picture coding technique such as H.264, an I picture (intra-frame coded picture) that does not use inter-frame predictive coding, and a P picture (one piece) that uses inter-frame predictive coding from one already coded frame.
  • a motion picture is encoded by combining a B picture (bidirectional predictive encoded picture) using interframe predictive encoding from two frames that have already been encoded.
  • an I picture can be decoded by one frame alone, but P picture and B picture cannot be decoded by one frame alone because image data used for prediction in inter-frame prediction is required in advance for decoding.
  • FIG. 1 An example of a picture configuration in the moving picture coding system is shown in FIG.
  • Each quadrangle represents one frame, and the picture type and display order are shown below (for example, B5 indicates that the fifth frame is encoded as a B picture in the display order).
  • B5 indicates that the fifth frame is encoded as a B picture in the display order.
  • a moving image is encoded by appropriately combining I pictures, P pictures, and B pictures having different properties.
  • FIG. 1 is a diagram showing an example of a picture configuration of moving picture coding.
  • special playback such as high-speed playback and reverse high-speed playback of an encoded video bitstream as shown in FIG. 1
  • I-picture bitstream that can be decoded independently is extracted from the bitstream and played back. Things have been done.
  • FIG. 2 is a diagram showing an operation example for obtaining a high-speed playback bit stream and a reverse high-speed playback bit stream.
  • FIG. 3 is a diagram showing the configuration of an apparatus that performs high-speed playback and reverse high-speed playback.
  • the bit stream is input to the stream extraction unit 101.
  • the stream extraction unit 101 extracts only the I-picture bit stream from the input bit stream and supplies it to the stream rearrangement unit 102.
  • the stream rearrangement unit 102 rearranges the supplied I-picture bit stream as necessary and outputs it to the outside.
  • the stream extraction unit 101 similarly extracts only I pictures from the bitstream, and the stream rearrangement unit 102 rearranges them in the reverse order of the display order and outputs them. By doing so, the reverse high-speed playback bit stream shown in the lower right part of FIG. 2 is obtained.
  • Patent Literature 1 discloses a technique for developing the above method and generating a high-speed playback stream by extracting only the minimum I picture necessary for display.
  • the method of Patent Document 1 is a H.264 standardized in recent years. It can also be used for special reproduction of a bitstream encoded by the H.264 video encoding technique.
  • H. H.264 has a higher degree of freedom in encoding than MPEG-1, MPEG-2, MPEG-4 and other encoding standards, and MPEG-1, MPEG-2, MPEG-4 encoding standards are applicable. There are cases where it is not possible. The contents will be described below.
  • IDR Intelligent Decoding Refresh
  • IDR pictures and I pictures are H.264, respectively. It refers to an IDR picture and an I picture in the H.264 system.
  • a bitstream having a small number of IDR pictures and a large number of I pictures is generated for the purpose of improving coding efficiency.
  • special reproduction using only IDR has a small number of pictures that can be used, and smooth motion cannot be realized.
  • FIG. 4 shows an operation example of a high-speed playback bit stream using only IDR.
  • the original bit stream is shown in the upper part of FIG. 4, and the high-speed playback bit stream is shown in the lower part of FIG.
  • the original bitstream includes a picture (IDR or I) that can independently reproduce the image data every 6 frames.
  • the IDR picture has an interval of 18 frames.
  • the other is an I picture.
  • frame_num existing in slice_header () is specified to increment by 1 for each reference picture, but when IDR and I are extracted and arranged, the value of frame_num increases by 2 or more between adjacent reference pictures Depending on the decoding device, there is a possibility of determining an error.
  • the decoding device has an operation mode for special playback.
  • the special playback mode the output order information and decoding errors in the header part are ignored, and the decoded image data is output as it is in the decoding order.
  • a technique for performing a decoding operation of performing the above is conceivable. JP 05-344494 A ITU-T Recommendation H. H.264 "Advanced video coding for genetic audioservices", March 2005
  • the video coding technology of the international standard such as H.264 strictly regulates the operation of the decoding device. If the same bit stream is input, any manufacturer that manufactures the decoding device conforming to the standard can be manufactured. It is guaranteed that the same decoding result can be obtained even with the decoding apparatus. This is one of the major advantages of the video coding technology of the international standard. For this reason, the technique of adding a function outside the standard to the decoding device is not preferable depending on the purpose of use.
  • An exemplary object of the present invention is to provide a moving image stream processing method and apparatus capable of realizing special reproduction such as high-speed reproduction and high-speed reverse reproduction without changing the decoding apparatus, and a moving image using the same
  • An object of the present invention is to provide an image reproduction device and a moving image distribution device.
  • the exemplary moving image stream processing apparatus of the present invention can independently decode a first bit stream of a picture that can be decoded independently from a bit stream obtained by encoding a moving image and an image data portion.
  • a conversion unit that converts the second bitstream extracted by the extraction unit into a third bitstream of a picture that can be decoded independently;
  • a moving picture stream processing apparatus that outputs the bit stream of the first picture extracted by the extraction unit and the third bit stream in the order of extraction or in the reverse order of the extraction; is there.
  • the exemplary moving image stream processing apparatus of the present invention can independently decode a first bit stream of a picture that can be decoded independently from a bit stream obtained by encoding a moving image and an image data portion.
  • An extraction unit that extracts a second bit stream of a picture other than the image data part that cannot be decoded independently, and a bit stream of an encoding parameter set;
  • a storage unit for storing the extracted encoding parameter set;
  • a generating unit that changes the stored encoding parameter set to generate an encoding parameter set for adjusting a bit length change other than the image data unit;
  • a conversion unit that converts the second bit stream extracted by the extraction unit into a third bit stream of a picture that can be independently decoded based on the encoding parameter set generated by the generation unit; Prepared,
  • the moving image stream processing apparatus outputs the first bit stream and the third bit stream extracted by the extraction unit in the order of extraction or in the reverse order of extraction.
  • an exemplary moving image reproduction device of the present invention includes the above-described moving image stream processing device, a moving image decoding device that decodes a bit stream obtained by encoding a moving image, and an input bit during normal reproduction.
  • a stream is supplied to the moving picture decoding apparatus, and an input bit stream is supplied to the moving picture stream processing apparatus at the time of special playback of high speed playback or reverse high speed playback, and the bit stream processed by the moving picture stream processing apparatus is A bit stream switching device for switching to be supplied to the moving image decoding device and a moving image display device for displaying a decoded image from the moving image decoding device.
  • an exemplary storage medium of the present invention includes a bit stream obtained by encoding a moving image and a special reproduction processed by the moving image stream processing apparatus according to any one of claims 1 to 6.
  • a bitstream and a management table having information associating the bitstream and the special reproduction bitstream are stored.
  • the exemplary moving image distribution apparatus of the present invention reads the bitstream from the storage medium and the storage medium during normal reproduction, and associates the bitstream with reference to the management table during special reproduction.
  • a bit stream switching device that reads the bit stream for special reproduction, and a bit stream transmission device that transmits the bit stream read by the bit stream switching device to a receiving terminal.
  • an exemplary moving image stream processing method of the present invention is capable of independently decoding a first bit stream of a picture that can be decoded independently from a bit stream obtained by encoding a moving image and an image data portion. And a second bit stream of a picture that cannot be decoded independently except for the image data portion, Converting the extracted second bitstream into a third bitstream of a picture that can be decoded independently;
  • the extracted first bit stream and the extracted third bit stream are arranged in the order of extraction or in reverse order of extraction.
  • an exemplary moving image stream processing method of the present invention is capable of independently decoding a first bit stream of a picture that can be decoded independently from a bit stream obtained by encoding a moving image and an image data portion.
  • the second bit stream of the picture other than the image data portion that cannot be decoded alone and the bit stream of the encoding parameter set are extracted, Storing the extracted encoding parameter set in a storage unit; Changing the stored encoding parameter set to generate an encoding parameter set for adjusting a bit length change other than the image data portion; Converting the extracted second bitstream into a third bitstream of a picture that can be independently decoded based on the generated encoding parameter set;
  • the extracted first bit stream and the extracted third bit stream are arranged in the order of extraction or in reverse order of extraction.
  • the picture data part can be decoded independently, but the header part cannot use pictures that cannot be decoded separately for special playback.
  • such pictures can be completely decoded independently. This is because it is converted into a simple picture and used for special reproduction. Since the special reproduction bit stream can be input to a normal decoding device and can be decoded, the special reproduction stream is input to a normal decoding device that does not have an additional function for realizing special reproduction and is decoded. Thus, it is possible to realize special reproduction such as high-speed reproduction and high-speed reverse reproduction that are smoother than conventional ones.
  • H.264 is used. An example of the H.264 system will be described.
  • FIG. 5 is a block diagram showing the configuration of the moving image stream processing apparatus according to the first embodiment of the present invention
  • FIGS. 6 and 7 are flowcharts showing the operation procedure.
  • 8 and 9 are diagrams for explaining the outline of the operation.
  • the present embodiment is different from the configuration of FIG. 3 in that it includes a switching unit 202 and a stream conversion unit 203 as shown in FIG.
  • the stream extraction unit 201 and the stream rearrangement unit 204 in FIG. 5 respectively correspond to the stream extraction unit 101 and the stream rearrangement unit 104 in FIG.
  • the stream rearrangement unit 204 arranges and outputs the images in the order of extraction in the case of high-speed reproduction, and outputs them in the reverse order of the extraction order in the case of reverse high-speed reproduction. Therefore, the stream rearrangement unit 204 is a bit stream output unit that generates and outputs a high-speed playback bit stream or a reverse high-speed playback bit stream.
  • the switching unit 202 switches depending on whether the stream supplied from the stream extraction unit 201 is an IDR picture or an I picture. That is, if it is an IDR picture, the stream is supplied to the stream rearrangement unit 204 as it is, and if it is an I picture, the stream is supplied to the stream conversion unit 203.
  • the stream conversion unit 203 converts the input I picture stream into an IDR picture.
  • the I picture and IDR picture are as described in the background art. That is, the IDR picture can be completely decoded independently like the I picture of the conventional coding standard such as MPEG-2. H. Although the H.264 I picture is image data itself decoded independently, the decoding of the header portion requires past picture information. That is, H.H. In the H.264 system, the image data portion of an IDR picture can be decoded independently, and the image data portion of an I picture can be decoded independently, but only the image data portion can be decoded independently.
  • step S1001 the stream extraction unit 201 reads an input bit stream (a bit stream obtained by encoding a moving image), and a picture that can be independently decoded in the image data unit (IDR or H.264) It is determined whether or not (I picture) is included (step S1002).
  • IDR image data unit
  • step S1002 the encoding type can be determined by the slice_type of slice_header (). If there is no IDR or I picture, the process proceeds to step S1007 and the operation is terminated.
  • the stream extracting unit 201 extracts the IDR or I picture stream and supplies it to the switching unit 202 (step S1003).
  • the switching unit 202 switches connection depending on whether the input stream is an IDR picture or an I picture (step S1004). In the case of an IDR picture, the stream is supplied as it is to the stream rearrangement unit 204 (step S1006). In the case of an I picture, the stream is supplied to the stream conversion unit 203.
  • the stream conversion unit 203 converts the input I-picture stream into an IDR picture (step S1005), and supplies the converted IDR picture stream to the stream rearrangement unit 204.
  • the stream rearrangement unit 204 performs rearrangement processing as necessary on the input stream and outputs the stream (step S1006). Then, the process returns to step S1002 to search for the next IDR or I picture from the input bitstream. If there is no IDR or I picture, the process ends in step S1007.
  • the rearrangement process according to the necessity of the stream rearrangement unit 204 means that, in the case of high-speed reproduction, IDR pictures are arranged in the extracted order to obtain a high-speed reproduction bitstream.
  • the reverse high-speed playback bit stream is obtained by rearranging in the reverse order to that in FIG.
  • the stream converter 203 converts the I picture stream input as described above into an IDR picture.
  • the operation will be described in detail with reference to FIGS.
  • FIG. 7 is a flowchart showing the operation
  • FIG. 8 is a diagram for explaining the operation. The process starts from step S1101 in FIG.
  • step S1102 since the stream syntax differs between the IDR picture and the I picture above the header part (slice_header ()), necessary rewriting is performed (step S1102).
  • bit length of slice_header () may change depending on the content of rewriting the header part.
  • bit position of the bit stream after the subsequent slice_data () changes by the bit length change of slice_header ().
  • a code word having a byte alignment rule may change its bit position and may not satisfy the byte alignment rule.
  • FIG. 8 shows an example of this operation.
  • the horizontal axis of FIG. 8 represents the bit position in the bit stream, where the small scale is in 1-bit units and the large scale is in 8-bit units.
  • the header part before conversion is up to the fifth bit of the second byte in FIG. 8, followed by the image data part.
  • the image data part there is a code word for which byte alignment is defined at a position indicated by a black triangle.
  • the entropy code (CAVLC or CABAC in H.264) is once decoded with respect to the image data portion, and the entropy encoding is performed again while performing correction for byte alignment rule matching as necessary.
  • Step S1103 For example, in the case of pcm_sample_luma, the number of immediately preceding pcm_alignment_zero_bits is increased or decreased so as to satisfy the byte alignment convention at the time of re-entropy coding.
  • step S1104 conversion of an I picture to an IDR picture is completed by performing only such stream shaping processing for byte alignment matching. Although explanation is omitted for simplicity, the above conversion processing is performed for all slices included in the picture.
  • FIG. 9 is a diagram showing an operation example of this embodiment.
  • the original bit stream is shown in the upper part of FIG. 9, and the high-speed playback bit stream is shown in the lower part of FIG.
  • I pictures I6, I12
  • the stream conversion unit 203 converts the I picture into an IDR picture (IDR6, IDR12) and uses it.
  • IDR picture and I picture streams are extracted, and I pictures are converted into IDR pictures and used for generating a special reproduction bit stream.
  • IDR pictures are converted into IDR pictures and used for generating a special reproduction bit stream.
  • more pictures than the number used in the background art can be used for special reproduction.
  • IDR pictures including those converted from I pictures are used for special reproduction, each picture can be completely decoded independently, and a correct bit stream conforming to the standard can be obtained even if rearrangement is performed. can get. Accordingly, it is possible to provide a moving image stream processing apparatus and method capable of realizing special reproduction such as smooth high-speed reproduction and high-speed reverse reproduction without changing the decoding apparatus.
  • FIG. 10 is a flowchart showing the operation procedure of the second embodiment.
  • the configuration of the moving image stream processing apparatus of the present embodiment is the same as that of the first embodiment.
  • the overall process flowchart is also the same as the flowchart of FIG.
  • the difference from the first embodiment is the conversion processing of the stream conversion unit 203.
  • FIG. 10 shows the operation of the stream conversion unit 203.
  • step S1202 processing is started from step S1201 in FIG.
  • step S1203 After rewriting higher than the header portion (step S1202), it is determined whether or not the bit length change of the header portion due to rewriting is a multiple of 8 (step S1203).
  • 0 is also a multiple of 8. The same applies to the following embodiments.
  • the shift in the bit position of the stream in the image data portion is a multiple of 8, so that there is no shift in the byte alignment position of each codeword in the image data portion. For this reason, no further processing is necessary for the image data portion (end in S1207), and the input stream is output as it is.
  • bit length change in the header portion is not a multiple of 8
  • it is determined whether or not there is a bit for byte alignment matching at the head of the image data portion (step S1204). If it exists, the number of bits is adjusted to match the byte alignment (step S1206).
  • H In the case of H.264, when CABAC is used for entropy encoding, since the code word cabac_alignment_one_bit for aligning byte alignment exists at the head of the image data portion (slice_data ()), the number of bits of this cabac_alignment_one_bit is adjusted. And align byte alignment.
  • decoding and re-encoding processing of an entropy code having a large calculation load is always performed.
  • this processing is not performed as much as possible, so that high-speed reproduction can be performed with a smaller calculation load.
  • Special playback such as high-speed reverse playback can be realized.
  • FIG. 11 is a flowchart showing the operation procedure of the third embodiment.
  • the configuration of the moving image stream processing apparatus of the present embodiment is the same as that of the first and second embodiments.
  • the overall process flowchart is the same as that of the first embodiment of FIG.
  • the difference from the first and second embodiments is the conversion processing in the stream conversion unit 203.
  • FIG. 11 shows the operation of the stream conversion unit 203.
  • step S1301 to step S1303 in FIG. 11 is the same as step S1201 to step S1203 in the flowchart (FIG. 10) of the second embodiment.
  • the processing when the bit length change of the header portion is not a multiple of 8 in step S1303 is different.
  • bit length change of the header portion is a multiple of 8 by changing a part of the code word of the header portion (slice_header ()) (step S1304).
  • the value of the code word idr_pic_id of slice_header () of the IDR picture can be changed in the range of 0 to 65535, and the bit length changes in units of 2 bits depending on the value.
  • bit length change of the header part is 2, 4 and 6 bits
  • the bit length is further adjusted in units of 2 bits by appropriately selecting the value of idr_pid_id to change the bit length of the header part. It can be a multiple of 8.
  • the processing when the bit length change cannot be made a multiple of 8 even after adjustment in step S1304 (steps S1306 to S1308) is performed in steps S1204 to S1206 in the flowchart (FIG. 10) of the second embodiment. It is the same as processing.
  • FIG. 12 is a block diagram showing the configuration of the moving image stream processing apparatus of this embodiment
  • FIGS. 13 and 14 are flowcharts showing the operation procedure of this embodiment.
  • the stream extraction unit 301, the switching unit 302, the stream rearrangement unit 303, and the stream conversion unit 305 illustrated in FIG. 12 are added to the stream extraction unit 201, the switching unit 202, the stream rearrangement unit 204, and the stream conversion unit 203 illustrated in FIG. Each corresponds.
  • the function is similar.
  • the switching unit 302 supplies the extracted stream to the encoding parameter set storage unit 304 in the case of the encoding parameter set stream as described later.
  • This embodiment is different from the first embodiment in that an encoding parameter set storage unit 304 and a stream generation unit 306 are added.
  • the encoding parameter set storage unit 304 stores the supplied stream.
  • the stream extraction unit 301 reads the input bit stream (a bit stream obtained by encoding a moving image), and a picture (IDR or I picture in H.264) that can be decoded independently. ) Is included (step S1402).
  • the process proceeds to step S1408 and the operation is terminated.
  • the stream extraction unit 301 extracts a necessary stream (step S1403).
  • the encoding parameter set stream is also extracted.
  • the encoding parameter set is a collection of various parameter groups necessary for picture decoding. In the case of H.264, there are seq_parameter_set_rbsp () and pic_parameter_set_rbsp ().
  • the extracted stream is supplied to the switching unit 302.
  • the switching unit 302 switches the connection depending on the type of the input stream (IDR picture, I picture, or encoding parameter set) (step S1404).
  • the stream is supplied to the stream rearrangement unit 303 as it is.
  • the stream is supplied to the stream conversion unit 305.
  • the encoding parameter set it is supplied to the encoding parameter set storage unit 304.
  • the encoding parameter set storage unit 304 stores the input stream (step S1407).
  • the stream conversion unit 305 converts the input I-picture stream into an IDR picture (step S1405), and supplies the converted IDR picture stream to the stream rearrangement unit 303.
  • the encoding parameter set stored in the encoding parameter set storage unit 304 is read as necessary and supplied to the stream generation unit 306.
  • the stream generated by the stream generation unit 306 is also combined with the stream.
  • the data is supplied to the sorting unit 303.
  • the stream rearrangement unit 303 performs rearrangement processing as necessary on the input stream as in the above-described embodiment, and outputs the stream (step S1406). Then, the process returns to step S1402 to search for the next IDR or I picture from the input bitstream. In step S1408, the process ends.
  • the stream conversion unit 305 converts an input I picture stream into an IDR picture, and the operation will be described in detail with reference to the flowchart of FIG.
  • the processing of changing the header part (step S1502) and determining the bit length change of the header part (step S1503) is the same as steps S1302 and S1303 of the third embodiment (FIG. 11).
  • steps S1302 and S1303 of the third embodiment FIG. 11
  • both the header part (slice_header ()) and the encoding parameter set are adjusted (S1504). Thereafter, the process ends (S1505).
  • the number of bits that need to be adjusted is an even number, it can be adjusted by changing the value of the code word of slice_header () as in step S1304 of the third embodiment (FIG. 11).
  • this method alone cannot be adjusted. In such a case, for example, adjustment is performed by changing the bit length of the code word frame_num of slice_header ().
  • the bit length of frame_num is determined by the value of the codeword log2_max_frame_num_minus4 of seq_parameter_set_rbsp (). Therefore, when the bit length adjustment of frame_num is necessary, active seq_parameter_set_rbsp () and pic_parameter_set_rbsp () are read from the encoding parameter set storage unit 304, and the value of log 2 _max_frame_num_minus 4 is changed by using the stream generation unit 306. Pic_parameter_set_rbsp () that references is generated.
  • the codeword values other than log2_max_frame_num_minus4 may be the same as those before change. Further, code words such as seq_parameter_set_id and pic_parameter_set_id may be changed as necessary.
  • the stream conversion unit 305 rewrites slice_header () so as to refer to seq_parameter_set_rbsp () and pic_parameter_set_rbsp () generated by the stream generation unit 306.
  • log2_max_frame_num_minus4 to adjust the number of odd bits and adjusting the number of remaining even bits by changing idr_pic_id, it is possible to determine which bit length change of the header part. Even such a value can be adjusted to a multiple of 8. Since this adjustment process does not cause a shift in the byte alignment position of the image data portion, the input stream is output as it is for the image data portion.
  • FIG. 15 shows operations of the stream conversion unit 305 and the stream generation unit 306 as described above.
  • FIG. 15 shows a bit stream obtained by encoding a moving image input to the stream extraction unit 301 and a bit stream supplied to the stream rearrangement unit 303.
  • SPS and PPS respectively represent seq_parameter_set_rbsp () and pic_parameter_set_rbsp ().
  • PPS of the input bitstream refers to SPS
  • pictures such as IDR0, I6, and I12 refer to PPS.
  • SPS and PPS are stored in the encoding parameter set storage unit 304.
  • the I picture I6 and I12 picture are converted into IDR pictures IDR6 and IDR12 by the stream converter 305 as shown in FIG.
  • SPS and PPS are read from the encoding parameter set storage unit 304. Then, the stream generation unit 306 generates seq_parameter_set_rbsp () (SPS ') in which the value of log2_max_frame_num_minus4 is changed and pic_parameter_set_rbsp () (PPS') referring to the seq_parameter_set_rbsp ().
  • the stream conversion unit 305 converts the IDR6 and IDR12 pictures
  • the value of log2_max_frame_num_minus4 is changed to change the bit length (bit length change) other than the image data portion of the picture. It is changed so as to be a multiple of 8.
  • the stream conversion unit 305 outputs IDR6 and IDR12 while rewriting slice_header () so as to refer to the SPS ′ and PPS ′ generated by the stream generation unit 306.
  • SPS ', PPS', IDR6, and IDR12 are supplied to the stream rearrangement unit 303 together with IDR0, and are used for a high-speed playback bitstream when performing high-speed playback or reverse high-speed playback.
  • FIG. 16 is a block diagram showing the configuration of the fifth embodiment.
  • the moving image stream processing device 402 is the moving image stream processing device described in any of the first to fourth embodiments.
  • the bit stream switching device 401 supplies the input bit stream directly to the moving picture decoding device 403 during normal reproduction. During special playback such as high-speed playback and reverse high-speed playback, the input bit stream is supplied to the moving image stream processing device 402, and the output bit stream from the moving image stream processing device 402 is supplied to the moving image decoding device 403.
  • the moving image stream processing device 402 performs the special reproduction bit stream generation processing described in the first to fourth embodiments as described above on the input bit stream, and outputs a bit stream as a processing result.
  • the moving picture decoding apparatus 403 performs a decoding process on the input bit stream, and supplies a decoding result image to the moving picture display apparatus 404.
  • the moving image display device 404 displays and outputs the input image on a display unit such as a CRT or a liquid crystal display.
  • the input bit stream is supplied as it is to the video decoding device 403 during normal playback, and special playback such as high-speed playback and reverse high-speed playback is performed by the video stream processing device 402 during special playback such as high-speed playback and reverse high-speed playback.
  • a playback stream is generated and supplied to the moving picture decoding apparatus 403.
  • FIG. 17 is a block diagram showing the configuration of the sixth embodiment
  • FIGS. 18 and 19 are diagrams showing examples of the management table of the sixth embodiment.
  • the storage medium 501 includes a bit stream 511 obtained by encoding a moving image, and high-speed playback and reverse high-speed playback generated by inputting the bit stream 511 to the moving image stream processing apparatus according to any of the first to fourth embodiments.
  • a special reproduction bit stream 512 for special reproduction is stored.
  • the management table 513 in which association information between the bit stream 511 and the special reproduction bit stream 512 is recorded is provided.
  • Reference numeral 502 denotes a bit stream switching device
  • reference numeral 503 denotes a bit stream transmission device.
  • the management table 513 stores information that enables switching between the bit stream 511 and the special reproduction bit stream 512.
  • a simple example of the management table 513 is shown in FIG. In the example of FIG. 18, stream switching is enabled by storing the file names storing the bit stream 511 and the special reproduction bit stream 512 in association with each other. It is also conceivable to store information as shown in FIG.
  • each picture of the special reproduction stream In the example of FIG. 19, in addition to storing the file name storing the bit stream and the special reproduction stream (the high-speed reproduction bit stream and the reverse high-speed reproduction bit stream) in association with each other, each picture of the special reproduction stream The time stamp in the bit stream 511 corresponding to is stored. By storing such information, it is possible to perform natural operation switching that inherits the time stamp of the reproduction position when the operation is switched from normal reproduction to special reproduction or from special reproduction to normal reproduction.
  • the bit stream switching device 502 reads the bit stream 511 from the storage medium 501 and supplies it to the bit stream sending device 503 during normal playback.
  • the special reproduction bit stream 512 associated with the bit stream 511 is read with reference to the management table 513 and supplied to the bit stream transmission device 503.
  • the bit stream sending device 503 sends the input bit stream to a transmission line such as a computer network toward a predetermined receiving terminal.
  • the normal bit stream and the special reproduction bit stream are stored in association with each other, and the normal bit stream is transmitted to the receiving terminal during normal reproduction and the special reproduction bit stream associated with the special reproduction is transmitted to the receiving terminal.
  • a picture that can be completely decoded and an image data part can be decoded independently but other than the image data part. Can be applied to a moving picture coding system having a picture that cannot be decoded independently.
  • a method of adjusting the bit length change of the header part by changing the value of log2_max_pic_order_cnt_lsb_minus4 or pic_parameter_set_id may be considered.
  • the case of high-speed reproduction and high-speed reverse reproduction has been described as an example, but the reproduction method of the present invention is not limited to these.
  • the method of the present invention can be applied to reproduction of a playlist, movement of a reproduction position to another bit stream, and the like.
  • the present invention described above can also be realized by a computer reading a program from a recording medium and executing it. That is, the present invention as described above can be realized by software.
  • the program describing the functions of the moving image stream processing apparatus shown in FIG. 5 or 12 is stored in a storage unit such as a hard disk, and the CPU serving as the control unit executes the program.
  • the CPU serving as the control unit executes the program.
  • FIG. 20 is a block diagram showing a configuration example of a computer constituting the moving image stream processing apparatus of the present embodiment.
  • a program describing the functions of the moving image stream processing apparatus shown in FIG. 5 or 12 is stored in a disk device 1101 such as a hard disk device.
  • the disk device 1101 When realizing the function of the moving image stream processing apparatus shown in FIG. 5, the disk device 1101 also includes a bit stream input to the stream extraction unit 201, a bit stream extracted by the stream extraction unit 201, and a stream conversion unit 203. The bit stream converted in step 1 is stored.
  • the disk device 1101 also functions as the encoding parameter set storage unit 304.
  • the CPU 1103 executes a program that realizes the function of the moving image stream processing apparatus.
  • Reference numeral 1105 denotes a bus such as a data bus
  • 1102 denotes a memory such as a DRAM for storing information necessary for information processing of the CPU 1103.
  • the I / O device 1104 serves as a communication unit that outputs an externally processed bit stream.
  • the program (also referred to as a program product) can be recorded on a computer-readable information recording medium such as an FD (floppy disk), a CDROM, a DVD, or a flash memory.
  • a disk device is used as the storage unit.
  • a program recorded on a computer-readable information recording medium such as an FD or a CDROM is read into the disk device of the computer, and the process is executed. It can function as a processing device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

H.264で符号化した動画像のビットストリームから、IDR ピクチャのビットストリームと、I ピクチャのビットストリームとを抜き出す抜き出し部と、抜き出し部で抜き出されたIピクチャのビットストリームをIDRピクチャからなるビットストリームに変換する変換部と、を備え、抜き出し部により抜き出されたIDRピクチャのビットストリームと、変換されて生成されたIDRピクチャビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する。

Description

動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置
 本発明は、動画像ストリームを加工する方法及び装置、それを用いた動画像再生装置、並びに動画像配信装置に関するものである。本発明は特に、高速再生や逆高速再生等の特殊再生を行なう際に好適に用いられる。
 動画像信号を低ビットレート、高圧縮率且つ高画質で符号化して符号化データを生成したり、符号化された動画像を復号化したりする技術として、ITU(International Telecommunication Union)が標準化したH.261、H.263がある。また、ISO(International Organization for Standardization)のMPEG-1、MPEG-2、MPEG-4等が国際標準規格として広く用いられている。
 更に、近年ITUとISOが共同で規格化を行なったH.264がある(非特許文献1)。このH.264は従来の動画像符号化技術に比べ、更なる圧縮効率向上、画質向上を実現できることが知られている。
 これら動画像符号化技術では、動画像信号を効率よく圧縮するために、各フレームの時間的な相関を利用するフレーム間予測符号化技術が広く用いられている。フレーム間予測符号化は、すでに符号化したフレームの画像信号から現在のフレームの画像信号を予測し、予測した信号と現在の信号との間の予測誤差信号を符号化する。一般的な動画像では時間的に近接するフレームの画像信号には高い相関が存在するため、この技術は圧縮効率向上に効果的である。
 MPEG-1、MPEG-2、MPEG-4、H.264等の動画像符号化技術では、フレーム間予測符号化を利用しないIピクチャ(フレーム内符号化画像)、すでに符号化した1枚のフレームからのフレーム間予測符号化を利用するPピクチャ(片方向予測符号化画像)、すでに符号化した2枚のフレームからのフレーム間予測符号化を利用するBピクチャ(双方向予測符号化画像)を組み合わせて動画像を符号化する。
 復号化の際には、Iピクチャは1フレーム単独で復号できるが、Pピクチャ、Bピクチャは復号するのにフレーム間予測で予測に用いる画像データが予め必要であるため1フレーム単独では復号できない。
 動画像符号化方式におけるピクチャ構成の例を図1に示す。それぞれの四角形が1フレームを表し、下にはピクチャ種別と表示順を示す(例えばB5は表示順で5番目のフレームでBピクチャとして符号化されことを表す)。このように性質の異なるIピクチャ、Pピクチャ、Bピクチャを適切に組み合わせて動画像を符号化することが行われている。
 図1は動画像符号化のピクチャ構成の一例を示す図である。図1に示すように符号化された動画像ビットストリームを高速再生、逆高速再生等の特殊再生する場合には、ビットストリームから単独で復号化可能なIピクチャのビットストリームのみを抜き出して再生することが行われている。
 図2は高速再生ビットストリーム、及び逆高速再生ビットストリームを得る動作例を示す図である。図3は高速再生及び逆高速再生を行う装置の構成を示す図である。図3に示すように、ビットストリームはストリーム抜き出し部101に入力される。ストリーム抜き出し部101は入力されたビットストリームからIピクチャのビットストリームのみを抜き出し、ストリーム並び替え部102に供給する。ストリーム並び替え部102は供給されたIピクチャのビットストリームを必要に応じて並び替えて外部に出力する。
 図2の例で説明すると、高速再生の場合には、図2の上部に図示されたビットストリームからストリーム抜き出し部101でIピクチャのビットストリームのみを順番に抜き出し、それを並べてビットストリームを構成することで、図2の左下部に示す、高速再生ビットストリームが得られる。高速再生の場合には、Iピクチャの抜き出しのみを行い、ストリーム並び替え部102での並び替え処理は発生しない。
 また、逆高速再生の場合には、同じくストリーム抜き出し部101でビットストリームからIピクチャのみを抜き出し、それをストリーム並び替え部102で表示順とは逆順に並び替えて出力する。そうすることで、図2の右下部に示す、逆高速再生ビットストリームが得られる。
 例えば、特許文献1には上記方法を発展させ、表示に必要な最小限のIピクチャのみを抜き出して高速再生用ストリームを生成する技術が開示されている。特許文献1の方法は、近年規格化されたH.264動画像符号化技術で符号化されたビットストリームの特殊再生でも利用できる。しかし、H.264ではMPEG-1、MPEG-2、MPEG-4等の符号化標準と比較して符号化の自由度が高くなっており、MPEG-1、MPEG-2、MPEG-4の符号化標準が適用できない場合がある。以下、その内容を説明する。
 H.264ではMPEG-1、MPEG-2、MPEG-4の符号化標準とは異なり、Iスライスのみで構成される単独で復号可能なピクチャがIDR(Instantaneous Decoding Refresh)ピクチャとIピクチャの2種類になっている。IDRピクチャではデコーダの内部状態リセット動作が行なわれ、MPEG-2等の符号化標準のIピクチャと同様に完全に単独復号可能である。
 一方、H.264のIピクチャは画像データ自体は単独復号であるものの、ヘッダ部の復号には過去のピクチャの情報が必要である。このため、特殊再生にはIDRピクチャのみを利用するのが簡便な方式である。以下、本願明細書において、特に指定しない限り、IDRピクチャ、IピクチャはそれぞれH.264方式でのIDRピクチャ、Iピクチャを指すものとする。
 ここで、符号化器の動作によっては、符号化効率の向上等の目的でIDRピクチャ枚数が少なく、Iピクチャ枚数が多いビットストリームが生成される。この場合、IDRのみを利用した特殊再生では利用できるピクチャの枚数が少なく、滑らかな動きが実現できない。
 図4はIDRのみを利用した高速再生ビットストリームの動作例を示す。図4の上部に元のビットストリーム、図4の下部に高速再生ビットストリームを示す。この例では、元のビットストリームには6フレーム毎に画像データ自体を単独再生可能なピクチャ(IDRまたはI)が含まれている。このうち、IDRピクチャは18フレーム間隔である。他はIピクチャである。
 図4に示すように、IDRのみを用いると、画像データ自体は単独復号できるIピクチャは使わないため、18フレームのうち1フレームしか特殊再生に利用できず、高速再生ビットストリームの動きの滑らかさが落ちてしまう。しかし、特殊再生に(IDRではない)Iピクチャも用いる場合、上述のようにヘッダ部の情報(ピクチャ番号、出力順、フレームバッファ管理情報等)の復号に過去のピクチャ情報が必要である。そのため、IDR及びIを抜き出して並び替え等を行なうと、ヘッダ部を正常に復号できず、ピクチャの出力順が乱れる、復号化装置がエラーと判断して復号結果が得られる、等の問題が発生する。
 例えば、slice_header()に存在するframe_numは参照ピクチャ毎に1ずつインクリメントするように規定されているが、IDR及びIを抜き出して並べると、隣接する参照ピクチャ間でframe_numの値が2以上増加する場合があり、復号化装置によってはエラーと判断する可能性がある。
 これを避けるには、復号化装置に特殊再生用の動作モードを備え、特殊再生モード時にはヘッダ部の出力順情報や復号エラーは無視して、復号化した画像データを復号化した順番でそのまま出力する、という復号化動作を行なう技術が考えられる。
特開平05-344494号公報 ITU-T Recommendation H.264「Advanced video coding for generic audiovisual services」、2005年3月
 上述のように復号化装置に特殊再生用の動作モードを備える技術では、IDRピクチャに加えてIピクチャも利用した滑らかな高速再生、高速逆再生等の特殊再生を実現できる。しかしながら、この技術は復号化装置に新たな機能を加えるものであるため、この技術を用いた復号化装置と、この技術を用いない復号化装置とでは、同一のビットストリームを入力しても復号化結果が大きく異なってしまう。
 MPEG-1、MPEG-2、MPEG-4、H.264等の国際標準規格の動画像符号化技術では復号化装置の動作を厳密に規定しており、同一のビットストリームを入力すれば規格に準拠した復号化装置であれば、どの製造者の製造した復号化装置であってもほぼ同じまたは全く同じ復号化結果が得られることが保証される。この点が国際標準規格の動画像符号化技術の大きな利点の一つである。このため、復号化装置に標準規格外の機能を加える技術は、利用目的によっては好ましくない。
 また、復号化装置に標準規格外の機能を加えると、復号化装置の構成が複雑になり、設計や製造の難易度が高くなる、費用が上がる、等の問題が発生する場合がある。動画像の符号化装置と復号化装置では、通常復号化装置の方が多数利用されるため、復号化装置の構成が複雑になる影響は大きい。
 本発明の典型的な(exemplary)目的は、復号化装置を変更することなく高速再生や高速逆再生等の特殊再生を実現することが可能な動画像ストリーム加工方法及び装置、それを用いた動画像再生装置、並びに動画像配信装置を提供することにある。
本発明の典型的な(exemplary)動画像ストリーム加工装置は、動画像を符号化したビットストリームから、単独で復号可能なピクチャの第1のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第2のビットストリームとを抜き出す抜き出し部と、
 前記抜き出し部で抜き出された前記第2のビットストリームを単独で復号可能なピクチャの第3のビットストリームに変換する変換部と、を備え、
 前記抜き出し部により抜き出された前記第1のピクチャのビットストリームと、前記第3のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する動画像ストリーム加工装置である。
また、本発明の典型的な(exemplary)動画像ストリーム加工装置は、動画像を符号化したビットストリームから、単独で復号可能なピクチャの第1のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第2のビットストリームと、符号化パラメータセットのビットストリームとを抜き出す抜き出し部と、
 前記抜き出された符号化パラメータセットを記憶する記憶部と、
 前記記憶された符号化パラメータセットを変更して、画像データ部以外のビット長変化を調整する符号化パラメータセットを生成する生成部と、
 前記抜き出し部で抜き出された前記第2のビットストリームを、前記生成部で生成された符号化パラメータセットに基づいて単独で復号可能なピクチャの第3のビットストリームに変換する変換部と、を備え、
前記抜き出し部により抜き出された前記第1のビットストリームと、前記第3のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する動画像ストリーム加工装置である。
 また、本発明の典型的な(exemplary)動画像再生装置は、上記動画像ストリーム加工装置と、動画像を符号化したビットストリームの復号化を行なう動画像復号化装置と、通常再生時には入力ビットストリームを前記動画像復号化装置に供給し、高速再生又は逆高速再生の特殊再生時には入力ビットストリームを前記動画像ストリーム加工装置に供給して当該動画像ストリーム加工装置で処理されたビットストリームを前記動画像復号化装置に供給するように切り替えるビットストリーム切り替え装置と、前記動画像復号化装置からの復号画像を表示する動画像表示装置と、を備えたことを特徴とする。
 また、本発明の典型的な(exemplary)記憶媒体は、動画像を符号化したビットストリームと、請求項1乃至6のいずれか1項に記載の動画像ストリーム加工装置で処理された特殊再生用ビットストリームと、前記ビットストリームと前記特殊再生用ビットストリームとを関連付ける情報を有する管理テーブルと、を記憶したことを特徴とする。
 また、本発明の典型的な(exemplary)動画像配信装置は、上記記憶媒体と、通常再生時には前記記憶媒体から前記ビットストリームを読み出し、特殊再生時には前記管理テーブルを参照して前記ビットストリームと関連付けられた特殊再生用ビットストリームを読み出すビットストリーム切り替え装置と、前記ビットストリーム切り替え装置で読み出されたビットストリームを受信端末に送出するビットストリーム送出装置と、を備えることを特徴とする。
また、本発明の典型的な(exemplary)動画像ストリーム加工方法は、動画像を符号化したビットストリームから、単独で復号可能なピクチャの第1のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第2のビットストリームとを抜き出し、
 抜き出された前記第2のビットストリームを単独で復号可能なピクチャの第3のビットストリームに変換し、
抜き出された前記第1のビットストリームと、前記第3のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する画像ストリーム加工方法である。
また、本発明の典型的な(exemplary)動画像ストリーム加工方法は、動画像を符号化したビットストリームから、単独で復号可能なピクチャの第1のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第2のビットストリームと、符号化パラメータセットのビットストリームとを抜き出し、
 記憶部に前記抜き出された符号化パラメータセットを記憶し、
 前記記憶された符号化パラメータセットを変更して、画像データ部以外のビット長変化を調整する符号化パラメータセットを生成し、
 抜き出された前記第2のビットストリームを、生成された前記符号化パラメータセットに基づいて単独で復号可能なピクチャの第3のビットストリームに変換し、
 抜き出された前記第1のビットストリームと、前記第3のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する画像ストリーム加工方法である。
本願は、2008年1月24日に出願された特願2008-013703号に基づき、優先権の利益を主張するものである。そして、特願2008-013703号の内容は本願の明細書の内容に含まれる。
 本発明によれば、より動きの滑らかな高速再生、逆高速再生等の特殊再生を実現できる。その理由は、従来方式では画像データ部は単独復号化できるが、ヘッダ部は単独復号できないピクチャを特殊再生に利用できなかったのに対し、本発明ではこのようなピクチャを完全に単独復号化可能なピクチャに変換して特殊再生に利用するためである。特殊再生用ビットストリームは通常の復号化装置に入力して復号可能であるため、特殊再生を実現するための追加機能等を持たない通常の復号化装置に特殊再生用ストリームを入力して復号することで従来よりも動きの滑らかな高速再生や高速逆再生等の特殊再生が実現することが可能となる。
動画像符号化のピクチャ構成の例を示す図である。 背景技術となる方式の動作例を説明する図である。 背景技術となる方式の構成を示すブロック図である。 背景技術となる方式の動作例を説明する図である。 本発明の第1の実施形態の構成を示すブロック図である。 第1の実施形態の処理手順を示す流れ図である。 IピクチャからIDRピクチャへの変換処理手順を示す流れ図である。 第1の実施形態の動作を説明する図である。 第1の実施形態のビットストリームを高速再生ビットストリームに変換する動作を説明する図である。 本発明の第2の実施形態の処理手順を示す流れ図である。 本発明の第3の実施形態の処理手順を示す流れ図である。 本発明の第4の実施形態の構成を示すブロック図である。 第4の実施形態の処理手順を示す流れ図である。 第4の実施形態のIピクチャからIDRピクチャへの変換処理手順を示す流れ図である。 第4の実施形態の動作を説明する図である。 本発明の第5の実施形態の構成を示すブロック図である。 本発明の第6の実施形態の構成を示すブロック図である。 第6の実施形態の管理テーブルの例を示す図である。 第6の実施形態の管理テーブルの別の例を示す図である。 本実施形態の動画像ストリーム加工装置を構成するコンピュータの一構成例を示すブロック図である。
符号の説明
    101 ストリーム抜き出し部
    102 ストリーム並び替え部
    201 ストリーム抜き出し部
    202 切り替え部
    203 ストリーム変換部
    204 ストリーム並び替え部
    301 ストリーム抜き出し部
    302 切り替え部
    303 ストリーム並び替え部
    304 符号化パラメータセット記憶部
    305 ストリーム変換部
    306 ストリーム生成部
    401 ビットストリーム切り替装置
    402 動画像ストリーム加工装置
    403 動画像復号化装置
    404 動画像表示装置
    501 記憶媒体
    502 ビットストリーム切り替え装置
    503 ビットストリーム送出装置
    511 ビットストリーム
    512 特殊再生用ビットストリーム
    513 管理テーブル
 次に、発明を実施するための典型的な(exemplary)形態について図面を参照して詳細に説明する。以下の実施形態ではH.264方式の例を挙げて説明する。
 (第1の実施形態)
 本発明の第1の実施形態を図5から図9を参照して説明する。図5は本発明の第1の実施形態の動画像ストリーム加工装置の構成を示す構成図、図6、図7はその動作手順を示すフローチャートである。図8、図9はその動作の概要を説明するための図である。
 まず、本実施形態では、図5に示すように、切り替え部202、ストリーム変換部203を備える点が図3の構成と異なる。図5のストリーム抜き出し部201、ストリーム並び替え部204は、図3のストリーム抜き出し部101、ストリーム並び替え部104にそれぞれ対応する。ストリーム並び替え部204は、高速再生の場合には抜き出された順に並べて出力し、逆高速再生の場合には、抜き出された順とは逆順に並べて出力する。したがって、ストリーム並び替え部204は高速再生用ビットストリームか、逆高速再生用ビットストリームを生成して出力するビットストリーム出力部となる。
 切り替え部202は、ストリーム抜き出し部201から供給されたストリームがIDRピクチャかIピクチャかによって切り替える。即ち、IDRピクチャであればストリーム並び替え部204にストリームをそのまま供給し、Iピクチャであればストリーム変換部203にストリームを供給する。ストリーム変換部203は入力されたIピクチャのストリームをIDRピクチャに変換する。
 Iピクチャ及びIDRピクチャについては背景技術で説明した通りである。即ち、IDRピクチャはMPEG-2等の従来符号化標準のIピクチャと同様に完全に単独復号可能である。H.264のIピクチャは画像データ自体は単独復号であるものの、ヘッダ部の復号には過去のピクチャの情報が必要である。つまり、H.264方式においてIDRピクチャは画像データ部が単独復号可能であり、Iピクチャは画像データ部は単独復号可能であるが、画像データ部以外は単独復号できない。
 次に、図6を用いて動作を説明する。処理を開始すると(ステップS1001)、まず、ストリーム抜き出し部201は入力されたビットストリーム(動画像を符号化したビットストリーム)を読み、画像データ部に単独復号可能なピクチャ(H.264ではIDRまたはIピクチャ)が含まれるかどうかを判定する(ステップS1002)。H.264の場合、例えば、slice_header()のslice_typeによって符号化タイプを判定できる。IDRまたはIピクチャが存在しない場合にはステップS1007に移行し、動作を終了する。
 IDRまたはIピクチャが存在する場合には、ストリーム抜き出し部201はIDRまたはIピクチャのストリームを抜き出し、切り替え部202に供給する(ステップS1003)。切り替え部202は入力されたストリームがIDRピクチャかIピクチャかによって接続を切り替える(ステップS1004)。IDRピクチャの場合はストリームをそのままストリーム並び替え部204に供給する(ステップS1006)。Iピクチャの場合はストリームをストリーム変換部203に供給する。
 ストリーム変換部203は入力されたIピクチャのストリームをIDRピクチャに変換し(ステップS1005)、変換結果のIDRピクチャのストリームをストリーム並び替え部204に供給する。ストリーム並び替え部204は、入力されたストリームに必要に応じた並び替え処理を行なってストリームを出力する(ステップS1006)。そして、ステップS1002に戻って入力ビットストリームから次のIDRまたはIピクチャを探す。IDRまたはIピクチャが存在しなければ、ステップS1007で処理が終了する。
 ストリーム並び替え部204の必要に応じた並び替え処理とは、図9に示すように、高速再生の場合はIDRピクチャを抜き出された順に並べて高速再生用ビットストリームを得ることをいう。逆高速再生の場合は図9とは逆の並び順に並び替えて逆高速再生用ビットストリームを得ることをいう。
 ストリーム変換部203は上述のように入力されたIピクチャのストリームをIDRピクチャに変換する。その動作について図7、図8を用いて詳細に説明する。図7はその動作を示すフローチャート、図8はその動作を説明する図である。図7のステップS1101から処理を開始する。
 H.264方式の場合には、ヘッダ部(slice_header())より上位はIDRピクチャとIピクチャでストリームシンタックスが異なるため、必要な書き換えを行なう(ステップS1102)。
 具体例としては、次の(1)~(5)の方法がある。
 (1)nal_unit()のnal_ref_idcを5に変更する、
 (2)slice_header()にidr_pic_idを追加する、
 (3)slice_header()のframe_numを0に変更する、
 (4)slice_header()のPOC(Picture Order Count)の値が0になるように関連する符号語を変更する、
 (5)dec_ref_pic_marking()の内容をIDRピクチャのシンタックスに変更する。例えば、no_output_of_prior_pics_flag=0、long_term_reference_flag=0、のように書き換えを行なう。
 画像データ部(slice_data())のストリームの内容はIDRピクチャとIピクチャで違いは無いため、内容の書き換えは必要ない。但し、H.264方式では特定の符号語についてはその先頭位置あるいは終端位置がバイト境界(バイトアライメント位置)に無ければならないという規定がある。例えば、slice_data()に存在するpcm_sample_lumaは先頭がバイトアライメント位置に無くてはならず、rbsp_trailing_bits()の末尾もバイトアライメント位置に無くてはならない。
 しかし、ヘッダ部の書き換えの内容によってはslice_header()のビット長が変化する場合があり、その場合には後続のslice_data()以降のビットストリームはslice_header()のビット長変化分だけビット位置が変化する。この結果、バイトアライメント規定がある符号語もそのビット位置が変化し、バイトアライメントの規定を満たさなくなる場合がある。
 図8はこの動作の例を示す。図8の横軸はビットストリーム中でのビット位置を表し、小目盛が1ビット単位、大目盛が8ビット単位の位置を示す。この例では、変換前のヘッダ部は図8の2バイト目の5ビット目までで、後ろに画像データ部が続いている。画像データ部の中には、黒三角で示す箇所にバイトアライメント規定されている符号語が存在する。このストリームのヘッダ部の書き換えを行なった結果、ヘッダ部が4ビット長くなった場合、図8に示すように変換後のストリームは全体に4ビットだけ後ろにずれ、その結果バイトアライメントすべき符合語の位置がアライメント位置からずれてしまい、規格違反のストリームとなってしまう。
 この問題を避けるため、画像データ部に関しては一旦エントロピー符号(H.264ではCAVLCまたはCABAC)の復号化を行い、必要に応じてバイトアライメント規約整合のための補正を行いながら再度エントロピー符号化を行なう(ステップS1103)。例えば、pcm_sample_lumaの場合には、再エントロピー符号化時にバイトアライメント規約を満たすよう、その直前のpcm_alignment_zero_bitの数を増減する。
 他には、例えば、cabac_alignment_one_bitのビット数、rbsp_alignment_zero_bitのビット数を増減する。画像データ部に関しては、このようなバイトアライメント整合のためのストリーム整形処理のみを行なうことで、IピクチャのIDRピクチャへの変換を完了する(ステップS1104)。なお、簡単のため説明は省略しているが、以上の変換処理はピクチャに含まれる全スライスに対して行なう。
 次に、図4と同じストリームを入力した場合の動作例を図9を用いて説明する。図4に示した動作では高速再生ストリームの生成にIDRのみを利用していたため、この例では2枚のピクチャしか利用できず、動きの滑らかさが損なわれる。
 図9は本実施形態の動作例を示す図である。図9の上部に元のビットストリーム、図9の下部に高速再生ビットストリームを示す。本実施形態の動作例では、図9に示すように、2枚のIDRピクチャ(IDR0、IDR18)に加え、入力ビットストリームのIピクチャ(I6、I12)も高速再生ストリームに利用する。Iピクチャを用いる際には、ストリーム変換部203でIピクチャをIDRピクチャ(IDR6、IDR12)に変換した上で利用する。これにより高速再生に利用できるピクチャ枚数が増加し、より滑らかな特殊再生を実現できる。
 本実施形態では、IDRピクチャ及びIピクチャのストリームを抜き出し、IピクチャについてはIDRピクチャに変換した上で特殊再生ビットストリーム生成に利用する。これにより、背景技術で利用していた枚数以上の枚数のピクチャを特殊再生に利用できる。また、特殊再生に利用するのはIピクチャから変換したものも含めIDRピクチャのみであるので、各ピクチャは完全に単独復号可能であり、並び替え等を行なっても規格に準拠した正しいビットストリームが得られる。これにより、復号化装置の変更無しに、より滑らかな高速再生、高速逆再生等の特殊再生を実現できる動画像ストリーム加工装置及び方法を提供することができる。
 (第2の実施形態)
 次に、本発明の第2の実施形態を説明する。図10は第2の実施形態の動作手順を示すフローチャートである。本実施形態の動画像ストリーム加工装置の構成は第1の実施形態の構成と同一である。全体の処理フローチャートも図6のフローチャートと同一である。第1の実施形態と異なるのはストリーム変換部203の変換処理である。図10はストリーム変換部203の動作を示すものである。
 まず、図10のステップS1201から処理を開始する。次いで、ヘッダ部より上位の書き換え(ステップS1202)の後に書き換えによるヘッダ部のビット長変化が8の倍数であったか否かを判定する(ステップS1203)。本実施形態では0も8の倍数とする。以下の実施形態でも同様である。
 8の倍数であった場合、画像データ部のストリームのビット位置のずれは8の倍数であるため、画像データ部の各符号語のバイトアライメント位置のずれは発生しない。このため、画像データ部についてはそれ以上の処理は必要なく(S1207で終了)、入力ストリームをそのまま出力する。
 一方、ヘッダ部のビット長変化が8の倍数でなかった場合には、画像データ部の先頭にバイトアライメント整合のためのビットが存在するか否かを判定する(ステップS1204)。存在する場合にはそのビット数を調整してバイトアライメントを整合させる(ステップS1206)。H.264の場合には、エントロピー符号化にCABACを用いている時は画像データ部(slice_data())の先頭にはバイトアライメントを合わせるための符号語cabac_alignment_one_bitが存在するため、このcabac_alignment_one_bitのビット数を調整してバイトアライメントを整合させる。
 ここで、バイトアライメントを整合させることで、それ以降の画像データ部のストリームについてはバイトアライメント位置のずれは発生しないことが保証されるため、これ以上の処理は必要なく、入力のストリームをそのまま出力する。一方、エントロピー符号化にCABACを用いていない場合には(画像データ部の先頭にアライメントビットが存在しない)、第1の実施形態と同様に画像データ部のエントロピー符号の復号化と再符号化を行なう(S1205)。
 本実施形態では、IピクチャをIDRピクチャに変換する際にヘッダ部のビット長変化が8の倍数の場合には処理は行なわない。また、8の倍数ではない場合、エントロピー符号化にCABACを用いている時にはエントロピー符号の復号化と再符号化を行なわないか、より簡易な処理を行なう。
 そうすることで、バイトアライメントの問題を解決することが可能となる。第1の実施形態では演算負荷の大きいエントロピー符号の復号化と再符号化処理を常に行なっていたが、本実施形態では可能な限りこの処理を行なわないことで、より小さい演算負荷で高速再生、高速逆再生等の特殊再生を実現できる。
 (第3の実施形態)
 次に、本発明の第3の実施形態を説明する。図11は第3の実施形態の動作手順を示すフローチャートである。本実施形態の動画像ストリーム加工装置の構成は第1、第2の実施形態の構成と同一である。全体の処理フローチャートは図6の第1の実施形態のフローチャートと同一である。第1、第2の実施形態と異なるのはストリーム変換部203での変換処理である。図11はストリーム変換部203の動作を示すものである。
 まず、図11のステップS1301~ステップS1303の処理は第2の実施形態のフローチャート(図10)におけるステップS1201~ステップS1203と同一である。但し、ステップS1303でヘッダ部のビット長変化が8の倍数でなかった場合の処理が異なる。
 その場合、本実施形態ではヘッダ部(slice_header())の符号語の一部を変更することでヘッダ部のビット長変化が8の倍数になるように調整を試みる(ステップS1304)。例えば、IDRピクチャのslice_header()の符号語idr_pic_idは、0~65535の範囲で値を変更することが可能で、ビット長は値によって2ビット単位で変化する。
 これを用いれば、ヘッダ部のビット長変化が2,4,6ビットであった場合にidr_pid_idの値を適切に選ぶことでビット長を更に2ビット単位で調整してヘッダ部のビット長変化を8の倍数にすることができる。この後、ヘッダ部のビット長変化が8の倍数であるかを再度判定し(ステップS1305)、8の倍数であった場合にはそれ以上の変換処理は行なわない。ステップS1304で調整しても、なおビット長変化が8の倍数にできなかった場合の処理(ステップS1306~ステップS1308)は、第2の実施形態のフローチャート(図10)のステップS1204~ステップS1206の処理と同一である。
 本実施形態では、IピクチャをIDRピクチャに変換する際に、ヘッダ部のビット長変化が8の倍数の場合でなかった時にヘッダ部の符号語の値を調整してビット長変化が8の倍数となるように試みる。これにより、演算負荷の大きいエントロピー符号の復号化と再符号化処理が必要となる場合を減らし、より小さい演算負荷で高速再生、高速逆再生等の特殊再生を実現できる。
 (第4の実施形態)
 次に、本発明の第4の実施形態を図12、図13、図14を用いて説明する。図12は本実施形態の動画像ストリーム加工装置の構成を示すブロック図、図13及び図14は本実施形態の動作手順を示すフローチャートである。
 まず、図12に示すストリーム抜き出し部301、切り替え部302、ストリーム並び替え部303、ストリーム変換部305は、図5のストリーム抜き出し部201、切り替え部202、ストリーム並び替え部204、ストリーム変換部203にそれぞれ対応するものである。機能は同様である。但し、切り替え部302は後述するように符号化パラメータセットのストリームの場合には、抜き出されたストリームを符号化パラメータセット記憶部304に供給する。
 本実施形態では、符号化パラメータセット記憶部304、ストリーム生成部306を追加した点が第1の実施形態と異なる。符号化パラメータセット記憶部304は供給されたストリームを記憶する。
 次に、図13を用いて動作を説明する。処理を開始すると(ステップS1401)、ストリーム抜き出し部301は入力されたビットストリーム(動画像を符号化したビットストリーム)を読み、画像データ部を単独復号可能なピクチャ(H.264ではIDRまたはIピクチャ)が含まれているかどうかを判定する(ステップS1402)。
 IDRまたはIピクチャが存在しない場合にはステップS1408に移行し、動作を終了する。IDRまたはIピクチャが存在する場合には、ストリーム抜き出し部301で必要なストリームを抜き出す(ステップS1403)。ここでは、IDRまたはIピクチャに加え、符号化パラメータセットのストリームも抜き出す。符号化パラメータセットはピクチャの復号化に必要な各種パラメータ群をまとめたもので、例えば、H.264の場合にはseq_parameter_set_rbsp(),pic_parameter_set_rbsp()がある。
 抜き出したストリームは切り替え部302に供給される。切り替え部302は入力されるストリームのタイプ(IDRピクチャ、Iピクチャ、または符号化パラメータセット)によって接続を切り替える(ステップS1404)。IDRピクチャの場合はストリームをそのままストリーム並び替え部303に供給する。Iピクチャの場合はストリームをストリーム変換部305に供給する。符号化パラメータセットの場合には符号化パラメータセット記憶部304に供給する。符号化パラメータセット記憶部304は入力されたストリームを記憶する(ステップS1407)。
 ストリーム変換部305は入力されたIピクチャのストリームをIDRピクチャに変換し(ステップS1405)、変換結果のIDRピクチャのストリームをストリーム並び替え部303に供給する。変換の際には、必要に応じて符号化パラメータセット記憶部304に記憶されている符号化パラメータセットを読み出してストリーム生成部306に供給し、ストリーム生成部306で生成されたストリームも合わせてストリーム並び替え部303に供給する。
 ストリーム並び替え部303は上述の実施形態と同様に入力されたストリームに必要に応じた並び替え処理を行なってストリームを出力する(ステップS1406)。そして、ステップS1402に戻って入力ビットストリームから次のIDRまたはIピクチャを探す。ステップS1408で処理が終了する。
 ストリーム変換部305は入力されたIピクチャのストリームをIDRピクチャに変換するが、その動作を図14のフローチャートを用いて詳細に説明する。ヘッダ部変更(ステップS1502)とヘッダ部のビット長変化判定(ステップS1503)の処理は第3の実施形態(図11)のステップS1302、S1303と同一である。本実施形態ではヘッダ部のビット長変化が8の倍数でなかった場合、ヘッダ部(slice_header())及び符号化パラメータセットの両方を調整する(S1504)。その後、処理を終了する(S1505)。
 調整が必要なビット数が偶数であった場合には、第3の実施形態(図11)のステップS1304と同様にslice_header()の符号語の値の変更で調整できる。しかし、調整が必要なビット数が奇数であった場合にはこの方法だけでは調整できない。このような場合には、例えば、slice_header()の符号語frame_numのビット長を変更することで調整する。
 frame_numのビット長はseq_parameter_set_rbsp()の符号語log2_max_frame_num_minus4の値で決まる。そこで、frame_numのビット長調整が必要な場合には、符号化パラメータセット記憶部304からアクティブなseq_parameter_set_rbsp()及びpic_parameter_set_rbsp()を読み出し、ストリーム生成部306でlog2_max_frame_num_minus4の値を変更したseq_parameter_set_rbsp()及びそれを参照するpic_parameter_set_rbsp()を生成する。
 log2_max_frame_num_minus4以外の符号語の値は変更前のものを用いればよい。また、必要に応じてseq_parameter_set_id、pic_parameter_set_id等の符号語を変更しても良い。ストリーム変換部305は、ストリーム生成部306で生成したseq_parameter_set_rbsp()、pic_parameter_set_rbsp()を参照するようにslice_header()を書き換える。
 例えば、全体としては、奇数ビット数の調整のためにlog2_max_frame_num_minus4を変更し、残った偶数ビット数の調整はidr_pic_idの変更で行なう、というような処理をすることで、ヘッダ部のビット長変化がどのような値であっても8の倍数に調整することができる。この調整処理によって画像データ部のバイトアライメント位置のずれは発生しなくなるため、画像データ部については入力のストリームをそのまま出力する。
 図15は上述のようなストリーム変換部305やストリーム生成部306等の動作を示すものである。図15ではストリーム抜き出し部301に入力された動画像を符号化したビットストリームとストリーム並び替え部303に供給されたビットストリームを示す。図15中SPS、PPSはそれぞれseq_parameter_set_rbsp()、pic_parameter_set_rbsp()を表す。図15の例では、入力ビットストリームのPPSはSPSを参照し、IDR0、I6、I12等のピクチャはPPSを参照する。
 本実施形態では、SPS、PPSは符号化パラメータセット記憶部304に記憶される。高速再生ビットストリームを生成する際には、図15に示すようにIピクチャI6及びI12ピクチャはストリーム変換部305でIDRピクチャIDR6及びIDR12にそれぞれ変換される。
 この変換の際に、slice_header()のframe_numのビット長調整が必要な場合には、符号化パラメータセット記憶部304からSPS及びPPSを読み出す。そして、ストリーム生成部306ではlog2_max_frame_num_minus4の値を変更したseq_parameter_set_rbsp()(SPS’)及びそれを参照するpic_parameter_set_rbsp()(PPS’)を生成する。
 このことは、図15に示すようにストリーム変換部305でIDR6及びIDR12ピクチャに変換する際に、log2_max_frame_num_minus4の値を変更することで、そのピクチャの画像データ部以外のビット長(ビット長変化)が8の倍数となるように変更するものである。
 ストリーム変換部305はストリーム生成部306で生成されたSPS’及びPPS’を参照するようにslice_header()を書き換えながらIDR6及びIDR12を出力する。SPS’、PPS’及びIDR6、IDR12はIDR0と共にストリーム並び替え部303に供給され、高速再生又は逆高速再生等を行なう場合の高速再生ビットストリームに用いられる。
 本実施形態では、IピクチャをIDRピクチャに変換する際に、必要に応じて値を変更した符号化パラメータセットを生成してヘッダ部のビット長変化を8の倍数に調整する。これにより、ヘッダ部のビット長変化がどのような値であっても8の倍数に調整することができ、演算負荷の大きいエントロピー符号の復号化と再符号化処理は不要となり、より小さい演算負荷で高速再生、高速逆再生等の特殊再生を実現できる動画像ストリーム加工装置及び方法を提供することができる。
 (第5の実施形態)
 次に、本発明の第5の実施形態となる動画像再生装置を説明する。図16は第5の実施形態の構成を示すブロック図である。動画像ストリーム加工装置402は第1から第4の実施形態のいずれかで説明した動画像ストリーム加工装置である。ビットストリーム切り替え装置401は通常再生時には入力されたビットストリームを直接動画像復号化装置403に供給する。高速再生、逆高速再生等の特殊再生時には入力ビットストリームを動画像ストリーム加工装置402に供給し、その動画像ストリーム加工装置402からの出力ビットストリームを動画像復号化装置403に供給する。
 動画像ストリーム加工装置402は入力されたビットストリームに対し、上述のような第1乃至第4の実施形態で説明した特殊再生用ビットストリーム生成の処理を行ない、処理結果のビットストリームを出力する。動画像復号化装置403は入力されたビットストリームの復号処理を行ない、復号結果の画像を動画像表示装置404に供給する。動画像表示装置404は、入力された画像を例えばCRTや液晶ディスプレイ等の表示部に表示出力する。
 本実施形態では、通常再生時には入力ビットストリームをそのまま動画像復号化装置403に供給し、高速再生、逆高速再生等の特殊再生時には動画像ストリーム加工装置402で高速再生、逆高速再生等の特殊再生用ストリームを生成して動画像復号化装置403に供給する。そうすることで、動画像復号化装置に特殊再生向けの新たな機能追加等を行なわずに高速再生、高速逆再生等の特殊再生を実現できる動画像再生装置を提供することができる。
 (第6の実施形態)
 次に、本発明の第6の実施形態を図17、図18、図19を用いて説明する。図17は第6の実施形態の構成を示すブロック図、図18及び図19は第6の実施形態の管理テーブルの例を示す図である。
 記憶媒体501は動画像を符号化したビットストリーム511と、ビットストリーム511を第1乃至第4の実施形態のいずれかの動画像ストリーム加工装置に入力して生成した高速再生、逆高速再生等の特殊再生用の特殊再生用ビットストリーム512を記憶している。またビットストリーム511と特殊再生用ビットストリーム512の関連付け情報を記録した管理テーブル513を有する。502はビットストリーム切り替え装置、503はビットストリーム送出装置である。
 管理テーブル513にはビットストリーム511と特殊再生用ビットストリーム512の切り替えを可能にする情報が格納されている。管理テーブル513の簡易な例を図18に示す。図18の例では、ビットストリーム511と特殊再生用ビットストリーム512それぞれを格納したファイル名を対応付けて格納することでストリーム切り替えを可能にする。また、図19に示すような情報を格納することも考えられる。
 図19の例では、ビットストリームと特殊再生用ストリーム(高速再生用ビットストリーム及び逆高速再生用ビットストリーム)それぞれを格納したファイル名を対応付けて格納するのに加え、特殊再生用ストリームの各ピクチャに対応するビットストリーム511でのタイムスタンプを格納する。このような情報を格納することで、通常再生から特殊再生へ、或いは特殊再生から通常再生へ動作を切り替える際に再生位置のタイムスタンプを継承した自然な動作切り替えが可能になる。
 ビットストリーム切り替え装置502は通常再生時には記憶媒体501からビットストリーム511を読み出してビットストリーム送出装置503に供給する。高速再生、高速逆再生等の特殊再生時には管理テーブル513を参照してビットストリーム511に関連付けられている特殊再生用ビットストリーム512を読み出してビットストリーム送出装置503に供給する。ビットストリーム送出装置503は入力されたビットストリームを所定の受信端末に向けてコンピュータネットワーク等の伝送路に送出する。
 本実施形態では、通常のビットストリームと特殊再生用ビットストリームを関連付けて格納し、通常再生時には通常のビットストリームを、特殊再生時には関連付けられている特殊再生用ビットストリームを受信端末に向け送出する。そうすることで、受信端末の動画像復号化装置に特殊再生向けの新たな機能追加等を行なわずに高速再生、高速逆再生等の特殊再生を実現できる動画像配信装置を提供することができる。
 なお、以上説明した各実施形態では、H.264動画像符号化方式に則った応用について述べたが、本発明はこの応用のみに限定されるものではなく、完全に単独復号可能なピクチャと、画像データ部は単独復号可能だが画像データ部以外は単独復号可能ではないピクチャとを持つ動画像符号化方式にも適用可能である。
 また、IピクチャからIDRピクチャへの変換においてlog2_max_frame_num_minus4、idr_pic_idの値を変更する例について説明したが、変更の方法は当然これらに限定されるものではない。
 例えば、log2_max_pic_order_cnt_lsb_minus4やpic_parameter_set_idの値を変更してヘッダ部のビット長変化を調整する方法等も考えられる。また、特殊再生の例として高速再生や高速逆再生の場合を例に挙げて説明したが、本発明は、再生方式はこれらに限定されることは無い。例えば、プレイリスト再生や別のビットストリームへの再生位置移動等にも本発明の方式は適用することができる。
 以上説明した本発明はコンピュータがプログラムを記録媒体から読み込んで実行することによっても実現することが出来る。即ち、上述のような本発明はソフトウェアによって実現することが可能である。
動画像ストリーム加工装置をソフトウェアで構成する場合は、図5又は図12に示した動画像ストリーム加工装置の機能を記述したプログラムを、ハードディスク等の記憶部に記憶し、制御部となるCPUがプログラムプログラムに従って処理(制御)を実行することにより、利用者情報提示システムの機能を実現することができる。
図20は本実施形態の動画像ストリーム加工装置を構成するコンピュータの一構成例を示すブロック図である。
図5又は図12に示す動画像ストリーム加工装置の機能を記述したプログラムをハードディスク装置等のディスク装置1101に記憶する。図5に示す動画像ストリーム加工装置の機能を実現する場合、ディスク装置1101には、またストリーム抜き出し部201に入力されるビットストリーム、ストリーム抜き出し部201で抜き出されたビットストリーム、ストリーム変換部203で変換されたビットストリームが記憶される。図12に示す動画像ストリーム加工装置の機能を実現する場合、ディスク装置1101は符号化パラメータセット記憶部304としても機能する。CPU1103により動画像ストリーム加工装置の機能を実現するプログラムが実行される。1105はデータバス等のバス、1102はCPU1103の情報処理に必要な情報を記憶するDRAM等のメモリを示す。I/Oデバイス1104は外部に加工されたビットストリームを出力する通信部となる。
 なお、上記プログラム(プログラムプロダクトともいう)はFD(フロッピィディスク)、CDROM、DVD、フラッシュメモリ等のコンピュータ読み取り可能な情報記録媒体に記録することができる。図20では記憶部としてディスク装置を用いているが、FD、CDROM等のコンピュータ読み取り可能な情報記録媒体に記録されたプログラムを上記コンピュータのディスク装置に読み込み、処理を実行することで、動画像ストリーム加工装置として機能させることができる。
以上、本発明の代表的な実施形態について説明したが、本発明は、本願の請求の範囲によって規定される、その精神または主要な特徴から逸脱することなく、他の種々の形で実施することができる。そのため、前述した各実施形態は単なる例示にすぎず、限定的に解釈されるべきではない。本発明の範囲は特許請求の範囲によって示すものであって、明細書や要約書の記載には拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更はすべて本発明の範囲内のものである。
 
 
 

Claims (13)

  1. 動画像を符号化したビットストリームから、単独で復号可能なピクチャの第1のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第2のビットストリームとを抜き出す抜き出し部と、
     前記抜き出し部で抜き出された前記第2のビットストリームを単独で復号可能なピクチャの第3のビットストリームに変換する変換部と、を備え、
     前記抜き出し部により抜き出された前記第1のピクチャのビットストリームと、前記第3のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する動画像ストリーム加工装置。
  2. 前記変換部は、前記第2のビットストリームの、前記画像データ部以外の部分の内容を変更して前記第3のビットストリームに変換することを特徴とする請求項1に記載の動画像ストリーム加工装置。
  3. 前記変換部は、前記第2のビットストリームを前記第3のビットストリームに変換する際、前記画像データ部以外の部分のビット長変化が8の倍数でなかった場合には、当該画像データ部を復号化して画像の内容は変えずに前記画像データ部がバイトアライメント規約を満たすように再度符号化することを特徴とする請求項2に記載の動画像ストリーム加工装置。
  4. 前記変換部は、前記第2のビットストリームの画像データ部以外の部分のビット長変化が8の倍数となるように前記画像データ部以外の部分の内容を変更することを特徴とする請求項2に記載の動画像ストリーム加工装置。
  5. 動画像を符号化したビットストリームから、単独で復号可能なピクチャの第1のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第2のビットストリームと、符号化パラメータセットのビットストリームとを抜き出す抜き出し部と、
     前記抜き出された符号化パラメータセットを記憶する記憶部と、
     前記記憶された符号化パラメータセットを変更して、画像データ部以外のビット長変化を調整する符号化パラメータセットを生成する生成部と、
     前記抜き出し部で抜き出された前記第2のビットストリームを、前記生成部で生成された符号化パラメータセットに基づいて単独で復号可能なピクチャの第3のビットストリームに変換する変換部と、を備え、
     前記抜き出し部により抜き出された前記第1のビットストリームと、前記第3のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する動画像ストリーム加工装置。
  6. 前記生成部は、前記記憶された符号化パラメータセットを画像データ部以外のビット長変化を8の倍数とする符号化パラメータセットに変更し、
    前記変換部は、前記第2のビットストリームを前記第3のビットストリームに変換する際に、前記生成された符号化パラメータセットに基づき画像データ部以外のビット長変化が8の倍数となるように変換することを特徴とする請求項5に記載の動画像ストリーム加工装置。
  7. 請求項1乃至6のいずれか1項に記載の動画像ストリーム加工装置と、
     動画像を符号化したビットストリームの復号化を行なう動画像復号化装置と、
     通常再生時には入力ビットストリームを前記動画像復号化装置に供給し、高速再生又は逆高速再生の特殊再生時には入力ビットストリームを前記動画像ストリーム加工装置に供給して当該動画像ストリーム加工装置で処理されたビットストリームを前記動画像復号化装置に供給するように切り替えるビットストリーム切り替え装置と、
     前記動画像復号化装置からの復号画像を表示する動画像表示装置と、
    を備えたことを特徴とする動画像再生装置。
  8. 動画像を符号化したビットストリームと、請求項1乃至6のいずれか1項に記載の動画像ストリーム加工装置で処理された特殊再生用ビットストリームと、前記ビットストリームと前記特殊再生用ビットストリームとを関連付ける情報を有する管理テーブルと、を記憶した記憶媒体。
  9. 請求項8に記載の記憶媒体と、
     通常再生時には前記記憶媒体から前記ビットストリームを読み出し、特殊再生時には前記管理テーブルを参照して前記ビットストリームと関連付けられた特殊再生用ビットストリームを読み出すビットストリーム切り替え装置と、
     前記ビットストリーム切り替え装置で読み出されたビットストリームを受信端末に送出するビットストリーム送出装置と、
    を備えたことを特徴とする動画像配信装置。
  10. 動画像を符号化したビットストリームから、単独で復号可能なピクチャの第1のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第2のビットストリームとを抜き出し、
     抜き出された前記第2のビットストリームを単独で復号可能なピクチャの第3のビットストリームに変換し、
     抜き出された前記第1のビットストリームと、前記第3のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する画像ストリーム加工方法。
  11. 動画像を符号化したビットストリームから、単独で復号可能なピクチャの第1のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第2のビットストリームと、符号化パラメータセットのビットストリームとを抜き出し、
     記憶部に前記抜き出された符号化パラメータセットを記憶し、
     前記記憶された符号化パラメータセットを変更して、画像データ部以外のビット長変化を調整する符号化パラメータセットを生成し、
     抜き出された前記第2のビットストリームを、生成された前記符号化パラメータセットに基づいて単独で復号可能なピクチャの第3のビットストリームに変換し、
     抜き出された前記第1のビットストリームと、前記第3のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する画像ストリーム加工方法。
  12. コンピュータに、
    動画像を符号化したビットストリームから、単独で復号可能なピクチャの第1のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第2のビットストリームとを抜き出す処理と、
     抜き出された前記第2のビットストリームを単独で復号可能なピクチャの第3のビットストリームに変換する処理と、
     抜き出された前記第1のビットストリームと、前記第3のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する処理と、を実行させるためのプログラム。
  13. コンピュータに、
    動画像を符号化したビットストリームから、単独で復号可能なピクチャの第1のビットストリームと、画像データ部は単独で復号可能であるが前記画像データ部以外は単独で復号できないピクチャの第2のビットストリームと、符号化パラメータセットのビットストリームとを抜き出す処理と、
     記憶部に前記抜き出された符号化パラメータセットを記憶する処理と、
     前記記憶された符号化パラメータセットを変更し、画像データ部以外のビット長変化を調整する符号化パラメータセットを生成する処理と、
     抜き出された前記第2のビットストリームを、生成された前記符号化パラメータセットに基づいて単独で復号可能なピクチャの第3のビットストリームに変換する処理と、
    抜き出された前記第1のビットストリームと、前記第3のビットストリームとを、抜き出された順又は抜き出された順と逆に並べて出力する処理と、を実行させるためのプログラム。
     
PCT/JP2009/050958 2008-01-24 2009-01-22 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置 WO2009093647A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009550551A JP5170708B2 (ja) 2008-01-24 2009-01-22 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置
EP20090704263 EP2249567A4 (en) 2008-01-24 2009-01-22 DYNAMIC IMAGE FLOW PROCESSING METHOD AND DEVICE, AND DYNAMIC IMAGE REPRODUCING DEVICE AND DYNAMIC IMAGE DELIVERY DEVICE USING THE METHOD AND DEVICE
US12/863,940 US8731065B2 (en) 2008-01-24 2009-01-22 Dynamic image stream processing method and device, and dynamic image reproduction device and dynamic image distribution device using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008013703 2008-01-24
JP2008-013703 2008-01-24

Publications (1)

Publication Number Publication Date
WO2009093647A1 true WO2009093647A1 (ja) 2009-07-30

Family

ID=40901153

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/050958 WO2009093647A1 (ja) 2008-01-24 2009-01-22 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置

Country Status (5)

Country Link
US (1) US8731065B2 (ja)
EP (1) EP2249567A4 (ja)
JP (1) JP5170708B2 (ja)
TW (1) TWI387350B (ja)
WO (1) WO2009093647A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013061840A1 (ja) 2011-10-28 2013-05-02 株式会社Gnzo バイトアラインメント装置及びバイトアラインメント方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9307262B2 (en) * 2011-01-13 2016-04-05 Texas Instruments Incorporated Methods and systems for facilitating multimedia data encoding utilizing configured buffer information
ES2642839T3 (es) * 2011-07-02 2017-11-20 Samsung Electronics Co., Ltd. Procedimiento y aparato de multiplexión y desmultiplexión de datos de vídeo para identificar el estado de reproducción de datos de vídeo
EP2713624A1 (en) * 2012-09-20 2014-04-02 Advanced Digital Broadcast S.A. Method and system for generating an instantaneous decoding refresh (IDR) picture slice in an H.264/AVC compliant video data stream
US20140092976A1 (en) * 2012-09-30 2014-04-03 Sharp Laboratories Of America, Inc. System for signaling idr and bla pictures
MX2017006830A (es) * 2014-11-25 2017-11-23 Arris Entpr Llc Detección de rellenador durante parada, pausa, retroceso y avance rápidos (trickplay).
US10362342B2 (en) * 2015-06-16 2019-07-23 Lg Electronics Inc. Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
US10142707B2 (en) * 2016-02-25 2018-11-27 Cyberlink Corp. Systems and methods for video streaming based on conversion of a target key frame

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05344494A (ja) 1992-06-10 1993-12-24 Ricoh Co Ltd Mpeg動画像の早送り再生方式
WO2005106875A1 (en) * 2004-04-28 2005-11-10 Matsushita Electric Industrial Co., Ltd. Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0628446B2 (ja) 1987-06-12 1994-04-13 日本電気株式会社 圧縮記録画像の再生方式
JP3330797B2 (ja) 1995-10-02 2002-09-30 富士通株式会社 動画像データ格納方式および動画像データ復号方式
KR100796085B1 (ko) 2000-04-14 2008-01-21 소니 가부시끼 가이샤 복호 장치, 복호 방법, 및 기록 매체
US7292772B2 (en) 2000-05-29 2007-11-06 Sony Corporation Method and apparatus for decoding and recording medium for a coded video stream
JP3852366B2 (ja) 2002-04-26 2006-11-29 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US9161078B2 (en) * 2002-08-14 2015-10-13 Arris Technology, Inc. Methods and apparatus for reducing tune-time delay in a television appliance with personal versatile recorder capabilities
JP4324844B2 (ja) 2003-04-25 2009-09-02 ソニー株式会社 画像復号化装置及び画像復号化方法
JP2004328634A (ja) 2003-04-28 2004-11-18 Sony Corp 画像復号化装置及び方法
EP1496707A1 (en) 2003-07-09 2005-01-12 Matsushita Electric Industrial Co., Ltd. Encoding and decoding of video images with delayed reference picture refresh
US8213779B2 (en) 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
DK2190192T3 (da) * 2004-06-02 2014-09-15 Panasonic Corp Indretning til kodning af billeder og indretning til afkodning af billeder
CN101820544B (zh) * 2004-08-31 2012-07-04 松下电器产业株式会社 运动图像编码方法及装置、记录介质的记录方法
JP2006101323A (ja) 2004-09-30 2006-04-13 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
US7412149B2 (en) * 2004-10-28 2008-08-12 Bitband Technologies, Ltd. Trick mode generation in video streaming
JP2006157855A (ja) 2004-11-04 2006-06-15 Matsushita Electric Ind Co Ltd 情報記録媒体、画像符号化方法、および画像復号方法
US20060153294A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Inter-layer coefficient coding for scalable video coding
JP2006211617A (ja) 2005-01-31 2006-08-10 Toshiba Corp 動画像符号化装置・復号化装置及び符号化ストリーム生成方法
US7725593B2 (en) 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
CN101248672A (zh) * 2005-08-26 2008-08-20 汤姆森特许公司 用于改进的特技播放的转码图像
JP2007158788A (ja) 2005-12-06 2007-06-21 Sharp Corp テレビジョン放送受信装置及び時刻情報差替方法
EP1827009A1 (en) * 2006-02-28 2007-08-29 Matsushita Electric Industrial Co., Ltd. Video encoder and decoder for an improved zapping service for mobile video reception
KR101142379B1 (ko) * 2007-02-14 2012-05-18 삼성전자주식회사 디지털 방송 재생 방법 및 장치, 디지털 방송 녹화 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05344494A (ja) 1992-06-10 1993-12-24 Ricoh Co Ltd Mpeg動画像の早送り再生方式
WO2005106875A1 (en) * 2004-04-28 2005-11-10 Matsushita Electric Industrial Co., Ltd. Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Int. Conf. on Consumer Electronics 2008 Digest of Technical Papers", 9 January 2008, article JIN-HWAN JEONG ET AL.: "Trick Play Method for HD H.264 Set-Top Box", pages: 1 - 2, XP031297566 *
See also references of EP2249567A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013061840A1 (ja) 2011-10-28 2013-05-02 株式会社Gnzo バイトアラインメント装置及びバイトアラインメント方法
JP2013098596A (ja) * 2011-10-28 2013-05-20 Gnzo Co Ltd バイトアラインメント装置及びバイトアラインメント方法

Also Published As

Publication number Publication date
JP5170708B2 (ja) 2013-03-27
TW200948089A (en) 2009-11-16
TWI387350B (zh) 2013-02-21
EP2249567A4 (en) 2012-12-12
US8731065B2 (en) 2014-05-20
US20100290537A1 (en) 2010-11-18
EP2249567A1 (en) 2010-11-10
JPWO2009093647A1 (ja) 2011-05-26

Similar Documents

Publication Publication Date Title
JP4769717B2 (ja) 画像復号化方法
JP6486421B2 (ja) ビデオデータの再生状態識別のためのビデオデータの多重化方法及び装置、逆多重化方法及び装置
KR100908062B1 (ko) 비디오 신호의 디코딩/인코딩 방법 및 장치
JP5170708B2 (ja) 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置
KR101215615B1 (ko) 동일 채널 내에서 서로 다른 코덱을 이용하여 부호화된 비디오 및 오디오 데이터 스트림의 재생을 위한 코덱 변경 방법 및 장치
JP4838251B2 (ja) 画像復号化装置、画像復号化方法および画像復号化システム
CN101697576A (zh) 运动画面产生装置,编码装置,解码装置及多路复用装置
BR112013033552B1 (pt) Método em um sistema de computador que implementa um decodificador de vídeo, método em um sistema de computação, meio legível por computador e sistema de computação
EP2642764B1 (en) Transcoding a video stream to facilitate accurate display
JP4838253B2 (ja) 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法、および記録方法
US20110211634A1 (en) Method and apparatus for offset metadata insertion in multi-view coded view
JP5414736B2 (ja) 符号化装置及び編集装置
JP2008035294A (ja) 画像データ記録装置及び画像データ符号化装置
JP4757840B2 (ja) 符号化装置及び編集装置
JP3897783B2 (ja) 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP5136546B2 (ja) 動画像ストリーム加工装置及び該装置を備えた動画像再生装置並びに方法とプログラム
JP2017536027A (ja) 符号化されたビデオデータ処理方法及びその装置、符号化されたビデオデータ生成方法及びその装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09704263

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009550551

Country of ref document: JP

Ref document number: 12863940

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009704263

Country of ref document: EP