CN1254974C - 视频编码方法和相应的编码器 - Google Patents

视频编码方法和相应的编码器 Download PDF

Info

Publication number
CN1254974C
CN1254974C CNB018039693A CN01803969A CN1254974C CN 1254974 C CN1254974 C CN 1254974C CN B018039693 A CNB018039693 A CN B018039693A CN 01803969 A CN01803969 A CN 01803969A CN 1254974 C CN1254974 C CN 1254974C
Authority
CN
China
Prior art keywords
vop
coding
video
basal layer
enhancement layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB018039693A
Other languages
English (en)
Other versions
CN1397138A (zh
Inventor
Y·拉曼津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8173950&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1254974(C) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1397138A publication Critical patent/CN1397138A/zh
Application granted granted Critical
Publication of CN1254974C publication Critical patent/CN1254974C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种用于在具有基础层编码装置和增强层编码装置的视频编码器中实施的，根据以下步骤对一个序列的视频对象(VO)进行编码的方法：对该序列的分段，并对所述VO的纹理和形状的编码操作。根据优选的实施例，纹理编码操作本身包括运动补偿预测操作，其间对类型P或B的增强层VO平面(VOP)的时间参照只依据时间距离的准则选择，而丝毫不考虑它们所属的层。

Description

视频编码方法和相应的编码器
技术领域
本发明总的涉及视频压缩，更具体地，涉及一种应用于视频序列并且提供在包含基础层编码装置和增强层编码装置的视频编码器中使用的视频编码方法，基础层编码装置接收所述视频序列并由其产生基础层信号，该基础层信号对应于所述序列的视频帧中包含的多个视频对象(VO)，并建立适于以基础层比特率向视频解码器传输的第一位流，增强层编码装置接收所述视频序列和所述基础层信号的解码后的版本，并由其产生与相应的基础层视频信号相关的并且适于以增强层比特率向所述视频解码器传输的增强层信号。更准确地说，它涉及一种允许对所述序列的VO进行编码并包括如下步骤的方法：
(A)将视频序列分段为所述的VO；
(B)对所述VO中的每个的连续的视频对象平面(VOP)编码，所述编码步骤本身包括对所述VOP的纹理和形状编码的子步骤，所述纹理编码子步骤本身包括第一编码操作、第二编码操作和第三编码操作，第一编码操作不对VOP进行预测，称为内编码的或I-VOP，与另一VOP没有任何时间参照地进行编码，第二编码操作对VOP进行单向预测，称为预测的或P-VOP，只使用过去的I-或P-VOP作为时间参照进行编码，第三编码操作对VOP进行双向预测，称为双向预测的或B-VOP，使用过去的和未来的I-或P-VOP二者作为时间参照进行编码。
本发明还涉及存储在计算机可读介质上并用于执行这样一种编码方法的计算机可执行的处理步骤，并涉及相应的计算机程序产品，以及一种执行所述方法的视频编码器。
背景技术
时间可伸缩性是现在通过几种视频编码方案而体现的特征。它是，例如，MPEG-4视频标准的大量选项中的一种。基础层以给定的帧速率进行编码，被称为增强层的附加层也被编码，以便提供丢失的帧以形成更高帧速率的视频信号，并由此在显示侧提供更高的时间分辨率。在解码侧，通常只有基础层被解码，但解码器也可另外对增强层解码，这样能够在每秒钟输出更多的帧。
在MPEG-4中使用到几种结构，例如是用户被允许访问和操作的实体的视频对象(VO)，和在给定时间是视频对象的实例的视频对象平面(VOP)。在已编码的位流中，可发现不同类型的VOP：只使用空间冗余的内编码的VOP，使用由过去的参照VOP的运动估计和补偿的预测编码的VOP，以及使用由过去的和未来的参照VOP的运动估计和补偿的双向预测编码的VOP。由于MPEG-4视频标准是一种预测编码方案，对于每个编码的非帧内的VOP必须规定一些时间参照。在单层的情况下或者在可伸缩流的基础层中，以唯一的方式由标准来规定时间参照，如图1所示，其中基础层和增强层分别由(BL)和(EL)来指定，示出P-VOP和B-VOP的参照(每个箭头对应一个可能的时间参照)。相反的，对于MPEG-4流的时间增强层，可使用三个VOP作为用于运动预测的可能的时间参照：增强层的最近被解码的VOP，或是基础层显示顺序中在前的VOP，或是基础层显示顺序中的下一个VOP，如图1所示，其中对时间增强层的P-VOP和B-VOP示出了这三个可能的选择：为增强层的每个P-VOP选择一个参照，为同一层的每个B-VOP选择两个参照。
发明内容
因此本发明的目的是提供一种允许获得改进的预测精确度的视频编码方法。
为此，本发明涉及一种如本说明书中前言段落中所定义的编码方法，其中增强层B-VOP的时间参照被选择为两个时间上最接近的候补对象而丝毫不考虑这些候补对象所属的层。
附图说明
本发明将参照附图以举例的方式来说明，其中图1说明在可伸缩的MPEG-4视频流情况下可能的时间参照。
具体实施方式
在像MPEG-4这样的预测编码的方案中，可进行三种类型的编码操作：或是称为内编码的或I-VOP的不对VOP进行预测的第一种，其不对另一VOP进行任何时间参照地编码，或是称为预测的或P-VOP的对VOP进行单向预测的第二种，其只使用一个过去的或一个未来的I-或P-VOP作为时间参照而进行编码，或是称为双向预测的或B-VOP的对VOP进行双向预测的第三种，其使用过去的和未来的I-或P-VOP二者作为时间参照而进行编码。如上所述，在编码处理中，必须为增强层的每个P-VOP(从三个候补对象中)选择一个参照，并为该层的每个B-VOP选择两个参照。从而，根据本发明确定，只根据时间距离的标准来选择增强的VOP的这些时间参照，而不需丝毫考虑它们所属的层。从而，这些时间参照的选择是根据以下准则来执行的：
(a)对于一个P-VOP，该参照为时间上最接近的候补对象；
(b)对于一个B-VOP，该参照为两个时间上最接近的候补对象，如上所述丝毫不考虑这些候补对象所属的层。
本发明还涉及一种能够执行包括上述选择步骤的编码方法的视频编码器。这种视频编码器接收原始视频信号，该信号被传送至基础层编码单元用于产生基础层位流，并被传送至增强层编码单元用于产生增强层位流。基础层编码单元包含一主处理分支，其包括一运动预测电路(所述预测是基于所选择的时间参照的)，一离散余弦变换(DCT)电路，一量化电路，一熵编码电路，以及一产生编码的基础层位流的基础层比特缓冲器，以及一反馈分支，其包括一反向量化电路，一反离散余弦变换(IDCT)电路，和一帧存储器。类似的，增强层编码单元产生增强层位流。
应当理解这种视频编码器能够以硬件或软件，或是借助硬件和软件的结合来实现。则它也可以以任何类型的计算机系统或适于执行这里所述方法的其他装置来实现。硬件和软件的典型结合可以是具有计算机程序的通用计算机系统，计算机程序在下载并执行时，控制该计算机系统使其执行这里所述的方法。或者，可使用专用的计算机，它包括专用的硬件用于执行本发明的一个或多个功能任务。本发明还可以被嵌入在计算机程序介质或产品中，它包括能够实现这里所述方法的所有特征，并且在下载到计算机系统中时，它能够执行这一方法。本发明还涉及存储在这种计算机可读介质或产品中的并用于执行所述的视频编码方法的计算机可执行的处理步骤。计算机程序，软件程序，程序，程序产品，或软件，在本文中表示以任何语言，代码或符号表达的一组指令，其目的是导致具有信息处理能力的系统，直接地或在以下步骤的两个或其中一个之后：(a)转换成另一种语言，代码或符号，和/或(b)以不同的材料形式再现，而执行特定的功能。

Claims (2)

1.用于一种视频编码器中，该视频编码器包含基础层编码装置和增强层编码装置，基础层编码装置用于接收视频序列并由其产生基础层信号，该基础层信号对应于所述序列的视频帧中包含的多个视频对象(VO)并建立适于以基础层比特率向视频解码器传输的第一位流，增强层编码装置用于接收所述视频序列和所述基础层信号的解码后的版本并由其产生与相应的基础层信号相关的并且适于以增强层比特率向所述视频解码器传输的增强层信号，一种用于对所述序列的VO进行编码的方法，包括如下步骤：
(A)将该视频序列分段为所述的VO；
(B)对所述VO中的每个的连续的视频对象平面(VOP)编码，所述编码步骤本身包括对所述VOP的纹理和形状编码的子步骤，所述纹理编码子步骤本身包括，称为内编码的或I-VOP的不对VOP进行预测的第一编码操作，其不对另一VOP进行任何时间参照而编码，称为预测的或P-VOP的对VOP进行单向预测的第二编码操作，其只使用一个过去的I-或P-VOP作为时间参照而进行编码，以及称为双向预测的或B-VOP的对VOP进行双向预测的第三编码操作，其使用过去的和未来的I-或P-VOP二者作为时间参照而进行编码，所述方法的特征在于，增强层B-VOP的时间参照被选择为两个时间上最接近的候补对象，而丝毫不考虑这些候补对象所属的层。
2.一种视频编码器，它包含基础层编码装置和增强层编码装置，基础层编码装置接收视频序列并由其产生基础层信号，该基础层信号对应于所述序列的视频帧中包含的多个视频对象(VO)，并建立适于以基础层比特率向视频解码器传输的第一位流，增强层编码装置接收所述视频序列和所述基础层信号的解码后的版本，并由其产生与相应的基础层信号相关并且适于以增强层比特率向所述视频解码器传输的增强层信号，所述视频编码器包括：
(A)将视频序列分段为所述的VO的装置；
(B)对所述VO中的每个的连续的视频对象平面(VOP)的纹理和形状进行编码的装置，该纹理编码装置执行，称为内编码的或I-VOP的不对VOP进行预测地编码的第一编码操作，其不对另一VOP进行任何时间参照而编码，称为预测的或P-VOP的对VOP进行单向预测的第二编码操作，其只使用一个过去的I-或P-VOP作为时间参照而进行编码，以及称为双向预测的或B-VOP的对VOP进行双向预测的第三编码操作，其使用过去的和未来的I-或P-VOP二者作为时间参照而进行编码，其特征在于，增强层B-VOP的时间参照被选择为两个时间上最接近的候补对象，而丝毫不考虑这些候补对象所属的层。
CNB018039693A 2000-11-23 2001-11-15 视频编码方法和相应的编码器 Expired - Fee Related CN1254974C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP00403281.9 2000-11-23
EP00403281 2000-11-23

Publications (2)

Publication Number Publication Date
CN1397138A CN1397138A (zh) 2003-02-12
CN1254974C true CN1254974C (zh) 2006-05-03

Family

ID=8173950

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB018039693A Expired - Fee Related CN1254974C (zh) 2000-11-23 2001-11-15 视频编码方法和相应的编码器

Country Status (6)

Country Link
US (1) US6847683B2 (zh)
EP (1) EP1336303A2 (zh)
JP (1) JP2004515129A (zh)
KR (1) KR20020077891A (zh)
CN (1) CN1254974C (zh)
WO (1) WO2002043394A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7889792B2 (en) * 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7492820B2 (en) 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US7986731B2 (en) 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
US7869503B2 (en) * 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
CN1322758C (zh) * 2005-06-09 2007-06-20 上海交通大学 基于对象的纹理快速运动估值的方法
EP1972153A4 (en) 2006-01-09 2015-03-11 Lg Electronics Inc INTER-LAYER PREDICTION PROCEDURE FOR A VIDEO SIGNAL
US9060174B2 (en) 2010-12-28 2015-06-16 Fish Dive, Inc. Method and system for selectively breaking prediction in video coding
US20120236115A1 (en) * 2011-03-14 2012-09-20 Qualcomm Incorporated Post-filtering in full resolution frame-compatible stereoscopic video coding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
ES2241034T3 (es) * 1996-02-07 2005-10-16 Sharp Kabushiki Kaisha Dispositivo de codificacion de decodificacion de imagenes en movimiento.
CA2255923C (en) * 1997-04-01 2005-06-07 Sony Corporation Picture coding device, picture coding method, picture decoding device, picture decoding method, and providing medium
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
DE19746611A1 (de) * 1997-10-22 1999-04-29 Bosch Gmbh Robert Verfahren zur Verbesserung der Konturcodierung von Bildsequenzen sowie Anwendung
AU1928999A (en) * 1997-12-19 1999-07-12 Kenneth Rose Scalable predictive coding method and apparatus
JP2000209580A (ja) * 1999-01-13 2000-07-28 Canon Inc 画像処理装置およびその方法

Also Published As

Publication number Publication date
US20020071489A1 (en) 2002-06-13
JP2004515129A (ja) 2004-05-20
WO2002043394A3 (en) 2002-08-29
KR20020077891A (ko) 2002-10-14
EP1336303A2 (en) 2003-08-20
US6847683B2 (en) 2005-01-25
CN1397138A (zh) 2003-02-12
WO2002043394A2 (en) 2002-05-30

Similar Documents

Publication Publication Date Title
CN1192629C (zh) 应用基层编码信息改进精确颗粒可定标图像的系统和方法
KR100849965B1 (ko) 예측 모드 세분화 계위 제공 방법 및 장치
CN1196340C (zh) 用于数字视频运动补偿的搜索方法和处理器
CN100581232C (zh) 用于在视频序列中对运动进行编码的方法
JP3413720B2 (ja) 画像符号化方法及び装置、並びに画像復号方法及び装置
CN1640145B (zh) 视频编码方法和装置,数据流解码方法和装置
JP3413721B2 (ja) 画像符号化方法及び装置、並びに画像復号方法及び装置
EP2382786A1 (en) Multiple-candidate motion estimation with advanced spatial filtering of differential motion vectors
WO2001091467A1 (en) Method and device for encoding image
JP2006512838A (ja) ダイナミック・グラフィック・コンテンツ・ビューの符号化
CN1956544A (zh) 采用连续/交错区域预测的影像数据处理方法及系统
CN1825976A (zh) 译码数字影像序列的方法及装置
CN1401189A (zh) 视频编码方法和相应的编码器
CN1254974C (zh) 视频编码方法和相应的编码器
US20080013624A1 (en) Method and apparatus for encoding and decoding video signal of fgs layer by reordering transform coefficients
CN1248508C (zh) 视频解码方法
KR20050061483A (ko) 스케일링 가능한 비디오 인코딩
JP4415186B2 (ja) 動画像符号化装置、動画像復号化装置、コーデック装置、および、プログラム
KR100522595B1 (ko) 엠펙 비디오 복호화방법 및 엠펙 비디오 복호화기
KR100482282B1 (ko) 신축형(스케일러블)부호화시고위계층(EnhancementLayer)부호화방법
CN1771736A (zh) 视频编码、解码方法和相应设备
CN102204253B (zh) 基于运动估计的视频编码/解码装置和方法
CN1706199A (zh) 视频编码方法
KR100802180B1 (ko) 엠펙-4 비디오 신호의 비트율을 동적인 통신 용량 변화에따라 제어하는 방법
KR100676772B1 (ko) 휴대용 기기에 적용된 ｄ―ｖｏｐ 디코딩이 가능한 엠펙-4디코더

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060503

Termination date: 20091215