JP5393736B2 - 動画像符号化装置、動画像復号化装置、動画像符号化方法および動画像復号化方法 - Google Patents

動画像符号化装置、動画像復号化装置、動画像符号化方法および動画像復号化方法 Download PDF

Info

Publication number
JP5393736B2
JP5393736B2 JP2011155271A JP2011155271A JP5393736B2 JP 5393736 B2 JP5393736 B2 JP 5393736B2 JP 2011155271 A JP2011155271 A JP 2011155271A JP 2011155271 A JP2011155271 A JP 2011155271A JP 5393736 B2 JP5393736 B2 JP 5393736B2
Authority
JP
Japan
Prior art keywords
encoding
prediction mode
prediction
decoding
component images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011155271A
Other languages
English (en)
Other versions
JP2011239456A (ja
Inventor
敏志 近藤
正真 遠間
浩 齋藤
ヴェディ トーマス
ウィットマン ステファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP05015562A external-priority patent/EP1746838A1/en
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JP2011239456A publication Critical patent/JP2011239456A/ja
Application granted granted Critical
Publication of JP5393736B2 publication Critical patent/JP5393736B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Description

本発明は、1枚の画像が同一画素数を有するN個(Nは2以上の整数)の成分画像で構成される画像を符号化または復号する場合の、動画像符号化装置、動画像復号装置およびストリームデータに関するものである。
ISO/IEC傘下のMPEG(Moving Picture Experts Group)で制定されたMPEG−4 AVC(Advanced Video Coding)規格(非特許文献1)では、RGBフォーマットの動画像を符号化する方法が規定されている。ここでは、RGBデータを従来のYUVデータにマッピングし(G信号がY信号に、B信号がU信号に、R信号がV信号にマッピングされる)、符号化および復号を行う方法が規定されている。
上記従来の方法では、RGB信号に対して従来のYUVデータの符号化方法および復号方法と同じ方法を用いて符号化および復号を行う。従来のYUVデータの符号化においては、UデータとVデータに対する面内予測方法は同一であるが、Yデータに対する面内予測方法はUデータ/Vデータに対する面内予測方法とは異なる。そのため、RGBデータにマッピングした場合には、RデータとBデータに対する面内予測方法は同一であるが、Gデータに対する面内予測方法はRデータ/Bデータに対する面内予測方法とは異なることになる。
従来のYUVデータの符号化においては、Yデータに対する動きベクトルが、UデータとVデータに対する動き補償で用いられる。そのため、RGBデータにマッピングした場合には、Gデータに対する動きベクトルが、RデータとBデータに対する動き補償で用いられることになる。
Draft of Version4 of H.264/AVC (ITU-T Recommendation H.264 and ISO/IEC 14496-10 (MPEG-4 Part 10) Advanced Video Coding, JVT-N050d1, 2005.1.28.
ところで、業務用の機器(テレビカメラ等)では民生用よりもはるかに高解像度かつ高品質の画像を符号化する必要性が高まっている。上記従来技術におけるYUV信号は、民生用であるため4:2:0フォーマットまたは4:2:2フォーマットが主流である。一方、業務用では、高解像度かつ高品質の画像を符号化するために、RGB信号の4:4:4フォーマットが用いられる。上記従来のRGBデータをYUVデータにマッピングする手法では、RGB信号の4:4:4フォーマットを高解像度かつ高品質の画像を符号化することが困難である。
さらに、RGB4:4:4フォーマットの高解像度画像を符号化処理/復号処理するために、Rデータ、Gデータ、Bデータに対応し、並列に動作する3つのエンコーダ/デコーダを備える装置構成が考えられる。この場合でも、上記従来技術のマッピングのためには、エンコーダ間でブロック毎に情報(面内処理方法や動きベクトル)の受け渡しのためのインターフェース回路を各エンコーダ/デコーダに設けることが必要となる。そのため、エンコーダやデコーダの構成が複雑になり、回路規模が増加するという問題がある。
本発明は上記従来の課題を解決するものであり、同数の画素を有するN個(Nは2以上の整数)の成分画像からなる画像に対して、簡易なハードウェア構成で符号化処理、復号処理を行う動画像符号化装置、動画像復号装置およびストリームデータを提供することを目的とする。
上記課題を解決するため、本発明の動画像符号化装置は、1つの画像を構成するN個(Nは2以上の整数)の色成分画像を取得する取得手段と、前記N個の色成分画像に対応して設けられ、対応する色成分画像を画面内予測符号化または画面間予測符号化によって符号化するN個の符号化手段と、前記N個の符号化部から出力されたN個の前記符号列を合成し、1個の符号列信号を出力する信号合成手段とを具備する。前記N個の符号化手段は、画面内予測符号化または画面間予測符号化の予測モードを独立または共通に使用可能である。前記信号合成手段は、N個の色成分画像と画面内予測符号化または画面間予測符号化の予測モードとの対応を示す予測モードフラグを、符号列信号に挿入する。前記予測モードフラグは、前記N個の色成分画像が独立して符号化されたか否かを示す情報を含む。この構成によれば、1つの成分画像に1つの符号化手段が対応するので、業務用のより高解像度の画像に対しても効率よく符号化することができる。
ここで、前記N個の符号化手段は、画面内予測符号化における予測モードを独立に決定するようにしてもよい。この構成によれば、各符号化手段が独立に決定した予測モードの画面内予測符号化を行うので、N個の符号化手段の間で面内符号化における各ブロックの予測モードの受け渡しをする必要がなくなる。その結果、予測モードの受け渡しをするインターフェースを各符号化手段が備える必要がなく、各符号化手段が、例えばLSIやボードとして構成される場合に、ブロック毎の予測モードを受け渡すインターフェース回路が不要なので、回路規模の増加を最小限に抑えることができる。
また、各符号化手段が上記の予測モードを独立に決定するので、画面内予測符号化による符号化効率を向上させることができる。
ここで、前記N個の符号化手段は、画面間予測符号化に用いられる動きベクトルを独立に決定するようにしてもよい。この構成によれば、各符号化手段が独立に決定した動きベクトルを用いて画面間予測符号化を行うので、N個の符号化手段の間で画面間符号化における予測モードの受け渡しをする必要がなくなる。その結果、予測モードの受け渡しをするインターフェースを各符号化手段が備える必要がなく、各符号化手段が、例えばLSIやボードとして構成される場合に、回路規模の増加を最小限に抑えることができる。
ここで、前記N個の符号化手段は、画面内予測符号化における予測モードを独立に決定し、前記N個の符号化手段のうちの1つは、画面間予測符号化に用いられる動きベクトルを決定し、前記N個の符号化手段は、前記動きベクトルを共通に用いて画面間予測符号化を行うようにしてもよい。この構成によれば、画面内予測符号化における符号化効率を向上させることができる。しかも、前記N個の符号化手段のうちの1つだけが、動きベクトルを決定する回路(動き推定回路)を備えればよく、他の符号化手段規模は備える必要がない。一般的に、動き推定回路は規模が大きいので、上記の他の符号化手段の回路面積を大幅に削減することができる。
ここで、前記N個の符号化手段は、画面内予測符号化の予測モードを独立または共通に使用可能であり、前記信号合成手段は、N個の色成分画像と画面内予測符号化の予測モードとの対応を示す符号化情報を、符号列信号に挿入するようにしてもよい。この構成によれば、画像復号化装置は、符号化情報が挿入された符号列信号によって、N個の符号化手段のうちのどの符号化手段の間で画面内予測符号化の予測モードが共通かを容易に判別することができ、復号処理を簡易化することができる。
ここで、前記符号化情報は、予測モードの数および予測モードの識別子を含み、さらに、色成分画像に共通の予測モードが存在する場合には予測モードが共通に割り当てられる色成分画像を示す割当情報を含むようにしてもよい。この構成によれば、画像復号化装置は、予測モードの数、予測モードの識別子および割当情報を判別することによって、復号処理を簡易化することができる。
ここで、前記符号化情報は、予測モードフラグを含み、前記予測モードフラグは、(a)N個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、(b)N個の色成分画像が共通の予測モードで符号化されたこと、(c)N個の色成分画像のうち2つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、の何れかを示すようにしてもよい。この構成によれば、上記(a)から(c)の何れかを選択的に用いる符号化方法および復号化方法に適している。この場合、予測モードフラグは2ビットでよい。
ここで、前記符号化情報は、予測モードフラグを含み、前記予測モードフラグは、(a)N個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、(b)N個の色成分画像が共通の予測モードで符号化されたこと、の何れかを示すようにしてもよい。この構成によれば、上記(c)を用いないで、上記(a)か(b)の何れかを用いる符号化方法および復号化方法に適している。この場合、予測モードフラグは1ビットでよい。
ここで、前記符号化情報は、第1予測モードフラグを含み、第1予測モードフラグは、(i)N個の色成分画像のうち2つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、(ii)そうでないこと、の何れかを示し、第1予測モードフラグが(ii)を示すとき、前記符号化情報はさらに第2予測モードフラグを含み、第2予測モードフラグは、(a)N個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、(b)N個の色成分画像が共通の予測モードで符号化されたこと、の何れかを示すようにしてもよい。この構成によれば、上記(a)、(b)、(i)の何れかを選択的に用いる符号化方法および復号化方法に適している。この場合、予測モードフラグは上記1ビットまたは2ビットでよい。
ここで、前記N個の符号化手段はN個の半導体集積装置として構成してもよい。この構成によれば、画像の画素数が非常に多い場合に(例えばHDTV画像以上の画素数を有する超高解像度の場合に)、一つの符号化手段で画像を符号化処理するのが困難な場合でも、成分画像毎に効率よく符号化することができる。
また、本発明の動画像復号化装置は、符号化された動画像を示す符号列信号から、1つの画像を構成するN個(Nは2以上の整数)の色成分画像に対応するN個の符号列を分離する分離手段と、前記N個の符号列に対応して設けられ、対応する符号列を画面内予測復号化または画面間予測復号化によって復号化するN個の復号化手段と、N個の復号化手段からのN個の色成分画像を1つの画像に合成する画像合成手段とを備える。前記分離手段は、前記符号列信号から、N個の色成分画像と画面内予測復号化または画面間予測符号化の予測モードとの対応を示す予測モードフラグを分離する。前記N個の復号化手段は、前記予測モードフラグに従って面内予測復号化を行う。前記予測モードフラグは、前記N個の色成分画像が独立して符号化されたか否かを示す情報を含む。
この構成によれば、N個の復号化手段の間で面内符号化における各ブロックの予測モードの受け渡しをする必要がなくなる。その結果、予測モードの受け渡しをするインターフェースを各復号化手段が備える必要がなく、各復号化手段が、例えばLSIやボードとして構成される場合に、ブロック毎の予測モードを受け渡すインターフェース回路が不要なので、回路規模の増加を最小限に抑えることができる。
ここで、前記N個の復号化手段は、独立した予測モードで面内予測復号化を行うようにしてもよい。
ここで、前記N個の復号化手段は、独立した動きベクトルを用いて画面間予測復号化を行うようにしてもよい。
ここで、前記N個の復号化手段は、独立した予測モードで面内予測復号化を行い、共通の動きベクトルを用いて画面間予測復号化を行うようにしてもよい。
ここで、前記分離手段は、前記符号化信号から、N個の色成分画像と画面内予測復号化の予測モードとの対応を示す符号化情報を分離し、前記N個の復号化手段は、前記符号化情報に従って面内予測復号化を行うようにしてもよい。
ここで、前記符号化情報は、予測モードの数および予測モードの識別子を含み、さらに、色成分画像に共通の予測モードが存在する場合には、予測モードが共通に割り当てられる色成分画像を示す割当情報を含むようにしてもよい。
ここで、前記符号化情報は、予測モードフラグを含み、前記予測モードフラグは、(a)N個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、(b)N個の色成分画像が共通の予測モードで符号化されたこと、の何れかを示すようにしてもよい。
ここで、前記符号化情報は、予測モードフラグを含み、前記予測モードフラグは、(a)N個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、(b)N個の色成分画像が共通の予測モードで符号化されたこと、(c)N個の色成分画像のうち2つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、の何れかを示すようにしてもよい。
ここで、前記符号化情報は、第1予測モードフラグを含み、第1予測モードフラグは、(i)N個の色成分画像のうち2つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、(ii)そうでないこと、の何れかを示し、第1予測モードフラグが(ii)を示すとき、前記符号化情報はさらに第2予測モードフラグを含み、第2予測モードフラグは、(a)N個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、(b)N個の色成分画像が共通の予測モードで符号化されたこと、の何れかを示すようにしてもよい。
ここで、前記N個の復号化手段はN個の半導体集積装置として構成してもよい。
また、本発明のストリームデータは、コンピュータ読み取り可能なストリームデータであって、前記ストリームデータは、N個の符号列および予測モードフラグとを含み、前記N個の符号列は、1つの画像を構成するN個(Nは2以上の整数)の色成分画像を表し、前記予測モードフラグは、N個の色成分画像と画面内予測符号化または画面間予測符号化の予測モードとの対応を示す情報と、前記N個の色成分画像が独立して符号化されたか否かを示す情報とを含む。
以上の様に、本発明の動画像符号化装置、動画像復号装置および符号列フォーマットを用いることにより、各信号の符号化処理および復号処理を独立して行うことが可能となり符号化装置や復号装置の構成を簡易化することができ、その実用的価値が高い。
図1は、本発明の実施の形態1における動画像符号化装置の一構成例を示すブロック図である。 図2は、符号化部の一構成例を示すブロック図である。 図3は、RGB4:4:4フォーマットを示す模式図である。 図4は、面内予測方法を説明するための模式図である。 図5Aは、マクロブロック単位に多重化されたモード情報および3つ符号列を示すデータストリームを示す図である。 図5Bは、スライス単位に多重化されたモード情報および3つ符号列を示すデータストリームを示す図である。 図5Cは、独立して面内符号化されたことを示す情報(フラグ)を含むデータストリームを示す図である。 図5Dは、データストリームのフォーマットを示す模式図である。 図5Eは、データストリームのフォーマットを示す模式図である。 図6は、実施の形態1の第1の変形例における符号化部の構成を示すブロック図である。 図7は、実施の形態1の第2の変形例における動画像符号化装置の一構成例を示すブロック図である。 図8は、G信号を符号化する符号化部の構成例を示したブロック図である。 図9は、R(またはB)信号を符号化する符号化部の一構成例を示した図である。 図10は、実施の形態2における動画像符号化装置の一構成例を示すブロック図である。 図11は、符号化部の一構成例を示すブロック図である。 図12は、面内符号化における予測モードを示す説明図である。 図13Aは、データストリームのフォーマットを示す図である。 図13Bは、データストリームのフォーマットを示す図である。 図13Cは、データストリームのフォーマットを示す図である。 図13Dは、データストリームのフォーマットを示す図である。 図13Eは、予測モードフラグの一例を示す図である。 図13Fは、予測モードフラグの一例を示す図である。 図13Gは、予測モードフラグの一例を示す図である。 図14は、実施の形態3における動画像復号装置の一構成例を示すブロック図である。 図15は、復号部の構成を示すブロック図である。 図16は、復号部の他の構成例を示すブロック図である。 図17は、本発明の適用例としてビデオカメラの構成を示すブロック図である。
(実施の形態1)
本実施の形態では、1つの画像を構成するN個の成分画像であって、当該画像と同数の画素を有するN個(Nは2以上の整数)の成分画像を取得する取得部と、N個の成分画像に対応して設けられ、対応する成分画像を画面内予測符号化によって符号化するN個の符号化部と、N個の符号化部ら出力されたN個の符号列を1個の符号列信号を合成する信号合成手段とを備える動画像符号化装置について説明する。このN個の符号化部は、画面内予測符号化における予測モードを独立に決定する。1つの成分画像に1つの符号化部が対応し、各符号化部は、画面内予測符号化における予測モードを独立に決定するので、業務用のより高解像度の画像に対しても効率よく符号化することができる。以下では、Nは、RGBに対応する3とする。
図1は、本発明の実施の形態1における動画像符号化装置の一構成例を示すブロック図である。動画像符号化装置100は、信号分離部101、3つの符号化部102、103、104、符号列合成部105、制御部106から構成される。
信号分離部101には、入力信号INが入力される。入力信号INは、RGB4:4:4フォーマットの動画像信号である。ここでRGB4:4:4フォーマットとは、図3に示すように、各画素がR信号、G信号、B信号の3つの信号の組み合わせで表現され、かつ1ピクチャ内のR信号、G信号、B信号の画素数が同一であるフォーマットを指す。例えば、R信号、G信号、B信号の各画素が8ビットで表現されている場合には、RGB信号の1画素は24ビットで表現されることになる。
信号分離部101に入力された入力RGB信号INは、R信号のみから構成されるR入力信号IN_R、G信号のみから構成されるG入力信号IN_G、B信号のみから構成されるB入力信号IN_Bの3つに分離され、それぞれは符号化部102、103、104に入力される。
符号化部102、103、104の構成を図2に示す。以下では、R入力信号IN_Rの符号化処理を行う符号化部102の動作について説明するが、その構成と動作はG入力信号IN_Gの符号化処理を行う符号化部103、B入力信号IN_Bの符号化処理を行う符号化部104についても同様である。
符号化部102は図2に示すように、フレームメモリ201、差分部202、周波数変換部203、量子化部204、可変長符号化部205、逆量子化部206、逆周波数変換部207、加算部208、参照ピクチャメモリ209、面内予測方法決定部210、面内予測部212、制御部216、確率テーブル保持部217から構成される。
符号化部102は、入力画像IN_Rの各ピクチャを画面内予測符号化(イントラ)ピクチャとして符号化する。
入力画像IN_Rはフレームメモリ201に格納された後、ブロック単位(例えば水平16画素、垂直16画素の大きさを有するマクロブロック単位)でフレームメモリ201から出力されるとする。
フレームメモリ201から出力されたマクロブロックは、面内予測方法決定部210に入力される。面内予測決定部210では、入力されたマクロブロックに対してどのように画面内予測符号化を行うかを決定する。具体的には、面内予測決定部210は、入力されたマクロブロックでの面内予測ブロックサイズと、ブロック毎の面内予測モードとを決定する。面内予測サイズは、水平4画素×垂直4画素、水平8画素×垂直8画素または水平16画素×垂直16画素のいずれかに決定される。面内予測モードは、例えばMPEG−4AVC規格に定められている面内予測方法に従って決定される。
図4は、MPEG−4AVC規格に定められている面内予測方法を説明するための模式図である。同図において、面内予測に使用される周辺画素(図中の破線よりも上側部分)は、既に符号化処理が完了し、参照ピクチャメモリ209に蓄積されているものとする。4画素×4画素の面内予測の対象ブロック401の面内予測では、同図の黒丸の画素群402が用いられる。面内予測モードはブロック毎に決定され、例えば、水平4画素×垂直4画素の面内予測ブロックに対しては9通りの予測モードから1つ決定され、水平16画素×垂直16画素の面内予測ブロックに対しては4通りの予測モードから1つ決定される。水平4画素×垂直4画素の面内予測ブロックに対する予測モードの説明図を図12に示す。
面内予測サイズは、水平4画素×垂直4画素、水平8画素×垂直8画素または水平16画素×垂直16画素のいずれかに決定される。
図12は、図4に示した画素群402を用いる予測方向を示す模式図である。予測モード0は、垂直(vertical)方向に画素群402を予測値とする。同様に、予測モード1は水平(horizontal)方向、予測モード3は斜め左下(diagonal down left)方向、予測モード4は斜め右下(diagonal down right)、予測モード5は垂直の右寄り(vertical right)、予測モード6は水平の下寄り(horizontal down)、予測モード7は垂直の左寄り(vertical right)を予測方向とする。モード2は方向ではなく平均を予測値とする。なお、水平16画素×垂直16画素ブロックの面内予測では4通りの予測モードがある。
面内予測決定部210によって決定された面内予測方法IPMは面内予測部212、可変長符号化部205に対して出力される。面内予測ブロックサイズおよびブロック毎の予測モードについては、面内予測部212では、面内予測方法決定部210で決定された面内予測方法IPMに基づき、参照ピクチャメモリ209から面内参照画素を取得して面内予測画像IPを生成し、それを差分部202に対して出力する。
差分部202には、フレームメモリ201からの入力画像のマクロブロックと、面内予測部212により生成された面内予測画像IPとが入力され、入力画像と面内予測画像IPとの差分画像が生成され、周波数変換部203に対して出力される。
周波数変換部203は、予測部212により生成された差分画像に対して周波数変換を施して周波数変換係数を出力する。
量子化部204は、周波数変換部203により生成された周波数変換係数に対して量子化処理を行い、量子化周波数変換係数QTを出力する。ここで量子化処理とは、周波数変換係数を所定の値(量子化ステップ)により除する処理のことを指す。この量子化ステップは、制御部216から与えられるものとする(量子化ステップは制御部106からの制御信号CTLに含まれていても良い)。量子化周波数変換係数QTは、可変長符号化部205、逆量子化部206に対して出力される。
量子化周波数変換係数QTは、逆量子化部206で逆量子化処理を施され、さらに逆周波数変換部207で逆周波数変換処理を施され、復号差分画像LDDとなる。復号差分画像LDDは、加算部208で面内予測画像IPと加算されて復号画像LDとなり、参照ピクチャメモリ209に蓄積される。参照ピクチャメモリ209に蓄積された復号画像は、以降の符号化処理において参照画像として用いられる。
可変長符号化部205は、量子化部204から入力された量子化周波数変換係数QT、面内予測方法決定部210から入力された面内予測方法IPM等に対して可変長符号化を行い、符号列ST_Rを出力する。
ここで可変長符号化部205において用いられる可変長符号化方法の一つとして、国際標準動画像符号化方式H.264で採用されているコンテキスト適応型算術符号化方式がある。コンテキスト適応型算術符号化方式とは、可変長符号化対象データや既に可変長符号化が終了しているデータに応じて(コンテキスト適応)、算術符号化で用いられる確率テーブルを切り替える方式である。例えば、量子化周波数変換係数QTを可変長符号化する際のコンテキストとしては、面内予測におけるブロックサイズや周波数変換のブロックサイズ等が用いられる。ここで確率テーブルは、確率テーブル保持部217に保持されているものとする。
符号化部102、103、104から出力された符号列ST_R、ST_G、ST_Bは、符号列合成部105に入力される。符号列合成部105では、入力された3つの符号列ST_R、ST_G、ST_Bを一つの符号列STに多重化して出力する。その際、符号列合成部105は、成分画像の予測モードを示すモード情報を符号列信号に挿入する。3つの符号列とモード情報とを1つの符号列に多重化する方法としては、ブロックやマクロブロックを単位として多重化する方法、ピクチャやスライスを単位として多重化する方法、等がある。図5A、図5Bに多重化の例を示す。
図5Aは、マクロブロック単位に多重化されたモード情報および3つ符号列を示すデータストリームを示す図である。このようにブロックやマクロブロックを単位として多重化すると、従来のYUV画像を符号化して得られる符号列とほぼ同等の符号列構成となるという効果を有する。
図5Bは、モード情報および3つ符号列がスライス単位に多重化されたデータストリームを示す図である。このように、ピクチャやスライスを単位として多重化すると、多重化の単位が大きくなるために多重化処理の際の符号列の切り替え処理が少なくなり、多重化処理の簡易化を図ることができるという効果を有する。
さらには、RGBの各信号が独立して面内符号化されたことを示す情報(フラグ)を符号列中に記述しても良い。この情報は、独立して面内予測化の予測モードが決定されたことを示すフラグであってもよいし、または符号列中にRGB各信号に対する面内予測化の予測モードを示す情報であってもよい。この情報(フラグ)は、シーケンス全体のヘッダや付加情報部に記述すれば良い。この場合のデータストリームの構成例を図5Cに示す。これにより、この符号列を復号装置が復号する際に、RGB信号を独立して復号することができるかどうかを簡易に判断することができる。
以上のように本発明の動画像符号化装置では、RGB4:4:4フォーマットの動画像を入力画像とし、入力信号からR信号、G信号、B信号を分離し、各信号に対して異なる符号化部を用い、独立して画面内予測符号化する。この際、各信号の符号化における面内予測では、各信号で独立して面内予測方法を決定する。また、各信号の符号化における算術符号化を用いた可変長符号化においては、各信号で独立して確率テーブルを保持する(信号間での確率テーブルの共有は行わない)。
このような動作により、各信号の符号化を完全に独立して行うことが可能となり(各符号化部で相互にデータや情報転送等を行うことが不要となり)、符号化効率を犠牲にすることなく符号化装置の構成を簡易化することができる。例えば、入力画像の画素数が非常に多く(例えばHDTV画像以上の画素数を有する場合)、一つの符号化装置で処理をするのは困難な場合に、本発明は非常に有用である。またこの場合には、RGB信号はすべて同じ画素数を有することから、各信号の符号化部はハードウェア的に全く同じ構成にすることが可能となる。また各信号で独立して面内予測方法を決定した場合、符号列構成としては、信号毎に面内予測方法を示す情報が記述されることになる。これにより、この符号列を復号する際にもRGB信号を独立して復号することが可能となり、復号処理の簡易化に効果を有する。
なお、本実施の形態においては、RGB4:4:4フォーマットの入力画像、すなわち3色の要素を有する画像を扱う場合について説明したが、この要素数は3色以外の値(例えば4色や6色、等)であっても同様の構成で符号化処理を実現することが可能であり、またそれにより本実施の形態で得られるものと同様の効果を得ることができる。
(第1の変形例)
実施の形態1における第1の変形例について説明する。この変形例では、画面内予測符号化だけでなく、画面間符号化も実行可能な3個の符号化部を備える動画像符号化装置について説明する。動画像符号化において、3個の符号化部は、画面内予測符号化における予測モードを独立に決定し、また、画面間予測符号化に用いられる動きベクトルを独立に決定する。
第1の変形例における動画像符号化装置は、図1に示した符号化部102、103、104の代わりに、符号化部102a、103a、104aを備える。符号化部102a、103a、104aは、画面内予測符号化と画面間符号化とを選択的に行うようになっている。
図6は、符号化部102a(または103a、104a)の構成を示すブロック図である。符号化部102aは、図2に示した符号化部102に対して、動き推定部611、動き補償部613、スイッチ614、615、符号化モード決定部618を追加した構成となっている。
符号化部102は入力画像IN_Rの各ピクチャを画面内予測符号化(イントラ)ピクチャとして符号化したが、符号化部102aでは、入力画像IN_Rのピクチャを画面間予測符号化(インター)ピクチャとして符号化することができる点が異なる。
符号化部102aで入力画像IN_Rのピクチャを画面内予測符号化ピクチャとして符号化する場合の処理方法は実施の形態1で説明した内容と同様であるので説明は割愛する。
入力画像IN_Rのピクチャを画面間予測符号化ピクチャとして符号化する場合の動作について説明する。
入力画像IN_Rはフレームメモリ201に格納された後、ブロック単位(例えば水平16画素、垂直16画素の大きさを有するマクロブロック単位)でフレームメモリ201から出力されるとする。
フレームメモリ201から出力されたマクロブロックは、面内予測方法決定部210に入力される(制御部216によりスイッチ614は「a」に接続される)。この場合の面内予測決定部210および面内予測部212の動作は実施の形態1で説明した内容と同様であるので説明は割愛する。面内予測方法は面内予測部212と符号化モード決定部618とに対して出力される。
フレームメモリ201から再度出力されたマクロブロックは、動き推定部611に入力される(制御部216によりスイッチ614は「b」に接続される)。動き推定部611では、入力されたマクロブロックについて、参照ピクチャ(参照ピクチャメモリ209に保持されている符号化済みのピクチャであり、符号化対象ピクチャとは異なるピクチャ)に対する動き量(動きベクトル)を推定する。動き推定においては、一般的に符号化対象ブロックと動き予測画像(動きベクトルにより参照する参照ピクチャ中の画像)との差分値と動きベクトルの符号量の重み付け和が最小となる動きベクトルを選択する。検出された動きベクトルは動き補償部613、符号化モード決定部205に対して出力される。
動き補償部613では、動き推定部611で決定された動きベクトルに基づき、参照ピクチャメモリ209から画面間参照画素を取得して予測画像MPを生成し、それを差分部202に対して出力する(制御部216によりスイッチ615は「b」に接続される)。
差分部202、周波数変換部203、量子化部204、逆量子化部206、逆周波数変換部207、加算部208の処理は、実施の形態1で説明した内容と同様であるので説明は割愛する。
符号化モード決定部618では、面内予測方法決定部210、動き推定部611、量子化部204、フレームメモリ201、加算部208の出力等を用いて、符号化対象マクロブロックの符号化モードを決定する。ここでは、符号化対象マクロブロックに対して、画面内予測符号化と画面間予測符号化のいずれを用いて符号化を行うかを決定するものとする。符号化モードの決定は、一般的に発生ビット量と符号化歪みとの重み付け和が小さくなるものが選択される。符号化モードとして画面内予測符号化が選択された場合には面内予測方法IPMが、画面間予測符号化が選択された場合には動きベクトルMVが符号化モードMDと共に可変長符号化部205に対して出力される。
可変長符号化部205は、量子化部204から入力された量子化周波数変換係数QT、符号化モード決定部618から出力された符号化モードMDおよび面内予測方法IPMまたは動きベクトルMVに対して可変長符号化を行い、符号列ST_Rを出力する。
ここで可変長符号化部205においてコンテキスト適応型算術符号化方式を用いて動きベクトルMVを符号化する場合、符号化済み周辺ブロックの動きベクトルの大きさにより(コンテキスト)、確率テーブルを変更する方法を用いることができる。ここで確率テーブルは、確率テーブル保持部217に保持されているものとする。
符号化部102a、103a、104aから出力された符号列ST_R、ST_G、ST_Bは、符号列合成部105に入力される。符号列合成部105では、入力された3つの符号列ST_R、ST_G、ST_Bを一つの符号列STに多重化して出力する。その際、符号列合成部105は、符号列STに画面間予測符号化に用いる動きベクトルを示す動きベクトル情報を挿入する。ここで3つの符号列と動きベクトル情報とを1つの符号列に多重化する方法としては、ブロックやマクロブロックを単位として多重化する方法、ピクチャやスライスを単位として多重化する方法、がある。
図5Dは、動きベクトル情報および3つ符号列がマクロブロック単位に多重化されたデータストリームを示す図である。このようにブロックやマクロブロックを単位として多重化すると、従来のYUV画像を符号化して得られる符号列とほぼ同等の符号列構成となるという効果を有する。また、ピクチャやスライスを単位として多重化してもよい。その場合、多重化の単位が大きくなるために多重化処理の際の符号列の切り替え処理が少なくなり、多重化処理の簡易化を図ることができるという効果を有する。この場合の符号列の構成例は図5Bと同様であり、各スライスヘッダ中に動きベクトル情報が挿入される。
さらには、RGBの各信号が独立して符号化されたことを示す(独立して動きベクトルが決定されたことを示す、または符号列中に各信号に対する動きベクトルが独立して記述されている)情報(フラグ)を符号列中に記述しても良い。この情報(フラグ)は、シーケンス全体のヘッダや付加情報部に記述すれば良い。この場合の符号列の構成例を図5Cに示す。これにより、この符号列を復号装置が復号する際に、RGB信号を独立して復号することができるかどうかを簡易に判断することができる。
以上のように本発明の動画像符号化装置では、RGB4:4:4フォーマットの動画像を入力画像とし、入力信号からR信号、G信号、B信号を分離し、各信号に対して異なる符号化部を用い、独立して画面間予測符号化する。この際、各信号の符号化における動き予測で用いる動きベクトルは、各信号で独立して決定する。また、各信号の符号化の可変長符号化において算術符号化を用いる場合には(例えば動きベクトルを符号化する場合)、各信号で独立して確率テーブルを保持する(信号間での確率テーブルの共有は行わない)。
このような動作により、各信号の符号化を完全に独立して行うことが可能となる(各符号化部で相互にデータや情報転送等を行うことが不要であるため)。よって、HDTV以上の解像度を持つ動画像のように、処理すべき画素数が非常に多く、それにより一つの符号化装置では符号化できない場合に、各信号を並列に符号化処理することにより実時間での符号化処理が実現でき、かつ、その際に符号化装置の構成および処理内容を簡易化することができる。RGB信号はすべて同じ画素数を有することから、各信号の符号化部はハードウェア的には全く同じ構成にすることが可能となる。また各信号で独立して動きベクトルを決定した場合、符号列構成としては、信号毎に動きベクトル情報が記述されることになる。これにより、この符号列を復号する際にもRGB信号を独立して復号することが可能となり、復号処理の簡易化に効果を有する。
(第2の変形例)
第1の変形例では、3個の符号化部が画面内予測符号化における予測モードを独立に決定し、また、画面間予測符号化に用いられる動きベクトルを独立に決定する動画像符号化装置について説明した。本変形例では、3個の符号化手段のうちの1つが、画面間予測符号化に用いられる動きベクトルを決定し、3個の符号化手段が決定された動きベクトルを共通に用いて画面間予測符号化を行う動画像符号化装置について説明する。3個の符号化部が、画面内予測符号化における予測モードを独立に決定する点は、第1の変形例と同じである。
図7は、第2の変形例における動画像符号化装置の一構成例を示すブロック図である。動画像符号化装置100bは、実施の形態1で説明した動画像符号化装置100とほぼ同様の構成を有しているが、符号化部102、103、104の代わりに、符号化部102b、103b、104bを備え、符号化部102b、103b、104bの間で情報の受け渡しを行う点が異なっている。さらに、G信号の処理を行う符号化部103bと、残りの信号(R信号、B信号)の処理を行う符号化部102b、104bとで、構成が若干異なる。つまり、G信号の処理を行う符号化部103bから、残りの信号(R信号、B信号)の処理を行う符号化部102b、104bへ、画面内予測符号化と画面間予測符号化の何れかを示す符号化モードMDと、画面間予測符号化に用いられる動きベクトルMVとを通知するように構成されている。
図8は、G信号を符号化する符号化部103bの構成例を示したブロック図である。符号化部103bは、第1の変形例において図6で示した符号化部102aと同様の構成であり同様の動作を行う。ただし、符号化モード決定部618で決定された符号化モードMDおよび動きベクトルMV(画面間予測モードの時のみ)を符号化部102b、104bに対して出力する点が異なる。
図9は、R信号(またはB信号)を符号化する符号化部102b(または104b)の構成例を示した図である。符号化部102b(または104b)は、第1の変形例において図6に示した符号化部102aと同様の構成であり同様の動作を行うが、以下の2点が異なる。第1に、動き推定部611を持たない。第2に、符号化部103bから制御部216に入力された符号化モードMDおよび動きベクトルMV(画面間予測符号化モードの時のみ)を用いて符号化処理を行う。以下で詳細を述べる。
符号化モードMDが画面内予測符号化モードである場合には、面内予測方法決定部210により面内予測方法を決定し、面内予測部212で面内予測画像を生成する(スイッチ615は「a」に接続される)。入力画像と予測画像との差分画像を符号化する方法は、実施の形態1と同様である。面内予測方法IPMは可変長符号化部205に対して出力され、符号列中に記述される。
符号化モードMDが画面間予測符号化モードである場合には、動きベクトルMVを動き補償部613に対して出力する。またスイッチ615は「b」に接続される。動き補償部613では、入力された動きベクトルに基づき、参照ピクチャメモリ209から画面間参照画素を取得して予測画像MPを生成し、それをスイッチ615を介して差分部202に対して出力する。入力画像と予測画像との差分画像を符号化する方法は、第1の変形例と同様である。ただし符号化モードMDと動きベクトルMVは符号列中には記述されない(符号化モードMDと動きベクトルMVは符号化部103bが出力する符号列ST_Gに記述されている)。
符号化部102b、103b、104bから出力された符号列ST_R、ST_G、ST_Bは、符号列合成部105に入力される。符号列合成部105では、入力された3つの符号列ST_R、ST_G、ST_Bを一つの符号列STに多重化して出力する。ここで3つの符号列を1つの符号列に多重化する方法としては、ブロックやマクロブロックを単位として多重化する方法、ピクチャやスライスを単位として多重化する方法、がある。ここでブロックやマクロブロックを単位として多重化すると、従来のYUV画像を符号化して得られる符号列とほぼ同等の符号列構成となるという効果を有する。この場合の符号列の構成例を図5Eに示す。この場合、符号列ST_Gに記述されている符号化モードMDおよび動きベクトルMVをブロックやマクロブロックの先頭に記述するように符号列の順序を変更している。また、ピクチャやスライスを単位として多重化すると、多重化の単位が大きくなるために多重化処理の際の符号列の切り替え処理が少なくなり、多重化処理の簡易化を図ることができるという効果を有する。この場合の符号列の構成例は図5Bと同様である。さらには、RGBの各信号に対して面内予測は独立して決定され(符号列中に各信号に対する面内予測方法が独立して記述されている)、動きベクトルは共通化されている(符号列中に各信号に対する動きベクトルが共通化されて記述されている)ことを示す情報(フラグ)を符号列中に記述しても良い。この情報(フラグ)は、シーケンス全体のヘッダや付加情報部に記述すれば良い。この場合の符号列の構成例を図5Cに示す。これにより、この符号列を復号装置が復号する際に、面内予測は信号毎に独立して記述され、動きベクトルは各信号で共通化されて記述されていることを簡易に判断することができる。
以上のように本発明の動画像符号化装置では、RGB4:4:4フォーマットの動画像を入力画像とし、入力信号からR信号、G信号、B信号を分離し、各信号に対して画面内予測符号化と画面間予測符号化とを用いて符号化する。この際、第1の信号(例えばG信号)で決定された符号化モード(画面内予測符号化と画面間予測符号化とのいずれを用いるか)を第2の信号(例えばR信号とB信号)の符号化においても用いる。符号化モードが画面内予測符号化である場合には、面内予測方法は各信号で独立して決定する。また符号化モードが画面間予測符号化である場合には、動きベクトルは第1の信号(G信号)で決定したものを用いる。そして符号列には、符号化モードと動きベクトルは1符号化単位(例えばマクロブロック)に対して第1の信号で求めたもののみを記述する。また面内予測方法は、各信号で求めたものを符号列中に記述する。
このような動作により、画面内予測符号化ピクチャまたは画面間予測符号化ピクチャでの画面内予測符号化マクロブロックでは、各信号の符号化を完全に独立して行い、画面間予測符号化マクロブロックでは、第1の信号で求めた動きベクトルを共有化することになる。一般的に、画面内予測符号化マクロブロックでは、総発生符号量に対して量子化周波数変換係数の符号量が支配的であり、面内予測方法の情報量は小さい。そして、面内予測方法の決定のための処理量は比較的小さい。また、画面間予測符号化マクロブロックでは、総発生符号量に対して動きベクトルの符号量が占める割合が大きくなる。そして、画面間予測符号化において、動き推定の処理量は全処理量の大半を占める。よって、画面内予測符号化ピクチャの処理では、符号化効率を犠牲にすることなく符号化装置の構成(処理)を簡易化することができ、かつ画面間予測符号化ピクチャの処理では、符号化装置の構成(処理)は若干複雑になるものの(各信号の符号化部間での通信が必要となるため)、符号化部全体の処理量は大幅に削減することができ(動き推定の処理は一つの信号についてのみ行うため)、かつ符号化効率を向上させることができる(符号列中に記述する動きベクトルの数が少なくなるため)。
なお第2の変形例においては、G信号の符号化処理で求めた符号化モードおよび動きベクトルを他の信号(R信号、B信号)の符号化で用いる場合について説明したが、符号化モードおよび動きベクトルは、R信号やB信号を用いて決定しても良く、このような場合であっても本発明と同じ効果が得られる。
また、本実施の形態においては、RGB4:4:4フォーマットの画像を扱う場合について説明したが、RGB4:2:2フォーマットやRGB4:2:0フォーマットであっても、本発明を適用することができる。
(実施の形態2)
本実施の形態では、画面内予測符号化の予測モードを独立または共通に使用可能な3個の符号化部と、3個の成分画像と画面内予測符号化の予測モードとの対応を示す符号化情報を符号列信号に挿入する信号合成部とを有する動画像符号化装置について説明する。この動画像符号化装置は、予測符号化において、(1)3個の符号化部のそれぞれが独立に予測モードを決定する、(2)2個の符号化部が共通の予測モードを使用し、1個の符号化部が独立した予測モードを使用する、(3)3個の符号化部が共通の予測モードを使用するの何れかを選択する。さらに、(1)〜(3)を復号化装置に通知するために符号化情報は、予測モードの数および予測モードの識別子を含み、さらに、成分画像に共通の予測モードが存在する場合には予測モードが共通に割り当てられる成分画像を示す割当情報を含む。
図10は、実施の形態2における動画像符号化装置の一構成例を示すブロック図である。動画像符号化装置100cは、実施の形態1で説明した動画像符号化装置100とほぼ同様の構成を有しているが、符号化部102、103、104の代わりに、符号化部102c、103c、104cを備え、符号化部102c、103c、104cの間で情報の受け渡しを相互に行う点が異なっている。符号化部102c、103c、104cは、同じ構成であり、画面内予測符号化と画面間予測符号化の何れかを示す符号化モードMDと、画面間予測符号化に用いられる動きベクトルMVと、画面内予測符号化における予測モードIPMとを相互に通知するように構成されている。
図11は、符号化部102c(または103c、104c)の一構成例を示すブロック図である。同図は、図8と比べて、符号化モード決定部618が、符号化モードMDおよび動きベクトルMVの他に画面内予測符号化における予測モードIPMを符号化部103c、104cに送る点と、制御部218が、符号化部103c、104cから、符号化モードMDおよび動きベクトルMVの他に画面内予測符号化における予測モードIPMを受ける点と、制御部218の動作とが異なっている。
制御部218は、外部からの指示または予め定められた設定に従って、面内符号化における予測モードを独立に決定するか、他の符号化部と共通の予測モードを使うかを決定する。他の符号化部と共通の予測モードを使う場合には、共通の予測モードを決定して他の符号化部に送信するか、他の符号化部で決定された共通の予測モードを受信して使用するかを決定する。面内符号化における予測モードは、図12に示したように、4画素×4画素ブロックの場合、9つの予測モードの何れかとなる。
また、符号列合成部105は、符号化情報をデータストリームに多重化する。この符号化情報は、予測モードの数および予測モードの識別子を含み、さらに、成分画像に共通の予測モードが存在する場合には予測モードが共通に割り当てられる成分画像を示す割当情報を含む。
図13Aは、上記(1)3個の符号化部のそれぞれが独立に予測モードを決定する場合の、符号化情報と3つの符号列とが多重されたデータストリームのフォーマットを示す図である。同図のストリームデータは、予測モードの数(number identifier )610、予測モード識別子(prediction mode)620R、620G、620Bを含む。この場合、予測モードの数610は「3」であり、3個の符号化部のそれぞれが独立した予測モードを使用することを意味する。予測モードの数610は、マクロブロック、スライス、ピクチャ単位でデータストリーム中に挿入されても良いが、同図のように、挿入された位置移行のマクロブロックについて適用されるようにしてもよい。予測モード識別子(prediction mode)620R、620G、620Bはマクロブロックの3つの成分の符号化データ毎に付与される。
図13Bは、上記(3)3個の符号化部が共通の予測モードを使用する場合の、符号化情報と3つの符号列とが多重されたデータストリームのフォーマットを示す図である。同図のストリームデータは、予測モードの数610、予測モード識別子620Cを含む。この場合、予測モードの数610は「1」であり、3個の符号化部の間で共通の1つの予測モードを使用することを意味する。予測モード識別子620Cは共有の予測モードを示し、マクロブロックの3成分符号化データの先頭に付与される。
図13Cは、上記(2)2個の符号化部が共通の予測モードを使用し、1個の符号化部が独立した予測モードを使用する場合の、符号化情報と3つの符号列とが多重されたデータストリームのフォーマットを示す図である。同図のストリームデータは、予測モードの数610、割当情報(assignment information)650、予測モード識別子620a、620bを含む。この場合、予測モードの数610は「2」であり、2つの符号化部の間で共通の1つの予測モードと、他の1つの符号化部に独立の1つの予測モードとがあることを意味する。予測モード識別子620a、620bはそれぞれ予測モードを示す。割当情報650は、予測モード識別子620a、620bが示す予測モードと、成分符号データとの対応関係を示す。例えば、割当情報650は、予測モード識別子620aが示す予測モードは成分符号データ630Rと630Gに共通であり、予測モード識別子620bが示す予測モードは成分符号データ630Bに使用されることを意味する。
図13Dは、3つの符号化部における面内符号化が途中で上記(3)から上記(1)に変更された場合のデータストリームを示す図である。このように動的に面内符号化を変更してもよい。
以上のように本実施の形態における動画像符号化装置によれば、3つの符号化部において面内符号化における予測モードを独立に決定するか共通に使用するかを選択することができる。上記(1)〜(3)の選択は、予め定めておいてもよいし、動画像の内容(動きの大きさや、画像の複雑さ)に応じて適用的に選択してもよい。
なお、実施の形態2では、3つの符号化部において面内符号化における予測モードを独立に決定するか共通に使用するかを適応的に設定可能な動画像符号化装置について説明したが、3つの符号化部において画面間符号化における動きベクトルを独立に決定するか共通に使用するかを適応的に設定するようにしてもよい。
また、実施の形態2では、符号列合成部105が符号化情報をデータストリームに多重化する際に、符号化情報として予測モードの数、予測モードの識別子を含む場合について説明したが、予測モードの数の代わりに、予め定められた予測モードフラグを含めてもよい。ここで予測モードフラグとは、上記の(1)〜(3)のいずれを用いているかを示すフラグである。上記の(1)〜(3)は符号化装置の観点での説明であるが、ストリームデータの観点から説明すると、(1)は、3個の成分画像のそれぞれが独立した予測モードで符号化されたことを意味する。(2)は、2個の成分画像が共通の予測モードで符号化され、かつ1個の成分画像が独立した予測モードで符号化されたことを意味する。(3)は、3個の色成分画像が共通の予測モードで符号化されたことを意味する。予測モードフラグの示し方は複数の方法がある。
予測モードフラグの第1の示し方は、上記の(1)と(3)のいずれを用いているかを示す方法である。図13Eは、第1の示し方によるフラグ(Flag_a)の一例を示す図である。同図のようにFlag_aの値は、(1)の場合には「0」として、(3)の場合には「1」としている。この場合の符号化ストリームの構成は、図13A、図13B、図13Dと同様になる。第1の示し方では、上記(2)を用いないで、上記(1)か(3)の何れかを用いる符号化方法および復号化方法に適している。この場合、予測モードフラグは1ビットでよい。
予測モードフラグの第2の示し方は、上記の(1)、(2)、(3)のいずれを用いているかを示す方法である。図13Fは、第2の示し方によるフラグ(Flag_b)の一例を示す図である。同図のようにFlag_bの値は、(1)の場合には「0」として、(2)の場合には「1」として、(3)の場合には「2」としている。この場合の符号化ストリームの構成は、図13A、図13B、図13C、図13Dと同様になる。第2の示し方では、上記(1)から(3)の何れかを選択的に用いる符号化方法および復号化方法に適している。この場合、予測モードフラグは2ビットでよい。
予測モードフラグの第3の示し方は、2段階で(2つのフラグで)示す方法である。図13Gは、第3の示し方によるフラグ(Flag_c1、Flag_c2)の一例を示す図である。例えば図13Gに示すように、第1の予測モードフラグFlag_c1により、(2)またはそれ以外(すなわち(1)または(3))のいずれを用いているかを示し、第1の予測モードフラグが「(2)以外」である場合には、更に第2の予測モードフラグFlag_c2により、(1)と(3)のいずれを用いているかを示す。第1の予測モードフラグFlag_c1が(2)を示す場合第2の予測モードフラグFlag_c2は省略可能である。第3の示し方では、上記(1)から(3)の何れかを選択的に用いる符号化方法および復号化方法に適している。この場合、予測モードフラグは上記1ビットまたは2ビットでよい。
(実施の形態3)
本実施の形態では、実施の形態1で説明した図1の動画像符号化装置に対応する動画像復号化装置について説明する。
図14は、本発明の動画像復号装置の一構成例を示すブロック図である。動画像復号装置1000は、可変長復号部1001、3つの復号部1002、1003、1004、信号合成部1005、確率テーブル保持部1010から構成される。
可変長復号部1001には、符号列STが入力される。符号列STはRGB4:4:4フォーマットの動画像信号を符号化して得られたものであり、実施の形態1で説明した動画像符号化装置により生成された符号列であるとする。
可変長復号部1001に入力された符号列STは、可変長復号が施される。この場合の符号列の構成例としては、図5A、図5Bのような構成がある。図5Aのようにブロックやマクロブロックを単位として多重化されていると、従来のYUV画像を符号化して得られる符号列とほぼ同等の符号列構成となるという効果を有する。また、図5Bのようにピクチャやスライスを単位として多重化されていると、逆多重化の単位が大きくなるために、逆多重化処理の簡易化を図ることができるという効果を有する。さらには図5Cの符号列構成のように、RGBの各信号が独立して符号化されたことを示す情報が符号列中に記述されている場合には、この情報を検査することによって、この符号列を復号装置が復号する際に、RGB信号を独立して復号することができるかどうかを復号装置が簡易に判断することができる。
可変長復号部1001において用いられる可変長復号方法の一つとして、コンテキスト適応型算術復号方式がある。コンテキスト適応型算術復号方式とは、可変長復号対象データや既に可変長復号が終了しているデータに応じて(コンテキスト適応)、算術復号で用いられる確率テーブルを切り替える方式である。例えば、量子化周波数変換係数QTを可変長復号する際のコンテキストとしては、面内予測におけるブロックサイズや周波数変換のブロックサイズ等が用いられる。ここで確率テーブルは、確率テーブル保持部1010に保持されているものとする。また、確率テーブルはR信号、G信号、B信号に対して異なるものを用いる。
符号列STに可変長復号を施すことにより得られた量子化周波数変換係数や面内予測方法等のデータは、R信号に対するデータDT_Rは復号部1002に、G信号に対するデータDT_Gは復号部1003に、B信号に対するデータDT_Bは復号部1003にそれぞれ入力される。
復号部1002、1003、1004の構成を図15に示す。以下では、R信号のデータDT_Rの復号処理を行う復号部1002の動作について説明するが、その構成と動作はG信号のデータDT_Gの復号処理を行う復号部1003、B信号のデータDT_Gの復号処理を行う復号部1004についても同様である。
復号部1002は図15に示すように、逆量子化部1101、逆周波数変換部1102、加算部1103、フレームメモリ1104、面内予測部1105から構成される。
復号部1002は、R信号のデータDT_Rの各ピクチャを画面内予測符号化ピクチャとして復号する。
データDT_Rのうち、面内予測方法は面内予測部1105に入力され、量子化周波数変換係数QTは逆量子化部1101に入力される。
面内予測部1105では、入力された面内予測方法に基づき、フレームメモリ1104から面内参照画素を取得して面内予測画像を生成し、加算部1103に対して出力する。
量子化周波数変換係数QTは、逆量子化部1101で逆量子化処理を施され、さらに逆周波数変換部1102で逆周波数変換処理を施され、復号差分画像LDDとなる。復号差分画像LDDは、加算部1103で面内予測画像IPと加算され、復号画像LDとなり、フレームメモリ1104に蓄積される。フレームメモリ1104に蓄積された復号画像は、以降の復号処理において参照画像として用いられる。また、適当なタイミングで出力画像OT_Rとして出力される。
復号部1002から出力されたR信号の出力画像OT_R、復号部1003から出力されたG信号の出力画像OT_G、復号部1004から出力されたB信号の出力画像OT_Bは、信号合成部1005に入力され、RGBカラー画像信号OUTとして合成されて出力される。
以上のように本発明の動画像複号装置では、RGB4:4:4フォーマットの動画像を符号化して得られた符号列を入力し、入力符号列を可変長復号した後にR信号のデータ、G信号のデータ、B信号のデータに分離し、各信号のデータに対して異なる復号部を用い、独立して面内予測復号する。この際、各信号の復号における面内予測では、各信号で独立して決定された面内予測方法の情報を用いて面内予測を実施する。また、算術復号を用いた可変長復号においては、各信号で独立して確率テーブルを保持する。
このような動作により、可変長復号後の各信号の復号処理を完全に独立して行うことが可能となり(各復号部で相互にデータや情報転送等を行うことが不要となるため)、符号化効率を犠牲にすることなく復号装置の構成を簡易化することができる。この場合には、RGB信号はすべて同じ画素数を有することから、各信号の復号部はハードウェア的には全く同じ構成にすることが可能となる。
なお、本実施の形態においては、RGB4:4:4フォーマットの画像、すなわち3色の要素を有する画像が符号化された符号列を扱う場合について説明したが、この要素数は3色以外の値(例えば4色や6色、等)であっても同様の構成で復号処理を実現することが可能であり、またそれにより本実施の形態で得られるものと同様の効果を得ることができる。
(第1の変形例)
実施の形態3は以下のように変形することが可能である。本変形例では、実施の形態1中の図6、図7、図10の動画像符号化装置に対応する動画像復号化装置について説明する。
図16は、復号部1002(または復号部1003、1004)の異なる構成例を示した図である(ここでは区別のために、復号部1002a、1003a、1004aと呼ぶ)。復号部1002aは、図15に示した復号部1002に対して、動き補償部1206、制御部1207、スイッチ1208、1209を追加した構成となっている。
図6、図7、図10の動画像符号化装置により生成された符号列STに符号化情報が多重化されている場合には、可変長復号部1001は、符号列STから符号化情報を抽出する。この符号化情報は、図13A〜図13Dで説明したように、予測モードの数および予測モードの識別子を含み、さらに、成分画像に共通の予測モードが存在する場合には予測モードが共通に割り当てられる成分画像を示す割当情報を含む。この符号化情報に示される予測モードに従って3つの復号部1002a、1003a、1004aはRGB各成分画像を復号する。
復号部1002はR信号のデータDT_Rの各ピクチャを画面内予測符号化ピクチャとして復号したが、復号部1002aでは、R信号のデータDT_Rのピクチャを画面間予測符号化ピクチャとしても復号できる点が異なる。
復号化部1002aでピクチャを画面内予測符号化ピクチャとして復号する場合の処理方法は実施の形態3で説明した内容と同様であるので説明は割愛する(スイッチ1208、1209が「a」に接続されて処理が行われる)。
データDT_Rのピクチャを画面間予測符号化ピクチャとして復号する場合の動作について説明する。なおこの際、可変長復号部1001においてコンテキスト適応型算術復号方式が用いられる場合には、確率テーブルはR信号、G信号、B信号に対して異なるものを用いる。
データDT_Rのうち、符号化モードMDは制御部1207に、面内予測方法IPMまたは動きベクトルMVはスイッチ1208に、量子化周波数変換係数QTは逆量子化部1101に入力される。
制御部1207では符号化モードMDに基づき、スイッチ1208を制御する。符号化モードMDが画面内予測符号化を示す場合にはスイッチ1208は「a」に接続され、面内予測部1105に面内予測方法IPMが入力される。符号化モードMDが画面間予測符号化を示す場合にはスイッチ1208は「b」に接続され、動き補償部1206に動きベクトルMVが入力される。符号化モードMDが画面内予測符号化を示す場合の処理は、実施の形態3で説明した内容と同様であるので説明は割愛する。以下では、符号化モードMDが画面間予測符号化を示す場合について説明する。
動き補償部1206では、入力された動きベクトルMVに基づいてフレームメモリ1104から参照画素を取得して予測画像を生成し、加算部1103に対して出力する。
逆量子化部1101、逆周波数変換部1102、加算部1103の処理は実施の形態2と同様であり、その処理により復号画像LDが生成される。復号画像LDはフレームメモリ1104に蓄積される。フレームメモリ1104に蓄積された復号画像は、以降の復号処理において参照画像として用いられる。また、適当なタイミングで出力画像OT_Rとして出力される。
復号部1002から出力されたR信号の出力画像OT_R、復号部1003から出力されたG信号の出力画像OT_G、復号部1004から出力されたB信号の出力画像OT_Bは、信号合成部1005に入力され、RGBカラー画像信号OUTとして合成されて出力される。
以上のように本発明の動画像復号装置では、RGB4:4:4フォーマットの動画像を符号化して得られた符号列を入力し、入力符号列を可変長復号した後にR信号のデータ、G信号のデータ、B信号のデータに分離し、各信号のデータに対して異なる復号部を用い、独立して復号する。この際、各信号の復号における面内予測では、各信号で独立して決定された面内予測方法の情報を用いて面内予測を実施する。また、各信号の復号における画面間予測では、各信号で独立して決定された動きベクトルの情報を用いて画面間予測(動き補償)を実施する。また、算術復号を用いた可変長復号においては、各信号で独立して確率テーブルを保持する。
このような動作により、可変長復号後の各信号の復号処理を完全に独立して行うことが可能となる(各復号部で相互にデータや情報転送等を行うことが不要となるため)。よって、HDTV以上の解像度を持つ動画像のように、処理すべき画素数が非常に多く、それにより一つの復号装置では復号できないような場合に、各信号を並列に復号処理することができる。この場合には、RGB信号はすべて同じ画素数を有することから、各信号の復号部はハードウェア的には全く同じ構成にすることが可能となる。よって、処理すべき画素数が非常に多いような場合であっても、復号装置の全体構成および処理内容を簡易化することができる。
なお、上述の符号化情報として予測モードの数、予測モードの識別子を含む場合について説明したが、予測モードの数の代わりに、予め定められた予測モードフラグを含めてもよい。ここで予測モードフラグとは、上記の(1)〜(3)のいずれを用いているかを示すフラグである。予測モードフラグの示し方は複数の方法がある。
予測モードフラグの第1の示し方は、上記の(1)と(3)のいずれを用いているかを示す方法である。例えば図13Eに示すようにフラグとしては、(1)の場合には「0」として、(3)の場合には「1」として示す方法がある。この場合の符号化ストリームの構成は、図13A、図13B、図13Dと同様になる。
予測モードフラグの第2の示し方は、上記の(1)、(2)、(3)のいずれを用いているかを示す方法である。例えば図13Fに示すようにフラグとしては、(1)の場合には「0」として、(2)の場合には「1」として、(3)の場合には「2」として示す方法がある。この場合の符号化ストリームの構成は、図13A、図13B、図13C、図13Dと同様になる。
予測モードフラグの第3の示し方は、2段階で(2つのフラグで)示す方法である。例えば図13Gに示すように、第1の予測モードフラグにより、(2)またはそれ以外(すなわち(1)または(3))のいずれを用いているかを示し、第1の予測モードフラグが「(2)以外」である場合には、更に第2の予測モードフラグにより、(1)と(3)のいずれを用いているかを示す方法である。
このような予測モードフラグにより画像復号装置は、予測モードについて上記の(1)〜(3)の何れにより符号化されたかを容易に判別することができる。また、符号化情報により、3つの復号部のそれぞれが用いる予測モードを容易に判別することができる。
また、上記では、予測モードフラグは色毎の成分画像の数が3の場合について説明した。次に、成分画像の数をNに一般化した場合について説明する。
第1の示し方では、予測モードフラグFlag_aは、上記(1)N個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、上記(3)N個の色成分画像が共通の予測モードで符号化されたことの何れかを示す。
第2の示し方では、予測モードフラグFlag_bは、上記(1)N個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、上記(3)N個の色成分画像が共通の予測モードで符号化されたこと、上記(2)N個の色成分画像のうち2つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、の何れかを示す。
第3の示し方では、予測モードフラグは第1フラグflag_c1を含む。第1フラグflag_c1は、上記(2)N個の色成分画像のうち2つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、上記(2)でないこと、の何れかを示す。第1フラグflag_c1が上記(2)でないことを示すとき、前記予測モードフラグはさらに第2フラグを含む。第2フラグは、上記(1)N個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、上記(3)N個の色成分画像が共通の予測モードで符号化されたこと、の何れかを示す。
(第2の変形例)
実施の形態3の第2の変形例について説明する。
可変長復号部1001には、符号列STが入力される。符号列STはRGB4:4:4フォーマットの動画像信号を符号化して得られたものであり、実施の形態1の第2の変形例で説明した動画像符号化装置により生成された符号列であるとする。
可変長復号部1001に入力された符号列STは、可変長復号が施される。この場合の符号列の構成例は図5Eである。第2の変形例が第1の変形例と異なる点は、画面間予測符号化されているマクロブロックに対して、動きベクトル情報がR信号、G信号、B信号に対して共通に記述されている点である。可変長復号部1001は、符号列STに可変長復号を施すことにより得られた動きベクトル情報をR信号に対するデータDT_R、G信号に対するデータDT_G、B信号に対するデータDT_Bにコピーして、復号部1002a、1003a、1004aに対して出力する。なおこの際、可変長復号部1001においてコンテキスト適応型算術復号方式が用いられる場合には、動きベクトル用の確率テーブルはR信号、G信号、B信号に対して共通のもの(ブロックやマクロブロックで共通のもの)を用いることになる。
以降の処理は第1の変形例と同様であるので、説明は割愛する。
以上のように本発明の動画像復号装置では、RGB4:4:4フォーマットの動画像を符号化して得られた符号列を入力し、入力符号列を可変長復号した後にR信号のデータ、G信号のデータ、B信号のデータに分離し、各信号のデータに対して異なる復号部を用い、独立して復号する。この際、各信号の復号における画面内予測では、各信号で独立して決定された面内予測方法の情報を用いて面内予測を実施する。また、各信号の復号における画面間予測では、各信号で共通な動きベクトルの情報を用いて画面間予測(動き補償)を実施する。また、算術復号を用いた可変長復号においては、動きベクトル以外のデータに対しては各信号で独立して確率テーブルを保持する。
このような動作により、画面内予測符号化ピクチャまたは画面間予測符号化ピクチャでの画面内予測符号化マクロブロックでは、各信号の復号処理を完全に独立して行い、画面間予測符号化マクロブロックでは、各信号で共通な動きベクトルを用いることになる。一般的に、画面内予測符号化マクロブロックでは、総発生符号量に対して量子化周波数変換係数の符号量が支配的であり、面内予測方法の情報量は小さい。また、画面間予測符号化マクロブロックでは、総発生符号量に対して動きベクトルの符号量が占める割合が大きくなる。よって、画面内予測符号化ピクチャの処理では、符号化効率を犠牲にすることなく復号装置の構成(処理)を簡易化することができ、かつ画面間予測符号化ピクチャの処理では、復号装置の構成(処理)は若干複雑になるものの、かつ符号化効率を向上させることができる(符号列中に記述する動きベクトルの数が少なくなるため)。よって、HDTV以上の解像度を持つ動画像のように、処理すべき画素数が非常に多く、それにより一つの復号装置では復号できないような場合に、各信号を並列に復号処理することができ、その際に復号装置の構成および処理内容を簡易化することができる。この場合には、RGB信号はすべて同じ画素数を有することから、各信号の復号部はハードウェア的には全く同じ構成にすることが可能となる。
なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
最後に実施の形態1および2に示した動画像符号化装置の適用例について説明する。
図17は、本発明を適用例したビデオカメラの主要部の構成を示すブロック図である。同図のビデオカメラ700は、いわゆる3版式カメラであり、図10と比べて、信号分離部101の代わりにレンズ101、光学素子702、撮像素子703〜705を備える点が異なる。レンズ101を通過した入射光は、光学素子702によってRGBの三原色の光に分離される。撮像素子703、704、705には、R、G、Bの光に対応し同じ画素数のR、G、B成分画像を撮像する。撮像された3つの成分画像は、符号化部102c、103c、104cに入力される。
なお、図17において、符号化部102c、103c、104cの代わりに符号化部102b、103b、104b、符号化部102a、103a、104aまたは符号化部102、103、104を備える構成としてもよい。
本発明は、動画像符号化装置、動画像復号装置および符号列フォーマットに適しており、特に、業務用の動画像記録再生装置、ビデオカメラ、テレビカメラなどに適している。
100 動画像符号化装置
101 信号分離部
102、103、104 符号化部
105 符号列合成部
106 制御部
1000 動画像復号装置
1001 可変長復号部
1002、1003、1004 復号部
1005 信号合成部
1010 確率テーブル保持部

Claims (6)

  1. 1つの画像を構成するN個(Nは2以上の整数)の色成分画像を取得する取得手段と、
    前記N個の色成分画像に対応して設けられ、対応する色成分画像を画面内予測符号化または画面間予測符号化によって符号化するN個の符号化手段と、
    前記N個の符号化部から出力されたN個の符号列を合成し、1個の符号列信号を出力する信号合成手段と
    を具備し、
    前記N個の符号化手段は、画面内予測符号化または画面間予測符号化の予測モードを独立または共通に使用可能であり、
    前記信号合成手段は、N個の色成分画像と画面内予測符号化または画面間予測符号化の予測モードとの対応を示す予測モードフラグを、符号列信号に挿入し、
    前記予測モードフラグは、前記N個の色成分画像が独立して符号化されたか否かを示す情報を含む
    ことを特徴とする動画像符号化装置。
  2. 前記予測モードフラグは、(a)N個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、(b)N個の色成分画像が共通の予測モードで符号化されたこと、の何れかを示す
    ことを特徴とする請求項1記載の動画像符号化装置。
  3. 前記予測モードフラグは、(a)N個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、(b)N個の色成分画像が共通の予測モードで符号化されたこと、(c)N個の色成分画像のうち2つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、の何れかを示す
    ことを特徴とする請求項1記載の動画像符号化装置。
  4. 符号化された動画像を示す符号列信号から、1つの画像を構成するN個(Nは2以上の整数)の色成分画像に対応するN個の符号列を分離する分離手段と、
    前記N個の符号列に対応して設けられ、対応する符号列を画面内予測復号化または画面間予測復号化によって復号化するN個の復号化手段と、
    N個の復号化手段からのN個の色成分画像を1つの画像に合成する画像合成手段と
    を具備し、
    前記分離手段は、前記符号列信号から、N個の色成分画像と画面内予測復号化の予測モードとの対応を示す予測モードフラグを分離し、
    前記N個の復号化手段は、前記予測モードフラグに従って面内予測復号化を行い、
    前記予測モードフラグは、前記N個の色成分画像が独立して符号化されたか否かを示す情報を含む
    ことを特徴とする動画像復号化装置。
  5. 1つの画像を構成するN個の色成分画像を取得し、
    前記N個の色成分画像に対応するN個の符号化部において、対応する色成分画像を画面内予測符号化または画面間予測符号化によって符号化し、
    前記N個の符号化部から出力されたN個の前記符号列を合成し、1個の符号列信号を出力し、
    前記N個の符号化部は、画面内予測符号化または画面間予測符号化の予測モードを独立または共通に使用可能であり、
    前記符号列を合成する際には、N個の色成分画像と画面内予測符号化または画面間予測符号化の予測モードとの対応を示す予測モードフラグを、符号列信号に挿入し、
    前記予測モードフラグは、前記N個の色成分画像が独立して符号化されたか否かを示す情報を含む
    ことを特徴とする動画像符号化方法。
  6. 符号化された動画像を示す符号列信号から、1つの画像を構成するN(Nは2以上の整数)個の色成分画像に対応するN個の符号列を分離し、
    前記N個の符号列に対応するN個の復号化部において、対応する符号列を画面内予測復号化または画面間予測復号化によって復号化し、
    N個の復号化部からのN個の色成分画像を1つの画像に合成し、
    前記符号列を分離する際には、前記符号列信号から、N個の色成分画像と画面内予測復号化の予測モードとの対応を示す予測モードフラグを分離し、
    前記N個の復号化部は、前記予測モードフラグに従って面内予測復号化を行い、
    前記予測モードフラグは、前記N個の色成分画像が独立して符号化されたか否かを示す情報を含む
    ことを特徴とする動画像復号化方法。
JP2011155271A 2005-07-18 2011-07-13 動画像符号化装置、動画像復号化装置、動画像符号化方法および動画像復号化方法 Active JP5393736B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP05015562.1 2005-07-18
EP05015562A EP1746838A1 (en) 2005-07-18 2005-07-18 Moving picture coding apparatus and moving picture decoding apparatus
EP05022148A EP1753242A2 (en) 2005-07-18 2005-10-11 Switchable mode and prediction information coding
EP05022148.0 2005-10-11

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007526016A Division JP4819051B2 (ja) 2005-07-18 2006-07-18 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法およびストリームデータ

Publications (2)

Publication Number Publication Date
JP2011239456A JP2011239456A (ja) 2011-11-24
JP5393736B2 true JP5393736B2 (ja) 2014-01-22

Family

ID=37603996

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007526016A Active JP4819051B2 (ja) 2005-07-18 2006-07-18 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法およびストリームデータ
JP2011155271A Active JP5393736B2 (ja) 2005-07-18 2011-07-13 動画像符号化装置、動画像復号化装置、動画像符号化方法および動画像復号化方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2007526016A Active JP4819051B2 (ja) 2005-07-18 2006-07-18 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法およびストリームデータ

Country Status (4)

Country Link
US (3) US8204113B2 (ja)
EP (3) EP1753242A2 (ja)
JP (2) JP4819051B2 (ja)
WO (1) WO2007010901A1 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101707713A (zh) 2005-09-20 2010-05-12 三菱电机株式会社 图像编码装置和图像编码方法以及图像解码方法
US8300694B2 (en) 2005-09-20 2012-10-30 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US8306112B2 (en) 2005-09-20 2012-11-06 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US8300700B2 (en) 2005-09-20 2012-10-30 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
KR101374851B1 (ko) 2006-01-10 2014-03-14 톰슨 라이센싱 4:4:4 코딩의 병렬 구현을 위한 방법 및 장치
KR101330630B1 (ko) 2006-03-13 2013-11-22 삼성전자주식회사 최적인 예측 모드를 적응적으로 적용하여 동영상을부호화하는 방법 및 장치, 동영상을 복호화하는 방법 및장치
JP2008193627A (ja) 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
US20080170624A1 (en) 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
JP2010147508A (ja) * 2007-04-13 2010-07-01 Panasonic Corp 撮影装置及び再生装置
US8145002B2 (en) 2007-06-28 2012-03-27 Mitsubishi Electric Corporation Image encoding device and image encoding method
WO2010004939A1 (ja) * 2008-07-10 2010-01-14 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US8634466B2 (en) * 2009-03-17 2014-01-21 Freescale Semiconductor, Inc. Video decoder plus a discrete cosine transform unit
JP5481923B2 (ja) * 2009-04-28 2014-04-23 富士通株式会社 画像符号化装置、画像符号化方法および画像符号化プログラム
KR101633459B1 (ko) 2009-08-10 2016-06-24 삼성전자주식회사 컬러 간의 상관 관계를 이용한 영상 데이터 인코딩 장치 및 방법, 그리고 영상 데이터 디코딩 장치 및 방법
CA2791677A1 (en) * 2010-04-01 2011-10-13 Sony Corporation Image processing device and method
KR101503269B1 (ko) 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
JP2011223393A (ja) * 2010-04-12 2011-11-04 Canon Inc 符号化装置及び符号化装置の制御方法
JP5441803B2 (ja) 2010-04-12 2014-03-12 キヤノン株式会社 動きベクトル決定装置及び動きベクトル決定方法、コンピュータプログラム
US8463059B2 (en) * 2010-04-23 2013-06-11 Futurewei Technologies, Inc. Two-layer prediction method for multiple predictor-set intra coding
MX2013000525A (es) * 2010-07-15 2013-03-22 Mitsubishi Electric Corp Dispositivo codificador de imagen movil, dispositivo descodificador de imagen movil, metodo de codificacion de imagen movil y metodo de descodificacion de imagen movil.
CN102413325B (zh) * 2010-09-25 2014-09-10 富士通株式会社 图像编码方法和系统
US9049444B2 (en) * 2010-12-22 2015-06-02 Qualcomm Incorporated Mode dependent scanning of coefficients of a block of video data
ES2926203T3 (es) * 2011-01-13 2022-10-24 Canon Kk Aparato de codificación de imagen, procedimiento de codificación de imagen y programa, y aparato de decodificación de imagen, procedimiento de decodificación de imagen y programa
CA2830036C (en) 2011-04-12 2019-03-05 Panasonic Corporation Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus and moving picture coding and decoding apparatus
JP5869564B2 (ja) 2011-05-24 2016-02-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置
CA2834123C (en) 2011-05-27 2020-02-11 Panasonic Corporation Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
RU2614542C2 (ru) 2011-05-31 2017-03-28 Сан Пэтент Траст Способ кодирования видео, устройство кодирования видео, способ декодирования видео, устройство декодирования видео и устройство кодирования/декодирования видео
MX2013013029A (es) 2011-06-30 2013-12-02 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, dispositivo de decodificacion de imagenes, dispositivo de codificacion de imagenes y dispositivo de codificacion/decodifi cacion de imagenes.
WO2013018369A1 (ja) 2011-08-03 2013-02-07 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および、動画像符号化復号化装置
EP3923572A1 (en) 2011-10-19 2021-12-15 Sun Patent Trust Image encoding method, image encoding device, image decoding method, and picture decoding device
JP2015508250A (ja) * 2012-01-19 2015-03-16 マグナム セミコンダクター, インコーポレイテッド 適応低解像度アップデートモードを提供するための方法および機器
JP5833961B2 (ja) 2012-03-23 2015-12-16 株式会社東芝 画像圧縮装置、画像処理システム、及び画像圧縮方法
US9491475B2 (en) 2012-03-29 2016-11-08 Magnum Semiconductor, Inc. Apparatuses and methods for providing quantized coefficients for video encoding
JP6066583B2 (ja) * 2012-05-01 2017-01-25 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
JP5974692B2 (ja) * 2012-07-09 2016-08-23 株式会社ニコン 動画像復号装置およびプログラム
JP5974691B2 (ja) * 2012-07-09 2016-08-23 株式会社ニコン 動画像圧縮装置、撮像装置およびプログラム
CN104782132B (zh) * 2012-07-09 2018-06-19 株式会社尼康 动态图像压缩装置、动态图像解码装置、图像压缩装置、图像解码装置、拍摄装置以及方法
ES2953336T3 (es) * 2012-09-26 2023-11-10 Sun Patent Trust Método de decodificación de imagen, dispositivo de decodificación de imagen y medio legible por ordenador
US9392286B2 (en) 2013-03-15 2016-07-12 Magnum Semiconductor, Inc. Apparatuses and methods for providing quantized coefficients for video encoding
US9794575B2 (en) 2013-12-18 2017-10-17 Magnum Semiconductor, Inc. Apparatuses and methods for optimizing rate-distortion costs in video encoding
JP6593122B2 (ja) * 2015-11-20 2019-10-23 富士通株式会社 動画像符号化装置、動画像符号化方法、及びプログラム
CN113545074B (zh) 2019-03-21 2023-12-01 北京字节跳动网络技术有限公司 组合帧间帧内预测的改进的加权处理

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2741696B2 (ja) 1986-09-19 1998-04-22 キヤノン株式会社 適応形差分符号化方式
US5072290A (en) * 1986-09-19 1991-12-10 Canon Kabushiki Kaisha Color image signal encoding device
US6563875B2 (en) * 1987-12-30 2003-05-13 Thomson Licensing S.A. Adaptive method of encoding and decoding a series of pictures by transformation, and devices for implementing this method
JPH03121037A (ja) 1989-10-05 1991-05-23 Olympus Optical Co Ltd 内視鏡画像データ圧縮装置
US5209220A (en) * 1989-10-05 1993-05-11 Olympus Optical Co., Ltd. Endoscope image data compressing apparatus
JP3050562B2 (ja) 1989-10-11 2000-06-12 オリンパス光学工業株式会社 内視鏡画像データ圧縮装置
US5121138A (en) 1990-05-22 1992-06-09 General Scanning, Inc. Resonant scanner control system
US5379757A (en) * 1990-08-28 1995-01-10 Olympus Optical Co. Ltd. Method of compressing endoscope image data based on image characteristics
JPH1032822A (ja) 1996-07-16 1998-02-03 Oki Electric Ind Co Ltd 動きベクトル検出装置
US6829301B1 (en) 1998-01-16 2004-12-07 Sarnoff Corporation Enhanced MPEG information distribution apparatus and method
JP2000078411A (ja) * 1998-08-28 2000-03-14 Matsushita Electric Ind Co Ltd 可逆符号化装置及び可逆符号化方法
US6611620B1 (en) 1998-08-28 2003-08-26 Matsushita Electric Industrial Co. Ltd. Reversible coding method, reversible coding apparatus, and memory medium used therein
JP4846903B2 (ja) * 1998-09-21 2011-12-28 ソニー株式会社 符号化装置及び方法、復号装置及び方法
JP4356240B2 (ja) 1998-09-21 2009-11-04 ソニー株式会社 符号化装置及び方法、復号装置及び方法
KR100967237B1 (ko) * 2002-11-01 2010-06-30 파나소닉 주식회사 동화상 부호화 방법 및 동화상 복호화 방법
US7542510B2 (en) * 2002-11-20 2009-06-02 Panasonic Corporation Moving picture predicting method, moving image encoding method and device, and moving image decoding method and device
ATE523036T1 (de) * 2002-11-25 2011-09-15 Panasonic Corp Codierungsverfahren und decodierungsverfahren eines beweglichen bildes
EP1614297A1 (en) 2003-04-04 2006-01-11 Koninklijke Philips Electronics N.V. Video encoding and decoding methods and corresponding devices
US7469069B2 (en) 2003-05-16 2008-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction
KR100624429B1 (ko) 2003-07-16 2006-09-19 삼성전자주식회사 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
KR100970726B1 (ko) * 2003-10-04 2010-07-16 삼성전자주식회사 계층적 움직임 추정 방법
WO2005076613A1 (en) * 2004-01-30 2005-08-18 Matsushita Electric Industrial Co., Ltd Picture coding and decoding method, apparatus, and program thereof
JP4152930B2 (ja) 2004-08-20 2008-09-17 ヒロセ電機株式会社 カード用コネクタ
CN101707713A (zh) 2005-09-20 2010-05-12 三菱电机株式会社 图像编码装置和图像编码方法以及图像解码方法

Also Published As

Publication number Publication date
USRE49510E1 (en) 2023-04-25
US20120213277A1 (en) 2012-08-23
JP2011239456A (ja) 2011-11-24
JPWO2007010901A1 (ja) 2009-01-29
WO2007010901A1 (ja) 2007-01-25
US9197901B2 (en) 2015-11-24
US20090257491A1 (en) 2009-10-15
EP3780597A1 (en) 2021-02-17
EP1906676A1 (en) 2008-04-02
JP4819051B2 (ja) 2011-11-16
US8204113B2 (en) 2012-06-19
EP1753242A2 (en) 2007-02-14
EP1906676A4 (en) 2011-11-23

Similar Documents

Publication Publication Date Title
JP5393736B2 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法および動画像復号化方法
CN116723315B (zh) 视频解码的方法和装置、视频编码的方法和装置及存储介质
EP1950971B1 (en) Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method
US8422803B2 (en) Image encoding device, image decoding device, image encoding method and image decoding method
JP4964595B2 (ja) 画像復号装置及び方法
KR101513507B1 (ko) 영상 복호 장치, 영상 복호 방법 및 프로그램을 저장한 컴퓨터 판독가능한 정보 기록 매체
JP6792685B2 (ja) ビデオフレームを符号化する方法および装置
TWI650992B (zh) 視訊編碼方法
JP5475409B2 (ja) 動画像符号化装置および動画像符号化方法
CN116368802B (zh) 视频解码方法、装置和存储介质
KR101147744B1 (ko) 비디오 트랜스 코딩 방법 및 장치와 이를 이용한 pvr
US20110216830A1 (en) Moving image encoder and moving image decoder
CN116491116B (zh) 用于视频编解码的方法、装置和存储介质
JP2008289105A (ja) 画像処理装置およびそれを搭載した撮像装置
US7801935B2 (en) System (s), method (s), and apparatus for converting unsigned fixed length codes (decoded from exponential golomb codes) to signed fixed length codes
EP1746838A1 (en) Moving picture coding apparatus and moving picture decoding apparatus
US7447372B2 (en) System(s), method(s), and apparatus for decoding exponential Golomb codes
JP2004007736A (ja) 画像復号化装置、画像復号化方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131015

R150 Certificate of patent or registration of utility model

Ref document number: 5393736

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S131 Request for trust registration of transfer of right

Free format text: JAPANESE INTERMEDIATE CODE: R313133

SZ02 Written request for trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z02

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250