KR20030042115A - 다중 레퍼런스 프레임 기반의 동영상 부호화 방법 - Google Patents

다중 레퍼런스 프레임 기반의 동영상 부호화 방법 Download PDF

Info

Publication number
KR20030042115A
KR20030042115A KR1020010072637A KR20010072637A KR20030042115A KR 20030042115 A KR20030042115 A KR 20030042115A KR 1020010072637 A KR1020010072637 A KR 1020010072637A KR 20010072637 A KR20010072637 A KR 20010072637A KR 20030042115 A KR20030042115 A KR 20030042115A
Authority
KR
South Korea
Prior art keywords
frame
error
lost
reference frame
motion vector
Prior art date
Application number
KR1020010072637A
Other languages
English (en)
Inventor
정한승
이상욱
Original Assignee
정한승
이상욱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정한승, 이상욱 filed Critical 정한승
Priority to KR1020010072637A priority Critical patent/KR20030042115A/ko
Publication of KR20030042115A publication Critical patent/KR20030042115A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

다중 레퍼런스 프레임 기반(Multiple Reference Frame Based)의 동영상 부호화 방법을 개시한다.
움직임 보상-이산 코사인 변환(Motion Compensation-Discrete Cosine Transform : 이하, MC-DCT라 약칭함) 기반의 동영상 부호화 기법이 부호화 효율성 및 구현의 단순성으로 인해 널리 사용되고 있으나, 에러(error) 환경에서 구조적으로 취약한 면이 있다. 본 발명은 다중 메모리 움직임 보상 예측(long-term memory motion compensated prediction : 이하, LTMP라 약칭함) 기반의 다중 레퍼런스 프레임을 사용하여 에러에 강인한 동영상 부호화 방법을 구현하는데 특징이 있다. 또한, 본 발명은 에러 은닉 기법(Error Concealment : 이하, EC라 약칭함)에 의해 구현될 수 있다. 프레임간 움직임 벡터(temporal motion vectors)의 확산 인자를 추가하여 왜곡률, 즉, R-D(Rate-Distortion)를 최적화함으로써, 에러에 대한 강인성 및 EC의 효율성을 증가시켰다. 또한, 본 발명은 피드백 정보(Negative AcKnowledgement : 이하, NAK라 약칭함)를 사용하여 시간축 상의 에러 전파를 억제한다. 즉, NAK는 채널 에러에 의해 손실된 영역과 에러가 전파된 영역을 추적하여 움직임 보상 영역에서 에러 영역을 제외시키는데 이용된다. 따라서, 본 발명은 PSNR 측면에서 FIU(Forced Intra Update)에 근사하는 성능을 보이나, FIU와는 달리 비트율의 증가를 피할 수 있어, 제한된 대역폭의 네트워크를 효율적으로 사용할 수 있다. 컴퓨터 모의 실험을 통해 본 발명이 기존의 H.263 및 LTMP 기반의 부호기에비해 에러 환경에서 주관적 및 객관적 화질 측면에서 우수한 성능을 나타냄을 알 수 있다.

Description

다중 레퍼런스 프레임 기반의 동영상 부호화 방법{VIDEO CODING METHOD BASED ON MULTIPLE REFERENCE FRAME}
본 발명은 동영상 부호화 기술에 관한 것으로, 특히, 에러에 강인한 다중 레퍼런스 프레임 기반의 동영상 부호화 방법에 관한 것이다.
멀티미디어 데이터의 디지털 전송 및 저장의 필요성 증대와 더불어 최근 20년 간 동영상 부호화 기법은 상당한 관심의 대상이 되어왔으며, 이러한 지속적인 관심의 결과로서, 근래의 디지털 TV 방송, 영상 회의, 멀티미디어 데이터베이스 서비스 등 많은 응용 분야의 발전에 기여하게 되었다.
특히, 이러한 응용 분야는 최근 H.26x, MPEG-1/2/4 등 동영상 부호기의 표준화에 의해 더욱 발전하게 되었으며, 동영상의 시/공간상의 상관도를 이용하여 높은압축 효율을 구현할 수 있다는 이유로 인해, 표준 동영상 부호기의 대부분이 움직임 보상과 이산 코사인 변환의 결합된 기법에 기반하고 있다.
한편, 부호화 효율을 더욱 향상시키기 위해 R-D 최적화 기법이 동영상 부호화 기법에 적용되었다. 이러한 R-D의 성능은 손실 압축 시스템에서 기본적인 일종의 트레이드-오프(trade-off)이며, 특정 소스에 대해 R-D 측면에서 최적의 파라미터를 갖는 기법들이 연구되어 왔다.
LTMP, 즉, 다중 메모리 움직임 보상 예측 또한 이러한 R-D 문제라고 생각할 수 있다. 각 블록은 프레임간(inter), 프레임내(intra), 혹은 양방향(bidirectional) 모드로 부호화되며, 프레임간 모드는 이전 프레임(레퍼런스 프레임)에서 부호화할 블록과 가장 유사한 블록을 찾아 부호화하는 기본적인 움직임 보상 기법이다. LTMP 방법은 움직임 보상 모드를 일반화하여 확장한 형태이다. LTMP 방법에서는 N개의 이전 프레임을 레퍼런스 프레임으로 움직임 보상을 수행하여 최적의 움직임 벡터를 찾는 기법이다. 따라서, N개의 프레임 버퍼가 부호기, 복호기에 필요하며 움직임 벡터(dx, dy, dt) 또한 공간축 움직임 인자(dx, dy)와 더불어 시간축 움직임 인자 dt도 포함한다.
일반적으로, 높은 압축율로 부호화된 동영상은 비트 에러에 상당히 약한 면을 보이고 있다. 특히, MC-DCT 기반의 동영상 부호화 기법은 가변장 부호(variable length code : VLC) 및 움직임 보상에 의해 공간, 시간축 상으로 에러 전파가 발생하게 되는데, 움직임 보상에 의한 시간축 상의 에러 전파는 에러 환경에서의 동영상 화질을 결정짓는 중요한 요소인 바, 이러한 문제를 극복하기 위한 많은 연구들이 진행되어 왔다.
NAK의 전송 기간(round-trip period) 동안 에러 전파에 의한 영향을 억제하기 위해서는, 이상적인 경우, 움직임 벡터의 시간 요소 dt가 전송 기간보다 더 길어야 하나, 이는 부호기 효율을 감소시키게 된다. EC 기법의 효율이 에러가 없는 근접한 주변 블록의 증가에 따라 향상되므로, 이웃하는 매크로 블록(macro block)간에 움직임 벡터의 dt성분이 서로 상이하면, 에러의 전파가 시간축 상으로 흩어져서 성능 향상을 기대할 수 있다.
이를 위해 라그랑즈 비용함수(Lagrangian cost)를 적용하여 부호기 효율 및 에러 강인성을 향상시킬 수 있다. 부다가비(Budagavi)와 깁슨(Gibson)이 제안한 랜덤 form(random lag : RL) 선택 기법에 대해 살펴보면, dt=1을 선택하는 확률 p를 감소시키기 위해 dt를 임의로 선택하게 된다. 그러나, 이러한 기법도 에러 전파를 1/(2-p)로 감소할 수는 있으나, 시간축 상에 움직임 벡터를 확산시킴으로서 EC 성능을 향상시키지는 못하였다.
따라서, 본 발명은 상술한 문제를 해결하기 위해 안출한 것으로, LTMP 기반의 다중 레퍼런스 프레임을 사용하여 에러에 강인한 동영상 부호화 및 EC를 구현하고, 프레임간 움직임 벡터의 확산 인자를 추가하여 R-D를 최적화함으로써 에러에 대한 강인성 및 EC의 효율성을 증가시키도록 한 다중 레퍼런스 프레임 기반의 동영상 부호화 방법을 제공하는데 그 목적이 있다.
이러한 목적을 달성하기 위하여 본 발명은, 다중 메모리 움직임 보상 예측 기반의 다중 레퍼런스 프레임을 사용하여 동영상을 부호화하는 방법에 있어서, 블록 정합 알고리즘에 의해 n개의 레퍼런스 프레임 각각에 대한 움직임 벡터를 예측하는 과정과; 최종 복호된 에러에 의해 손실된 프레임 이전의 프레임을 레퍼런스 프레임으로 설정하고, 레퍼런스 프레임에 피드백 채널이 존재하는지를 판단하는 과정과; 레퍼런스 프레임에 피드백 채널이 존재하면, 피드백 정보가 전송되어 복호화 과정에서 손실된 프레임 또는 단위를 추적하고, 복호화 과정에서 손실되지 않은 유효한 프레임 또는 단위를 레퍼런스로 선택하여 부호화하는 과정을 포함하는 것을 특징으로 하는 다중 레퍼런스 프레임 기반의 동영상 부호화 방법을 제공한다.
도 1은 본 발명에 따른 방법을 적용하기 위한 다중 레퍼런스 프레임 기반의 동영상 부호화 장치의 개략적인 구성 블록도,
도 2는 포어맨(Foreman) 영상에서의 두 개의 GOB 손실시 PSNR 성능 그래프,
도 3은 포어맨 영상에서의 두 개의 GOB 손실시 원 영상과의 PSNR 차를 나타낸 그래프,
도 4는 포어맨 영상에서의 두 개의 GOB 손실시 EC와 결합했을 때의 PSNR 성능 그래프,
도 5는 포어맨 영상에서의 두 개의 GOB 손실시 EC와 결합했을 때의 원 영상과의 PSNR 차를 나타낸 그래프,
도 6은 포어맨 영상에서의 두 개의 GOB 손실시 NAK와 결합했을 때의 PSNR 성능 그래프,
도 7은 포어맨 영상에서의 MPEG-4 버스트 에러 모델에서 각 비트열에 대한 PSNR 결과 그래프,
도 8은 카폰(Carphone) 영상에서의 MPEG-4 버스트 에러 모델에서 각 비트열에 대한 PSNR 결과 그래프.
<도면의 주요 부분에 대한 부호의 설명>
100 : DCT
102 : 양자화기
104 : VLC
106 : 역 양자화기
108 : 역 DCT
110 : 메모리 제어기
112-1∼112-n : 프레임 메모리
114 : BMA 기반 다중 프레임 예측기
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
설명에 앞서, 본 발명은, 그 구조가 시간, 공간 요소를 포함하는 움직임 벡터를 제외하고 H.263+의 비트열 구조와 호환 가능한 바, H.263+를 기반으로 구현되는 것을 특징으로 한다.
먼저, 본 발명에 따른 다중 레퍼런스 프레임을 이용한 동영상 부호화를 설명하기 위해, LTMP 모드와 H.263+의 레퍼런스 선택(reference picture selection) 모드에 대해 기술하기로 한다.
도 1은 본 발명에 따른 방법을 적용하기 위한 다중 LTMP를 적용한 동영상 부호화 장치의 개략적인 구성 블록도이다.
이러한 동영상 부호화 장치는 종래의 일반적인 동영상 부호화 장치와 그 구성이 유사한 바, 중복되는 구성의 설명은 생략하기로 한다.
도 1에 도시한 바와 같이, 본 발명에 이용되는 동영상 부호화 장치는, n개의 레퍼런스 프레임을 사용하므로 이를 저장하기 위해 n개의 프레임 메모리(112-1∼112-n)를 가진다.
이러한 프레임 메모리(112-1∼112-n)에는 BMA 기반의 다중 프레임 예측기(114)가 연결되는 바, 블록 정합 기법(block matching algorithm : BMA)이 n개의 레퍼런스 프레임 각각에 대해 수행되어 최적의 움직임 벡터를 찾게 된다. 따라서, 레퍼런스 프레임 번호에 해당하는 시간 요소 dt가 움직임 벡터에 부가적으로 추가되어 다소 비트율 증가를 초래하게 되며, 기존의 BMA에 비해 n배의 계산 복잡도를 가지게 된다. 반면 움직임 보상 측면에서 보다 효율적인 결과를 얻게 되는 것이다.
따라서, 정합 측면에서 적절한 성능을 얻으면서 비트율을 효율적으로 조절하기 위해 라그랑즈 비용(Lagrange cost)을 다음 수학식 1과 같이 적용할 수 있다.
여기서 D(d)는 왜곡 정도를 나타내며, 절대값 차의 합계이다. R(d-p)는 현재 블록의 움직임 벡터 d와 움직임 벡터의 예측치 p를 뺀 벡터 차에 대한 비트율을 의미하며, λMOTION를 제어함으로써 비트율과 왜곡정도에 대해 적절한 값을 얻을 수 있다. 즉, λMOTION는 (1)에서 최저 라그랑즈 비용을 얻기 위한 (R, D) 상의 유효 R-D 커브의 기울기이다.
LTMP의 사용 예는 H.263+ 'Annex N'의 레퍼런스 선택(reference picture selection : RPS) 모드와 유사하다. RPS 모드는 부호화 효율 증대를 위한 것 보다 시간축 상의 에러 전파를 억제하기 위해 구현되었으나, LTMP는 이러한 다중 레퍼런스 프레임의 사용이 R-D 최적화 알고리듬을 통해 부호화 이득을 얻을 수 있음을 보여주는 것이다.
다음으로, LTMP의 에러에 대한 강인성에 대해 설명하기로 한다.
동영상 데이터는 가변장 부호로 부호화되므로 비트 에러에 대해 복호시 전체 비트열의 오류를 초래하게 된다. 이러한 현상을 피하기 위해 대부분의 동영상 부호기는 비트열에 주기적으로 동기 신호(synchronization code)를 삽입하게 된다.
H.263+에서도 GOB(group of blocks)가 정의되어 각 GOB 데이터에 동기 신호가 부여되고, 따라서 비트 에러의 영향을 GOB 단위로 제한하게 된다. 손실된 GOB는 적절한 EC 기법으로 복원될 수 있으나 완벽하지 못하므로 에러의 영향이 움직임 보상 구조에 의해 다음 프레임으로 계속 전파된다.
이러한 시간축 상의 에러 전파를 제한하기 위해 부호기는 주기적으로 프레임내 프레임 혹은 프레임내 블록 모드로 부호화하게 되나, 이는 결국 비트율 증가를 초래하고 주기 동안의 에러 전파를 효율적으로 대응할 수는 없다. 따라서, 이에 대한 방안으로서 다중 레퍼런스 프레임의 사용을 생각해 볼 수 있다.
예를 들어, H.263+의 RPS 모드는 'NEWPRED'라는 수정된 프레임간 프레임 예측을 허용하여 에러 전파를 방지한다. 즉, 마지막으로 복호된 에러에 의해 손실된 프레임을 레퍼런스 프레임으로 사용하지 않고, 그 이전의 프레임을 사용하도록 한다. 또한, 이러한 RPS 모드를 각각의 단위(블록 혹은 블록들의 집합) 별로 적용할 수 있도록 허용한다. 레퍼런스 프레임의 정보는 프레임 혹은 단위 헤더에 'TR(temporal reference)'을 포함시켜 전송된다. RPS 모드는 피드백 채널의 유무와 상관없이 사용될 수 있다. 피드백 채널이 존재하면, NAK가 전송되어 복호기에서 손실된 프레임 혹은 단위를 레퍼런스로 선택하여 부호기에서 부호화된다. 이러한 과정을 통해 에러의 전파를 방지하여 강인성을 부여할 수 있다.
다음으로, 에러에 강인한 동영상 부호화 기법, 즉, 본 발명에 따른 부호화 알고리즘과 에러에 강인한 R-D 비용 함수에 대해 설명하고, 손실된 블록을 효율적으로 복원하는 EC 기법에 대해 기술하기로 한다.
본 발명은 H.263+를 확장하여 LTMP에 기반하여 제안한 에러에 강인한 동영상 부호화 기법을 제공하는 것을 특징으로 한다. H.263+에서는 부호기, 복호기에 메모리 버퍼를 두어 다중 레퍼런스 프레임의 사용이 허용된다. 특히, Wiegand et al.는 이러한 다중 메모리의 효율적인 사용을 통해 부호화 효율을 1∼2dB 향상시킨, 최적의 움직임 벡터 d=(dx, dy, dt)를 찾는 기법을 제안했다. 이와 유사하게, 본 발명도 H.263+의 다중 레퍼런스 구조를 수용하나, R-D 최적화에 부가적인 요소를 추가하여에러 전파의 영향을 효과적으로 억제하고 EC의 효율성을 향상시키게 된다.
LTMP 기반의 부호화 알고리즘에서는 피드백 채널에서 NAK를 받을 때, 손실되지 않은 영역을 추적하여 움직임 보상에 사용하는 단순한 기법을 통해 에러 전파를 방지할 수 있다. 비트율 측면에서는 FIU(forced intra update)보다 효율적이나, 계산상의 복잡도 증가와 n배의 메모리 사용 증가라는 단점을 감수하게 된다. 그러나, 이는 하드웨어의 발전으로 쉽게 극복 가능하여 기존의 움직임 보상 알고리즘을 대체할 수 있을 것으로 예상된다.
그러나, NAK 전송 기간(round trip period)에는 에러에 의한 영향을 LTMP만으로 극복할 수 없다. 따라서, 적절한 EC가 요구되나 동영상의 시간, 공간상의 상관 관계를 이용하는 EC 기법이 하나 이상의 GOB 손실 및 그 전파에 대해 만족할만한 성능을 보여주지 못한다. 따라서, 향상된 EC 성능을 얻기 위해 각 블록이 에러에 서로 영향을 받지 않는 주위의 블록을 갖도록 하는 새로운 요소를 라그랑즈 비용 함수에 추가할 수 있다. 에러에 대한 강인성 및 움직임 정보의 비트율을 제어하기 위해 다음 수학식 2와 같이, 라그랑즈 비용 함수를 수정하게 된다.
여기서, F(d)는 이웃하는 매크로 블록 B 간의 시간축 움직임 벡터 요소의 확산 정도를 나타내는 척도이며 다음 수학식 3과 같이 표현될 수 있다.
결과적으로, 본 발명은 NAK 전송 기간(round trip period) 동안 부호화 효율을 유지하면서 에러 전파에 의한 화질 저하를 최소화할 수 있다. 본 발명은 움직임 벡터가 시간축상에 랜덤하게 분포시키는 RL 선택 기법과 유사하나, EC 성능을 향상시키는 방향으로 움직임 벡터를 분포시킨다는 점에서 차이점이 있다. 즉, RL 선택 기법이 dt=1을 선택하는 확률을 감소시키는 것에 반하여, 본 발명은 F(d)를 추가하여 dt를 이웃하는 블록과 서로 다르게 한다. 따라서, 손실된 혹은 에러가 전파된 블록이 그렇지 않은 블록과 서로 이웃하게 되므로 간단한 에러 복원 알고리즘도 제안하는 부호기 구조에서 효율적으로 손실된 영역을 복원할 수 있다.
본 발명에서 제안하는 기법은 부호기 성능 향상을 위해 비트율이 제한적인 움직임 예측과 에러 강인성을 위해 움직임 벡터의 시간축 확산을 동시에 고려하는 것을 특징으로 한다. 움직임 벡터(dx, dy, dt)를 효율적으로 부호화하기 위해, H.263+와 마찬가지로 움직임 벡터 예측을 적용한다. 먼저, 3차원 움직임 벡터를 공간 움직임 벡터와 시간 움직임 벡터로 구분하고, 공간 움직임 벡터에 대해 중간값 예측을 적용하여 움직임 벡터의 오차를 H.263+ 코드북을 사용하여 부호화한다. 반면에 시간 움직임 벡터는 확산되는 분포를 고려하여 예측을 하지 않고 독립적으로 부호화한다.
한편, 종래의 MC-DCT 기반의 동영상 부호기에서는, 레퍼런스 프레임의 손실은 프레임내 블록 혹은 프레임내 프레임에 의해 갱신될 때까지 다음 프레임의 지속적인 손실을 초래하게 되며, 피드백 채널하의 LTMP에서도 여전히 에러 전파는 존재함을 알 수 있다.
그러나, 본 발명은 이웃하는 블록간에 서로 다른 시간 움직임 벡터를 갖도록 구조화되어 있으므로, 간단한 움직임 벡터 복원 알고리즘으로 손실된 블록을 복원할 수 있다. 더욱이 에러 전파에 의해 손실된 블록이 서로 인접해 있지 않으므로 동일한 방법으로 쉽게 복원 가능하다.
B(q, p, k)는 k번째 프레임의 (p, q) 위치의 M×M 블록을, Bi,j는 블록의 (i,j) 픽셀을 각각 의미한다. 블록 B(p, q, k)가 손실되었다고 가정하면 손실된 블록은 DL, DR, DU, DL의 합을 최소화하는 블록으로 대체될 수 있으며, 이는 다음 수학식 4 및 수학식 5와 같다.
수학식 4에서 M은 가능한 움직임 벡터의 집합이며, H.263과 같이 반화소 단위의 M={(dx, dy, dt) : -16.5≤dx, dy〈16, 1≤dt≤dt MAX}를 만족한다. 결과적으로, 손실된 블록 B(p,q,k)는 B(p-dx, q-dy, k-dt)로 대체되어 복원된다.
끝으로, 본 발명에 따른 동영상 부호화 방법의 알고리즘 성능을 컴퓨터 모의 실험을 통해 평가한 결과를 도 2 내지 도 8을 참조하여 설명하기로 한다.
본 모의 실험은 H.263+를 기반으로 구현하고 "Foreman" 및 "Carphone" 영상에 대해 성능 평가를 수행하였다. 실험 동영상은 프레임율 8.33 fps, QCIF(176×144) 포맷을 사용하였다. H.263과 LTMP와의 성능을 비교하였으며, 비트율 제어는 고려하지 않았다. 평균 약 56kbps의 비트율을 유지하는 고정 양자화기를 적용하고, 본 발명과 LTMP는 10프레임의 프레임 버퍼를 사용하였다.
먼저, 에러가 발생한 상황에서 각 부호기의 성향을 보기 위해 "Foreman" 영상의 비트열에 인위적인 에러를 삽입하였다. 즉, "Foreman" 70번째 프레임의 두 개의 GOB를 손실시켰다.
도 2에서는 에러가 있을 때와 없을 때의 PSNR 결과를 볼 수 있다. 에러에 의한 영향을 쉽게 비교하여 알 수 있도록, 도 3에서 에러가 발생한 경우와 그렇지 않은 경우의 PSNR 차를 보였다. 여기서, 각 부호기는 에러난 블록을 이전 프레임의같은 위치의 블록으로 대체하는 간단한 EC를 적용했다. 에러가 없는 경우, LTMP와 본 발명이 기존의 H.263보다 양호한 PSNR 결과를 보이며, 에러가 발생한 경우, 다중 레퍼런스 프레임 사용의 장점이 보다 뚜렷이 부각된다.
도 3에서 알 수 있는 바와 같이, 에러에 의한 화질 저하는 본 발명과 LTMP에 의해 뚜렷이 감소하였으며, 본 발명은 LTMP에 비해 약 1∼1.5dB 성능 향상을 보이고 있다. 이는 움직임 벡터의 시간 요소를 확산하는 이득을 나타내는 것이다.
도 4에서는 앞서 기술한 EC 기법의 성능을 평가할 수 있다. NAK없이 수학식 4에서 표현되는 EC 기법은 본 발명과 LTMP에 동시에 적용되었다. 도면에서 알 수 있듯이, EC는 본 발명과 LTMP에서 에러 전파를 현저히 감소시키고 적절한 화질을 유지하도록 한다. 특히, 이웃하는 블록에 대해서 움직임 벡터 시간 요소의 확산에 의해 본 발명보다 향상된 성능을 보이고 있다.
도 5는 EC에 의한 성능 향상을 보여주고 있다. 즉, 동일한 EC 기법을 적용했을 때, LTMP의 경우 에러에 의해 2∼2.5dB 화질 저하가 발생하며, 본 발명은 LTMP에 비해 약 1.5dB 이상 우수한 성능을 보인다. 본 발명에서 에러에 의한 화질 저하가 약 0.5dB 정도이며, 결과적으로 이는 움직임 벡터의 시간 성분을 이웃 블록간에 다른 값을 갖도록 확산시키는 것이 EC 성능 향상을 얻을 수 있음을 보여준다.
도 6은 NAK 정보가 유효할 때의 PSNR 성능을 보여주고 있다. 먼저, NAK에 의한 성능 향상을 확인하기 위해 EC를 적용하지 않았으며, NAK 전송 기간(round trip period)을 약 1초로 가정하였다. 즉, 부호기가 7∼8 프레임을 부호화한 후에 NAK 정보를 받도록 했다.
도 6에서 본 발명은 NAK 전송 기간동안 LTMP보다 우수한 성능을 보이고, NAK/FIU를 적용한 LTMP와 비견할만한 성능을 보인다. FIU의 경우 큰 네트워크 부하를 요구하게 되며, 에러에 의해 영향을 받은 모든 영역을 프레임내 모드로 부호화할 경우 많은 비트율 증가를 초래하게 되므로 "Steinbach et al."는 이를 극복하기 위해 에러 추적 기법을 제안했다. 제안된 에러 추적 기법에서는 에러에 의한 손실 정도가 큰 영역을 선별해서 프레임내 부호화를 하게 된다.
이 경우, FIU에도 불구하고 완벽한 복원을 할 수 없으면서 실험상에서 평균 비트율이 약 2배 정도의 비트율 증가를 초래한다. 본 발명에서는 RPS 모드와 동일하게 움직임 보상의 레퍼런스 영역을 재 설정하게 되므로, 이러한 비트율 증가를 피할 수 있으며, 완벽한 복원이 가능함을 알 수 있다.
마지막으로, 실제 채널 환경에서 모의 실험을 하기 위해 MPEG-4 버스트 에러 모델(burst error model)을 적용하였다.
도 7 및 도 8은 "Foreman"과 "Carphone" 영상에서의 PSNR 대 비트율 관계를 보여주고 있다. 여기에서는 앞서 기술한 EC를 적용하였으며, 위에서 언급한 바와 같이 NAK 정보로 완벽한 복원을 하게 되어 에러 환경에서의 성능 비교가 어려우므로 NAK는 고려 대상에서 제외했다.
도 7 및 도 8에서, H.263은 나머지 두 부호기에 비해 낮은 성능을 보이며, 본 발명이 에러가 없는 환경에서 LTMP보다 부호화 효율이 낮으나, 에러 환경에서 보다 우수한 성능을 보이고 있다. 일례로, 50kbps의 "Foreman" 영상에서 본 발명이 LTMP에 비해 약 0.5dB 우수하다. 더구나, 비트율이 증가함에 따라 그 성능 향상 폭이 더욱 증가함을 알 수 있다.
실험 결과는 에러 환경에도 불구하고 본 발명이 좋은 화질을 유지함을 나타내고 있다. 이는 다중 레퍼런스 프레임의 효과적인 사용과 움직임 벡터 시간 요소의 확산이 에러 복원 및 에러 전파 억제에 효율적으로 작용하는데 기인한다. 즉, LTMP와 마찬가지로 본 발명은 다중 레퍼런스 프레임을 사용하여 성능 향상을 얻고 있는 것이다. 또한, 상술한 바와 같이, 수학식 2의 새로운 라그랑즈 비용 함수에 의해 움직임 벡터의 시간 요소의 확산이 더욱 효과적으로 구현됨을 알 수 있다. 결국, 손실된 영역과 전파된 영역이 앞서 기술한 단순한 EC에 의해 쉽고 효과적으로 복원될 수 있는 것이다.
이상, 본 발명을 실시예에 근거하여 구체적으로 설명하였지만, 본 발명은 이러한 실시예에 한정되는 것이 아니라, 그 요지를 벗어나지 않는 범위내에서 여러 가지 변형이 가능한 것은 물론이다.
따라서, 본 발명은 LTMP와 NAK 기반의 에러에 강인한 동영상 부호화 방법을 구현함으로써, NAK에 의해 복호화시 손실된 정보를 부호기가 받아서 손실된 영역과 에러가 전파된 영역을 추적하여 움직임 보상 영역에서 제외하는 방법으로 효율적인 네트워크 사용 및 에러 전파의 제한을 구현할 수 있는 효과가 있다. 또한, 본 발명은 NAK가 전송되어 추정된 에러 전파 영역이 갱신되는 동안에 에러 전파에 의한 화질 저하를 완화하기 위해, 움직임 벡터의 시간 요소를 시간, 공간축에서 확산시키는 인자를 라그랑즈 비용 함수에 추가하여 부호 효율 및 에러에 대한 강인성 측면에서 최적의 움직임 벡터를 찾게 되므로, 효과적으로 에러를 복원할 수 있다. 또한, 본 발명은 LTMP와 ECU가 결합된 구조와 동등한 성능을 보이는 반면, 네트워크를 보다 효율적으로 사용할 수 있다. 또한, 본 발명은 NAK에 의해 움직임 보상 영역을 재 할당하여 에러의 전파가 억제되므로 FIU와 동등한 성능을 얻을 수 있으며, FIU와는 달리 비트율 증대가 없으므로 제한된 네트워크 자원의 효율적인 사용을 기대할 수 있다.

Claims (3)

  1. 다중 메모리 움직임 보상 예측 기반의 다중 레퍼런스 프레임을 사용하여 동영상을 부호화하는 방법에 있어서,
    블록 정합 알고리즘에 의해 n개의 레퍼런스 프레임 각각에 대한 움직임 벡터를 예측하는 과정과;
    최종 복호된 에러에 의해 손실된 프레임 이전의 프레임을 레퍼런스 프레임으로 설정하고, 상기 레퍼런스 프레임에 피드백 채널이 존재하는지를 판단하는 과정과;
    상기 레퍼런스 프레임에 피드백 채널이 존재하면, 피드백 정보가 전송되어 복호화 과정에서 손실된 프레임 또는 단위를 추적하고, 상기 복호화 과정에서 손실되지 않은 유효한 프레임 또는 단위를 레퍼런스로 선택하여 부호화하는 과정을 포함하는 것을 특징으로 하는 다중 레퍼런스 프레임 기반의 동영상 부호화 방법.
  2. 제 1 항에 있어서,
    상기 방법은,
    프레임간 움직임 벡터의 확산 인자를 추가하여 왜곡율을 최적화하는 에러 은닉 기법에 의해 구현되는 것을 특징으로 하는 다중 레퍼런스 프레임 기반의 동영상 부호화 방법.
  3. 제 1 항에 있어서,
    상기 방법은,
    이웃하는 블록간에 서로 다른 시간 움직임 벡터를 가지며, 에러 전파에 의해 손실된 블록이 상호 인접하지 않도록 구조화되는 것을 특징으로 하는 다중 레퍼런스 프레임 기반의 동영상 부호화 방법.
KR1020010072637A 2001-11-21 2001-11-21 다중 레퍼런스 프레임 기반의 동영상 부호화 방법 KR20030042115A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020010072637A KR20030042115A (ko) 2001-11-21 2001-11-21 다중 레퍼런스 프레임 기반의 동영상 부호화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020010072637A KR20030042115A (ko) 2001-11-21 2001-11-21 다중 레퍼런스 프레임 기반의 동영상 부호화 방법

Publications (1)

Publication Number Publication Date
KR20030042115A true KR20030042115A (ko) 2003-05-28

Family

ID=29570598

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010072637A KR20030042115A (ko) 2001-11-21 2001-11-21 다중 레퍼런스 프레임 기반의 동영상 부호화 방법

Country Status (1)

Country Link
KR (1) KR20030042115A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801222B2 (en) 2004-06-30 2010-09-21 Lg Electronics Inc. Coding image signal

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0191584A (ja) * 1987-10-02 1989-04-11 Nec Corp 動画伝送方法および装置
US4827339A (en) * 1986-02-20 1989-05-02 Kokusai Denshin Denwa Co., Ltd. Moving picture signal transmission system
JPH07184206A (ja) * 1993-12-24 1995-07-21 Mitsubishi Electric Corp 画像符号化装置
US6081296A (en) * 1996-09-04 2000-06-27 Oki Electric Industry Co., Ltd. Picture coder, picture decoder, and picture transmission system in which acknowledgment signals are sent in packed form
KR20000064898A (ko) * 1997-02-13 2000-11-06 다니구찌 이찌로오, 기타오카 다카시 동화상 예측 방식

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4827339A (en) * 1986-02-20 1989-05-02 Kokusai Denshin Denwa Co., Ltd. Moving picture signal transmission system
JPH0191584A (ja) * 1987-10-02 1989-04-11 Nec Corp 動画伝送方法および装置
JPH07184206A (ja) * 1993-12-24 1995-07-21 Mitsubishi Electric Corp 画像符号化装置
US6081296A (en) * 1996-09-04 2000-06-27 Oki Electric Industry Co., Ltd. Picture coder, picture decoder, and picture transmission system in which acknowledgment signals are sent in packed form
KR20000064898A (ko) * 1997-02-13 2000-11-06 다니구찌 이찌로오, 기타오카 다카시 동화상 예측 방식

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801222B2 (en) 2004-06-30 2010-09-21 Lg Electronics Inc. Coding image signal

Similar Documents

Publication Publication Date Title
US8170124B2 (en) MPEG-4 streaming system with adaptive error concealment
US8824567B2 (en) Method and device for tracking error propagation and refreshing a video stream
Tsai et al. Error-resilient video coding using multiple reference frames
WO2007084475A2 (en) Methods and apparatus for low complexity error resilient motion estimation and coding mode selection
CN100413345C (zh) 用于h.264的改进的帧内块游荡刷新
Stockhammer et al. Optimized transmission of H. 26L/JVT coded video over packet-lossy networks
Chen et al. Adaptive FMO selection strategy for error resilient H. 264 coding
US20060015799A1 (en) Proxy-based error tracking for real-time video transmission in mobile environments
KR101221495B1 (ko) 적응적 ｍｃｔｆ의 ｒｄ 최적화 방법
Yang et al. Rate-distortion optimized motion estimation for error resilient video coding
Suzuki et al. Block-based reduced resolution inter frame coding with template matching prediction
KR20030042115A (ko) 다중 레퍼런스 프레임 기반의 동영상 부호화 방법
Lu et al. Robust error resilient H. 264/AVC video coding
MUSTAFA et al. Error Resilience of H. 264/Avc Coding Structures for Delivery over Wireless Networks
Jung et al. Error-resilient video coding using long-term memory prediction and feedback channel
KR100312419B1 (ko) 동영상부호화장치에서전송오류에의한오류전파방지방법
Vadapalli et al. Low-complexity frame-level joint source-channel distortion optimal, adaptive intra refresh
KR101069404B1 (ko) 비디오 부호화기 및 그 방법
Yang et al. Rate-distortion optimized reference picture selection
KR100926826B1 (ko) 비디오 비트열의 전송 오류에 대비하기 위한 변환부호장치 및 방법
Langen et al. Chroma prediction for low-complexity distributed video encoding
Yang et al. A novel source-channel constant distortion model and its application in error resilient frame-level bit allocation
Nyamweno et al. Exponential decay of transmission distortion in H. 264
Kim et al. Integrated AIR/UEP scheme for robust video transmission with a corruption model
KR100312418B1 (ko) 동영상부호화장치에서인트라모드부호화선택방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application