KR101387902B1

KR101387902B1 - 다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더

Info

Publication number: KR101387902B1
Application number: KR1020100053549A
Authority: KR
Inventors: 서정일; 강경옥
Original assignee: 한국전자통신연구원
Priority date: 2009-06-10
Filing date: 2010-06-07
Publication date: 2014-04-22
Also published as: WO2010143907A2; US20120078642A1; EP2442303A2; WO2010143907A3; KR20100132913A; CN102460571B; CN102460571A; US8712784B2; EP2442303A4

Abstract

다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더가 개시된다. 다객체 오디오 신호 부호화 장치는 복수의 입력 객체 신호들 중에서 포그라운드 객체 신호들을 제외한 객체 신호들을 부호화하고, 포그라운드 객체 신호들을 부호화하여, 청취자에게 만족할만한 음질을 제공할 수 있다.

Description

다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더{ENCODER AND METHOD FOR ENCODING MULTI AUDIO OBJECT, DECODER AND METHOD FOR DECODING AND TRANSCODER AND METHOD TRANSCODING}

본 발명은 다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더에 관한 것으로, 보다 구체적으로 다객체 오디오 신호를 공간 파라미터를 이용하여 부호화, 복호화 및 트랜스코딩하는 방법 및 장치에 관한 것이다.

최근 들어, 공간 오디오 객체 부호화(Spatial Audio Object Codec: SAOC) 기법을 이용하여 다객체 오디오 신호를 압축한다. 일반적으로, SAOC 기법을 이용하는 경우, 주파수 대역 별로 입력된 오디오 객체 신호들의 공간 파라미터만으로 복수의 입력 객체 신호들을 압축하여 음향 장면(Sound Scene)을 생성한다. 이에 따라, 매우 적은 비트율에서도 객체 신호 별로 볼륨이 제어된 음향 장면이 생성된다. 다만 한정된 비트를 이용하여 다객체 오디오 신호를 압축 및 복원하기 때문에 부호화 및 복호화 과정에서 객체신호 자체에 대한 음질 열화는 필연적으로 발생한다. 이를 위해, 보컬 신호와 같은 특정 객체신호를 완전히 없애거나 단독으로 재생하는 환경에서는 음질 열화가 심각하게 나타난다. 따라서, SAOC 기법을 이용할때는 일반적으로 객체신호를 제어할 수 있는 범위를 제한한다.

일례로, SAOC 기법을 이용하는 경우, 복수의 입력 객체 신호들 중에서 극단적인 수준까지 제어하고자 하는 객체 신호(이하, 포그라운드 객체 또는 Fore Ground Object(FGO) 라고 칭함)들에 대해 부호화 및 복호화를 수행하고 극단적으로 제어하는 경우, 급격한 음질의 열화가 발생한다. 이때, 제어하고자 하는 포그라운드 객체 신호로는 보컬신호가 대표적이며 이를 통한 서비스로 가라오케(Karaoke) 가 될 수 있다.

따라서, 복수의 객체 신호 별로 볼륨을 제어하면서, 극단적인 제어환경에서도 음질 열화를 감소시켜 청취자가 만족할만한 음질을 제공할 수 있는 오디오 신호 부호화 기술이 요구된다.

본 발명은 가라오케와 같은 서비스를 위하여 보컬신호와 같은 포그라운드 객체 신호들과 이외 신호들로 구성되는 백그라운드 객체(Back Ground Object, BGO) 신호들의 볼륨을 객체 신호 별로 제어할 수 있는 다객체 오디오 부호화/복호화 방법 및 장치, 그리고 트랜스코딩 방법 및 트랜스코더를 제공한다.

본 발명은 포그라운드 객체 신호들과 백그라운드 객체 신호들을 함께 부호화 및 복호화하여 제어하고자 하는 객체 신호의 개수를 증가시킬 수 있는 다객체 오디오 부호화/복호화 방법 및 장치, 그리고 트랜스코딩 방법 및 트랜스코더를 제공한다.

본 발명은 포그라운드 객체 신호들과 백그라운드 객체 신호들의 볼륨을 객체 신호 별로 제어함에 따라 극단적인 제어환경에서도 음질 열화를 감소시키는 다객체 오디오 부호화/복호화 방법 및 장치, 그리고 트랜스코딩 방법 및 트랜스코더를 제공한다.

본 발명의 일실시예에 따른 다객체 오디오 신호 부호화 장치는, 복수의 입력 객체 신호들 중에서 포그라운드 객체 신호들을 제외한 객체 신호들을 다운믹스하여 백그라운드 객체 신호들과 SAOC 파라미터를 생성하는 제1 인코더, 및 상기 포그라운드 객체 신호들과 상기 백그라운드 객체들을 다운믹스하여 최종 다운믹스 신호와 EKS 파라미터(Enhanced Karaoke-Solo)를 생성하는 제2 인코더를 포함할 수 있다.

또한, 상기 SAOC 파라미터 및 상기 EKS 파라미터를 다중화하여 SAOC 비트스트림을 생성하는 다중화부를 더 포함할 수 있다.

이때, 상기 제1 및 제2 인코더는 상기 포그라운드 객체 신호들을 제어하는 EKS 인코딩 모드 및 상기 백그라운드 객체 신호들을 제어하는 클래식 인코딩 모드에 따라 선택적으로 동작할 수 있다.

본 발명의 일실시예에 따른 다객체 오디오 신호 부호화 방법은, 복수의 입력 객체 신호들 중에서 포그라운드 객체 신호들을 제외한 객체 신호들을 다운믹스하여 백그라운드 객체 신호들과 SAOC 파라미터를 생성하는 단계, 및 상기 포그라운드 객체 신호들과 상기 백그라운드 객체들을 다운믹스하여 최종 다운믹스 신호와 EKS 파라미터(Enhanced Karaoke-Solo)를 생성하는 단계를 포함할 수 있다.

또한, 상기 SAOC 파라미터 및 상기 EKS 파라미터를 다중화하여 SAOC 비트스트림을 생성하는 단계를 더 포함할 수 있다.

본 발명의 일실시예에 따른 다객체 오디오 신호 복호화 장치는, 다중화된 SAOC(Spatial Audio Object Codec) 비트스트림으로부터 SAOC 파라미터 및 EKS 파라미터를 추출하는 비트스트림 분석부, 상기 EKS 파라미터를 이용하여 최종 다운믹스 신호로부터 포그라운드 객체 신호들과 백그라운드 객체 신호들을 복원하는 제1 디코더, 상기 SAOC 파라미터와 렌더링 매트릭스를 이용하여 상기 백그라운드 객체 신호들로부터 제1 렌더링 신호를 생성하는 제2 디코더, 및 상기 포그라운드 객체 신호들과 상기 제1 렌더링 신호를 이용하여 최종 렌더링 신호를 생성하는 렌더링부를 포함할 수 있다.

이때, 상기 렌더링부는, 상기 렌더링 매트릭스에 기초하여 상기 포그라운드 객체 신호들로부터 생성된 제2 렌더링 신호 및 상기 제1 렌더링 신호를 이용하여 상기 최종 렌더링 신호를 생성할 수 있다.

또한, 상기 제1 디코더는, 상기 렌더링 매트릭스에 따라 상기 백그라운드 객체 신호들을 전처리하여 수정 다운믹스 신호(modified downmix signal)를 생성하는 다운믹스 전처리부, 상기 렌더링 매트릭스에 따라 상기 SAOC 파라미터를 MPS(MPEG Surround) 비트스트림으로 변환하는 SAOC 트랜스코더, 및 상기 MPS 비트스트림을 기초로 상기 수정 다운믹스 신호를 렌더링하여 상기 제1 렌더링 신호를 생성하는 MPS 디코더를 포함할 수 있다.

이때, 상기 렌더링부는, 상기 렌더링된 수정 다운믹스 신호와 상기 포그라운드 객체 신호들을 이용하여 상기 최종 렌더링 신호를 생성할 수 있다.

또한, 상기 제1 및 제2 디코더는, 상기 포그라운드 객체 신호들을 제어하는 EKS 디코딩 모드 및 상기 백그라운드 객체 신호들을 제어하는 클래식 디코딩 모드에 따라 선택적으로 동작할 수 있다.

또한, 상기 제1 디코더는, 상기 렌더링 매트릭스에 따라 상기 복원된 포그라운드 객체 신호들을 렌더링할 수 있다. 그러면, 상기 렌더링부는, 상기 렌더링된 포그라운드 객체 신호들과 상기 렌더링된 백그라운드 객체 신호들을 더하여 상기 최종 렌더링 신호를 생성할 수 있다.

본 발명의 일실시예에 따른 다객체 오디오 신호 복호화 방법은, 다중화된 SAOC(Spatial Audio Object Codec) 비트스트림으로부터 SAOC 파라미터 및 EKS 파라미터를 추출하는 단계, 상기 EKS 파라미터를 이용하여 최종 다운믹스 신호로부터 포그라운드 객체 신호들과 백그라운드 객체 신호들을 복원하는 단계, 상기 SAOC 파라미터와 렌더링 매트릭스를 이용하여 상기 백그라운드 객체 신호들로부터 제1 렌더링 신호를 생성하는 단계, 및 상기 포그라운드 객체 신호들과 상기 제1 렌더링 신호를 이용하여 최종 렌더링 신호를 생성하는 단계를 포함할 수 있다.

이때, 상기 최종 렌더링 신호를 생성하는 단계는, 상기 렌더링 매트릭스에 기초하여 상기 포그라운드 객체 신호들로부터 생성된 제2 렌더링 신호 및 상기 제1 렌더링 신호를 이용하여 상기 최종 렌더링 신호를 생성할 수 있다.

또한, 상기 제1 렌더링 신호를 생성하는 단계는, 상기 렌더링 매트릭스에 따라 상기 백그라운드 객체 신호들을 전처리하여 수정 다운믹스 신호(modified downmix signal)를 생성하는 단계, 상기 렌더링 매트릭스에 따라 상기 SAOC 파라미터를 MPS(MPEG Surround) 비트스트림으로 변환하는 단계, 및 상기 MPS 비트스트림을 기초로 상기 수정 다운믹스 신호를 렌더링하여 상기 제1 렌더링 신호를 생성하는 단계를 포함할 수 있다.

또한, 상기 최종 렌더링 신호를 생성하는 단계는, 상기 렌더링된 수정 다운믹스 신호와 상기 포그라운드 객체 신호들을 이용하여 상기 최종 렌더링 신호를 생성할 수 있다.

또한, 상기 렌더링 매트릭스에 따라 상기 복원된 포그라운드 객체 신호들을 렌더링하는 단계를 더 포함할 수 있다. 그러면, 상기 최종 렌더링 신호를 생성하는 단계는, 상기 렌더링된 포그라운드 객체 신호들과 상기 렌더링된 백그라운드 객체 신호들을 더하여 상기 최종 렌더링 신호를 생성할 수 있다.

본 발명의 일실시예에 따른 다객체 오디오 신호 복호화 장치는, 다중화된 SAOC(Spatial Audio Object Codec) 비트스트림으로부터 SAOC 파라미터 및 EKS 파라미터를 추출하는 비트스트림 분석부, 상기 EKS 파라미터를 이용하여 최종 다운믹스 신호로부터 포그라운드 객체 신호들과 백그라운드 객체 신호들을 복원하고, 렌더링 매트릭스에 따라 상기 복원된 포그라운드 객체 신호들을 렌더링하는 제1 디코더, 상기 SAOC 파라미터와 상기 렌더링 매트릭스를 이용하여 상기 백그라운드 객체 신호들을 렌더링하는 제2 디코더, 및 상기 렌더링된 포그라운드 객체 신호들과 상기 렌더링된 백그라운드 객체 신호들을 더하여 최종 렌더링 신호를 생성하는 렌더링부를 포함할 수 있다.

본 발명의 일실시예에 따른 다객체 오디오 신호 복호화 방법은, 다중화된 SAOC(Spatial Audio Object Codec) 비트스트림으로부터 SAOC 파라미터 및 EKS 파라미터를 추출하는 단계, 상기 EKS 파라미터를 이용하여 최종 다운믹스 신호로부터 포그라운드 객체 신호들과 백그라운드 객체 신호들을 복원하는 단계, 상기 복원된 포그라운드 객체 신호들을 렌더링 매트릭스에 따라 렌더링하는 단계, 상기 SAOC 파라미터와 상기 렌더링 매트릭스를 이용하여 상기 백그라운드 객체 신호들을 렌더링하는 단계, 및 상기 렌더링된 포그라운드 객체 신호들과 상기 렌더링된 백그라운드 객체 신호들을 더하여 최종 렌더링 신호를 생성하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따르면, 가라오케와 같은 포그라운드 객체 신호들과 백그라운드 객체 신호들의 볼륨을 객체 신호 별로 제어할 수 있다

본 발명의 일실시예에 따르면, 포그라운드 객체 신호들과 백그라운드 객체 신호들을 함께 부호화 및 복호화하여 제어하고자 하는 객체 신호의 수를 증가시킬 수 있다.

본 발명의 일실시예에 따르면, 포그라운드 객체 신호들과 백그라운드 객체 신호들의 볼륨을 객체 신호 별로 제어함에 따라 극단적인 제어환경에서도 음질 열화를 감소시킬 수 있다.

도 1은 본 발명의 일실시예에 따른 다객체 오디오 신호 부호화 장치의 구성을 도시한 도면이다
도 2는 본 발명의 일실시예에 따른 다객체 오디오 신호를 부호화하는 과정을 설명하기 위해 제공되는 도면이다.
도 3은 본 발명의 일실시예에 따른 다객체 오디오 신호 복호화 장치의 구성을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 다객체 오디오 신호를 복호화하는 과정을 설명하기 위해 제공되는 도면이다.
도 5는 본 발명의 일실시예에 따른 다객체 오디오 신호 트랜스코더의 구성을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 다객체 오디오 신호를 트랜스코딩하는 과정을 설명하기 위해 제공되는 도면이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 다객체 오디오 신호 부호화 장치의 구성을 도시한 도면이다. 그리고, 도 2는 본 발명의 일실시예에 따른 다객체 오디오 신호를 부호화하는 과정을 설명하기 위해 제공되는 도면이다.

도 1에 따르면, 다객체 오디오 신호 부호화 장치(100)는 제1 인코더(110), 제2 인코더(120), 및 다중화부(130)를 포함할 수 있다.

도 1 및 도 2를 참조하면, 다객체 오디오 신호들은 복수의 입력 객체 신호들을 의미한다. 이때, 복수의 입력 객체 신호들의 개수가 N개인 경우, N개의 입력 객체 신호들은 K개의 포그라운드 객체 신호들(ForeGround Objects: FGOs)과 N-K개의 객체 신호들로 구성될 수 있다. 즉, N-K개의 객체 신호들은 복수의 입력 객체 신호들 중에서 K개의 포그라운드 객체 신호들을 제외한 객체 신호들이다. 여기서, N, K는 상수이다.

먼저, S210 단계에서, 제1 인코더(110)에는 객체 신호들을 다운믹스하여 백그라운드 객체 신호들(BackGround Objects: BGOs)과 SAOC(Spatial Audio Object Codec) 파라미터를 생성할 수 있다. 그러면, 백그라운드 객체 신호들은 제2 인코더(120)로 입력될 수 있다.

일례로, 제1 인코더(110)에는 N개의 객체 신호들 중에서 K개의 포그라운드 신호들을 제외한 N-K개의 객체 신호들이 입력될 수 있다. 그러면, SAOC 파라미터는 N-K개의 객체 신호들 각각의 공간 파라미터(Spatial Cue Parameter)로서, 백그라운드 객체 신호들의 에너지 정보 및 유사도(correlation) 정보를 포함할 수 있다.

이때, 제1 인코더(110)는 N-K개의 객체 신호들을 다운믹스하는 클래식 모드 인코더(Classic Mode Encoder)로 정의될 수 있으며, 클래식 모드 인코더는 MPEG SAOC 표준에서 정의하는 공간 파라미터만을 이용하는 인코더이다.

여기서, 포그라운드 객체 신호들(FGOs)은 복수의 입력 객체 신호들 중에서 단독 재생 또는 완전 제거 시에 음질 열화가 급격히 발생하는 객체 신호를 의미하는 것으로, 청취자가 특별히 제어하고자 하는 객체 신호를 나타낸다.

일례로, 복수의 입력 객체 신호가 보컬을 포함한 악기 신호들로 구성된 다객체 신호이고, 특정제어객체 신호가 보컬(vocal) 신호인 경우, 다객체 신호에서 보컬 신호를 완전히 제거하면, 최종 신호가 가라오케 신호가 될 수 있다. 이때, 완전 제거의 대상이 되는 보컬 신호가 포그라운드 객체 신호가 될 수 있다.

그리고, S220 단계에서, 제2 인코더(120)는 포그라운드 객체 신호들 및 백그라운드 객체 신호들을 다운믹스하여 최종 다운믹스 신호 및 EKS(Enhanced Karaoke-Solo) 파라미터를 생성할 수 있다. 여기서, EKS 파라미터는, 포그라운드 객체 신호들과 백그라운드 객체 신호들 각각의 공간 파라미터(Spatial Cue Parameter)로서, 최종 다운믹스 신호의 에너지 정보 및 유사도 정보와 다운믹스 신호와 포그라운드 개체신호로부터 계산된 잔차신호(residual signal)를 포함할 수 있다.

이때, 제2 인코더(120)는 포그라운드 객체 신호들과 백그라운드 객체 신호들을 함께 다운믹스하는 EKS 모드 인코더(EKS Mode Encoder)로 정의될 수 있으며, EKS 모드 인코더는, MPEG SAOC 표준에서 정의하는 잔차신호 부호화(residual coding)를 이용하여 포그라운드 객체 신호의 음질을 향상시킬 수 있다.

이어, S230 단계에서, 다중화부(130)는 SAOC 파라미터와 EKS 파라미터를 다중화하여 SAOC 비트스트림을 생성할 수 있다. 일례로, 다중화부(130)는 SAOC 파라미터와 EKS 파라미터를 입력받아 SAOC 표준 비트스트림으로 다중화할 수 있다.

그러면, S240 단계에서, 다중화부(130)는 생성된 SAOC 비트스트림과 최종 다운믹스 신호를 다객체 오디오 신호 복호화 장치(300)로 전송할 수 있다. 즉, 다중화부(130)는 SAOC 비트스트림과 제2 인코더(120)에서 생성된 최종 다운믹스 신호를 함께 다객체 오디오 신호 복호화 장치(300)로 전송할 수 있다.

이상에서는 포그라운드 객체 신호들과 백그라운드 객체 신호들을 다운믹스하여 최종 다운믹스 신호를 생성하는 부호화 과정에 대해 설명하였다. 도 1 및 도 2를 참조하여 설명한 바와 같이, 다객체 오디오 신호 부호화 장치(100)는 평상시에는 제1 인코더(110) 및 제2 인코더(120)과 같이 동작하지만, 포그라운드 객체 신호들 및 백그라운드 객체 신호들 중 어느 하나만을 이용하여 최종 다운믹스 신호를 생성할 수도 있다. 즉, 제1 인코더(110) 및 제2 인코더(120)는 클래식 인코딩 모드 또는 EKS 인코딩 모드에 따라 선택적으로 동작할 수 있다.

일례로, 클래식 인코딩 모드로 동작하는 경우, 제2 인코더(120) 및 다중화부(130)는 비활성화되어 동작하지 않을 수 있다. 그러면, 제1 인코더(110)에서 생성된 백그라운드 객체 신호들이 최종 다운믹스 신호가 될 수 있다. 이에 따라, 백그라운드 객체 신호들과 SAOC 파라미터가 다객체 오디오 신호 복호화 장치(300)로 전송될 수 있다. 여기서, 클래식 인코딩 모드는, N개(K=0)의 객체 신호들을 대상으로, N개의 객체 신호 별로 볼륨을 제한적으로 제어하고자 하는 경우에 동작하는 모드이다.

다른 예로, EKS 인코딩 모드로 동작하는 경우, 제1 인코더(110) 및 다중화부(130)가 비활성화되어 동작하지 않을 수 있다. 그러면, 제2 인코더(120)는 M개의 백그라운드 객체 신호들과 K개의 포그라운드 객체 신호들을 다운믹스하여 최종 다운믹스 신호와 EKS 파라미터를 생성할 수 있다. 여기서, EKS 파라미터는 M개의 백그라운드 객체 신호들과 K개의 포그라운드 객체 신호들로부터 계산된 각각의 공간 파라미터와 다운믹스 신호와 포그라운드 개체신호로부터 계산된 잔차신호(residual signal)를 포함할 수 있다.

이처럼, EKS 인코딩 모드로 동작하는 경우, EKS 인코딩 모드에 따라 생성된 최종 다운믹스 신호와 EKS 파라미터로 SAOC 비트스트림으로 구성하여 다객체 오디오 신호 복호화 장치(300)로 전송될 수 있다.

지금까지, 도 1 및 도 2를 참조하여, 다객체 오디오 신호를 부호화하는 과정에 대해 설명하였다. 이하에서는 도 3 및 도 4를 참조하여, 다객체 오디오 신호를 복호화하는 과정에 대해 설명하기로 한다.

도 3은 본 발명의 일실시예에 따른 다객체 오디오 신호 복호화 장치의 구성을 도시한 도면이다. 그리고, 도 4는 본 발명의 일실시예에 따른 다객체 오디오 신호를 복호화하는 과정을 설명하기 위해 제공되는 도면이다.

도 3에 따르면, 다객체 오디오 신호 복호화 장치(300)는 비트스트림 분석부(310), 제2 디코더(320), 및 제1 디코더(330), 및 렌더링부(340)를 포함할 수 있다.

도 3 및 도 4를 참조하면, S410 단계에서, 다객체 오디오 신호 복호화 장치(300)는 다객체 오디오 신호 부호화 장치(100)로부터 최종 다운믹스 신호 및 SAOC 비트스트림을 수신할 수 있다. 여기서, 최종 다운믹스 신호는 제2 인코더(120)에서 생성된 최종 다운믹스 신호(Downmix Signal)가 될 수 있다. 그러면, SAOC 비트스트림은 비트스트림 분석부(310)로 입력되고, 최종 다운믹스 신호는 제1 디코더(320)로 입력될 수 있다.

이어, S420 단계에서, 비트스트림 분석부(310)는 SAOC 비트스트림에서 SAOC 파라미터 및 EKS 파라미터를 추출할 수 있다. 그러면, 추출된 EKS 파라미터는 제1 디코더(320)로 입력되고, SAOC 파라미터는 제2 디코더(330)로 입력될 수 있다.

일례로, 비트스트림 분석부(310)는 입력된 SAOC 비트스트림을 분석(Parsing)하여 SAOC 파라미터 및 EKS 파라미터를 추출할 수 있다. 여기서, SAOC 파라미터는 복수의 입력 객체 신호들 중에서 포그라운드 객체 신호를 제외한 객체 신호들 각각의 공간 파라미터들(Spatial Cue Parameter)이고, EKS 파라미터는 포그라운드 객체 신호들 각각의 공간 파라미터(Spatial Cue Parameter)이다.

그리고, S430 단계에서, 제1 디코더(320)는 EKS 파라미터를 이용하여 최종 다운믹스 신호로부터 포그라운드 객체 신호들(FGOs)과 백그라운드 객체 신호들 (BGOs)을 복원할 수 있다. 여기서, 제1 디코더(320)는 EKS 모드 디코더(EKS Mode Decoder)로 정의될 수 있다. 이때, 복원된 백그라운드 객체 신호들(BGOs)은 제2 디코더(330)로 입력될 수 있다.

이어, S440 단계에서, 제2 디코더(330)는 SAOC 파라미터와 기저장된 렌더링 매트릭스를 이용하여 백그라운드 객체 신호들로부터 제1 렌더링 신호(Pre-rendered scene)를 생성할 수 있다.

일례로, 제2 디코더(330)는 렌더링 매트릭스에 포함된 게인값(gain value)에 따라 백그라운드 객체 신호들의 게인을 조절하여 제1 렌더링 신호를 생성할 수 있다. 그러면, 생성된 제1 렌더링 신호(Pre-rendered Scene)는 렌더링부(340)로 입력될 수 있다.

그리고, S450 단계에서, 렌더링부(Renderer: 340)는 제1 디코더(320)에서 복원된 포그라운드 객체 신호들(FGOs)을 렌더링 하여 제2 렌더링 신호를 생성할 수 있다.

일례로, 렌더링부(340)는 렌더링 매트릭스에 포함된 게인값(gain value)에 따라 복원된 포그라운드 객체 신호들의 게인을 조정하여 제2 렌더링 신호를 생성할 수 있다.

이어, S460 단계에서, 렌더링부(340)는 제1 렌더링 신호(Pre-rendered Scene)와 제2 렌더링 신호를 더하여 최종 렌더링 신호(rendered scene)를 생성할 수 있다. 그러면, 생성된 최종 렌더링 신호는 스피커 등의 음향 장비를 통해 재생될 수 있다.

이상에서는 복원된 포그라운드 객체 신호들과 복원된 백그라운드 객체 신호들을 이용하여 최종 렌더링 신호를 생성하는 복호화 과정에 대해 설명하였다. 도 3 및 도 4를 참조하여 설명한 바와 같이, 다객체 오디오 신호 복호화 장치(100)는 평상시에는 제1 디코더(320) 및 제2 디코더(330)가 같이 동작하지만, 복원된 포그라운드 객체 신호들 및 복원된 백그라운드 객체 신호들 중 어느 하나만을 이용하여 최종 렌더링 신호를 생성할 수도 있다. 즉, 제1 디코더(320) 및 제2 디코더(330)는 클래식 디코딩 모드 또는 EKS 디코딩 모드에 따라 선택적으로 동작할 수도 있다.

일례로, 클래식 디코딩 모드로 동작하는 경우, 제1 디코더(320) 및 렌더링부(340)는 비활성화되어 동작하지 않을 수 있다. 그러면, 다객체 오디오 신호 부호화 장치(100)에서 전송된 최종 다운믹스 신호가 제2 디코더(330)로 바로 입력될 수 있다. 이때, 최종 다운믹스 신호는 제1 인코더(110)에서 생성된 백그라운드 객체 신호들(BGOs)이 될 수 있다.

그러면, 제2 디코더(330)는 SAOC 파라미터와 렌더링 매트릭스를 이용하여 백그라운드 객체 신호들(BGOs)로부터 최종 렌더링 신호(rendered Scene)를 생성할 수 있다. 일례로, 제2 디코더(330)는 SAOC 파라미터에 기초하여 렌더링 매트릭스에 포함된 게인값에 따라 백그라운드 객체 신호들의 게인을 조절하여 최종 렌더링 신호(rendered scene)를 생성할 수 있다.

다른 예로, EKS 디코딩 모드로 동작하는 경우, 제2 디코더(330)는 비활성화되어 동작하지 않을 수 있다. 여기서, 제2 디코더(330)가 동작하지 않는 다는 것은, SAOC 파라미터가 SAOC 비트스트림에 존재하지 않으며, SAOC 비트스트림은 EKS 파라미터 만을 포함하는 것을 의미한다. 그러면, 제1 디코더(320)에서 복원된 포그라운드 객체 신호들(FGOs)과 복원된 백그라운드 객체 신호들(BGOs)이 바로 렌더링부(340)로 입력될 수 있다. 또한, 렌더링 매트릭스가 렌더링부(340)로 바로 입력될 수 있다.

그리고, 렌더링부(340)는 기저장된 렌더링 매트릭스를 이용하여 복원된 포그라운드 객체 신호들(FGOs)과 복원된 백그라운드 객체 신호들(BGOs)로부터 최종 렌더링 신호를 생성할 수 있다. 일례로, 렌더링부(340)는 렌더링 매트릭스에 기초하여 렌더링 매트릭스에 포함된 게인값에 따라 백그라운드 객체 신호들의 게인을 조절하여 최종 렌더링 신호(rendered scene)를 생성할 수 있다.

지금까지, 도 3 및 도 4를 참조하여, 다객체 오디오 신호를 복호화하는 과정에 대해 설명하였다. 이하에서는 도 5 및 도 6을 참조하여, 다객체 오디오 신호의 트랜스코딩 과정에 대해 설명하기로 한다.

도 5는 본 발명의 일실시예에 따른 다객체 오디오 신호 트랜스코더의 구성을 도시한 도면이다. 그리고, 도 6은 본 발명의 일실시예에 따른 다객체 오디오 신호를 트랜스코딩하는 과정을 설명하기 위해 제공되는 도면이다.

도 5에 따르면, 다객체 오디오 신호 트랜스코더(SAOC Transcoder: 500)는 비트스트림 분석부(510), 제1 디코더(520), 제2 디코더(530), 및 렌더링부(540)를 포함할 수 있다. 도 5에서, 비트스트림 분석부(510), 제1 디코더(520), 및 렌더링부(540)는 도 3과 동일하고, 도 6에서, S610 내지 S630 단계는 도 4의 S410 내지 S430 단계와 동일하므로, 중복되는 설명은 생략하기로 한다. 즉, 다객체 오디오 신호 트랜스코더(500)에서 제2 디코더(530)의 구성이 도 3의 다객체 오디오 신호 복호화 장치(300)의 구성과 상이하다.

도 5에 따르면, 제2 디코더(530)는 다운믹스 전처리부(531), 트랜스코더(532), 및 MPS 디코더(533)를 포함할 수 있다.

도 5 및 도 6을 참조하면, S640 단계에서, 다운믹스 전처리부(Downmix Pre-processor: 531)는 복원된 백그라운드 객체 신호들(BGOs)을 전처리(pre-processing)하여 수정 다운믹스 신호(Modified Downmix signal)를 생성할 수 있다. 일례로, 다운믹스 처리부(531)는 기저장된 렌더링 매트릭스에 따라 복원된 백그라운드 객체 신호들을 전처리(pre-processing)할 수 있다. 이때, 렌더링 매트릭스에 따른 전처리 과정으로는 MPEG SAOC 표준에서 정의한 다운믹스 전처리 과정과 동일한 과정이 이용될 수 있다.

이어, S650 단계에서, 트랜스코더(532)는 SAOC 파라미터를 MPS(MPEG Surround) 비트스트림으로 변환할 수 있다. 일례로, 트랜스코더(532)는 기저장된 렌더링 매트릭스에 따라 SAOC 파라미터를 MPS 비트스트림으로 변환할 수 있다. 이때, 변환 과정으로는 MPEG SAOC 표준에서 정의한 변환 과정과 동일한 과정이 이용될 수 있다.

그리고, S660 단계에서, MPS 디코더(533)는 변환된 MPS 비트스트림을 기초로 수정 다운믹스 신호(Modified Downmix Signal)를 렌더링하여 제1 렌더링 신호(Pre-rendered Scene)를 생성할 수 있다. 그러면, 생성된 제1 렌더링 신호(Pre-rendered Scene)는 렌더링부(540)로 입력될 수 있다. 이때, MPS 디코더(533)는 수정 다운믹스 신호(Modified Downmix Signal)를 멀티 채널로 렌더링할 수 있다. 즉, MPS 디코더(533)는 멀티 채널의 제1 렌더링 신호를 생성할 수 있다.

이어, S670 단계에서, 렌더링부(540)는 기저장된 렌더링 매트릭스에 기초하여 복원된 포그라운드 객체 신호들로부터 제2 렌더링 신호를 생성할 수 있다. 일례로, 렌더링부(540)는 렌더링 매트릭스에 포함된 게인값에 따라 복원된 포그라운드 객체 신호들의 게인을 조절하여 제2 렌더링 신호를 생성할 수 있다.

그리고, S680 단계에서, 렌더링부(540)는 생성된 제1 렌더링 신호(Pre-rendered Scene)와 제2 렌더링 신호를 더하여 최종 렌더링 신호(rendered scene)를 생성할 수 있다. 여기서, 제1 렌더링 신호는 렌더링된 수정 다운믹스 신호이다.

그러면, 생성된 최종 렌더링 신호(rendered scene)는 스피커 등의 음향장비를 통해 재생될 수 있다.

이때, 최종 렌더링 신호를 생성하기 위해 주파수/시간 변환 과정이 필요하며, 이러한 주파수/시간 변환 과정은 MPS 디코더(533) 및 렌더링부(540)에서 선택적으로 수행될 수 있다. 일례로, MPS 디코더(533)는 렌더링된 수정 다운믹스 신호(Pre-rendered Scene)를 주파수 영역에서 시간 영역으로 변환할 수 있다. 다른 예로, 렌더링부(540)는 복원된 포그라운드 객체 신호들(FGOs)을 주파수 영역에서 시간영역으로 변환할 수 있다.

지금까지 도 5 및 도 6을 참조하여 복원된 포그라운드 객체 신호들과 복원된 백그라운드 객체 신호들을 이용하여 최종 렌더링 신호를 생성하는 다객체 오디오 신호의 트랜스코딩 과정에 대해 설명하였다.

도 5 및 도 6을 참조하여 설명한 바와 같이, 다객체 오디오 신호 트랜스코더(500)는 평상시에는 제1 디코더(520) 및 제2 디코더(530)가 같이 동작하지만, 복원된 포그라운드 객체 신호들 및 복원된 백그라운드 객체 신호들 중 어느 하나만을 이용하여 최종 렌더링 신호를 생성할 수도 있다.

즉, 제1 디코더(520) 및 제2 디코더(530)는 클래식 디코딩 모드 또는 EKS 디코딩 모드에 따라 선택적으로 동작할 수도 있다. 이때, 클래식 모드 및 EKS 모드에 따라 최종 렌더링 신호를 생성하는 과정은 도 3 및 도 4와 동일하므로 자세한 설명은 생략하기로 한다.

한편, 도 3 및 도 5에서, 렌더링부(340, 540)가 복원된 포그라운드 객체 신호들을 렌더링하는 것으로 설명하였으나, 렌더링부(340, 540) 대신 제1 디코더(320, 520)에서 복원된 포그라운드 객체 신호들을 렌더링하여 제2 렌더링 신호를 생성할 수도 있다. 즉, 도 3 및 도 5에서 설명하고 있는 렌더링 과정은 SAOC 표준에서 정의하고 있는 렌더링과 동일한 과정에 따라 수행될 수 있다.

일례로, 도 3 및 도 5의 점선을 참조하면, 제1 디코더(320, 520)는 렌더링 매트릭스에 포함된 게인값에 따라 복원된 포그라운드 객체 신호들의 게인을 조절하여 제2 렌더링 신호를 생성할 수 있다. 그러면, 렌더링부(340, 540)는 제2 렌더링 신호와 제2 디코더(330, 530)에서 생성된 제1 렌더링 신호(Pre-rendered scene)를 더하여 최종 렌더링 신호(rendered scene)를 생성할 수 있다. 즉, 점선을 참조하면, 렌더링 매트릭스가 렌더링부 렌더링부(340, 540)로 입력되지 않을 수 있다.

다른 한편, 도 1 및 도 2에서 설명한 다객체 오디오 신호 부호화 과정에서, 제1 인코더(110)와 제2 인코더(120)는 순차적으로 수행될 수 있다. 그리고, N개의 입력 객체 신호들 중에서 포그라운드 신호들(FGOs)이 K개인 경우, 제2 인코더(120)로 입력되는 포그라운드 객체 신호들의 최대 개수는 4개 또는 2개 이하로 제한될 수 있다. 일례로, 제2 인코더(120)로 입력되는 포그라운드 객체 신호들이 모노(mono) 포그라운드 객체 신호들인 경우, 최대 개수는 4개로 제한되고, 스테레오(stereo) 포그라운드 객체 신호들인 경우, 최대 개수는 2개, 즉, 4 채널로 제한될 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 다객체 오디오 신호 부호화 장치
110: 제1 인코더
120: 제2 인코더
130: 다중화부
300: 다객체 오디오 신호 복호화 장치
500: 다객체 오디오 신호 트랜스코더
310, 510: 비트스트림 분석부
320, 520: 제1 디코더
330, 530: 제2 디코더
340, 540: 렌더링부
531: 다운믹스 전처리부
532: 트랜스코더
533: MPS 디코더

Claims

복수의 입력 객체 신호들 중에서 포그라운드 객체 신호들을 제외한 객체 신호들을 다운믹스하여 백그라운드 객체 신호들과 SAOC 파라미터를 생성하는 제1 인코더; 및
상기 포그라운드 객체 신호들과 상기 백그라운드 객체들을 다운믹스하여 최종 다운믹스 신호와 EKS 파라미터(Enhanced Karaoke-Solo)를 생성하는 제2 인코더
를 포함하는 부호화 장치.
제1항에 있어서,
상기 SAOC 파라미터 및 상기 EKS 파라미터를 다중화하여 SAOC 비트스트림을 생성하는 다중화부
를 더 포함하는 부호화 장치.
제1항에 있어서,
상기 제1 및 제2 인코더는 상기 포그라운드 객체 신호들을 제어하는 EKS 인코딩 모드 및 상기 백그라운드 객체 신호들을 제어하는 클래식 인코딩 모드에 따라 선택적으로 동작하는 것을 특징으로 하는 부호화 장치.
복수의 입력 객체 신호들 중에서 포그라운드 객체 신호들을 제외한 객체 신호들을 다운믹스하여 백그라운드 객체 신호들과 SAOC 파라미터를 생성하는 단계; 및
상기 포그라운드 객체 신호들과 상기 백그라운드 객체들을 다운믹스하여 최종 다운믹스 신호와 EKS 파라미터(Enhanced Karaoke-Solo)를 생성하는 단계
를 포함하는 부호화 방법.
제4항에 있어서,
상기 SAOC 파라미터 및 상기 EKS 파라미터를 다중화하여 SAOC 비트스트림을 생성하는 단계
를 더 포함하는 부호화 방법.
다중화된 SAOC(Spatial Audio Object Codec) 비트스트림으로부터 SAOC 파라미터 및 EKS 파라미터를 추출하는 비트스트림 분석부;
상기 EKS 파라미터를 이용하여 최종 다운믹스 신호로부터 포그라운드 객체 신호들과 백그라운드 객체 신호들을 복원하는 제1 디코더;
상기 SAOC 파라미터와 렌더링 매트릭스를 이용하여 상기 백그라운드 객체 신호들로부터 제1 렌더링 신호를 생성하는 제2 디코더; 및
상기 포그라운드 객체 신호들과 상기 제1 렌더링 신호를 이용하여 최종 렌더링 신호를 생성하는 렌더링부
를 포함하는 복호화 장치.
제6항에 있어서,
상기 렌더링부는,
상기 렌더링 매트릭스에 기초하여 상기 포그라운드 객체 신호들로부터 생성된 제2 렌더링 신호 및 상기 제1 렌더링 신호를 이용하여 상기 최종 렌더링 신호를 생성하는 것을 특징으로 하는 복호화 장치.
제7항에 있어서,
상기 렌더링부는,
상기 렌더링 매트릭스에 포함된 게인값(gain value)에 따라 상기 백그라운드 객체 신호들의 게인을 조절하여 상기 제1 렌더링 신호를 생성하고, 상기 렌더링 매트릭스에 포함된 게인값(gain value)에 따라 상기 포그라운드 객체 신호들의 게인을 조절하여 상기 제2 렌더링 신호를 생성하는 것을 특징으로 하는 복호화 장치.
제6항에 있어서,
상기 제1 디코더는,
상기 렌더링 매트릭스에 따라 상기 백그라운드 객체 신호들을 전처리하여 수정 다운믹스 신호(modified downmix signal)를 생성하는 다운믹스 전처리부;
상기 렌더링 매트릭스에 따라 상기 SAOC 파라미터를 MPS(MPEG Surround) 비트스트림으로 변환하는 SAOC 트랜스코더; 및
상기 MPS 비트스트림을 기초로 상기 수정 다운믹스 신호를 렌더링하여 상기 제1 렌더링 신호를 생성하는 MPS 디코더
를 포함하는 복호화 장치.
제9항에 있어서,
상기 렌더링부는,
상기 렌더링된 수정 다운믹스 신호와 상기 포그라운드 객체 신호들을 이용하여 상기 최종 렌더링 신호를 생성하는 것을 특징으로 하는 복호화 장치.
제6항에 있어서,
상기 제1 및 제2 디코더는,
상기 포그라운드 객체 신호들을 제어하는 EKS 디코딩 모드 및 상기 백그라운드 객체 신호들을 제어하는 클래식 디코딩 모드에 따라 선택적으로 동작하는 것을 특징으로 하는 복호화 장치.
제6항에 있어서,
상기 제1 디코더는,
상기 렌더링 매트릭스에 따라 상기 복원된 포그라운드 객체 신호들을 렌더링하는 것을 특징으로 하고,
상기 렌더링부는,
상기 렌더링된 포그라운드 객체 신호들과 상기 렌더링된 백그라운드 객체 신호들을 더하여 상기 최종 렌더링 신호를 생성하는 것을 특징으로 하는 복호화 장치.
다중화된 SAOC(Spatial Audio Object Codec) 비트스트림으로부터 SAOC 파라미터 및 EKS 파라미터를 추출하는 단계;
상기 EKS 파라미터를 이용하여 최종 다운믹스 신호로부터 포그라운드 객체 신호들과 백그라운드 객체 신호들을 복원하는 단계;
상기 SAOC 파라미터와 렌더링 매트릭스를 이용하여 상기 백그라운드 객체 신호들로부터 제1 렌더링 신호를 생성하는 단계; 및
상기 포그라운드 객체 신호들과 상기 제1 렌더링 신호를 이용하여 최종 렌더링 신호를 생성하는 단계
를 포함하는 복호화 방법.
제13항에 있어서,
상기 최종 렌더링 신호를 생성하는 단계는,
상기 렌더링 매트릭스에 기초하여 상기 포그라운드 객체 신호들로부터 생성된 제2 렌더링 신호 및 상기 제1 렌더링 신호를 이용하여 상기 최종 렌더링 신호를 생성하는 것을 특징으로 하는 복호화 방법.
제14항에 있어서,
상기 제1 렌더링 신호를 생성하는 단계는,
상기 렌더링 매트릭스에 포함된 게인값(gain value)에 따라 상기 백그라운드 객체 신호들의 게인을 조절하여 상기 제1 렌더링 신호를 생성하고,
상기 최종 렌더링 신호를 생성하는 단계는,
상기 렌더링 매트릭스에 포함된 게인값(gain value)에 따라 상기 포그라운드 객체 신호들의 게인을 조절하여 상기 제2 렌더링 신호를 생성하는 것을 특징으로 하는 복호화 방법.
제13항에 있어서,
상기 제1 렌더링 신호를 생성하는 단계는,
상기 렌더링 매트릭스에 따라 상기 백그라운드 객체 신호들을 전처리하여 수정 다운믹스 신호(modified downmix signal)를 생성하는 단계;
상기 렌더링 매트릭스에 따라 상기 SAOC 파라미터를 MPS(MPEG Surround) 비트스트림으로 변환하는 단계; 및
상기 MPS 비트스트림을 기초로 상기 수정 다운믹스 신호를 렌더링하여 상기 제1 렌더링 신호를 생성하는 단계
를 포함하는 복호화 방법.
제16항에 있어서,
상기 최종 렌더링 신호를 생성하는 단계는,
상기 렌더링된 수정 다운믹스 신호와 상기 포그라운드 객체 신호들을 이용하여 상기 최종 렌더링 신호를 생성하는 것을 특징으로 하는 복호화 방법.
제13항에 있어서,
상기 렌더링 매트릭스에 따라 상기 복원된 포그라운드 객체 신호들을 렌더링하는 단계를 더 포함하고,
상기 최종 렌더링 신호를 생성하는 단계는,
상기 렌더링된 포그라운드 객체 신호들과 상기 렌더링된 백그라운드 객체 신호들을 더하여 상기 최종 렌더링 신호를 생성하는 것을 특징으로 하는 복호화 방법.
다중화된 SAOC(Spatial Audio Object Codec) 비트스트림으로부터 SAOC 파라미터 및 EKS 파라미터를 추출하는 비트스트림 분석부;
상기 EKS 파라미터를 이용하여 최종 다운믹스 신호로부터 포그라운드 객체 신호들과 백그라운드 객체 신호들을 복원하고, 렌더링 매트릭스에 따라 상기 복원된 포그라운드 객체 신호들을 렌더링하는 제1 디코더;
상기 SAOC 파라미터와 상기 렌더링 매트릭스를 이용하여 상기 백그라운드 객체 신호들을 렌더링하는 제2 디코더; 및
상기 렌더링된 포그라운드 객체 신호들과 상기 렌더링된 백그라운드 객체 신호들을 더하여 최종 렌더링 신호를 생성하는 렌더링부
를 포함하는 복호화 장치.
다중화된 SAOC(Spatial Audio Object Codec) 비트스트림으로부터 SAOC 파라미터 및 EKS 파라미터를 추출하는 단계;
상기 EKS 파라미터를 이용하여 최종 다운믹스 신호로부터 포그라운드 객체 신호들과 백그라운드 객체 신호들을 복원하는 단계;
상기 복원된 포그라운드 객체 신호들을 렌더링 매트릭스에 따라 렌더링하는 단계;
상기 SAOC 파라미터와 상기 렌더링 매트릭스를 이용하여 상기 백그라운드 객체 신호들을 렌더링하는 단계; 및
상기 렌더링된 포그라운드 객체 신호들과 상기 렌더링된 백그라운드 객체 신호들을 더하여 최종 렌더링 신호를 생성하는 단계
를 포함하는 복호화 방법.