KR101023460B1 - 신호 처리 방법, 처리 장치 및 음성 디코더 - Google Patents

Abstract

본 발명은 패킷 손실 은닉 시에 합성 신호를 처리하는 데 적합한 신호 처리 방법을 개시한다. 그 방법은 아래의 단계들: 손실 프레임 다음의 양호한 프레임을 수신하여, 상기 양호한 프레임의 신호의 에너지 대 상기 양호한 프레임의 동일한 시간에 대응하는 합성 신호의 에너지의 에너지 비를 획득하는 단계; 및 상기 에너지 비에 따라 상기 합성 신호를 조정하는 단계를 포함한다. 본 발명은 또한, 신호 처리 장치 및 음성 디코더를 개시한다. 본 발명에 의해 제공되는 방법을 사용하는 것을 통해, 합성 신호가 손실 프레임 다음의 첫 번째 양호한 프레임의 에너지 대 합성 신호의 에너지의 에너지 비에 따라 조정되어, 손실 프레임과 손실 프레임 다음의 첫 번째 프레임이 합성 신호에 대해 접합되는 위치에서 파형의 급격한 변화나 에너지의 급격한 변화가 없게 하여 파형의 원활한 전이를 실현하고, 음악 노이즈를 회피한다.

패킷 손실 은닉, 합성 신호, 신호 처리 방법, 신호 처리 장치, 음성 디코더

Description

신호 처리 방법, 처리 장치 및 음성 디코더{SIGNAL PROCESSING METHOD, PROCESSING APPARATUS AND VOICE DECODER}

본 출원은 "신호 처리 방법 및 장치"라는 명칭의 2007년 11월 5일자로 P.R.C.의 국가 지식 산권국에 출원된 중국 특허 출원 제200710169616.1호로부터 우선권을 주장한다.

본 발명은 신호 처리 분야에 관한 것으로, 특히 신호 처리 방법, 처리 장치 및 음성 디코더에 관한 것이다.

VoIP(Voice over IP: 인터넷 전화) 시스템과 같은 실시간 음성 통신 시스템에서는, 제시간에 그리고 신뢰할 수 있게 음성 데이터가 송신되는 것을 필요로 한다. 그러나, 네트워크 시스템 자체의 불신으로 인해, 송신자로부터 수신자로의 송신 프로세스 동안, 데이터 패킷이 중단될 수 있거나 제시간에 수신지에 도달할 수 없다. 두 가지 상황은 수신자에 의한 네트워크 패킷 손실로서 고려된다. 네트워크 패킷 손실은 피할 수 없고, 음성 통신의 품질에 영향을 주는 주요한 요인 중 하나이다. 따라서, 실시간 음성 통신 시스템에서는, 네트워크 패킷 손실이 일어나는 상황 하에서 손실된 데이터 패킷을 복구하여 양호한 품질의 음성 통신을 얻기 위해 강력한 패킷 손실 은닉 방법이 필요하다.

종래의 실시간 음성 통신 기술에서는, 송신기에서, 부호화기(coder)가 광대역 음성을 2개의 서브-대역 즉, 고역 및 저역으로 분할하여, 2개의 서브-대역을 각각 적응형 차동 펄스 부호 변조(ADPCM)를 사용하여 부호화하고, 2개의 부호화된 서브-대역을 네트워크를 통해 수신기에 전송한다. 수신기에서는, 2개의 서브-대역이 각각 ADPCM 디코더에 의해 디코드되고, 직각 미러 필터(QMF: Quadrature Mirror Filter)에 의해 최종 신호로 합성된다.

2개의 다른 서브-대역에 대해, 다른 패킷 손실 은닉(PLC) 방법이 사용된다. 저역 신호에 대해서는, 패킷 손실이 없을 때, 재구성된 신호가 크로스-페이딩(cross-fading) 중에 변화하지 않는다. 패킷 손실이 있을 때, 단기 예측기 및 장치 예측기가 과거의 신호(본 출원에서의 과거의 신호는 손실 프레임 앞의 음성 신호를 의미한다)를 분석하기 위해 사용되고, 음성 등급 정보가 추출된다. 그리고, 손실 프레임의 신호는, 피치 반복에 기초하여 선형 예측 부호화(LPC) 방법을 취함으로써, 그리고 예측기들과 음성 등급 정보를 사용함으로써 재구성된다. ADPCM의 상태는 양호한 프레임이 나타날 때까지 동시에 업데이트되어야 한다. 또한, 손실 프레임의 대응하는 신호가 생성되어야 할 뿐만 아니라, 크로스-페이딩용 신호가 생성되어야 한다. 그리고, 양호한 프레임이 수신되면, 크로스-페이딩이 양호한 프레임의 신호 및 상기 신호에 대해 실행될 수 있다. 크로스-페이딩은, 양호한 프레임이 수신기에 의해 프레임 손실 후에 수신될 때에만 일어나는 점을 유의해야 한다.

본 발명을 실시하는 프로세스 중에, 발명자들은 종래 기술에서의 아래의 문제점이 있다: 즉, 손실 프레임의 재구성된 신호는 과거의 신호를 사용하여 합성된다는 것을 발견하였다. 그 파형 및 에너지는 합성 신호의 종단에서도 이력 버퍼 내의 신호, 즉, 손실 프레임 앞의 신호와 더욱 유사하지만, 새롭게 복호화된 신호와 유사하지는 않다. 이로 인해, 합성 신호의 파형의 급격한 변화나 에너지의 급격한 변화가 손실 프레임과 손실 프레임 다음의 첫 번째 프레임 사이의 접합부에서 발생할 수 있다. 급격한 변화는 도 1에 도시된다. 도 1에서, 신호들의 3개의 프레임들이 2개의 수직선에 의해 분리되어 있는 것으로 모두 표현된다. 프레임 N이 손실 프레임이고, 나머지 2개의 프레임은 양호한 프레임이다. 상부의 신호가 원래의 신호에 대응하고 있다. 3개의 데이터 프레임의 모두는 송신 시에 손실이 없다. 그리고, 중간의 파선은 프레임 N 앞의 프레임 N-1, N-2 등을 사용하여 합성 신호에 대응하고 있다. 최하 행의 신호는 종래 기술을 채용하여 합성 신호에 대응하고 있다. 도 1로부터, 특히, 음성의 종단에서 및 더 긴 프레임을 갖고, 최종 출력 신호 프레임 N과 프레임 N+1의 전이 시에 에너지의 급격한 변화가 존재하는 것을 알 수 있다. 그리고, 동일한 피치 반복 신호를 너무 많이 사용하면 음악 노이즈가 생성될 수 있다.

본 발명은 합성 신호가 손실 프레임 다음의 첫 번째 양호한 프레임의 에너지 대 합성 신호의 에너지의 에너지 비에 따라 조정되어, 손실 프레임과 손실 프레임 다음의 첫 번째 프레임이 합성 신호에 대해 접합되는 위치에서 파형의 급격한 변화나 에너지의 급격한 변화가 없게 하여 파형의 원활한 전이를 실현하고, 음악 노이즈를 회피할 수 있게 하는 것을 목적으로 한다.

본 발명의 실시예들은 손실 프레임과 합성 신호 내의 첫 번째 프레임 사이의 접합의 파형이 원활한 송신을 하게 하도록 패킷 손실 은닉 시에 합성 신호를 처리하는 데 적합한 신호 처리 방법을 제공한다.

본 발명의 실시예들은 패킷 손실 은닉 시에 합성 신호를 처리하는 데 적합한 신호 처리 방법을 제공하며, 그 방법은:

손실 프레임 다음의 양호한 프레임을 수신하여, 상기 양호한 프레임의 신호의 에너지 대 상기 양호한 프레임의 동일한 시간에 대응하는 합성 신호의 에너지의 에너지 비를 획득하는 단계; 및

상기 에너지 비에 따라 상기 합성 신호를 조정하는 단계를 포함한다.
상기 양호한 프레임의 신호의 에너지 대 상기 양호한 프레임의 동일한 시간에 대응하는 합성 신호의 에너지의 에너지 비 R은:

여기에서, sign()는 기호 함수이고, E ₁은 상기 양호한 프레임의 동일한 시간에 대응하는 합성 신호의 에너지이고, E ₂는 상기 양호한 프레임의 신호의 에너지이다.

본 발명의 실시예들은 또한, 패킷 손실 은닉 시에 합성 신호를 처리하는 데 적합한 신호 처리 장치를 제공하며, 그 신호 처리 장치는:

손실 프레임 다음의 양호한 프레임을 수신하고;

상기 양호한 프레임의 신호의 에너지 대 상기 양호한 프레임의 동일한 시간에 대응하는 합성 신호의 에너지의 에너지 비를 획득하며;

상기 에너지 비에 따라 상기 합성 신호를 조정하도록 구성된다.
상기 양호한 프레임의 신호의 에너지 대 상기 양호한 프레임의 동일한 시간에 대응하는 합성 신호의 에너지의 에너지 비 R은:

여기에서, sign()는 기호 함수이고, E ₁은 상기 양호한 프레임의 동일한 시간에 대응하는 합성 신호의 에너지이고, E ₂는 상기 양호한 프레임의 신호의 에너지이다.

본 발명의 실시예들은 또한, 저역 디코딩 유닛, 고역 디코딩 유닛 및 직각 미러 필터 유닛을 포함하는 음성 신호를 디코드하는 데 적합한 음성 디코더를 제공한다.

상기 저역 디코딩 유닛은 수신된 저역 디코딩 신호를 디코드하여 손실 저역 신호 프레임을 보상하도록 구성된다.

상기 고역 디코딩 유닛은 수신된 고역 디코딩 신호를 디코드하여 손실 고역 신호 프레임을 보상하도록 구성된다.

상기 직각 미러 필터 유닛은 저역 디코드된 신호와 고역 디코드된 신호를 합성하여 최종 출력 신호를 획득하도록 구성된다.

상기 저역 디코딩 유닛은 저역 디코딩 서브-유닛, 피치 반복에 기초한 선형 예측 부호화 서브-유닛, 신호 처리 서브-유닛 및 크로스-페이딩 서브 유닛을 포함한다.

상기 저역 디코딩 서브-유닛은 수신된 저역 부호 스트림 신호를 디코드하도록 구성된다.

상기 피치 반복에 기초한 선형 예측 부호화 서브-유닛은 손실 프레임에 대응하는 합성 신호를 생성하도록 구성된다.

상기 신호 처리 서브-유닛은 손실 프레임 다음의 양호한 프레임을 수신하고, 상기 양호한 프레임의 신호의 에너지 대 상기 양호한 프레임의 동일한 시간에 대응하는 합성 신호의 에너지의 에너지 비를 획득하며, 상기 에너지 비에 따라 상기 합성 신호를 조정하도록 구성된다.
상기 양호한 프레임의 신호의 에너지 대 상기 양호한 프레임의 동일한 시간에 대응하는 합성 신호의 에너지의 에너지 비 R은:

여기에서, sign()는 기호 함수이고, E ₁은 상기 양호한 프레임의 동일한 시간에 대응하는 합성 신호의 에너지이고, E ₂는 상기 양호한 프레임의 신호의 에너지이다.

상기 크로스-페이딩 서브 유닛은 상기 저역 디코딩 서브-유닛에 의해 디코드된 상기 저역 디코드된 신호와 상기 신호 처리 서브-유닛에 의해 에너지 조정한 후의 상기 조정된 합성 신호를 크로스-페이드하도록 구성된다.

본 발명의 실시예들은 또한, 컴퓨터 프로그램 부호가 기록된, 컴퓨터로 판독가능한 기록 매체를 제공한다. 상기 컴퓨터 프로그램 부호는 상기 프로그램 부호가 컴퓨터에 의해 실행될 때 패킷 손실 은닉 시에 신호 처리 방법에서의 어느 단계를 컴퓨터가 실행할 수 있게 한다.

종래 기술과 비교하여, 본 발명의 실시예들은 아래의 장점을 갖는다:

본 발명에 의하면, 합성 신호가 손실 프레임 다음의 첫 번째 양호한 프레임의 에너지 대 합성 신호의 에너지의 에너지 비에 따라 조정되어, 손실 프레임과 손실 프레임 다음의 첫 번째 프레임이 합성 신호에 대해 접합되는 위치에서 파형의 급격한 변화나 에너지의 급격한 변화가 없게 하여 파형의 원활한 전이를 실현하고, 음악 노이즈를 회피할 수 있는 효과를 얻을 수 있다.

본 발명의 실시예들을 첨부하는 도면과 결합하여 더욱 상세히 설명한다.

본 발명의 제1 실시예는 패킷 손실 은닉 시에 합성 신호를 처리하는 데 적합 한 신호 처리 방법을 제공한다. 도 2에 도시된 바와 같이, 그 방법은 아래의 단계들을 포함한다:

단계 s101, 손실 프레임 다음의 프레임이 양호한 프레임으로서 검출된다.

단계 s102, 양호한 프레임의 신호의 에너지 대 동기화된 합성 신호의 에너지의 에너지 비가 획득된다.

단계 s103, 에너지 비에 따라 합성 신호가 조정된다.

단계 s102에서, "동기화된 합성 신호"는 동일한 시간의 양호한 프레임에 대응하는 합성 신호를 의미한다. 본 출원의 다른 부분에서 나타나는 "동기화된 합성 신호"는 동일한 방식으로 이해될 수 있다.

본 발명의 제1 실시예에서의 신호 처리 방법을 아래와 같은 특정의 적용한 경우와 결합하여 설명한다.

본 발명의 제1 실시예에서는, 패킷 손실 은닉 시에 합성 신호를 처리하는 데 적합한 신호 처리 방법이 제공된다. 원리 개략도가 도 3에 도시된다.

현재의 프레임이 손실되지 않은 경우에, 저역 ADPCM 디코더가 수신된 현재 프레임을 디코드하여 신호 xl(n), n = 0, …, L - 1을 얻으며, 현재의 프레임에 대응하는 출력은 zl(n), n = 0, …, L - 1이다. 이 조건에서, 재구성된 신호는 크로스-페이딩 시에 불변이다. 즉:

zl[n] = xl[n], n = 0, …, L - 1

여기에서, L은 프레임 길이이다.

현재의 프레임이 손실되는 경우에는, 현재의 프레임에 대응하는 합성 신호 yl'(n), n = 0, …, L - 1이 피치 반복에 기초하여 선형 예측 부호화의 방법을 사용함으로써 생성된다. 현재의 프레임 다음의 후속 프레임이 손실되는지의 여부에 따라, 다른 처리가 실행된다:

현재의 프레임 다음의 후속 프레임이 손실될 때:

이 조건 하에서, 합성 신호에 대해 에너지 스케일링(scaling) 처리가 실행되지 않는다. 제1 손실 프레임에 대응하는 출력 신호 zl(n), n = 0, …, L - 1은 합성 신호 yl'(n), n = 0, …, L - 1이다, 즉, zl(n) = yl(n) = yl'(n), n = 0, …, L - 1이다.

현재의 프레임 다음의 후속 프레임이 손실되지 않을 때:

에너지 스케일링이 실행될 때, 사용되고 있는 양호한 프레임(첫 번째 손실 프레임 다음의 후속 프레임임)이 ADPCM 디코더에 의해 디코드된 후에 획득되는 양호한 프레임 xl(n), n = L, …, L + M - 1이며, 여기에서 M은 에너지가 계산될 때의 신호 샘플의 수이다. 동일한 시간의 양호한 프레임의 신호에 대응하고 있는 사용된 합성 신호는 피치 반복에 기초하여 선형 예측 부호화에 의해 생성되는 신호 yl'(n), n = L, …, L + M - 1이다. yl'(n), n = 0, …, L + N - 1은 에너지에서 스케일링되어 에너지에서 신호 xl(n), n = 0, …, L + N - 1과 일치할 수 있는 신호 yl(n), n = 0, …, L + N - 1을 획득하며, 여기에서 N은 크로스-페이딩의 신호 길이이다. 현재의 프레임에 대응하는 출력 신호 zl(n), n = 0, …, L - 1은:

zl(n) = yl(n), n = 0, …, L - 1이다.

xl(n), n = L, …, L + N - 1은 xl(n), n = L, …, L + N - 1과 yl(n), n = L, …, L + N - 1의 크로스-페이딩에 의해 획득되는 신호 zl(n)으로서 업데이트된다.

도 3에 수반되는 피치 반복에 기초하는 선형 예측 부호화 방법은 도 4에 도시된다.

손실 프레임을 만나기 전에, 수신된 프레임이 양호한 프레임일 때 zl(n)이 장래에 사용하기 위해 버퍼에 저장된다.

첫 번째 손실 프레임이 나타날 때, 최종 신호 yl'(n)을 합성하기 위해 2개의 단계가 필요하다. 먼저, 과거의 신호 zl(n), n = -Q, …, -1이 분석된 후, 신호 yl'(n)이 분석 결과와 결합하여 합성되며, 여기에서 Q는 과거의 신호를 분석할 때 필요한 신호의 길이이다.

피치 반복에 기초하여 선형 예측 부호화하는 모듈은 특히 아래의 부분을 포함한다:

(1) 선형 예측(LP) 분석

단기 분석 A(z) 및 합성 필터 1/A(z)는 P-차 LP 필터를 기초로 한다. LP 분석 필터는 아래와 같이 정의된다:

필터의 LP 분석 A(z) 후에, 과거의 신호 zl(n), n = -Q, …, -1에 대응하는 나머지 신호 e(n), n = -Q, …, -1이 아래의 식을 사용하여 획득된다:

(2) 과거의 신호 분석

손실 신호를 보상하기 위해 피치 반복 방법이 사용된다. 따라서, 과거의 신호 zl(n), n = -Q, …, -1에 대응하는 피치 주기 T ₀이 추정될 필요가 있다. 상세한 단계들은 아래와 같다: 먼저, zl(n)이 장기 예측(LTP) 분석에 불필요한 저주파수 부분을 제거하기 위해 전처리된 후, zl(n)의 피치 주기 T ₀이 LTP 분석에 의해 획득될 수 있으며; 음성 등급이 피치 주기 T ₀이 획득된 후에 신호 등급 모듈과 결합하여 획득될 수 있다.

음성 등급은 표 1에 도시된다.

표 1: 음성 등급

등급 명	설명
TRANSIENT	큰 에너지 변화(예컨대, 파열음)를 갖는 과도 상태인 음성에 대해
UNVOICED	음성이 아닌 신호에 대해
VUV_TRANSITION	음성과 음성이 아닌 신호 사이의 전이에 대응
WEAKLY_VOICED	음성 신호들의 시작 또는 종료
VOICED	음성 신호들(예컨대, 규칙적인 모음들)

(3) 피치 반복

피치 반복 모듈은 손실 프레임에 대응하는 LP 나머지 신호 e(n), n = 0, L, L - 1을 추정하는 데 사용된다. 피치 반복 전에, 음성 등급이 VOICED가 아니면, 각 샘플의 크기는 아래의 식에 의해 제한된다:

여기에서

음성 등급이 VOICED이면, 손실 프레임에 대응하는 나머지 신호 e(n), n = 0,..., L - 1이 양호한 프레임의 새롭게 수신된 신호 내의 최종 피치 주기에 대응하는 나머지 신호를 반복함으로써 얻어진다, 즉:

e(n)= e(n- T ₀).

다른 음성 등급에 대해서는, 생성된 데이터의 주기성이 너무 강해지는 것을 피하기 위해(UNVOICED 신호에 대해, 주기성이 너무 강해지면, 음악 노이즈나 다른 불쾌한 노이즈 같은 소리를 낼 것이다), 아래의 식이 손실 신호에 대응하는 나머지 신호 e(n), n = 0,..., L - 1을 생성하는 데 사용된다:

e(n)= e(n- T ₀+(-1) ⁿ ).

손실 프레임에 대응하는 나머지 신호를 생성하는 이외에는, 손실 프레임과 손실 프레임 다음의 첫 번째 양호한 프레임 사이의 원활한 접합을 보증하기 위해, 부가적인 N개의 샘플의 나머지 신호 e(n), n = L,..., L + N - 1이 크로스-페이딩용의 신호를 생성하기 위해 지속적으로 생성될 것이다.

(4) LP 합성

손실 신호에 대응하는 나머지 신호 e(n)과 크로스-페이딩용의 신호를 생성한 후에, 손실 신호에 대응하는 나머지 신호는 아래에 의해 제공된다:

여기에서, e(n), n = 0,..., L - 1은 피치 반복 시에 획득되는 나머지 신호이다. 또한, yl_pre (n), n = L,..., L + N - 1은 상기 식을 사용하여 생성된다: 이들 샘플은 크로스-페이딩용으로 사용된다.

(5) 적응형 뮤팅(Adaptive muting)

yl _pre (n)의 에너지는 표 1에 제공된 다른 음성 등급들에 따라 제어된다. 즉:

yl'(n) = g _mute (n)×yl _pre (n), n = 0, ..., L + N - 1, g _mute (n)∈[0 1]

여기에서, g _mute (n)는 각 샘플에 대응하는 뮤팅 계수이다. g _mute (n)의 값은 다른 음성 등급 및 패킷 손실의 상황에 따라 변화한다. 일례가 아래와 같이 주어진다:

큰 에너지 변화를 갖는 음성들 예컨대, 표 1에서의 VUV_TRANSITION 등급 및 TRANSIENT 등급에 대응하는 파열음들에 대해, 페이딩 속도가 약간 높을 수 있다.작은 에너지 변화를 갖는 음성들에 대해, 페이딩 속도가 약간 낮을 수 있다. 편리하게 설명하기 위해, 1 ㎳의 신호가 R개의 샘플을 포함한다고 가정한다.

특히, TRANSIENT 등급을 갖는 음성에 대해서는, 10 ㎳(총 S = 10*R개의 샘플 들) 내에서 g _mute (-1)=1을 만들면, g _mute (n)은 1에서 0으로 페이드(fade)한다. 10 ㎳ 후의 샘플들에 대응하는 g _mute (n)은 아래와 같은 식을 사용하여 나타날 수 있는 0이다:

VUV_TRANSITION 등급을 갖는 음성에 대해서는, 초기 10 ㎳ 내의 페이딩 속도가 약간 낮을 수 있고, 음성은 아래와 같은 식을 사용하여 나타날 수 있는 다음의 10 ㎳ 내에서 신속하게 0으로 페이드한다:

다른 등급의 음성에 대해서는, 초기 10 ㎳ 내의 페이딩 속도가 약간 낮을 수 있고, 다음의 10 ㎳ 내의 페이딩 속도는 약간 높을 수 있으며, 음성은 아래와 같은 식을 사용하여 나타날 수 있는 다음의 20 ㎳ 내에서 신속하게 0으로 페이드한다:

도 3에서의 에너지 스케일은:

xl(n), n = L, …, L + M - 1 및 yl'(n), n = L, …, L + M - 1에 따라 yl'(n), n = 0, …, L + N - 1로의 에너지 스케일링을 실행하는 상세한 방법은 도 3을 참조하면, 아래의 단계들을 포함한다.

단계 s201, 합성 신호 yl'(n), n = L, …, L + M - 1에 대응하는 에너지 E ₁ 및 신호 xl(n), n = L, …, L + M - 1에 대응하는 에너지 E ₂가 각각 계산된다.

구체적으로는,

및

여기에서 M은 에너지가 계산될 때의 신호 샘플들의 수이다. M의 값은 특별한 경우에 따라 신축적으로 설정될 수 있다. 예를 들어, 프레임 길이 L이 5 ㎳보다 짧은 것과 같이, 프레임 길이가 약간 짧은 환경 하에서는, M = L이 권장되며; 프레임 길이가 약간 길고 피치 주기가 하나의 프레임 길이보다 짧은 환경 하에서는, M은 하나의 피치 주기 신호의 대응하는 길이로서 설정될 수 있다.

단계 s202, E ₁ 대 E ₂의 에너지 비 R이 계산된다.

구체적으로는,

여기에서 함수 sign()는 기호 함수이고, 그것은 아래와 같이 정의된다:

단계 s203, 신호 yl'(n), n = 0, …, L + N - 1의 크기가 에너지 비 R에 따라 조정된다.

구체적으로는,

여기에서 N은 현재의 프레임에 의해 크로스-페이딩하는 데 사용되는 길이이다. N의 값은 특별한 경우에 따라 신축적으로 설정될 수 있다. 프레임 길이가 약간 짧은 이 환경 하에서는, N은 하나의 프레임의 길이로서 즉, N = L로서 설정될 수 있다.

상기 방법을 사용하여 E ₁ < E ₂일 때 에너지 크기 오버플로우하는(에너지 크기가 샘플들의 대응하는 크기의 허용 가능한 최대값을 초과하는) 환경이 나타나는 것을 피하기 위해, 상기 식은 E ₁ > E ₂일 때 신호 yl'(n), n = 0, …, L + N - 1을 페이드하는 데만 사용된다.

이전의 프레임이 손실 프레임이고 현재의 프레임도 손실 프레임일 때, 에너지 스케일링이 이전의 프레임에 대해 실행될 필요가 없다, 즉, 이전의 프레임에 대응하는 yl(n)은:

yl(n) = yl'(n), n = 0, …, L - 1이다.

도 3에서의 크로스-페이딩은 구체적으로:

원활한 에너지 전이를 실현하기 위해, yl(n), n = 0, …, L + N - 1이 합성 신호 yl'(n), n = 0, …, L + N - 1에 의해 에너지 스케일링을 실행하는 것을 통해 생성된 후에, 저역 신호가 크로스-페이딩에 의해 처리되는 것이 필요하다. 규칙은 표 2에 도시된다.

표 2: 크로스-페이딩의 규칙

표 2에서, zl(n)은 최종적으로 출력된 현재의 프레임에 대응하는 신호에 대응하는 신호이다. xl(n)은 현재의 프레임에 대응하는 양호한 프레임의 신호이다. yl(n)은 현재의 프레임에 대응하는 동시에 합성 신호이다.

상기 프로세스의 개략도가 도 5에 도시된다.

첫 번째 행은 원래의 신호이다. 두 번째 행은 파선으로 도시되는 합성 신호이다. 가장 아래의 행은 에너지 조정 후의 신호인 점선으로 도시되는 출력 신호이다. 프레임 N은 손실 프레임이고, 프레임 N-1 및 N+1의 양자는 모두 양호한 프레 임이다. 먼저, 프레임 N+1의 수신된 신호의 에너지 대 프레임 N+1에 대응하는 합성 신호의 에너지의 에너지 비가 계산된 후, 합성 신호가 가장 아래의 행에서의 출력 신호를 획득하기 위해, 에너지 비에 따라 페이드한다. 페이딩하는 방법은 상기 단계 s203을 참조해도 된다. 크로스-페이딩의 처리는 마지막에 실행된다. 프레임 N에 대해, 프레임 N의 페이딩 후의 출력 신호가 프레임 N의 출력으로 취해진다(여기에서, 신호의 출력이 적어도 하나의 프레임의 지연을 갖는 것이 허용된다, 즉, 프레임 N이 프레임 N+1이 입력된 후에 출력될 수 있다고 가정한다). 프레임 N+1에 대해, 크로스-페이딩의 원리에 따라, 곱해지는 하강 윈도우를 갖는 페이딩 후의 프레임 N+1의 출력 신호가 곱해지는 상승 윈도우를 갖는 프레임 N+1의 수신된 원래의 신호 위에 중첩된다. 중첩에 의해 획득되는 신호는 프레임 N+1의 출력으로 취해진다.

본 발명의 제2 실시예에서, 패킷 손실 은닉 시에 합성 신호를 처리하는 적합한 신호 처리 방법이 제공된다. 제1 실시예와 제2 실시예의 처리 방법간의 차이점은 상기 제1 실시예에서는, 피치 주기에 기초하는 방법이 신호 yl'(n)을 합성하기 위해 사용될 때, 위상 불연속의 상태가 도 6에 도시된 바와 같이, 발생할 수 있다는 것이다.

도 6에 도시된 바와 같이, 2개의 수직 실선 사이의 신호가 신호의 한 프레임에 대응한다. 사람의 음성의 다양함 및 편차로 인해, 음성에 대응하는 피치 주기가 불변인 채로 유지할 수 없고 일정하게 변화하고 있다. 따라서, 과거의 신호의 최종 피치 주기가 손실 프레임의 신호를 합성하기 위해 반복적으로 사용될 때, 합 성 신호의 종료와 현재의 프레임의 시작 사이의 파형이 불연속적인 상황이 발생할 것이다. 파형은 급격한 변화, 즉, 위상 불일치의 상황을 갖는다. 도 6으로부터, 현재의 프레임의 시작으로부터 합성 신호의 좌측 최소 거리 일치점까지의 거리는 d _e 이고, 현재의 프레임의 시작으로부터 합성 신호의 우측 최소 거리 일치점까지의 거리는 d _c 이다. 종래 기술에서는, 합성 신호에 보간을 실행함으로써 위상 일치를 실현하는 방법이 제공된다. 예를 들면, 대응하는 위상 분리 d는 프레임 길이가 L일 때 -d _e 이다(최적의 일치점이 현재의 프레임의 시작점의 좌측에 있고, 최적의 점과 현재의 프레임의 시작점 사이의 거리가 d _e 이면, d=-d _e 이고, 최적의 일치점이 현재의 프레임의 시작점의 우측에 있고, 최적의 점과 현재의 프레임의 시작점 사이의 거리가 d _c 이면, d=d _c 이다). 그러면, L + d개의 샘플의 신호가 보간법에 의해 N개의 샘플들의 신호를 생성하도록 보간된다.

신호는 도 6의 피치 반복에 기초하여 합성되며, 따라서 위상 불일치의 상황이 또한 불가피하게 일어난다. 그 상황을 회피하기 위해, 한 방법이 제공되고, 그 원리 개략도가 도 7에 도시된다. 이 실시예와 제1 실시예의 차이점은 에너지 스케일링 처리가 피치 반복에 기초하여 선형 예측 부호화 신호에 대해 위상 정합을 실행한 후에 실행될 수 있다는 것이다. 위상 정합은 에너지 스케일링 전에 신호 yl'(n), n = 0, …, L + N - 1에 대해 실행된다. 예를 들면, 보간된 신호 yl＂(n), n = 0, …, L + N - 1이 상기 보간법을 사용하여 yl'(n), n = 0, …, L + N - 1에 보간을 실행하여 획득될 수 있고, 신호 yl(n)은 신호 xl(n)과 신호 yl＂(n)과 조합하여 yl＂(n)에 에너지 스케일링을 실행함으로써 획득될 수 있다. 마지막으로, 크로스-페이딩의 단계는 제1 실시예에서의 단계와 동일하다.

본 발명의 실시예들에 의해 제공되는 신호 처리 방법을 사용하는 것을 통해, 합성 신호가 손실 프레임 다음의 첫 번째 양호한 프레임의 에너지 대 합성 신호의 에너지의 에너지 비에 따라 조정되어, 손실 프레임과 손실 프레임 다음의 첫 번째 프레임이 합성 신호에 대해 접합되는 위치에서 파형의 급격한 변화나 에너지의 급격한 변화가 없게 하여 파형의 원활한 전이를 실현하고, 음악 노이즈를 회피한다.

본 발명의 제3 실시예는 패킷 손실 은닉 시에 합성 신호를 처리하는 데 적합한 신호 처리용 장치를 또한 제공한다. 구성의 개략도가 도 8에 도시된다. 그 장치는:

손실 프레임 다음의 후속 프레임이 양호한 프레임인 것을 검출할 때 에너지 획득 모듈(30)에 통지하도록 구성되는 검출 모듈(10);

상기 검출 모듈(10)에 의해 전송된 통지를 수신할 때 상기 양호한 프레임 신호의 에너지 대 동기화된 합성 신호의 에너지의 에너지 비를 획득하도록 구성되는 에너지 획득 모듈(30);

상기 에너지 획득 모듈(30)에 의해 획득된 에너지 비에 따라 합성 신호를 조정하도록 구성되는 합성 신호 조정 모듈(40)을 포함한다.

구체적으로는, 에너지 획득 모듈(30)은:

양호한 프레임 신호의 에너지를 획득하도록 구성되는 양호한 프레임 신호 에 너지 획득 서브-모듈(21);

합성 신호의 에너지를 획득하도록 구성되는 합성 신호 에너지 획득 서브-모듈(22); 및

양호한 프레임 신호의 에너지 대 동기화된 합성 신호의 에너지의 에너지 비를 획득하도록 구성되는 에너지 비 획득 서브-모듈(23)을 더 포함한다.

또한, 신호 처리 장치는, 또한:

입력된 합성 신호에 위상 정합을 실행하고 위상 정합 후의 합성 신호를 본 발명의 제3 실시예에 의해 제공되는 신호 처리용의 제2 장치로서, 도 9에 도시된 에너지 획득 모듈(30)에 전송하도록 구성되는 위상 정합 모듈(20)을 포함한다.

더욱이, 도 10에 도시된 바와 같이, 위상 정합 모듈(20)은 또한 에너지 획득 모듈(30)과 합성 신호 조정 모듈(40) 사이에 설치될 수 있고, 양호한 프레임 신호의 에너지 대 양호한 프레임의 동일한 시간에 대응하는 합성 신호의 에너지의 에너지 비를 획득하여, 위상 정합 모듈(20)에 입력된 신호에 위상 정합을 실행하고, 위상 정합 후의 신호를 합성 신호 조정 모듈(40)에 전송하도록 구성될 수 있다.

본 발명의 제3 실시예에서의 처리 장치의 특별한 적용예가 도 11에 도시된다. 현재의 프레임이 손실되지 않은 경우에, 저역 ADPCM 디코더는 수신된 현재의 프레임을 디코드하여 신호 xl(n), n = 0, …, L - 1을 획득하고, 현재의 프레임에 대응하는 출력은 zl(n), n = 0, …, L - 1이다. 이 조건에서, 크로스-페이딩 시에 재구성 신호가 변화하지 않는다. 즉:

zl[n] = xl[n], n = 0, …, L - 1이며

여기에서, L은 프레임 길이이다.

현재의 프레임이 손실되는 경우에, 현재의 프레임에 대응하고 있는 합성 신호 yl'(n), n = 0, …, L - 1이 피치 반복에 기초하는 선형 예측 부호화 방법을 사용하여 생성된다. 현재의 프레임 다음의 후속 프레임이 손실되는지의 여부에 따라, 다른 처리가 실행된다:

현재의 프레임 다음의 후속 프레임이 손실될 때:

이 조건에서는, 본 발명의 실시예들에서의 신호 처리 장치는 합성 신호 yl'(n), n = 0, …, L - 1을 처리하지 않는다. 첫 번째 손실 프레임에 대응하는 출력 신호 zl(n), n = 0, …, L - 1은 합성 신호 yl'(n), n = 0, …, L - 1이다, 즉, zl[n] = yl[n] = yl'[n], n = 0, …, L - 1이다.

현재의 프레임 다음의 후속 프레임이 손실되지 않을 때:

합성 신호 yl'(n), n = 0, …, L + N - 1이 본 발명의 실시예들에서의 신호 처리 장치를 사용하여 처리될 때, 사용되고 있는 양호한 프레임(즉, 첫 번째 손실 프레임 다음의 후속 프레임)이 ADPCM 디코더의 디코딩 후에 획득되는 양호한 프레임 xl(n), n = L, …, L + M - 1이고 여기에서 M은 에너지를 계산할 때의 신호 샘플들의 수이다. 양호한 신호의 동일한 시간에 대응하는 사용되고 있는 합성 신호는 피치 반복에 기초하는 선형 예측 부호화에 의해 생성되는 신호 yl'(n), n = 0, …, L + N - 1이다. yl'(n), n = 0, …, L + N - 1은 에너지에서 신호 xl(n), n = L, …, L + N - 1과 일치할 수 있는 신호 yl(n), n = 0, …, L + N - 1을 획득하기 위해 처리되며, 여기에서 N은 크로스-페이딩을 실행하기 위한 신호 길이이다. 현 재의 프레임에 대응하는 출력 신호 zl(n), n = 0, …, L - 1은:

zl(n) = yl(n), n = 0, …, L - 1이다.

xl(n), n = L, …, L + N - 1은 xl(n), n = L, …, L + N - 1과 신호 yl(n), n = L, …, L + N - 1이 크로스-페이딩에 의해 획득되는 신호 zl(n)으로 업데이트된다.

본 발명의 실시예들에 의해 제공되는 신호 처리 장치를 사용하는 것을 통해, 합성 신호가 손실 프레임 다음의 첫 번째 양호한 프레임의 에너지 대 합성 신호의 에너지의 에너지 비에 따라 조정되어, 손실 프레임과 손실 프레임 다음의 첫 번째 프레임이 합성 신호에 대해 접합되는 위치에서 파형의 급격한 변화나 에너지의 급격한 변화가 없게 하여 파형의 원활한 전이를 실현하고, 음악 노이즈를 회피한다.

본 발명의 제4 실시예는 도 12에 도시된 바와 같이, 수신된 고역 디코딩 신호를 디코드하여 손실 고역 신호 프레임을 보상하도록 구성되는 고역 디코딩 유닛(50); 수신된 저역 디코딩 신호를 디코드하여 손실 저역 신호 프레임을 보상하도록 구성되는 저역 디코딩 유닛(60); 저역 디코드된 신호와 고역 디코드된 신호를 합성하여 최종 출력 신호를 획득하도록 구성되는 직각 미러 필터 유닛(70)을 포함하는 음성 디코더를 제공한다. 고역 디코딩 유닛(50)은 수신된 고역 부호 스트림 신호를 디코드하고, 손실 고역 신호 프레임을 합성한다. 저역 디코딩 유닛(60)은 수신된 저역 부호 스트림 신호를 디코드하고, 손실 저역 신호 프레임을 합성한다. 직각 미러 필터 유닛(70)은 저역 디코딩 유닛(60)으로부터 출력된 저역 디코드된 신호와 고역 디코딩 유닛(50)으로부터 출력된 고역 디코드된 신호를 합성하여 최종 디코드된 신호를 획득한다.

저역 디코딩 유닛(60)에 대해, 도 13에 도시된 바와 같이, 특히 아래의 모듈들: 즉, 손실 프레임에 대응하는 합성 신호를 생성하도록 구성되는 피치 반복에 기초한 선형 예측 부호화 서브-유닛(61); 수신된 저역 부호 스트림 신호를 디코드하도록 구성되는 저역 디코딩 서브-유닛(62); 합성 신호를 조정하도록 구성되는 신호 처리 서브-유닛(63); 저역 디코딩 서브-유닛에 의해 디코드된 신호와 신호 처리 서브-유닛(63)에 의해 조정된 신호를 크로스-페이드하도록 구성되는 크로스-페이딩 서브 유닛(64)을 포함한다.

저역 디코딩 서브-유닛(62)은 수신된 저역 신호를 디코드한다. 피치 반복에 기초한 선형 예측 부호화 서브-유닛(61)은 손실 저역 신호 프레임에 대한 선형 에측 부호화에 의한 합성 신호를 획득한다. 신호 처리 서브-유닛(63)은 합성 신호의 에너지 크기를 저역 디코딩 서브-유닛(62)에 의해 처리되는 디코드된 신호의 에너지 크기와 일치하게 만들도록 조정하여 음악 노이즈의 출현을 회피한다. 크로스-페이딩 서브-유닛(64)은 저역 디코딩 서브-유닛(62)에 의해 처리되는 디코드된 신호와 신호 처리 서브-유닛(63)에 의해 조정되는 합성 신호를 크로스-페이딩하여 손실 프레임 보상 후의 최종 디코드된 신호를 획득한다.

신호 처리 서브-유닛(63)의 구성은 도 8 내지 도 10에 도시된 신호 처리 장치의 개략적인 구성도에 대응하는 3개의 상이한 형태를 가지며, 상세한 설명은 생략한다.

상기 실시예들의 설명을 통해, 당업자는 본 발명이 소프트웨어 및 필요한 범용 하드웨어 플랫폼을 사용하여, 또는 하드웨어에 의해 달성될 수 있지만, 전자가 다수의 경우에 더 나은 실시예인 것을 명확히 이해할 수 있다. 그러한 이해에 기초하여, 본 발명의 기술적인 해법에서의 실질적인 내용이나 종래 기술에 기여하는 부분이 소프트웨어 제품의 형태로 실현될 수 있다. 컴퓨터의 소프트웨어 제품이 저장 매체에 저장되고, 그들은 장치가 본 발명의 각 실시예에 설명된 방법을 실행하게 만드는 다수의 명령을 포함한다.

본 개시물의 예시 및 설명은 그 바람직한 실시예와 관련하여 제공되었지만, 당업자는 형태 및 상세의 다양한 변형이 첨부된 청구항들에 의해 정해지는 이 개시물의 범위로부터 벗어남 없이 이루어질 수 있는 것을 이해할 것이다.

도 1은 손상된 프레임과 손실 프레임 다음의 첫 번째의 양호한 프레임이 종래 기술에서 합쳐지는 위치에서의 파형의 급격한 변화 또는 에너지의 급격한 변화를 도시하는 개략도이다.

도 2는 본 발명의 제1 실시예에서의 신호 처리 방법의 플로우차트이다.

도 3은 본 발명의 제1 실시예에서의 신호 처리 방법의 원리 개략도이다.

도 4는 피치 반복에 기초하는 선형 예측 부호화 모듈의 개략도이다.

도 5는 본 발명의 제1 실시예에서의 다른 신호들의 개략도이다.

도 6은 피치 반복에 기초하는 방법이 본 발명의 제2 실시예에서 신호를 합성하는 데 사용될 때 일어나는 위상 불연속성의 상황을 도시하는 개략도이다.

도 7은 본 발명의 제2 실시예에서의 신호 처리 방법의 원리 개략도이다.

도 8은 본 발명의 제3 실시예에서의 신호 처리용의 제1 장치의 개략적인 구성도이다.

도 9는 본 발명의 제3 실시예에서의 신호 처리용의 제2 장치의 개략적인 구성도이다.

도 10은 본 발명의 제3 실시예에서의 신호 처리용의 제3 장치의 개략적인 구성도이다.

도 11은 본 발명의 제3 실시예에서의 처리 장치를 적용하는 경우의 개략도이다.

도 12는 본 발명의 제4 실시예에서의 음성 디코더의 모듈 개략도이다.

도 13은 본 발명의 제4 실시예에서의 음성 디코더의 저역 복호 유닛의 모듈 개략도이다.

Claims (13)

1. 패킷 손실 은닉 시의 신호 처리 방법으로서,

   손실 프레임 다음의 양호한 프레임을 수신하여, 상기 양호한 프레임의 신호의 에너지 대 상기 양호한 프레임의 동일한 시간에 대응하는 합성 신호의 에너지의 에너지 비를 획득하는 단계; 및

   상기 에너지 비에 따라 상기 합성 신호를 조정하는 단계

   를 포함하고,

   상기 양호한 프레임의 신호의 에너지 대 상기 양호한 프레임의 동일한 시간에 대응하는 합성 신호의 에너지의 에너지 비 R은:

   

   여기에서, sign()는 기호 함수이고, E ₁은 상기 양호한 프레임의 동일한 시간에 대응하는 합성 신호의 에너지이고, E ₂는 상기 양호한 프레임의 신호의 에너지인,

   신호 처리 방법.
2. 제1항에 있어서,

   상기 합성 신호는 피치 반복에 기초하는 선형 예측 부호화에 의해 생성되는 합성 신호인, 신호 처리 방법.
3. 제1항에 있어서,

   상기 양호한 프레임의 신호의 에너지 대 상기 양호한 프레임의 동일한 시간에 대응하는 합성 신호의 에너지의 에너지 비를 획득한 후에,

   상기 양호한 프레임의 신호의 에너지가 상기 양호한 프레임의 동일한 시간에 대응하는 상기 합성 신호의 에너지 미만인지를 결정하여, 상기 에너지 비에 따라 상기 합성 신호를 조정하는 단계를 더 포함하는, 신호 처리 방법.
4. 제1항에 있어서,

   상기 합성 신호는 아래의 식에 따라 조정되며:

   

   여기에서, L은 프레임 길이이고, N은 크로스-페이딩에 필요한 상기 신호의 길이이며, yl'(n)은 조정하기 전의 상기 합성 신호이고, yl(n)은 조정한 후의 상기 합성 신호인, 신호 처리 방법.
5. 제1항에 있어서,

   상기 에너지 비에 따라 상기 합성 신호를 조정하기 전에,

   상기 합성 신호에 위상 정합을 실행하는 단계를 더 포함하는, 신호 처리 방법.
6. 제1항에 있어서,

   상기 에너지 비에 따라 상기 합성 신호를 조정한 후에,

   상기 양호한 프레임의 상기 신호와 상기 양호한 프레임의 동일한 시간에 대응하는 상기 합성 신호를 크로스-페이딩하여, 상기 양호한 프레임의 상기 동일한 시간에 대응하는 출력 신호를 획득하는 단계를 더 포함하는, 신호 처리 방법.
7. 패킷 손실 은닉 시에 합성 신호를 처리하는 데 적합한 신호 처리 장치로서, 상기 신호 처리 장치는:

   손실 프레임 다음의 양호한 프레임을 수신하고;

   상기 양호한 프레임의 신호의 에너지 대 상기 양호한 프레임의 동일한 시간에 대응하는 합성 신호의 에너지의 에너지 비를 획득하며;

   상기 에너지 비에 따라 상기 합성 신호를 조정하도록 구성되고,

   상기 양호한 프레임의 신호의 에너지 대 상기 양호한 프레임의 동일한 시간에 대응하는 합성 신호의 에너지의 에너지 비 R은:

   

   여기에서, sign()는 기호 함수이고, E ₁은 상기 양호한 프레임의 동일한 시간에 대응하는 합성 신호의 에너지이고, E ₂는 상기 양호한 프레임의 신호의 에너지인,

   신호 처리 장치.
8. 제7항에 있어서,

   손실 프레임 다음의 프레임이 양호한 프레임인 것을 검출할 때 에너지 획득 모듈에 통지하도록 구성되는 검출 모듈;

   상기 검출 모듈에 의해 전송된 통지를 수신할 때 상기 양호한 프레임의 신호의 에너지 대 상기 양호한 프레임의 상기 동일한 시간에 대응하는 합성 신호의 에너지의 에너지 비를 획득하도록 구성되는 상기 에너지 획득 모듈; 및

   상기 에너지 획득 모듈에 의해 획득된 상기 에너지 비에 따라 상기 합성 신호를 조정하도록 구성되는 합성 신호 조정 모듈을 포함하는, 신호 처리 장치.
9. 제8항에 있어서,

   상기 에너지 획득 모듈은:

   상기 양호한 프레임의 신호의 에너지를 획득하도록 구성되는 양호한 프레임 신호 에너지 획득 서브-모듈;

   상기 합성 신호의 에너지를 획득하도록 구성되는 합성 신호 에너지 획득 서브-모듈; 및

   상기 양호한 프레임의 신호의 에너지 대 상기 양호한 프레임의 동일한 시간에 대응하는 상기 합성 신호의 에너지의 에너지 비를 획득하도록 구성되는 에너지 비 획득 서브-모듈을 더 포함하는, 신호 처리 장치.
10. 제8항에 있어서,

    상기 합성 신호에 위상 정합을 실행하여 상기 위상 정합 후의 상기 합성 신호를 상기 에너지 획득 모듈에 전송하도록 구성되거나, 상기 에너지 획득 모듈로부터의 합성 신호에 위상 정합을 실행하여 상기 위상 정합 후의 상기 합성 신호를 상기 합성 신호 조정 모듈에 전송하도록 구성되는 위상 정합 모듈을 더 포함하는, 신호 처리 장치.
11. 저역 디코딩 유닛, 고역 디코딩 유닛 및 직각 미러 필터 유닛을 포함하는 음성 디코더로서:

    상기 저역 디코딩 유닛은 수신된 저역 디코딩 신호를 디코드하여 손실 저역 신호 프레임을 보상하도록 구성되고;

    상기 고역 디코딩 유닛은 수신된 고역 디코딩 신호를 디코드하여 손실 고역 신호 프레임을 보상하도록 구성되며;

    상기 직각 미러 필터 유닛은 저역 디코드된 신호와 고역 디코드된 신호를 합성하여 최종 출력 신호를 획득하도록 구성되고,

    상기 저역 디코딩 유닛은 저역 디코딩 서브-유닛, 피치 반복에 기초한 선형 예측 부호화 서브-유닛, 신호 처리 서브-유닛 및 크로스-페이딩 서브 유닛을 포함하며;

    상기 저역 디코딩 서브-유닛은 수신된 저역 부호 스트림 신호를 디코드하도록 구성되고;

    상기 피치 반복에 기초한 선형 예측 부호화 서브-유닛은 손실 프레임에 대응하는 합성 신호를 생성하도록 구성되며;

    제8항 내지 제10항 중 어느 한 항에 따르는 상기 신호 처리 서브-유닛; 및

    상기 크로스-페이딩 서브 유닛은 상기 저역 디코딩 서브-유닛에 의해 디코드된 상기 저역 디코드된 신호와 상기 신호 처리 서브-유닛에 의해 에너지 조정한 후의 상기 조정된 합성 신호를 크로스-페이드하도록 구성되는, 음성 디코더.
12. 컴퓨터 프로그램 부호가 컴퓨터에 의해 실행될 때, 제1항 내지 제6항 중 어느 한 항에 기재된 단계들을 상기 컴퓨터가 실행하게 하는 상기 컴퓨터 프로그램 부호가 기록된, 컴퓨터로 판독 가능한 기록 매체.
13. 삭제

Images