KR102015233B1 - 복호 장치 및 복호 방법 - Google Patents

복호 장치 및 복호 방법 Download PDF

Info

Publication number
KR102015233B1
KR102015233B1 KR1020187004221A KR20187004221A KR102015233B1 KR 102015233 B1 KR102015233 B1 KR 102015233B1 KR 1020187004221 A KR1020187004221 A KR 1020187004221A KR 20187004221 A KR20187004221 A KR 20187004221A KR 102015233 B1 KR102015233 B1 KR 102015233B1
Authority
KR
South Korea
Prior art keywords
subband
coefficient
band
signal
subband power
Prior art date
Application number
KR1020187004221A
Other languages
English (en)
Other versions
KR20180018852A (ko
Inventor
유키 야마모토
도루 치넨
히로유키 혼마
유키 미츠후지
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20180018852A publication Critical patent/KR20180018852A/ko
Application granted granted Critical
Publication of KR102015233B1 publication Critical patent/KR102015233B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388—Details of processing therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Error Detection And Correction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, 주파수 대역의 확대에 의해, 음악 신호를 보다 고음질로 재생할 수 있도록 하는 신호 처리 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법, 및 프로그램에 관한 것이다. 부호화 장치는, 16프레임으로 이루어지는 구간을 처리 대상 구간으로 하고, 처리 대상 구간마다, 입력 신호의 고역 성분을 얻기 위한 고역 부호화 데이터와, 입력 신호의 저역 신호를 부호화한 저역 부호화 데이터를 출력한다. 이때, 프레임마다, 고역 성분의 추정에 이용되는 계수가 선택되고, 처리 대상 구간이 동일한 계수가 선택된, 연속하는 프레임으로 이루어지는 연속 프레임 구간으로 분할된다. 그리고, 각 연속 프레임 구간의 길이를 나타내는 정보, 처리 대상 구간에 포함되는 연속 프레임 구간 수를 나타내는 정보 및 각 연속 프레임 구간에서 선택된 계수를 나타내는 계수 인덱스로 이루어지는 고역 부호화 데이터가 생성된다. 본 발명은, 부호화 장치에 적용할 수 있다.

Description

복호 장치 및 복호 방법{DECODER AND DECODING METHOD}
본 발명은 신호 처리 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법 및 프로그램에 관한 것으로, 특히 주파수 대역의 확대에 의해, 음악 신호를 보다 고음질로 재생할 수 있게 하는 신호 처리 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법 및 프로그램에 관한 것이다.
최근, 인터넷 등을 통해서 음악 데이터를 배신하는 음악 배신 서비스가 널리 퍼지고 있다. 이 음악 배신 서비스에서는, 음악 신호를 부호화함으로써 얻어지는 부호화 데이터를 음악 데이터로서 배신한다. 음악 신호의 부호화 방법으로서는, 다운로드 시에 시간이 걸리지 않도록, 부호화 데이터의 파일 용량을 억제하여 비트 레이트를 낮게 하는 부호화 방법이 주류가 되고 있다.
이러한 음악 신호의 부호화 방법으로서는, 크게 구별하여, MP3(MPEG(Moving Picture Experts Group) Audio Layer3)(국제 표준 규격 ISO/IEC 11172-3) 등의 부호화 방법이나 HE-AAC(High Efficiency MPEG4 AAC)(국제 표준 규격 ISO/IEC 14496-3) 등의 부호화 방법이 존재한다.
MP3로 대표되는 부호화 방법에서는, 음악 신호 중 사람의 귀에는 지각되기 어려운 약 15㎑ 이상의 고주파수 대역(이하, 고역이라 칭함)의 신호 성분을 삭제하고, 남은 저주파수 대역(이하, 저역이라 칭함)의 신호 성분을 부호화한다. 이러한 부호화 방법을, 이하 고역 삭제 부호화 방법이라 칭한다. 이 고역 삭제 부호화 방법에서는, 부호화 데이터의 파일 용량을 억제할 수 있다. 그러나, 고역의 음은, 희미하지만 사람이 지각할 수 있으므로, 부호화 데이터를 복호함으로써 얻어지는 복호 후의 음악 신호로부터, 음을 생성해서 출력하면, 원음이 갖는 현장감을 잃게 되거나, 음이 똑똑치못하다고 하는 음질의 열화가 생기는 경우가 있었다.
이에 반해, HE-AAC로 대표되는 부호화 방법에서는, 고역의 신호 성분으로부터 특징적인 정보를 추출하고, 저역의 신호 성분과 함께 부호화한다. 이러한 부호화 방법을, 이하 고역 특징 부호화 방법이라 칭한다. 이 고역 특징 부호화 방법에서는, 고역의 신호 성분의 특징적인 정보만을 고역의 신호 성분에 관한 정보로서 부호화하므로, 음질의 열화를 억제하면서, 부호화 효율을 향상시킬 수 있다.
이 고역 특징 부호화 방법으로 부호화된 부호화 데이터의 복호에 있어서는, 저역의 신호 성분과 특징적인 정보를 복호하고, 복호 후의 저역의 신호 성분과 특징적인 정보로부터, 고역의 신호 성분을 생성한다. 이와 같이, 고역의 신호 성분을, 저역의 신호 성분으로부터 생성함으로써, 저역의 신호 성분의 주파수 대역을 확대하는 기술을, 이하 대역 확대 기술이라 칭한다.
대역 확대 기술의 응용예 중 하나로서, 상술한 고역 삭제 부호화 방법에 의한 부호화 데이터의 복호 후의 후 처리가 있다. 이 후 처리에 있어서는, 부호화로 잃어버린 고역의 신호 성분을, 복호 후의 저역의 신호 성분으로부터 생성함으로써, 저역의 신호 성분의 주파수 대역을 확대한다(특허 문헌 1 참조). 또한, 특허 문헌 1의 주파수 대역 확대의 방법을, 이하 특허 문헌 1의 대역 확대 방법이라 칭한다.
특허 문헌 1의 대역 확대 방법에서는, 장치는 복호 후의 저역의 신호 성분을 입력 신호로 하고, 입력 신호의 파워 스펙트럼으로부터, 고역의 파워 스펙트럼(이하, 적절히, 고역의 주파수 포락이라 칭함)을 추정하고, 그 고역의 주파수 포락을 갖는 고역의 신호 성분을 저역의 신호 성분으로부터 생성한다.
도 1은 입력 신호로서의 복호 후의 저역의 파워 스펙트럼과, 추정한 고역의 주파수 포락의 일례를 도시하고 있다.
도 1에 있어서, 종축은 파워를 대수로 나타내고, 횡축은 주파수를 나타내고 있다.
장치는 입력 신호에 대한 부호화 방식의 종류나, 샘플링 레이트, 비트 레이트 등의 정보(이하, 사이드 정보라 칭함)로부터, 고역의 신호 성분의 저역단의 대역(이하, 확대 개시 대역이라 칭함)을 결정한다. 다음으로, 장치는, 저역의 신호 성분으로서의 입력 신호를 복수의 서브밴드 신호로 분할한다. 장치는, 분할 후의 복수의 서브밴드 신호, 즉 확대 개시 대역보다 저역측(이하, 간단히, 저역측이라 칭함)의 복수의 서브밴드 신호 각각의 파워의, 시간 방향에 대한 그룹마다의 평균(이하, 그룹 파워라 칭함)을 구한다. 도 1에 도시된 바와 같이, 장치는, 저역측의 복수의 서브밴드의 신호 각각의 그룹 파워의 평균을 파워라 하고, 또한 확대 개시 대역의 하단의 주파수를 주파수로 하는 점을 기점이라 한다. 장치는, 그 기점을 통과하는 소정의 기울기의 1차 직선을, 확대 개시 대역보다 고역측(이하, 간단히, 고역측이라 칭함)의 주파수 포락으로서 추정한다. 또한, 기점의 파워 방향에 대한 위치는, 유저에 의해 조정 가능하게 된다. 장치는, 고역측의 복수의 서브밴드의 신호 각각을, 추정한 고역측의 주파수 포락으로 되도록, 저역측의 복수의 서브밴드의 신호로부터 생성한다. 장치는, 생성한 고역측의 복수의 서브밴드의 신호를 가산해서 고역의 신호 성분으로 하고, 또한 저역의 신호 성분을 가산해서 출력한다. 이에 의해, 주파수 대역의 확대 후의 음악 신호는, 본래의 음악 신호에 보다 가까운 것으로 된다. 따라서, 보다 고음질의 음악 신호를 재생하는 것이 가능해진다.
상술한 특허 문헌 1의 대역 확대 방법은, 다양한 고역 삭제 부호화 방법이나 다양한 비트 레이트의 부호화 데이터에 대해서, 그 부호화 데이터의 복호 후의 음악 신호에 대한 주파수 대역을 확대할 수 있다고 하는 특징을 갖는다.
일본 특허 출원 공개 제2008-139844호 공보
그러나, 특허 문헌 1의 대역 확대 방법은, 추정한 고역측의 주파수 포락이 소정의 기울기의 1차 직선으로 되어 있는 점에서, 즉 주파수 포락의 형상이 고정으로 되어 있는 점에서 개선의 여지가 있다.
즉, 음악 신호의 파워 스펙트럼은 다양한 형상을 갖고 있으며, 음악 신호의 종류에 따라서는, 특허 문헌 1의 대역 확대 방법에 의해 추정되는 고역측의 주파수 포락으로부터 크게 벗어나는 경우도 적지 않다.
도 2는, 예를 들면 드럼을 한번 강하게 두드렸을 때와 같은, 시간적으로 급격한 변화를 수반하는 어택성의 음악 신호(어택성 음악 신호)의 본래의 파워 스펙트럼의 일례를 도시하고 있다.
또한, 도 2에는, 특허 문헌 1의 대역 확대 방법에 의해, 어택성 음악 신호 중 저역측의 신호 성분을 입력 신호로 하고, 그 입력 신호로부터 추정한 고역측의 주파수 포락에 대해서도 함께 도시되어 있다.
도 2에 도시된 바와 같이, 어택성 음악 신호의 본래의 고역측의 파워 스펙트럼은, 거의 평탄해져 있다.
이에 반해, 추정한 고역측의 주파수 포락은, 소정의 마이너스의 기울기를 갖고 있으며, 기점에서 본래의 파워 스펙트럼에 가까운 파워로 조절했다고 해도, 주파수가 높아짐에 따라 본래의 파워 스펙트럼과의 차가 커진다.
이와 같이, 특허 문헌 1의 대역 확대 방법에서는, 추정한 고역측의 주파수 포락은, 본래의 고역측의 주파수 포락을 고정밀도로 재현할 수 없다. 그 결과, 주파수 대역의 확대 후의 음악 신호로부터 음을 생성해서 출력하면, 청감 상, 원음보다도 음의 명료성을 잃게 되는 경우가 있었다.
또한, 상술한 HE-AAC 등의 고역 특징 부호화 방법에서는, 부호화되는 고역의 신호 성분의 특징적인 정보로서, 고역측의 주파수 포락이 이용되지만, 복호측에서 본래의 고역측의 주파수 포락을 고정밀도로 재현하는 것이 요구된다.
본 발명은, 이러한 상황을 감안하여 이루어진 것으로, 주파수 대역의 확대에 의해, 음악 신호를 보다 고음질로 재생할 수 있도록 하는 것이다.
본 발명의 제1 측면의 신호 처리 장치는, 복수의 프레임으로 이루어지는 처리 대상 구간 내에 있어서의, 고역 신호의 생성에 이용하는 동일한 계수가 선택된 프레임으로 이루어지는 구간에 관한 정보 및 상기 구간의 프레임에서 선택된 상기 계수를 얻기 위한 계수 정보로 이루어지는 데이터와, 저역 부호화 데이터로, 입력된 부호화 데이터를 비다중화하는 비다중화부와, 상기 저역 부호화 데이터를 복호하여 저역 신호를 생성하는 저역 복호부와, 상기 데이터에 기초하여, 복수의 상기 계수로부터, 처리 대상 프레임의 상기 계수를 선택하는 선택부와, 상기 처리 대상 프레임의 상기 저역 신호를 구성하는 각 서브밴드의 저역 서브밴드 신호와, 선택된 상기 계수에 기초하여, 상기 처리 대상 프레임의 상기 고역 신호를 구성하는 각 서브밴드의 고역 서브밴드 신호의 고역 서브밴드 파워를 산출하는 고역 서브밴드 파워 산출부와, 상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여, 상기 처리 대상 프레임의 상기 고역 신호를 생성하는 고역 신호 생성부를 구비한다.
서로 다른 상기 계수가 선택된, 서로 인접하는 프레임의 위치가 상기 구간의 경계 위치로 되도록 상기 처리 대상 구간이 상기 구간으로 분할되고, 각 상기 구간의 길이를 나타내는 정보가, 상기 구간에 관한 정보로 되도록 할 수 있다.
상기 구간의 길이가 가장 길어지도록, 상기 처리 대상 구간이 동일한 길이의 몇 개의 상기 구간으로 분할되고, 상기 길이를 나타내는 정보와, 상기 구간의 경계 위치의 전후에서, 선택된 상기 계수가 변화하였는지를 나타내는 정보가, 상기 구간에 관한 정보로 되도록 할 수 있다.
연속하는 몇 개의 상기 구간에서 동일한 상기 계수가 선택된 경우, 상기 데이터에는, 상기 연속하는 몇 개의 상기 구간에서 선택된 상기 계수를 얻기 위한 1개의 상기 계수 정보가 포함되어 있도록 할 수 있다.
상기 데이터는, 서로 다른 상기 계수가 선택된, 서로 인접하는 프레임의 위치가 상기 구간의 경계 위치로 되도록 상기 처리 대상 구간을 상기 구간으로 분할하고, 각 상기 구간의 길이를 나타내는 정보를, 상기 구간에 관한 정보로 하는 제1 방식과, 상기 구간의 길이가 가장 길어지도록, 상기 처리 대상 구간을 동일한 길이의 몇 개의 상기 구간으로 분할하고, 상기 길이를 나타내는 정보 및 상기 구간의 경계 위치의 전후에서, 선택된 상기 계수가 변화하였는지를 나타내는 정보를, 상기 구간에 관한 정보로 하는 제2 방식 중, 보다 데이터양이 적은 방식으로 상기 처리 대상 구간마다 생성되고, 상기 데이터에는, 상기 제1 방식 또는 상기 제2 방식 중 어느 방식의 데이터인지를 나타내는 정보가 더 포함되어 있도록 할 수 있다.
상기 데이터에는, 상기 처리 대상 구간의 최초 프레임의 상기 계수와, 상기 최초 프레임의 직전 프레임의 상기 계수가 동일한지를 나타내는 재이용 정보가 더 포함되고, 상기 데이터에, 상기 계수가 동일하다는 취지의 상기 재이용 정보가 포함되는 경우, 상기 데이터에는, 상기 처리 대상 구간의 최초 상기 구간의 상기 계수 정보가 포함되어 있지 않게 할 수 있다.
상기 계수 정보가 재이용되는 모드가 지정된 경우, 상기 데이터에는 상기 재이용 정보가 포함되고, 상기 계수 정보의 재이용이 금지되는 모드가 지정된 경우, 상기 데이터에는, 상기 재이용 정보가 포함되지 않게 할 수 있다.
본 발명의 제1 측면의 신호 처리 방법 또는 프로그램은, 복수의 프레임으로 이루어지는 처리 대상 구간 내에 있어서의, 고역 신호의 생성에 이용하는 동일한 계수가 선택된 프레임으로 이루어지는 구간에 관한 정보 및 상기 구간의 프레임에서 선택된 상기 계수를 얻기 위한 계수 정보로 이루어지는 데이터와, 저역 부호화 데이터로, 입력된 부호화 데이터를 비다중화하고, 상기 저역 부호화 데이터를 복호하여 저역 신호를 생성하고, 상기 데이터에 기초하여, 복수의 상기 계수로부터, 처리 대상 프레임의 상기 계수를 선택하고, 상기 처리 대상 프레임의 상기 저역 신호를 구성하는 각 서브밴드의 저역 서브밴드 신호와, 선택된 상기 계수에 기초하여, 상기 처리 대상 프레임의 상기 고역 신호를 구성하는 각 서브밴드의 고역 서브밴드 신호의 고역 서브밴드 파워를 산출하고, 상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여, 상기 처리 대상 프레임의 상기 고역 신호를 생성하는 스텝을 포함한다.
본 발명의 제1 측면에 있어서는, 복수의 프레임으로 이루어지는 처리 대상 구간 내에 있어서의, 고역 신호의 생성에 이용하는 동일한 계수가 선택된 프레임으로 이루어지는 구간에 관한 정보 및 상기 구간의 프레임에서 선택된 상기 계수를 얻기 위한 계수 정보로 이루어지는 데이터와, 저역 부호화 데이터로, 입력된 부호화 데이터가 비다중화되고, 상기 저역 부호화 데이터가 복호되어 저역 신호가 생성되고, 상기 데이터에 기초하여, 복수의 상기 계수로부터, 처리 대상 프레임의 상기 계수가 선택되고, 상기 처리 대상 프레임의 상기 저역 신호를 구성하는 각 서브밴드의 저역 서브밴드 신호와, 선택된 상기 계수에 기초하여, 상기 처리 대상 프레임의 상기 고역 신호를 구성하는 각 서브밴드의 고역 서브밴드 신호의 고역 서브밴드 파워가 산출되고, 상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여, 상기 처리 대상 프레임의 상기 고역 신호가 생성된다.
본 발명의 제2 측면의 신호 처리 장치는, 입력 신호의 저역측의 복수의 서브밴드의 저역 서브밴드 신호와, 상기 입력 신호의 고역측의 복수의 서브밴드의 고역 서브밴드 신호를 생성하는 서브밴드 분할부와, 상기 저역 서브밴드 신호와 소정의 계수에 기초하여, 상기 고역 서브밴드 신호의 파워의 추정값인 의사 고역 서브밴드 파워를 산출하는 의사 고역 서브밴드 파워 산출부와, 상기 고역 서브밴드 신호의 고역 서브밴드 파워와, 상기 의사 고역 서브밴드 파워를 비교하여, 상기 입력 신호의 프레임마다, 복수의 상기 계수 중 어느 하나를 선택하는 선택부와, 상기 입력 신호의 복수의 프레임으로 이루어지는 처리 대상 구간 내에 있어서의, 동일한 상기 계수가 선택된 프레임으로 이루어지는 구간에 관한 정보와, 상기 구간의 프레임에서 선택된 상기 계수를 얻기 위한 계수 정보로 이루어지는 데이터를 생성하는 생성부를 구비한다.
상기 생성부에는, 서로 다른 상기 계수가 선택된, 서로 인접하는 프레임의 위치가 상기 구간의 경계 위치로 되도록 상기 처리 대상 구간을 상기 구간으로 분할하고, 각 상기 구간의 길이를 나타내는 정보를, 상기 구간에 관한 정보로 하게 할 수 있다.
상기 생성부에는, 상기 구간의 길이가 가장 길어지도록, 상기 처리 대상 구간을 동일한 길이의 몇 개의 상기 구간으로 분할시키고, 상기 길이를 나타내는 정보와, 상기 구간의 경계 위치의 전후에서, 선택된 상기 계수가 변화하였는지를 나타내는 정보를, 상기 구간에 관한 정보로 하게 할 수 있다.
상기 생성부에는, 연속하는 몇 개의 상기 구간에서 동일한 상기 계수가 선택된 경우, 상기 연속하는 몇 개의 상기 구간에서 선택된 상기 계수를 얻기 위한 1개의 상기 계수 정보를 포함하는 상기 데이터를 생성시킬 수 있다.
상기 생성부에는, 서로 다른 상기 계수가 선택된, 서로 인접하는 프레임의 위치가 상기 구간의 경계 위치로 되도록 상기 처리 대상 구간을 상기 구간으로 분할하고, 각 상기 구간의 길이를 나타내는 정보를, 상기 구간에 관한 정보로 하는 제1 방식과, 상기 구간의 길이가 가장 길어지도록, 상기 처리 대상 구간을 동일한 길이의 몇 개의 상기 구간으로 분할하고, 상기 길이를 나타내는 정보 및 상기 구간의 경계 위치의 전후에서, 선택된 상기 계수가 변화하였는지를 나타내는 정보를, 상기 구간에 관한 정보로 하는 제2 방식 중, 보다 데이터양이 적은 방식으로 상기 처리 대상 구간마다, 상기 데이터를 생성시킬 수 있다.
상기 데이터에는, 상기 제1 방식 또는 상기 제2 방식 중 어느 방식의 데이터인지를 나타내는 정보가 더 포함되어 있도록 할 수 있다.
상기 생성부에는, 상기 처리 대상 구간의 최초 프레임의 상기 계수와, 상기 최초 프레임의 직전 프레임의 상기 계수가 동일한지를 나타내는 재이용 정보가 더 포함되는 상기 데이터를 생성시키고, 상기 계수가 동일하다는 취지의 상기 재이용 정보가 상기 데이터에 포함되는 경우, 상기 처리 대상 구간의 최초 상기 구간의 상기 계수 정보가 포함되지 않는 상기 데이터가 생성되도록 할 수 있다.
상기 생성부에는, 상기 계수 정보가 재이용되는 모드가 지정된 경우, 상기 재이용 정보를 포함하는 상기 데이터를 생성시키고, 상기 계수 정보의 재이용이 금지되는 모드가 지정된 경우, 상기 재이용 정보가 포함되지 않는 상기 데이터를 생성시킬 수 있다.
본 발명의 제2 측면의 신호 처리 방법 또는 프로그램은, 입력 신호의 저역측의 복수의 서브밴드의 저역 서브밴드 신호와, 상기 입력 신호의 고역측의 복수의 서브밴드의 고역 서브밴드 신호를 생성하고, 상기 저역 서브밴드 신호와 소정의 계수에 기초하여, 상기 고역 서브밴드 신호의 파워의 추정값인 의사 고역 서브밴드 파워를 산출하고, 상기 고역 서브밴드 신호의 고역 서브밴드 파워와, 상기 의사 고역 서브밴드 파워를 비교하여, 상기 입력 신호의 프레임마다, 복수의 상기 계수 중 어느 하나를 선택하고, 상기 입력 신호의 복수의 프레임으로 이루어지는 처리 대상 구간 내에 있어서의, 동일한 상기 계수가 선택된 프레임으로 이루어지는 구간에 관한 정보와, 상기 구간의 프레임에서 선택된 상기 계수를 얻기 위한 계수 정보로 이루어지는 데이터를 생성하는 스텝을 포함한다.
본 발명의 제2 측면에 있어서는, 입력 신호의 저역측의 복수의 서브밴드의 저역 서브밴드 신호와, 상기 입력 신호의 고역측의 복수의 서브밴드의 고역 서브밴드 신호가 생성되고, 상기 저역 서브밴드 신호와 소정의 계수에 기초하여, 상기 고역 서브밴드 신호의 파워의 추정값인 의사 고역 서브밴드 파워가 산출되고, 상기 고역 서브밴드 신호의 고역 서브밴드 파워와, 상기 의사 고역 서브밴드 파워가 비교되어, 상기 입력 신호의 프레임마다, 복수의 상기 계수 중 어느 하나가 선택되고, 상기 입력 신호의 복수의 프레임으로 이루어지는 처리 대상 구간 내에 있어서의, 동일한 상기 계수가 선택된 프레임으로 이루어지는 구간에 관한 정보와, 상기 구간의 프레임에서 선택된 상기 계수를 얻기 위한 계수 정보로 이루어지는 데이터가 생성된다.
본 발명의 제3 측면의 복호 장치는, 복수의 프레임으로 이루어지는 처리 대상 구간 내에 있어서의, 고역 신호의 생성에 이용하는 동일한 계수가 선택된 프레임으로 이루어지는 구간에 관한 정보 및 상기 구간의 프레임에서 선택된 상기 계수를 얻기 위한 계수 정보로 이루어지는 데이터와, 저역 부호화 데이터로, 입력된 부호화 데이터를 비다중화하는 비다중화부와, 상기 저역 부호화 데이터를 복호하여 저역 신호를 생성하는 저역 복호부와, 상기 데이터에 기초하여, 복수의 상기 계수로부터, 처리 대상 프레임의 상기 계수를 선택하는 선택부와, 상기 처리 대상 프레임의 상기 저역 신호를 구성하는 각 서브밴드의 저역 서브밴드 신호와, 선택된 상기 계수에 기초하여, 상기 처리 대상 프레임의 상기 고역 신호를 구성하는 각 서브밴드의 고역 서브밴드 신호의 고역 서브밴드 파워를 산출하는 고역 서브밴드 파워 산출부와, 상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여, 상기 처리 대상 프레임의 상기 고역 신호를 생성하는 고역 신호 생성부와, 상기 저역 신호와 상기 고역 신호를 합성하여, 출력 신호를 생성하는 합성부를 구비한다.
본 발명의 제3 측면의 복호 방법은, 복수의 프레임으로 이루어지는 처리 대상 구간 내에 있어서의, 고역 신호의 생성에 이용하는 동일한 계수가 선택된 프레임으로 이루어지는 구간에 관한 정보 및 상기 구간의 프레임에서 선택된 상기 계수를 얻기 위한 계수 정보로 이루어지는 데이터와, 저역 부호화 데이터로, 입력된 부호화 데이터를 비다중화하고, 상기 저역 부호화 데이터를 복호하여 저역 신호를 생성하고, 상기 데이터에 기초하여, 복수의 상기 계수로부터, 처리 대상 프레임의 상기 계수를 선택하고, 상기 처리 대상 프레임의 상기 저역 신호를 구성하는 각 서브밴드의 저역 서브밴드 신호와, 선택된 상기 계수에 기초하여, 상기 처리 대상 프레임의 상기 고역 신호를 구성하는 각 서브밴드의 고역 서브밴드 신호의 고역 서브밴드 파워를 산출하고, 상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여, 상기 처리 대상 프레임의 상기 고역 신호를 생성하고, 상기 저역 신호와 상기 고역 신호를 합성하여, 출력 신호를 생성하는 스텝을 포함한다.
본 발명의 제3 측면에 있어서는, 복수의 프레임으로 이루어지는 처리 대상 구간 내에 있어서의, 고역 신호의 생성에 이용하는 동일한 계수가 선택된 프레임으로 이루어지는 구간에 관한 정보 및 상기 구간의 프레임에서 선택된 상기 계수를 얻기 위한 계수 정보로 이루어지는 데이터와, 저역 부호화 데이터로, 입력된 부호화 데이터가 비다중화되고, 상기 저역 부호화 데이터가 복호되어 저역 신호가 생성되고, 상기 데이터에 기초하여, 복수의 상기 계수로부터, 처리 대상 프레임의 상기 계수가 선택되고, 상기 처리 대상 프레임의 상기 저역 신호를 구성하는 각 서브밴드의 저역 서브밴드 신호와, 선택된 상기 계수에 기초하여, 상기 처리 대상 프레임의 상기 고역 신호를 구성하는 각 서브밴드의 고역 서브밴드 신호의 고역 서브밴드 파워가 산출되고, 상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여, 상기 처리 대상 프레임의 상기 고역 신호가 생성되고, 상기 저역 신호와 상기 고역 신호가 합성되어, 출력 신호가 생성된다.
본 발명의 제4 측면의 부호화 장치는, 입력 신호의 저역측의 복수의 서브밴드의 저역 서브밴드 신호와, 상기 입력 신호의 고역측의 복수의 서브밴드의 고역 서브밴드 신호를 생성하는 서브밴드 분할부와, 상기 저역 서브밴드 신호와 소정의 계수에 기초하여, 상기 고역 서브밴드 신호의 파워의 추정값인 의사 고역 서브밴드 파워를 산출하는 의사 고역 서브밴드 파워 산출부와, 상기 고역 서브밴드 신호의 고역 서브밴드 파워와, 상기 의사 고역 서브밴드 파워를 비교하여, 상기 입력 신호의 프레임마다, 복수의 상기 계수 중 어느 하나를 선택하는 선택부와, 상기 입력 신호의 복수의 프레임으로 이루어지는 처리 대상 구간 내에 있어서의, 동일한 상기 계수가 선택된 프레임으로 이루어지는 구간에 관한 정보와, 상기 구간의 프레임에서 선택된 상기 계수를 얻기 위한 계수 정보를 부호화하여 고역 부호화 데이터를 생성하는 고역 부호화부와, 상기 입력 신호의 저역 신호를 부호화하여 저역 부호화 데이터를 생성하는 저역 부호화부와, 상기 저역 부호화 데이터와 상기 고역 부호화 데이터를 다중화하여 출력 부호열을 생성하는 다중화부를 구비한다.
본 발명의 제4 측면의 부호화 방법은, 입력 신호의 저역측의 복수의 서브밴드의 저역 서브밴드 신호와, 상기 입력 신호의 고역측의 복수의 서브밴드의 고역 서브밴드 신호를 생성하고, 상기 저역 서브밴드 신호와 소정의 계수에 기초하여, 상기 고역 서브밴드 신호의 파워의 추정값인 의사 고역 서브밴드 파워를 산출하고, 상기 고역 서브밴드 신호의 고역 서브밴드 파워와, 상기 의사 고역 서브밴드 파워를 비교하여, 상기 입력 신호의 프레임마다, 복수의 상기 계수 중 어느 하나를 선택하고, 상기 입력 신호의 복수의 프레임으로 이루어지는 처리 대상 구간 내에 있어서의, 동일한 상기 계수가 선택된 프레임으로 이루어지는 구간에 관한 정보와, 상기 구간의 프레임에서 선택된 상기 계수를 얻기 위한 계수 정보를 부호화하여 고역 부호화 데이터를 생성하고, 상기 입력 신호의 저역 신호를 부호화하여 저역 부호화 데이터를 생성하고, 상기 저역 부호화 데이터와 상기 고역 부호화 데이터를 다중화하여 출력 부호열을 생성하는 스텝을 포함한다.
본 발명의 제4 측면에 있어서는, 입력 신호의 저역측의 복수의 서브밴드의 저역 서브밴드 신호와, 상기 입력 신호의 고역측의 복수의 서브밴드의 고역 서브밴드 신호가 생성되고, 상기 저역 서브밴드 신호와 소정의 계수에 기초하여, 상기 고역 서브밴드 신호의 파워의 추정값인 의사 고역 서브밴드 파워가 산출되고, 상기 고역 서브밴드 신호의 고역 서브밴드 파워와, 상기 의사 고역 서브밴드 파워가 비교되어, 상기 입력 신호의 프레임마다, 복수의 상기 계수 중 어느 하나가 선택되고, 상기 입력 신호의 복수의 프레임으로 이루어지는 처리 대상 구간 내에 있어서의, 동일한 상기 계수가 선택된 프레임으로 이루어지는 구간에 관한 정보와, 상기 구간의 프레임에서 선택된 상기 계수를 얻기 위한 계수 정보가 부호화되어 고역 부호화 데이터가 생성되고, 상기 입력 신호의 저역 신호가 부호화되어 저역 부호화 데이터가 생성되고, 상기 저역 부호화 데이터와 상기 고역 부호화 데이터가 다중화되어 출력 부호열이 생성된다.
본 발명의 제1 내지 제4 측면에 따르면, 주파수 대역의 확대에 의해, 음악 신호를 보다 고음질로 재생할 수 있다.
도 1은 입력 신호로서의 복호 후의 저역의 파워 스펙트럼과, 추정한 고역의 주파수 포락의 일례를 도시하는 도면.
도 2는 시간적으로 급격한 변화를 수반하는 어택성의 음악 신호의 본래의 파워 스펙트럼의 일례를 도시하는 도면.
도 3은 본 발명의 제1 실시 형태에 있어서의 주파수 대역 확대 장치의 기능적 구성예를 도시하는 블록도.
도 4는 도 3의 주파수 대역 확대 장치에 의한 주파수 대역 확대 처리의 예를 설명하는 플로우차트.
도 5는 도 3의 주파수 대역 확대 장치에 입력되는 신호의 파워 스펙트럼과 대역 통과 필터의 주파수축 상의 배치를 도시하는 도면.
도 6은 보컬 구간의 주파수 특성과, 추정된 고역의 파워 스펙트럼의 예를 도시하는 도면.
도 7은 도 3의 주파수 대역 확대 장치에 입력되는 신호의 파워 스펙트럼의 예를 도시하는 도면.
도 8은 도 7의 입력 신호의 리프터링 후의 파워 스펙트럼의 예를 도시하는 도면.
도 9는 도 3의 주파수 대역 확대 장치의 고역 신호 생성 회로에서 이용되는 계수의 학습을 행하기 위한 계수 학습 장치의 기능적 구성예를 도시하는 블록도.
도 10은 도 9의 계수 학습 장치에 의한 계수 학습 처리의 예를 설명하는 플로우차트.
도 11은 본 발명의 제2 실시 형태에 있어서의 부호화 장치의 기능적 구성예를 도시하는 블록도.
도 12는 도 11의 부호화 장치에 의한 부호화 처리의 예를 설명하는 플로우차트.
도 13은 본 발명의 제2 실시 형태에 있어서의 복호 장치의 기능적 구성예를 도시하는 블록도.
도 14는 도 13의 복호 장치에 의한 복호 처리의 예를 설명하는 플로우차트.
도 15는 도 11의 부호화 장치의 고역 부호화 회로에서 이용되는 대표 벡터 및 도 13의 복호 장치의 고역 복호 회로에서 이용되는 복호 고역 서브밴드 파워 추정 계수의 학습을 행하기 위한 계수 학습 장치의 기능적 구성예를 도시하는 블록도.
도 16은 도 15의 계수 학습 장치에 의한 계수 학습 처리의 예를 설명하는 플로우차트.
도 17은 도 11의 부호화 장치가 출력하는 부호열의 예를 도시하는 도면.
도 18은 부호화 장치의 기능적 구성예를 도시하는 블록도.
도 19는 부호화 처리를 설명하는 플로우차트.
도 20은 복호 장치의 기능적 구성예를 도시하는 블록도.
도 21은 복호 처리를 설명하는 플로우차트.
도 22는 부호화 처리를 설명하는 플로우차트.
도 23은 복호 처리를 설명하는 플로우차트.
도 24는 부호화 처리를 설명하는 플로우차트.
도 25는 부호화 처리를 설명하는 플로우차트.
도 26은 부호화 처리를 설명하는 플로우차트.
도 27은 부호화 처리를 설명하는 플로우차트.
도 28은 계수 학습 장치의 구성 예를 도시하는 도면.
도 29는 계수 학습 처리를 설명하는 플로우차트.
도 30은 계수 인덱스열의 부호량 삭감에 대해서 설명하는 도면.
도 31은 계수 인덱스열의 부호량 삭감에 대해서 설명하는 도면.
도 32는 계수 인덱스열의 부호량 삭감에 대해서 설명하는 도면.
도 33은 부호화 장치의 기능적 구성예를 도시하는 블록도.
도 34는 부호화 처리를 설명하는 플로우차트.
도 35는 복호 장치의 기능적 구성예를 도시하는 블록도.
도 36은 복호 처리를 설명하는 플로우차트.
도 37은 계수 인덱스열의 부호량 삭감에 대해서 설명하는 도면.
도 38은 부호화 장치의 기능적 구성예를 도시하는 블록도.
도 39는 부호화 처리를 설명하는 플로우차트.
도 40은 복호 장치의 기능적 구성예를 도시하는 블록도.
도 41은 복호 처리를 설명하는 플로우차트.
도 42는 부호화 장치의 기능적 구성예를 도시하는 블록도.
도 43은 부호화 처리를 설명하는 플로우차트.
도 44는 복호 장치의 기능적 구성예를 도시하는 블록도.
도 45는 복호 처리를 설명하는 플로우차트.
도 46은 계수 인덱스의 재이용에 대해서 설명하는 도면.
도 47은 부호화 처리를 설명하는 플로우차트.
도 48은 복호 처리를 설명하는 플로우차트.
도 49는 부호화 처리를 설명하는 플로우차트.
도 50은 복호 처리를 설명하는 플로우차트.
도 51은 본 발명이 적용되는 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도.
이하, 본 발명의 실시 형태에 대해서 도면을 참조하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1 실시 형태(주파수 대역 확대 장치에 본 발명을 적용한 경우)
2. 제2 실시 형태(부호화 장치 및 복호 장치에 본 발명을 적용한 경우)
3. 제3 실시 형태(계수 인덱스를 고역 부호화 데이터에 포함시킨 경우)
4. 제4 실시 형태(계수 인덱스와 의사 고역 서브밴드 파워 차분을 고역 부호화 데이터에 포함시킨 경우)
5. 제5 실시 형태(평가값을 이용해서 계수 인덱스를 선택한 경우)
6. 제6 실시 형태(계수의 일부를 공통으로 하는 경우)
7. 제7 실시 형태(가변 길이 방식으로 시간 방향으로 계수 인덱스열의 부호량을 삭감하는 경우)
8. 제8 실시 형태(고정 길이 방식으로 시간 방향으로 계수 인덱스열의 부호량을 삭감하는 경우)
9. 제9 실시 형태(가변 길이 방식 또는 고정 길이 방식 중 어느 하나를 선택하는 경우)
10. 제(10) 실시 형태(가변 길이 방식으로 정보의 재이용을 행하는 경우)
11. 제(11) 실시 형태(고정 길이 방식으로 정보의 재이용을 행하는 경우)
<1. 제1 실시 형태>
제1 실시 형태에서는, 고역 삭제 부호화 방법에서 부호화 데이터를 복호함으로써 얻어지는 복호 후의 저역의 신호 성분에 대하여, 주파수 대역을 확대시키는 처리(이하, 주파수 대역 확대 처리라 칭함)가 실시된다.
[주파수 대역 확대 장치의 기능적 구성예]
도 3은 본 발명을 적용한 주파수 대역 확대 장치의 기능적 구성예를 도시하고 있다.
주파수 대역 확대 장치(10)는, 복호 후의 저역의 신호 성분을 입력 신호로 하고, 그 입력 신호에 대하여, 주파수 대역 확대 처리를 실시하고, 그 결과 얻어지는 주파수 대역 확대 처리 후의 신호를 출력 신호로서 출력한다.
주파수 대역 확대 장치(10)는, 저역 통과 필터(11), 지연 회로(12), 대역 통과 필터(13), 특징량 산출 회로(14), 고역 서브밴드 파워 추정 회로(15), 고역 신호 생성 회로(16), 고역 통과 필터(17) 및 신호 가산기(18)로 구성된다.
저역 통과 필터(11)는, 입력 신호를 소정의 차단 주파수로 필터링하고, 필터링 후의 신호로서, 저역의 신호 성분인 저역 신호 성분을 지연 회로(12)에 공급한다.
지연 회로(12)는, 저역 통과 필터(11)로부터의 저역 신호 성분과 후술하는 고역 신호 성분을 가산할 때의 동기를 취하기 위해서, 저역 신호 성분을, 일정한 지연 시간만큼 지연해서 신호 가산기(18)에 공급한다.
대역 통과 필터(13)는, 각각 서로 다른 통과 대역을 갖는 대역 통과 필터(13-1 ~ 13-N)로 구성된다. 대역 통과 필터(13-i)(1≤i≤N)는, 입력 신호 중 소정의 통과 대역의 신호를 통과시켜, 복수의 서브밴드 신호 중 하나로서, 특징량 산출 회로(14) 및 고역 신호 생성 회로(16)에 공급한다.
특징량 산출 회로(14)는, 대역 통과 필터(13)로부터의 복수의 서브밴드 신호와 입력 신호 중 적어도 어느 한쪽을 이용하여, 하나 또는 복수의 특징량을 산출하고, 고역 서브밴드 파워 추정 회로(15)에 공급한다. 여기서, 특징량이란, 입력 신호의, 신호로서의 특징을 나타내는 정보이다.
고역 서브밴드 파워 추정 회로(15)는, 특징량 산출 회로(14)로부터의, 하나 또는 복수의 특징량에 기초하여, 고역의 서브밴드 신호의 파워인 고역 서브밴드 파워의 추정값을 고역 서브밴드마다 산출하고, 이들을 고역 신호 생성 회로(16)에 공급한다.
고역 신호 생성 회로(16)는, 대역 통과 필터(13)로부터의 복수의 서브밴드 신호와, 고역 서브밴드 파워 추정 회로(15)로부터의 복수의 고역 서브밴드 파워의 추정값에 기초하여, 고역의 신호 성분인 고역 신호 성분을 생성하고, 고역 통과 필터(17)에 공급한다.
고역 통과 필터(17)는, 고역 신호 생성 회로(16)로부터의 고역 신호 성분을, 저역 통과 필터(11)에 있어서의 차단 주파수에 대응하는 차단 주파수로 필터링하고, 신호 가산기(18)에 공급한다.
신호 가산기(18)는, 지연 회로(12)로부터의 저역 신호 성분과, 고역 통과 필터(17)로부터의 고역 신호 성분을 가산하고, 출력 신호로서 출력한다.
또한, 도 3의 구성에 있어서는, 서브밴드 신호를 취득하기 위해서 대역 통과 필터(13)를 적용하도록 했지만, 이에 한정하지 않고, 예를 들면 특허 문헌 1에 기재되어 있는 것과 같은 대역 분할 필터를 적용하도록 해도 된다.
또한 마찬가지로, 도 3의 구성에 있어서는, 서브밴드 신호를 합성하기 위해서 신호 가산기(18)를 적용하도록 했지만, 이에 한정하지 않고, 예를 들면 특허 문헌 1에 기재되어 있는 것과 같은 대역 합성 필터를 적용하도록 해도 된다.
[주파수 대역 확대 장치의 주파수 대역 확대 처리]
다음으로, 도 4의 플로우차트를 참조하여, 도 3의 주파수 대역 확대 장치에 의한 주파수 대역 확대 처리에 대해서 설명한다.
스텝 S1에 있어서, 저역 통과 필터(11)는, 입력 신호를 소정의 차단 주파수로 필터링하고, 필터링 후의 신호로서의 저역 신호 성분을 지연 회로(12)에 공급한다.
저역 통과 필터(11)는, 차단 주파수로서 임의의 주파수를 설정하는 것이 가능하지만, 본 실시 형태에서는, 소정의 대역을 후술하는 확대 개시 대역으로서, 그 확대 개시 대역의 하단의 주파수에 대응해서 차단 주파수가 설정된다. 따라서, 저역 통과 필터(11)는, 필터링 후의 신호로서, 확대 개시 대역보다 저역의 신호 성분인 저역 신호 성분을, 지연 회로(12)에 공급한다.
또한, 저역 통과 필터(11)는, 입력 신호의 고역 삭제 부호화 방법이나 비트 레이트 등의 부호화 파라미터에 따라서, 최적의 주파수를 차단 주파수로서 설정할 수도 있다. 이 부호화 파라미터로서는, 예를 들면 특허 문헌 1의 대역 확대 방법으로 채용되고 있는 사이드 정보를 이용할 수 있다.
스텝 S2에 있어서, 지연 회로(12)는, 저역 통과 필터(11)로부터의 저역 신호 성분을 일정한 지연 시간만큼 지연해서 신호 가산기(18)에 공급한다.
스텝 S3에 있어서, 대역 통과 필터(13)(대역 통과 필터(13-1 ~ 13-N))는, 입력 신호를 복수의 서브밴드 신호로 분할하고, 분할 후의 복수의 서브밴드 신호 각각을, 특징량 산출 회로(14) 및 고역 신호 생성 회로(16)에 공급한다. 또한, 대역 통과 필터(13)에 의한 입력 신호의 분할의 처리에 대해서는, 그 상세를 후술한다.
스텝 S4에 있어서, 특징량 산출 회로(14)는, 대역 통과 필터(13)로부터의 복수의 서브밴드 신호와 입력 신호 중 적어도 어느 한쪽을 이용하여, 하나 또는 복수의 특징량을 산출하고, 고역 서브밴드 파워 추정 회로(15)에 공급한다. 또한, 특징량 산출 회로(14)에 의한 특징량의 산출의 처리에 대해서는, 그 상세를 후술한다.
스텝 S5에 있어서, 고역 서브밴드 파워 추정 회로(15)는, 특징량 산출 회로(14)로부터의, 하나 또는 복수의 특징량에 기초하여, 복수의 고역 서브밴드 파워의 추정값을 산출하고, 고역 신호 생성 회로(16)에 공급한다. 또한, 고역 서브밴드 파워 추정 회로(15)에 의한 고역 서브밴드 파워의 추정값의 산출의 처리에 대해서는, 그 상세를 후술한다.
스텝 S6에 있어서, 고역 신호 생성 회로(16)는, 대역 통과 필터(13)로부터의 복수의 서브밴드 신호와, 고역 서브밴드 파워 추정 회로(15)로부터의 복수의 고역 서브밴드 파워의 추정값에 기초하여, 고역 신호 성분을 생성하고, 고역 통과 필터(17)에 공급한다. 여기에서 말하는 고역 신호 성분이란, 확대 개시 대역보다 고역의 신호 성분이다. 또한, 고역 신호 생성 회로(16)에 의한 고역 신호 성분의 생성의 처리에 대해서는, 그 상세를 후술한다.
스텝 S7에 있어서, 고역 통과 필터(17)는, 고역 신호 생성 회로(16)로부터의 고역 신호 성분을 필터링함으로써, 고역 신호 성분에 포함되는 저역으로의 폴딩 성분 등의 노이즈를 제거하고, 그 고역 신호 성분을 신호 가산기(18)에 공급한다.
스텝 S8에 있어서, 신호 가산기(18)는, 지연 회로(12)로부터의 저역 신호 성분과, 고역 통과 필터(17)로부터의 고역 신호 성분을 가산하고, 출력 신호로서 출력한다.
이상의 처리에 따르면, 복호 후의 저역의 신호 성분에 대하여, 주파수 대역을 확대시킬 수 있다.
다음으로, 도 4의 플로우차트의 스텝 S3 내지 S6의 각각의 처리의 상세에 대해서 설명한다.
[대역 통과 필터에 의한 처리의 상세]
우선, 도 4의 플로우차트의 스텝 S3에 있어서의 대역 통과 필터(13)에 의한 처리의 상세에 대해서 설명한다.
또한, 설명의 편의를 위해, 이하에 있어서는, 대역 통과 필터(13)의 개수 N을 N=4로 한다.
예를 들면, 입력 신호의 나이키스트 주파수를 16등분으로 분할함으로써 얻어지는 16개의 서브밴드 중 하나를 확대 개시 대역으로 하고, 그들 16개의 서브밴드 중 확대 개시 대역보다 저역의 4개의 서브밴드 각각을, 대역 통과 필터(13-1 ~ 13-4)의 통과 대역의 각각으로 한다.
도 5는, 대역 통과 필터(13-1 ~ 13-4)의 각 통과 대역 각각의 주파수축 상에 있어서의 배치를 나타내고 있다.
도 5에 도시된 바와 같이, 확대 개시 대역보다 저역의 주파수 대역(서브밴드) 중 고역으로부터 1번째의 서브밴드의 인덱스를 sb, 2번째의 서브밴드의 인덱스를 sb-1, I번째의 서브밴드의 인덱스를 sb-(I-1)로 하면, 대역 통과 필터(13-1 ~ 13-4) 각각은, 확대 개시 대역보다 저역의 서브밴드 중, 인덱스가 sb ~ sb-3의 서브밴드 각각을, 통과 대역으로서 할당한다.
또한, 본 실시 형태에서는, 대역 통과 필터(13-1 ~ 13-4)의 통과 대역 각각은, 입력 신호의 나이키스트 주파수를 16등분함으로써 얻어지는 16개의 서브밴드 중 소정의 4개의 각각인 것으로 했지만, 이에 한정하지 않고, 입력 신호의 나이키스트 주파수를 256등분함으로써 얻어지는 256개의 서브밴드 중 소정의 4개의 각각이도록 해도 된다. 또한, 대역 통과 필터(13-1 ~ 13-4)의 각각의 대역폭은, 각각 서로 달라도 된다.
[특징량 산출 회로에 의한 처리의 상세]
다음으로, 도 4의 플로우차트의 스텝 S4에 있어서의 특징량 산출 회로(14)에 의한 처리의 상세에 대해서 설명한다.
특징량 산출 회로(14)는, 대역 통과 필터(13)로부터의 복수의 서브밴드 신호와 입력 신호 중 적어도 어느 한쪽을 이용하여, 고역 서브밴드 파워 추정 회로(15)가 고역 서브밴드 파워의 추정값을 산출하기 위해서 이용하는, 하나 또는 복수의 특징량을 산출한다.
보다 구체적으로는, 특징량 산출 회로(14)는, 대역 통과 필터(13)로부터의 4개의 서브밴드 신호로부터, 서브밴드마다, 서브밴드 신호의 파워(서브밴드 파워; 이하, 저역 서브밴드 파워라고도 함)를 특징량으로서 산출하고, 고역 서브밴드 파워 추정 회로(15)에 공급한다.
즉, 특징량 산출 회로(14)는, 대역 통과 필터(13)로부터 공급된, 4개의 서브밴드 신호 x(ib, n)으로부터, 어느 소정의 시간 프레임 J에 있어서의 저역 서브밴드 파워 power(ib, J)를, 이하의 수학식 1에 의해 구한다. 여기서, ib는, 서브밴드의 인덱스, n은 이산 시간의 인덱스를 나타내고 있다. 또한, 1프레임의 샘플수를 FSIZE로 하고, 파워는 데시벨로 표현되는 것으로 한다.
Figure 112018014981321-pat00001
이와 같이 하여, 특징량 산출 회로(14)에 의해 구해진 저역 서브밴드 파워 power(ib, J)는, 특징량으로서 고역 서브밴드 파워 추정 회로(15)에 공급된다.
[고역 서브밴드 파워 추정 회로에 의한 처리의 상세]
다음으로, 도 4의 플로우차트의 스텝 S5에 있어서의 고역 서브밴드 파워 추정 회로(15)에 의한 처리의 상세에 대해서 설명한다.
고역 서브밴드 파워 추정 회로(15)는, 특징량 산출 회로(14)로부터 공급된 4개의 서브밴드 파워에 기초하여, 인덱스가 sb+1인 서브밴드(확대 개시 대역) 이후의, 확대하려고 하는 대역(주파수 확대 대역)의 서브밴드 파워(고역 서브밴드 파워)의 추정값을 산출한다.
즉, 고역 서브밴드 파워 추정 회로(15)는, 주파수 확대 대역의 최고역의 서브밴드의 인덱스를 eb로 하면, 인덱스가 sb+1 ~ eb인 서브밴드에 대해서, (eb-sb)개의 서브밴드 파워를 추정한다.
주파수 확대 대역에 있어서의, 인덱스가 ib인 서브밴드 파워의 추정값 powerest(ib, J)는, 특징량 산출 회로(14)로부터 공급된 4개의 서브밴드 파워 power(ib, j)를 이용하여, 예를 들면 이하의 수학식 2에 의해 나타내진다.
Figure 112018014981321-pat00002
여기서, 수학식 2에 있어서, 계수 Aib(kb), Bib는, 서브밴드 ib마다 서로 다른 값을 갖는 계수이다. 계수 Aib(kb), Bib는 다양한 입력 신호에 대하여 적절한 값이 얻어지도록 적절하게 설정되는 계수로 한다. 또한, 서브밴드 sb의 변경에 따라, 계수 Aib(kb), Bib도 최적의 값으로 변경된다. 또한, 계수 Aib(kb), Bib의 도출에 대해서는 후술한다.
수학식 2에 있어서, 고역 서브밴드 파워의 추정값은, 대역 통과 필터(13)로부터의 복수의 서브밴드 신호 각각의 파워를 이용한 1차 선형 결합에 의해 산출되고 있지만, 이에 한정하지 않고, 예를 들면 시간 프레임 J의 전후 수 프레임의 복수의 저역 서브밴드 파워의 선형 결합을 이용해서 산출되도록 해도 되고, 비선형의 함수를 이용해서 산출되도록 해도 된다.
이와 같이 하여, 고역 서브밴드 파워 추정 회로(15)에 의해 산출된 고역 서브밴드 파워의 추정값은, 고역 신호 생성 회로(16)에 공급된다.
[고역 신호 생성 회로에 의한 처리의 상세]
다음으로, 도 4의 플로우차트의 스텝 S6에 있어서의 고역 신호 생성 회로(16)에 의한 처리의 상세에 대해서 설명한다.
고역 신호 생성 회로(16)는, 대역 통과 필터(13)로부터 공급된 복수의 서브밴드 신호로부터, 상술한 수학식 1에 기초하여, 각각의 서브밴드의 저역 서브밴드 파워 power(ib, J)를 산출한다. 고역 신호 생성 회로(16)는, 산출한 복수의 저역 서브밴드 파워 power(ib, J)와, 고역 서브밴드 파워 추정 회로(15)에 의해 상술한 수학식 2에 기초하여 산출된 고역 서브밴드 파워의 추정값 powerest(ib, J)를 이용하여, 이하의 수학식 3에 의해, 이득량 G(ib, J)를 구한다.
Figure 112018014981321-pat00003
여기서, 수학식 3에 있어서, sbmap(ib)는, 서브밴드 ib를 사상처의 서브밴드로 한 경우의 사상원의 서브밴드의 인덱스를 나타내고 있으며, 이하의 수학식 4로 나타내진다.
Figure 112018014981321-pat00004
또한, 수학식 4에 있어서, INT(a)는, 값 a의 소수점 이하를 잘라 버리는 함수이다.
다음으로, 고역 신호 생성 회로(16)는, 이하의 수학식 5를 이용하여, 수학식 3에 의해 구한 이득량 G(ib, J)를 대역 통과 필터(13)의 출력에 곱함으로써, 이득 조정 후의 서브밴드 신호 x2(ib, n)를 산출한다.
Figure 112018014981321-pat00005
또한, 고역 신호 생성 회로(16)는, 이하의 수학식 6에 의해, 인덱스가 sb-3인 서브밴드의 하단의 주파수에 대응하는 주파수로부터, 인덱스가 sb인 서브밴드의 상단의 주파수에 대응하는 주파수로 코사인 변조를 행함으로써, 이득 조정 후의 서브밴드 신호 x2(ib, n)로부터, 코사인 변환된 이득 조정 후의 서브밴드 신호 x3(ib, n)를 산출한다.
Figure 112018014981321-pat00006
또한, 수학식 6에 있어서, Π는 원주율을 나타낸다. 이 수학식 6은, 이득 조정 후의 서브밴드 신호 x2(ib, n)이, 각각 4밴드분 고역측의 주파수로 시프트되는 것을 의미하고 있다.
그리고, 고역 신호 생성 회로(16)는, 이하의 수학식 7에 의해, 고역측으로 시프트한 이득 조정 후의 서브밴드 신호 x3(ib, n)으로부터, 고역 신호 성분 xhigh(n)을 산출한다.
Figure 112018014981321-pat00007
이와 같이 하여, 고역 신호 생성 회로(16)에 의해, 대역 통과 필터(13)로부터의 4개의 서브밴드 신호에 기초하여 산출한 4개의 저역 서브밴드 파워 및 고역 서브밴드 파워 추정 회로(15)로부터의 고역 서브밴드 파워의 추정값에 기초하여, 고역 신호 성분이 생성되고, 고역 통과 필터(17)에 공급된다.
이상의 처리에 따르면, 고역 삭제 부호화 방법에 의한 부호화 데이터의 복호 후에 얻어진 입력 신호에 대하여, 복수의 서브밴드 신호로부터 산출된 저역 서브밴드 파워를 특징량으로 하고, 이것과 적절하게 설정된 계수에 기초하여, 고역 서브밴드 파워의 추정값이 산출되고, 저역 서브밴드 파워와 고역 서브밴드 파워의 추정값으로부터 적응적으로 고역 신호 성분이 생성되므로, 주파수 확대 대역의 서브밴드 파워를 고정밀도로 추정할 수 있어, 음악 신호를 보다 고음질로 재생하는 것이 가능해진다.
이상에 있어서는, 특징량 산출 회로(14)가, 복수의 서브밴드 신호로부터 산출된 저역 서브밴드 파워만을 특징량으로서 산출하는 예에 대해서 설명했지만, 이 경우, 입력 신호의 종류에 따라서는, 주파수 확대 대역의 서브밴드 파워를 고정밀도로 추정할 수 없는 경우가 있다.
따라서, 특징량 산출 회로(14)가, 주파수 확대 대역의 서브밴드 파워가 나오는 모습(고역의 파워 스펙트럼의 형상)과 상관이 강한 특징량을 산출하도록 함으로써, 고역 서브밴드 파워 추정 회로(15)에 있어서의 주파수 확대 대역의 서브밴드 파워의 추정을, 보다 고정밀도로 행할 수도 있다.
[특징량 산출 회로에 의해 산출되는 특징량의 다른 예]
도 6은 어느 입력 신호에 있어서, 보컬이 그 대부분을 차지하는 것과 같은 구간인 보컬 구간의 주파수 특성의 일례와, 저역 서브밴드 파워만을 특징량으로서 산출하여 고역 서브밴드 파워를 추정함으로써 얻어진 고역의 파워 스펙트럼을 도시하고 있다.
도 6에 도시된 바와 같이, 보컬 구간의 주파수 특성에 있어서는, 추정된 고역의 파워 스펙트럼이, 원신호의 고역의 파워 스펙트럼보다도 위에 위치하는 경우가 많다. 사람의 노래 소리의 위화감은 사람의 귀에 지각되기 쉽기 때문에, 보컬 구간에서는 고역 서브밴드 파워의 추정을 특히 정밀도 좋게 행할 필요가 있다.
또한, 도 6에 도시된 바와 같이, 보컬 구간의 주파수 특성에 있어서는, 4.9㎑ ~ 11.025㎑ 사이에 1개의 큰 오목부가 있는 경우가 많다.
따라서, 이하에서는, 보컬 구간의 고역 서브밴드 파워의 추정에 이용되는 특징량으로서, 주파수 영역에서의 4.9㎑ ~ 11.025㎑에 있어서의 오목부의 정도를 적용하는 예에 대해서 설명한다. 또한, 이 오목부의 정도를 나타내는 특징량을, 이하 디프라 칭한다.
이하, 시간 프레임 J에 있어서의 디프 dip(J)의 산출예에 대해서 설명한다.
우선, 입력 신호 중, 시간 프레임 J를 포함하는 전후 수 프레임의 범위에 포함되는 2048샘플 구간의 신호에 대하여, 2048점 FFT(Fast Fourier Transform)를 실시하여, 주파수축 상에서의 계수를 산출한다. 산출된 각 계수의 절대값에 db 변환을 실시함으로써 파워 스펙트럼을 얻는다.
도 7은, 상술한 바와 같이 해서 얻어진 파워 스펙트럼의 일례를 도시하고 있다. 여기서, 파워 스펙트럼의 미세한 성분을 제거하기 위해서, 예를 들면 1.3㎑이하의 성분을 제거하도록 리프터링 처리를 행한다. 리프터링 처리에 의하면, 파워 스펙트럼의 각 차원을 시간계열이라고 보고, 저역 통과 필터를 거치게 하여 필터링 처리를 행함으로써, 스펙트럼 피크의 미세한 성분을 평활화할 수 있다.
도 8은 리프터링 후의 입력 신호의 파워 스펙트럼의 일례를 도시하고 있다. 도 8에 도시되는 리프터링 후의 파워 스펙트럼에 있어서, 4.9㎑ ~ 11.025㎑에 상당하는 범위에 포함되는 파워 스펙트럼의 최소값과 최대값의 차를 디프 dip(J)라 한다.
이와 같이 하여, 주파수 확대 대역의 서브밴드 파워와 상관이 강한 특징량이 산출된다. 또한, 디프 dip(J)의 산출예는, 상술한 방법에 한정하지 않고, 다른 방법이어도 된다.
다음으로, 주파수 확대 대역의 서브밴드 파워와 상관이 강한 특징량의 산출의 다른 예에 대해서 설명한다.
[특징량 산출 회로에 의해 산출되는 특징량의 또 다른 예]
어느 입력 신호에, 어택성 음악 신호를 포함하는 구간인 어택 구간의 주파수 특성에 있어서는, 도 2를 참조해서 설명한 바와 같이 고역측의 파워 스펙트럼은 거의 평탄해져 있는 경우가 많다. 저역 서브밴드 파워만을 특징량으로서 산출하는 방법에서는, 어택 구간을 포함하는 입력 신호 특유의 시간 변동을 나타내는 특징량을 이용하지 않고 주파수 확대 대역의 서브밴드 파워를 추정하기 때문에, 어택 구간에 보여지는 거의 평탄한 주파수 확대 대역의 서브밴드 파워를 정밀도 좋게 추정하는 것은 어렵다.
따라서, 이하에서는, 어택 구간의 고역 서브밴드 파워의 추정에 이용되는 특징량으로서, 저역 서브밴드 파워의 시간 변동을 적용하는 예에 대해서 설명한다.
어느 시간 프레임 J에 있어서의 저역 서브밴드 파워의 시간 변동 powerd(J)는, 예를 들면 이하의 수학식 8에 의해 구해진다.
Figure 112018014981321-pat00008
수학식 8에 따르면, 저역 서브밴드 파워의 시간 변동 powerd(J)는, 시간 프레임 J에 있어서의 4개의 저역 서브밴드 파워의 합과, 시간 프레임 J의 1프레임 전의 시간 프레임(J-1)에 있어서의 4개의 저역 서브밴드 파워의 합의 비를 나타내고 있으며, 이 값이 클수록, 프레임 간의 파워의 시간 변동이 크며, 즉 시간 프레임 J에 포함되는 신호는 어택성이 강하다고 생각된다.
또한, 도 1에서 도시된 통계적으로 평균적인 파워 스펙트럼과, 도 2에서 도시된 어택 구간(어택성 음악 신호)의 파워 스펙트럼을 비교하면, 어택 구간의 파워 스펙트럼은 중역에서는 우상향으로 되어 있다. 어택 구간에서는, 이러한 주파수 특성을 나타내는 경우가 많다.
따라서, 이하에서는, 어택 구간의 고역 서브밴드 파워의 추정에 이용되는 특징량으로서, 그 중역에 있어서의 경사를 적용하는 예에 대해서 설명한다.
어느 시간 프레임 J에 있어서의 중역의 경사 slope(J)는, 예를 들면 이하의 수학식 9에 의해 구해진다.
Figure 112018014981321-pat00009
수학식 9에 있어서, 계수 w(ib)는, 고역 서브밴드 파워에 가중치 부여하도록 조정된 가중 계수이다. 수학식 9에 따르면, slope(J)는, 고역에 가중치 부여된 4개의 저역 서브밴드 파워의 합과, 4개의 저역 서브밴드 파워의 합의 비를 나타내고 있다. 예를 들면, 4개의 저역 서브밴드 파워가 중역의 서브밴드에 대한 파워로 되어 있는 경우, slope(J)는 중역의 파워 스펙트럼이 우상향일 때는 큰 값을, 우하향일 때는 작은 값을 취한다.
또한, 어택 구간의 전후에 중역의 경사는 크게 변동하는 경우가 많으므로, 이하의 수학식 10에서 나타내지는 경사의 시간 변동 sloped(J)를, 어택 구간의 고역 서브밴드 파워의 추정에 이용되는 특징량으로 하도록 해도 된다.
Figure 112018014981321-pat00010
또한 마찬가지로, 이하의 수학식 11로 나타내지는, 상술한 디프 dip(J)의 시간 변동 dipd(J)를, 어택 구간의 고역 서브밴드 파워의 추정에 이용되는 특징량으로 하도록 해도 된다.
Figure 112018014981321-pat00011
이상의 방법에 따르면, 주파수 확대 대역의 서브밴드 파워와 상관이 강한 특징량이 산출되므로, 이들을 이용함으로써, 고역 서브밴드 파워 추정 회로(15)에 있어서의 주파수 확대 대역의 서브밴드 파워의 추정을, 보다 고정밀도로 행할 수 있게 된다.
이상에 있어서는, 주파수 확대 대역의 서브밴드 파워와 상관이 강한 특징량을 산출하는 예에 대해서 설명해 왔지만, 이하에서는, 이와 같이 해서 산출된 특징량을 이용해서 고역 서브밴드 파워를 추정하는 예에 대해서 설명한다.
[고역 서브밴드 파워 추정 회로에 의한 처리의 상세]
여기에서는, 도 8을 참조하여 설명한 디프와, 저역 서브밴드 파워를 특징량으로서 이용하여, 고역 서브밴드 파워를 추정하는 예에 대해서 설명한다.
즉, 도 4의 플로우차트의 스텝 S4에 있어서, 특징량 산출 회로(14)는, 대역 통과 필터(13)로부터의 4개의 서브밴드 신호로부터, 서브밴드마다, 저역 서브밴드 파워와, 디프를 특징량으로서 산출하고, 고역 서브밴드 파워 추정 회로(15)에 공급한다.
그리고, 스텝 S5에 있어서, 고역 서브밴드 파워 추정 회로(15)는, 특징량 산출 회로(14)로부터의 4개의 저역 서브밴드 파워 및 디프에 기초하여, 고역 서브밴드 파워의 추정값을 산출한다.
여기서, 서브밴드 파워와 디프에서는, 취할 수 있는 값의 범위(스케일)가 서로 다르기 때문에, 고역 서브밴드 파워 추정 회로(15)는, 디프의 값에 대하여, 예를 들면 이하와 같은 변환을 행한다.
고역 서브밴드 파워 추정 회로(15)는, 미리 대량의 수의 입력 신호에 대해서, 4개의 저역 서브밴드 파워 중 최고역의 서브밴드 파워와, 디프의 값을 산출하고, 각각에 대해서 평균값과 표준 편차를 구해 둔다. 여기서, 서브밴드 파워의 평균값을 powerave, 서브밴드 파워의 표준 편차를 powerstd, 디프의 평균값을 dipave, 디프의 표준 편차를 dipstd라 한다.
고역 서브밴드 파워 추정 회로(15)는, 이들 값을 이용해서 디프의 값 dip(J)를, 이하의 수학식 12와 같이 변환하고, 변환 후의 디프 dips(J)를 얻는다.
Figure 112018014981321-pat00012
수학식 12로 나타내지는 변환을 행함으로써, 고역 서브밴드 파워 추정 회로(15)는, 디프의 값 dip(J)를, 통계적으로 저역 서브밴드 파워의 평균과 분산에 동등한 변수(디프) dips(J)로 변환할 수 있으며, 디프가 취할 수 있는 값의 범위를, 서브밴드 파워의 취할 수 있는 값의 범위와 거의 동일하게 하는 것이 가능해진다.
주파수 확대 대역에 있어서의, 인덱스가 ib인 서브밴드 파워의 추정값 powerest(ib, J)는, 특징량 산출 회로(14)로부터의 4개의 저역 서브밴드 파워 power(ib, J)와, 수학식 12로 나타내진 디프 dips(J)의 선형 결합을 이용하여, 예를 들면 이하의 수학식 13에 의해 나타내진다.
Figure 112018014981321-pat00013
여기서, 수학식 13에 있어서, 계수 Cib(kb), Dib, Eib는, 서브밴드 ib마다 서로 다른 값을 갖는 계수이다. 계수 Cib(kb), Dib, Eib는, 다양한 입력 신호에 대하여 적절한 값이 얻어지도록 적절하게 설정되는 계수로 한다. 또한, 서브밴드 sb의 변경에 따라, 계수 Cib(kb), Dib, Eib도 최적의 값으로 변경된다. 또한, 계수 Cib(kb), Dib, Eib의 도출에 대해서는 후술한다.
수학식 13에 있어서, 고역 서브밴드 파워의 추정값은, 1차 선형 결합에 의해 산출되고 있지만, 이에 한정하지 않고, 예를 들면 시간 프레임 J의 전후 수 프레임의 복수의 특징량의 선형 결합을 이용해서 산출되도록 해도 되고, 비선형의 함수를 이용해서 산출되도록 해도 된다.
이상의 처리에 따르면, 고역 서브밴드 파워의 추정에, 보컬 구간 특유의 디프의 값을 특징량으로서 이용함으로써, 저역 서브밴드 파워만을 특징량으로 하는 경우에 비해, 보컬 구간에서의 고역 서브밴드 파워의 추정 정밀도가 향상하고, 저역 서브밴드 파워만을 특징량으로 하는 방법으로, 고역의 파워 스펙트럼이 원신호의 고역 파워 스펙트럼보다도 크게 추정됨으로써 생기는, 사람의 귀에 지각되기 쉬운 위화감이 저감되므로, 음악 신호를 보다 고음질로 재생하는 것이 가능해진다.
그런데, 상술에서 설명한 방법에 있어서 특징량으로서 산출된 디프(보컬 구간의 주파수 특성에 있어서의 오목부의 정도)에 대해서, 서브밴드의 분할수가 16인 경우, 주파수 분해능이 낮기 때문에, 저역 서브밴드 파워만으로, 이 오목부의 정도를 표현할 수는 없다.
따라서, 서브밴드의 분할수를 늘리고(예를 들면 16배인 256분할), 대역 통과 필터(13)에 의한 대역 분할수를 늘리고(예를 들면 16배인 64개), 특징량 산출 회로(14)에 의해 산출되는 저역 서브밴드 파워의 수를 늘림으로써(예를 들면 16배인 64개), 주파수 분해능을 높이고, 저역 서브밴드 파워만으로 오목부의 정도를 표현하는 것이 가능해진다.
이에 의해, 저역 서브밴드 파워만으로, 상술한 디프를 특징량으로서 이용한 고역 서브밴드 파워의 추정과 거의 동등한 정밀도로, 고역 서브밴드 파워를 추정하는 것이 가능하다고 생각된다.
그러나, 서브밴드의 분할수, 대역 분할수 및 저역 서브밴드 파워의 수를 늘림으로써 계산량은 증가한다. 어느 방법이든 동등한 정밀도로 고역 서브밴드 파워를 추정할 수 있는 것을 생각하면, 서브밴드의 분할수는 늘리지 않고, 디프를 특징량으로서 이용하여 고역 서브밴드 파워를 추정하는 방법 쪽이, 계산량의 면에서 효율적이라고 생각된다.
이상에 있어서는, 디프와, 저역 서브밴드 파워를 이용해서 고역 서브밴드 파워를 추정하는 방법에 대해서 설명해 왔지만, 고역 서브밴드 파워의 추정에 이용하는 특징량으로서는, 이 조합에 한정하지 않고, 상술에서 설명한 특징량(저역 서브밴드 파워, 디프, 저역 서브밴드 파워의 시간 변동, 경사, 경사의 시간 변동 및 디프의 시간 변동) 중 하나 또는 복수를 이용하도록 해도 된다. 이에 의해, 고역 서브밴드 파워의 추정에 있어서, 더욱 정밀도를 향상시킬 수 있다.
또한, 상술에서 설명한 바와 같이, 입력 신호에 있어서, 고역 서브밴드 파워의 추정이 곤란한 구간에 특유한 파라미터를, 고역 서브밴드 파워의 추정에 이용하는 특징량으로서 이용함으로써, 그 구간의 추정 정밀도를 향상시킬 수 있다. 예를 들면, 저역 서브밴드 파워의 시간 변동, 경사, 경사의 시간 변동 및 디프의 시간 변동은, 어택 구간에 특유한 파라미터이며, 이들 파라미터를 특징량으로서 이용함으로써, 어택 구간에서의 고역 서브밴드 파워의 추정 정밀도를 향상시킬 수 있다.
또한, 저역 서브밴드 파워와 디프 이외의 특징량, 즉 저역 서브밴드 파워의 시간 변동, 경사, 경사의 시간 변동 및 디프의 시간 변동을 이용해서 고역 서브밴드 파워의 추정을 행하는 경우에 대해서도, 상술에서 설명한 방법과 동일한 방법으로 고역 서브밴드 파워를 추정할 수 있다.
또한, 여기서 나타낸 특징량의 각각의 산출 방법은, 상술에서 설명한 방법에 한정하지 않고, 다른 방법을 이용하도록 해도 된다.
[계수 Cib(kb), Dib, Eib를 구하는 방법]
다음으로, 상술한 수학식 13에 있어서의 계수 Cib(kb), Dib, Eib를 구하는 방법에 대해서 설명한다.
계수 Cib(kb), Dib, Eib를 구하는 방법으로서, 계수 Cib(kb), Dib, Eib가, 주파수 확대 대역의 서브밴드 파워를 추정함에 있어서 여러가지 입력 신호에 대하여 적절한 값이도록 하기 위해서, 미리 광대역의 교사 신호(이하, 광대역 교사 신호라 칭함)에 의해 학습을 행하고, 그 학습 결과에 기초하여 결정하는 방법을 적용한다.
계수 Cib(kb), Dib, Eib의 학습을 행할 때는, 확대 개시 대역보다도 고역에, 도 5를 참조하여 설명한 대역 통과 필터(13-1 ~ 13-4)와 동일한 통과 대역폭을 갖는 대역 통과 필터를 배치한 계수 학습 장치를 적용한다. 계수 학습 장치는, 광대역 교사 신호가 입력되면 학습을 행한다.
[계수 학습 장치의 기능적 구성예]
도 9는 계수 Cib(kb), Dib, Eib의 학습을 행하는 계수 학습 장치의 기능적 구성예를 도시하고 있다.
도 9의 계수 학습 장치(20)에 입력되는 광대역 교사 신호의, 확대 개시 대역보다도 저역의 신호 성분은, 도 3의 주파수 대역 확대 장치(10)에 입력되는 대역 제한된 입력 신호가, 부호화 시에 실시된 부호화 방식과 동일한 방식으로 부호화된 신호이면 적절하다.
계수 학습 장치(20)는, 대역 통과 필터(21), 고역 서브밴드 파워 산출 회로(22), 특징량 산출 회로(23) 및 계수 추정 회로(24)로 구성되어 있다.
대역 통과 필터(21)는, 각각 서로 다른 통과 대역을 갖는 대역 통과 필터(21-1 ~ 21-(K+N))로 구성된다. 대역 통과 필터(21-i(1≤i≤K+N))는, 입력 신호 중 소정의 통과 대역의 신호를 통과시켜, 복수의 서브밴드 신호 중 하나로서, 고역 서브밴드 파워 산출 회로(22) 또는 특징량 산출 회로(23)에 공급한다. 또한, 대역 통과 필터(21-1 ~ 21-(K+N)) 중 대역 통과 필터(21-1 ~ 21-K)는, 확대 개시 대역보다 고역의 신호를 통과시킨다.
고역 서브밴드 파워 산출 회로(22)는, 대역 통과 필터(21)로부터의 고역의 복수의 서브밴드 신호에 대하여, 어느 일정한 시간 프레임마다, 서브밴드마다의 고역 서브밴드 파워를 산출하고, 계수 추정 회로(24)에 공급한다.
특징량 산출 회로(23)는, 고역 서브밴드 파워 산출 회로(22)에 의해 고역 서브밴드 파워가 산출되는 일정한 시간 프레임과 동일한 시간 프레임마다, 도 3의 주파수 대역 확대 장치(10)의 특징량 산출 회로(14)에 의해 산출되는 특징량과 동일한 특징량을 산출한다. 즉, 특징량 산출 회로(23)는, 대역 통과 필터(21)로부터의 복수의 서브밴드 신호와 광대역 교사 신호 중 적어도 어느 한쪽을 이용하여, 하나 또는 복수의 특징량을 산출하고, 계수 추정 회로(24)에 공급한다.
계수 추정 회로(24)는, 일정한 시간 프레임마다의, 고역 서브밴드 파워 산출 회로(22)로부터의 고역 서브밴드 파워와, 특징량 산출 회로(23)로부터의 특징량에 기초하여, 도 3의 주파수 대역 확대 장치(10)의 고역 서브밴드 파워 추정 회로(15)에서 이용되는 계수(계수 데이터)를 추정한다.
[계수 학습 장치의 계수 학습 처리]
다음으로, 도 10의 플로우차트를 참조하여, 도 9의 계수 학습 장치에 의한 계수 학습 처리에 대해서 설명한다.
스텝 S11에 있어서, 대역 통과 필터(21)는, 입력 신호(광대역 교사 신호)를 (K+N)개의 서브밴드 신호로 분할한다. 대역 통과 필터(21-1 ~ 21-K)는, 확대 개시 대역보다도 고역의 복수의 서브밴드 신호를, 고역 서브밴드 파워 산출 회로(22)에 공급한다. 또한, 대역 통과 필터(21-(K+1) ~ 21-(K+N))는, 확대 개시 대역보다도 저역의 복수의 서브밴드 신호를, 특징량 산출 회로(23)에 공급한다.
스텝 S12에 있어서, 고역 서브밴드 파워 산출 회로(22)는, 대역 통과 필터(21)(대역 통과 필터(21-1 ~ 21-K))로부터의 고역의 복수의 서브밴드 신호에 대하여, 어느 일정한 시간 프레임마다, 서브밴드마다의 고역 서브밴드 파워 power(ib, J)를 산출한다. 고역 서브밴드 파워 power(ib, J)는, 상술한 수학식 1에 의해 구해진다. 고역 서브밴드 파워 산출 회로(22)는, 산출한 고역 서브밴드 파워를, 계수 추정 회로(24)에 공급한다.
스텝 S13에 있어서, 특징량 산출 회로(23)는, 고역 서브밴드 파워 산출 회로(22)에 의해 고역 서브밴드 파워가 산출되는 일정한 시간 프레임과 동일한 시간 프레임마다, 특징량을 산출한다.
또한, 이하에서는, 도 3의 주파수 대역 확대 장치(10)의 특징량 산출 회로(14)에 있어서, 저역의 4개의 서브밴드 파워와 디프가 특징량으로서 산출되는 것을 상정하고, 계수 학습 장치(20)의 특징량 산출 회로(23)에 있어서도 마찬가지로, 저역의 4개의 서브밴드 파워와 디프가 산출되는 것으로서 설명한다.
즉, 특징량 산출 회로(23)는, 대역 통과 필터(21)(대역 통과 필터(21-(K+1) ~ 21-(K+4)))로부터의, 주파수 대역 확대 장치(10)의 특징량 산출 회로(14)에 입력되는 4개의 서브밴드 신호와 각각 동일한 대역의 4개의 서브밴드 신호를 이용하여, 4개의 저역 서브밴드 파워를 산출한다. 또한, 특징량 산출 회로(23)는, 광대역 교사 신호로부터 디프를 산출하고, 상술한 수학식 12에 기초하여 디프 dips(J)를 산출한다. 특징량 산출 회로(23)는, 산출한 4개의 저역 서브밴드 파워와 디프 dips(J)를, 특징량으로서 계수 추정 회로(24)에 공급한다.
스텝 S14에 있어서, 계수 추정 회로(24)는, 고역 서브밴드 파워 산출 회로(22)와 특징량 산출 회로(23)로부터 동일한 시간 프레임에 공급된 (eb-sb)개의 고역 서브밴드 파워와 특징량(4개의 저역 서브밴드 파워 및 디프 dips(J))과의 다수의 조합에 기초하여, 계수 Cib(kb), Dib, Eib의 추정을 행한다. 예를 들면, 계수 추정 회로(24)는, 어느 고역의 서브밴드의 1개에 대해서, 5개의 특징량(4개의 저역 서브밴드 파워 및 디프 dips(J))을 설명 변수로 하고, 고역 서브밴드 파워의power(ib, J)를 피설명 변수로 하여, 최소 제곱법을 이용한 회귀 분석을 행함으로써, 수학식 13에 있어서의 계수 Cib(kb), Dib, Eib를 결정한다.
또한, 당연히, 계수 Cib(kb), Dib, Eib의 추정 방법은, 상술한 방법에 한정하지 않고, 일반적인 각종 파라미터 동정법을 적용해도 된다.
이상의 처리에 따르면, 미리 광대역 교사 신호를 이용하여, 고역 서브밴드 파워의 추정에 이용되는 계수의 학습을 행하도록 했으므로, 주파수 대역 확대 장치(10)에 입력되는 다양한 입력 신호에 대하여 적절한 출력 결과를 얻는 것이 가능해지고, 나아가서는, 음악 신호를 보다 고음질로 재생하는 것이 가능해진다.
또한, 상술한 수학식 2에 있어서의 계수 Aib(kb), Bib도, 상술한 계수 학습 방법에 의해 구하는 것이 가능하다.
이상에 있어서는, 주파수 대역 확대 장치(10)의 고역 서브밴드 파워 추정 회로(15)에 있어서, 고역 서브밴드 파워의 추정값 각각은, 4개의 저역 서브밴드 파워와 디프의 선형 결합에 의해 산출되는 것을 전제로 한 계수 학습 처리에 대해서 설명해 왔다.
그러나, 고역 서브밴드 파워 추정 회로(15)에 있어서의 고역 서브밴드 파워의 추정의 방법은, 상술한 예에 한정하지 않고, 예를 들면 특징량 산출 회로(14)가, 디프 이외의 특징량(저역 서브밴드 파워의 시간 변동, 경사, 경사의 시간 변동 및 디프의 시간 변동) 중 하나 또는 복수를 산출함으로써, 고역 서브밴드 파워를 산출해도 되고, 시간 프레임 J의 전후 복수 프레임의 복수의 특징량의 선형 결합을 이용하거나, 비선형의 함수를 이용하도록 해도 된다. 즉, 계수 학습 처리에 있어서, 계수 추정 회로(24)는, 주파수 대역 확대 장치(10)의 고역 서브밴드 파워 추정 회로(15)에 의해 고역 서브밴드 파워가 산출될 때에 이용되는 특징량, 시간 프레임 및 함수에 대한 조건과 마찬가지의 조건으로, 계수를 산출(학습)할 수 있으면 된다.
<2. 제2 실시 형태>
제2 실시 형태에서는, 부호화 장치 및 복호 장치에 의해, 고역 특징 부호화 방법에 있어서의 부호화 처리 및 복호 처리가 실시된다.
[부호화 장치의 기능적 구성예]
도 11은, 본 발명을 적용한 부호화 장치의 기능적 구성예를 도시하고 있다.
부호화 장치(30)는, 저역 통과 필터(31), 저역 부호화 회로(32), 서브밴드 분할 회로(33), 특징량 산출 회로(34), 의사 고역 서브밴드 파워 산출 회로(35), 의사 고역 서브밴드 파워 차분 산출 회로(36), 고역 부호화 회로(37), 다중화 회로(38) 및 저역 복호 회로(39)로 구성된다.
저역 통과 필터(31)는, 입력 신호를 소정의 차단 주파수로 필터링하고, 필터링 후의 신호로서, 차단 주파수보다 저역의 신호(이하, 저역 신호라 칭함)를, 저역 부호화 회로(32), 서브밴드 분할 회로(33) 및 특징량 산출 회로(34)에 공급한다.
저역 부호화 회로(32)는, 저역 통과 필터(31)로부터의 저역 신호를 부호화하고, 그 결과 얻어지는 저역 부호화 데이터를, 다중화 회로(38) 및 저역 복호 회로(39)에 공급한다.
서브밴드 분할 회로(33)는, 입력 신호 및 저역 통과 필터(31)로부터의 저역 신호를, 소정의 대역폭을 갖는 복수의 서브밴드 신호로 등분할하고, 특징량 산출 회로(34) 또는 의사 고역 서브밴드 파워 차분 산출 회로(36)에 공급한다. 보다 구체적으로는, 서브밴드 분할 회로(33)는, 저역 신호를 입력으로 하여 얻어지는 복수의 서브밴드 신호(이하, 저역 서브밴드 신호라 칭함)를, 특징량 산출 회로(34)에 공급한다. 또한, 서브밴드 분할 회로(33)는, 입력 신호를 입력으로 하여 얻어지는 복수의 서브밴드 신호 중, 저역 통과 필터(31)에서 설정되어 있는 차단 주파수보다 고역의 서브밴드 신호(이하, 고역 서브밴드 신호라 칭함)를, 의사 고역 서브밴드 파워 차분 산출 회로(36)에 공급한다.
특징량 산출 회로(34)는, 서브밴드 분할 회로(33)로부터의 저역 서브밴드 신호 중 복수의 서브밴드 신호와 저역 통과 필터(31)로부터의 저역 신호 중 적어도 어느 한쪽을 이용하여, 하나 또는 복수의 특징량을 산출하고, 의사 고역 서브밴드 파워 산출 회로(35)에 공급한다.
의사 고역 서브밴드 파워 산출 회로(35)는, 특징량 산출 회로(34)로부터의, 하나 또는 복수의 특징량에 기초하여, 의사 고역 서브밴드 파워를 생성하고, 의사 고역 서브밴드 파워 차분 산출 회로(36)에 공급한다.
의사 고역 서브밴드 파워 차분 산출 회로(36)는, 서브밴드 분할 회로(33)로부터의 고역 서브밴드 신호와, 의사 고역 서브밴드 파워 산출 회로(35)로부터의 의사 고역 서브밴드 파워에 기초하여, 후술하는 의사 고역 서브밴드 파워 차분을 계산하고, 고역 부호화 회로(37)에 공급한다.
고역 부호화 회로(37)는, 의사 고역 서브밴드 파워 차분 산출 회로(36)로부터의 의사 고역 서브밴드 파워 차분을 부호화하고, 그 결과 얻어지는 고역 부호화 데이터를 다중화 회로(38)에 공급한다.
다중화 회로(38)는, 저역 부호화 회로(32)로부터의 저역 부호화 데이터와, 고역 부호화 회로(37)로부터의 고역 부호화 데이터를 다중화하고, 출력 부호열로서 출력한다.
저역 복호 회로(39)는, 저역 부호화 회로(32)로부터의 저역 부호화 데이터를, 적절히 복호하고, 그 결과 얻어지는 복호 데이터를 서브밴드 분할 회로(33) 및 특징량 산출 회로(34)에 공급한다.
[부호화 장치의 부호화 처리]
다음으로, 도 12의 플로우차트를 참조하여, 도 11의 부호화 장치(30)에 의한 부호화 처리에 대해서 설명한다.
스텝 S111에 있어서, 저역 통과 필터(31)는, 입력 신호를 소정의 차단 주파수로 필터링하고, 필터링 후의 신호로서의 저역 신호를, 저역 부호화 회로(32), 서브밴드 분할 회로(33) 및 특징량 산출 회로(34)에 공급한다.
스텝 S112에 있어서, 저역 부호화 회로(32)는, 저역 통과 필터(31)로부터의 저역 신호를 부호화하고, 그 결과 얻어지는 저역 부호화 데이터를 다중화 회로(38)에 공급한다.
또한, 스텝 S112에 있어서의 저역 신호의 부호화에 관해서는, 부호화 효율이나 요구되는 회로 규모에 따라서 적절한 부호화 방식이 선택되면 좋고, 본 발명은이 부호화 방식에 의존하는 것은 아니다.
스텝 S113에 있어서, 서브밴드 분할 회로(33)는, 입력 신호 및 저역 신호를, 소정의 대역폭을 갖는 복수의 서브밴드 신호로 등분할한다. 서브밴드 분할 회로(33)는, 저역 신호를 입력으로 하여 얻어지는 저역 서브밴드 신호를, 특징량 산출 회로(34)에 공급한다. 또한, 서브밴드 분할 회로(33)는, 입력 신호를 입력으로 하여 얻어지는 복수의 서브밴드 신호 중, 저역 통과 필터(31)에서 설정된, 대역 제한의 주파수보다도 높은 대역의 고역 서브밴드 신호를, 의사 고역 서브밴드 파워 차분 산출 회로(36)에 공급한다.
스텝 S114에 있어서, 특징량 산출 회로(34)는, 서브밴드 분할 회로(33)로부터의 저역 서브밴드 신호 중 복수의 서브밴드 신호와 저역 통과 필터(31)로부터의 저역 신호 중 적어도 어느 한쪽을 이용하여, 하나 또는 복수의 특징량을 산출하고, 의사 고역 서브밴드 파워 산출 회로(35)에 공급한다. 또한, 도 11의 특징량 산출 회로(34)는, 도 3의 특징량 산출 회로(14)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있으며, 스텝 S114에 있어서의 처리는, 도 4의 플로우차트의 스텝 S4에 있어서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.
스텝 S115에 있어서, 의사 고역 서브밴드 파워 산출 회로(35)는, 특징량 산출 회로(34)로부터의, 하나 또는 복수의 특징량에 기초하여, 의사 고역 서브밴드 파워를 생성하고, 의사 고역 서브밴드 파워 차분 산출 회로(36)에 공급한다. 또한, 도 11의 의사 고역 서브밴드 파워 산출 회로(35)는, 도 3의 고역 서브밴드 파워 추정 회로(15)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있으며, 스텝 S115에 있어서의 처리는, 도 4의 플로우차트의 스텝 S5에 있어서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.
스텝 S116에 있어서, 의사 고역 서브밴드 파워 차분 산출 회로(36)는, 서브밴드 분할 회로(33)로부터의 고역 서브밴드 신호와, 의사 고역 서브밴드 파워 산출 회로(35)로부터의 의사 고역 서브밴드 파워에 기초하여, 의사 고역 서브밴드 파워 차분을 계산하고, 고역 부호화 회로(37)에 공급한다.
보다 구체적으로는, 의사 고역 서브밴드 파워 차분 산출 회로(36)는, 서브밴드 분할 회로(33)로부터의 고역 서브밴드 신호에 대해서, 어느 일정한 시간 프레임 J에 있어서의 (고역)서브밴드 파워 power(ib, J)를 산출한다. 또한, 본 실시 형태에서는, 저역 서브밴드 신호의 서브밴드와 고역 서브밴드 신호의 서브밴드 모두를, 인덱스 ib를 이용해서 식별하기로 한다. 서브밴드 파워의 산출 방법은, 제1 실시 형태와 마찬가지의 방법, 즉 수학식 1을 이용한 방법을 적용할 수 있다.
다음으로, 의사 고역 서브밴드 파워 차분 산출 회로(36)는, 고역 서브밴드 파워 power(ib, J)와, 시간 프레임 J에 있어서의 의사 고역 서브밴드 파워 산출 회로(35)로부터의 의사 고역 서브밴드 파워 powerlh(ib, J)의 차분(의사 고역 서브밴드 파워 차분) powerdiff(ib, J)를 구한다. 의사 고역 서브밴드 파워 차분powerdiff(ib, J)는, 이하의 수학식 14에 의해 구해진다.
Figure 112018014981321-pat00014
수학식 14에 있어서, 인덱스 sb+1은, 고역 서브밴드 신호에 있어서의 최저역의 서브밴드의 인덱스를 나타내고 있다. 또한, 인덱스 eb는, 고역 서브밴드 신호에 있어서 부호화되는 최고역의 서브밴드의 인덱스를 나타내고 있다.
이와 같이 하여, 의사 고역 서브밴드 파워 차분 산출 회로(36)에 의해 산출된 의사 고역 서브밴드 파워 차분은 고역 부호화 회로(37)에 공급된다.
스텝 S117에 있어서, 고역 부호화 회로(37)는, 의사 고역 서브밴드 파워 차분 산출 회로(36)로부터의 의사 고역 서브밴드 파워 차분을 부호화하고, 그 결과 얻어지는 고역 부호화 데이터를 다중화 회로(38)에 공급한다.
보다 구체적으로는, 고역 부호화 회로(37)는, 의사 고역 서브밴드 파워 차분 산출 회로(36)로부터의 의사 고역 서브밴드 파워 차분을 벡터화한 것(이하, 의사 고역 서브밴드 파워 차분 벡터라 칭함)이, 미리 설정된 의사 고역 서브밴드 파워 차분의 특징 공간에서의 복수의 클러스터 중, 어느 클러스터에 속하는지를 결정한다. 여기서, 어느 시간 프레임 J에 있어서의 의사 고역 서브밴드 파워 차분 벡터는, 인덱스 ib마다의 의사 고역 서브밴드 파워 차분 powerdiff(ib, J)의 값을 벡터의 각 요소로서 갖는, (eb-sb)차원의 벡터를 나타내고 있다. 또한, 의사 고역 서브밴드 파워 차분의 특징 공간도 마찬가지로 (eb-sb)차원의 공간으로 되어 있다.
그리고, 고역 부호화 회로(37)는, 의사 고역 서브밴드 파워 차분의 특징 공간에 있어서, 미리 설정된 복수의 클러스터의 각 대표 벡터와, 의사 고역 서브밴드 파워 차분 벡터와의 거리를 측정하고, 거리가 가장 짧은 클러스터의 인덱스(이하, 의사 고역 서브밴드 파워 차분 ID라 칭함)를 구하고, 이것을 고역 부호화 데이터로서, 다중화 회로(38)에 공급한다.
스텝 S118에 있어서, 다중화 회로(38)는, 저역 부호화 회로(32)로부터 출력된 저역 부호화 데이터와, 고역 부호화 회로(37)로부터 출력된 고역 부호화 데이터를 다중화하고, 출력 부호열을 출력한다.
그런데, 고역 특징 부호화 방법에 있어서의 부호화 장치로서는, 일본 특허 출원 공개 제2007-17908호 공보에, 저역 서브밴드 신호로부터 의사 고역 서브밴드 신호를 생성하고, 의사 고역 서브밴드 신호와, 고역 서브밴드 신호의 파워를 서브밴드마다 비교하고, 의사 고역 서브밴드 신호의 파워를 고역 서브밴드 신호의 파워와 일치시키기 위해서 서브밴드마다의 파워의 이득을 산출하고, 이것을 고역 특징의 정보로서 부호열에 포함시키도록 하는 기술이 개시되어 있다.
한편, 이상의 처리에 따르면, 복호 시에 고역 서브밴드 파워를 추정하기 위한 정보로서, 출력 부호열에 의사 고역 서브밴드 파워 차분 ID만을 포함시키기만 하면 된다. 즉, 예를 들면 미리 설정한 클러스터의 수가 64인 경우, 복호 장치에 있어서 고역 신호를 복원하기 위한 정보로서는, 1개의 시간 프레임당, 6비트의 정보를 부호열에 추가하기만 하면 되고, 일본 특허 출원 공개 제2007-17908호 공보에 개시된 방법과 비교하여, 부호열에 포함시키는 정보량을 저감할 수 있으므로, 부호화 효율을 보다 향상시킬 수 있으며, 나아가서는 음악 신호를 보다 고음질로 재생하는 것이 가능해진다.
또한, 이상의 처리에서, 계산량에 여유가 있으면, 저역 복호 회로(39)가, 저역 부호화 회로(32)로부터의 저역 부호화 데이터를 복호함으로써 얻어지는 저역 신호를, 서브밴드 분할 회로(33) 및 특징량 산출 회로(34)로 입력하도록 해도 된다. 복호 장치에 의한 복호 처리에 있어서는, 저역 부호화 데이터를 복호한 저역 신호로부터 특징량을 산출하고, 그 특징량에 기초하여 고역 서브밴드의 파워를 추정한다. 그 때문에, 부호화 처리에 있어서도, 복호한 저역 신호로부터 산출한 특징량에 기초하여 산출되는 의사 고역 서브밴드 파워 차분 ID를 부호열에 포함시키는 쪽이, 복호 장치에 의한 복호 처리에 있어서, 보다 정밀도 좋게 고역 서브밴드 파워를 추정할 수 있다. 따라서, 음악 신호를 보다 고음질로 재생하는 것이 가능해진다.
[복호 장치의 기능적 구성예]
다음으로, 도 13을 참조하여, 도 11의 부호화 장치(30)에 대응하는 복호 장치의 기능적 구성예에 대해서 설명한다.
복호 장치(40)는, 비다중화 회로(41), 저역 복호 회로(42), 서브밴드 분할 회로(43), 특징량 산출 회로(44), 고역 복호 회로(45), 복호 고역 서브밴드 파워 산출 회로(46), 복호 고역 신호 생성 회로(47) 및 합성 회로(48)로 구성된다.
비다중화 회로(41)는 입력 부호열을 고역 부호화 데이터와 저역 부호화 데이터에 비다중화하고, 저역 부호화 데이터를 저역 복호 회로(42)에 공급하고, 고역 부호화 데이터를 고역 복호 회로(45)에 공급한다.
저역 복호 회로(42)는 비다중화 회로(41)로부터의 저역 부호화 데이터의 복호를 행한다. 저역 복호 회로(42)는 복호의 결과 얻어지는 저역의 신호(이하, 복호 저역 신호라 칭함)를, 서브 밴드 분할 회로(43), 특징량 산출 회로(44) 및 합성 회로(48)에 공급한다.
서브 밴드 분할 회로(43)는 저역 복호 회로(42)로부터의 복호 저역 신호를, 소정의 대역 폭을 갖는 복수의 서브 밴드 신호로 등분할하고, 얻어진 서브 밴드 신호(복호 저역 서브 밴드 신호)를, 특징량 산출 회로(44) 및 복호 고역 신호 생성 회로(47)에 공급한다.
특징량 산출 회로(44)는 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호 중 복수의 서브 밴드 신호와 저역 복호 회로(42)로부터의 복호 저역 신호 중 적어도 어느 한쪽을 이용하여, 하나 또는 복수의 특징량을 산출하고, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.
고역 복호 회로(45)는 비다중화 회로(41)로부터의 고역 부호화 데이터의 복호를 행하고, 그 결과 얻어지는 의사 고역 서브 밴드 파워 차분 ID를 이용하여, 미리 ID(인덱스)마다 준비되어 있는, 고역 서브 밴드의 파워를 추정하기 위한 계수(이하, 복호 고역 서브 밴드 파워 추정 계수라 칭함)를, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.
복호 고역 서브 밴드 파워 산출 회로(46)는 특징량 산출 회로(44)로부터의, 하나 또는 복수의 특징량과, 고역 복호 회로(45)로부터의 복호 고역 서브 밴드 파워 추정 계수에 기초하여, 복호 고역 서브 밴드 파워를 산출하고, 복호 고역 신호 생성 회로(47)에 공급한다.
복호 고역 신호 생성 회로(47)는 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호와, 복호 고역 서브 밴드 파워 산출 회로(46)로부터의 복호 고역 서브 밴드 파워에 기초하여, 복호 고역 신호를 생성하고, 합성 회로(48)에 공급한다.
합성 회로(48)는 저역 복호 회로(42)로부터의 복호 저역 신호와, 복호 고역 신호 생성 회로(47)로부터의 복호 고역 신호를 합성하고, 출력 신호로서 출력한다.
[복호 장치의 복호 처리]
다음으로, 도 14의 플로우차트를 참조하여, 도 13의 복호 장치에 의한 복호 처리에 대해서 설명한다.
스텝 S131에 있어서, 비다중화 회로(41)는 입력 부호열을 고역 부호화 데이터와 저역 부호화 데이터에 비다중화하고, 저역 부호화 데이터를 저역 복호 회로(42)에 공급하고, 고역 부호화 데이터를 고역 복호 회로(45)에 공급한다.
스텝 S132에 있어서, 저역 복호 회로(42)는 비다중화 회로(41)로부터의 저역 부호화 데이터의 복호를 행하고, 그 결과 얻어진 복호 저역 신호를, 서브 밴드 분할 회로(43), 특징량 산출 회로(44) 및 합성 회로(48)에 공급한다.
스텝 S133에 있어서, 서브 밴드 분할 회로(43)는 저역 복호 회로(42)로부터의 복호 저역 신호를, 소정의 대역 폭을 갖는 복수의 서브 밴드 신호로 등분할하고, 얻어진 복호 저역 서브 밴드 신호를, 특징량 산출 회로(44) 및 복호 고역 신호 생성 회로(47)에 공급한다.
스텝 S134에 있어서, 특징량 산출 회로(44)는 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호 중 복수의 서브 밴드 신호와 저역 복호 회로(42)로부터의 복호 저역 신호 중 적어도 어느 한쪽으로부터, 하나 또는 복수의 특징량을 산출하고, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다. 또한, 도 13의 특징량 산출 회로(44)는, 도 3의 특징량 산출 회로(14)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있고, 스텝 S134에 있어서의 처리는, 도 4의 플로우차트의 스텝 S4에 있어서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.
스텝 S135에 있어서, 고역 복호 회로(45)는 비다중화 회로(41)로부터의 고역 부호화 데이터의 복호를 행하고, 그 결과 얻어지는 의사 고역 서브 밴드 파워 차분 ID를 이용하여, 미리 ID(인덱스)마다 준비되어 있는 복호 고역 서브 밴드 파워 추정 계수를, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.
스텝 S136에 있어서, 복호 고역 서브 밴드 파워 산출 회로(46)는 특징량 산출 회로(44)로부터의, 하나 또는 복수의 특징량과, 고역 복호 회로(45)로부터의 복호 고역 서브 밴드 파워 추정 계수에 기초하여, 복호 고역 서브 밴드 파워를 산출하고, 복호 고역 신호 생성 회로(47)에 공급한다. 또한, 도 13의 복호 고역 서브 밴드 파워 산출 회로(46)는, 도 3의 고역 서브 밴드 파워 추정 회로(15)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있고, 스텝 S136에 있어서의 처리는, 도 4의 플로우차트의 스텝 S5에 있어서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.
스텝 S137에 있어서, 복호 고역 신호 생성 회로(47)는 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호와, 복호 고역 서브 밴드 파워 산출 회로(46)로부터의 복호 고역 서브 밴드 파워에 기초하여, 복호 고역 신호를 출력한다. 또한, 도 13의 복호 고역 신호 생성 회로(47)는, 도 3의 고역 신호 생성 회로(16)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있고, 스텝 S137에 있어서의 처리는, 도 4의 플로우차트의 스텝 S6에 있어서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.
스텝 S138에 있어서, 합성 회로(48)는 저역 복호 회로(42)로부터의 복호 저역 신호와, 복호 고역 신호 생성 회로(47)로부터의 복호 고역 신호를 합성하고, 출력 신호로서 출력한다.
이상의 처리에 따르면, 부호화 시에 미리 산출된 의사 고역 서브 밴드 파워와, 실제의 고역 서브 밴드 파워의 차분의 특징에 따른, 복호 시의 고역 서브 밴드 파워 추정 계수를 이용함으로써, 복호 시의 고역 서브 밴드 파워의 추정 정밀도를 향상시킬 수 있어, 그 결과, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.
또한, 이상의 처리에 따르면, 부호열에 포함되는 고역 신호 생성을 위한 정보가, 의사 고역 서브 밴드 파워 차분 ID뿐으로 적으므로, 효율적으로 복호 처리를 행할 수 있다.
이상에 있어서는, 본 발명을 적용한 부호화 처리 및 복호 처리에 대해서 설명해 왔지만, 이하에 있어서는, 도 11의 부호화 장치(30)의 고역 부호화 회로(37)에 있어서 미리 설정되어 있는 의사 고역 서브 밴드 파워 차분의 특징 공간에 있어서의 복수의 클러스터 각각의 대표 벡터와, 도 13의 복호 장치(40)의 고역 복호 회로(45)에 의해 출력되는 복호 고역 서브 밴드 파워 추정 계수의 산출 방법에 대해서 설명한다.
[의사 고역 서브 밴드 파워 차분의 특징 공간에 있어서의 복수의 클러스터의 대표 벡터 및 각 클러스터에 대응한 복호 고역 서브 밴드 파워 추정 계수의 산출 방법]
복수의 클러스터의 대표 벡터 및 각 클러스터의 복호 고역 서브 밴드 파워 추정 계수를 구하는 방법으로서, 부호화 시에 산출되는 의사 고역 서브 밴드 파워 차분 벡터에 따라서, 복호 시의 고역 서브 밴드 파워를 정밀도 좋게 추정할 수 있도록 계수를 준비해 둘 필요가 있다. 그 때문에, 미리 광대역 교사 신호에 의해 학습을 행하고, 그 학습 결과에 기초하여 이들을 결정하는 방법을 적용한다.
[계수 학습 장치의 기능적 구성예]
도 15는, 복수의 클러스터의 대표 벡터 및 각 클러스터의 복호 고역 서브 밴드 파워 추정 계수의 학습을 행하는 계수 학습 장치의 기능적 구성예를 도시하고 있다.
도 15의 계수 학습 장치(50)에 입력되는 광대역 교사 신호의, 부호화 장치(30)의 저역 통과 필터(31)로 설정되는 차단 주파수 이하의 신호 성분은, 부호화 장치(30)로의 입력 신호가 저역 통과 필터(31)를 통과하고, 저역 부호화 회로(32)에 의해 부호화되고, 또한 복호 장치(40)의 저역 복호 회로(42)에 의해 복호된 복호 저역 신호이면 적절하다.
계수 학습 장치(50)는 저역 통과 필터(51), 서브 밴드 분할 회로(52), 특징량 산출 회로(53), 의사 고역 서브 밴드 파워 산출 회로(54), 의사 고역 서브 밴드 파워 차분 산출 회로(55), 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56) 및 계수 추정 회로(57)로 구성된다.
또한, 도 15의 계수 학습 장치(50)에 있어서의 저역 통과 필터(51), 서브 밴드 분할 회로(52), 특징량 산출 회로(53) 및 의사 고역 서브 밴드 파워 산출 회로(54) 각각은, 도 11의 부호화 장치(30)에 있어서의 저역 통과 필터(31), 서브 밴드 분할 회로(33), 특징량 산출 회로(34) 및 의사 고역 서브 밴드 파워 산출 회로(35) 각각과, 기본적으로 마찬가지의 구성과 기능을 구비하므로, 그 설명은 적절히 생략한다.
즉, 의사 고역 서브 밴드 파워 차분 산출 회로(55)는, 도 11의 의사 고역 서브 밴드 파워 차분 산출 회로(36)와 마찬가지의 구성 및 기능을 구비하지만, 계산한 의사 고역 서브 밴드 파워 차분을, 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)에 공급함과 함께, 의사 고역 서브 밴드 파워 차분을 계산할 때에 산출하는 고역 서브 밴드 파워를, 계수 추정 회로(57)에 공급한다.
의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, 의사 고역 서브 밴드 파워 차분 산출 회로(55)로부터의 의사 고역 서브 밴드 파워 차분으로부터 얻어지는 의사 고역 서브 밴드 파워 차분 벡터를 클러스터링하고, 각 클러스터에서의 대표 벡터를 산출한다.
계수 추정 회로(57)는 의사 고역 서브 밴드 파워 차분 산출 회로(55)로부터의 고역 서브 밴드 파워와, 특징량 산출 회로(53)로부터의 하나 또는 복수의 특징량에 기초하여, 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)에 의해 클러스터링 된 클러스터마다의 고역 서브 밴드 파워 추정 계수를 산출한다.
[계수 학습 장치의 계수 학습 처리]
다음으로, 도 16의 플로우차트를 참조하여, 도 15의 계수 학습 장치(50)에 의한 계수 학습 처리에 대해서 설명한다.
또한, 도 16의 플로우차트에 있어서의 스텝 S151 내지 S155의 처리는, 계수 학습 장치(50)에 입력되는 신호가 광대역 교사 신호인 이외는, 도 12의 플로우차트에 있어서의 스텝 S111, S113 내지 S116의 처리와 마찬가지이므로, 그 설명은 생략한다.
즉, 스텝 S156에 있어서, 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, 의사 고역 서브 밴드 파워 차분 산출 회로(55)로부터의 의사 고역 서브 밴드 파워 차분으로부터 얻어지는, 다수(대량의 시간 프레임)의 의사 고역 서브 밴드 파워 차분 벡터를, 예를 들면 64개 클러스터에 클러스터링하고, 각 클러스터의 대표 벡터를 산출한다. 클러스터링의 방법의 일례로서는, 예를 들면 k-means법에 의한 클러스터링을 적용할 수 있다. 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, k-means법에 의한 클러스터링을 행한 결과 얻어지는, 각 클러스터의 무게 중심 벡터를, 각 클러스터의 대표 벡터라고 한다. 또한, 클러스터링의 방법이나 클러스터의 수는, 상술한 것에 한정하지 않고, 다른 방법을 적용하도록 해도 된다.
또한, 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, 시간 프레임 J에 있어서의, 의사 고역 서브 밴드 파워 차분 산출 회로(55)로부터의 의사 고역 서브 밴드 파워 차분으로부터 얻어지는 의사 고역 서브 밴드 파워 차분 벡터를 이용하여, 64개의 대표 벡터와의 거리를 측정하고, 가장 거리가 짧아지는 대표 벡터가 속하는 클러스터의 인덱스 CID(J)를 결정한다. 또한, 인덱스 CID(J)는 1로부터 클러스터 수(이 예에서는 64개)까지의 정수값을 취하기로 한다. 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, 이와 같이 하여 대표 벡터를 출력하고, 또한 인덱스 CID(J)를 계수 추정 회로(57)에 공급한다.
스텝 S157에 있어서, 계수 추정 회로(57)는 의사 고역 서브 밴드 파워 차분 산출 회로(55) 및 특징량 산출 회로(53)로부터 동일 시간 프레임에 공급된 (eb-sb)개의 고역 서브 밴드 파워와 특징량의 다수의 조합 중, 동일한 인덱스 CID(J)를 갖는(동일한 클러스터에 속하는) 집합마다, 각 클러스터에서의 복호 고역 서브 밴드 파워 추정 계수의 산출을 행한다. 또한, 계수 추정 회로(57)에 의한 계수의 산출의 방법은, 도 9의 계수 학습 장치(20)에 있어서의 계수 추정 회로(24)에 의한 방법과 마찬가지인 것으로 하지만, 그 밖의 방법이어도 물론 좋다.
이상의 처리에 따르면, 미리 광대역 교사 신호를 이용하여, 도 11의 부호화 장치(30)의 고역 부호화 회로(37)에 있어서 미리 설정되어 있는 의사 고역 서브 밴드 파워 차분의 특징 공간에 있어서의 복수의 클러스터 각각의 대표 벡터와, 도 13의 복호 장치(40)의 고역 복호 회로(45)에 의해 출력되는 복호 고역 서브 밴드 파워 추정 계수의 학습을 행하도록 하였으므로, 부호화 장치(30)에 입력되는 다양한 입력 신호 및 복호 장치(40)에 입력되는 다양한 입력 부호열에 대하여 적절한 출력 결과를 얻는 것이 가능해지고, 나아가서는, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.
또한 신호의 부호화 및 복호에 대해서, 부호화 장치(30)의 의사 고역 서브 밴드 파워 산출 회로(35)나 복호 장치(40)의 복호 고역 서브 밴드 파워 산출 회로(46)에 있어서 고역 서브 밴드 파워를 산출하기 위한 계수 데이터는, 다음과 같이 취급하는 것도 가능하다. 즉, 입력 신호의 종류에 따라 다른 계수 데이터를 이용하는 것으로서, 그 계수를 부호열의 선두에 기록해 두는 것도 가능하다.
예를 들면, 스피치나 재즈 등의 신호에 의해 계수 데이터를 변경함으로써, 부호화 효율의 향상을 도모할 수 있다.
도 17은 이와 같이 하여 얻어진 부호열을 나타내고 있다.
도 17의 부호열 A는 스피치를 부호화한 것이고, 스피치에 최적인 계수 데이터 α가 헤더에 기록되어 있다.
이에 반하여, 도 17의 부호열 B는 재즈를 부호화한 것이고, 재즈에 최적인 계수 데이터 β가 헤더에 기록되어 있다.
이와 같은 복수의 계수 데이터를 미리 동종의 음악 신호로 학습함으로써 준비하고, 부호화 장치(30)에서는 입력 신호의 헤더에 기록되어 있는 장르 정보에 의해 그 계수 데이터를 선택해도 된다. 혹은, 신호의 파형 해석을 행함으로써 장르를 판정하고, 계수 데이터를 선택해도 된다. 즉, 이와 같은, 신호의 장르 해석 방법은 특별히 한정하지 않는다.
또한, 계산 시간이 허용되면, 부호화 장치(30)에 상술한 학습 장치를 내장시키고, 그 신호 전용의 계수를 이용하여 처리를 행하고, 도 17의 부호열 C로 나타내어지는 바와 같이, 마지막으로 그 계수를 헤더에 기록하는 것도 가능하다.
이 방법을 이용하는 것에 의한 이점을, 이하에 설명한다.
고역 서브 밴드 파워의 형상은, 1개의 입력 신호 내에서 유사한 개소가 다수 존재한다. 많은 입력 신호가 갖는 이 특징을 이용하고, 고역 서브 밴드 파워의 추정을 위한 계수의 학습을 입력 신호마다 별개로 행함으로써, 고역 서브 밴드 파워의 유사 개소의 존재에 의한 용장도를 저감시켜, 부호화 효율을 향상시킬 수 있다. 또한, 복수의 신호로 통계적으로 고역 서브 밴드 파워의 추정을 위한 계수를 학습하는 것보다도, 보다 고정밀도로 고역 서브 밴드 파워의 추정을 행할 수 있다.
또한, 이와 같이, 부호화 시에 입력 신호로부터 학습되는 계수 데이터를 수 프레임에 1회 삽입하는 형태를 취하는 것도 가능하다.
<3. 제3 실시 형태>
[부호화 장치의 기능적 구성예]
또한, 이상에 있어서는, 의사 고역 서브 밴드 파워 차분 ID가 고역 부호화 데이터로서, 부호화 장치(30)로부터 복호 장치(40)에 출력된다고 설명하였지만, 복호 고역 서브 밴드 파워 추정 계수를 얻기 위한 계수 인덱스가, 고역 부호화 데이터가 되어도 된다.
그와 같은 경우, 부호화 장치(30)는, 예를 들면 도 18에 도시하는 바와 같이 구성된다. 또한, 도 18에 있어서, 도 11에 있어서의 경우와 대응하는 부분에는, 동일한 부호를 부여하였으며, 그 설명은 적절히 생략한다.
도 18의 부호화 장치(30)는, 도 11의 부호화 장치(30)와 저역 복호 회로(39)가 설치되어 있지 않은 점에서 다르고, 그 밖의 점에서는 동일하다.
도 18의 부호화 장치(30)에서는, 특징량 산출 회로(34)는 서브 밴드 분할 회로(33)로부터 공급된 저역 서브 밴드 신호를 이용하여, 저역 서브 밴드 파워를 특징량으로서 산출하고, 의사 고역 서브 밴드 파워 산출 회로(35)에 공급한다.
또한, 의사 고역 서브 밴드 파워 산출 회로(35)에는, 미리 회귀 분석에 의해 구해진, 복수의 복호 고역 서브 밴드 파워 추정 계수와, 그들 복호 고역 서브 밴드 파워 추정 계수를 특정하는 계수 인덱스가 대응지어져 기록되어 있다.
구체적으로는, 복호 고역 서브 밴드 파워 추정 계수로서, 상술한 수학식 2의 연산에 이용되는 각 서브 밴드의 계수 Aib(kb)와 계수 Bib의 세트가, 미리 복수 준비되어 있다. 예를 들면, 이들 계수 Aib(kb)와 계수 Bib는, 저역 서브 밴드 파워를 설명 변수로 하고, 고역 서브 밴드 파워를 피설명 변수로 한, 최소 제곱법을 이용한 회귀 분석에 의해, 미리 구해져 있다. 회귀 분석에서는, 저역 서브 밴드 신호와 고역 서브 밴드 신호로 이루어지는 입력 신호가 광대역 교사 신호로서 이용된다.
의사 고역 서브 밴드 파워 산출 회로(35)는, 기록된 복호 고역 서브 밴드 파워 추정 계수마다, 복호 고역 서브 밴드 파워 추정 계수와, 특징량 산출 회로(34)로부터의 특징량을 이용하여, 고역측의 각 서브 밴드의 의사 고역 서브 밴드 파워를 산출하고, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터 공급된 고역 서브 밴드 신호로부터 구해지는 고역 서브 밴드 파워와, 의사 고역 서브 밴드 파워 산출 회로(35)로부터의 의사 고역 서브 밴드 파워를 비교한다.
그리고, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 비교의 결과, 복수의 복호 고역 서브 밴드 파워 추정 계수 중, 가장 고역 서브 밴드 파워에 가까운 의사 고역 서브 밴드 파워가 얻어진 복호 고역 서브 밴드 파워 추정 계수의 계수 인덱스를 고역 부호화 회로(37)에 공급한다. 바꿔 말하면, 복호 시에 재현되어야 할 입력 신호의 고역 신호, 즉 참값에 가장 가까운 복호 고역 신호가 얻어지는, 복호 고역 서브 밴드 파워 추정 계수의 계수 인덱스가 선택된다.
[부호화 장치의 부호화 처리]
다음으로, 도 19의 플로우차트를 참조하여, 도 18의 부호화 장치(30)에 의해 행해지는 부호화 처리에 대해서 설명한다. 또한, 스텝 S181 내지 스텝 S183의 처리는, 도 12의 스텝 S111 내지 스텝 S113의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S184에 있어서, 특징량 산출 회로(34)는 서브 밴드 분할 회로(33)로부터의 저역 서브 밴드 신호를 이용하여 특징량을 산출하고, 의사 고역 서브 밴드 파워 산출 회로(35)에 공급한다.
구체적으로는, 특징량 산출 회로(34)는, 상술한 수학식 1의 연산을 행하여, 저역측의 각 서브 밴드 ib(단, sb-3≤ib≤sb)에 대해서, 프레임 J(단, 0≤J)의 저역 서브 밴드 파워 power(ib, J)를 특징량으로서 산출한다. 즉, 저역 서브 밴드 파워 power(ib, J)는, 프레임 J를 구성하는 저역 서브 밴드 신호의 각 샘플의 샘플값의 제곱 평균값을, 대수화함으로써 산출된다.
스텝 S185에 있어서, 의사 고역 서브 밴드 파워 산출 회로(35)는 특징량 산출 회로(34)로부터 공급된 특징량에 기초하여, 의사 고역 서브 밴드 파워를 산출하고, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다.
예를 들면, 의사 고역 서브 밴드 파워 산출 회로(35)는, 복호 고역 서브 밴드 파워 추정 계수로서 미리 기록된 계수 Aib(kb) 및 계수 Bib와, 저역 서브 밴드 파워 power(kb, J)(단, sb-3≤kb≤sb)를 이용하여 상술한 수학식 2의 연산을 행하고, 의사 고역 서브 밴드 파워 powerest(ib, J)를 산출한다.
즉, 특징량으로서 공급된 저역측의 각 서브 밴드의 저역 서브 밴드 파워 power(kb, J)에, 서브 밴드마다의 계수 Aib(kb)가 승산되고, 계수가 승산된 저역 서브 밴드 파워의 합에, 더 계수 Bib가 가산되어, 의사 고역 서브 밴드 파워 powerest(ib, J)가 된다. 이 의사 고역 서브 밴드 파워는, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서 산출된다.
또한, 의사 고역 서브 밴드 파워 산출 회로(35)는, 미리 기록된 복호 고역 서브 밴드 파워 추정 계수마다 의사 고역 서브 밴드 파워의 산출을 행한다. 예를 들면, 계수 인덱스가 1 내지 K(단, 2≤K)의 K개의 복호 고역 서브 밴드 파워 추정 계수가 미리 준비되어 있다고 하자. 이 경우, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 각 서브 밴드의 의사 고역 서브 밴드 파워가 산출되게 된다.
스텝 S186에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 서브 밴드 분할 회로(33)로부터의 고역 서브 밴드 신호와, 의사 고역 서브 밴드 파워 산출 회로(35)로부터의 의사 고역 서브 밴드 파워에 기초하여, 의사 고역 서브 밴드 파워 차분을 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 서브 밴드 분할 회로(33)로부터의 고역 서브 밴드 신호에 대해서, 상술한 수학식 1과 마찬가지의 연산을 행하고, 프레임 J에 있어서의 고역 서브 밴드 파워 power(ib, J)를 산출한다. 또한, 본 실시 형태에서는, 저역 서브 밴드 신호의 서브 밴드와 고역 서브 밴드 신호의 서브 밴드의 모두를, 인덱스 ib를 이용하여 식별하기로 한다.
다음으로, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 상술한 수학식 14와 마찬가지의 연산을 행하여, 프레임 J에 있어서의 고역 서브 밴드 파워 power(ib, J)와, 의사 고역 서브 밴드 파워 powerest(ib, J)의 차분을 구한다. 이에 의해, 복호 고역 서브 밴드 파워 추정 계수마다, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 의사 고역 서브 밴드 파워 차분 powerdiff(ib, J)가 얻어진다.
스텝 S187에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 복호 고역 서브 밴드 파워 추정 계수마다, 다음 수학식 15를 계산하고, 의사 고역 서브 밴드 파워 차분의 제곱합을 산출한다.
Figure 112018014981321-pat00015
또한, 수학식 15에 있어서, 차분 제곱합 E(J, id)는, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수에 대해서 구해진, 프레임 J의 의사 고역 서브 밴드 파워 차분의 제곱합을 나타내고 있다. 또한, 수학식 15에 있어서, powerdiff(ib, J, id)는, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수에 대해서 구해진, 인덱스가 ib인 서브 밴드의 프레임 J의 의사 고역 서브 밴드 파워 차분 powerdiff(ib, J)를 나타내고 있다. 차분 제곱합 E(J, id)는, K개의 각 복호 고역 서브 밴드 파워 추정 계수에 대해서, 산출된다.
이와 같이 하여 얻어진 차분 제곱합 E(J, id)는, 실제의 고역 신호로부터 산출된 고역 서브 밴드 파워와, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수를 이용하여 산출된 의사 고역 서브 밴드 파워의 유사의 정도를 나타내고 있다.
즉, 고역 서브 밴드 파워의 참값에 대한 추정값의 오차를 나타내고 있다. 따라서, 차분 제곱합 E(J, id)가 작을수록, 복호 고역 서브 밴드 파워 추정 계수를 이용한 연산에 의해, 실제의 고역 신호에 보다 가까운 복호 고역 신호가 얻어지게 된다. 바꿔 말하면, 차분 제곱합 E(J, id)가 최소가 되는 복호 고역 서브 밴드 파워 추정 계수가, 출력 부호열의 복호 시에 행해지는 주파수 대역 확대 처리에 가장 적합한 추정 계수라고 말할 수 있다.
따라서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 차분 제곱합 E(J, id) 중, 값이 최소가 되는 차분 제곱합을 선택하고, 그 차분 제곱합에 대응하는 복호 고역 서브 밴드 파워 추정 계수를 나타내는 계수 인덱스를, 고역 부호화 회로(37)에 공급한다.
스텝 S188에 있어서, 고역 부호화 회로(37)는 의사 고역 서브 밴드 파워 차분 산출 회로(36)로부터 공급된 계수 인덱스를 부호화하고, 그 결과 얻어진 고역 부호화 데이터를 다중화 회로(38)에 공급한다.
예를 들면, 스텝 S188에서는, 계수 인덱스에 대하여 엔트로피 부호화 등이 행해진다. 이에 의해, 복호 장치(40)에 출력되는 고역 부호화 데이터의 정보량을 압축할 수 있다. 또한, 고역 부호화 데이터는, 최적인 복호 고역 서브 밴드 파워 추정 계수가 얻어지는 정보이면, 어떠한 정보이어도 좋고, 예를 들면 계수 인덱스가 그대로 고역 부호화 데이터로 되어도 좋다.
스텝 S189에 있어서, 다중화 회로(38)는 저역 부호화 회로(32)로부터 공급된 저역 부호화 데이터와, 고역 부호화 회로(37)로부터 공급된 고역 부호화 데이터를 다중화하고, 그 결과 얻어진 출력 부호열을 출력하고, 부호화 처리는 종료한다.
이와 같이, 저역 부호화 데이터와 함께, 계수 인덱스를 부호화하여 얻어진 고역 부호화 데이터를 출력 부호열로서 출력함으로써, 이 출력 부호열의 입력을 받는 복호 장치(40)에서는, 주파수 대역 확대 처리에 가장 적합한, 복호 고역 서브 밴드 파워 추정 계수를 얻을 수 있다. 이에 의해, 보다 고음질의 신호를 얻을 수 있게 된다.
[복호 장치의 기능적 구성예]
또한, 도 18의 부호화 장치(30)로부터 출력된 출력 부호열을, 입력 부호열로서 입력하고, 복호하는 복호 장치(40)는, 예를 들면 도 20에 도시하는 바와 같이 구성된다. 또한, 도 20에 있어서, 도 13에 있어서의 경우와 대응하는 부분에는, 동일한 부호를 부여하였으며, 그 설명은 생략한다.
도 20의 복호 장치(40)는 비다중화 회로(41) 내지 합성 회로(48)로 구성되는 점에서는, 도 13의 복호 장치(40)와 동일하지만, 저역 복호 회로(42)로부터의 복호 저역 신호가 특징량 산출 회로(44)에는 공급되지 않는 점에서, 도 13의 복호 장치(40)와 다르다.
도 20의 복호 장치(40)에서는, 고역 복호 회로(45)는, 도 18의 의사 고역 서브 밴드 파워 산출 회로(35)가 기록된 복호 고역 서브 밴드 파워 추정 계수와 동일한 복호 고역 서브 밴드 파워 추정 계수를 미리 기록하고 있다. 즉, 미리 회귀 분석에 의해 구해진 복호 고역 서브 밴드 파워 추정 계수로서의 계수 Aib(kb)와 계수 Bib의 세트가, 계수 인덱스와 대응지어져 기록되어 있다.
고역 복호 회로(45)는 비다중화 회로(41)로부터 공급된 고역 부호화 데이터를 복호하고, 그 결과 얻어진 계수 인덱스에 의해 나타내어지는 복호 고역 서브 밴드 파워 추정 계수를, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.
[복호 장치의 복호 처리]
다음으로, 도 21의 플로우차트를 참조하여, 도 20의 복호 장치(40)에 의해 행해지는 복호 처리에 대해서 설명한다.
이 복호 처리는, 부호화 장치(30)로부터 출력된 출력 부호열이, 입력 부호열로서 복호 장치(40)에 공급되면 개시된다. 또한, 스텝 S211 내지 스텝 S213의 처리는, 도 14의 스텝 S131 내지 스텝 S133의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S214에 있어서, 특징량 산출 회로(44)는 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호를 이용하여 특징량을 산출하고, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다. 구체적으로는, 특징량 산출 회로(44)는, 상술한 수학식 1의 연산을 행하여, 저역측의 각 서브 밴드 ib에 대해서, 프레임 J(단, 0≤J)의 저역 서브 밴드 파워 power(ib, J)를 특징량으로서 산출한다.
스텝 S215에 있어서, 고역 복호 회로(45)는 비다중화 회로(41)로부터 공급된 고역 부호화 데이터의 복호를 행하고, 그 결과 얻어진 계수 인덱스에 의해 나타내어지는 복호 고역 서브 밴드 파워 추정 계수를, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다. 즉, 고역 복호 회로(45)에 미리 기록되어 있는 복수의 복호 고역 서브 밴드 파워 추정 계수 중, 복호에 의해 얻어진 계수 인덱스에 의해 나타내어지는 복호 고역 서브 밴드 파워 추정 계수가 출력된다.
스텝 S216에 있어서, 복호 고역 서브 밴드 파워 산출 회로(46)는 특징량 산출 회로(44)로부터 공급된 특징량과, 고역 복호 회로(45)로부터 공급된 복호 고역 서브 밴드 파워 추정 계수에 기초하여, 복호 고역 서브 밴드 파워를 산출하고, 복호 고역 신호 생성 회로(47)에 공급한다.
즉, 복호 고역 서브 밴드 파워 산출 회로(46)는 복호 고역 서브 밴드 파워 추정 계수로서의 계수 Aib(kb) 및 계수 Bib와, 특징량으로서의 저역 서브 밴드 파워 power(kb, J)(단, sb-3≤kb≤sb)를 이용하여 상술한 수학식 2의 연산을 행하고, 복호 고역 서브 밴드 파워를 산출한다. 이에 의해, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 복호 고역 서브 밴드 파워가 얻어진다.
스텝 S217에 있어서, 복호 고역 신호 생성 회로(47)는 서브 밴드 분할 회로(43)로부터 공급된 복호 저역 서브 밴드 신호와, 복호 고역 서브 밴드 파워 산출 회로(46)로부터 공급된 복호 고역 서브 밴드 파워에 기초하여, 복호 고역 신호를 생성한다.
구체적으로는, 복호 고역 신호 생성 회로(47)는 복호 저역 서브 밴드 신호를 이용하여 상술한 수학식 1의 연산을 행하고, 저역측의 각 서브 밴드에 대해서 저역 서브 밴드 파워를 산출한다. 그리고, 복호 고역 신호 생성 회로(47)는, 얻어진 저역 서브 밴드 파워와 복호 고역 서브 밴드 파워를 이용하여 상술한 수학식 3의 연산을 행하고, 고역측의 서브 밴드마다의 이득량 G(ib, J)를 산출한다.
또한, 복호 고역 신호 생성 회로(47)는 이득량 G(ib, J)와, 복호 저역 서브 밴드 신호를 이용하여 상술한 수학식 5 및 수학식 6의 연산을 행하고, 고역측의 각 서브 밴드에 대해서, 고역 서브 밴드 신호 x3(ib, n)을 생성한다.
즉, 복호 고역 신호 생성 회로(47)는 저역 서브 밴드 파워와 복호 고역 서브 밴드 파워의 비에 따라서, 복호 저역 서브 밴드 신호 x(ib, n)를 진폭 변조하고, 그 결과, 얻어진 복호 저역 서브 밴드 신호 x2(ib, n)를, 또한 주파수 변조한다. 이에 의해, 저역측의 서브 밴드의 주파수 성분의 신호가, 고역측의 서브 밴드의 주파수 성분의 신호로 변환되고, 고역 서브 밴드 신호 x3(ib, n)이 얻어진다.
이와 같이 각 서브 밴드의 고역 서브 밴드 신호를 얻는 처리는, 보다 상세하게는, 이하와 같은 처리이다.
주파수 영역에 있어서 연속해서 배열되는 4개의 서브 밴드를, 대역 블록이라고 부르기로 하고, 저역측에 있는 인덱스가 sb 내지 sb-3인 4개의 서브 밴드로부터, 1개의 대역 블록(이하, 특히 저역 블록이라 칭함)이 구성되도록, 주파수 대역을 분할하였다고 하자. 이때, 예를 들면 고역측의 인덱스가 sb+1 내지 sb+4인 서브 밴드로 이루어지는 대역이, 1개의 대역 블록으로 된다. 또한, 이하 고역측, 즉 인덱스가 sb+1 이상인 서브 밴드로 이루어지는 대역 블록을, 특히 고역 블록이라고 부르기로 한다.
이제, 고역 블록을 구성하는 1개의 서브 밴드에 주목하고, 그 서브 밴드(이하, 주목 서브 밴드라 칭함)의 고역 서브 밴드 신호를 생성한다고 하자. 우선, 복호 고역 신호 생성 회로(47)는 고역 블록에 있어서의 주목 서브 밴드의 위치와 동일한 위치 관계에 있는, 저역 블록의 서브 밴드를 특정한다.
예를 들면, 주목 서브 밴드의 인덱스가 sb+1이면, 주목 서브 밴드는 고역 블록 중의 가장 주파수가 낮은 대역이므로, 주목 서브 밴드와 동일한 위치 관계에 있는 저역 블록의 서브 밴드는, 인덱스가 sb-3인 서브 밴드로 된다.
이와 같이 하여, 주목 서브 밴드와 동일한 위치 관계에 있는 저역 블록의 서브 밴드가 특정되면, 그 서브 밴드의 저역 서브 밴드 파워 및 복호 저역 서브 밴드 신호와, 주목 서브 밴드의 복호 고역 서브 밴드 파워가 이용되어, 주목 서브 밴드의 고역 서브 밴드 신호가 생성된다.
즉, 복호 고역 서브 밴드 파워와 저역 서브 밴드 파워가, 수학식 3에 대입되어, 그들 파워의 비에 따른 이득량이 산출된다. 그리고, 산출된 이득량이 복호 저역 서브 밴드 신호에 승산되고, 또한 이득량이 승산된 복호 저역 서브 밴드 신호가, 수학식 6의 연산에 의해 주파수 변조되어, 주목 서브 밴드의 고역 서브 밴드 신호가 된다.
이상의 처리에서, 고역측의 각 서브 밴드의 고역 서브 밴드 신호가 얻어진다. 그러면, 복호 고역 신호 생성 회로(47)는, 또한 상술한 수학식 7의 연산을 행하여, 얻어진 각 고역 서브 밴드 신호의 합을 구하고, 복호 고역 신호를 생성한다. 복호 고역 신호 생성 회로(47)는, 얻어진 복호 고역 신호를 합성 회로(48)에 공급하고, 처리는 스텝 S217로부터 스텝 S218로 진행한다.
스텝 S218에 있어서, 합성 회로(48)는 저역 복호 회로(42)로부터의 복호 저역 신호와, 복호 고역 신호 생성 회로(47)로부터의 복호 고역 신호를 합성하고, 출력 신호로서 출력한다.
그리고, 그 후, 복호 처리는 종료한다.
이상과 같이, 복호 장치(40)에 따르면, 입력 부호열의 비다중화에 의해 얻어진 고역 부호화 데이터로부터 계수 인덱스를 얻고, 그 계수 인덱스에 의해 나타내어지는 복호 고역 서브 밴드 파워 추정 계수를 이용하여 복호 고역 서브 밴드 파워를 산출하므로, 고역 서브 밴드 파워의 추정 정밀도를 향상시킬 수 있다. 이에 의해, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.
<4. 제4 실시 형태>
[부호화 장치의 부호화 처리]
또한, 이상에 있어서는, 고역 부호화 데이터에 계수 인덱스만이 포함되는 경우를 예로서 설명하였지만, 다른 정보가 포함되도록 해도 된다.
예를 들면, 계수 인덱스가 고역 부호화 데이터에 포함되도록 하면, 실제의 고역 신호의 고역 서브 밴드 파워에 가장 가까운 복호 고역 서브 밴드 파워가 얻어지는, 복호 고역 서브 밴드 파워 추정 계수를, 복호 장치(40)측에 있어서 알 수 있다.
그러나, 실제의 고역 서브 밴드 파워(참값)와, 복호 장치(40)측에서 얻어지는 복호 고역 서브 밴드 파워(추정값)에는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 의해 산출된 의사 고역 서브 밴드 파워 차분 powerdiff(ib, J)와 거의 동일한 값만큼 차가 생긴다.
따라서, 고역 부호화 데이터에, 계수 인덱스뿐만 아니라, 각 서브 밴드의 의사 고역 서브 밴드 파워 차분도 포함되도록 하면, 복호 장치(40)측에 있어서, 실제의 고역 서브 밴드 파워에 대한 복호 고역 서브 밴드 파워의 대략의 오차를 알 수 있다. 그렇게 하면, 이 오차를 이용하여, 고역 서브 밴드 파워의 추정 정밀도를 더욱 향상시킬 수 있다.
이하, 도 22 및 도 23의 플로우차트를 참조하여, 고역 부호화 데이터에 의사 고역 서브 밴드 파워 차분이 포함되는 경우에 있어서의 부호화 처리와 복호 처리에 대해서 설명한다.
우선, 도 22의 플로우차트를 참조하여, 도 18의 부호화 장치(30)에 의해 행해지는 부호화 처리에 대해서 설명한다. 또한, 스텝 S241 내지 스텝 S246의 처리는, 도 19의 스텝 S181 내지 스텝 S186의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S247에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 상술한 수학식 15의 연산을 행하여, 복호 고역 서브 밴드 파워 추정 계수마다, 차분 제곱합 E(J, id)를 산출한다.
그리고, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 차분 제곱합 E(J, id) 중, 값이 최소가 되는 차분 제곱합을 선택하고, 그 차분 제곱합에 대응하는 복호 고역 서브 밴드 파워 추정 계수를 나타내는 계수 인덱스를, 고역 부호화 회로(37)에 공급한다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 선택된 차분 제곱합에 대응하는 복호 고역 서브 밴드 파워 추정 계수에 대해서 구한, 각 서브 밴드의 의사 고역 서브 밴드 파워 차분 powerdiff(ib, J)를 고역 부호화 회로(37)에 공급한다.
스텝 S248에 있어서, 고역 부호화 회로(37)는 의사 고역 서브 밴드 파워 차분 산출 회로(36)로부터 공급된, 계수 인덱스 및 의사 고역 서브 밴드 파워 차분을 부호화하고, 그 결과 얻어진 고역 부호화 데이터를 다중화 회로(38)에 공급한다.
이에 의해, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드의 의사 고역 서브 밴드 파워 차분, 즉 고역 서브 밴드 파워의 추정 오차가 고역 부호화 데이터로서, 복호 장치(40)에 공급되게 된다.
고역 부호화 데이터가 얻어지면, 그 후, 스텝 S249의 처리가 행해져 부호화 처리는 종료되지만, 스텝 S249의 처리는, 도 19의 스텝 S189의 처리와 마찬가지이므로, 그 설명은 생략한다.
이상과 같이, 고역 부호화 데이터에 의사 고역 서브 밴드 파워 차분이 포함되도록 하면, 복호 장치(40)에 있어서, 고역 서브 밴드 파워의 추정 정밀도를 더욱 향상시킬 수 있어, 보다 고음질의 음악 신호를 얻을 수 있게 된다.
[복호 장치의 복호 처리]
다음으로, 도 23의 플로우차트를 참조하여, 도 20의 복호 장치(40)에 의해 행해지는 복호 처리에 대해서 설명한다. 또한, 스텝 S271 내지 스텝 S274의 처리는, 도 21의 스텝 S211 내지 스텝 S214의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S275에 있어서, 고역 복호 회로(45)는 비다중화 회로(41)로부터 공급된 고역 부호화 데이터의 복호를 행한다. 그리고, 고역 복호 회로(45)는, 복호에 의해 얻어진 계수 인덱스에 의해 나타내어지는 복호 고역 서브 밴드 파워 추정 계수와, 복호에 의해 얻어진 각 서브 밴드의 의사 고역 서브 밴드 파워 차분을, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.
스텝 S276에 있어서, 복호 고역 서브 밴드 파워 산출 회로(46)는 특징량 산출 회로(44)로부터 공급된 특징량과, 고역 복호 회로(45)로부터 공급된 복호 고역 서브 밴드 파워 추정 계수에 기초하여, 복호 고역 서브 밴드 파워를 산출한다. 또한, 스텝 S276에서는, 도 21의 스텝 S216과 마찬가지의 처리가 행해진다.
스텝 S277에 있어서, 복호 고역 서브 밴드 파워 산출 회로(46)는 복호 고역 서브 밴드 파워에, 고역 복호 회로(45)로부터 공급된 의사 고역 서브 밴드 파워 차분을 가산하여, 최종적인 복호 고역 서브 밴드 파워로 하고, 복호 고역 신호 생성 회로(47)에 공급한다.
즉, 산출된 각 서브 밴드의 복호 고역 서브 밴드 파워에, 동일한 서브 밴드의 의사 고역 서브 밴드 파워 차분이 가산된다.
그리고, 그 후, 스텝 S278 및 스텝 S279의 처리가 행해져, 복호 처리는 종료되지만, 이들 처리는 도 21의 스텝 S217 및 스텝 S218과 마찬가지이므로, 그 설명은 생략한다.
이상과 같이 하여, 복호 장치(40)는 입력 부호열의 비다중화에 의해 얻어진 고역 부호화 데이터로부터 계수 인덱스와, 의사 고역 서브 밴드 파워 차분을 얻는다. 그리고, 복호 장치(40)는 계수 인덱스에 의해 나타내어지는 복호 고역 서브 밴드 파워 추정 계수와, 의사 고역 서브 밴드 파워 차분을 이용하여 복호 고역 서브 밴드 파워를 산출한다. 이에 의해, 고역 서브 밴드 파워의 추정 정밀도를 향상시킬 수 있어, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.
또한, 부호화 장치(30)와, 복호 장치(40) 사이에서 생기는 고역 서브 밴드 파워의 추정값의 차, 즉 의사 고역 서브 밴드 파워와 복호 고역 서브 밴드 파워의 차(이하, 장치간 추정차라 칭함)가 고려되도록 해도 된다.
그와 같은 경우, 예를 들면 고역 부호화 데이터로 되는 의사 고역 서브 밴드 파워 차분이, 장치간 추정차로 보정되거나, 고역 부호화 데이터에 장치간 추정차가 포함되도록 하고, 복호 장치(40)측에서, 장치간 추정차에 의해, 의사 고역 서브 밴드 파워 차분이 보정되거나 한다. 또한, 미리 복호 장치(40)측에서, 장치간 추정차를 기록해 두도록 하고, 복호 장치(40)가, 의사 고역 서브 밴드 파워 차분에 장치간 추정차를 가산하여, 보정을 행하도록 해도 된다. 이에 의해, 실제의 고역 신호에, 보다 가까운 복호 고역 신호를 얻을 수 있다.
<5. 제5 실시 형태>
또한, 도 18의 부호화 장치(30)에서는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)가, 차분 제곱합 E(J, id)를 지표로 하여, 복수의 계수 인덱스로부터 최적인 것을 선택한다고 설명하였지만, 차분 제곱합과는 다른 지표를 이용하여 계수 인덱스를 선택해도 된다.
예를 들면, 계수 인덱스를 선택하는 지표로서, 고역 서브 밴드 파워와 의사 고역 서브 밴드 파워의 잔차의 제곱 평균값, 최대값 및 평균값 등을 고려한 평가값을 이용하도록 해도 된다. 그와 같은 경우, 도 18의 부호화 장치(30)는, 도 24의 플로우차트에 나타내는 부호화 처리를 행한다.
이하, 도 24의 플로우차트를 참조하여, 부호화 장치(30)에 의한 부호화 처리에 대해서 설명한다. 또한, 스텝 S301 내지 스텝 S305의 처리는, 도 19의 스텝 S181 내지 스텝 S185의 처리와 마찬가지이므로, 그 설명은 생략한다. 스텝 S301 내지 스텝 S305의 처리가 행해지면, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 각 서브 밴드의 의사 고역 서브 밴드 파워가 산출된다.
스텝 S306에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 처리 대상으로 되어 있는 현 프레임 J를 이용한 평가값 Res(id, J)를 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 서브 밴드 분할 회로(33)로부터 공급된 각 서브 밴드의 고역 서브 밴드 신호를 이용하여, 상술한 수학식 1과 마찬가지의 연산을 행하고, 프레임 J에 있어서의 고역 서브 밴드 파워 power(ib, J)를 산출한다. 또한, 본 실시 형태에서는, 저역 서브 밴드 신호의 서브 밴드와 고역 서브 밴드 신호의 서브 밴드의 모두를, 인덱스 ib를 이용하여 식별하기로 한다.
고역 서브 밴드 파워 power(ib, J)가 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 16을 계산하고, 잔차 제곱 평균값 Resstd(id, J)를 산출한다.
Figure 112018014981321-pat00016
즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 프레임 J의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해지고, 그들 차분의 제곱합이 잔차 제곱 평균값 Resstd(id, J)가 된다. 또한, 의사 고역 서브 밴드 파워 powerest(ib, id, J)는, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수에 대해서 구해진, 인덱스가 ib인 서브 밴드의 프레임 J의 의사 고역 서브 밴드 파워를 나타내고 있다.
계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 17을 계산하고, 잔차 최대값 Resmax(id, J)를 산출한다.
Figure 112018014981321-pat00017
또한, 수학식 17에 있어서, maxib{|power(ib, J)-powerest(ib, id, J)|}는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분의 절대값 중의 최대의 것을 나타내고 있다. 따라서, 프레임 J에 있어서의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분의 절대값의 최대값이 잔차 최대값 Resmax(id, J)가 된다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 18을 계산하고, 잔차 평균값 Resave(id, J)를 산출한다.
Figure 112018014981321-pat00018
즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 프레임 J의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해지고, 그들 차분의 총합이 구해진다. 그리고, 얻어진 차분의 총합을 고역측의 서브 밴드수(eb-sb)로 제산하여 얻어지는 값의 절대값이 잔차 평균값 Resave(id, J)가 된다. 이 잔차 평균값 Resave(id, J)는, 부호가 고려된 각 서브 밴드의 추정 오차의 평균값의 크기를 나타내고 있다.
또한, 잔차 제곱 평균값 Resstd(id, J), 잔차 최대값 Resmax(id, J) 및 잔차 평균값 Resave(id, J)가 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 19를 계산하고, 최종적인 평가값 Res(id, J)를 산출한다.
Figure 112018014981321-pat00019
즉, 잔차 제곱 평균값 Resstd(id, J), 잔차 최대값 Resmax(id, J) 및 잔차 평균값 Resave(id, J)가 가중치 부여 가산되어, 최종적인 평가값 Res(id, J)가 된다. 또한, 수학식 19에 있어서, Wmax 및 Wave는, 미리 정해진 가중치이고, 예를 들면 Wmax=0.5, Wave=0.5 등이 된다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 이상의 처리를 행하여, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 즉 K개의 계수 인덱스 id마다, 평가값 Res(id, J)를 산출한다.
스텝 S307에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 구한 계수 인덱스 id마다의 평가값 Res(id, J)에 기초하여, 계수 인덱스 id를 선택한다.
이상의 처리에서 얻어진 평가값 Res(id, J)는, 실제의 고역 신호로부터 산출된 고역 서브 밴드 파워와, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수를 이용하여 산출된 의사 고역 서브 밴드 파워의 유사의 정도를 나타내고 있다. 즉, 고역 성분의 추정 오차의 크기를 나타내고 있다.
따라서, 평가값 Res(id, J)가 작을수록, 복호 고역 서브 밴드 파워 추정 계수를 이용한 연산에 의해, 실제의 고역 신호에 보다 가까운 복호 고역 신호가 얻어지게 된다. 따라서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 평가값 Res(id, J) 중, 값이 최소가 되는 평가값을 선택하고, 그 평가값에 대응하는 복호 고역 서브 밴드 파워 추정 계수를 나타내는 계수 인덱스를, 고역 부호화 회로(37)에 공급한다.
계수 인덱스가 고역 부호화 회로(37)에 출력되면, 그 후, 스텝 S308 및 스텝 S309의 처리가 행해져 부호화 처리는 종료되지만, 이들 처리는 도 19의 스텝 S188 및 스텝 S189와 마찬가지이므로, 그 설명은 생략한다.
이상과 같이, 부호화 장치(30)에서는, 잔차 제곱 평균값 Resstd(id, J), 잔차 최대값 Resmax(id, J) 및 잔차 평균값 Resave(id, J)로부터 산출된 평가값 Res(id, J)가 이용되어, 최적인 복호 고역 서브 밴드 파워 추정 계수의 계수 인덱스가 선택된다.
평가값 Res(id, J)를 이용하면, 차분 제곱합을 이용한 경우와 비교하여, 보다 많은 평가 척도를 이용하여 고역 서브 밴드 파워의 추정 정밀도를 평가할 수 있으므로, 보다 적절한 복호 고역 서브 밴드 파워 추정 계수를 선택할 수 있게 된다. 이에 의해, 출력 부호열의 입력을 받는 복호 장치(40)에서는, 주파수 대역 확대 처리에 가장 적합한, 복호 고역 서브 밴드 파워 추정 계수를 얻을 수 있어, 보다 고음질의 신호를 얻을 수 있게 된다.
<변형예 1>
또한, 이상에 있어서 설명한 부호화 처리를 입력 신호의 프레임마다 행하면, 입력 신호의 고역측의 각 서브 밴드의 고역 서브 밴드 파워의 시간적인 변동이 적은 정상부에서는, 연속되는 프레임마다 다른 계수 인덱스가 선택되어 버리는 경우가 있다.
즉, 입력 신호의 정상부를 구성하는, 연속되는 프레임에서는, 각 프레임의 고역 서브 밴드 파워는 거의 동일한 값이 되므로, 그들 프레임에서는 계속해서 동일한 계수 인덱스가 선택되어야 한다. 그런데, 이들 연속되는 프레임의 구간에 있어서, 프레임마다 선택되는 계수 인덱스가 변화하고, 그 결과, 복호 장치(40)측에 있어서 재생되는 음성의 고역 성분이 정상이 아니게 되어 버리는 경우가 있다. 그렇게 하면, 재생된 음성에는, 청감상 위화감이 생겨 버린다.
따라서, 부호화 장치(30)에 있어서 계수 인덱스를 선택하는 경우에, 시간적으로 이전의 프레임에서의 고역 성분의 추정 결과도 고려되도록 해도 된다. 그와 같은 경우, 도 18의 부호화 장치(30)는, 도 25의 플로우차트에 나타내는 부호화 처리를 행한다.
이하, 도 25의 플로우차트를 참조하여, 부호화 장치(30)에 의한 부호화 처리에 대해서 설명한다. 또한, 스텝 S331 내지 스텝 S336의 처리는, 도 24의 스텝 S301 내지 스텝 S306의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S337에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 과거 프레임과 현 프레임을 이용한 평가값 ResP(id, J)를 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 처리 대상의 프레임 J보다도 시간적으로 1개 전의 프레임(J-1)에 대해서, 최종적으로 선택된 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수를 이용하여 얻어진, 각 서브 밴드의 의사 고역 서브 밴드 파워를 기록하고 있다. 여기서, 최종적으로 선택된 계수 인덱스란, 고역 부호화 회로(37)에 의해 부호화되어, 복호 장치(40)에 출력된 계수 인덱스이다.
이하에서는, 특히 프레임(J-1)에 있어서 선택된 계수 인덱스 id를 idselected(J-1)로 한다. 또한, 계수 인덱스 idselected(J-1)의 복호 고역 서브 밴드 파워 추정 계수를 이용하여 얻어진, 인덱스가 ib(단, sb+1≤ib≤eb)인 서브 밴드의 의사 고역 서브 밴드 파워를 powerest[ib, idselected(J-1), J-1]로서 설명을 계속한다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 우선 다음 수학식 20을 계산하고, 추정 잔차 제곱 평균값 ResPstd(id, J)를 산출한다.
Figure 112018014981321-pat00020
즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 프레임(J-1)의 의사 고역 서브 밴드 파워 powerest[ib, idselected(J-1), J-1]와, 프레임 J의 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해진다. 그리고, 이들 차분의 제곱합이 추정 잔차 제곱 평균값 ResPstd(id, J)가 된다. 또한, 의사 고역 서브 밴드 파워 powerest(ib, id, J)는 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수에 대해서 구해진, 인덱스가 ib인 서브 밴드의 프레임 J의 의사 고역 서브 밴드 파워를 나타내고 있다.
이 추정 잔차 제곱 평균값 ResPstd(id, J)는, 시간적으로 연속되는 프레임간의 의사 고역 서브 밴드 파워의 차분 제곱합이므로, 추정 잔차 제곱 평균값 ResPstd(id, J)가 작을수록, 고역 성분의 추정값의 시간적인 변화가 적게 된다.
계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 21을 계산하고, 추정 잔차 최대값 ResPmax(id, J)를 산출한다.
Figure 112018014981321-pat00021
또한, 수학식 21에 있어서, maxib{|powerest(ib, idselected(J-1), J-1)-powerest(ib, id, J)|}는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 의사 고역 서브 밴드 파워 powerest[ib, idselected(J-1), J-1]와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분의 절대값 중의 최대의 것을 나타내고 있다. 따라서, 시간적으로 연속되는 프레임간의 의사 고역 서브 밴드 파워의 차분의 절대값의 최대값이 추정 잔차 최대값 ResPmax(id, J)가 된다.
추정 잔차 최대값 ResPmax(id, J)는, 그 값이 작을수록, 연속되는 프레임간의 고역 성분의 추정 결과가 가깝게 된다.
추정 잔차 최대값 ResPmax(id, J)가 얻어지면, 다음으로 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 22를 계산하고, 추정 잔차 평균값 ResPave(id, J)를 산출한다.
Figure 112018014981321-pat00022
즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 프레임(J-1)의 의사 고역 서브 밴드 파워 powerest[ib, idselected(J-1), J-1]와, 프레임 J의 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해진다. 그리고, 각 서브 밴드의 차분의 총합이 고역측의 서브 밴드수(eb-sb)로 제산되어 얻어진 값의 절대값이, 추정 잔차 평균값 ResPave(id, J)가 된다. 이 추정 잔차 평균값 ResPave(id, J)는, 부호가 고려된 프레임간의 서브 밴드의 추정값의 차의 평균값의 크기를 나타내고 있다.
또한, 추정 잔차 제곱 평균값 ResPstd(id, J), 추정 잔차 최대값 ResPmax(id, J) 및 추정 잔차 평균값 ResPave(id, J)가 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 23을 계산하고, 평가값 ResP(id, J)를 산출한다.
Figure 112018014981321-pat00023
즉, 추정 잔차 제곱 평균값 ResPstd(id, J), 추정 잔차 최대값 ResPmax(id, J) 및 추정 잔차 평균값 ResPave(id, J)가 가중치 부여 가산되어, 평가값 ResP(id, J)가 된다. 또한, 수학식 23에 있어서, Wmax 및 Wave는, 미리 정해진 가중치이고, 예를 들면 Wmax=0.5, Wave=0.5 등이 된다.
이와 같이 하여, 과거 프레임과 현 프레임을 이용한 평가값 ResP(id, J)가 산출되면, 처리는 스텝 S337로부터 스텝 S338로 진행한다.
스텝 S338에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 24를 계산하여, 최종적인 평가값 Resall(id, J)을 산출한다.
Figure 112018014981321-pat00024
즉, 구한 평가값 Res(id, J)와 평가값 ResP(id, J)가 가중치 부여 가산된다. 또한, 수학식 24에 있어서, Wp(J)는, 예를 들면 다음 수학식 25에 의해 정의되는 가중치이다.
Figure 112018014981321-pat00025
또한, 수학식 25에 있어서의 powerr(J)은, 다음 수학식 26에 의해 정해지는 값이다.
Figure 112018014981321-pat00026
이 powerr(J)은, 프레임(J-1)과 프레임 J의 고역 서브 밴드 파워의 차분의 평균을 나타내고 있다. 또한, 수학식 25로부터 Wp(J)는, powerr(J)이 0 근방의 소정의 범위 내의 값일 때는, powerr(J)이 작을수록 1에 가까운 값이 되고, powerr(J)이 소정의 범위의 값보다 클 때는 0이 된다.
여기서, powerr(J)이 0 근방의 소정 범위 내의 값인 경우, 연속되는 프레임간의 고역 서브 밴드 파워의 차분의 평균은 어느 정도 작게 된다. 바꿔 말하면, 입력 신호의 고역 성분의 시간적인 변동이 적어, 입력 신호의 현 프레임은 정상부인 것으로 된다.
가중치 Wp(J)는 입력 신호의 고역 성분이 정상일수록, 보다 1에 가까운 값이 되고, 반대로 고역 성분이 정상이 아닐수록 보다 0에 가까운 값이 된다. 따라서, 수학식 24에 나타내어지는 평가값 Resall(id, J)에서는, 입력 신호의 고역 성분의 시간적 변동이 적을수록, 보다 직전 프레임에서의 고역 성분의 추정 결과와의 비교 결과를 평가 척도로 한 평가값 ResP(id, J)의 기여율이 커진다.
그 결과, 입력 신호의 정상부에서는, 직전 프레임에 있어서의 고역 성분의 추정 결과에 가까운 것이 얻어지는 복호 고역 서브 밴드 파워 추정 계수가 선택되게 되고, 복호 장치(40)측에 있어서, 보다 자연스럽고 고음질의 음성을 재생할 수 있게 된다. 반대로, 입력 신호의 비정상부에서는, 평가값 Resall(id, J)에 있어서의 평가값 ResP(id, J)의 항은 0이 되고, 실제의 고역 신호에 보다 가까운 복호 고역 신호가 얻어진다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 이상의 처리를 행하여, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 평가값 Resall(id, J)을 산출한다.
스텝 S339에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 구한 복호 고역 서브 밴드 파워 추정 계수마다의 평가값 Resall(id, J)에 기초하여, 계수 인덱스 id를 선택한다.
이상의 처리에서 얻어진 평가값 Resall(id, J)은, 가중치를 이용하여 평가값 Res(id, J)와 평가값 ResP(id, J)를 선형 결합한 것이다. 상술한 바와 같이, 평가값 Res(id, J)는 값이 작을수록, 실제의 고역 신호에 보다 가까운 복호 고역 신호가 얻어진다. 또한, 평가값 ResP(id, J)는, 그 값이 작을수록, 직전 프레임의 복호 고역 신호에 보다 가까운 복호 고역 신호가 얻어진다.
따라서, 평가값 Resall(id, J)이 작을수록, 보다 적절한 복호 고역 신호가 얻어지게 된다. 따라서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 평가값 Resall(id, J) 중, 값이 최소가 되는 평가값을 선택하고, 그 평가값에 대응하는 복호 고역 서브 밴드 파워 추정 계수를 나타내는 계수 인덱스를, 고역 부호화 회로(37)에 공급한다.
계수 인덱스가 선택되면, 그 후, 스텝 S340 및 스텝 S341의 처리가 행해져 부호화 처리는 종료되지만, 이들 처리는 도 24의 스텝 S308 및 스텝 S309와 마찬가지이므로, 그 설명은 생략한다.
이상과 같이, 부호화 장치(30)에서는, 평가값 Res(id, J)와 평가값 ResP(id, J)를 선형 결합하여 얻어지는 평가값 Resall(id, J)이 이용되어, 최적인 복호 고역 서브 밴드 파워 추정 계수의 계수 인덱스가 선택된다.
평가값 Resall(id, J)을 이용하면, 평가값 Res(id, J)를 이용한 경우와 마찬가지로, 보다 많은 평가 척도에 의해, 보다 적절한 복호 고역 서브 밴드 파워 추정 계수를 선택할 수 있다. 게다가, 평가값 Resall(id, J)을 이용하면, 복호 장치(40)측에 있어서, 재생하려고 하는 신호의 고역 성분의 정상부에 있어서의 시간적인 변동을 억제 할 수 있어, 보다 고음질의 신호를 얻을 수 있다.
<변형예 2>
그런데, 주파수 대역 확대 처리에서는, 보다 고음질의 음성을 얻고자 하면, 보다 저역측의 서브 밴드일수록 청감상 중요해진다. 즉, 고역측의 각 서브 밴드 중, 보다 저역측에 가까운 서브 밴드의 추정 정밀도가 높을수록, 보다 고음질의 음성을 재생할 수 있다.
따라서, 각 복호 고역 서브 밴드 파워 추정 계수에 대한 평가값이 산출되는 경우에, 보다 저역측의 서브 밴드에 가중치가 놓이도록 해도 된다. 그와 같은 경우, 도 18의 부호화 장치(30)는, 도 26의 플로우차트에 나타내는 부호화 처리를 행한다.
이하, 도 26의 플로우차트를 참조하여, 부호화 장치(30)에 의한 부호화 처리에 대해서 설명한다. 또한, 스텝 S371 내지 스텝 S375의 처리는, 도 25의 스텝 S331 내지 스텝 S335의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S376에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 처리 대상으로 되어 있는 현 프레임 J를 이용한 평가값 ResWband(id, J)를 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 서브 밴드 분할 회로(33)로부터 공급된 각 서브 밴드의 고역 서브 밴드 신호를 이용하여, 상술한 수학식 1과 마찬가지의 연산을 행하고, 프레임 J에 있어서의 고역 서브 밴드 파워 power(ib, J)를 산출한다.
고역 서브 밴드 파워 power(ib, J)가 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 27을 계산하고, 잔차 제곱 평균값 ResstdWband(id, J)를 산출한다.
Figure 112018014981321-pat00027
즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 프레임 J의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해지고, 그들 차분에 서브 밴드마다의 가중치 Wband(ib)가 승산된다. 그리고, 가중치 Wband(ib)가 승산된 차분의 제곱합이 잔차 제곱 평균값 ResstdWband(id, J)가 된다.
여기서, 가중치 Wband(ib)(단, sb+1≤ib≤eb)는, 예를 들면 다음 수학식 28로 정의된다. 이 가중치 Wband(ib)의 값은, 보다 저역측의 서브 밴드일수록 커진다.
Figure 112018014981321-pat00028
계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 잔차 최대값 ResmaxWband(id, J)를 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분에, 가중치 Wband(ib)가 승산된 것 중의 절대값의 최대값이, 잔차 최대값 ResmaxWband(id, J)가 된다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 잔차 평균값 ResaveWband(id, J)를 산출한다.
구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드에 대해서, 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해져 가중치 Wband(ib)가 승산되고, 가중치 Wband(ib)가 승산된 차분의 총합이 구해진다. 그리고, 얻어진 차분의 총합을 고역측의 서브 밴드수(eb-sb)로 제산하여 얻어지는 값의 절대값이 잔차 평균값 ResaveWband(id, J)가 된다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 평가값 ResWband(id, J)를 산출한다. 즉, 잔차 제곱 평균값 ResstdWband(id, J), 가중치 Wmax가 승산된 잔차 최대값 ResmaxWband(id, J) 및 가중치 Wave가 승산된 잔차 평균값 ResaveWband(id, J)의 합이 평가값 ResWband(id, J)가 된다.
스텝 S377에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 과거 프레임과 현 프레임을 이용한 평가값 ResPWband(id, J)를 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 처리 대상의 프레임 J보다도 시간적으로 하나 전의 프레임(J-1)에 대해서, 최종적으로 선택된 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수를 이용하여 얻어진, 각 서브 밴드의 의사 고역 서브 밴드 파워를 기록하고 있다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 우선 추정 잔차 제곱 평균값 ResPstdWband(id, J)를 산출한다. 즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 의사 고역 서브 밴드 파워 powerest[ib, idselected(J-1), J-1]와, 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해져 가중치 Wband(ib)가 승산된다. 그리고, 가중치 Wband(ib)가 승산된 차분의 제곱합이 추정 잔차 제곱 평균값 ResPstdWband(id, J)가 된다.
계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 최대값 ResPmaxWband(id, J)를 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 의사 고역 서브 밴드 파워 powerest[ib, idselected(J-1), J-1]와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분에, 가중치 Wband(ib)가 승산되는 것 중 절대값의 최대값이, 추정 잔차 최대값 ResPmaxWband(id, J)가 된다.
다음으로, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 평균값 ResPaveWband(id, J)를 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드에 대해서, 의사 고역 서브 밴드 파워 powerest[ib, idselected(J-1), J-1]와, 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해져, 가중치 Wband(ib)가 승산된다. 그리고, 가중치 Wband(ib)가 승산된 차분의 총합이 고역측의 서브 밴드수(eb-sb)로 제산되어 얻어진 값의 절대값이, 추정 잔차 평균값 ResPaveWband(id, J)가 된다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 제곱 평균값 ResPstdWband(id, J), 가중치 Wmax가 승산된 추정 잔차 최대값 ResPmaxWband(id, J) 및 가중치 Wave가 승산된 추정 잔차 평균값 ResPaveWband(id, J)의 합을 구하고, 평가값 ResPWband(id, J)로 한다.
스텝 S378에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 평가값 ResWband(id, J)와, 수학식 25의 가중치 Wp(J)가 승산된 평가값 ResPWband(id, J)를 가산하여, 최종적인 평가값 ResallWband(id, J)를 산출한다. 이 평가값 ResallWband(id, J)는, K개의 복호 고역 서브 밴드 파워 추정 계수마다 산출된다.
그리고, 그 후, 스텝 S379 내지 스텝 S381의 처리가 행해져 부호화 처리는 종료되지만, 이들 처리는 도 25의 스텝 S339 내지 스텝 S341의 처리와 마찬가지이므로, 그 설명은 생략한다. 또한, 스텝 S379에서는, K개의 계수 인덱스 중, 평가값 ResallWband(id, J)가 최소가 되는 것이 선택된다.
이와 같이, 보다 저역측의 서브 밴드에 가중치가 놓이도록, 서브 밴드마다 가중치를 부여함으로써, 복호 장치(40)측에 있어서, 또한 고음질의 음성을 얻을 수 있게 된다.
또한, 이상에 있어서는, 평가값 ResallWband(id, J)에 기초하여, 복호 고역 서브 밴드 파워 추정 계수의 선택이 행해진다고 설명하였지만, 복호 고역 서브 밴드 파워 추정 계수가, 평가값 ResWband(id, J)에 기초하여 선택되도록 해도 된다.
<변형예 3>
또한, 사람의 청각은, 진폭(파워)이 큰 주파수 대역일수록 잘 지각한다고 하는 특성을 갖고 있으므로, 보다 파워가 큰 서브 밴드에 가중치가 놓이도록, 각 복호 고역 서브 밴드 파워 추정 계수에 대한 평가값이 산출되어도 좋다.
그와 같은 경우, 도 18의 부호화 장치(30)는, 도 27의 플로우차트에 나타내는 부호화 처리를 행한다. 이하, 도 27의 플로우차트를 참조하여, 부호화 장치(30)에 의한 부호화 처리에 대해서 설명한다. 또한, 스텝 S401 내지 스텝 S405의 처리는, 도 25의 스텝 S331 내지 스텝 S335의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S406에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 처리 대상으로 되어 있는 현 프레임 J를 이용한 평가값 ResWpower(id, J)를 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터 공급된 각 서브 밴드의 고역 서브 밴드 신호를 이용하여, 상술한 수학식 1과 마찬가지의 연산을 행하고, 프레임 J에 있어서의 고역 서브 밴드 파워 power(ib, J)를 산출한다.
고역 서브 밴드 파워 power(ib, J)가 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 29를 계산하고, 잔차 제곱 평균값 ResstdWpower(id, J)를 산출한다.
Figure 112018014981321-pat00029
즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해지고, 그들 차분에 서브 밴드마다의 가중치 Wpower[power(ib, J)]가 승산된다. 그리고, 가중치 Wpower[power(ib, J)]가 승산된 차분의 제곱합이 잔차 제곱 평균값 ResstdWpower(id, J)가 된다.
여기서, 가중치 Wpower[power(ib, J)](단, sb+1≤ib≤eb)는, 예를 들면 다음 수학식 30으로 정의된다. 이 가중치 Wpower[power(ib, J)]의 값은, 그 서브 밴드의 고역 서브 밴드 파워 power(ib, J)가 클수록, 커진다.
Figure 112018014981321-pat00030
계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 잔차 최대값 ResmaxWpower(id, J)를 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분에, 가중치 Wpower[power(ib, J)]가 승산되는 것 중 절대값의 최대값이, 잔차 최대값 ResmaxWpower(id, J)가 된다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 잔차 평균값 ResaveWpower(id, J)를 산출한다.
구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드에 대해서, 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해져 가중치 Wpower[power(ib, J)]가 승산되고, 가중치 Wpower[power(ib, J)]가 승산된 차분의 총합이 구해진다. 그리고, 얻어진 차분의 총합을 고역측의 서브 밴드수(eb-sb)로 제산하여 얻어지는 값의 절대값이 잔차 평균값 ResaveWpower(id, J)가 된다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 평가값 ResWpower(id, J)를 산출한다. 즉, 잔차 제곱 평균값 ResstdWpower(id, J), 가중치 Wmax가 승산된 잔차 최대값 ResmaxWpower(id, J) 및 가중치 Wave가 승산된 잔차 평균값 ResaveWpower(id, J)의 합이 평가값 ResWpower(id, J)가 된다.
스텝 S407에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 과거 프레임과 현 프레임을 이용한 평가값 ResPWpower(id, J)를 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 처리 대상의 프레임 J보다도 시간적으로 1개 전의 프레임(J-1)에 대해서, 최종적으로 선택된 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수를 이용하여 얻어진, 각 서브 밴드의 의사 고역 서브 밴드 파워를 기록하고 있다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 우선 추정 잔차 제곱 평균값 ResPstdWpower(id, J)를 산출한다. 즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 의사 고역 서브 밴드 파워 powerest[ib, idselected(J-1), J-1]와, 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해져 가중치 Wpower[power(ib, J)]가 승산된다. 그리고, 가중치 Wpower[power(ib, J)]가 승산된 차분의 제곱합이 추정 잔차 제곱 평균값 ResPstdWpower(id, J)가 된다.
계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 최대값 ResPmaxWpower(id, J)를 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 의사 고역 서브 밴드 파워 powerest[ib, idselected(J-1), J-1]와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분에, 가중치 Wpower[power(ib, J)]가 승산되는 것 중 최대값의 절대값이, 추정 잔차 최대값 ResPmaxWpower(id, J)가 된다.
다음으로, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 평균값 ResPaveWpower(id, J)를 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드에 대해서, 의사 고역 서브 밴드 파워 powerest[ib, idselected(J-1), J-1]와, 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해져, 가중치 Wpower[power(ib, J)]가 승산된다. 그리고, 가중치 Wpower[power(ib, J)]가 승산된 차분의 총합이 고역측의 서브 밴드수(eb-sb)로 제산되어 얻어진 값의 절대값이, 추정 잔차 평균값 ResPaveWpower(id, J)가 된다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 제곱 평균값 ResPstdWpower(id, J), 가중치 Wmax가 승산된 추정 잔차 최대값 ResPmaxWpower(id, J) 및 가중치 Wave가 승산된 추정 잔차 평균값 ResPaveWpower(id, J)의 합을 구하고, 평가값 ResPWpower(id, J)로 한다.
스텝 S408에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 평가값 ResWpower(id, J)와, 수학식 25의 가중치 Wp(J)가 승산된 평가값 ResPWpower(id, J)를 가산하여, 최종적인 평가값 ResallWpower(id, J)를 산출한다. 이 평가값 ResallWpower(id, J)는, K개의 복호 고역 서브 밴드 파워 추정 계수마다 산출된다.
그리고, 그 후, 스텝 S409 내지 스텝 S411의 처리가 행해져 부호화 처리는 종료되지만, 이들 처리는 도 25의 스텝 S339 내지 스텝 S341의 처리와 마찬가지이므로, 그 설명은 생략한다. 또한, 스텝 S409에서는, K개의 계수 인덱스 중, 평가값 ResallWpower(id, J)가 최소가 되는 것이 선택된다.
이와 같이, 파워가 큰 서브 밴드에 가중치가 놓이도록, 서브 밴드마다 가중치를 부여함으로써, 복호 장치(40)측에 있어서, 또한 고음질의 음성을 얻을 수 있게 된다.
또한, 이상에 있어서는, 평가값 ResallWpower(id, J)에 기초하여, 복호 고역 서브 밴드 파워 추정 계수의 선택이 행해진다고 설명하였지만, 복호 고역 서브 밴드 파워 추정 계수가, 평가값 ResWpower(id, J)에 기초하여 선택되도록 해도 된다.
<6. 제6 실시 형태>
[계수 학습 장치의 구성]
그런데, 도 20의 복호 장치(40)에는, 복호 고역 서브 밴드 파워 추정 계수로서의 계수 Aib(kb)와 계수 Bib의 세트가, 계수 인덱스에 대응지어져 기록되어 있다. 예를 들면, 복호 장치(40)에 128개의 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수가 기록되면, 이들 복호 고역 서브 밴드 파워 추정 계수를 기록하는 메모리 등의 기록 영역으로서, 큰 영역이 필요해진다.
따라서, 몇 개의 복호 고역 서브 밴드 파워 추정 계수의 일부를 공통인 계수로 하고, 복호 고역 서브 밴드 파워 추정 계수의 기록에 필요한 기록 영역을 보다 작게 하도록 해도 된다. 그와 같은 경우, 복호 고역 서브 밴드 파워 추정 계수를 학습에 의해 구하는 계수 학습 장치는, 예를 들면 도 28에 도시하는 바와 같이 구성된다.
계수 학습 장치(81)는 서브 밴드 분할 회로(91), 고역 서브 밴드 파워 산출 회로(92), 특징량 산출 회로(93) 및 계수 추정 회로(94)로 구성된다.
이 계수 학습 장치(81)에는, 학습에 이용되는 악곡 데이터 등이 광대역 교사 신호로서 복수 공급된다. 광대역 교사 신호는, 고역의 복수의 서브 밴드 성분과, 저역의 복수의 서브 밴드 성분이 포함되어 있는 신호이다.
서브 밴드 분할 회로(91)는 대역 통과 필터 등으로 이루어지고, 공급된 광대역 교사 신호를, 복수의 서브 밴드 신호로 분할하고, 고역 서브 밴드 파워 산출 회로(92) 및 특징량 산출 회로(93)에 공급한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드의 고역 서브 밴드 신호가 고역 서브 밴드 파워 산출 회로(92)에 공급되고, 인덱스가 sb-3 내지 sb인 저역측의 각 서브 밴드의 저역 서브 밴드 신호가 특징량 산출 회로(93)에 공급된다.
고역 서브 밴드 파워 산출 회로(92)는 서브 밴드 분할 회로(91)로부터 공급된 각 고역 서브 밴드 신호의 고역 서브 밴드 파워를 산출하고, 계수 추정 회로(94)에 공급한다. 특징량 산출 회로(93)는 서브 밴드 분할 회로(91)로부터 공급된 각 저역 서브 밴드 신호에 기초하여, 저역 서브 밴드 파워를 특징량으로서 산출하고, 계수 추정 회로(94)에 공급한다.
계수 추정 회로(94)는 고역 서브 밴드 파워 산출 회로(92)로부터의 고역 서브 밴드 파워와, 특징량 산출 회로(93)로부터의 특징량을 이용하여 회귀 분석을 행함으로써 복호 고역 서브 밴드 파워 추정 계수를 생성하고, 복호 장치(40)에 출력한다.
[계수 학습 처리의 설명]
다음으로, 도 29의 플로우차트를 참조하여, 계수 학습 장치(81)에 의해 행해지는 계수 학습 처리에 대해서 설명한다.
스텝 S431에 있어서, 서브 밴드 분할 회로(91)는 공급된 복수의 광대역 교사 신호 각각을, 복수의 서브 밴드 신호로 분할한다. 그리고, 서브 밴드 분할 회로(91)는, 인덱스가 sb+1 내지 eb인 서브 밴드의 고역 서브 밴드 신호를 고역 서브 밴드 파워 산출 회로(92)에 공급하고, 인덱스가 sb-3 내지 sb인 서브 밴드의 저역 서브 밴드 신호를 특징량 산출 회로(93)에 공급한다.
스텝 S432에 있어서, 고역 서브 밴드 파워 산출 회로(92)는 서브 밴드 분할 회로(91)로부터 공급된 각 고역 서브 밴드 신호에 대해서, 상술한 수학식 1과 마찬가지의 연산을 행하여 고역 서브 밴드 파워를 산출하고, 계수 추정 회로(94)에 공급한다.
스텝 S433에 있어서, 특징량 산출 회로(93)는 서브 밴드 분할 회로(91)로부터 공급된 각 저역 서브 밴드 신호에 대해서, 상술한 수학식 1의 연산을 행하여 저역 서브 밴드 파워를 특징량으로서 산출하고, 계수 추정 회로(94)에 공급한다.
이에 의해, 계수 추정 회로(94)에는, 복수의 광대역 교사 신호의 각 프레임에 대해서, 고역 서브 밴드 파워와 저역 서브 밴드 파워가 공급되게 된다.
스텝 S434에 있어서, 계수 추정 회로(94)는 최소 제곱법을 이용한 회귀 분석을 행하여, 인덱스가 sb+1 내지 eb인 고역측의 서브 밴드 ib(단, sb+1≤ib≤eb)마다, 계수 Aib(kb)와 계수 Bib를 산출한다.
또한, 회귀 분석에서는, 특징량 산출 회로(93)로부터 공급된 저역 서브 밴드 파워가 설명 변수가 되고, 고역 서브 밴드 파워 산출 회로(92)로부터 공급된 고역 서브 밴드 파워가 피설명 변수가 된다. 또한, 회귀 분석은 계수 학습 장치(81)에 공급된 모든 광대역 교사 신호를 구성하는, 모든 프레임의 저역 서브 밴드 파워와 고역 서브 밴드 파워가 이용되어 행해진다.
스텝 S435에 있어서, 계수 추정 회로(94)는, 구한 서브 밴드 ib마다의 계수 Aib(kb)와 계수 Bib를 이용하여, 광대역 교사 신호의 각 프레임의 잔차 벡터를 구한다.
예를 들면, 계수 추정 회로(94)는 프레임 J의 서브 밴드 ib(단, sb+1≤ib≤eb)마다, 고역 서브 밴드 파워 power(ib, J)로부터, 계수 Aib(kb)가 승산된 저역 서브 밴드 파워 power(kb, J)(단, sb-3≤kb≤sb)의 총합과 계수 Bib의 합을 감산하여 잔차를 구한다. 그리고, 프레임 J의 각 서브 밴드 ib의 잔차로 이루어지는 벡터가 잔차 벡터로 된다.
또한, 잔차 벡터는, 계수 학습 장치(81)에 공급된 모든 광대역 교사 신호를 구성하는, 모든 프레임에 대해 산출된다.
스텝 S436에 있어서, 계수 추정 회로(94)는, 각 프레임에 대해 구한 잔차 벡터를 정규화한다. 예를 들면, 계수 추정 회로(94)는, 각 서브밴드 ib에 대해, 전체 프레임의 잔차 벡터의 서브밴드 ib의 잔차의 분산값을 구하고, 그 분산값의 평방근으로, 각 잔차 벡터에 있어서의 서브밴드 ib의 잔차를 제산함으로써, 잔차 벡터를 정규화한다.
스텝 S437에 있어서, 계수 추정 회로(94)는, 정규화된 전체 프레임의 잔차 벡터를, k-means법 등에 의해 클러스터링한다.
예를 들면, 계수 Aib(kb)와 계수 Bib를 이용하여, 고역 서브밴드 파워의 추정을 행하였을 때에 얻어진, 전체 프레임의 평균적인 주파수 포락을 평균 주파수 포락 SA라 부르기로 한다. 또한, 평균 주파수 포락 SA보다도 파워가 큰 소정의 주파수 포락을 주파수 포락 SH라 하고, 평균 주파수 포락 SA보다도 파워가 작은 소정의 주파수 포락을 주파수 포락 SL이라 한다.
이때, 평균 주파수 포락 SA, 주파수 포락 SH 및 주파수 포락 SL에 가까운 주파수 포락이 얻어진 계수의 잔차 벡터 각각이, 클러스터 CA, 클러스터 CH 및 클러스터 CL에 속하도록, 잔차 벡터의 클러스터링이 행해진다. 바꾸어 말하면, 각 프레임의 잔차 벡터가, 클러스터 CA, 클러스터 CH, 또는 클러스터 CL 중 어느 하나에 속하도록, 클러스터링이 행해진다.
저역 성분과 고역 성분의 상관에 기초하여 고역 성분을 추정하는 주파수 대역 확대 처리에서는, 그 특성상, 회귀 분석에 의해 얻어진 계수 Aib(kb)와 계수 Bib를 이용하여 잔차 벡터를 산출하면, 보다 고역측의 서브밴드일수록 잔차가 커진다. 그 때문에, 잔차 벡터를 그대로 클러스터링하면, 고역측의 서브밴드일수록 중점적으로 처리가 행해지게 된다.
이에 반해, 계수 학습 장치(81)에서는, 잔차 벡터를, 각 서브밴드의 잔차의 분산값으로 정규화함으로써, 외관상 각 서브밴드의 잔차의 분산을 동등한 것으로 하고, 각 서브밴드에 균등한 중점을 부여하여 클러스터링을 행할 수 있다.
스텝 S438에 있어서, 계수 추정 회로(94)는, 클러스터 CA, 클러스터 CH, 또는 클러스터 CL 중 어느 하나의 클러스터를 처리 대상의 클러스터로서 선택한다.
스텝 S439에 있어서, 계수 추정 회로(94)는, 처리 대상의 클러스터로서 선택한 클러스터에 속하는 잔차 벡터의 프레임을 이용하여, 회귀 분석에 의해 각 서브밴드 ib(단, sb＋1≤ib≤eb)의 계수 Aib(kb)와 계수 Bib를 산출한다.
즉, 처리 대상의 클러스터에 속하는 잔차 벡터의 프레임을, 처리 대상 프레임이라 부르기로 하면, 모든 처리 대상 프레임의 저역 서브밴드 파워와 고역 서브밴드 파워가, 설명 변수 및 피설명 변수로 되어, 최소 제곱법을 이용한 회귀 분석이 행해진다. 이에 의해, 서브밴드 ib마다 계수 Aib(kb)와 계수 Bib가 얻어진다.
스텝 S440에 있어서, 계수 추정 회로(94)는, 모든 처리 대상 프레임에 대해, 스텝 S439의 처리에 의해 얻어진 계수 Aib(kb)와 계수 Bib를 이용하여, 잔차 벡터를 구한다. 또한, 스텝 S440에서는, 스텝 S435와 동일한 처리가 행해져, 각 처리 대상 프레임의 잔차 벡터가 구해진다.
스텝 S441에 있어서, 계수 추정 회로(94)는, 스텝 S440의 처리에서 구한 각 처리 대상 프레임의 잔차 벡터를, 스텝 S436과 동일한 처리를 행하여 정규화한다. 즉, 서브밴드마다, 잔차가 분산값의 평방근으로 제산되어 잔차 벡터의 정규화가 행해진다.
스텝 S442에 있어서, 계수 추정 회로(94)는, 정규화된 전체 처리 대상 프레임의 잔차 벡터를, k-means법 등에 의해 클러스터링한다. 여기서의 클러스터수는, 다음과 같이 하여 정해진다. 예를 들면, 계수 학습 장치(81)에 있어서, 128개의 계수 인덱스의 복호 고역 서브밴드 파워 추정 계수를 생성하고자 하는 경우에는, 처리 대상 프레임수에 128을 승산하고, 또한 전체 프레임수로 제산하여 얻어지는 수가 클러스터수로 된다. 여기서, 전체 프레임수라 함은, 계수 학습 장치(81)에 공급된 모든 광대역 교사 신호의 전체 프레임의 총수이다.
스텝 S443에 있어서, 계수 추정 회로(94)는, 스텝 S442의 처리에서 얻어진 각 클러스터의 무게 중심 벡터를 구한다.
예를 들면, 스텝 S442의 클러스터링으로 얻어진 클러스터는, 계수 인덱스에 대응하고 있고, 계수 학습 장치(81)에서는, 클러스터마다 계수 인덱스가 할당되어, 각 계수 인덱스의 복호 고역 서브밴드 파워 추정 계수가 구해진다.
구체적으로는, 스텝 S438에 있어서 클러스터 CA가, 처리 대상의 클러스터로서 선택되고, 스텝 S442에 있어서의 클러스터링에 의해, F개의 클러스터가 얻어졌다고 하자. 이제, F개의 클러스터 중 하나의 클러스터 CF에 주목하면, 클러스터 CF의 계수 인덱스의 복호 고역 서브밴드 파워 추정 계수는, 스텝 S439에서 클러스터 CA에 대해 구해진 계수 Aib(kb)가 선형 상관항인 계수 Aib(kb)로 된다. 또한, 스텝 S443에서 구해진 클러스터 CF의 무게 중심 벡터에 대해 스텝 S441에서 행한 정규화의 역처리(역정규화)를 실시한 벡터와, 스텝 S439에서 구한 계수 Bib의 합이, 복호 고역 서브밴드 파워 추정 계수의 상수항인 계수 Bib가 된다. 여기서 말하는 역정규화라 함은, 예를 들면 스텝 S441에서 행한 정규화가, 서브밴드마다 잔차를 분산값의 평방근으로 제산하는 것이었던 경우, 클러스터 CF의 무게 중심 벡터의 각 요소에 대해 정규화 시와 동일한 값(서브밴드마다의 분산값의 평방근)을 승산하는 처리로 된다.
즉, 스텝 S439에서 얻어진 계수 Aib(kb)와, 상술한 바와 같이 하여 구한 계수 Bib의 세트가, 클러스터 CF의 계수 인덱스의 복호 고역 서브밴드 파워 추정 계수로 된다. 따라서, 클러스터링으로 얻어진 F개의 클러스터 각각은, 복호 고역 서브밴드 파워 추정 계수의 선형 상관항으로서, 클러스터 CA에 대해 구해진 계수 Aib(kb)를 공통적으로 갖게 된다.
스텝 S444에 있어서, 계수 학습 장치(81)는, 클러스터 CA, 클러스터 CH 및 클러스터 CL의 모든 클러스터를 처리 대상의 클러스터로서 처리하였는지 여부를 판정한다. 스텝 S444에 있어서, 아직 모든 클러스터를 처리하지 못했다고 판정된 경우, 처리는 스텝 S438로 복귀되어, 상술한 처리가 반복된다. 즉, 다음 클러스터가 처리 대상으로서 선택되고, 복호 고역 서브밴드 파워 추정 계수가 산출된다.
이에 반해, 스텝 S444에 있어서, 모든 클러스터를 처리하였다고 판정된 경우, 구하고자 하는 소정수의 복호 고역 서브밴드 파워 추정 계수가 얻어졌으므로, 처리는 스텝 S445로 진행한다.
스텝 S445에 있어서, 계수 추정 회로(94)는, 구한 계수 인덱스와, 복호 고역 서브밴드 파워 추정 계수를 복호 장치(40)에 출력하여 기록시키고, 계수 학습 처리는 종료한다.
예를 들면, 복호 장치(40)에 출력되는 복호 고역 서브밴드 파워 추정 계수의 중에는, 선형 상관항으로서 동일한 계수 Aib(kb)를 갖는 것이 몇 개 있다. 따라서, 계수 학습 장치(81)는, 이들 공통되는 계수 Aib(kb)에 대해, 그 계수 Aib(kb)를 특정하는 정보인 선형 상관항 인덱스(포인터)를 대응지음과 함께, 계수 인덱스에 대해, 선형 상관항 인덱스와 상수항인 계수 Bib를 대응짓는다.
그리고, 계수 학습 장치(81)는, 대응지어진 선형 상관항 인덱스(포인터)와 계수 Aib(kb) 및 대응지어진 계수 인덱스와 선형 상관항 인덱스(포인터) 및 계수 Bib를, 복호 장치(40)에 공급하여, 복호 장치(40)의 고역 복호 회로(45) 내의 메모리에 기록시킨다. 이와 같이, 복수의 복호 고역 서브밴드 파워 추정 계수를 기록해 두는 데 있어서, 각 복호 고역 서브밴드 파워 추정 계수를 위한 기록 영역에, 공통되는 선형 상관항에 대해서는, 선형 상관항 인덱스(포인터)를 저장해 두면, 기록 영역을 대폭 작게 할 수 있다.
이 경우, 고역 복호 회로(45) 내의 메모리에는, 선형 상관항 인덱스와 계수 Aib(kb)가 대응지어져 기록되어 있으므로, 계수 인덱스로부터 선형 상관항 인덱스와 계수 Bib를 얻고, 또한 선형 상관항 인덱스로부터 계수 Aib(kb)를 얻을 수 있다.
또한, 본 출원인에 의한 해석의 결과, 복수의 복호 고역 서브밴드 파워 추정 계수의 선형 상관항을 3패턴 정도로 공통화해도, 주파수 대역 확대 처리한 음성의 청감상의 음질의 열화는 거의 없는 것을 알 수 있었다. 따라서, 계수 학습 장치(81)에 따르면, 주파수 대역 확대 처리 후의 음성의 음질을 열화시키는 일 없이, 복호 고역 서브밴드 파워 추정 계수의 기록에 필요한 기록 영역을 보다 작게 할 수 있다.
이상과 같이 하여, 계수 학습 장치(81)는, 공급된 광대역 교사 신호로부터, 각 계수 인덱스의 복호 고역 서브밴드 파워 추정 계수를 생성하고, 출력한다.
또한, 도 29의 계수 학습 처리에서는, 잔차 벡터를 정규화한다고 설명하였지만, 스텝 S436 또는 스텝 S441의 한쪽 또는 양쪽에 있어서, 잔차 벡터의 정규화를 행하지 않도록 해도 된다.
또한, 잔차 벡터의 정규화는 행해지도록 하고, 복호 고역 서브밴드 파워 추정 계수의 선형 상관항의 공통화는 행해지지 않도록 해도 된다. 그와 같은 경우, 스텝 S436에 있어서의 정규화 처리 후, 정규화된 잔차 벡터가, 구하고자 하는 복호 고역 서브밴드 파워 추정 계수의 수와 동일한 수의 클러스터에 클러스터링된다. 그리고, 각 클러스터에 속하는 잔차 벡터의 프레임이 이용되어, 클러스터마다 회귀 분석이 행해지고, 각 클러스터의 복호 고역 서브밴드 파워 추정 계수가 생성된다.
<7. 제7 실시 형태>
[계수 인덱스열의 고능률 부호화에 대해]
또한, 이상에서는, 복호 고역 서브밴드 파워 추정 계수를 얻기 위한 계수 인덱스가, 프레임마다 고역 부호화 데이터(비트 스트림)에 포함되어 복호 장치(40)로 송신된다고 설명하였다. 그러나, 그와 같은 경우, 비트 스트림에 포함되는 계수 인덱스열의 비트양이 커서, 부호화 효율이 낮아져 버린다. 즉, 효율적으로 음성의 부호화 또는 복호를 행할 수 없었다.
따라서, 계수 인덱스열을 비트 스트림에 포함시킬 때에, 각 프레임의 계수 인덱스의 값을 그대로 포함하는 것이 아니라, 계수 인덱스가 변화되는 시간 정보와 변화된 계수 인덱스의 값을 포함시킴으로써 계수 인덱스열을 부호화하고, 이에 의해 비트양을 삭감하도록 해도 된다.
즉, 이상에서는, 1프레임에 대해 1개의 계수 인덱스를 고역 부호화 데이터로서 비트 스트림에 포함시키고 있었다. 그러나, 실세계의 신호, 특히 정상 신호를 부호화하면, 계수 인덱스는 도 30과 같이 시간 방향으로 동일한 값이 계속되는 경우가 많다. 이 특징을 이용하여, 계수 인덱스의 시간 방향의 정보량 삭감 방법을 고안하였다.
구체적으로는, 복수(예를 들면 16) 프레임마다, 인덱스가 전환되는 시간의 정보와 그 인덱스 값을 보낸다, 라고 하는 방법이다.
시간의 정보로서, 예를 들면 이하의 2개를 생각할 수 있다.
(a) 길이와 인덱스의 수를 보낸다(도 30 참조)
(b) 길이의 인덱스와 전환 플래그를 보낸다(도 31 참조)
또한, (a), (b)의 각각 혹은 양쪽을 아래와 같이 하나의 인덱스로 대응짓는 것도 가능하다.
이하, 이들 (a), (b) 및 그들 양쪽을 선택적으로 이용하는 경우에서의, 구체적인 실시 형태에 대해 설명한다.
우선, (a) 길이와 인덱스의 수를 보내는 경우에 대해 설명한다.
예를 들면, 도 32에 도시한 바와 같이, 복수 프레임을 단위로 하여, 저역 부호화 데이터와 고역 부호화 데이터로 이루어지는 출력 부호열(비트 스트림)이 부호화 장치로부터 출력된다고 하자. 또한, 도 32에서는, 횡방향은 시간을 나타내고 있고, 1개의 사각형은 1개의 프레임을 나타내고 있다. 또한, 프레임을 나타내는 사각형 내의 수치는, 그 프레임의 복호 고역 서브밴드 파워 추정 계수를 특정하는 계수 인덱스를 나타내고 있다.
도 32의 예에서는, 16프레임을 단위로 하여 출력 부호열이 출력된다. 예를 들면, 위치 FST1로부터 위치 FSE1까지의 구간을 처리 대상 구간으로 하여, 이 처리 대상 구간에 포함되는 16프레임의 출력 부호열이 출력되는 경우를 생각한다.
우선, 처리 대상 구간이, 동일한 계수 인덱스가 선택된 연속하는 프레임으로 이루어지는 구간(이하, 연속 프레임 구간이라 칭함)으로 분할된다. 즉, 다른 계수 인덱스가 선택된, 서로 인접하는 프레임의 경계 위치가, 각 연속 프레임 구간의 경계 위치로 된다.
이 예에서는, 처리 대상 구간은, 위치 FST1로부터 위치 FC1의 구간, 위치 FC1로부터 위치 FC2의 구간 및 위치 FC2로부터 위치 FSE1의 구간의 3개의 구간으로 분할된다. 예를 들면, 위치 FST1로부터 위치 FC1까지의 연속 프레임 구간에서는, 각 프레임에 있어서, 계수 인덱스 「2」가 선택되어 있다.
이와 같이 하여 처리 대상 구간이 연속 프레임 구간으로 분할되면, 처리 대상 구간 내에 있는 연속 프레임 구간의 수를 나타내는 개수 정보, 각 연속 프레임 구간에서 선택된 계수 인덱스 및 각 연속 프레임 구간의 길이를 나타내는 구간 정보로 이루어지는 데이터가 생성된다.
예를 들면, 도 32의 예에서는, 처리 대상 구간은 3개의 연속 프레임 구간으로 분할되어 있으므로, 연속 프레임 구간수 「3」을 나타내는 정보가 개수 정보로 되어, 도 32에서는 「num_length＝3」으로 나타내고 있다. 또한, 예를 들면 처리 대상 구간 내의 최초의 연속 프레임 구간의 구간 정보는, 그 연속 프레임 구간의 프레임을 단위로 하는 길이 「5」로 되어, 도 32에서는 「length0＝5」로 나타내고 있다.
또한, 각 구간 정보는, 처리 대상 구간의 선두로부터 몇번째에 있는 연속 프레임 구간의 구간 정보인지를 특정할 수 있게 되어 있다. 바꾸어 말하면, 구간 정보에는, 처리 대상 구간 내에 있어서의 연속 프레임 구간의 위치를 특정하기 위한 정보도 포함되어 있다.
이와 같이 하여, 처리 대상 구간에 대해, 개수 정보, 계수 인덱스 및 구간 정보로 이루어지는 데이터가 생성되면, 이 데이터가 부호화되어 고역 부호화 데이터로 된다. 이 경우, 복수 프레임에서 연속해서 동일한 계수 인덱스가 선택될 때에는, 프레임마다 계수 인덱스를 송신할 필요가 없어지므로, 전송하는 비트 스트림의 데이터양을 삭감하여, 보다 효율적으로 부호화, 복호를 행할 수 있다.
[부호화 장치의 기능적 구성예]
이와 같은 개수 정보, 계수 인덱스 및 구간 정보가 포함되는 고역 부호화 데이터가 생성되는 경우, 부호화 장치는, 예를 들면 도 33에 도시한 바와 같이 구성된다. 또한, 도 33에 있어서, 도 18에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하였으며, 그 설명은 적절히 생략한다.
도 33의 부호화 장치(111)와, 도 18의 부호화 장치(30)는, 부호화 장치(111)의 의사 고역 서브밴드 파워 차분 산출 회로(36)에 생성부(121)가 설치되어 있는 점에서 서로 다르고, 그 외의 구성은 동일한 구성으로 되어 있다.
의사 고역 서브밴드 파워 차분 산출 회로(36)의 생성부(121)는, 처리 대상 구간 내의 각 프레임에 있어서의 계수 인덱스의 선택 결과에 기초하여, 개수 정보, 계수 인덱스 및 구간 정보로 이루어지는 데이터를 생성하고, 고역 부호화 회로(37)에 공급한다.
[부호화 처리의 설명]
다음으로, 도 34의 플로우차트를 참조하여, 부호화 장치(111)에 의해 행해지는 부호화 처리에 대해 설명한다. 이 부호화 처리는, 미리 정해진 프레임수, 즉 처리 대상 구간마다 행해진다.
또한, 스텝 S471 내지 스텝 S477의 처리는, 도 19의 스텝 S181 내지 스텝 S187의 처리와 마찬가지이므로, 그 설명은 생략한다. 스텝 S471 내지 스텝 S477의 처리에서는, 처리 대상 구간을 구성하는 각 프레임이 순서대로 처리 대상의 프레임으로 되고, 처리 대상의 프레임에 대해, 복호 고역 서브밴드 파워 추정 계수마다, 의사 고역 서브밴드 파워 차분의 제곱합 E(J, id)가 산출된다.
스텝 S478에 있어서, 의사 고역 서브밴드 파워 차분 산출 회로(36)는, 처리 대상의 프레임에 대해 산출한, 복호 고역 서브밴드 파워 추정 계수마다의 의사 고역 서브밴드 파워 차분의 제곱합(차분 제곱합)에 기초하여, 계수 인덱스를 선택한다.
즉, 의사 고역 서브밴드 파워 차분 산출 회로(36)는, 복수의 차분 제곱합 중, 값이 최소로 되는 차분 제곱합을 선택하고, 그 차분 제곱합에 대응하는 복호 고역 서브밴드 파워 추정 계수를 나타내는 계수 인덱스를, 선택된 계수 인덱스로 한다.
스텝 S479에 있어서, 의사 고역 서브밴드 파워 차분 산출 회로(36)는, 소정 프레임 길이만큼 처리를 행하였는지 여부를 판정한다. 즉, 처리 대상 구간을 구성하는 모든 프레임에 대해, 계수 인덱스가 선택되었는지 여부가 판정된다.
스텝 S479에 있어서, 아직 소정 프레임 길이만큼 처리를 행하지 못하였다고 판정된 경우, 처리는 스텝 S471로 복귀되어, 상술한 처리가 반복된다. 즉, 처리 대상 구간의 아직 처리 대상으로 되어 있지 않은 프레임이, 다음 처리 대상의 프레임으로 되어, 그 프레임의 계수 인덱스가 선택된다.
이에 반해, 스텝 S479에 있어서, 소정 프레임 길이만큼 처리를 행하였다고 판정된 경우, 즉 처리 대상 구간 내의 모든 프레임에 대해, 계수 인덱스가 선택된 경우, 처리는 스텝 S480으로 진행한다.
스텝 S480에 있어서, 생성부(121)는, 처리 대상 구간 내의 각 프레임의 계수 인덱스의 선택 결과에 기초하여, 계수 인덱스, 구간 정보 및 개수 정보로 이루어지는 데이터를 생성하고, 고역 부호화 회로(37)에 공급한다.
예를 들면, 도 32의 예에서는, 생성부(121)는, 위치 FST1로부터 위치 FSE1까지의 처리 대상 구간을, 3개의 연속 프레임 구간으로 분할한다. 그리고, 생성부(121)는, 연속 프레임 구간의 개수 「3」을 나타내는 개수 정보 「num_length＝3」과, 각 연속 프레임 구간의 길이를 나타내는 구간 정보 「length0＝5」, 「length1＝7」 및 「length2＝4」 및 그들 연속 프레임 구간의 계수 인덱스 「2」, 「5」 및 「1」로 이루어지는 데이터를 생성한다.
또한, 각 연속 프레임 구간의 계수 인덱스는, 구간 정보와 대응지어져, 어느 연속 프레임 구간의 계수 인덱스인지를 특정할 수 있게 된다.
도 34의 플로우차트의 설명으로 돌아가서, 스텝 S481에 있어서, 고역 부호화 회로(37)는, 생성부(121)로부터 공급된, 계수 인덱스, 구간 정보 및 개수 정보로 이루어지는 데이터를 부호화하여, 고역 부호화 데이터를 생성한다. 고역 부호화 회로(37)는, 생성된 고역 부호화 데이터를 다중화 회로(38)에 공급한다.
예를 들면, 스텝 S481에서는, 계수 인덱스, 구간 정보 및 개수 정보 중 일부 또는 전부의 정보에 대해 엔트로피 부호화 등이 행해진다. 또한, 고역 부호화 데이터는, 최적의 복호 고역 서브밴드 파워 추정 계수가 얻어지는 정보이면, 어떤 정보라도 좋고, 예를 들면 계수 인덱스, 구간 정보 및 개수 정보로 이루어지는 데이터가 그대로 고역 부호화 데이터로 되어도 좋다.
스텝 S482에 있어서, 다중화 회로(38)는, 저역 부호화 회로(32)로부터 공급된 저역 부호화 데이터와, 고역 부호화 회로(37)로부터 공급된 고역 부호화 데이터를 다중화하고, 그 결과 얻어진 출력 부호열을 출력하고, 부호화 처리는 종료한다.
이와 같이, 저역 부호화 데이터와 함께, 고역 부호화 데이터를 출력 부호열로서 출력함으로써, 이 출력 부호열의 입력을 받는 복호 장치에서는, 주파수 대역 확대 처리에 가장 적합한, 복호 고역 서브밴드 파워 추정 계수를 얻을 수 있다. 이에 의해, 보다 고음질의 신호를 얻을 수 있게 된다.
게다가, 부호화 장치(111)에서는, 하나 또는 복수의 프레임으로 이루어지는 연속 프레임 구간에 대해, 1개의 계수 인덱스가 선택되고, 그 계수 인덱스를 포함하는 고역 부호화 데이터가 출력된다. 그 때문에, 특히 동일한 계수 인덱스가 연속해서 선택되는 경우에는, 출력 부호열의 부호량을 저감시킬 수가 있어, 보다 효율적으로 음성의 부호화나 복호를 행할 수 있다.
[복호 장치의 기능적 구성예]
또한, 도 33의 부호화 장치(111)로부터 출력된 출력 부호열을, 입력 부호열로서 입력하고, 복호하는 복호 장치는, 예를 들면 도 35에 도시한 바와 같이 구성된다. 또한, 도 35에 있어서, 도 20에 있어서의 경우와 대응하는 부분에는, 동일한 부호를 부여하였으며, 그 설명은 적절히 생략한다.
도 35의 복호 장치(151)는, 비다중화 회로(41) 내지 합성 회로(48)로 구성되는 점에서는, 도 20의 복호 장치(40)와 동일하지만, 복호 고역 서브밴드 파워 산출 회로(46)에 선택부(161)가 설치되어 있는 점에서, 도 20의 복호 장치(40)와 다르다.
복호 장치(151)에서는, 고역 복호 회로(45)에서 고역 부호화 데이터가 복호되면, 그 결과 얻어진 구간 정보 및 개수 정보와, 고역 부호화 데이터의 복호로 얻어진 계수 인덱스에 의해 특정되는 복호 고역 서브밴드 파워 추정 계수가 선택부(161)에 공급된다.
선택부(161)는, 고역 복호 회로(45)로부터 공급된 구간 정보 및 개수 정보에 기초하여, 처리 대상으로 되어 있는 프레임에 대해, 복호 고역 서브밴드 파워의 산출에 이용하는 복호 고역 서브밴드 파워 추정 계수를 선택한다.
[복호 처리의 설명]
다음으로, 도 36의 플로우차트를 참조하여, 도 35의 복호 장치(151)에 의해 행해지는 복호 처리에 대해 설명한다.
이 복호 처리는, 부호화 장치(111)로부터 출력된 출력 부호열이, 입력 부호열로서 복호 장치(151)에 공급되면 개시되고, 미리 정해진 프레임수, 즉 처리 대상 구간마다 행해진다. 또한, 스텝 S511의 처리는, 도 21의 스텝 S211의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S512에 있어서, 고역 복호 회로(45)는, 비다중화 회로(41)로부터 공급된 고역 부호화 데이터의 복호를 행하고, 복호 고역 서브밴드 파워 추정 계수, 구간 정보 및 개수 정보를 복호 고역 서브밴드 파워 산출 회로(46)의 선택부(161)에 공급한다.
즉, 고역 복호 회로(45)는, 미리 기록되어 있는 복호 고역 서브밴드 파워 추정 계수 중, 고역 부호화 데이터의 복호에 의해 얻어진 계수 인덱스에 의해 나타나는 복호 고역 서브밴드 파워 추정 계수를 읽어내어, 구간 정보와 대응짓는다. 그리고, 고역 복호 회로(45)는, 대응지어진 복호 고역 서브밴드 파워 추정 계수와 구간 정보 및 개수 정보를, 선택부(161)에 공급한다.
스텝 S513에 있어서, 저역 복호 회로(42)는, 비다중화 회로(41)로부터 공급된 처리 대상 구간의 각 프레임의 저역 부호화 데이터 중, 하나의 프레임을 처리 대상의 프레임으로 하여, 그 처리 대상의 프레임의 저역 부호화 데이터를 복호한다. 예를 들면, 처리 대상 구간의 각 프레임이, 처리 대상 구간의 선두로부터 최후미까지 순서대로 처리 대상의 프레임으로서 선택되고, 처리 대상의 프레임의 저역 부호화 데이터에 대한 복호가 행해진다.
저역 복호 회로(42)는, 저역 부호화 데이터의 복호에 의해 얻어진 복호 저역 신호를 서브밴드 분할 회로(43) 및 합성 회로(48)에 공급한다.
저역 부호화 데이터가 복호되면, 그 후 스텝 S514와 스텝 S515의 처리가 행해져, 복호 저역 서브밴드 신호로부터 특징량이 산출되지만, 이들 처리는 도 21의 스텝 S213 및 스텝 S214와 마찬가지이므로, 그 설명은 생략한다.
스텝 S516에 있어서, 선택부(161)는, 고역 복호 회로(45)로부터 공급된 구간 정보와 개수 정보에 기초하여, 고역 복호 회로(45)로부터 공급된 복호 고역 서브밴드 파워 추정 계수로부터, 처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수를 선택한다.
예를 들면 도 32의 예에서, 처리 대상 구간의 선두로부터 7번째의 프레임이 처리 대상으로 되어 있는 경우, 선택부(161)는 개수 정보 「num_length＝3」과, 구간 정보 「length0＝5」 및 「length1＝7」로부터, 처리 대상의 프레임이 포함되는 연속 프레임 구간을 특정한다.
이 경우, 처리 대상 구간 내의 선두의 연속 프레임 구간은 5프레임으로 구성되고, 2번째의 연속 프레임 구간은 7프레임으로 구성되어 있으므로, 처리 대상 구간의 선두로부터 7번째의 프레임은, 처리 대상 구간의 선두로부터 2번째의 연속 프레임 구간에 포함되는 것을 알 수 있다. 따라서, 선택부(161)는, 2번째의 연속 프레임 구간의 구간 정보에 대응지어져 있는, 계수 인덱스 「5」에 의해 특정되는 복호 고역 서브밴드 파워 추정 계수를, 처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수로서 선택한다.
처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수가 선택되면, 그 후, 스텝 S517 내지 스텝 S519의 처리가 행해지지만, 이들 처리는 도 21의 스텝 S216 내지 스텝 S218의 처리와 마찬가지이므로, 그 설명은 생략한다.
이들 스텝 S517 내지 스텝 S519의 처리에서는, 선택된 복호 고역 서브밴드 파워 추정 계수가 이용되어 처리 대상으로 되어 있는 프레임의 복호 고역 신호가 생성되고, 생성된 복호 고역 신호와 복호 저역 신호가 합성되어 출력된다.
스텝 S520에 있어서, 복호 장치(151)는, 소정 프레임 길이만큼 처리를 행하였는지 여부를 판정한다. 즉, 처리 대상 구간을 구성하는 모든 프레임에 대해, 복호 고역 신호와 복호 저역 신호로 이루어지는 출력 신호가 생성되었는지 여부가 판정된다.
스텝 S520에 있어서, 아직 소정 프레임 길이만큼 처리를 행하고 있지 않다고 판정된 경우, 처리는 스텝 S513으로 복귀되어, 상술한 처리가 반복된다. 즉, 처리 대상 구간의 아직 처리 대상으로 되어 있지 않은 프레임이, 다음 처리 대상의 프레임으로 되어, 그 프레임의 출력 신호가 생성된다.
이에 반해, 스텝 S520에 있어서, 소정 프레임 길이만큼 처리를 행하였다고 판정된 경우, 즉 처리 대상 구간 내의 모든 프레임에 대해, 출력 신호가 생성된 경우, 복호 처리는 종료된다.
이상과 같이, 복호 장치(151)에 따르면, 입력 부호열의 비다중화에 의해 얻어진 고역 부호화 데이터로부터 계수 인덱스를 얻어, 그 계수 인덱스에 의해 나타나는 복호 고역 서브밴드 파워 추정 계수를 이용하여 복호 고역 서브밴드 파워를 산출하므로, 고역 서브밴드 파워의 추정 정밀도를 향상시킬 수 있다. 이에 의해, 음악 신호를 보다 고음질로 재생하는 것이 가능해진다.
또한, 고역 부호화 데이터에는, 하나 또는 복수의 프레임으로 이루어지는 연속 프레임 구간에 대한, 1개의 계수 인덱스가 포함되어 있으므로, 보다 적은 데이터양의 입력 부호열로부터, 보다 효율적으로 출력 신호를 얻을 수 있다.
<8. 제8 실시 형태>
[계수 인덱스열의 고능률 부호화에 대해]
다음으로, 상술한 (b) 길이의 인덱스와 전환 플래그를 보냄으로써, 고역 부호화 데이터의 부호량을 삭감하여, 음성의 부호화나 복호의 효율을 향상시키는 경우에 대해 설명한다. 이와 같은 경우, 예를 들면 도 37에 도시한 바와 같이, 복수 프레임을 단위로 하여, 저역 부호화 데이터와 고역 부호화 데이터로 이루어지는 출력 부호열(비트 스트림)이 부호화 장치로부터 출력된다.
또한, 도 37에서는, 횡방향은 시간을 나타내고 있고, 1개의 사각형은 1개의 프레임을 나타내고 있다. 또한, 프레임을 나타내는 사각형 내의 수치는, 그 프레임의 복호 고역 서브밴드 파워 추정 계수를 특정하는 계수 인덱스를 나타내고 있다. 또한, 도 37에 있어서, 도 32에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하였으며, 그 설명은 생략한다.
도 37의 예에서는, 16프레임을 단위로 하여 출력 부호열이 출력된다. 예를 들면, 위치 FST1로부터 위치 FSE1까지의 구간이 처리 대상 구간으로 되어, 이 처리 대상 구간에 포함되는 16프레임의 출력 부호열이 출력된다.
구체적으로는, 우선 처리 대상 구간이, 소정의 프레임수로 이루어지는 구간(이하, 고정 길이 구간이라 칭함)으로 등분할된다. 여기서, 고정 길이 구간 내의 각 프레임에서 선택되어 있는 계수 인덱스가 동일하고, 또한 고정 길이 구간의 길이가 가장 길어지도록, 고정 길이 구간의 길이가 정해진다.
도 37의 예에서는, 고정 길이 구간의 길이(이하, 간단히 고정 길이라고도 칭함)는, 4프레임으로 되어 있고, 처리 대상 구간은 4개의 고정 길이 구간으로 등분되어 있다. 즉, 처리 대상 구간은, 위치 FST1로부터 위치 FC21까지의 구간, 위치 FC21로부터 위치 FC22까지의 구간, 위치 FC22로부터 위치 FC23까지의 구간 및 위치 FC23으로부터 위치 FSE1까지의 구간으로 분할된다. 이들 고정 길이 구간에 있어서의 계수 인덱스는, 처리 대상 구간의 선두의 고정 길이 구간으로부터 순서대로, 계수 인덱스 「1」, 「2」, 「2」, 「3」으로 되어 있다.
이와 같이 하여, 처리 대상 구간이 몇 개의 고정 길이 구간으로 분할되면, 처리 대상 구간 내의 고정 길이 구간의 고정 길이를 나타내는 고정 길이 인덱스, 계수 인덱스 및 전환 플래그로 이루어지는 데이터가 생성된다.
여기서, 전환 플래그라 함은, 고정 길이 구간의 경계 위치, 즉 소정의 고정 길이 구간의 최후의 프레임과, 그 고정 길이 구간의 다음 고정 길이 구간의 선두의 프레임에서, 계수 인덱스가 변화되었는지 여부를 나타내는 정보이다. 예를 들면, i번째(i＝0, 1, 2,…)의 전환 플래그 gridflg_i는, 처리 대상 구간의 선두로부터 (i＋1)번째와 (i＋2)번째의 고정 길이 구간의 경계 위치에 있어서, 계수 인덱스가 변화된 경우 「1」로 되고, 변화되지 않은 경우 「0」으로 된다.
도 37의 예에서는, 처리 대상 구간의 1번째의 고정 길이 구간의 경계 위치(위치 FC21)의 전환 플래그 gridflg_0은, 1번째의 고정 길이 구간의 계수 인덱스 「1」과, 2번째의 고정 길이 구간의 계수 인덱스 「2」가 다르므로, 그 값은 「1」로 되어 있다. 또한, 위치 FC22의 전환 플래그 gridflg_1은, 2번째의 고정 길이 구간의 계수 인덱스 「2」와, 3번째의 고정 길이 구간의 계수 인덱스 「2」가 동일하므로, 그 값은 「0」으로 되어 있다.
또한, 고정 길이 인덱스의 값은, 고정 길이로부터 구해지는 값 등으로 된다. 구체적으로는, 예를 들면 고정 길이 인덱스 length_id는, 고정 길이 fixed_length＝16／2length_id를 만족시키는 값으로 된다. 도 37의 예에서는, 고정 길이 fixed_length＝4이므로, 고정 길이 인덱스 length_id＝2로 된다.
처리 대상 구간이 고정 길이 구간으로 분할되고, 고정 길이 인덱스, 계수 인덱스 및 전환 플래그로 이루어지는 데이터가 생성되면, 이 데이터가 부호화되어 고역 부호화 데이터로 된다.
도 37의 예에서는, 위치 FC21 내지 위치 FC23에 있어서의 전환 플래그 gridflg_0＝1, gridflg_1＝0 및 gridflg_2＝1과, 고정 길이 인덱스 「2」 및 각 고정 길이 구간의 계수 인덱스 「1」, 「2」, 「3」으로 이루어지는 데이터가 부호화되어, 고역 부호화 데이터로 된다.
여기서, 각 고정 길이 구간의 경계 위치의 전환 플래그는, 처리 대상 구간의 선두로부터 몇번째에 있는 경계 위치의 전환 플래그인지를 특정할 수 있게 되어 있다. 바꾸어 말하면, 전환 플래그에는, 처리 대상 구간 내에 있어서의 고정 길이 구간의 경계 위치를 특정하기 위한 정보도 포함되어 있다.
또한, 고역 부호화 데이터에 포함되는 각 계수 인덱스는, 그들 계수 인덱스가 선택된 순번, 즉 고정 길이 구간이 배열되는 순서대로 배열되어 있다. 예를 들면, 도 37의 예에서는, 계수 인덱스 「1」, 「2」, 「3」의 순서대로 배열되어, 그들 계수 인덱스가 데이터에 포함된다.
또한, 도 37의 예에서는, 처리 대상 구간의 선두로부터 2번째와 3번째의 고정 길이 구간의 계수 인덱스가 「2」이지만, 고역 부호화 데이터에는, 계수 인덱스 「2」가 1개만 포함되게 된다. 즉, 연속하는 고정 길이 구간의 계수 인덱스가 동일한 경우, 즉 연속하는 고정 길이 구간의 경계 위치에 있어서의 전환 플래그가 0인 경우에는, 그들 고정 길이 구간의 수만큼 동일한 계수 인덱스가 고역 부호화 데이터에 포함되는 것이 아니라, 1개의 계수 인덱스가 고역 부호화 데이터에 포함되게 된다.
이와 같이, 고정 길이 인덱스, 계수 인덱스 및 전환 플래그로 이루어지는 데이터로부터 고역 부호화 데이터를 생성하면, 프레임마다 계수 인덱스를 송신할 필요가 없어지므로, 전송하는 비트 스트림의 데이터양을 삭감할 수 있다. 이에 의해, 보다 효율적으로 부호화, 복호를 행할 수 있다.
[부호화 장치의 기능적 구성예]
이와 같이 고정 길이 인덱스, 계수 인덱스 및 전환 플래그가 포함되는 고역 부호화 데이터가 생성되는 경우, 부호화 장치는, 예를 들면 도 38에 도시한 바와 같이 구성된다. 또한, 도 38에 있어서, 도 18에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하였으며, 그 설명은 적절히 생략한다.
도 38의 부호화 장치(191)와, 도 18의 부호화 장치(30)는, 부호화 장치(191)의 의사 고역 서브밴드 파워 차분 산출 회로(36)에 생성부(201)가 설치되어 있는 점에서 다르고, 그 외의 구성은 동일한 구성으로 되어 있다.
생성부(201)는, 처리 대상 구간 내의 각 프레임에 있어서의 계수 인덱스의 선택 결과에 기초하여, 고정 길이 인덱스, 계수 인덱스 및 전환 플래그로 이루어지는 데이터를 생성하고, 고역 부호화 회로(37)에 공급한다.
[부호화 처리의 설명]
다음으로, 도 39의 플로우차트를 참조하여, 부호화 장치(191)에 의해 행해지는 부호화 처리에 대해 설명한다. 이 부호화 처리는, 미리 정해진 프레임수, 즉 처리 대상 구간마다 행해진다.
또한, 스텝 S551 내지 스텝 S559의 처리는, 도 34의 스텝 S471 내지 스텝 S479의 처리와 마찬가지이므로, 그 설명은 생략한다. 스텝 S551 내지 스텝 S559의 처리에서는, 처리 대상 구간을 구성하는 각 프레임이 순서대로 처리 대상의 프레임으로 되고, 처리 대상의 프레임에 대해, 계수 인덱스가 선택된다.
스텝 S559에 있어서, 소정 프레임 길이만큼 처리를 행하였다고 판정된 경우, 처리는 스텝 S560으로 진행한다.
스텝 S560에 있어서, 생성부(201)는, 처리 대상 구간 내의 각 프레임의 계수 인덱스의 선택 결과에 기초하여, 고정 길이 인덱스, 계수 인덱스 및 전환 플래그로 이루어지는 데이터를 생성하고, 고역 부호화 회로(37)에 공급한다.
예를 들면, 도 37의 예에서는, 생성부(201)는, 고정 길이를 4프레임으로 하여, 위치 FST1로부터 위치 FSE1까지의 처리 대상 구간을, 4개의 고정 길이 구간으로 분할한다. 그리고 생성부(201)는, 고정 길이 인덱스 「2」, 계수 인덱스 「1」, 「2」, 「3」 및 전환 플래그 「1」, 「0」, 「1」로 이루어지는 데이터를 생성한다.
또한, 도 37에서는, 처리 대상 구간의 선두로부터 2번째와 3번째의 고정 길이 구간의 계수 인덱스는 모두 「2」이지만, 이들 고정 길이 구간은 연속해서 배열되어 있으므로, 생성부(201)로부터 출력되는 데이터에는, 계수 인덱스 「2」가 1개만 포함되게 된다.
도 39의 플로우차트의 설명으로 되돌아와, 스텝 S561에 있어서, 고역 부호화 회로(37)는, 생성부(201)로부터 공급된, 고정 길이 인덱스, 계수 인덱스 및 전환 플래그로 이루어지는 데이터를 부호화하여, 고역 부호화 데이터를 생성한다. 고역 부호화 회로(37)는, 생성된 고역 부호화 데이터를 다중화 회로(38)에 공급한다. 예를 들면, 필요에 따라, 고정 길이 인덱스, 계수 인덱스 및 전환 플래그 중 일부 또는 전부의 정보에 대해 엔트로피 부호화 등이 행해진다.
스텝 S561의 처리가 행해지면, 그 후, 스텝 S562의 처리가 행해져 부호화 처리는 종료되지만, 스텝 S562의 처리는, 도 34의 스텝 S482의 처리와 마찬가지이므로, 그 설명은 생략한다.
이와 같이, 저역 부호화 데이터와 함께, 고역 부호화 데이터를 출력 부호열로서 출력함으로써, 이 출력 부호열의 입력을 받는 복호 장치에서는, 주파수 대역 확대 처리에 가장 적절한, 복호 고역 서브밴드 파워 추정 계수를 얻을 수 있다. 이에 의해, 보다 고음질의 신호를 얻을 수 있게 된다.
게다가, 부호화 장치(191)에서는, 하나 또는 복수의 고정 길이 구간에 대해, 1개의 계수 인덱스가 선택되고, 그 계수 인덱스를 포함하는 고역 부호화 데이터가 출력된다. 그 때문에, 특히 동일한 계수 인덱스가 연속해서 선택되는 경우에는, 출력 부호열의 부호량을 저감시킬 수 있어, 보다 효율적으로 음성의 부호화나 복호를 행할 수 있다.
[복호 장치의 기능적 구성예]
또한, 도 38의 부호화 장치(191)로부터 출력된 출력 부호열을, 입력 부호열로서 입력하고, 복호하는 복호 장치는, 예를 들면 도 40에 도시한 바와 같이 구성된다. 또한, 도 40에 있어서, 도 20에 있어서의 경우와 대응하는 부분에는, 동일한 부호를 부여하였으며, 그 설명은 적절히 생략한다.
도 40의 복호 장치(231)는, 비다중화 회로(41) 내지 합성 회로(48)로 구성되는 점에서는, 도 20의 복호 장치(40)와 동일하지만, 복호 고역 서브밴드 파워 산출 회로(46)에 선택부(241)가 설치되어 있는 점에서, 도 20의 복호 장치(40)와 다르다.
복호 장치(231)에서는, 고역 복호 회로(45)에서 고역 부호화 데이터가 복호되면, 그 결과 얻어진 고정 길이 인덱스 및 전환 플래그와, 고역 부호화 데이터의 복호로 얻어진 계수 인덱스에 의해 특정되는 복호 고역 서브밴드 파워 추정 계수가 선택부(241)에 공급된다.
선택부(241)는, 고역 복호 회로(45)로부터 공급된 고정 길이 인덱스 및 전환 플래그에 기초하여, 처리 대상으로 되어 있는 프레임에 대해, 복호 고역 서브밴드 파워의 산출에 이용하는 복호 고역 서브밴드 파워 추정 계수를 선택한다.
[복호 처리의 설명]
다음으로, 도 41의 플로우차트를 참조하여, 도 40의 복호 장치(231)에 의해 행해지는 복호 처리에 대해 설명한다.
이 복호 처리는, 부호화 장치(191)로부터 출력된 출력 부호열이, 입력 부호열로서 복호 장치(231)에 공급되면 개시되고, 미리 정해진 프레임수, 즉 처리 대상 구간마다 행해진다. 또한, 스텝 S591의 처리는, 도 36의 스텝 S511의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S592에 있어서, 고역 복호 회로(45)는, 비다중화 회로(41)로부터 공급된 고역 부호화 데이터의 복호를 행하고, 복호 고역 서브밴드 파워 추정 계수, 고정 길이 인덱스 및 전환 플래그를 복호 고역 서브밴드 파워 산출 회로(46)의 선택부(241)에 공급한다.
즉, 고역 복호 회로(45)는, 미리 기록되어 있는 복호 고역 서브밴드 파워 추정 계수 중, 고역 부호화 데이터의 복호에 의해 얻어진 계수 인덱스에 의해 나타나는 복호 고역 서브밴드 파워 추정 계수를 읽어낸다. 이때, 복호 고역 서브밴드 파워 추정 계수는, 계수 인덱스가 배열되어 있는 순번과 동일한 순번으로 배열된다. 그리고, 고역 복호 회로(45)는, 복호 고역 서브밴드 파워 추정 계수, 고정 길이 인덱스 및 전환 플래그를, 선택부(241)에 공급한다.
고역 부호화 데이터가 복호되면, 그 후, 스텝 S593 내지 스텝 S595의 처리가 행해지지만, 이들 처리는 도 36의 스텝 S513 내지 스텝 S515와 마찬가지이므로, 그 설명은 생략한다.
스텝 S596에 있어서, 선택부(241)는, 고역 복호 회로(45)로부터 공급된 고정 길이 인덱스 및 전환 플래그에 기초하여, 고역 복호 회로(45)로부터 공급된 복호 고역 서브밴드 파워 추정 계수로부터, 처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수를 선택한다.
예를 들면, 도 37의 예에서, 처리 대상 구간의 선두로부터 5번째의 프레임이 처리 대상으로 되어 있는 경우, 선택부(241)는 고정 길이 인덱스 「2」로부터, 처리 대상의 프레임이 처리 대상 구간 내의 선두로부터 몇번째의 고정 길이 구간에 포함되는지를 특정한다. 이 경우, 고정 길이는 「4」인 점에서, 5번째의 프레임은, 2번째의 고정 길이 구간에 포함되는 것이 특정된다.
다음으로, 선택부(241)는, 위치 FC21의 전환 플래그 gridflg_0＝1로부터, 순서 부여된 복호 고역 서브밴드 파워 추정 계수 중, 선두로부터 2번째의 복호 고역 서브밴드 파워 추정 계수가, 처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수라고 특정한다. 즉, 전환 플래그가 「1」이기 때문에, 위치 FC21의 전후에서 계수 인덱스가 변화되어 있는 것이 특정되므로, 선두로부터 2번째의 복호 고역 서브밴드 파워 추정 계수가, 처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수라고 특정된다. 이 경우, 계수 인덱스 「2」에 의해 특정되는 복호 고역 서브밴드 파워 추정 계수가 선택되게 된다.
또한, 예를 들면 도 37의 예에서, 처리 대상 구간의 선두로부터 9번째의 프레임이 처리 대상으로 되어 있는 경우, 선택부(241)는 고정 길이 인덱스 「2」로부터, 처리 대상의 프레임이 처리 대상 구간 내의 선두로부터 몇번째의 고정 길이 구간에 포함되는지를 특정한다. 이 경우, 고정 길이는 「4」이므로, 9번째의 프레임은, 3번째의 고정 길이 구간에 포함되는 것이 특정된다.
다음으로, 선택부(241)는, 위치 FC22의 전환 플래그 gridflg_1＝0으로부터, 순서 부여된 복호 고역 서브밴드 파워 추정 계수 중, 선두로부터 2번째의 복호 고역 서브밴드 파워 추정 계수가, 처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수라고 특정한다. 즉, 전환 플래그가 「0」이기 때문에, 위치 FC22의 전후에서 계수 인덱스는 변화되지 않는 것이 특정되므로, 선두로부터 2번째의 복호 고역 서브밴드 파워 추정 계수가, 처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수라고 특정된다. 이 경우, 계수 인덱스 「2」에 의해 특정되는 복호 고역 서브밴드 파워 추정 계수가 선택되게 된다.
처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수가 선택되면, 그 후, 스텝 S597 내지 스텝 S600의 처리가 행해져 복호 처리는 종료되지만, 이들 처리는 도 36의 스텝 S517 내지 스텝 S520의 처리와 마찬가지이므로, 그 설명은 생략한다.
이들 스텝 S597 내지 스텝 S600의 처리에서는, 선택된 복호 고역 서브밴드 파워 추정 계수가 이용되어 처리 대상으로 되어 있는 프레임의 복호 고역 신호가 생성되고, 생성된 복호 고역 신호와 복호 저역 신호가 합성되어 출력된다.
이상과 같이, 복호 장치(231)에 따르면, 입력 부호열의 비다중화에 의해 얻어진 고역 부호화 데이터로부터 계수 인덱스를 얻어, 그 계수 인덱스에 의해 나타나는 복호 고역 서브밴드 파워 추정 계수를 이용하여 복호 고역 서브밴드 파워를 산출하므로, 고역 서브밴드 파워의 추정 정밀도를 향상시킬 수 있다. 이에 의해, 음악 신호를 보다 고음질로 재생하는 것이 가능해진다.
또한, 고역 부호화 데이터에는, 하나 또는 복수의 고정 길이 구간에 대한, 1개의 계수 인덱스가 포함되어 있으므로, 보다 적은 데이터양의 입력 부호열로부터, 보다 효율적으로 출력 신호를 얻을 수 있다.
<9. 제9 실시 형태>
[부호화 장치의 기능적 구성예]
또한, 이상에서는, 음성의 고역 성분을 얻기 위한 데이터로서, 계수 인덱스, 구간 정보 및 개수 정보로 이루어지는 데이터를 생성하는 방식(이하, 가변 길이 방식이라 칭함)과, 고정 길이 인덱스, 계수 인덱스 및 전환 플래그로 이루어지는 데이터를 생성하는 방식(이하, 고정 길이 방식이라 칭함)에 대해 설명하였다.
이들 방식은, 모두 고역 부호화 데이터의 부호량을 저감시킬 수 있지만, 처리 대상 구간마다, 이들 방식 중 보다 부호량이 적은 방식을 선택함으로써, 고역 부호화 데이터의 부호량을 더욱 저감시킬 수 있다.
그와 같은 경우, 부호화 장치는, 예를 들면 도 42에 도시한 바와 같이 구성된다. 또한, 도 42에 있어서, 도 18에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하였으며, 그 설명은 적절히 생략한다.
도 42의 부호화 장치(271)와, 도 18의 부호화 장치(30)는, 부호화 장치(271)의 의사 고역 서브밴드 파워 차분 산출 회로(36)에 생성부(281)가 설치되어 있는 점에서 다르고, 그 외의 구성은 동일한 구성으로 되어 있다.
생성부(281)는, 처리 대상 구간 내의 각 프레임에 있어서의 계수 인덱스의 선택 결과에 기초하여, 가변 길이 방식 또는 고정 길이 방식의 전환을 행하고, 선택된 방식으로 고역 부호화 데이터를 얻기 위한 데이터를 생성하고, 고역 부호화 회로(37)에 공급한다.
[부호화 처리의 설명]
다음으로, 도 43의 플로우차트를 참조하여, 부호화 장치(271)에 의해 행해지는 부호화 처리에 대해 설명한다. 이 부호화 처리는, 미리 정해진 프레임수, 즉 처리 대상 구간마다 행해진다.
또한, 스텝 S631 내지 스텝 S639의 처리는, 도 34의 스텝 S471 내지 스텝 S479의 처리와 마찬가지이므로, 그 설명은 생략한다. 스텝 S631 내지 스텝 S639의 처리에서는, 처리 대상 구간을 구성하는 각 프레임이 순서대로 처리 대상의 프레임으로 되고, 처리 대상의 프레임에 대해, 계수 인덱스가 선택된다.
스텝 S639에 있어서, 소정 프레임 길이만큼 처리를 행하였다고 판정된 경우, 처리는 스텝 S640으로 진행한다.
스텝 S640에 있어서, 생성부(281)는, 고역 부호화 데이터를 생성하는 방식을, 고정 길이 방식으로 하는지 여부를 판정한다.
즉, 생성부(281)는, 처리 대상 구간에 있어서의 각 프레임의 계수 인덱스의 선택 결과에 기초하여, 고정 길이 방식에 의해 생성하였을 때의 고역 부호화 데이터와, 가변 길이 방식에 의해 생성하였을 때의 고역 부호화 데이터의 부호량을 비교한다. 그리고, 생성부(281)는, 고정 길이 방식의 고역 부호화 데이터의 부호량이, 가변 길이 방식의 고역 부호화 데이터의 부호량보다도 적은 경우, 고정 길이 방식으로 한다고 판정한다.
스텝 S640에 있어서, 고정 길이 방식으로 한다고 판정된 경우, 처리는 스텝 S641로 진행한다. 스텝 S641에 있어서, 생성부(281)는, 고정 길이 방식이 선택된 취지의 방식 플래그, 고정 길이 인덱스, 계수 인덱스 및 전환 플래그로 이루어지는 데이터를 생성하고, 고역 부호화 회로(37)에 공급한다.
스텝 S642에 있어서, 고역 부호화 회로(37)는, 생성부(281)로부터 공급된, 방식 플래그, 고정 길이 인덱스, 계수 인덱스 및 전환 플래그로 이루어지는 데이터를 부호화하여, 고역 부호화 데이터를 생성한다. 고역 부호화 회로(37)는, 생성한 고역 부호화 데이터를 다중화 회로(38)에 공급하고, 그 후, 처리는 스텝 S645로 진행한다.
이에 반해, 스텝 S640에 있어서, 고정 길이 방식으로 하지 않는다고 판정된 경우, 즉 가변 길이 방식으로 한다고 판정된 경우, 처리는 스텝 S643으로 진행한다. 스텝 S643에 있어서, 생성부(281)는, 가변 길이 방식이 선택된 취지의 방식 플래그, 계수 인덱스, 구간 정보 및 개수 정보로 이루어지는 데이터를 생성하고, 고역 부호화 회로(37)에 공급한다.
스텝 S644에 있어서, 고역 부호화 회로(37)는, 생성부(281)로부터 공급된, 방식 플래그, 계수 인덱스, 구간 정보 및 개수 정보로 이루어지는 데이터를 부호화하여, 고역 부호화 데이터를 생성한다. 고역 부호화 회로(37)는, 생성한 고역 부호화 데이터를 다중화 회로(38)에 공급하고, 그 후, 처리는 스텝 S645로 진행한다.
스텝 S642 또는 스텝 S644에 있어서, 고역 부호화 데이터가 생성되면, 그 후, 스텝 S645의 처리가 행해져 부호화 처리는 종료되지만, 이 처리는 도 34의 스텝 S482의 처리와 마찬가지이므로, 그 설명은 생략한다.
이와 같이, 고정 길이 방식과 가변 길이 방식 중, 보다 부호량이 적어지는 방식을 처리 대상 구간마다 선택하여 고역 부호화 데이터를 생성함으로써, 보다 출력 부호열의 부호량을 저감시킬 수 있어, 보다 효율적으로 음성의 부호화나 복호를 행할 수 있다.
[복호 장치의 기능적 구성예]
또한, 도 42의 부호화 장치(271)로부터 출력된 출력 부호열을, 입력 부호열로서 입력하고, 복호하는 복호 장치는, 예를 들면 도 44에 도시한 바와 같이 구성된다. 또한, 도 44에 있어서, 도 20에 있어서의 경우와 대응하는 부분에는, 동일한 부호를 부여하였으며, 그 설명은 적절히 생략한다.
도 44의 복호 장치(311)는, 비다중화 회로(41) 내지 합성 회로(48)로 구성되는 점에서는, 도 20의 복호 장치(40)와 동일하지만, 복호 고역 서브밴드 파워 산출 회로(46)에 선택부(321)가 설치되어 있는 점에서, 도 20의 복호 장치(40)와 다르다.
복호 장치(311)에서는, 고역 복호 회로(45)에서 고역 부호화 데이터가 복호되면, 그 결과 얻어진 데이터와, 고역 부호화 데이터의 복호로 얻어진 계수 인덱스에 의해 특정되는 복호 고역 서브밴드 파워 추정 계수가 선택부(321)에 공급된다.
선택부(321)는, 고역 복호 회로(45)로부터 공급된 데이터에 기초하여, 처리 대상 구간의 고역 부호화 데이터가, 고정 길이 방식 또는 가변 길이 방식 중 어느 하나의 방식으로 생성되었는지를 특정한다. 또한, 선택부(321)는, 고역 부호화 데이터를 생성하는 방식의 특정 결과와, 고역 복호 회로(45)로부터 공급된 데이터에 기초하여, 처리 대상으로 되어 있는 프레임에 대해, 복호 고역 서브밴드 파워의 산출에 이용하는 복호 고역 서브밴드 파워 추정 계수를 선택한다.
[복호 처리의 설명]
다음으로, 도 45의 플로우차트를 참조하여, 도 44의 복호 장치(311)에 의해 행해지는 복호 처리에 대해 설명한다.
이 복호 처리는, 부호화 장치(271)로부터 출력된 출력 부호열이, 입력 부호열로서 복호 장치(311)에 공급되면 개시되고, 미리 정해진 프레임수, 즉 처리 대상 구간마다 행해진다. 또한, 스텝 S671의 처리는, 도 41의 스텝 S591의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S672에 있어서, 고역 복호 회로(45)는, 비다중화 회로(41)로부터 공급된 고역 부호화 데이터의 복호를 행하고, 그 결과 얻어진 데이터와 복호 고역 서브밴드 파워 추정 계수를 복호 고역 서브밴드 파워 산출 회로(46)의 선택부(321)에 공급한다.
즉, 고역 복호 회로(45)는, 미리 기록되어 있는 복호 고역 서브밴드 파워 추정 계수 중, 고역 부호화 데이터의 복호에 의해 얻어진 계수 인덱스에 의해 나타나는 복호 고역 서브밴드 파워 추정 계수를 읽어낸다. 그리고, 고역 복호 회로(45)는, 복호 고역 서브밴드 파워 추정 계수와, 고역 부호화 데이터의 복호에 의해 얻어진 데이터를 선택부(321)에 공급한다.
이 경우, 방식 플래그에 의해 고정 길이 방식이 나타내질 때에는, 복호 고역 서브밴드 파워 추정 계수, 방식 플래그, 고정 길이 인덱스 및 전환 플래그가 선택부(321)에 공급된다. 또한, 방식 플래그에 의해 가변 길이 방식이 나타날 때에는, 복호 고역 서브밴드 파워 추정 계수, 방식 플래그, 구간 정보 및 개수 정보가 선택부(321)에 공급된다.
고역 부호화 데이터가 복호되면, 그 후, 스텝 S673 내지 스텝 S675의 처리가 행해지지만, 이들 처리는 도 41의 스텝 S593 내지 스텝 S595의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S676에 있어서, 선택부(321)는, 고역 복호 회로(45)로부터 공급된 데이터에 기초하여, 고역 복호 회로(45)로부터 공급된 복호 고역 서브밴드 파워 추정 계수로부터, 처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수를 선택한다.
예를 들면, 고역 복호 회로(45)로부터 공급된 방식 플래그에 의해 고정 길이 방식이 나타날 때에는, 도 41의 스텝 S596과 동일한 처리가 행해져, 고정 길이 인덱스와 전환 플래그로부터, 복호 고역 서브밴드 파워 추정 계수가 선택된다. 한편, 고역 복호 회로(45)로부터 공급된 방식 플래그에 의해 가변 길이 방식이 나타날 때에는, 도 36의 스텝 S516과 동일한 처리가 행해져, 구간 정보와 개수 정보로부터, 복호 고역 서브밴드 파워 추정 계수가 선택된다.
처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수가 선택되면, 그 후, 스텝 S677 내지 스텝 S680의 처리가 행해져 복호 처리는 종료되지만, 이들 처리는 도 41의 스텝 S597 내지 스텝 S600의 처리와 마찬가지이므로, 그 설명은 생략한다.
이들 스텝 S677 내지 스텝 S680의 처리에서는, 선택된 복호 고역 서브밴드 파워 추정 계수가 이용되어 처리 대상으로 되어 있는 프레임의 복호 고역 신호가 생성되고, 생성된 복호 고역 신호와 복호 저역 신호가 합성되어 출력된다.
이상과 같이, 고정 길이 방식과 가변 길이 방식 중, 보다 부호량이 적어지는 방식으로 처리 대상 구간마다 고역 부호화 데이터가 생성된다. 이 고역 부호화 데이터에는, 하나 또는 복수의 프레임에 대한, 1개의 계수 인덱스가 포함되어 있으므로, 보다 적은 데이터양의 입력 부호열로부터, 보다 효율적으로 출력 신호를 얻을 수 있다.
<10. 제10 실시 형태>
[계수 인덱스열의 고능률 부호화에 대해]
그러나 음성을 부호화하는 부호화 방식에서는, 소정 프레임의 데이터를 복호하기 위한 정보가, 그 프레임보다도 이후의 프레임의 데이터를 복호하기 위한 정보로서 재이용되는 경우가 있다. 그와 같은 경우, 시간 방향에서 정보의 재이용이 행해지는 모드와, 재이용이 금지되는 모드가 선택되게 되어 있다.
여기서, 시간 방향에서 재이용되는 정보는, 계수 인덱스 등으로 된다. 구체적으로는, 예를 들면 도 46에 도시한 바와 같이, 복수 프레임을 단위로 하여, 저역 부호화 데이터와 고역 부호화 데이터로 이루어지는 출력 부호열이 부호화 장치로부터 출력된다고 한다.
또한, 도 46에서는, 횡방향은 시간을 나타내고 있고, 1개의 사각형은 1개의 프레임을 나타내고 있다. 또한, 프레임을 나타내는 사각형 내의 수치는, 그 프레임의 복호 고역 서브밴드 파워 추정 계수를 특정하는 계수 인덱스를 나타내고 있다. 또한, 도 46에 있어서, 도 32에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하였으며, 그 설명은 생략한다.
도 46의 예에서는, 16프레임을 단위로 하여 출력 부호열이 출력된다. 예를 들면, 위치 FST1로부터 위치 FSE1까지의 구간이 처리 대상 구간으로 되어, 이 처리 대상 구간에 포함되는 16프레임의 출력 부호열이 출력된다.
이때, 정보의 재이용이 행해지는 모드에서는, 처리 대상 구간의 선두의 프레임과, 그 프레임의 1개 이전의 프레임의 계수 인덱스가 동일한 경우에는, 계수 인덱스가 재이용되는 취지의 재이용 플래그 「1」이 고역 부호화 데이터에 포함된다. 도 46의 예에서는, 처리 대상 구간의 선두의 프레임과, 그 이전의 프레임의 계수 인덱스가 모두 「2」이므로, 재이용 플래그는 「1」로 된다.
재이용 플래그가 「1」로 된 경우에는, 이전의 처리 대상 구간의 최후의 프레임의 계수 인덱스가 재이용되므로, 처리 대상 구간의 고역 부호화 데이터에는, 처리 대상 구간의 최초 프레임의 계수 인덱스는 포함되지 않는다.
이에 반해, 처리 대상 구간의 선두의 프레임과, 그 프레임의 1개 이전의 프레임의 계수 인덱스가 다른 경우에는, 계수 인덱스가 재이용되지 않는 취지의 재이용 플래그 「0」이 고역 부호화 데이터에 포함된다. 이 경우, 계수 인덱스의 재이용은 할 수 없으므로, 고역 부호화 데이터에는, 처리 대상 구간의 최초 프레임의 계수 인덱스가 포함되게 된다.
또한, 정보의 재이용이 금지되는 모드에서는, 고역 부호화 데이터에는, 재이용 플래그는 포함되지 않게 된다. 이와 같이 재이용 플래그를 이용하면, 더욱 출력 부호열의 부호량을 저감시킬 수 있어, 보다 효율적으로 음성의 부호화나 복호를 행할 수 있다.
또한, 재이용 플래그에 의해 재이용되는 정보는, 계수 인덱스로 한정하지 않고, 어떤 정보이어도 된다.
[부호화 처리의 설명]
다음으로, 이와 같은 재이용 플래그를 이용하는 경우에 행해지는 부호화 처리와 복호 처리에 대해 설명한다. 우선, 가변 길이 방식에 의해 고역 부호화 데이터가 생성되는 경우에 대해 설명한다. 이 경우, 도 33의 부호화 장치(111)와 도 35의 복호 장치(151)에 의해, 부호화 처리와 복호 처리가 행해진다.
이하, 도 47의 플로우차트를 참조하여, 부호화 장치(111)에 의한 부호화 처리에 대해 설명한다. 이 부호화 처리는, 미리 정해진 프레임수, 즉 처리 대상 구간마다 행해진다.
또한, 스텝 S711 내지 스텝 S719의 처리는, 도 34의 스텝 S471 내지 스텝 S479의 처리와 마찬가지이므로, 그 설명은 생략한다. 스텝 S711 내지 스텝 S719의 처리에서는, 처리 대상 구간을 구성하는 각 프레임이 순서대로 처리 대상의 프레임으로 되고, 처리 대상의 프레임에 대해, 계수 인덱스가 선택된다.
스텝 S719에 있어서, 소정 프레임 길이만큼 처리를 행하였다고 판정된 경우, 처리는 스텝 S720으로 진행한다.
스텝 S720에 있어서, 생성부(121)는, 정보의 재이용을 행하는지 여부를 판정한다. 예를 들면, 유저에 의해 정보의 재이용이 행해지는 모드가 지정되어 있는 경우, 정보의 재이용을 행한다고 판정된다.
스텝 S720에 있어서, 정보의 재이용을 행한다고 판정된 경우, 처리는 스텝 S721로 진행한다.
스텝 S721에 있어서, 생성부(121)는, 처리 대상 구간 내의 각 프레임의 계수 인덱스의 선택 결과에 기초하여, 재이용 플래그, 계수 인덱스, 구간 정보 및 개수 정보로 이루어지는 데이터를 생성하고, 고역 부호화 회로(37)에 공급한다.
예를 들면, 도 32의 예에서는, 처리 대상 구간의 선두의 프레임의 계수 인덱스는 「2」인 것에 대해, 그 프레임의 직전 프레임의 계수 인덱스는 「3」이므로, 계수 인덱스의 재이용은 할 수 없어, 재이용 플래그는 「0」으로 된다.
생성부(121)는, 재이용 플래그 「0」 및 개수 정보 「num_length＝3」과, 각 연속 프레임 구간의 구간 정보 「length0＝5」, 「length1＝7」 및 「length2＝4」, 및 그들 연속 프레임 구간의 계수 인덱스 「2」, 「5」 및 「1」로 이루어지는 데이터를 생성한다.
또한, 재이용 플래그가 「1」로 되는 경우에는, 처리 대상 구간의 최초의 연속 프레임 구간의 계수 인덱스가 포함되지 않는 데이터가 생성된다. 예를 들면, 도 32의 예에서, 처리 대상 구간의 재이용 플래그가 「1」로 되는 경우, 재이용 플래그 및 개수 정보와, 구간 정보 「length0＝5」, 「length1＝7」 및 「length2＝4」, 및 계수 인덱스 「5」 및 「1」로 이루어지는 데이터가 생성된다.
스텝 S722에 있어서, 고역 부호화 회로(37)는, 생성부(121)로부터 공급된, 재이용 플래그, 계수 인덱스, 구간 정보 및 개수 정보로 이루어지는 데이터를 부호화하여, 고역 부호화 데이터를 생성한다. 고역 부호화 회로(37)는, 생성한 고역 부호화 데이터를 다중화 회로(38)에 공급하고, 그 후, 처리는 스텝 S725로 진행한다.
이에 반해, 스텝 S720에 있어서, 정보의 재이용을 행하지 않는다고 판정된 경우, 즉 유저에 의해 정보의 재이용이 금지되는 모드가 지정된 경우, 처리는 스텝 S723으로 진행한다.
스텝 S723에 있어서, 생성부(121)는, 처리 대상 구간 내의 각 프레임의 계수 인덱스의 선택 결과에 기초하여, 계수 인덱스, 구간 정보 및 개수 정보로 이루어지는 데이터를 생성하고, 고역 부호화 회로(37)에 공급한다. 스텝 S723에서는, 도 34의 스텝 S480과 동일한 처리가 행해진다.
스텝 S724에 있어서, 고역 부호화 회로(37)는, 생성부(121)로부터 공급된, 계수 인덱스, 구간 정보 및 개수 정보로 이루어지는 데이터를 부호화하여, 고역 부호화 데이터를 생성한다. 고역 부호화 회로(37)는, 생성한 고역 부호화 데이터를 다중화 회로(38)에 공급하고, 그 후, 처리는 스텝 S725로 진행한다.
스텝 S722 또는 스텝 S724에 있어서, 고역 부호화 데이터가 생성되면, 그 후, 스텝 S725의 처리가 행해져 부호화 처리는 종료되지만, 이 처리는 도 34의 스텝 S482의 처리와 마찬가지이므로, 그 설명은 생략한다.
이와 같이, 정보의 재이용이 행해지는 모드가 지정되어 있는 경우에, 재이용 플래그를 포함하는 고역 부호화 데이터를 생성함으로써, 출력 부호열의 부호량을 저감시킬 수 있어, 보다 효율적으로 음성의 부호화나 복호를 행할 수 있다.
[복호 처리의 설명]
다음으로, 도 48의 플로우차트를 참조하여, 도 35의 복호 장치(151)에 의해 행해지는 복호 처리에 대해 설명한다.
이 복호 처리는, 도 47을 참조하여 설명한 부호화 처리가 행해져, 부호화 장치(111)로부터 출력된 출력 부호열이, 입력 부호열로서 복호 장치(151)에 공급되면 개시되고, 미리 정해진 프레임수, 즉 처리 대상 구간마다 행해진다. 또한, 스텝 S751의 처리는, 도 36의 스텝 S511의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S752에 있어서, 고역 복호 회로(45)는, 비다중화 회로(41)로부터 공급된 고역 부호화 데이터의 복호를 행하고, 그 결과 얻어진 데이터와 복호 고역 서브밴드 파워 추정 계수를 복호 고역 서브밴드 파워 산출 회로(46)의 선택부(161)에 공급한다.
즉, 고역 복호 회로(45)는, 미리 기록되어 있는 복호 고역 서브밴드 파워 추정 계수 중, 고역 부호화 데이터의 복호에 의해 얻어진 계수 인덱스에 의해 나타나는 복호 고역 서브밴드 파워 추정 계수를 읽어낸다. 그리고, 고역 복호 회로(45)는, 복호 고역 서브밴드 파워 추정 계수와, 고역 부호화 데이터의 복호에 의해 얻어진 데이터를 선택부(161)에 공급한다.
이 경우, 정보의 재이용이 행해지는 모드가 지정되어 있을 때에는, 복호 고역 서브밴드 파워 추정 계수, 재이용 플래그, 구간 정보 및 개수 정보가 선택부(161)에 공급된다. 또한, 정보의 재이용이 금지되는 모드가 지정되어 있을 때에는, 복호 고역 서브밴드 파워 추정 계수, 구간 정보 및 개수 정보가 선택부(161)에 공급된다.
고역 부호화 데이터가 복호되면, 그 후, 스텝 S753 내지 스텝 S755의 처리가 행해지지만, 이들 처리는 도 36의 스텝 S513 내지 스텝 S515의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S756에 있어서, 선택부(161)는, 고역 복호 회로(45)로부터 공급된 데이터에 기초하여, 고역 복호 회로(45)로부터 공급된 복호 고역 서브밴드 파워 추정 계수로부터, 처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수를 선택한다.
즉, 고역 복호 회로(45)로부터 재이용 플래그, 구간 정보 및 개수 정보가 공급된 경우, 선택부(161)는, 이들 재이용 플래그, 구간 정보 및 개수 정보에 기초하여, 처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수를 선택한다. 예를 들면, 처리 대상 구간의 선두의 프레임이 처리 대상의 프레임이며, 재이용 플래그가 「1」인 경우에는, 처리 대상의 프레임의 직전 프레임의 복호 고역 서브밴드 파워 추정 계수가, 처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수로서 선택된다.
이 경우, 처리 대상 구간의 선두의 연속 프레임 구간에서는, 각 프레임에 있어서, 처리 대상 구간의 직전 프레임의 복호 고역 서브밴드 파워 추정 계수와 동일한 복호 고역 서브밴드 파워 추정 계수가 선택되게 된다. 그리고, 2번째 이후의 연속 프레임 구간에서는, 도 36의 스텝 S516과 동일한 처리에 의해, 즉 구간 정보와 개수 정보에 기초하여, 각 프레임의 복호 고역 서브밴드 파워 추정 계수가 선택되게 된다.
또한, 이 경우, 선택부(161)는, 복호 처리의 개시 전에 고역 복호 회로(45)로부터 공급된, 처리 대상 구간의 직전 프레임의 복호 고역 서브밴드 파워 추정 계수를 유지하고 있다.
또한, 재이용 플래그가 「0」인 경우나, 고역 복호 회로(45)로부터 복호 고역 서브밴드 파워 추정 계수, 구간 정보 및 개수 정보만이 공급된 경우에는, 도 36의 스텝 S516과 동일한 처리가 행해져, 처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수가 선택된다.
처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수가 선택되면, 그 후, 스텝 S757 내지 스텝 S760의 처리가 행해져 복호 처리는 종료되지만, 이들 처리는 도 36의 스텝 S517 내지 스텝 S520의 처리와 마찬가지이므로, 그 설명은 생략한다.
이들 스텝 S757 내지 스텝 S760의 처리에서는, 선택된 복호 고역 서브밴드 파워 추정 계수가 이용되어 처리 대상으로 되어 있는 프레임의 복호 고역 신호가 생성되고, 생성된 복호 고역 신호와 복호 저역 신호가 합성되어 출력된다.
이상과 같이, 필요에 따라 재이용 플래그가 포함되어 있는 고역 부호화 데이터를 이용하면, 보다 적은 데이터양의 입력 부호열로부터, 보다 효율적으로 출력 신호를 얻을 수 있다.
<11. 제11 실시 형태>
[부호화 처리의 설명]
다음으로, 필요에 따라 정보의 재이용이 행해지고, 고정 길이 방식에 의해 고역 부호화 데이터가 생성되는 경우에 대해 설명한다. 이 경우, 도 38의 부호화 장치(191)와 도 40의 복호 장치(231)에 의해, 부호화 처리와 복호 처리가 행해진다.
이하, 도 49의 플로우차트를 참조하여, 부호화 장치(191)에 의한 부호화 처리에 대해 설명한다. 이 부호화 처리는, 미리 정해진 프레임수, 즉 처리 대상 구간마다 행해진다.
또한, 스텝 S791 내지 스텝 S799의 처리는, 도 39의 스텝 S551 내지 스텝 S559의 처리와 마찬가지이므로, 그 설명은 생략한다. 스텝 S791 내지 스텝 S799의 처리에서는, 처리 대상 구간을 구성하는 각 프레임이 순서대로 처리 대상의 프레임으로 되고, 처리 대상의 프레임에 대해, 계수 인덱스가 선택된다.
스텝 S799에 있어서, 소정 프레임 길이만큼 처리를 행하였다고 판정된 경우, 처리는 스텝 S800으로 진행한다.
스텝 S800에 있어서, 생성부(201)는, 정보의 재이용을 행하는지 여부를 판정한다. 예를 들면, 유저에 의해 정보의 재이용이 행해지는 모드가 지정되어 있는 경우, 정보의 재이용을 행한다고 판정된다.
스텝 S800에 있어서, 정보의 재이용을 행한다고 판정된 경우, 처리는 스텝 S801로 진행한다.
스텝 S801에 있어서, 생성부(201)는, 처리 대상 구간 내의 각 프레임의 계수 인덱스의 선택 결과에 기초하여, 재이용 플래그, 계수 인덱스, 고정 길이 인덱스 및 전환 플래그로 이루어지는 데이터를 생성하고, 고역 부호화 회로(37)에 공급한다.
예를 들면, 도 37의 예에서는, 처리 대상 구간의 선두의 프레임의 계수 인덱스는 「1」인 데 반해, 그 프레임의 직전 프레임의 계수 인덱스는 「3」이므로, 계수 인덱스의 재이용은 할 수 없어, 재이용 플래그는 「0」으로 된다. 생성부(201)는, 재이용 플래그 「0」, 고정 길이 인덱스 「2」, 계수 인덱스 「1」, 「2」, 「3」 및 전환 플래그 「1」, 「0」, 「1」로 이루어지는 데이터를 생성한다.
또한, 재이용 플래그가 「1」로 되는 경우에는, 처리 대상 구간의 최초의 고정 길이 구간의 계수 인덱스가 포함되지 않는 데이터가 생성된다. 예를 들면, 도 37의 예에서, 처리 대상 구간의 재이용 플래그가 「1」로 되는 경우, 재이용 플래그, 고정 길이 인덱스 「2」, 계수 인덱스 「2」, 「3」 및 전환 플래그 「1」, 「0」, 「1」로 이루어지는 데이터가 생성된다.
스텝 S802에 있어서, 고역 부호화 회로(37)는, 생성부(201)로부터 공급된, 재이용 플래그, 계수 인덱스, 고정 길이 인덱스 및 전환 플래그로 이루어지는 데이터를 부호화하여, 고역 부호화 데이터를 생성한다. 고역 부호화 회로(37)는, 생성된 고역 부호화 데이터를 다중화 회로(38)에 공급하고, 그 후, 처리는 스텝 S805로 진행한다.
이에 반해, 스텝 S800에 있어서, 정보의 재이용을 행하지 않는다고 판정된 경우, 즉 유저에 의해 정보의 재이용이 금지되는 모드가 지정된 경우, 처리는 스텝 S803으로 진행한다.
스텝 S803에 있어서, 생성부(201)는, 처리 대상 구간 내의 각 프레임의 계수 인덱스의 선택 결과에 기초하여, 계수 인덱스, 고정 길이 인덱스 및 전환 플래그로 이루어지는 데이터를 생성하고, 고역 부호화 회로(37)에 공급한다. 스텝 S803에서는, 도 39의 스텝 S560과 동일한 처리가 행해진다.
스텝 S804에 있어서, 고역 부호화 회로(37)는, 생성부(201)로부터 공급된, 계수 인덱스, 고정 길이 인덱스 및 전환 플래그로 이루어지는 데이터를 부호화하여, 고역 부호화 데이터를 생성한다. 고역 부호화 회로(37)는, 생성된 고역 부호화 데이터를 다중화 회로(38)에 공급하고, 그 후, 처리는 스텝 S805로 진행한다.
스텝 S802 또는 스텝 S804에 있어서, 고역 부호화 데이터가 생성되면, 그 후, 스텝 S805의 처리가 행해져 부호화 처리는 종료되지만, 이 처리는 도 39의 스텝 S562의 처리와 마찬가지이므로, 그 설명은 생략한다.
이와 같이, 정보의 재이용이 행해지는 모드가 지정되어 있는 경우에, 재이용 플래그를 포함하는 고역 부호화 데이터를 생성함으로써, 출력 부호열의 부호량을 저감시킬 수 있어, 보다 효율적으로 음성의 부호화나 복호를 행할 수 있다.
[복호 처리의 설명]
다음으로, 도 50의 플로우차트를 참조하여, 도 40의 복호 장치(231)에 의해 행해지는 복호 처리에 대해 설명한다.
이 복호 처리는, 도 49를 참조하여 설명한 부호화 처리가 행해져, 부호화 장치(191)로부터 출력된 출력 부호열이, 입력 부호열로서 복호 장치(231)에 공급되면 개시되고, 미리 정해진 프레임수, 즉 처리 대상 구간마다 행해진다. 또한, 스텝 S831의 처리는, 도 41의 스텝 S591의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S832에 있어서, 고역 복호 회로(45)는, 비다중화 회로(41)로부터 공급된 고역 부호화 데이터의 복호를 행하고, 그 결과 얻어진 데이터와 복호 고역 서브밴드 파워 추정 계수를 복호 고역 서브밴드 파워 산출 회로(46)의 선택부(241)에 공급한다.
즉, 고역 복호 회로(45)는, 미리 기록되어 있는 복호 고역 서브밴드 파워 추정 계수 중, 고역 부호화 데이터의 복호에 의해 얻어진 계수 인덱스에 의해 나타나는 복호 고역 서브밴드 파워 추정 계수를 읽어낸다. 그리고, 고역 복호 회로(45)는, 복호 고역 서브밴드 파워 추정 계수와, 고역 부호화 데이터의 복호에 의해 얻어진 데이터를 선택부(241)에 공급한다.
이 경우, 정보의 재이용이 행해지는 모드가 지정되어 있을 때에는, 복호 고역 서브밴드 파워 추정 계수, 재이용 플래그, 고정 길이 인덱스 및 전환 플래그가 선택부(241)에 공급된다. 또한, 정보의 재이용이 금지되는 모드가 지정되어 있을 때에는, 복호 고역 서브밴드 파워 추정 계수, 고정 길이 인덱스 및 전환 플래그가 선택부(241)에 공급된다.
고역 부호화 데이터가 복호되면, 그 후, 스텝 S833 내지 스텝 S835의 처리가 행해지지만, 이들 처리는 도 41의 스텝 S593 내지 스텝 S595의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S836에 있어서, 선택부(241)는, 고역 복호 회로(45)로부터 공급된 데이터에 기초하여, 고역 복호 회로(45)로부터 공급된 복호 고역 서브밴드 파워 추정 계수로부터, 처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수를 선택한다.
즉, 고역 복호 회로(45)로부터 재이용 플래그, 고정 길이 인덱스 및 전환 플래그가 공급된 경우, 선택부(241)는, 이들 재이용 플래그, 고정 길이 인덱스 및 전환 플래그에 기초하여, 처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수를 선택한다. 예를 들면, 처리 대상 구간의 선두의 프레임이 처리 대상의 프레임이며, 재이용 플래그가 「1」인 경우에는, 처리 대상의 프레임의 직전 프레임의 복호 고역 서브밴드 파워 추정 계수가, 처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수로서 선택된다.
이 경우, 처리 대상 구간의 선두의 고정 길이 구간에서는, 각 프레임에 있어서, 처리 대상 구간의 직전 프레임의 복호 고역 서브밴드 파워 추정 계수와 동일한 복호 고역 서브밴드 파워 추정 계수가 선택되게 된다. 그리고, 2번째 이후의 고정 길이 구간에서는, 도 41의 스텝 S596과 동일한 처리에 의해, 즉 고정 길이 인덱스 및 전환 플래그에 기초하여, 각 프레임의 복호 고역 서브밴드 파워 추정 계수가 선택되게 된다.
또한, 이 경우, 선택부(241)는, 복호 처리의 개시 전에 고역 복호 회로(45)로부터 공급된, 처리 대상 구간의 직전 프레임의 복호 고역 서브밴드 파워 추정 계수를 유지하고 있다.
또한, 재이용 플래그가 「0」인 경우나, 고역 복호 회로(45)로부터 복호 고역 서브밴드 파워 추정 계수, 고정 길이 인덱스 및 전환 플래그만이 공급된 경우에는, 도 41의 스텝 S596과 동일한 처리가 행해져, 처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수가 선택된다.
처리 대상의 프레임의 복호 고역 서브밴드 파워 추정 계수가 선택되면, 그 후, 스텝 S837 내지 스텝 S840의 처리가 행해져 복호 처리는 종료되지만, 이들 처리는 도 41의 스텝 S597 내지 스텝 S600의 처리와 마찬가지이므로, 그 설명은 생략한다.
이들 스텝 S837 내지 스텝 S840의 처리에서는, 선택된 복호 고역 서브밴드 파워 추정 계수가 이용되어 처리 대상으로 되어 있는 프레임의 복호 고역 신호가 생성되고, 생성된 복호 고역 신호와 복호 저역 신호가 합성되어 출력된다.
이상과 같이, 필요에 따라 재이용 플래그가 포함되어 있는 고역 부호화 데이터를 이용하면, 보다 적은 데이터양의 입력 부호열로부터, 보다 효율적으로 출력 신호를 얻을 수 있다.
또한, 이상에서는, 재이용 플래그가 이용되는 예로서, 가변 길이 방식 또는 고정 길이 방식 중 어느 하나의 방식으로 고역 부호화 데이터가 생성되는 경우에 대해 설명하였지만, 이들 방식 중, 부호량이 적은 방식이 선택되는 경우에도, 재이용 플래그가 이용되어도 된다.
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.
도 51은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
컴퓨터에 있어서, CPU(501), ROM(Read Only Memory)(502), RAM(Random Access Memory)(503)은, 버스(504)에 의해 서로 접속되어 있다.
버스(504)에는, 또한 입출력 인터페이스(505)가 접속되어 있다. 입출력 인터페이스(505)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(506), 디스플레이, 스피커 등으로 이루어지는 출력부(507), 하드디스크나 불휘발성의 메모리 등으로 이루어지는 기억부(508), 네트워크 인터페이스 등으로 이루어지는 통신부(509), 자기 디스크, 광 디스크, 광 자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(511)를 구동하는 드라이브(510)가 접속되어 있다.
이상과 같이 구성되는 컴퓨터에서는, CPU(501)가, 예를 들면 기억부(508)에 기억되어 있는 프로그램을, 입출력 인터페이스(505) 및 버스(504)를 통해, RAM(503)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터[CPU(501)]가 실행하는 프로그램은, 예를 들면 자기 디스크(플렉시블 디스크를 포함함), 광 디스크[CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc) 등], 광 자기 디스크, 혹은 반도체 메모리 등으로 이루어지는 패키지 미디어인 리무버블 미디어(511)에 기록되고, 혹은 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송 등의, 유선 또는 무선의 전송 매체를 통해 제공된다.
그리고, 프로그램은, 리무버블 미디어(511)를 드라이브(510)에 장착함으로써, 입출력 인터페이스(505)를 통해, 기억부(508)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해, 통신부(509)에서 수신하고, 기억부(508)에 인스톨할 수 있다. 그 외, 프로그램은, ROM(502)이나 기억부(508)에, 미리 인스톨해 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행하여졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 발명의 실시 형태는, 상술한 실시 형태로 한정하는 것은 아니고, 본 발명의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
10 : 주파수 대역 확대 장치
11 : 저역 통과 필터
12 : 지연 회로
13, 13-1 내지 13-N : 대역 통과 필터
14 : 특징량 산출 회로
15 : 고역 서브밴드 파워 추정 회로
16 : 고역 신호 생성 회로
17 : 고역 통과 필터
18 : 신호 가산기
20 : 계수 학습 장치
21, 21-1 내지 21-(K＋N) : 대역 통과 필터
22 : 고역 서브밴드 파워 산출 회로
23 : 특징량 산출 회로
24 : 계수 추정 회로
30 : 부호화 장치
31 : 저역 통과 필터
32 : 저역 부호화 회로
33 : 서브밴드 분할 회로
34 : 특징량 산출 회로
35 : 의사 고역 서브밴드 파워 산출 회로
36 : 의사 고역 서브밴드 파워 차분 산출 회로
37 : 고역 부호화 회로
38 : 다중화 회로
40 : 복호 장치
41 : 비다중화 회로
42 : 저역 복호 회로
43 : 서브밴드 분할 회로
44 : 특징량 산출 회로
45 : 고역 복호 회로
46 : 복호 고역 서브밴드 파워 산출 회로
47 : 복호 고역 신호 생성 회로
48 : 합성 회로
50 : 계수 학습 장치
51 : 저역 통과 필터
52 : 서브밴드 분할 회로
53 : 특징량 산출 회로
54 : 의사 고역 서브밴드 파워 산출 회로
55 : 의사 고역 서브밴드 파워 차분 산출 회로
56 : 의사 고역 서브밴드 파워 차분 클러스터링 회로
57 : 계수 추정 회로
101 : CPU
102 : ROM
103 : RAM
104 : 버스
105 : 입출력 인터페이스
106 : 입력부
107 : 출력부
108 : 기억부
109 : 통신부
110 : 드라이브
111 : 리무버블 미디어

Claims (2)

  1. 복호 장치로서,
    입력된 부호화 데이터를 고역 부호화 데이터와 저역 부호화 데이터로 비다중화하는 비다중화 회로 - 상기 고역 부호화 데이터는 동일한 계수에 연관된 복수의 프레임들을 포함하는 각 구간들에 대한 구간 정보를 포함하고, 상기 구간 정보는 구간들의 개수, 각 구간의 길이, 및 상기 복수의 프레임들에 대한 계수 정보를 포함함 - ;
    상기 저역 부호화 데이터를 복호하여 저역 신호를 생성하도록 구성된 저역 복호 회로;
    상기 계수 정보에 기초하여, 미리 기록된 복수의 계수들로부터 처리될 프레임의 계수를 선택하도록 구성된 선택 회로;
    상기 저역 신호를 구성하는 복수의 서브밴드들의 저역 서브밴드 신호와 상기 선택된 계수에 기초하여 고역 서브밴드 신호의 고역 서브밴드 파워를 산출하도록 구성된 고역 서브밴드 파워 산출 회로;
    상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여 고역 신호를 생성하도록 구성된 고역 신호 생성 회로; 및
    상기 저역 신호 및 상기 고역 신호를 합성하여 출력 신호를 생성하도록 구성된 합성 회로
    를 포함하는 복호 장치.
  2. 복호 방법으로서,
    입력된 부호화 데이터를 고역 부호화 데이터와 저역 부호화 데이터로 비다중화하는 비다중화 단계 - 상기 고역 부호화 데이터는 동일한 계수에 연관된 복수의 프레임들을 포함하는 각 구간들에 대한 구간 정보를 포함하고, 상기 구간 정보는 구간들의 개수, 각 구간의 길이, 및 상기 복수의 프레임들에 대한 계수 정보를 포함함 - ;
    상기 저역 부호화 데이터를 복호하여 저역 신호를 생성하는 저역 복호 단계;
    상기 계수 정보에 기초하여, 미리 기록된 복수의 계수들로부터 처리될 프레임의 계수를 선택하는 선택 단계;
    상기 저역 신호를 구성하는 복수의 서브밴드들의 저역 서브밴드 신호와 상기 선택된 계수에 기초하여 고역 서브밴드 신호의 고역 서브밴드 파워를 산출하는 고역 서브밴드 파워 산출 단계;
    상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여 고역 신호를 생성하는 고역 신호 생성 단계; 및
    상기 저역 신호 및 상기 고역 신호를 합성하여 출력 신호를 생성하는 합성 단계
    를 포함하는 복호 방법.
KR1020187004221A 2010-04-13 2011-04-11 복호 장치 및 복호 방법 KR102015233B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2010092689 2010-04-13
JPJP-P-2010-092689 2010-04-13
JPJP-P-2011-017230 2011-01-28
JP2011017230 2011-01-28
JP2011072380A JP5850216B2 (ja) 2010-04-13 2011-03-29 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JPJP-P-2011-072380 2011-03-29
PCT/JP2011/059028 WO2011129303A1 (ja) 2010-04-13 2011-04-11 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127026087A Division KR101830996B1 (ko) 2010-04-13 2011-04-11 신호 처리 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법 및 컴퓨터 판독가능 기록매체

Publications (2)

Publication Number Publication Date
KR20180018852A KR20180018852A (ko) 2018-02-21
KR102015233B1 true KR102015233B1 (ko) 2019-08-27

Family

ID=44798676

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020127026087A KR101830996B1 (ko) 2010-04-13 2011-04-11 신호 처리 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법 및 컴퓨터 판독가능 기록매체
KR1020187004221A KR102015233B1 (ko) 2010-04-13 2011-04-11 복호 장치 및 복호 방법
KR1020177030518A KR101916619B1 (ko) 2010-04-13 2011-04-11 복호 장치 및 방법 및 컴퓨터 판독가능 기록매체

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020127026087A KR101830996B1 (ko) 2010-04-13 2011-04-11 신호 처리 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법 및 컴퓨터 판독가능 기록매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020177030518A KR101916619B1 (ko) 2010-04-13 2011-04-11 복호 장치 및 방법 및 컴퓨터 판독가능 기록매체

Country Status (14)

Country Link
US (6) US9406312B2 (ko)
EP (4) EP2560165B1 (ko)
JP (1) JP5850216B2 (ko)
KR (3) KR101830996B1 (ko)
CN (2) CN102834864B (ko)
AU (1) AU2011242000B2 (ko)
BR (1) BR112012025570B1 (ko)
CA (1) CA2794890C (ko)
ES (4) ES2585807T3 (ko)
HK (2) HK1175288A1 (ko)
RU (1) RU2550550C2 (ko)
TR (1) TR201808257T4 (ko)
TW (1) TWI484484B (ko)
WO (1) WO2011129303A1 (ko)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
JP5652658B2 (ja) 2010-04-13 2015-01-14 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP6075743B2 (ja) 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP5743137B2 (ja) 2011-01-14 2015-07-01 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5704397B2 (ja) 2011-03-31 2015-04-22 ソニー株式会社 符号化装置および方法、並びにプログラム
JP5942358B2 (ja) 2011-08-24 2016-06-29 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP6037156B2 (ja) 2011-08-24 2016-11-30 ソニー株式会社 符号化装置および方法、並びにプログラム
JP5975243B2 (ja) 2011-08-24 2016-08-23 ソニー株式会社 符号化装置および方法、並びにプログラム
KR20150032649A (ko) 2012-07-02 2015-03-27 소니 주식회사 복호 장치 및 방법, 부호화 장치 및 방법, 및 프로그램
US9763019B2 (en) 2013-05-29 2017-09-12 Qualcomm Incorporated Analysis of decomposed representations of a sound field
US9466305B2 (en) 2013-05-29 2016-10-11 Qualcomm Incorporated Performing positional analysis to code spherical harmonic coefficients
JP6305694B2 (ja) * 2013-05-31 2018-04-04 クラリオン株式会社 信号処理装置及び信号処理方法
KR102163266B1 (ko) 2013-09-17 2020-10-08 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
JP6531649B2 (ja) 2013-09-19 2019-06-19 ソニー株式会社 符号化装置および方法、復号化装置および方法、並びにプログラム
EP3062534B1 (en) 2013-10-22 2021-03-03 Electronics and Telecommunications Research Institute Method for generating filter for audio signal and parameterizing device therefor
CN108922552B (zh) 2013-12-23 2023-08-29 韦勒斯标准与技术协会公司 生成用于音频信号的滤波器的方法及其参数化装置
CA3162763A1 (en) 2013-12-27 2015-07-02 Sony Corporation Decoding apparatus and method, and program
US9922656B2 (en) 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
US9502045B2 (en) 2014-01-30 2016-11-22 Qualcomm Incorporated Coding independent frames of ambient higher-order ambisonic coefficients
CN108600935B (zh) 2014-03-19 2020-11-03 韦勒斯标准与技术协会公司 音频信号处理方法和设备
EP3128766A4 (en) 2014-04-02 2018-01-03 Wilus Institute of Standards and Technology Inc. Audio signal processing method and device
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
US9620137B2 (en) 2014-05-16 2017-04-11 Qualcomm Incorporated Determining between scalar and vector quantization in higher order ambisonic coefficients
US9852737B2 (en) 2014-05-16 2017-12-26 Qualcomm Incorporated Coding vectors decomposed from higher-order ambisonics audio signals
JP2016038435A (ja) * 2014-08-06 2016-03-22 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US9747910B2 (en) 2014-09-26 2017-08-29 Qualcomm Incorporated Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework
US10225657B2 (en) 2016-01-18 2019-03-05 Boomcloud 360, Inc. Subband spatial and crosstalk cancellation for audio reproduction
CN108781331B (zh) * 2016-01-19 2020-11-06 云加速360公司 用于头戴式扬声器的音频增强
CN106057220B (zh) * 2016-05-19 2020-01-03 Tcl集团股份有限公司 一种音频信号的高频扩展方法和音频播放器
US10313820B2 (en) 2017-07-11 2019-06-04 Boomcloud 360, Inc. Sub-band spatial audio enhancement
US10764704B2 (en) 2018-03-22 2020-09-01 Boomcloud 360, Inc. Multi-channel subband spatial processing for loudspeakers
JP7533440B2 (ja) * 2019-03-05 2024-08-14 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
US10841728B1 (en) 2019-10-10 2020-11-17 Boomcloud 360, Inc. Multi-channel crosstalk processing
DE102021207032A1 (de) * 2021-07-05 2023-01-05 Robert Bosch Gesellschaft mit beschränkter Haftung SA-Radarsensor für Kraftfahrzeuge

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216190A (ja) * 2001-11-14 2003-07-30 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
JP2004101720A (ja) * 2002-09-06 2004-04-02 Matsushita Electric Ind Co Ltd 音響符号化装置及び音響符号化方法
JP2010079275A (ja) * 2008-08-29 2010-04-08 Sony Corp 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム

Family Cites Families (198)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4628529A (en) 1985-07-01 1986-12-09 Motorola, Inc. Noise suppression system
US4817151A (en) 1987-11-09 1989-03-28 Broadcast Technology Partners Selective decoder for compatible FM stereophonic system utilizing companding of difference signal
JPH03254223A (ja) 1990-03-02 1991-11-13 Eastman Kodak Japan Kk アナログデータ伝送方式
US6022222A (en) 1994-01-03 2000-02-08 Mary Beth Guinan Icon language teaching system
JP2655485B2 (ja) 1994-06-24 1997-09-17 日本電気株式会社 音声セル符号化装置
JP3498375B2 (ja) 1994-07-20 2004-02-16 ソニー株式会社 ディジタル・オーディオ信号記録装置
JP3189598B2 (ja) 1994-10-28 2001-07-16 松下電器産業株式会社 信号合成方法および信号合成装置
US5664055A (en) 1995-06-07 1997-09-02 Lucent Technologies Inc. CS-ACELP speech compression system with adaptive pitch prediction filter gain based on a measure of periodicity
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
JPH1020888A (ja) 1996-07-02 1998-01-23 Matsushita Electric Ind Co Ltd 音声符号化・復号化装置
US6073100A (en) 1997-03-31 2000-06-06 Goodridge, Jr.; Alan G Method and apparatus for synthesizing signals using transform-domain match-output extension
SE512719C2 (sv) 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
KR20000068538A (ko) 1997-07-11 2000-11-25 이데이 노부유끼 정보 복호 방법 및 장치, 정보 부호화 방법 및 장치, 및 제공매체
JPH11168622A (ja) 1997-12-05 1999-06-22 Canon Inc 画像処理装置、画像処理方法および記憶媒体
SE9903553D0 (sv) 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
WO2000070769A1 (fr) 1999-05-14 2000-11-23 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'elargissement de la bande d'un signal audio
JP4218134B2 (ja) 1999-06-17 2009-02-04 ソニー株式会社 復号装置及び方法、並びにプログラム提供媒体
US6978236B1 (en) * 1999-10-01 2005-12-20 Coding Technologies Ab Efficient spectral envelope coding using variable time/frequency resolution and time/frequency switching
JP3454206B2 (ja) 1999-11-10 2003-10-06 三菱電機株式会社 雑音抑圧装置及び雑音抑圧方法
CA2290037A1 (en) 1999-11-18 2001-05-18 Voiceage Corporation Gain-smoothing amplifier device and method in codecs for wideband speech and audio signals
US6782366B1 (en) 2000-05-15 2004-08-24 Lsi Logic Corporation Method for independent dynamic range control
TW499670B (en) * 2000-06-01 2002-08-21 Tenx Technology Inc Speech signal synthesizing method and device
SE0004163D0 (sv) 2000-11-14 2000-11-14 Coding Technologies Sweden Ab Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering
JP2002268698A (ja) 2001-03-08 2002-09-20 Nec Corp 音声認識装置と標準パターン作成装置及び方法並びにプログラム
SE0101175D0 (sv) 2001-04-02 2001-04-02 Coding Technologies Sweden Ab Aliasing reduction using complex-exponential-modulated filterbanks
JP4231987B2 (ja) 2001-06-15 2009-03-04 日本電気株式会社 音声符号化復号方式間の符号変換方法、その装置、そのプログラム及び記憶媒体
CN1235192C (zh) 2001-06-28 2006-01-04 皇家菲利浦电子有限公司 传输系统以及用于接收窄带音频信号的接收机和方法
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US7260541B2 (en) 2001-07-13 2007-08-21 Matsushita Electric Industrial Co., Ltd. Audio signal decoding device and audio signal encoding device
US6988066B2 (en) 2001-10-04 2006-01-17 At&T Corp. Method of bandwidth extension for narrow-band speech
US6895375B2 (en) 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
EP1444688B1 (en) 2001-11-14 2006-08-16 Matsushita Electric Industrial Co., Ltd. Encoding device and decoding device
DE60202881T2 (de) 2001-11-29 2006-01-19 Coding Technologies Ab Wiederherstellung von hochfrequenzkomponenten
WO2003065353A1 (en) 2002-01-30 2003-08-07 Matsushita Electric Industrial Co., Ltd. Audio encoding and decoding device and methods thereof
JP3815347B2 (ja) 2002-02-27 2006-08-30 ヤマハ株式会社 歌唱合成方法と装置及び記録媒体
JP2003255973A (ja) 2002-02-28 2003-09-10 Nec Corp 音声帯域拡張システムおよび方法
US20030187663A1 (en) 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
JP2003316394A (ja) 2002-04-23 2003-11-07 Nec Corp 音声復号システム、及び、音声復号方法、並びに、音声復号プログラム
US7447631B2 (en) 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
JP3579047B2 (ja) 2002-07-19 2004-10-20 日本電気株式会社 オーディオ復号装置と復号方法およびプログラム
JP4728568B2 (ja) * 2002-09-04 2011-07-20 マイクロソフト コーポレーション レベル・モードとラン・レングス／レベル・モードの間での符号化を適応させるエントロピー符号化
SE0202770D0 (sv) 2002-09-18 2002-09-18 Coding Technologies Sweden Ab Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks
EP1543307B1 (en) 2002-09-19 2006-02-22 Matsushita Electric Industrial Co., Ltd. Audio decoding apparatus and method
US7330812B2 (en) 2002-10-04 2008-02-12 National Research Council Of Canada Method and apparatus for transmitting an audio stream having additional payload in a hidden sub-channel
EP1586045A1 (en) 2002-12-27 2005-10-19 Nielsen Media Research, Inc. Methods and apparatus for transcoding metadata
AU2003219430A1 (en) 2003-03-04 2004-09-28 Nokia Corporation Support of a multichannel audio extension
CN1458646A (zh) 2003-04-21 2003-11-26 北京阜国数字技术有限公司 一种滤波参数矢量量化和结合量化模型预测的音频编码方法
US7318035B2 (en) 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
US20050004793A1 (en) 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding
KR20050027179A (ko) 2003-09-13 2005-03-18 삼성전자주식회사 오디오 데이터 복원 방법 및 그 장치
US7844451B2 (en) 2003-09-16 2010-11-30 Panasonic Corporation Spectrum coding/decoding apparatus and method for reducing distortion of two band spectrums
BRPI0415464B1 (pt) 2003-10-23 2019-04-24 Panasonic Intellectual Property Management Co., Ltd. Aparelho e método de codificação de espectro.
KR100587953B1 (ko) 2003-12-26 2006-06-08 한국전자통신연구원 대역-분할 광대역 음성 코덱에서의 고대역 오류 은닉 장치 및 그를 이용한 비트스트림 복호화 시스템
JP3912389B2 (ja) * 2004-03-24 2007-05-09 ソニー株式会社 ディジタル信号処理装置及びディジタル信号処理方法
US8417515B2 (en) 2004-05-14 2013-04-09 Panasonic Corporation Encoding device, decoding device, and method thereof
WO2005112001A1 (ja) 2004-05-19 2005-11-24 Matsushita Electric Industrial Co., Ltd. 符号化装置、復号化装置、およびこれらの方法
DE602004028171D1 (de) 2004-05-28 2010-08-26 Nokia Corp Mehrkanalige audio-erweiterung
KR100608062B1 (ko) * 2004-08-04 2006-08-02 삼성전자주식회사 오디오 데이터의 고주파수 복원 방법 및 그 장치
TWI294119B (en) 2004-08-18 2008-03-01 Sunplus Technology Co Ltd Dvd player with sound learning function
US7716046B2 (en) 2004-10-26 2010-05-11 Qnx Software Systems (Wavemakers), Inc. Advanced periodic signal enhancement
US20060106620A1 (en) 2004-10-28 2006-05-18 Thompson Jeffrey K Audio spatial environment down-mixer
SE0402651D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods for interpolation and parameter signalling
KR101187597B1 (ko) * 2004-11-02 2012-10-12 돌비 인터네셔널 에이비 복소수 값 필터 뱅크들을 사용하는 오디오 신호들의 인코딩및 디코딩
WO2006049204A1 (ja) 2004-11-05 2006-05-11 Matsushita Electric Industrial Co., Ltd. 符号化装置、復号化装置、符号化方法及び復号化方法
US7983904B2 (en) 2004-11-05 2011-07-19 Panasonic Corporation Scalable decoding apparatus and scalable encoding apparatus
KR100657916B1 (ko) 2004-12-01 2006-12-14 삼성전자주식회사 주파수 대역간의 유사도를 이용한 오디오 신호 처리 장치및 방법
EP1840874B1 (en) 2005-01-11 2019-04-10 NEC Corporation Audio encoding device, audio encoding method, and audio encoding program
KR100708121B1 (ko) 2005-01-22 2007-04-16 삼성전자주식회사 음성 신호의 대역 확장 방법 및 장치
EP1864283B1 (en) 2005-04-01 2013-02-13 Qualcomm Incorporated Systems, methods, and apparatus for highband time warping
JP4804532B2 (ja) 2005-04-15 2011-11-02 ドルビー インターナショナル アクチボラゲット 無相関信号の包絡線整形
US20070005351A1 (en) 2005-06-30 2007-01-04 Sathyendra Harsha M Method and system for bandwidth expansion for voice communications
JP4899359B2 (ja) 2005-07-11 2012-03-21 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
KR100813259B1 (ko) 2005-07-13 2008-03-13 삼성전자주식회사 입력신호의 계층적 부호화/복호화 장치 및 방법
KR101228630B1 (ko) 2005-09-02 2013-01-31 파나소닉 주식회사 에너지 정형 장치 및 에너지 정형 방법
EP1926083A4 (en) 2005-09-30 2011-01-26 Panasonic Corp AUDIOCODING DEVICE AND AUDIOCODING METHOD
KR20080047443A (ko) 2005-10-14 2008-05-28 마츠시타 덴끼 산교 가부시키가이샤 변환 부호화 장치 및 변환 부호화 방법
EP1943643B1 (en) 2005-11-04 2019-10-09 Nokia Technologies Oy Audio compression
JP5030789B2 (ja) * 2005-11-30 2012-09-19 パナソニック株式会社 サブバンド符号化装置およびサブバンド符号化方法
JP4876574B2 (ja) 2005-12-26 2012-02-15 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
JP4863713B2 (ja) 2005-12-29 2012-01-25 富士通株式会社 雑音抑制装置、雑音抑制方法、及びコンピュータプログラム
WO2007080559A2 (en) 2006-01-16 2007-07-19 Zlango Ltd. Iconic communication
US7953604B2 (en) 2006-01-20 2011-05-31 Microsoft Corporation Shape and scale parameters for extended-band frequency coding
US7590523B2 (en) 2006-03-20 2009-09-15 Mindspeed Technologies, Inc. Speech post-processing using MDCT coefficients
WO2007114291A1 (ja) 2006-03-31 2007-10-11 Matsushita Electric Industrial Co., Ltd. 音声符号化装置、音声復号化装置、およびこれらの方法
EP2323131A1 (en) 2006-04-27 2011-05-18 Panasonic Corporation Audio encoding device, audio decoding device, and their method
ATE463029T1 (de) 2006-05-10 2010-04-15 Panasonic Corp Codierungseinrichtung und codierungsverfahren
JP2007316254A (ja) 2006-05-24 2007-12-06 Sony Corp オーディオ信号補間方法及びオーディオ信号補間装置
KR20070115637A (ko) 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
JP2007333785A (ja) 2006-06-12 2007-12-27 Matsushita Electric Ind Co Ltd オーディオ信号符号化装置およびオーディオ信号符号化方法
KR101244310B1 (ko) * 2006-06-21 2013-03-18 삼성전자주식회사 광대역 부호화 및 복호화 방법 및 장치
WO2007148925A1 (en) 2006-06-21 2007-12-27 Samsung Electronics Co., Ltd. Method and apparatus for adaptively encoding and decoding high frequency band
US8260609B2 (en) 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
WO2008032828A1 (fr) 2006-09-15 2008-03-20 Panasonic Corporation Dispositif de codage audio et procédé de codage audio
JP4918841B2 (ja) 2006-10-23 2012-04-18 富士通株式会社 符号化システム
JP5141180B2 (ja) * 2006-11-09 2013-02-13 ソニー株式会社 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体
US8295507B2 (en) 2006-11-09 2012-10-23 Sony Corporation Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium
KR101565919B1 (ko) 2006-11-17 2015-11-05 삼성전자주식회사 고주파수 신호 부호화 및 복호화 방법 및 장치
JP4930320B2 (ja) 2006-11-30 2012-05-16 ソニー株式会社 再生方法及び装置、プログラム並びに記録媒体
CN101548318B (zh) 2006-12-15 2012-07-18 松下电器产业株式会社 编码装置、解码装置以及其方法
JP4984983B2 (ja) 2007-03-09 2012-07-25 富士通株式会社 符号化装置および符号化方法
JP2008261978A (ja) 2007-04-11 2008-10-30 Toshiba Microelectronics Corp 再生音量自動調整方法
US8015368B2 (en) 2007-04-20 2011-09-06 Siport, Inc. Processor extensions for accelerating spectral band replication
KR101355376B1 (ko) 2007-04-30 2014-01-23 삼성전자주식회사 고주파수 영역 부호화 및 복호화 방법 및 장치
EP2159790B1 (en) 2007-06-27 2019-11-13 NEC Corporation Audio encoding method, audio decoding method, audio encoding device, audio decoding device, program, and audio encoding/decoding system
JP5071479B2 (ja) 2007-07-04 2012-11-14 富士通株式会社 符号化装置、符号化方法および符号化プログラム
JP5045295B2 (ja) 2007-07-30 2012-10-10 ソニー株式会社 信号処理装置及び方法、並びにプログラム
US8041577B2 (en) 2007-08-13 2011-10-18 Mitsubishi Electric Research Laboratories, Inc. Method for expanding audio signal bandwidth
PT2186090T (pt) 2007-08-27 2017-03-07 ERICSSON TELEFON AB L M (publ) Detetor de transitórios e método para suportar codificação de um sinal de áudio
EP2186089B1 (en) 2007-08-27 2018-10-03 Telefonaktiebolaget LM Ericsson (publ) Method and device for perceptual spectral decoding of an audio signal including filling of spectral holes
EP2186086B1 (en) 2007-08-27 2013-01-23 Telefonaktiebolaget L M Ericsson (PUBL) Adaptive transition frequency between noise fill and bandwidth extension
EP2209116B8 (en) 2007-10-23 2014-08-06 Clarion Co., Ltd. Device and method for high-frequency range interpolation of an audio signal
JP4733727B2 (ja) 2007-10-30 2011-07-27 日本電信電話株式会社 音声楽音擬似広帯域化装置と音声楽音擬似広帯域化方法、及びそのプログラムとその記録媒体
KR101373004B1 (ko) 2007-10-30 2014-03-26 삼성전자주식회사 고주파수 신호 부호화 및 복호화 장치 및 방법
US8352249B2 (en) 2007-11-01 2013-01-08 Panasonic Corporation Encoding device, decoding device, and method thereof
US20090132238A1 (en) 2007-11-02 2009-05-21 Sudhakar B Efficient method for reusing scale factors to improve the efficiency of an audio encoder
KR101290622B1 (ko) 2007-11-02 2013-07-29 후아웨이 테크놀러지 컴퍼니 리미티드 오디오 복호화 방법 및 장치
KR101161866B1 (ko) 2007-11-06 2012-07-04 노키아 코포레이션 오디오 코딩 장치 및 그 방법
JP2009116275A (ja) 2007-11-09 2009-05-28 Toshiba Corp 雑音抑圧、音声スペクトル平滑化、音声特徴抽出、音声認識及び音声モデルトレーニングための方法及び装置
AU2008326956B2 (en) 2007-11-21 2011-02-17 Lg Electronics Inc. A method and an apparatus for processing a signal
US8688441B2 (en) 2007-11-29 2014-04-01 Motorola Mobility Llc Method and apparatus to facilitate provision and use of an energy value to determine a spectral envelope shape for out-of-signal bandwidth content
CN101903945B (zh) 2007-12-21 2014-01-01 松下电器产业株式会社 编码装置、解码装置以及编码方法
WO2009084221A1 (ja) 2007-12-27 2009-07-09 Panasonic Corporation 符号化装置、復号装置およびこれらの方法
ATE518224T1 (de) 2008-01-04 2011-08-15 Dolby Int Ab Audiokodierer und -dekodierer
JP5448850B2 (ja) 2008-01-25 2014-03-19 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
KR101413968B1 (ko) 2008-01-29 2014-07-01 삼성전자주식회사 오디오 신호의 부호화, 복호화 방법 및 장치
US8433582B2 (en) 2008-02-01 2013-04-30 Motorola Mobility Llc Method and apparatus for estimating high-band energy in a bandwidth extension system
US20090201983A1 (en) 2008-02-07 2009-08-13 Motorola, Inc. Method and apparatus for estimating high-band energy in a bandwidth extension system
EP2259253B1 (en) 2008-03-03 2017-11-15 LG Electronics Inc. Method and apparatus for processing audio signal
KR101449434B1 (ko) 2008-03-04 2014-10-13 삼성전자주식회사 복수의 가변장 부호 테이블을 이용한 멀티 채널 오디오를부호화/복호화하는 방법 및 장치
EP3296992B1 (en) 2008-03-20 2021-09-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for modifying a parameterized representation
KR20090122142A (ko) 2008-05-23 2009-11-26 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
JP5588976B2 (ja) 2008-06-20 2014-09-10 ラムバス・インコーポレーテッド 周波数応答バス符号化
BR122021003142B1 (pt) 2008-07-11 2021-11-03 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E. V. Codificador de áudio, decodificador de áudio, métodos para codificar e decodificar um sinal de áudio, e fluxo de áudio
KR101223835B1 (ko) 2008-07-11 2013-01-17 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 신호 합성기 및 오디오 신호 인코더
JP5203077B2 (ja) 2008-07-14 2013-06-05 株式会社エヌ・ティ・ティ・ドコモ 音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法
EP2320416B1 (en) 2008-08-08 2014-03-05 Panasonic Corporation Spectral smoothing device, encoding device, decoding device, communication terminal device, base station device, and spectral smoothing method
WO2010028292A1 (en) 2008-09-06 2010-03-11 Huawei Technologies Co., Ltd. Adaptive frequency prediction
US8352279B2 (en) 2008-09-06 2013-01-08 Huawei Technologies Co., Ltd. Efficient temporal envelope coding approach by prediction between low band signal and high band signal
WO2010028299A1 (en) 2008-09-06 2010-03-11 Huawei Technologies Co., Ltd. Noise-feedback for spectral envelope quantization
US8798776B2 (en) 2008-09-30 2014-08-05 Dolby International Ab Transcoding of audio metadata
GB2466201B (en) 2008-12-10 2012-07-11 Skype Ltd Regeneration of wideband speech
GB0822537D0 (en) 2008-12-10 2009-01-14 Skype Ltd Regeneration of wideband speech
CN101770776B (zh) 2008-12-29 2011-06-08 华为技术有限公司 瞬态信号的编码方法和装置、解码方法和装置及处理系统
ES2904373T3 (es) 2009-01-16 2022-04-04 Dolby Int Ab Transposición armónica mejorada de producto cruzado
US8457975B2 (en) * 2009-01-28 2013-06-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio decoder, audio encoder, methods for decoding and encoding an audio signal and computer program
JP4945586B2 (ja) 2009-02-02 2012-06-06 株式会社東芝 信号帯域拡張装置
US8463599B2 (en) 2009-02-04 2013-06-11 Motorola Mobility Llc Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder
US8983831B2 (en) * 2009-02-26 2015-03-17 Panasonic Intellectual Property Corporation Of America Encoder, decoder, and method therefor
JP5564803B2 (ja) 2009-03-06 2014-08-06 ソニー株式会社 音響機器及び音響処理方法
CN101853663B (zh) 2009-03-30 2012-05-23 华为技术有限公司 比特分配方法、编码装置及解码装置
EP2239732A1 (en) 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
CO6440537A2 (es) 2009-04-09 2012-05-15 Fraunhofer Ges Forschung Aparato y metodo para generar una señal de audio de sintesis y para codificar una señal de audio
US8392200B2 (en) * 2009-04-14 2013-03-05 Qualcomm Incorporated Low complexity spectral band replication (SBR) filterbanks
US8971551B2 (en) * 2009-09-18 2015-03-03 Dolby International Ab Virtual bass synthesis using harmonic transposition
TWI484481B (zh) * 2009-05-27 2015-05-11 杜比國際公司 從訊號的低頻成份產生該訊號之高頻成份的系統與方法，及其機上盒、電腦程式產品、軟體程式及儲存媒體
JP5223786B2 (ja) 2009-06-10 2013-06-26 富士通株式会社 音声帯域拡張装置、音声帯域拡張方法及び音声帯域拡張用コンピュータプログラムならびに電話機
US8515768B2 (en) 2009-08-31 2013-08-20 Apple Inc. Enhanced audio decoder
JP5928539B2 (ja) 2009-10-07 2016-06-01 ソニー株式会社 符号化装置および方法、並びにプログラム
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
CN102081927B (zh) * 2009-11-27 2012-07-18 中兴通讯股份有限公司 一种可分层音频编码、解码方法及系统
US8600749B2 (en) 2009-12-08 2013-12-03 At&T Intellectual Property I, L.P. System and method for training adaptation-specific acoustic models for automatic speech recognition
US8447617B2 (en) 2009-12-21 2013-05-21 Mindspeed Technologies, Inc. Method and system for speech bandwidth extension
KR101423737B1 (ko) 2010-01-21 2014-07-24 한국전자통신연구원 오디오 신호의 디코딩 방법 및 장치
TWI447709B (zh) 2010-02-11 2014-08-01 Dolby Lab Licensing Corp 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法
EP4148729A1 (en) * 2010-03-09 2023-03-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and program for downsampling an audio signal
JP5375683B2 (ja) 2010-03-10 2013-12-25 富士通株式会社 通信装置および電力補正方法
JP5598536B2 (ja) 2010-03-31 2014-10-01 富士通株式会社 帯域拡張装置および帯域拡張方法
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5652658B2 (ja) 2010-04-13 2015-01-14 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
WO2011127832A1 (en) 2010-04-14 2011-10-20 Huawei Technologies Co., Ltd. Time/frequency two dimension post-processing
ES2801324T3 (es) 2010-07-19 2021-01-11 Dolby Int Ab Procesamiento de señales de audio durante la reconstrucción de alta frecuencia
US9047875B2 (en) 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
US8560330B2 (en) 2010-07-19 2013-10-15 Futurewei Technologies, Inc. Energy envelope perceptual correction for high band coding
JP6075743B2 (ja) 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP2012058358A (ja) 2010-09-07 2012-03-22 Sony Corp 雑音抑圧装置、雑音抑圧方法およびプログラム
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US9230551B2 (en) 2010-10-18 2016-01-05 Nokia Technologies Oy Audio encoder or decoder apparatus
JP5743137B2 (ja) 2011-01-14 2015-07-01 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5704397B2 (ja) 2011-03-31 2015-04-22 ソニー株式会社 符号化装置および方法、並びにプログラム
US9240191B2 (en) 2011-04-28 2016-01-19 Telefonaktiebolaget L M Ericsson (Publ) Frame based audio signal classification
JP6024077B2 (ja) 2011-07-01 2016-11-09 ヤマハ株式会社 信号送信装置および信号処理装置
JP5942358B2 (ja) 2011-08-24 2016-06-29 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP5975243B2 (ja) 2011-08-24 2016-08-23 ソニー株式会社 符号化装置および方法、並びにプログラム
JP6037156B2 (ja) 2011-08-24 2016-11-30 ソニー株式会社 符号化装置および方法、並びにプログラム
JP5845760B2 (ja) 2011-09-15 2016-01-20 ソニー株式会社 音声処理装置および方法、並びにプログラム
CN103918030B (zh) 2011-09-29 2016-08-17 杜比国际公司 Fm立体声无线电信号中的高质量检测
JPWO2013154027A1 (ja) 2012-04-13 2015-12-17 ソニー株式会社 復号装置および方法、オーディオ信号処理装置および方法、並びにプログラム
JP5997592B2 (ja) 2012-04-27 2016-09-28 株式会社Ｎｔｔドコモ 音声復号装置
BR112014004128A2 (pt) 2012-07-02 2017-03-21 Sony Corp dispositivo e método de decodificação, dispositivo e método de codificação, e, programa
US9437198B2 (en) 2012-07-02 2016-09-06 Sony Corporation Decoding device, decoding method, encoding device, encoding method, and program
KR20150032649A (ko) 2012-07-02 2015-03-27 소니 주식회사 복호 장치 및 방법, 부호화 장치 및 방법, 및 프로그램
TWI517142B (zh) 2012-07-02 2016-01-11 Sony Corp Audio decoding apparatus and method, audio coding apparatus and method, and program
JP2014123011A (ja) 2012-12-21 2014-07-03 Sony Corp 雑音検出装置および方法、並びに、プログラム
KR102194120B1 (ko) 2013-01-21 2020-12-22 돌비 레버러토리즈 라이쎈싱 코오포레이션 상이한 재생 디바이스들에 걸친 라우드니스 및 동적 범위의 최적화
JP6531649B2 (ja) 2013-09-19 2019-06-19 ソニー株式会社 符号化装置および方法、復号化装置および方法、並びにプログラム
CA3162763A1 (en) 2013-12-27 2015-07-02 Sony Corporation Decoding apparatus and method, and program
CA2942743C (en) 2014-03-25 2018-11-13 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Audio encoder device and an audio decoder device having efficient gain coding in dynamic range control

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216190A (ja) * 2001-11-14 2003-07-30 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
JP2004101720A (ja) * 2002-09-06 2004-04-02 Matsushita Electric Ind Co Ltd 音響符号化装置及び音響符号化方法
JP2010079275A (ja) * 2008-08-29 2010-04-08 Sony Corp 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム

Also Published As

Publication number Publication date
ES2761023T3 (es) 2020-05-18
HK1200971A1 (en) 2015-08-14
US20130028427A1 (en) 2013-01-31
TR201808257T4 (tr) 2018-07-23
EP3330965A1 (en) 2018-06-06
CA2794890C (en) 2017-09-19
US10546594B2 (en) 2020-01-28
JP5850216B2 (ja) 2016-02-03
US10381018B2 (en) 2019-08-13
CA2794890A1 (en) 2011-10-20
CN102834864B (zh) 2014-06-25
RU2012142677A (ru) 2014-04-10
RU2550550C2 (ru) 2015-05-10
CN104021794B (zh) 2019-11-26
EP3605533B1 (en) 2022-12-14
ES2585807T3 (es) 2016-10-10
TWI484484B (zh) 2015-05-11
KR20180018852A (ko) 2018-02-21
US20170236530A1 (en) 2017-08-17
EP3605533A1 (en) 2020-02-05
KR20130042473A (ko) 2013-04-26
KR101830996B1 (ko) 2018-02-21
KR20170120727A (ko) 2017-10-31
CN104021794A (zh) 2014-09-03
JP2012168494A (ja) 2012-09-06
US20160140982A1 (en) 2016-05-19
ES2939770T3 (es) 2023-04-26
CN102834864A (zh) 2012-12-19
EP2560165A1 (en) 2013-02-20
US20190180768A1 (en) 2019-06-13
BR112012025570A2 (pt) 2017-03-28
EP3093845A1 (en) 2016-11-16
AU2011242000B2 (en) 2014-12-11
AU2011242000A1 (en) 2012-10-25
EP2560165A4 (en) 2013-12-04
HK1175288A1 (en) 2013-06-28
ES2667243T3 (es) 2018-05-10
EP2560165B1 (en) 2016-07-13
EP3093845B1 (en) 2018-03-14
US9406312B2 (en) 2016-08-02
WO2011129303A1 (ja) 2011-10-20
KR101916619B1 (ko) 2018-11-07
TW201220302A (en) 2012-05-16
US9679580B2 (en) 2017-06-13
US20170229139A1 (en) 2017-08-10
US10224054B2 (en) 2019-03-05
EP3330965B1 (en) 2019-11-06
BR112012025570B1 (pt) 2020-11-17
US10297270B2 (en) 2019-05-21
US20180330746A1 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
KR102015233B1 (ko) 복호 장치 및 복호 방법
KR101835910B1 (ko) 부호화 장치 및 방법, 복호 장치 및 방법, 및 컴퓨터 판독가능한 기록 매체
JP5754899B2 (ja) 復号装置および方法、並びにプログラム
JP5652658B2 (ja) 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
KR20130042474A (ko) 신호 처리 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법, 및 프로그램
JP6508551B2 (ja) 復号装置および方法、並びにプログラム
JP6341306B2 (ja) 信号処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant