KR101239812B1 - 대역폭 확장 신호를 생성하기 위한 장치 및 방법 - Google Patents
대역폭 확장 신호를 생성하기 위한 장치 및 방법 Download PDFInfo
- Publication number
- KR101239812B1 KR101239812B1 KR1020117000441A KR20117000441A KR101239812B1 KR 101239812 B1 KR101239812 B1 KR 101239812B1 KR 1020117000441 A KR1020117000441 A KR 1020117000441A KR 20117000441 A KR20117000441 A KR 20117000441A KR 101239812 B1 KR101239812 B1 KR 101239812B1
- Authority
- KR
- South Korea
- Prior art keywords
- patch
- band
- signal
- input signal
- patching algorithm
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 29
- 230000003595 spectral effect Effects 0.000 claims abstract description 138
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 107
- 230000005236 sound signal Effects 0.000 claims description 54
- 230000009467 reduction Effects 0.000 claims description 35
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 208000019300 CLIPPERS Diseases 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 7
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 26
- 238000001228 spectrum Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 239000011295 pitch Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 230000007480 spreading Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000017105 transposition Effects 0.000 description 3
- 108010003272 Hyaluronate lyase Proteins 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Transmitters (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
Abstract
입력 신호로부터 대역폭 확장 신호를 생성하기 위한 장치는 패치 생성기 및 컴바이너를 포함한다. 입력 신호는 제 1 해상도 데이터 의해 제 1 대역으로, 제 2 해상도 데이터에 의해 제 2 대역으로 표현되며, 제 2 해상도는 제 1 해상도보다 낮다. 패치 생성기는 제 1 패칭 알고리즘에 따른 입력 신호의 제 1 대역으로부터 제 1 패치를 생성하며 제 2 패칭 알고리즘에 따른 입력 신호의 제 1 대역으로부터 제 2 패치를 생성한다. 컴바이너는 대역폭 확장 신호를 획득하기 위하여 제 1 패치, 제 2 패치 및 입력 신호의 제 1 대역을 결합한다. 대역폭 확장 신호를 생성하기 위한 장치는 제 1 패칭 알고리즘에 및 제 2 패칭 알고리즘에 다른 입력 신호를 스케일하거나 혹은 제 1 패치 및 제 2 패치를 스케일하는데, 따라서 대역폭 확장 신호는 스펙트럼 포락 기준을 만족시킨다.
Description
본 발명에 따른 실시 예들은 오디오 신호 프로세싱에 관한 것으로서 특히, 입력 신호로부터 대역폭 확장 신호(bandwidth extended signal)를 생성하기 위한 장치 및 방법, 입력 신호 및 오디오 신호를 기초로 한 대역폭 감소 신호(bandwidth reduced signal)를 제공하기 위한 장치 및 방법에 관한 것이다.
오디오 신호의 효율적인 저장 및 전송을 위한 실질적인 데이터 속도 감소를 제공하는, 오디오 신호의 지각적으로 적응된 코딩(coding)은 많은 분야에서 널리 적용되고 있다. 예를 들면, MPEG ½ Layer 3 ("MP3") 혹은 MPEG 4 AAC (Advanced Audio Coding)과 같은 많은 코딩 알고리즘이 알려져 있다. 그러나, 이를 위하여 사용되는 코딩은, 특히 가장 낮은 비트 속도에서 운영할 때, 주로 전송되는 오디오 신호 대역폭의 제한이 유도된 인코더 면(encoder side)에 의해 야기되는 주관적 오디오 품질의 감소에 이를 수 있다.
WO 98 57436에는 디코더 면 상에서의 그러한 상황에서 오디오 신호를 대역 제한에 두며 고품질의 오디오 인코더("코어 코더(core coder)")에 의하여 단지 오디오 신호의 하부 대역만을 인코딩하는 것이 알려져 있다. 그러나, 상부 대역(upper band)은 예를 들면 상부 대역의 스펙트럼 포락을 재생하는 파라미터 세트에 의해 단지 거칠게 특징지워진다. 디코더 면 상에서, 상부 대역은 그리고 나서 합성된다. 이러한 목적을 위하여, 디코딩된 오디오 신호의 하부 대역이 필터뱅크(filterbank)에 제공되는 고조파 전치(harmonic transposition)가 제안된다. 하부 대역의 필터뱅크 채널은 상부 대역의 필터뱅크 채널에 연결되거나, 혹은 "패치되며(patched)", 패치된 밴드패스 신호 각각은 포락 조절(envelope adjustment)의 대상이 된다. 특별한 분석 필터뱅크에 속하는 합성 필터뱅크는 하부 대역에서의 오디오 신호의 밴드패스 신호 및 상부 대역 내로 고조파로 패치된 하부 대역의 포락-조절 밴드패스 신호를 수신한다. 합성 필터뱅크의 출력 신호는 매우 낮은 데이터 속도를 운영하는 코어 코더에 의해 인코더 면으로부터 디코더 면으로 전송되는 그것의 오리지널 대역폭과 관련하여 확장된 오디오 신호이다. 특히, 필터뱅크 도메인에서의 필터뱅크 계산 및 패칭은 높은 연산 노력이 될 수 있다.
대역 제한된 오디오 신호의 대역폭 확장을 위한 복잡성 감소(complexity-reduced) 방법은 대신에 대역 제한에 기인하는 누락된 정보에 근접하기 위하여 저 주파수 신호 부분의 고 주파수 범위 내로의 복사 기능(copying function)을 사용한다. 그러한 방법은 M. Dietz, L. Liljeryd, K. Kjand 0. Kunz, "스펙트럼 대역 복제, 오디오 코딩에서의 신규의 접근(Spectral Band Replication, a novel approach in audio coding)," in 112th AES Convention, Munich, May 2002; S. Meltzer, R. Band F. Henn, ""디지털 라디오 몬디알"과 같은 디지털 방송을 위한 SBR이 향상된 오디오 코덱(SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM))," 112th AES Convention, Munich, May 2002; T. Ziegler, A. Ehret, P. Ekstrand and M. Lutzky, "SBR을 갖는 mp3의 향상: 신규의 mp3프로 알고리즘의 특징 및 성능(Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm)," in 112th AES Convention, Munich, May 2002; International Standard ISO/IEC 14496-3:2001/FPDAM l, "대역폭 확장(Bandwidth Extension)," ISO/IEC, 2002, 혹은 "음성 대역폭 확장 방법 및 장치(Speech bandwidth extension method and apparatus)", Vasu Iyengar et al. 미국특허 제5,455,888에 설명된다.
이러한 방법에 있어서, 어떠한 고조파 전치도 실행되지 않으나, 하부 대역의 연속하는 밴드패스(bandpass) 신호는 상부 대역의 연속하는 필터뱅크 채널 내로 소개된다. 이것에 의하여 오디오 신호의 상부 대역의 거친 근사치가 달성된다. 뒤따르는 단계에서, 그리고 나서 신호의 이러한 거친 근사치는 오리지널 신호로부터 얻은 제어 정보를 사용하는 후처리에 의해 오리지널과 관련하여 동질화된다. 여기에서, 예를 들면 스케일 인자는 스펙트럼 포락, 역 필터링을 적용하는 데 도움을 주며, 노이즈 플로어의 추가는 또한 MPEG-4 고효율 고급 오디오 코딩(High Efficiency Advanced Audio Coding, HE-AAC) 표준에서 설명되는 것과 같이, 음색(tonality) 및 누락된 고조파를 위한 정현(sinusoidal) 신호 부분의 보충을 적용하는데 도움을 준다.
이와는 별도로, 또 다른 방법은 대역폭 확장을 위한 위상 보코더(phase vocoder)를 사용한다. 스펙트럼 확장을 위한 위상 보코더를 적용할 때, 주파수 라인은 서로 더 떨어져 이동한다. 만일 갭(gap)이 예를 들면 양자화에 의해 스펙트럼 내에 존재하면, 동일한 것도 확장에 의해 증가된다. 에너지 적응에 있어서, 스펙트럼 내의 나머지 라인은 오리지널 신호의 각각의 라인과 비교하여 너무 많은 에너지를 받는다.
도 13은 위상 보코더를 사용하는 대역폭 확장의 개략도(1300)를 도시한다. 이 실시 예에서, 두 개의 패치(1312, 1314)가 신호의 저 주파수 대역(1302)에 더해진다. 또한 크로스오버 주파수(Xover frequency)라고 불리는, 신호의 상한 주파수(upper cut-off frequency, 1320)는 이웃하는 패치(1312)의 로우-엔드 주파수(low-end frequency)이며 크로스오버 주파수의 두 배는 이웃하는 패치(1312)의 상한 주파수 및 그 다음 패치(1314)의 하한 주파수이다. 위상 보코더는 이웃하는 패치(1312)를 획득하기 위하여 신호의 저 주파수 대역(1302)의 주파수 라인의 주파수를 두 배로 하며 그 다음 패치(1314)를 획득하기 위하여 신호의 저 주파수 대역(1302)의 주파수 라인의 주파수를 세 배로 한다. 그러므로, 이웃하는 패치(1312)의 스펙트럼 밀도는 신호의 저 주파수 대역(1302)의 스펙트럼 밀도의 단지 반이며 그 다음 패치(1314)의 스펙트럼 밀도는 신호의 저 주파수 대역(1302)의 스펙트럼 밀도의 단지 ⅓이다.
단지 소수의 주파수 라인에 대한 대역에서의 에너지의 집중에 의해, 오리지널(original)과 다른 음색(timbre)에서의 실질적 변화가 생긴다. 이전의 더 많은 대역(주파수 라인)의 에너지는 더 적은 나머지 라인에 더해진다.
위상 보코더 및 그것들의 적용을 위한 몇몇 실시 예들이 "Frederik Nagel 및 Sascha Disch, 오디오 코덱을 위한 고조파 대역폭 확장 방법(Harmonic Bandwidth Extension Method for Audio Codecs)," ICASSP'09 및 "M. Puckette. 위상-고정 보코더(Phase-locked Vocoder. IEEE ASSP Comference on Applications of Signal Processing to Audio and Acoustics, Mohink 1995.", Robel, A.: 위상 보코더에서의 순간 탐지 및 보존(Transient detection and preservation in the phase vocoder; citeseer.ist.psu.edu/679246.html', "Laroche L., Dolson M.: 오디오의 개량된 위상 보코더 시간 스케일 변환(Improved phase vocoder timescale modification of audio", IEEE Trams. Speech and Audio Processing, Vol. 7, No. 3, pp. 323-332" 및 미국특허 제 6549884에 제시된다.
갭을 채우기 위한 하나의 접근이 WO 00/45379에 도시된다. 그것은 고 주파수 재생을 사용하는 소스 코딩 시스템(source coding system)의 향상을 위한 방법 및 장치를 포함한다. 적응 노이즈-플로어 추가(adaptive noise-floor addition)에 의한 재생된 고대역에서의 불충분한 노이즈 콘텐츠의 문제를 다룬다. 노이즈의 추가는 갭을 채울 수 있으나, 오디오 품질 혹은 주관적 품질은 충분히 증가될 수 없다.
본 발명의 목적은 대역폭 확장 신호의 주관적 품질을 증가시키는 오디오 신호의 대역폭 확장을 위한 개념을 제공하는 것이다.
이러한 목적은 청구항 1 및 11에 따른 장치, 청구항 14에 따른 오디오 신호, 및 청구항 15 및 16에 따른 방법에 의해 해결된다.
본 발명의 실시 예는 입력 신호로부터 대역폭 확장 신호를 생성하기 위한 장치를 제공한다. 입력 신호는 제 1 해상도 데이터(first resolution data)에 의한 제 1 대역 및 제 2 해상도 데이터에 의한 제 2 대역이 표현되며, 제 2 해상도가 제 1 해상도보다 더 낮다. 장치는 패치 생성기(patch generator) 및 컴바이너(combiner)를 포함한다. 패치 생성기는 제 1 패칭 알고리즘(first patching algorithem)에 따른 입력 신호의 제 1 대역으로부터 제 1 패치를 생성하며 제 2 패칭 알고리즘에 따른 입력 신호의 제 2 대역으로부터 제 2 패치를 생성하도록 설정된다. 제 2 패칭 알고리즘에 따라 생성된 제 2 패치의 스펙트럼 밀도는 제 1 패칭 알고리즘에 따라 생성된 제 1 패치의 스펙트럼 밀도보다 높다. 컴바이너는 대역폭 확장 신호를 획득하기 위하여 제 1 패치, 제 2 패치 및 입력 신호의 제 1 대역을 결합하도록 설정된다. 대역폭 확장 신호를 생성하기 위한 장치는 제 1 패칭 알고리즘 및 제 2 패칭 알고리즘에 따라 입력 신호를 스케일(scale)하거나 혹은 제 1 패치 및 제 2 패치를 스케일하도록 설정되는데, 따라서 대역폭 확장 신호는 스펙트럼 포락 기준(spectral envelope criterion)을 만족시킨다.
본 발명에 따른 실시 예들은 입력 신호의 대역폭을 확장하기 위하여 낮은 스펙트럼 밀도를 갖는 패치가(예를 들면, 패치가 입력 신호의 저 주파수 대역과 비교하여 차이를 포함하는 것을 의미) 높은 스펙트럼 밀도를 갖는 패치(예를 들면, 패치가 입력 신호의 저 주파수 대역과 비교하여 차이가 거의 없거나 혹은 아예 없는 것을 의미)와 결합하는 중심 사상을 기초로 한다. 두 패치는 모두 입력 신호를 기초로 하기 때문에, 입력 신호의 저주파 대역의 고주파 대역폭 확장은 오리지널 오디오 신호의 우량의 근사치를 제공할 수 있다. 게다가, 제 1 및 제 2 패치는 스펙트럼 포락 기준을 만족시키기 위한 생성 전(입력 신호의 스케일에 의해) 혹은 후에 스케일될 수 있는데, 그 이유는 오리지널 오디오 신호의 스펙트럼 포락이 입력 신호의 고주파 대역의 재생을 위하여 고려되기 때문이다. 이러한 방법으로, 대역폭 확장 신호의 주관적 품질 혹은 오디오 품질이 현저하게 증가될 수 있다.
본 발명에 따른 몇몇 실시 예에서, 제 1 패칭 알고리즘은 고조파 패칭 알고리즘이다. 바꾸어 말하면, 제 1 패치는 단지 입력 신호의 제 1 대역의 주파수의 다중 정수(integer multiple)인 주파수가 제 1 패치에 의해 포함되기 위하여 생성된다. 게다가, 제 2 패칭 알고리즘은 혼합 패칭 알고리즘일 수 있다. 이것은 예를 들면, 제 2 패치가 입력 신호의 제 1 대역의 주파수의 다중 정수인 주파수 및 입력 신호의 제 1 대역의 주파수의 다중 정수가 아닌 주파수를 포함하기 위하여 생성될 수 있다는 것을 의미한다. 그러므로, 제 2 패치의 스펙트럼 밀도는 제 1 패치의 스펙트럼 밀도보다 높다. 제 1 패치 및 제 2 패치를 결합함으로써, 제 1 패치의 누락 주파수 라인이 제 2 패치의 주파수 라인에 의해 채워진다. 이러한 방법으로, 제 1 패칭 알고리즘에 따른 고조파 대역폭 확장의 갭이 제 2 패치에 의해 채워질 수 있으며 대역폭 확장 신호의 오디오 품질은 현저하게 향상될 수 있다.
본 발명에 따른 몇몇 실시 예들은 입력 신호를 기초로 한 대역폭 감소 신호를 제공하기 위한 장치에 관한 것이다. 장치는 스펙트럼 포락 데이터 결정기(spectral envelope data determiner), 패치 스케일링 제어 데이터 생성기, 및 출력 인터페이스(output interface)를 포함한다. 스펙트럼 포락 데이터 결정기는 입력 신호의 고주파수 대역을 기초로 하여 스펙트럼 포락 데이터를 결정하도록 설정된다. 패치 스케일링 제어 데이터 생성기는 디코더(decoder)에서 대역폭 감소 신호를 스케일링하거나 혹은 디코더에 의해 제 1 패치 및 제 2 패치를 스케일링하기 위하여 패치 스케일링 제어 데이터를 생성하도록 설정되는데, 따라서 디코더에 의해 생성된 대역폭 확장 신호는 스펙트럼 포락 기준을 만족시킨다. 스펙트럼 포락 기준은 스펙트럼 포락 데이터를 기초로 한다. 제 1 패치는 제 1 패치 알고리즘에 따른 대역폭 감소 신호의 저주파수 대역으로부터 생성되며 제 2 패치는 제 2 패칭 알고리즘에 따른 대역폭 감소 신호의 저주파수 대역으로부터 생성된다. 제 2 패칭 알고리즘에 따라 생성된 제 2 패치의 스펙트럼 밀도는 제 1 패칭 알고리즘에 따라 생성된 제 1 패치의 스펙트럼 밀도보다 높다. 출력 인터페이스는 대역폭 감소 신호를 획득하기 위하여 입력 신호의 저 주파수 대역, 스펙트럼 포락 데이터, 및 파워 스케일링 제어 데이터를 결합하도록 설정된다. 더욱이, 출력 인터페이스는 전송 혹은 저장을 위한 대역폭 감소 신호를 제공하도록 설정된다.
본 발명에 따른 뒤따르는 몇몇 실시 예들은 제 1 대역 및 제 2 대역을 포함하는 오디오 신호에 관한 것이다. 제 1 대역은 제 1 해상도 데이터에 의해 대표되며 제 2 대역은 제 2 해상도 데이터에 의해 대표된다. 제 2 해상도 데이터는 제 1 해상도 데이터보다 낮다. 제 2 해상도 데이터는 디코더에서의 오디오 신호를 스케일링하거나 혹은 디코더에 의해 제 1 패치 및 제 2 패치를 스케일링하기 위하여 제 2 대역의 스펙트럼 포락 데이터 및 제 2 대역의 패치-스케일링 제어 데이터를 기초로 하는데, 따라서 디코더에 의해 생성된 대역폭 확장 신호는 스펙트럼 포락 기준을 만족시킨다. 스펙트럼 포락 기준은 스펙트럼 포락 데이터를 기초로 한다. 제 1 패치는 제 1 패치 알고리즘에 따른 오디오 신호의 제 1 대역으로부터 생성되며 제 2 패치는 제 2 패칭 알고리즘에 따른 오디오 신호의 제 1 대역으로부터 생성된다. 제 2 패칭 알고리즘에 따라 생성된 제 2 패치의 스펙트럼 밀도는 제 1 패칭 알고리즘에 따른 제 1 패치 생성기의 스펙트럼 밀도보다 높다.
본 발명에 따른 실시 예들은 뒤따르는 첨부된 도면을 참조하여 상세히 설명될 것이다:
도 1은 입력 신호로부터 대역폭 확장 신호를 생성하기 위한 장치의 블록 다이어그램이다;
도 2a는 생성된 제 1 패치의 개략도이다;
도 2b는 생성된 제 1 및 제 2 패치의 개략도이다;
도 3a는 입력 신호로부터 대역폭 확장 신호를 생성하기 위한 장치의 블록 다이어그램이다;
도 3b는 클립된 정현 입력 신호의 개략도이다;
도 3c는 반파 정류된 정현 입력 신호의 개략도이다;
도 3d는 클립되며 전파 정류된 정현 입력 신호의 개략도이다;
도 4는 입력 신호로부터 대역폭 확장 신호를 생성하기 위한 장치의 블록 다이어그램이다;
도 5a는 위상 보코더의 필터뱅크 구현의 개략도이다;
도 5b는 도 5a의 필터의 상세도이다;
도 5c는 도 5a의 필터 채널에서 진도 신호 및 주파수 신호의 조작을 위한 개략도이다;
도 6은 위상 보코더의 전환 구현의 개략도이다;
도 7은 입력 신호로부터 대역폭 확장 신호를 생성하기 위한 장치의 블록 다이어그램이다;
도 8은 입력 신호로부터 대역폭 확장 신호를 생성하기 위한 장치의 블록 다이어그램이다;
도 9는 입력 신호로부터 대역폭 확장 신호를 생성하기 위한 장치의 블록 다이어그램이다;
도 10은 입력 신호로부터 대역폭 감소 신호를 제공하기 위한 장치의 블록 다이어그램이다;
도 11은 입력 신호로부터 대역폭 확장 신호를 생성하기 위한 방법의 플로차트이다;
도 12는 입력 신호를 기초로 한 대역폭 감소 신호를 제공하기 위한 방법의 플로차트이다; 및
도 13은 알려진 대역폭 확장 알고리즘의 개략도이다.
도 1은 입력 신호로부터 대역폭 확장 신호를 생성하기 위한 장치의 블록 다이어그램이다;
도 2a는 생성된 제 1 패치의 개략도이다;
도 2b는 생성된 제 1 및 제 2 패치의 개략도이다;
도 3a는 입력 신호로부터 대역폭 확장 신호를 생성하기 위한 장치의 블록 다이어그램이다;
도 3b는 클립된 정현 입력 신호의 개략도이다;
도 3c는 반파 정류된 정현 입력 신호의 개략도이다;
도 3d는 클립되며 전파 정류된 정현 입력 신호의 개략도이다;
도 4는 입력 신호로부터 대역폭 확장 신호를 생성하기 위한 장치의 블록 다이어그램이다;
도 5a는 위상 보코더의 필터뱅크 구현의 개략도이다;
도 5b는 도 5a의 필터의 상세도이다;
도 5c는 도 5a의 필터 채널에서 진도 신호 및 주파수 신호의 조작을 위한 개략도이다;
도 6은 위상 보코더의 전환 구현의 개략도이다;
도 7은 입력 신호로부터 대역폭 확장 신호를 생성하기 위한 장치의 블록 다이어그램이다;
도 8은 입력 신호로부터 대역폭 확장 신호를 생성하기 위한 장치의 블록 다이어그램이다;
도 9는 입력 신호로부터 대역폭 확장 신호를 생성하기 위한 장치의 블록 다이어그램이다;
도 10은 입력 신호로부터 대역폭 감소 신호를 제공하기 위한 장치의 블록 다이어그램이다;
도 11은 입력 신호로부터 대역폭 확장 신호를 생성하기 위한 방법의 플로차트이다;
도 12는 입력 신호를 기초로 한 대역폭 감소 신호를 제공하기 위한 방법의 플로차트이다; 및
도 13은 알려진 대역폭 확장 알고리즘의 개략도이다.
다음에서, 같거나 혹은 유사한 기능적 특성을 갖는 대상 및 기능적 유닛을 위하여 동일한 참조 번호가 사용되며 도면과 관련된 그것들의 설명은 실시 예에서의 중복을 피하기 위하여 다른 도면에도 또한 적용될 것이다.
도 1은 본 발명의 실시 예에 따른 입력 신호(102)를 위하여 대역폭 확장 신호(122)를 생성하기 위한 장치(100)의 블록 다이어그램을 도시한다. 입력 신호는 제 1 해상도 데이터에 의해 제 1 대역으로, 제 2 해상도 데이터에 의해 제 2 대역으로 표현되며, 제 2 해상도 데이터가 제 1 해상도 데이터보다 낮다. 장치(100)는 컴바이너(120)와 연결된 패치 생성기(110)를 포함한다. 패치 생성기(120)는 제 1 패칭 알고리즘에 따른 입력 신호(102)의 제 1 대역으로부터 제 1 패치를 생성하며 제 2 패칭 알고리즘에 따른 입력 신호(102)의 제 1 대역으로부터 제 2 패치를 생성한다. 제 2 패칭 알고리즘에 따라 생성된 제 2 패치(114)의 스펙트럼 밀도는 제 1 패칭 알고리즘에 따라 생성된 제 1 패치(112)의 스펙트럼 밀도보다 높다. 컴바이너(120)는 대역폭 확장 신호(122)를 획득하기 위하여 제 1 패치(112), 제 2 패치(114) 및 입력 신호(102)의 제 1 대역을 결합시킨다. 게다가, 대역폭 확장 신호(122)를 생성하기 위한 장치(100)는 제 1 패칭 알고리즘 및 제 2 패칭 알고리즘에 따른 입력 신호를 스케일하거나 혹은 대역폭 확장 신호가 스펙트럼 포락 기준을 만족시키기 위하여 제 1 패치(112) 및 제 2 패치(114)를 스케일한다.
스펙트럼 밀도는, 예를 들면, 주파수 대역 내의 서로 다른 주파수 혹은 주파수 라인의 밀도를 의미한다. 예를 들면, 4kHz 및 8kHz의 주파수를 갖는 주파수 부분을 포함하는 0H부터 10kHz에 이르는 주파수 대역은 2kHz, 4kHz, 6kHz, 8kHz 및10kHz의 주파수를 갖는 주파수 부분을 포함하는 동일한 주파수 대역보다 낮은 스펙트럼 밀도를 갖는다. 제 1 패치(112)의 스펙트럼 밀도가 제 2 패치(114)의 스펙트럼 밀도보다 낮기 때문에, 제 1 패치(112)는 제 2 패치(114)와 비교하여 갭을 포함한다. 그러므로, 제 2 패치(114)는 이러한 갭을 채우는데 사용될 수 있다. 두 패치 모두 입력 신호(102)의 제 1 대역을 기초로 하기 때문에, 두 패치는 입력 신호(102)와 상응하는 오리지널 신호의 특징과 관련된다. 그러므로, 대역폭 확장 신호(122)는 오리지널 신호의 우량의 근사치일 수 있으며 주관적 품질 혹은 대역폭 확장 신호(122)의 오디오 품질은 설명된 개념을 사용하여 현저하게 향상될 수 있다. 이러한 방법으로, 더 많은 에너지가 남아 있는 라인 사이에서 분산될 수 있으며, 예를 들면, 부자연스런 사운드가 예방될 수 있다.
예를 들면, 제 1 패칭 알고리즘은 고조파 패칭 알고리즘일 수 있다. 그러므로, 패치 생성기(110)는 입력 신호(102)의 제 1 대역의 주파수의 다중 정수인 주파수만을 포함하는 제 1 패치(112)를 생성할 수 있다. 고조파 대역폭 확장은 오리지널 신호의 색조 구조(tonal structure)의 우량의 근사치를 제공할 수 있다. 이러한 갭은 제 2 패치에 의해 채워질 수 있다. 예를 들면, 제 2 패칭 알고리즘은 혼합 패칭 알고리즘일 수 있으며, 이는 패치 생성기(110)가 입력 신호(102, 고조파 주파수)의 제 1 대역의 주파수의 다중 정수 및 입력 신호(102, 비고조파 주파수)의 제 1 대역의 주파수의 다중 정수가 아닌 주파수를 포함하는 제 2 패치(114)를 생성할 수 있다는 것을 의미한다. 비고조파 주파수는 제 1 패치(112)의 갭을 채우기 위하여 사용될 수 있다. 또한 제 1 패치(112)를 갖는 제 2 패치 전체(고조파 주파수를 포함하여)를 결합하는 것이 가능할 수 있다. 이러한 예에서, 제 1 패치(112) 및 제 2 패치(114)의 고조파 주파수 부분의 결합에 기인한 고조파 주파수의 증폭은 제 1 패치(112) 및/또는 제 2 패치(114)를 적절하게 스케일링함으로써 고려될 수 있다.
제 1 패치(112) 및 제 2 패치(114)는 적어도 부분적으로 동일한 주파수 범위를 포함한다. 예를 들면, 제 1 패치(112)는 4kHz부터 8kHz에 이르는 주파수 대역을 포함하며 제 2 패치(114)는 6kHz부터 10kHz의 주파수 대역을 포함한다. 본 발명에 따른 몇몇 실시 예에서, 제 1 패치(112)의 주파수의 하한(lower cut)은 제 2 패치(114)의 주파수의 하한과 동일하며 제 1 패치(112)의 주파수의 상한(upper cut)은 제 2 패치(114)의 주파수의 상한과 동일하다. 예를 들면, 두 패치 모두 4kHz에서 8kHz에 이르는 주파수 대역을 포함한다.
도 2a 및 2b는 제 1 패칭 알고리즘(212)에 따른 제 1 패치(112) 및 제 2 패칭 알고리즘(214)에 따른 제 2 패치(114)에 대한 실시 예를 도시한다. 더 나은 설명을 위하여, 도 2a는 제 1 패치(112)만을 도시하며 도 2b는 제 1 패치(112) 및 상응하는 제 2 패치(114)를 도시한다. 도 2a는 입력 신호(102)의 제 1 대역(202) 및 제 1 패칭 알고리즘(212)에 따라 생성된 두 개의 제 1 패치(112)에 대한 예(200)를 설명한다. 이러한 예에서, 패치는 입력 신호(102)의 제 1 대역(202)과 같은 동일한 대역폭을 포함한다. 대역폭은 또한 다를 수 있다. 입력 신호(102)의 제 1 대역(202)의 상한 주파수(220)는 '크로스오버(Xover)' 주파수(crossover frequency)로 표시된다. 도 2a에 도시된 예에서, 패치는 크로스오버 주파수(220)의 다중과 동일한 주파수에서 시작한다. 제 1 패치(112) 내의 주파수 라인은 입력 신호(102)의 제 1 대역(202)의 주파수 라인의 다중 정수이며 예를 들면, 위상 보코더에 의해 생성될 수 있다. 이러한 제 1 패치(112)는 입력 신호(102)의 제 1 대역(202)과 비교하여 누락된 주파수 라인의 관점에서 갭을 포함한다.
도 2b는 두 개의 상응하는 제 2 패치(114)에 대한 예(250)를 부가하여 도시한다. 이러한 패치는 제 2 패칭 알고리즘(214)에 따라 생성되며 고조파 및 비고조파 주파수를 포함한다. 비고조파 주파수 라인은 제 1 패치(112)의 갭을 채우는데 사용될 수 있다. 제 2 패치(114)의 주파수 라인은 예를 들면, 비선형 왜곡(non-linear distortion)에 의해 생성될 수 있다.
이러한 방법으로, 갭은 예를 들면, 소음을 갖는 갭을 채우는 것과 같이, 임의로 채워질 수 없다. 갭은 입력 신호의 제 1 대역의 제 1 해상도 데이터 및 따라서, 오리지널 신호를 기초로 하여 채워진다.
입력 신호(102)의 제 1 대역은 예를 들면, 고 해상도로 인코딩된 오리지널 오디오 신호의 저 주파수 대역을 대표할 수 있다. 입력 신호(102)의 제 2 대역은 예를 들면, 오리지널 오디오 신호의 고 주파수 대역을 대표할 수 있으며 예를 들면, 스펙트럼 포락 데이터, 소음 데이터 및/또는 저 해상도를 갖는 누락된 고조파 데이터와 같은 하나 혹은 그 이상의 파라미터에 의해 양자화될 수 있다. 오리지널 오디오 신호는 예를 들면, 프로세싱 혹은 인코딩 이전에 마이크로폰(microphone)에 의해 기록된 신호일 수 있다.
제 1 패칭 알고리즘 및 제 2 패칭 알고리즘에 따라 입력 신호를 스케일링하는 것은 예를 들면, 입력 신호가 제 1 패치가 생성되기 전에 제 1 패칭 알고리즘에 의해 일단 스케일되며 그리고 나서 제 1 패치가 스케일된 입력 신호를 기초로 하여 생성되며, 입력 신호가 제 2 패치가 생성되기 전에 제 2 패칭 알고리즘에 의해 일단 스케일되며 그리고 나서 제 2 패치가 스케일된 입력 신호를 기초로 하여 생성되는 것을 의미하는데, 따라서 제 1 패치, 제 2 패치 및 입력 신호의 제 1 대역의 결합 후에, 대역폭 확장 신호는 스펙트럼 포락 기준을 만족시킨다. 대안으로, 제 1 패치 및 제 2 패치의 스케일링과 결합하여 제 1 패칭 알고리즘 및 제 2 패칭 알고리즘에 따른 입력 신호의 스케일링이 가능할 수 있다.
컴바이너(120)는 예를 들면, 가산기(adder)일 수 있으며 대역폭 확장 신호(122)는 제 1 패치(112), 제 2 패치(114) 및 입력 신호(102)의 제 1 대역의 가중 합계(weighted sum)일 수 있다.
스펙트럼 포락 기준을 만족시킨다는 것은, 예를 들면, 대역폭 확장 신호의 스펙트럼 포락이 입력 신호에 의해 포함되는 스펙트럼 포락 데이터를 기초로 한다는 것을 의미한다. 스펙트럼 포락 데이터는 인코더에 의해 생성될 수 있으며 오리지널 신호의 제 2 대역을 나타낼 수 있다. 이러한 방법으로, 대역폭 확장 신호의 스펙트럼 포락은 오리지널 신호의 스펙트럼 포락의 우량의 근사치일 수 있다.
장치(100)는 또한 입력 신호(102)의 제 1 대역을 디코딩하기 위한 코어 디코더를 포함할 수 있다.
패치 생성기(110) 및 컴바이너(120)는 특별하게 디자인된 하드웨어이거나 혹은 프로세서 또는 마이크로 컨트롤러(micro controller)의 일부일 수 있으며 혹은 컴퓨터 또는 마이크로 컨트롤러 상에서 구동하도록 설정된 컴퓨터 프로그램일 수 있다. 장치(100)는 디코더 혹은 오디오 디코더의 일부일 수 있다.
도 3a는 본 발명의 실시 예에 따른 입력 신호(102)로부터 대역폭 확장 신호(122)를 생성하기 위한 장치(300)의 블록 다이어그램을 도시한다. 이러한 실시 예에서, 패치 생성기(110)는 제 1 패치를 생성하기 위한 위상 보코더(310) 및 제 2 패치(114)를 생성하기 위한 진폭 클리퍼(320, amplitude clipper)를 포함한다. 위상 보코더(310) 및 진폭 클리퍼(320)는 컴바이너(120)에 연결된다. 위상 보코더(310)는 고조파 주파수를 포함하는 제 1 패치(112)를 생성하기 위하여 입력 오디오 신호(102)의 제 1 대역을 확산시킬 수 있다. 비 선형 프로세싱 단계에서, 진폭 클리퍼(320)는 고조파 및 비-고조파 주파수를 포함하는 제 2 패치(114)를 생성하기 위하여 입력 신호(102)를 클립할 수 있다. 진폭 클리퍼(320)의 대안으로, 반파 정류기(half-wave rectifier), 전파 정류기(full-wave rectifier), 혼합기(mixer) 혹은 특성 곡선의 이차 영역에서 사용되는 다이오드(diode)가 또한 비-선형 프로세싱 단계에 의해 입력 신호(102)를 기초로 한 비-고조파 주파수를 생성하기 위하여 사용될 수 있다.
도 3b, 3c 및 3d는 비-고조파 주파수를 생성하기 위하여 클립되거나 및/또는 교정된 입력 신호(102)에 대한 실시 예를 도시한다. 도 3b는 클립된 정현(sunusoidal) 입력 신호(102)의 개략도(350)를 도시한다. 신호를 클리핑함으로써, 신호 슬로프(signal slope, 380)의 급작스런 변화의 형태에서의 불연속 지점이 야기되며 고조파 및 높은 주파수를 갖는 비-고조파 부분이 생성된다.
대안으로, 도 3c는 반파 정류된 정현 입력 신호(102)의 개략도(360)를 도시하며, 또한 불연속 지점(380)을 야기한다.
게다가, 클리핑 및 교정의 결합이 가능할 수 있다. 도 3d는 다른 불연속 지점(380)을 야기하는 클립되며 전파 정류된 정현 입력 신호(102)의 개략도(370)를 도시한다.
클리핑하거나 및/또는 교정하거나 혹은 불연속 지점(380)을 생성하는 비선형 프로세싱의 다른 방법을 적용함으로써, 서로 다른 주파수의 넓은 스펙트럼이 생성될 수 있다. 그러므로, 그러한 패칭 알고리즘에 따라 생성된 패치는 높은 스펙트럼 밀도를 포함할 수 있다.
도 4는 본 발명의 실시 예에 따른 입력 신호(102)로부터 대역폭 확장 신호(122)를 생성하기 위한 장치(400)의 블록 다이어그램을 도시한다. 장치(400)는 도 3a에서 도시된 장치와 유사하나, 부가적으로 스펙트럼 라인 선택기(spectral line selector, 410)를 포함한다. 위상 보코더(310) 및 진폭 클리퍼(320)는 스펙트럼 라인 선택기(410)에 연결되며 스펙트럼 라인 선택기(410)는 컴바이너(120)에 연결된다. 스펙트럼 라인 선택기(410)는 제 1 패치에 상보적일 수 있는 변경된 제 2 패치(414)를 획득하기 위하여 제 2 패치(114)의 복수의 주파수 라인을 선택할 수 있다. 만일 제 1 패치(112)의 상응하는 주파수 라인이 누락되면 제 2 패치(114)의 주파수 라인이 선택될 수 있다. 바꾸어 말하면, 스펙트럼 라인 선택기(410)는 제 1 패치(112)의 갭을 채우기 위하여 제 2 패치(114)의 주파수 라인을 선택하며 제 1 패치(112)에 의해 이미 포함된 제 2 패치(114)의 주파수를 무시할 수 있다. 이러한 방법으로, 변경된 제 2 패치(414)는 제 1 패치(112)에 의해 이미 포함된 주파수에서의 갭을 포함할 수 있다.
이 실시 예에서, 컴바이너(120)는 제 1 패치(112), 변경된 제 2 패치(414) 및 입력 신호(102)의 제 1 대역을 결합한다.
스펙트럼 라인 선택기(410)는 예를 들면, 패치 생성기(110, 도 4에 도시된 것과 같이)의 일부이거나 혹은 분리된 유닛일 수 있다.
다음에서, 도 5 및 6을 참조하여, 본 발명에 따른 위상 보코더의 가능한 구현이 설명된다. 도 5는 위상 보코더의 필터뱅크 구현을 도시하는데, 오디오 신호가 입력(500)에 공급되며 출력(510)에서 획득된다. 특히, 도 5a에 도시된 필터뱅크 각각의 채널은 밴드패스 필터(bandpass filter, 501) 및 하류 발진기(downstream oscillator, 502)를 포함한다. 모든 채널로부터의 모든 발진기의 출력 신호는 예를 들면, 출력 신호를 획득하기 위하여 가산기로서 구현되며 503으로 표시되는 컴바이너에 의해 결합된다. 각각의 필터(501)는 그것이 한편으로는 진폭 신호를 다른 한편으로는 주파수 신호를 제공하는 것과 같이 구현된다. 진폭 신호 및 주파수 신호는 시간에 따라 필터(501)에서 진폭의 개발을 설명하는 시간 신호(time signal)이며, 반면에 주파수 신호는 필터(501)에 의해 필터된 신호의 주파수의 개발을 나타낸다.
필터(501)의 개략적인 설정이 도 5b에 설명된다. 도 5a에서의 각각의 필터는 도 5b에서와 같이 설정될 수 있는데, 그러나 두 개의 입력 혼합기(551) 및 가산기(552)에 제공되는 주파수(fi)만이 채널에 따라 서로 다르다. 혼합기(551)의 혼합기 출력 신호는 로우패스(lowpass, 553)에 의해 모두 로우패스 필터되는데, 상기 로우패스 신호는 그것들이 90°에 의해 위상 반전되는 국부 발진기 주파수(local oscillator frequency, LO frequency)에 생성되는 한 서로 다르다. 상부 로우패스 필터(553)는 직교 신호(quadrature signal)를 제공하며, 반면에 하부 필터(553)는 동위상 신호(in-phase signal)를 제공한다. 이러한 두 개의 신호, 이를테면 Q 및 I는 직사각형 리프리젠테이션으로부터 진도 위상 리프리젠테이션을 생성하는 좌표 변압기(coordinate transformer)에 제공된다. 시간에 따른 도 5a에서의 진도 신호 혹은 진폭 신호 각각은 출력(557)에서의 출력이다. 위상 신호는 위상 언랩퍼(phase unwrapper, 558)에 제공된다. 구성요소(558)의 출력에서, 더이상의 위상 값은 존재하지 않으며, 항상 0°및 360°사이에 있으나, 위상 값은 선형적으로 증가한다. 이러한 "언랩드(ubwrapped)" 위상 값은, 시간에서의 현재 지점에 대한 주파수 값 혹은 위상 유도체(phase derivative)의 근사치를 획득하기 위한 다른 모든 수단을 획득하기 위하여, 예를 들면 시간에서의 현재 지점에서의 위상으로부터 시간에서의 현재 지점의 위상을 빼는 단순한 위상 차이 계산기로서 구현되는 위상/주파수 변환기(559)에 제공된다. 이러한 주파수 값은 출력(560)에서 일시적으로 변경되는 주파수 값을 획득하기 위하여 필터 채널(i)의 일정한 주파수 값(fi)에 더해진다. 출력(560)에서의 주파수 값은 직접 구성요소 = fi 및 대안의 구성요소 = 필터 채널에서의 신호의 현재 주파수가 평균 주파수(fi)로부터 벗어나는 주파수 편차를 갖는다.
따라서, 도 5a 및 5b에서 설명된 것과 같이, 위상 보코더는 스펙트럼 정보 및 일시적 정보의 분리를 달성한다. 스펙트럼 정보는 각각의 채널에 대한 주파수의 직접 부분을 제공하는 특정 채널 혹은 주파수(fi)에 포함되는데, 반면에 일시적 정보는 각각 시간에 따른 주파수 편차 혹은 진도 진화(magnitude evolution)에 포함된다.
도 5c는 특히 위상 보코더(310)를 사용하여, 더 상세하게는, 도 5a에서 설명된 회로의 점선의 위치에서 삽입된, 본 발명에 따른 제 1 패치의 생성을 위하여 실행되는 것과 같은 조작이 도시된다.
시간 스케일링을 위하여, 예를 들면 각각의 채널에서의 진도 신호(A(t)) 혹은 각각의 채널에서의 주파수 신호(f(t))는 제거되거나 보간될 수 있다. 전치의 목적을 위하여, 본 발명에 유용한 것처럼, 예를 들면 신호 A(t) 및 f(t)의 일시적 확장 혹은 확산인, 보간(interpolation)은 확산 신호 A'(t) 및 f'(t)를 획득하기 위하여 실행되는데, 상기 보간은 확산 인자(598)에 의해 제어된다. 예를 들면 위상 보코더가 고조파 주파수를 생성하기 위하여, 확산 인자가 선택될 수 있다. 예를 들면 가산기(552)에 의한 일정한 주파수의 추가 전의 값인, 위상 변화의 보간에 의해 도 5a에서의 각각의 개별적인 진동기(502)의 주파수는 변경되지 않는다. 그러나 예를 들면 인자 2에 의해, 전체 오디오 신호의 일시적 변화는 느려진다. 결과는 예를 들면 고조파를 갖는 원래의 기본 파와 같은, 오리지널 피치를 갖는 일시적으로 확산되는 톤이다.
도 5c에서 설명된 신호 프로세싱을 실행함으로써, 예를 들면 인자 2의 제거에 의해 오디오 신호는 원래 기간으로 다시 줄어들 수 있으며, 반면에 모든 주파수는 동시에 두 배가 된다. 이는 인자 2에 의해 피치 전치에 이르게 하는데, 그러나 예를 들면 동일한 샘플 수와 같이, 오리지널 오디오 신호와 동일한 길이를 갖는 오디오 신호가 획득된다.
도 5a에서 설명된 필터대역 구현의 대안으로서, 도 6에서 설명되는 것과 같은 위상 보코더의 변환 구현이 또한 사용될 수 있다. 여기서, 오디오 신호(698)는 FFT 프로세서 내로 제공되거나, 혹은 더 일반적으로, 시간 샘플의 순서로서 단시간 푸리에 변환(Short-Time-Fourier-Transformation, STFT) 프로세서(600) 내로 제공된다. FFT 프로세서(600)는, 그리고 나서 그 다음의 FFT에 의해 두 진도 스펙트럼 및 또한 위상 스펙트럼을 계산하기 위하여 오디오 신호의 일시적 윈도윙(windowing)을 실행하도록 구현되는데, 상기 이러한 계산은 강하게 오버래핑되는 오디오 신호의 블록에 관한 연속적인 스펙트럼을 위하여 실행된다.
극단적인 경우에 있어서, 모든 새로운 오디오 신호에 대하여 새로운 스펙트럼이 계산될 수 있는데, 상기 새로운 스펙트럼은 또한 예를 들면 각각의 20번째 새로운 샘플에 대하여 계산될 수 있다. 두 스펙트럼 사이의 샘플에서의 거리 'a'는 바람직하게는 컨트롤러(602)에 의해 주어진다. 컨트롤러(602)는 나아가 중첩-가산(overlap-add) 방식에서 작용하도록 구현되는 IFFT 프로세서(604)를 제공하도록 구현된다. 특히, IFFT 프로세서(604)는 결과 시간 신호를 획득하기 위한 중첩-가산 방식을 실행하기 위하여, 진도 스펙트럼 및 위상 스펙트럼을 기초로 하여 스펙트럼당 하나의 IFFT를 실행함으로써 역 단시간 푸리에 변환을 실행하도록 구현된다. 중첩 가산 방식은 분석 윈도우에 의한 블로킹 효과를 제거하도록 설정된다.
시간 신호의 일시적 확산은 그것들이 IFFT 프로세서(604)에 의해 프로세스되기 때문에, FFT 스펙트럼의 생성에서 사용된 스펙트럼 사이의 거리 'a'보다 큰, 두 스펙트럼 사이의 거리 'b'에 의해 달성된다. 기본 개념은 분석 FFT보다 더 멀리 떨어져 있는 역 FFT에 의해 오디오 신호를 확산하는 것이다. 그 결과, 합성된 오디오 신호에서의 스펙트럼 변화는 오리지널 오디오 신호보다 더 느리게 발생한다.
그러나 블록 606에서의 위상 리스케일링(rescaling) 없이, 이것은 주파수 유물(frequency artifact)에 이를 수 있다. 예를 들면 45°에 의한 연속적인 위상 값을 구현하기 위한 하나의 단일 주파수 빈(frequency bin)이 고려될 때, 필터뱅크 내의 신호는 예를 들면 시간 간격당 45°에 의해 위상에서 주기의 ⅛ 비율로 증가하는 것을 의미하며, 여기서 상기 시간 간격은 연속적인 FFT 사이의 시간 간격이다. 만일 지금 역 FFT가 서로 더 멀리 떨어져 위치하면, 이는 긴 시간 간격에 걸쳐 45°위상 증가가 발생한다는 것을 의미한다. 이는 이러한 신호 부분의 주파수는 의도하지 않게 변경되었다는 것을 의미한다. 이러한 유물을 제거하기 위하여, 위상은 오디오 신호가 시간에 따라 확산되는 정확하게 동일한 요소에 의해 리스케일링된다. 따라서 FFT 스펙트럼 값 각각의 위상은 b/a 인자에 의해 증가되며, 그러므로 의도하지 않은 주파수 변경이 제거된다.
도 5c에서 설명된 실시 예에서 도 5a의 필터뱅크 구현에서 하나의 신호 발진기를 위하여 진도/주파수 제어 신호의 보간에 의한 확산이 달성되는 반면에, 도 6에서의 확산은 예를 들면 'b'가 'a'보다 큰, 두 FFT 스펙트럼 사이의 거리보다 큰 두 IFFT 스펙트럼 사이의 거리에 의해 달성되는데, 그러나 유물 방지를 위하여 'b/a' 비율에 따라 위상 리스케일링이 실행된다. 거리 'b'는, 예를 들면 위상 보코더가 고주파 주파수를 생성하기 위하여 선택될 수 있다.
도 7은 본 발명의 실시 예에 따라 입력 신호(102)로부터 대역폭 확장 신호(122)를 생성하기 위한 장치(700)의 블록 다이어그램을 도시한다. 장치(700)는 도 1에 도시된 장치와 유사하나, 파워 컨트롤러(710), 제 1 파워 조절 수단(730) 및 제 2 파워 조절 수단(730)을 포함한다. 파워 컨트롤러(710)는 제 1 파워 조절 수단(730)에 연결되며 제 2 파워 조절 수단(730)에 연결된다. 제 1 파워 조절 수단(730) 및 제 2 파워 조절 수단(730)은 패치 생성기(110)에 연결된다. 파워 컨트롤러(710)는 입력 신호에 의해 포함된 스펙트럼 포락 데이터 및 입력 신호에 의해 포함된 패치 스케일링 제어 데이터를 기초로 한 제 1 및 제 2 패칭 알고리즘에 따른 입력 신호의 스케일링을 제어할 수 있다. 대안으로, 입력 신호에 의해 포함된 패치 스케일링 제어 데이터 대신에, 적어도 하나의 패치 스케일링 제어 파라미터가 사용될 수 있다. 패치 스케일링 제어 파라미터는 패치-스케일링 제어 파라미터 메모리에 의해 저장될 수 있는데, 이는 파워 컨트롤러(710)의 일부 혹은 분리된 유닛일 수 있다. 제 1 파워 조절 수단(720)은 제 1 패칭 알고리즘에 따른 입력 신호(102)를 스케일할 수 있으며 제 2 파워 조절 수단(730)은 제 2 패칭 알고리즘에 따른 입력 신호(102)를 스케일할 수 있다. 바꾸어 말하면, 입력 신호(102)는 전처리될 수 있으며, 따라서 제 1 및 제 2 패치가 생성될 수 있으며, 따라서 대역폭 확장 신호는 스펙트럼 포락 기준을 만족시킨다. 이를 위하여, 스펙트럼 포락 데이터는 대역폭 확장 신호(122)의 스펙트럼 포락을 한정할 수 있으며 패치 스케일링 데이터 혹은 패치 스케일링 제어 파라미터는 제 1 패치(112) 및 제 2 패치(114) 사이의 비율을 설정할 수 있거나 혹은 제 1 패치(112) 및/또는 제 2 패치(114) 사이의 절대값을 설정할 수 있다. 제 1 파워 조절 수단(720) 및 제 2 파워 조절 수단(730)은 파워 컨트롤러(710)의 일부이거나 혹은 도 7에 도시되는 것과 같이 분리된 유닛일 수 있다. 파워 컨트롤러(710)는 패치 생성기(110)의 일부이거나 혹은 도 7에 도시되는 것과 같이 또한 분리된 유닛일 수 있다. 파워 조절 수단(720, 730)은 예를 들면, 증폭기(amplifier) 혹은 파워 컨트롤러(710)에 의해 제어되는 필터일 수 있다.
대안으로, 패치의 생성 후에 스케일링이 일어난다. 적절하게, 도 8은 본 발명의 실시 예에 따라 입력 신호(102)로부터 대역폭 확장 신호(122)를 생성하기 위한 장치(800)의 블록 다이어그램을 도시한다. 장치(800)는 도 7에 도시된 장치와 유사하나, 파워 조절 수단(720, 730)이 패치 생성기(110) 및 컴바이너(120) 사이에 배열된다. 이러한 실시 예에서, 패치 생성기(110)는 제 1 파워 조절 수단(720) 및 제 2 파워 조절 수단(730)과 연결된다. 제 1 파워 조절 수단(720) 및 제 2 파워 조절 수단(730)은 컴바이너(120)와 연결된다. 이러한 방법으로, 제 1 패치(112)는 제 1 패칭 알고리즘에 따른 제 1 파워 조절 수단(720)에 의해 스케일될 수 있으며 제 2 패치(114)는 제 2 패칭 알고리즘에 따른 제 2 파워 조절 수단(730)에 의해 스케일될 수 있다. 파워 조절 수단은 다시, 스펙트럼 포락 데이터 및 패치 스케일링 제어 데이터를 기초로 한 파워 컨트롤러(710)에 의하거나 혹은 앞에서 설명한 것과 같은 패치 스케일링 제어 파라미터에 의해 제어된다.
대안으로, 컴바이너(120)에 의해 패치를 결합하며 결합된 패치를 입력 신호(102)의 제 1 대역과 결합하기 전에 결합된 패치를 스케일링한 후에 두 패치 중에 단지 하나만을 스케일링하거나 혹은 파워 조절하는 것이 가능할 수 있다. 바꾸어 말하면, 처음의 하나의 패치는 두 패치 사이의 미리 정의된 비율(예를 들면, 패치 스케일링 제어 데이터를 기초로 하여)을 실현하도록 스케일될 수 있으며 그리고 나서 결합된 패치가 스펙트럼 포락 기준을 만족시키기 위하여 스케일된다(예를 들면, 스펙트럼 포락 데이터를 기초로 하여).
패치 스케일링 제어 데이터는 예를 들면, 파워 분배 스케일링을 위한 단순 계수 혹은 복수의 파라미터를 포함할 수 있다. 패치 스케일링 제어 데이터는 예를 들면, 전체 제 2 대역 혹은 전체 고 대역에 대한 제 1 패치 및 제 2 패치 사이의 파워 비율 혹은 전체 제 1 대역 및/또는 전체 고 대역에 대한 제 1 피치 및/또는 제 2 피치의 파워에 대한 절대값을 나타낼 수 있으며 적어도 하나의 파라미터에 의해 표현될 수 있다. 대안으로, 패치 스케일링 데이터는 또한 필터의 전송 기능을 나타냉 수 있다. 예를 들면, 제 1 패치를 스케일링하기 위한 필터의 전송 기능의 파라미터 및/또는 제 2 패치를 스케일링하기 위한 필터의 전송 기능의 파라미터는 입력 신호 내에 포함될 수 있다. 이러한 방법으로, 파라미터는 주파수의 기능을 나타낼 수 있다. 또 다른 대안은 제 1 패치 및 제 2 패치의 차동 기능을 나타내는 패치 스케일링 제어 파라미터일 수 있다. 이러한 실시 예에 따라, 입력 신호의 스케일링 혹은 제 1 패치 및 제 2 패치의 스케일링은 적어도 하나의 파라미터를 포함하는 패치 스케일링 제어 데이터를 기초로 할 수 있다.
도 9는 본 발명의 실시 예에 따라 입력 신호(102)로부터 대역폭 확장 신호(122)를 생성하기 위한 장치의 블록 다이어그램을 도시한다. 장치(900)는 도 8에 도시된 장치와 유사하나, 부가적으로 소음 가산기(noise adder, 910), 누락된 고조파 가산기(920), 소음 파워 조절 수단(noise power adjustment mean, 940) 및 누락된 고조파 파워 조절 수단(950)을 포함한다. 소음 가산기(910)는 컴바이너(120)와 연결되는, 소음 파워 조절 수단(940)과 연결된다. 누락된 고조파 가산기(920)는 컴바이너(120)와 연결되는, 누락된 고조파 파워 조절 수단(950)과 연결된다. 게다가, 파워 컨트롤러(710)는 소음 파워 조절 수단(940) 및 누락된 고조파 파워 조절 수단(950)과 연결된다. 소음 가산기(910)는 입력 신호(102)에 의해 포함되는 소음 데이터를 기초로 한 소음 패치(912)를 생성할 수 있다.
소음 패치(912)는 소음 파워 조절 수단(940)에 의해 스케일될 수 있다. 파워 컨트롤러(710)는 스펙트럼 포락 데이터 및/또는 입력 신호(102) 내에 포함된 소음 스케일링 데이터를 기초로 한 소음 파워 조절 수단(940)을 제어할 수 있다. 이러한 방법으로, 오리지널 신호의 소음은 대역폭 확장 신호의 오디오 품질을 향상시키기 위하여 근접될 수 있다.
누락된 고조파 가산기(920)는 입력 신호 내에 포함되는 누락된 고조파 데이터를 기초로 한 누락된 고조파 패치(922)를 생성할 수 있다. 누락된 고조파 패치(922)는 고조파 주파수를 포함할 수 있는데, 이는 오리지널 신호의 고 주파수 대역에서만 발생할 수 있으며, 따라서, 만일 입력 신호(102)의 제 1 대역과 관련하여 오리지널 신호의 저 주파수 대역의 정보만이 이용가능하면, 재생될 수 없다. 누락된 고조파 데이터는 이러한 누락된 고조파에 대한 정보를 제공할 수 있다. 누락된 고조파 패치(922)는 누락된 고조파 파워 조절 수단(950)에 의해 스케일될 수 있다. 파워 컨트롤러(710)는 스펙트럼 포락 데이터를 기초로 하거나 혹은 입력 신호(102)에 의해 포함된 누락된 고조파 스케일링 데이터를 기초로 한 누락된 고조파 파워 조절 수단(950)을 제어할 수 있다.
컴바이너(120)는 대역폭 확장 신호(122)를 획득하기 위하여 제 1 패치(112), 제 2 패치(114), 입력 신호(102)의 제 1 대역, 소음 패치(912) 및 누락 고조파 패치(922)를 결합할 수 있다. 파워 조절 수단과 결합하는 파워 컨트롤러(710)는 스펙트럼 포락 데이터를 기초로 한 제 1 패치(112), 제 2 패치(114), 입력 신호(102)의 제 1 대역, 소음 패치(912) 및 누락 고조파 패치(922)를 스케일할 수 있으며, 따라서 스펙트럼 포락 기준을 만족시킨다.
도 10은 본 발명의 실시 예에 따른 입력 신호(102)를 기초로 한 대역폭 감소 신호(1032)를 제공하기 위한 장치(1000)의 블록 다이어그램을 도시한다. 장치(1000)는 스펙트럼 포락 데이터 결정기(1010), 패치 스케일링 데이터 생성기(1020) 및 출력 인터페이스(1030)를 포함한다. 스펙트럼 포락 데이터 결정기(1010) 및 패치 스케일링 데이터 생성기(1020)는 출력 인터페이스(1030)에 연결된다. 스펙트럼 포락 데이터 결정기(1010)는 입력 신호(1002)의 고 주파수 대역을 기초로 한 스펙트럼 포락 데이터(1012)를 결정할 수 있다. 패치 스케일링 데이터 생성기(1020)는 디코더에 의한 대역폭 확장 신호가 스펙트럼 포락 기준을 만족시키기 위하여 디코더에서 대역폭 감소 신호(1032)를 스케일링하거나 혹은 디코더에 의해 제 1 패치 및 제 2 패치를 스케일링하기 위하여 패치 스케일링 제어 데이터(1022)를 생성할 수 있다. 스펙트럼 포락 기준은 스펙트럼 포락 데이터를 기초로 한다. 제 1 패치는 제 1 패칭 알고리즘에 따른 대역폭 감소 신호(1032)의 제 1 대역으로부터 생성되며 제 2 패치는 제 2 패칭 알고리즘에 따른 대역폭 감소 신호(1032)의 제 1 대역으로부터 생성된다. 제 2 패칭 알고리즘에 따라 생성된 제 2 패치의 스펙트럼 밀도는 제 1 패칭 알고리즘에 따라 생성된 제 1 패치의 스펙트럼 밀도보다 높다. 출력 인터페이스(1030)는 대역폭 감소 신호(1032)를 획득하기 위하여 입력 신호(1002)의 저 주파수 대역, 스펙트럼 포락 데이터(1012) 및 패치 스케일링 제어 데이터(1022)를 결합한다. 게다가. 출력 인터페이스(1030)는 전송 및 저장을 위하여 대역폭 감소 신호(1032)를 제공한다.
장치(1000)는 또한 입력 신호의 저 주파수 대역을 인코딩하기 위하여 코어 코더를 포함할 수 있다. 코어 코더는 예를 들면, 차동 인코더(differential encoder), 엔트로피 인코더(entropy encoder) 혹은 지각 오디오 인코더(perceptual audio encoder)일 수 있다.
장치(1000)는 위에서 설명한 디코더를 위한 신호를 제공하도록 설정된 인코더의 일부일 수 있다. 패치 스케일링 제어 데이터(1022)는 예를 들면 파워 분배 스케일링을 위한 단순 계수 혹은 복수의 파라미터를 포함할 수 있다. 패치 스케일링 제어 데이터는 예를 들면, 전체 고 주파수 대역에 대한 제 1 패치 및 제 2 패치 사이의 파워 비율 혹은 전체 고 주파수 대역에 대한 제 1 피치 및/또는 제 2 피치의 파워에 대한 절대값을 나타낼 수 있으며 적어도 하나의 파라미터에 의해 표현될 수 있다. 대안으로, 패치 스케일링 데이터는, 예를 들면 스펙트럼 대역폭 복제 애플리케이션에서 부대역(subband) 당 스펙트럼 포락 데이터와 유사한, 고 주파수 대역을 함께 구성하는 복수의 부대역 각각을 위하여 결정되는 계수를 포함한다. 예를 들면, 제 1 패치를 스케일링하기 위한 필터의 전송 기능의 파라미터 및/또는 제 2 패치를 스케일링하기 위한 필터의 전송 기능의 파라미터는 패치 스케일링 제어 데이터를 생성하기 위하여 결정될 수 있다. 이러한 방법으로, 파라미터는 주파수의 기능을 기초로 하여 생성될 수 있다. 또 다른 대안은 제 1 패치 및 제 2 패치의 차동 기능을 나타내는 패치 스케일링 제어 파라미터를 생성하는 것일 수 있다.
패치 스케일링 제어 데이터(1022)는 입력 신호(1002)를 분석하며 패치 스케일링 제어 데이터(1002)를 획득하기 위하여 입력 신호(1002)의 분석을 기초로 한 패치 스케일링 제어 파라미터 메모리에 저장된 패치 스케일링 제어 파라미터를 선택함으로써 생성될 수 있다.
대안으로, 패치 스케일링 제어 데이터(1022)의 생성은 합성 접근(synthesis approach)에 의한 분석에 의해 실현될 수 있다. 예를 들면, 패치 스케일링 제어 데이터 생성기(1020)는 부가적으로 패치 생성기(디코더를 위하여 설명한 바와 같이) 및 비교기(comparator)를 포함할 수 있다. 패치 생성기는 제 1 패칭 알고리즘에 따른 입력 신호(1002)의 저 주파수 대역으로부터 제 1 패치를 생성할 수 있으며 제 2 패칭 알고리즘에 따른 입력 신호(1002)의 저 주파수 대역으로부터 제 2 패치를 생성할 수 있다. 제 2 패칭 알고리즘에 따라 생성된 제 2 패치의 스펙트럼 밀도는 제 1 패칭 알고리즘에 따라 생성된 제 1 패치의 스펙트럼 밀도보다 높다. 비교기는 패치 스케일링 제어 데이터(1022)를 획득하기 위하여 제 1 패치, 제 2 패치 및 입력 신호의 고 주파수 대역을 비교할 수 있다. 바꾸어 말하면, 앞에서 설명한 개념은 또한 장치(1000)에 적용된다. 이러한 방법으로, 장치(1000)는 패치 혹은 예를 들면 오리지널 입력 신호일 수 있는, 입력 신호와 결합된 패치를 비교함으로써 패치 스케일링 제어 데이터(1022)를 추출할 수 있다. 부가하여, 장치(1000)는 또한 앞에서 설명한 것과 같은 스펙트럼 라인 선택기, 파워 컨트롤러, 소음 가산기 및/또는 누락된 고조파 가산기를 포함할 수 있다. 이러한 방법으로, 또한 소음 데이터, 소음 패치 스케일링 제어 데이터, 누락된 고조파 패치 스케일링 제어 데이터가 합성 접근에 의한 분석에 의해 추출될 수 있다.
본 발명에 따른 몇몇 실시 예들은 제 1 대역 및 제 2 대역을 포함하는 오디오 신호에 관한 것이다. 제 1 대역은 제 1 해상도 데이터에 의해 표현되며 제 2 대역은 제 2 해상도 데이터에 의해 표현되며, 상기 제 2 해상도는 제 1 해상도보다 낮다. 제 2 해상도 데이터는 제 2 대역의 스펙트럼 포락 데이터 및 디코더에서 오디오 신호를 스케일링하기 위하거나 혹은 디코더에 의한 제 1 패치 및 제 2 패치를 스케일링을 위한 제 2 대역의 패치 스케일링 제어 데이터를 기초로 하는데, 따라서 디코더에 의한 대역폭 확장 신호는 스펙트럼 포락 기준을 만족시킨다. 스펙트럼 포락 기준은 스펙트럼 포락 데이터를 기초로 한다. 제 1 패치는 제 1 패칭 알고리즘에 따른 오디오 신호의 제 1 대역으로부터 생성되며 제 2 패치는 제 2 패칭 알고리즘에 따른 오디오 신호의 제 1 대역으로부터 생성된다. 제 2 패칭 알고리즘에 따라 생성된 제 2 패치의 스펙트럼 밀도는 제 1 패칭 알고리즘에 따라 생성된 제 1 패치의 스펙트럼 밀도보다 높다.
오디오 신호는 예를 들면, 오리지널 오디오 신호를 기초로 한 대역폭 감소 신호일 수 있다. 오디오 신호의 제 1 대역은 고 해상도로 인코드된 오리지널 오디오 신호의 저 주파수 대역을 나타낼 수 있다. 오디오 신호의 제 2 대역은 오리지널 오디오 신호의 고 주파수 대역을 나타낼 수 있으며 적어도 두 개의 파라미터, 스펙트럼 포락 데이터에 의해 표현되는 스펙트럼 포락 파라미터 및 패치 스케일링 제어 데이터에 의해 나타나는 패치 스케일링 제어 파라미터에 의해 양자화된다. 그러한 오디오 신호를 기초로 하여, 위에서 설명한 개념에 따른 디코더는 알려진 개념과 비교하여 향상된 오디오 품질을 갖는 오리지널 오디오 신호의 우량의 근사치를 제공하는 대역폭 확장 신호를 생성할 수 있다.
도 11은 본 발명의 실시 예에 따른 입력 신호로부터 대역폭 확장 신호를 생성하기 위한 방법(1100)의 플로차트를 도시한다. 입력 신호는 제 1 해상도 데이터에 의해 제 1 대역을, 제 2 해상도 데이터에 의해 제 2 대역이 표현되며, 제 2 해상도는 제 1 해상도보다 낮다. 방법(1100)은 제 1 패치를 생성하는 단계(1110), 제2 패치를 생성하는 단계(1120), 입력 신호를 스케일링하거나(1130) 혹은 제 1 패치 및 제 2 패치를 스케일링하는 단계(1130) 및 대역폭 확장 신호를 획득하기 위하여 제 1 패치, 제 2 패치 및 입력 신호의 제 1 대역을 결합하는 단계(1140)를 포함한다. 제 1 패치는 제 1 패칭 알고리즘에 따른 입력 신호의 제 1 대역으로부터 생성되며(1110) 제 2 대역은 제 2 패칭 알고리즘에 따른 입력 신호의 제 1 대역으로부터 생성된다(1120). 제 2 패칭 알고리즘에 따라 생성된(1120) 제 2 패치의 스펙트럼 밀도는 제 1 패칭 알고리즘에 따라 생성된(1110) 제 1 패치의 스펙트럼 밀도보다 높다. 입력 신호는 제 1 패칭 알고리즘 및 제 2 패칭 알고리즘에 따라 스케일될 수 있으며(1130) 혹은 제 1 패치 및 제 2 패치가 스케일될 수 있는데(1130), 따라서 대역폭 확장 신호는 스펙트럼 포락 기준을 만족시킨다.
게다가, 방법(1100)은 위에서 설명한 개념에 따른 단계에 의해 확장될 수 있다. 방법(1100)은 예를 들면, 컴퓨터 혹은 마이크로 컨트롤러 상에서 구동하는 컴퓨터 프로그램으로 실현될 수 있다.
도 12는 본 발명의 실시 예에 따른 입력 신호를 기초로 한 대역폭 감소 신호를 제공하기 위한 방법(1200)의 플로차트를 도시한다. 방법(1200)은 입력 신호의 고 주파수 대역을 기초로 한 스펙트럼 포락 데이터를 결정하는 단계(1210), 패치 스케일링 제어 데이터를 생성하는 단계(1220), 대역폭 감소 신호를 획득하기 위하여 입력 신호의 저 주파수 대역, 스펙트럼 포락 데이터 및 패치 스케일링 제어 데이터를 결합하는 단계(1230) 및 전송 및 저장을 위하여 대역폭 감소 신호를 제공하는 단계(1240)를 포함한다. 패치 스케일링 제어 데이터는 디코더에 의해 생성된 대역폭 확장 신호가 스펙트럼 포락 기준을 만족시키기 위하여 디코더에서 대역폭 감소 신호를 스케일링하거나 혹은 디코더에 의해 제 1 패치 및 제 2 패치를 스케일링하기 위하여 생성된다(1220). 스펙트럼 포락 기준은 스펙트럼 포락 데이터를 기초로 한다. 제 1 패치는 제 1 패칭 알고리즘에 따른 대역폭 감소 신호의 저 주파수 대역으로부터 생성되며 제 2 패치는 제 2 패칭 알고리즘에 따른 대역폭 감소 신호의 저 주파수 대역으로부터 생성된다. 제 2 패칭 알고리즘에 따라 생성된 제 2 패치의 스펙트럼 밀도는 제 1 패칭 알고리즘에 따라 생성된 제 1 패치의 스펙트럼 밀도보다 높다.
게다가, 방법(1200)은 위에서 설명한 개념에 따른 단계에 의해 확장될 수 있다. 방법(1200)은 예를 들면, 컴퓨터 혹은 마이크로 컨트롤러 상에서 구동하는 컴퓨터 프로그램으로 실현될 수 있다.
본 발명에 따른 몇몇 실시 예들은 더 고밀도의 스펙트럼을 위하여 비-선형 왜곡 혹은 소음-충전과 결합된 대역폭 확장을 위하여 위상 보코더를 사용하여 대역폭 확장 신호를 생성하기 위한 장치에 관한 것이다. 스펙트럼 확산을 위하여 위상 보코더를 적용할 때, 주파수 라인은 더 떨어져 이동한다. 만일 예를 들면 양자화에 의해 스펙트럼 내에 갭이 존재한다면, 확산에 의해 동일한 것이 증가된다. 에너지 적응에 있어서, 스펙트럼 내의 나머지 라인이 너무 많은 에너지를 받는다. 이것은 소음에 의하거나 혹은 신호의 비-선형 왜곡에 의해 얻어질 수 있는 뒤따르는 고조파에 의해 갭을 채움으로써 예방된다. 이러한 방법으로, 더 많은 에너지가 나머지 라인 사이에 분배된다. 매우 적은 주파수 라인에 대한 대역에서의 에너지의 집중에 의해, 부자연스럽거나 혹은 금속성의 사운드가 생긴다. 이전의 더 많은 대역의 에너지는 나머지 대역에 합쳐진다.
만일 스펙트럼 내에 갭이 없으면, 그러나 적어도 소음이 존재한다면, 에너지의 일부가 소음 플로어(noise floor) 내에 남는다. 비-선형 왜곡을 적용함으로써, 한펴으로는 왜곡에 의해 생산되는 소음에 의해, 다른 한편으로는 왜곡되려는 신호 부분의 적절한 선택에 의해 조종되는 뒤따르는 고조파 부분에 의해 다시 밀집될 수 있다.
대역폭 확장 신호는 그리고 나서 예를 들면, 필터된 왜곡된 신호 및 위상 보코더의 도움으로 생성된 신호의 가중 합계일 수 있다. 바꾸어 말하면, 대역폭 확장 신호는 제 1 패치, 제 2 패치 및 입력 신호의 제 1 대역의 가중 합계일 수 있다.
본 발명에 따른 몇몇 실시 예들은 전 대역폭이 이용가능하지 않은 모든 오디오 적용에 적합한 개념에 관한 것이다. 예를 들면, 디지털 라디오 서비스, 인터넷 스트리밍(internet streaming) 혹은 다른 오디오 통신 애플리케이션을 사용하는 오디오 콘텐츠의 방송을 위하여, 설명된 개념이 적용될 수 있다.
본 발명이 몇몇 실시 예와 관련하여 설명되는 동안, 본 발명의 범위를 벗어나지 않는 변경, 치환, 및 균등물이 존재한다. 본 발명의 방법 및 구성을 구현하는 많은 대안의 방법들이 존재한다는 것 또한 주목해야만 한다. 그러므로 다음에서 첨부되는 청구항들은 본 발명의 진정한 정신 및 범위를 벗어나지 않는 그러한 변경, 치환, 및 균등물 모두를 포함하는 것으로 해석되어야만 한다.
특히, 상태에 따라, 본 발명의 구성은 또한 소프트웨어에서 구현될 수 있다. 구현은 디지털 저장 매체. 특히 플로피 디스크 혹은 상응하는 방법이 실행되도록 하기 위하여 프로그램 가능한 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독가능한 제어 신호를 갖는 시디(CD) 상일 수 있다. 일반적으로, 본 발명은 따라서 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때, 또한 본 발명의 방법을 실행하기 위하여 기계-판독가능한 캐리어 상에서 저장된 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로 이루어진다. 다른 말로 설명하면, 본 발명은 따라서 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때, 또한 본 발명의 방법을 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램으로 실현될 수 있다.
100 : 장치
102 : 입력 신호
110 : 패치 생성기
112 : 제 1 패치
114 : 제 2 패치
120 : 컴바이너
122 : 대역폭 확장 신호
202 : 제 1 대역
212 : 제 1 패칭 알고리즘
214 : 제 2 패칭 알고리즘
220 : 제 1 대역의 상한 주파수
300 : 장치
310 : 위상 보코더
320 : 진폭 클리퍼
380 : 불연속 지점
400 : 장치
410 : 스펙트럼 라인 선택기
414 : 제 2 패치
500 : 입력
501 : 밴드패스 필터
502 : 하류 발진기
503 : 컴바이너
510 : 출력
551 : 혼합기
552 : 가산기
553 : 로우패스
557 : 출력
558 : 위상 언랩퍼
559 : 위상/주파수 변환기
560 : 출력
598 : 확산 인자
600 : 단시간 푸리에 변환
602 : 컨트롤러
604 : IFFT 프로세서
698 : 오디오 신호
700 : 장치
710 : 파워 컨트롤러
720 : 제 1 파워 조절 수단
730 : 제 2 파워 조절 수단
800 : 장치
900 : 장치
910 : 소음 가산기
912 : 소음 패치
920 : 누락된 고조파 가산기
922 : 누락된 고조파 패치
940 : 소음 파워 조절 수단
950 : 누락된 고조파 파워 조절 수단
1000 : 장치
1002 : 입력 신호
1010 : 스펙트럼 포락 데이터
1012 : 스펙트럼 포락 데이터
1020 : 패치 스케일링 데이터 생성기
1022 : 패치 스케일링 제어 데이터
1030 : 출력 인터페이스
1032 : 대역폭 감소 신호
1302 : 저 주파수 대역
1312 : 이웃하는 패치
1314 : 그 다음 패치
1320 : 상한 주파수
102 : 입력 신호
110 : 패치 생성기
112 : 제 1 패치
114 : 제 2 패치
120 : 컴바이너
122 : 대역폭 확장 신호
202 : 제 1 대역
212 : 제 1 패칭 알고리즘
214 : 제 2 패칭 알고리즘
220 : 제 1 대역의 상한 주파수
300 : 장치
310 : 위상 보코더
320 : 진폭 클리퍼
380 : 불연속 지점
400 : 장치
410 : 스펙트럼 라인 선택기
414 : 제 2 패치
500 : 입력
501 : 밴드패스 필터
502 : 하류 발진기
503 : 컴바이너
510 : 출력
551 : 혼합기
552 : 가산기
553 : 로우패스
557 : 출력
558 : 위상 언랩퍼
559 : 위상/주파수 변환기
560 : 출력
598 : 확산 인자
600 : 단시간 푸리에 변환
602 : 컨트롤러
604 : IFFT 프로세서
698 : 오디오 신호
700 : 장치
710 : 파워 컨트롤러
720 : 제 1 파워 조절 수단
730 : 제 2 파워 조절 수단
800 : 장치
900 : 장치
910 : 소음 가산기
912 : 소음 패치
920 : 누락된 고조파 가산기
922 : 누락된 고조파 패치
940 : 소음 파워 조절 수단
950 : 누락된 고조파 파워 조절 수단
1000 : 장치
1002 : 입력 신호
1010 : 스펙트럼 포락 데이터
1012 : 스펙트럼 포락 데이터
1020 : 패치 스케일링 데이터 생성기
1022 : 패치 스케일링 제어 데이터
1030 : 출력 인터페이스
1032 : 대역폭 감소 신호
1302 : 저 주파수 대역
1312 : 이웃하는 패치
1314 : 그 다음 패치
1320 : 상한 주파수
Claims (17)
- 입력 신호가 제 1 해상도 데이터에 의해 제 1 대역으로 표현되며 제 2 해상도 데이터에 의해 제 2 대역으로 표현되며 제 2 해상도는 제 1 해상도보다 낮은 것을 특징으로 하는, 입력 신호(102)로부터 대역폭 확장 신호(122)를 생성하기 위한 장치(100; 300; 400; 700; 800; 900)에 있어서:
제 1 패칭 알고리즘에 따른 입력 신호(102)의 제 1 대역으로부터 제 1 패치(112)를 생성하도록 설정되고 제 2 패칭 알고리즘에 따른 입력 신호(102)의 제 2 대역으로부터 제 2 패치(114)를 생성하도록 설정되며, 상기 제 2 패칭 알고리즘에 따라 생성된 제 2 패치(114)의 스펙트럼 밀도는 제 1 패칭 알고리즘에 따라 생성된 제 1 패치(112)의 스펙트럼 밀도보다 높은 것을 특징으로 패치 생성기(110); 및
대역폭 확장 신호(122)를 획득하기 위하여 제 1 패치(112), 제 2 패치(114) 및 입력 신호(102)의 제 1 대역을 결합하도록 설정되는 컴바이너(120)를 포함하며,
상기 대역폭 확장 신호를 생성하기 위한 장치는 제 1 패칭 알고리즘 및 제 2 패칭 알고리즘에 따라 입력 신호(102)를 스케일하거나 혹은 제 1 패치(112) 및 제 2 패치(114)를 스케일하도록 설정되며, 따라서 대역폭 확장 신호는 스펙트럼 포락 기준을 만족시키는 것을 특징으로 하는 장치.
- 제 1항에 있어서, 상기 제 1패칭 알고리즘은 고조파 패칭 알고리즘이며 패치 생성기(110)는 제 1 패치(112)를 생성하도록 설정되며, 따라서 제 1 패치(112)에 의해 입력 신호(102)의 제 1 대역의 주파수의 다중 정수인 주파수만이 포함되는 것을 특징으로 하는 장치.
- 제 1항에 있어서, 상기 제 2 패칭 알고리즘은 혼합 패칭 알고리즘이며, 패치 생성기(110)는 제 2 패치(114)를 생성하도록 설정되며, 따라서 제 2 패치(114)는 입력 신호(102)의 제 1 대역의 주파수의 다중 정수인 주파수를 포함하고 입력 신호(102)의 제 1 대역의 주파수의 다중 정수가 아닌 주파수를 포함하는 것을 특징으로 하는 장치.
- 제 1항에 있어서, 상기 제 1 패치(112)의 하한 주파수는 제 2 패치(114)의 하한 주파수와 동일하며, 상기 제 1 패치(112)의 상한 주파수는 제 2 패치(114)의 상한 주파수와 동일한 것을 특징으로 하는 장치.
- 제 1항에 있어서, 제 1 패칭 알고리즘에 따른 제 1 패치(112)를 생성하도록 설정된 위상 보코더(310)를 포함하는 것을 특징으로 하는 장치.
- 제 1항에 있어서, 입력 신호(102)의 제 1 대역을 클리핑함으로써 제 2 패칭 알고리즘에 따른 제 2 패치(114)를 생성하도록 설정된 진폭 클리퍼(320)를 포함하는 것을 특징으로 하는 장치.
- 제 1항에 있어서, 변경된 제 2 패치(414)를 획득하기 위하여 제 2 패치(114)의 복수의 주파수 라인을 선택하도록 설정된 스펙트럼 라인 선택기(410)를 포함하며, 상기 주파수 라인은 만일 제 1 패치(112)의 상응하는 주파수 라인이 누락되면 선택되며, 상기 컴바이너(120)는 제 1 패치(112), 변경된 제 2 패치(414) 및 입력 신호(102)의 제 1 대역을 결합하도록 설정되는 것을 특징으로 하는 장치.
- 제 1항에 있어서, 제 1 및 제 2 패칭 알고리즘에 따른 입력 신호(102)의 스케일링을 제어하도록 설정되거나 혹은 제 1 패치(112) 및 제 2 패치(114)의 스케일링을 제어하도록 설정된 파워 컨트롤러(710)를 포함하며, 상기 파워 컨트롤러(710)는 입력 신호(102)에 의해 포함된 스펙트럼 포락 데이터 및 입력 신호(102)에 의해 포함된 적어도 하나의 저장된 패치 스케일링 제어 파라미터 혹은 패치 스케일링 제어 데이터를 기초로 한 스케일링을 제어하는 것을 특징으로 하는 장치.
- 제 8항에 있어서, 제 1 패칭 알고리즘에 따른 입력 신호(102)를 스케일하거나 혹은 제 1 패치(112)를 스케일하도록 설정된 제 1 파워 조절 수단(720)을 포함하고, 제 2 패칭 알고리즘에 따른 입력 신호(102)를 스케일하거나 혹은 제 2 패치(114)를 스케일하도록 설정된 제 2 파워 조절 수단(730)을 포함하며, 상기 파워 컨트롤러(710)는 제 1 파워 조절 수단(720) 및 제 2 파워 조절 수단(730)을 제어하도록 설정된 것을 특징으로 하는 장치.
- 제 8항에 있어서, 소음 가산기(910), 누락된 고조파 가산기(920)를 포함하며, 상기 소음 가산기(910)는 입력 신호(102)에 의해 포함된 소음 데이터를 기초로 한 소음 패치(912)를 생성하도록 설정되며, 상기 누락된 고조파 가산기(920)는 입력 신호(102)에 의해 포함된 누락된 고조파 데이터를 기초로 한 누락된 고조파 패치(922)를 생성하도록 설정되며, 상기 파워 컨트롤러(710)는 스펙트럼 포락 데이터를 기초로 한 소음 패치(912) 및 누락된 고조파 패치(922)의 스케일링을 제어하도록 설정되며, 상기 컴바이너(120)는 대역폭 확장 신호(122)를 획득하기 위하여 제 1 패치(112), 제 2 패치(114), 입력 신호(102)의 제 1 대역, 소음 패치(912) 및 누락된 고조파 패치(922)를 결합하도록 설정되며, 상기 파워 컨트롤러(710)는 스펙트럼 포락 데이터를 기초로 한 제 1 패치(112), 제 2 패치(114), 입력 신호(102)의 제 1 대역, 소음 패치(912) 및 누락된 고조파 패치(922)의 스케일링을 제어하며, 따라서 스펙트럼 포락 기준을 만족시키는 것을 특징으로 하는 장치.
- 입력 신호(1002)를 기초로 한 대역폭 확장 신호(1032)를 제공하기 위한 장치(1000)에 있어서:
입력 신호(1002)의 고 주파수 대역을 기초로 한 스펙트럼 포락 데이터(1012)를 결정하도록 설정된 스펙트럼 포락 데이터 결정기(1010);
디코더에 의한 대역폭 확장 신호가 스펙트럼 포락 기준을 만족시키기 위하여 디코더에서 대역폭 감소 신호(1032)를 스케일링하거나 혹은 디코더에 의해 제 1 패치 및 제 2 패치를 스케일링하기 위하여 패치 스케일링 제어 데이터(1022)를 생성하도록 설정되며, 상기 스펙트럼 포락 기준은 스펙트럼 포락 데이터(1012)를 기초로 하며 상기 제 1 패치는 제 1 패칭 알고리즘에 따른 대역폭 감소 신호(1032)의 제 1 대역으로부터 생성되고 제 2 패치는 제 2 패칭 알고리즘에 따른 대역폭 감소 신호(1032)의 제 1 대역으로부터 생성되며, 상기 제 2 패칭 알고리즘에 따라 생성된 제 2 패치의 스펙트럼 밀도는 제 1 패칭 알고리즘에 따라 생성된 제 1 패치의 스펙트럼 밀도보다 높은 것을 특징으로 하는 패치 스케일링 데이터 생성기(1020);
대역폭 감소 신호(1032)를 획득하기 위하여 입력 신호(1002)의 저 주파수 대역, 스펙트럼 포락 데이터(1012) 및 패치 스케일링 제어 데이터(1022)를 결합하도록 설정되며 전송 및 저장을 위하여 대역폭 감소 신호(1032)를 제공하도록 설정되는 출력 인터페이스(1030)를 포함하는 것을 특징으로 하는 장치.
- 제 11항에 있어서, 상기 패치 스케일링 데이터 생성기는:
제 1 패칭 알고리즘에 따른 입력 신호(1002)의 저 주파수 대역으로부터 제 1 패치를 생성하도록 설정되고 제 2 패칭 알고리즘에 따른 입력 신호(1002)의 저 주파수 대역으로부터 제 2 패치를 생성하도록 설정되며, 상기 제 2 패칭 알고리즘에 따라 생성된 제 2 패치의 스펙트럼 밀도는 제 1 패칭 알고리즘에 따라 생성된 제 1 패치의 스펙트럼 밀도보다 높은 것을 특징으로 하는 패치 생성기; 및
패치 스케일링 제어 데이터(1022)를 획득하기 위하여 제 1 패치, 제 2 패치 및 입력 신호(1002)의 고 주파수 대역을 비교하도록 설정된 비교기를 포함하는 것을 특징으로 하는 장치.
- 제 11항에 있어서, 복수의 패치 스케일링 제어 데이터를 저장하고 제공하도록 설정된 패치 스케일링 제어 파라미터 메모리를 포함하며, 상기 패치 스케일링 데이터 제어 데이터 생성기(1020)는 입력 신호(1002)를 분석하도록 설정되며 입력 신호(1002)의 분석을 기초로 하여 선택된 패치 스케일링 제어 파라미터를 기초로 한 패치 스케일링 제어 데이터(1022)를 생성하도록 설정된 것을 특징으로 하는 장치.
- 제 1 해상도 데이터에 의해 표현되는 제 1 대역; 및
제 2 해상도 데이터에 의해 표현되는 제 2 대역을 포함하며:
상기 제 2 해상도는 제 1 해상도보다 낮으며, 상기 제 2 해상도 데이터는 제 2 대역의 스펙트럼 포락 데이터 및 디코더에서 오디오 신호를 스케일링하기 위하거나 혹은 디코더에 의한 제 1 패치 및 제 2 패치를 스케일링하기 위한 제 2 대역의 패치 스케일링 제어 데이터를 기초로 하며, 따라서 디코더에 의한 대역폭 확장 신호는 스펙트럼 포락 기준을 만족시키며, 상기 스펙트럼 포락 기준은 스펙트럼 포락 데이터를 기초로 하며, 상기 제 1 패치는 제 1 패칭 알고리즘에 따른 오디오 신호의 제 1 대역으로부터 생성되고 제 2 패치는 제 2 패칭 알고리즘에 따른 오디오 신호의 제 1 대역으로부터 생성되며, 상기 제 2 패칭 알고리즘에 따라 생성된 제 2 패치의 스펙트럼 밀도는 제 1 패칭 알고리즘에 따라 생성된 제 1 패치의 스펙트럼 밀도보다 높은 것을 특징으로 하는 오디오 신호가 저장된 컴퓨터 판독가능한 매체.
- 입력 신호가 제 1 해상도 데이터에 의해 제 1 대역을, 제 2 해상도 데이터에 의해 제 2 대역이 표현되며, 상기 제 2 해상도는 제 1 해상도보다 낮은, 입력 신호로부터 대역폭 확장 신호를 생성하기 위한 방법(1100)에 있어서:
제 1 패칭 알고리즘에 따른 입력 신호의 제 1 대역으로부터 제 1 패치를 생성하는 단계(1110);
제 2 패칭 알고리즘에 따라 생성된(1120) 제 2 패치의 스펙트럼 밀도는 제 1 패칭 알고리즘에 따라 생성된(1110) 제 1 패치의 스펙트럼 밀도보다 높은 것을 특징으로 하는, 제 2 패칭 알고리즘에 따른 입력 신호의 제 1 대역으로부터 제 1 대역의 제 2 패치를 생성하는 단계(1120);
대역폭 확장 신호가 스펙트럼 포락 기준을 만족시키는, 제 1 패칭 알고리즘 및 제 2 패칭 알고리즘에 따라 입력 신호를 스케일하거나 혹은 제 1 패치 및 제 2 패치를 스케일하는 단계(1130); 및
대역폭 확장 신호를 획득하기 위하여 제 1 패치, 제 2 패치 및 입력 신호의 제 1 대역을 결합하는 단계(1140)를 포함하는 것을 특징으로 하는 방법,
- 입력 신호로부터 대역폭 감소 신호를 생성하기 위한 방법(1200)에 있어서:
입력 신호의 고 주파수 대역을 기초로 한 스펙트럼 포락 데이터를 결정하는 단계(1210);
스펙트럼 포락 기준은 스펙트럼 포락 데이터를 기초로 하며, 제 1 패치는 제 1 패칭 알고리즘에 따른 대역폭 감소 신호의 저 주파수 대역으로부터 생성되고 제 2 패치는 제 2 패칭 알고리즘에 따른 대역폭 감소 신호의 저 주파수 대역으로부터 생성되며, 상기 제 2 패칭 알고리즘에 따라 생성된 제 2 패치의 스펙트럼 밀도는 제 1 패칭 알고리즘에 따라 생성된 제 1 패치의 스펙트럼 밀도보다 높은 것을 특징으로 하는, 디코더에 의해 생성된 대역폭 확장 신호가 스펙트럼 포락 기준을 만족시키기 위하여 디코더에서 대역폭 감소 신호를 스케일링하기 위하거나 혹은 디코더에 의해 제 1 패치 및 제 2 패치를 스케일링하기 위하여 패치 스케일링 제어 데이터를 생성하는 단계(1220);
대역폭 감소 신호를 획득하기 위하여 입력 신호의 저 주파수 대역, 스펙트럼 포락 데이터 및 패치 스케일링 제어 데이터를 결합하는 단계(1230); 및
전송 및 저장을 위하여 대역폭 감소 신호를 제공하는 단계(1240)를 포함하는 것을 특징으로 하는 방법.
- 컴퓨터 프로그램이 컴퓨터 혹은 마이크로컨트롤러 상에서 구동할 때, 제 15항 혹은 16항에 따른 방법을 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이 저장된 컴퓨터 판독가능한 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US7984908P | 2008-07-11 | 2008-07-11 | |
| US61/079,849 | 2008-07-11 | ||
| PCT/EP2009/004603 WO2010003557A1 (en) | 2008-07-11 | 2009-06-25 | Apparatus and method for generating a bandwidth extended signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110033188A KR20110033188A (ko) | 2011-03-30 |
| KR101239812B1 true KR101239812B1 (ko) | 2013-03-06 |
Family
ID=41162740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020117000441A KR101239812B1 (ko) | 2008-07-11 | 2009-06-25 | 대역폭 확장 신호를 생성하기 위한 장치 및 방법 |
Country Status (18)
| Country | Link |
|---|---|
| EP (1) | EP2291842B1 (ko) |
| JP (1) | JP5255699B2 (ko) |
| KR (1) | KR101239812B1 (ko) |
| CN (1) | CN102105931B (ko) |
| AR (1) | AR072483A1 (ko) |
| AU (1) | AU2009267460B2 (ko) |
| BR (2) | BRPI0910528B1 (ko) |
| CA (1) | CA2729474C (ko) |
| CO (1) | CO6541514A2 (ko) |
| ES (1) | ES2461141T3 (ko) |
| HK (1) | HK1154112A1 (ko) |
| MX (1) | MX2011000365A (ko) |
| MY (1) | MY163454A (ko) |
| PL (1) | PL2291842T3 (ko) |
| RU (1) | RU2512090C2 (ko) |
| TW (1) | TWI415116B (ko) |
| WO (1) | WO2010003557A1 (ko) |
| ZA (1) | ZA201009164B (ko) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102478321B1 (ko) | 2010-01-19 | 2022-12-19 | 돌비 인터네셔널 에이비 | 고조파 전위에 기초하여 개선된 서브밴드 블록 |
| PL2545553T3 (pl) | 2010-03-09 | 2015-01-30 | Fraunhofer Ges Forschung | Urządzenie i sposób do przetwarzania sygnału audio z użyciem zrównania granicy obszaru |
| MX2012010350A (es) | 2010-03-09 | 2012-10-05 | Fraunhofer Ges Forschung | Aparato y metodo para manejar episodios de sonido de transitorios en señales de audio al cambiar el tono o velocidad de repeticion. |
| MY152376A (en) | 2010-03-09 | 2014-09-15 | Fraunhofer Ges Forschung | Improved magnitude response and temporal alignment in phase vocoder based bandwidth extension for audio signals |
| ES2719102T3 (es) * | 2010-04-16 | 2019-07-08 | Fraunhofer Ges Forschung | Aparato, procedimiento y programa informático para generar una señal de banda ancha que utiliza extensión de ancho de banda guiada y extensión de ancho de banda ciega |
| US12002476B2 (en) | 2010-07-19 | 2024-06-04 | Dolby International Ab | Processing of audio signals during high frequency reconstruction |
| KR101964180B1 (ko) * | 2010-07-19 | 2019-04-01 | 돌비 인터네셔널 에이비 | 고주파 복원 동안 오디오 신호들의 프로세싱 |
| KR102014696B1 (ko) | 2010-09-16 | 2019-08-27 | 돌비 인터네셔널 에이비 | 교차 곱 강화된 서브밴드 블록 기반 고조파 전위 |
| US8490008B2 (en) * | 2011-11-10 | 2013-07-16 | Research In Motion Limited | Touchscreen keyboard predictive display and generation of a set of characters |
| WO2013066238A2 (en) * | 2011-11-02 | 2013-05-10 | Telefonaktiebolaget L M Ericsson (Publ) | Generation of a high band extension of a bandwidth extended audio signal |
| CN102543086B (zh) * | 2011-12-16 | 2013-08-14 | 大连理工大学 | 一种基于音频水印的语音带宽扩展的装置和方法 |
| EP2704142B1 (en) * | 2012-08-27 | 2015-09-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for reproducing an audio signal, apparatus and method for generating a coded audio signal, computer program and coded audio signal |
| EP2709106A1 (en) * | 2012-09-17 | 2014-03-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal |
| EP2830060A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Noise filling in multichannel audio coding |
| US9564141B2 (en) * | 2014-02-13 | 2017-02-07 | Qualcomm Incorporated | Harmonic bandwidth extension of audio signals |
| EP2980795A1 (en) * | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor |
| JP2016038435A (ja) * | 2014-08-06 | 2016-03-22 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
| RU2589305C1 (ru) * | 2014-11-18 | 2016-07-10 | Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации | Способ генерации высокочастотных сигналов и устройство его реализации |
| WO2016149085A2 (en) * | 2015-03-13 | 2016-09-22 | Psyx Research, Inc. | System and method for dynamic recovery of audio data and compressed audio enhancement |
| EP3121814A1 (en) * | 2015-07-24 | 2017-01-25 | Sound object techology S.A. in organization | A method and a system for decomposition of acoustic signal into sound objects, a sound object and its use |
| TWI752166B (zh) | 2017-03-23 | 2022-01-11 | 瑞典商都比國際公司 | 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US654988A (en) * | 1900-03-16 | 1900-07-31 | Leonhard Lederer | Process of making acetyl cellulose. |
| US20040028244A1 (en) | 2001-07-13 | 2004-02-12 | Mineo Tsushima | Audio signal decoding device and audio signal encoding device |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5455888A (en) * | 1992-12-04 | 1995-10-03 | Northern Telecom Limited | Speech bandwidth extension method and apparatus |
| RU2256293C2 (ru) * | 1997-06-10 | 2005-07-10 | Коудинг Технолоджиз Аб | Усовершенствование исходного кодирования с использованием дублирования спектральной полосы |
| SE512719C2 (sv) * | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
| EP0945852A1 (en) * | 1998-03-25 | 1999-09-29 | BRITISH TELECOMMUNICATIONS public limited company | Speech synthesis |
| SE9903553D0 (sv) * | 1999-01-27 | 1999-10-01 | Lars Liljeryd | Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL) |
| SE0004163D0 (sv) * | 2000-11-14 | 2000-11-14 | Coding Technologies Sweden Ab | Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering |
| JP2005501278A (ja) * | 2001-08-31 | 2005-01-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 音声信号の帯域幅拡張 |
| JP4380174B2 (ja) * | 2003-02-27 | 2009-12-09 | 沖電気工業株式会社 | 帯域補正装置 |
| CN100550131C (zh) * | 2003-05-20 | 2009-10-14 | 松下电器产业株式会社 | 用于扩展音频信号的频带的方法及其装置 |
| JP2005010621A (ja) * | 2003-06-20 | 2005-01-13 | Matsushita Electric Ind Co Ltd | 音声帯域拡張装置及び帯域拡張方法 |
| BRPI0517246A (pt) * | 2004-10-28 | 2008-10-07 | Matsushita Electric Ind Co Ltd | aparelho de codificação escalável, aparelho de decodificação escalável e métodos para os mesmos |
| KR100647336B1 (ko) * | 2005-11-08 | 2006-11-23 | 삼성전자주식회사 | 적응적 시간/주파수 기반 오디오 부호화/복호화 장치 및방법 |
| JP5141180B2 (ja) * | 2006-11-09 | 2013-02-13 | ソニー株式会社 | 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体 |
-
2009
- 2009-06-25 KR KR1020117000441A patent/KR101239812B1/ko active IP Right Grant
- 2009-06-25 CN CN2009801270931A patent/CN102105931B/zh active Active
- 2009-06-25 WO PCT/EP2009/004603 patent/WO2010003557A1/en active Application Filing
- 2009-06-25 AU AU2009267460A patent/AU2009267460B2/en active Active
- 2009-06-25 ES ES09776840.2T patent/ES2461141T3/es active Active
- 2009-06-25 BR BRPI0910528-0A patent/BRPI0910528B1/pt active IP Right Grant
- 2009-06-25 EP EP09776840.2A patent/EP2291842B1/en active Active
- 2009-06-25 RU RU2011100134/08A patent/RU2512090C2/ru active
- 2009-06-25 MY MYPI2011000040A patent/MY163454A/en unknown
- 2009-06-25 CA CA2729474A patent/CA2729474C/en active Active
- 2009-06-25 PL PL09776840T patent/PL2291842T3/pl unknown
- 2009-06-25 BR BR122017003818-4A patent/BR122017003818B1/pt active IP Right Grant
- 2009-06-25 JP JP2011516992A patent/JP5255699B2/ja active Active
- 2009-06-25 MX MX2011000365A patent/MX2011000365A/es active IP Right Grant
- 2009-07-03 TW TW098122551A patent/TWI415116B/zh active
- 2009-07-07 AR ARP090102552A patent/AR072483A1/es active IP Right Grant
-
2010
- 2010-12-21 ZA ZA2010/09164A patent/ZA201009164B/en unknown
- 2010-12-29 CO CO10164070A patent/CO6541514A2/es active IP Right Grant
-
2011
- 2011-08-10 HK HK11108364.8A patent/HK1154112A1/xx unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US654988A (en) * | 1900-03-16 | 1900-07-31 | Leonhard Lederer | Process of making acetyl cellulose. |
| US20040028244A1 (en) | 2001-07-13 | 2004-02-12 | Mineo Tsushima | Audio signal decoding device and audio signal encoding device |
Non-Patent Citations (2)
| Title |
|---|
| "Spectral Band Replication, A novel approach in audio coding" Audio engineering society convention paper, Munich, Germany, vol.112, No.5553 * |
| "Spectral Band Replication, A novel approach in audio coding" Audio engineering society convention paper, Munich, Germany, vol.112, No.5553* |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2011100134A (ru) | 2012-07-20 |
| AU2009267460A1 (en) | 2010-01-14 |
| JP2011527452A (ja) | 2011-10-27 |
| CO6541514A2 (es) | 2012-10-16 |
| BRPI0910528B1 (pt) | 2020-09-24 |
| ZA201009164B (en) | 2011-10-26 |
| HK1154112A1 (en) | 2012-04-20 |
| WO2010003557A1 (en) | 2010-01-14 |
| BR122017003818A2 (pt) | 2019-09-03 |
| KR20110033188A (ko) | 2011-03-30 |
| RU2512090C2 (ru) | 2014-04-10 |
| BR122017003818B1 (pt) | 2024-03-05 |
| MX2011000365A (es) | 2011-02-25 |
| AR072483A1 (es) | 2010-09-01 |
| MY163454A (en) | 2017-09-15 |
| CN102105931B (zh) | 2013-04-10 |
| EP2291842B1 (en) | 2014-03-12 |
| AU2009267460B2 (en) | 2013-01-10 |
| TW201007708A (en) | 2010-02-16 |
| PL2291842T3 (pl) | 2014-08-29 |
| TWI415116B (zh) | 2013-11-11 |
| CA2729474A1 (en) | 2010-01-14 |
| JP5255699B2 (ja) | 2013-08-07 |
| ES2461141T3 (es) | 2014-05-16 |
| CN102105931A (zh) | 2011-06-22 |
| EP2291842A1 (en) | 2011-03-09 |
| CA2729474C (en) | 2015-09-01 |
| BRPI0910528A2 (pt) | 2018-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101239812B1 (ko) | 대역폭 확장 신호를 생성하기 위한 장치 및 방법 | |
| US11670316B2 (en) | Audio encoder and bandwidth extension decoder | |
| US8880410B2 (en) | Apparatus and method for generating a bandwidth extended signal | |
| AU2009210303B2 (en) | Device and method for a bandwidth extension of an audio signal | |
| JP2015526769A (ja) | 音声信号を再生するための装置および方法、符号化音声信号を生成するための装置および方法、コンピュータプログラム、および符号化音声信号 | |
| US20230343355A1 (en) | Apparatus and Method for Generating a Bandwidth Extended Signal | |
| KR102619434B1 (ko) | 펄스 프로세싱을 사용하여 주파수 향상 오디오 신호를 생성하기 위한 오디오 프로세서 및 방법 | |
| AU2015203736B2 (en) | Audio encoder and bandwidth extension decoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160128 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170217 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180220 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20190221 Year of fee payment: 7 |