EP2293594B1 - Procédé de filtrage des bruits latéraux non-stationnaires pour un dispositif audio multi-microphone, notamment un dispositif téléphonique "mains libres" pour véhicule automobile - Google Patents
Procédé de filtrage des bruits latéraux non-stationnaires pour un dispositif audio multi-microphone, notamment un dispositif téléphonique "mains libres" pour véhicule automobile Download PDFInfo
- Publication number
- EP2293594B1 EP2293594B1 EP10166119A EP10166119A EP2293594B1 EP 2293594 B1 EP2293594 B1 EP 2293594B1 EP 10166119 A EP10166119 A EP 10166119A EP 10166119 A EP10166119 A EP 10166119A EP 2293594 B1 EP2293594 B1 EP 2293594B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- noise
- transients
- probability
- speech
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001914 filtration Methods 0.000 title description 6
- 238000012545 processing Methods 0.000 claims description 17
- 230000009467 reduction Effects 0.000 claims description 7
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims 1
- 230000002123 temporal effect Effects 0.000 abstract description 3
- 230000001052 transient effect Effects 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 13
- 241001644893 Entandrophragma utile Species 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 206010019133 Hangover Diseases 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000003071 parasitic effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 241000135309 Processus Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000021183 entrée Nutrition 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02087—Noise filtering the noise being separate speech, e.g. cocktail party
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
- H04R2201/107—Monophonic and stereophonic headphones with microphone for two-way hands free communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/03—Synergistic effects of band splitting and sub-band processing
Definitions
- the invention relates to the treatment of speech in a noisy environment.
- microphone microphone
- noise that is a disruptive element that can go, in some cases, to make incomprehensible the speaker's words. It is the same if one wants to implement speech recognition techniques, because it is very difficult to perform a form recognition on words embedded in a high noise level.
- Some of these devices provide for the use of several microphones, usually two microphones, and use the average of the signals picked up, or other more complex operations, to obtain a signal with a lower level of interference.
- a so-called beamforming technique makes it possible to create, by software means, a directivity that improves the signal-to-noise ratio, but the performances of this technique are very limited when only two microphones are used.
- conventional techniques are especially adapted to the filtering of diffuse noise, stationary, coming from the surroundings of the device and found at comparable levels in the signals picked up by the two microphones.
- One of the aims of the invention is to take advantage of the multi-microphone structure of the device to operate a spatial detection of these nonstationary noises, then to discriminate, among all the nonstationary components (hereinafter "transients") those which are nonstationary noise components from those which are speech components, and finally to process the captured signal to effectively denoise it while minimizing the distortions introduced by this processing.
- transients those which are nonstationary noise components from those which are speech components
- lateral noise a directional non-stationary noise whose direction of arrival is far from that of the useful signal
- privileged cone the direction or angular sector of the space where the source is located of useful signal (the speech of the speaker) compared to the network of microphones.
- the starting point of the invention consists in associating the properties of temporal and frequency non-stationarity, on the one hand, and spatial directivity, on the other hand, to detect a type of noise that is usually difficult. to discriminate from the speech, then to deduce a probability of presence of the speech which will serve to attenuate this noise.
- the invention relates to a method of denoising a noisy acoustic signal picked up by a plurality of microphones of a multi-microphone audio device operating in a noisy environment.
- the noisy acoustic signal includes a speech component derived from a directional speech source and a noise noise component, said noise component itself including a directional non-stationary side noise component.
- the Figure 1 is a block diagram showing the different modules and functions implemented by the method of the invention as well as their interactions.
- the method of the invention is implemented by software means, which can be broken down and schematized by a number of modules 10 to 24 illustrated Figure 1 .
- the signal which one wishes to denoise comes from a plurality of signals picked up by a network of microphones (which, in the minimum configuration, can be simply a network of two microphones) arranged in a predetermined configuration.
- the microphone array captures the signal transmitted by the useful signal source (speech signal), and the difference in position between the microphones induces a set of phase shifts and amplitude variations in the recording of the signals emitted by the signal source. useful.
- n is the amplitude attenuation due to the energy loss between the position of the sound source s and the microphone
- ⁇ n is the phase shift between the signal transmitted and received by the microphone
- v n represents the value of the diffuse noise field at the microphone position.
- the delays ⁇ n can then be calculated from the angle ⁇ s , defined as the angle between the mediators of the pairs of microphones (n, m) and the reference direction corresponding to the source s of useful signal.
- the angle ⁇ s is zero.
- the signal in the time domain x n (t) coming from each of the N micros is digitized, cut into frames of T time points, temporally windowed by a Hanning type window, then the fast Fourier transform FFT (short-term transform) X n ( k, l ) is calculated for each of these signals:
- X not k l at not .
- d not k e - i ⁇ 2 ⁇ ⁇ ⁇ f k ⁇ ⁇ not 1 being the index of the time frame, k being the index of the frequency band, and f k being the center frequency of the frequency band indexed by k.
- the signals X n ( k, l ) can be combined with each other by a simple beamforming pre- filtering technique of the Delay and Sum type which is applied to obtain a partially denoised combined signal X ( k, I ):
- X k l 1 NOT ⁇ not ⁇ 1 NOT d not k ⁇ .
- X not k l 1 NOT ⁇ not ⁇ 1 NOT d not k ⁇ .
- this treatment provides only a slight improvement in the signal / noise ratio, of the order of 1 dB only.
- the angle ⁇ s is zero and it is a simple average that is made on both microphones.
- the purpose of this step is to calculate an estimate of the pseudo-stationary noise component V ( k, l ) present on the signal X ( k, l ).
- V ( k, l ) V ( k, l )
- MCRA pseudo-stationary minimum recursive averaging noise component
- Transients refers to all non-stationary signals, including both useful speech and sporadic non-stationary noises, which may have energy equivalent to or sometimes greater than useful speech (passing a vehicle, siren, horn, other people's words etc.).
- the processing performed by the block 16 consists only in calculating a probability p Trausient ( k, l ) of presence of transient signals, without distinction between useful speech and non-stationary noise noises.
- the algorithm is as follows:
- TSR min and TSR max are chosen so as to correspond to typical situations, close to reality.
- This calculation takes advantage of the fact that, unlike the pseudo-stationary component of the noise that is diffuse, the transients are often directional, that is to say from a point sound source (such as the mouth of the speaker for useful speech, or the engine of a motorcycle for a lateral noise). It is therefore advisable to calculate the direction of arrival of these signals, which will be generally well defined, and to compare this direction of arrival at the angle ⁇ s corresponding to the direction of origin (useful speech), so as to determine whether the non-stationary signal considered is useful or parasitic, and thus to discriminate between useful speech and non-stationary noise.
- the first step is to estimate the direction of arrival of the transient.
- the method used here is based on the use of the probability of transient ( k, 1 ) transient p- transients determined by block 18 as discussed above.
- Each angle ⁇ i is tested to determine the one that is closest to the direction of arrival of the non-stationary signal studied. To do this, we consider each pair of microphones ( n, m ) and we calculate an estimator corresponding direction of arrival P n, m ( ⁇ i , k , l ), whose module will be maximum when the angle ⁇ i tested is closest to the direction of arrival of the transient.
- Another method used here in a preferential way, consists in weighting the estimator P n, m ( ⁇ i , k, l ) by the probability of presence of transients p Transient ( k, l ) , and defining a new decision strategy.
- the estimate of angle ⁇ max is not made on each frequency band, but on each packet K j of frequency bands.
- the following step which is characteristic of the method of the invention, consists in calculating a probability of presence of speech based on the arrival direction estimation ⁇ ( k, l ) obtained in the manner indicated above.
- the probability p spa ( k, l ) can be calculated in different ways, giving a binary value or multiple values. Two examples of calculation p spa ( k, l ) are given below , given that other laws can be used to express p spa ( k, l ) from ⁇ ( k, l ) .
- the probability p spa ( k, l ) of the presence of speech calculated in block 20, itself dependent on the probability p Transient ( k, l ) of the presence of transients computed at block 16, will be used as input parameter in a classic technique of denoising.
- LSA Log-Spectral Amplitude
- the "OM-LSA” Optimally-Modified Log-Spectral Amplitude ) algorithm improves the calculation of the LSA gain to be applied by weighting it by the conditional probability of presence of speech.
- the probability of presence of speech occurs at two important moments, for the estimation of the noise energy and for the calculation of the final gain, and the probability p spa ( k, l ) will be used at these two levels. .
- the probability p spa ( k, l ) modulates the forgetting factor in the noise estimate, which is updated more rapidly on the noisy signal X ( k, l ) when the probability of speech is weak, this mechanism completely conditioning the quality of ⁇ Noise ( k, l ) .
- G H 1 ( k, l ) being a denoising gain (whose calculation depends on the noise estimate ⁇ Noise ) described in the aforementioned article by Cohen, and G min being a constant corresponding to the denoising applied when speech is considered absent.
- the probability p spa ( k, l ) plays a large role in the determination of G OM-LSA gain (k, l).
- the gain is equal to G min and a maximum noise reduction is applied: if, for example, a value of 20 dB is chosen for G min , the non-stationary noises previously detected are attenuated by 20 dB.
- This hybrid probability makes it possible to benefit from the identification of non-stationary noise associated with small values of p spa ( k, l ) , and to complete the estimation of the probability p hybrid ( k, l ) on parts ( k, l ).
- the direction of arrival estimate ⁇ ( k, l ) has not been defined (producing a probability p spa ( k, l ) forced to the value 1 for safety).
- the hybrid p hybrid probability ( k, l ) thus integrates both the non-stationary noises detected by p spa ( k, l ) and the other noises (for example pseudo-stationary) detected by p ( k, l ) .
- the last step consists in applying to the signal ⁇ ( k, l ) a fast inverse Fourier transform iFFT to obtain in the time domain the denoised speech signal ⁇ ( t ) .
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Circuit For Audible Band Transducer (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Description
- L'invention concerne le traitement de la parole en milieu bruité.
- Elle concerne notamment, mais de façon non limitative, le traitement des signaux de parole captés par des dispositifs de téléphonie pour véhicules automobiles.
- Ces appareils comportent un microphone ("micro") sensible captant non seulement la voix de l'utilisateur, mais également le bruit environnant, bruit qui constitue un élément perturbateur pouvant aller, dans certains cas, jusqu'à rendre incompréhensibles les paroles du locuteur. Il en est de même si l'on veut mettre en oeuvre des techniques de reconnaissance vocale, car il est très difficile d'opérer une reconnaissance de forme sur des mots noyés dans un niveau de bruit élevé.
- Cette difficulté liée aux bruits environnants est particulièrement contraignante dans le cas des dispositifs "mains-libres". En particulier, la distance importante entre le micro et le locuteur entraîne un niveau relatif de bruit élevé qui rend difficile l'extraction du signal utile noyé dans le bruit. De plus, le milieu très bruité typique de l'environnement automobile présente des caractéristiques spectrales non stationnaires, c'est-à-dire qui évoluent de manière imprévisible en fonction des conditions de conduite : passage sur des chaussées déformées ou pavées, autoradio en fonctionnement, etc.
- Certains de ces dispositifs prévoient l'utilisation de plusieurs micros, généralement deux micros, et utilisent la moyenne des signaux captés, ou d'autres opérations plus complexes, pour obtenir un signal avec un niveau de perturbations moindre. En particulier, une technique dite beamforming permet de créer par des moyens logiciels une directivité qui améliore le rapport signal/bruit, mais les performances de cette technique sont très limitées lorsque seulement deux microphones sont utilisés.
- Par ailleurs, les techniques classiques sont surtout adaptées au filtrage des bruits diffus, stationnaires, provenant des alentours du dispositif et se retrouvant à des niveaux comparables dans les signaux captés par les deux micros.
- En revanche, un bruit non stationnaire, c'est-à-dire évoluant de manière imprévisible en fonction du temps, ne sera pas discriminé de la parole et ne sera donc pas atténué.
- Or, dans un environnement automobile ces bruits non stationnaires et directifs sont très fréquents : coup de klaxon, passage d'un scooter, dépassement par une voiture, etc.
- L'une des difficultés du filtrage de ces bruits non stationnaires tient au fait que leurs caractéristiques temporelles et spatiales sont très proches de celles de la parole, d'où la difficulté d'une part, d'estimer la présence d'une parole (car le locuteur ne parle pas tout le temps) et d'autre part d'extraire le signal utile de parole dans un environnement très bruité tel qu'un habitacle de véhicule automobile.
- L'un des buts de l'invention est de mettre à profit la structure multi-microphone du dispositif pour opérer une détection spatiale de ces bruits non stationnaires, puis de discriminer, parmi toutes les composantes non stationnaires (ci-après "transients") celles qui sont des composantes de bruit non stationnaires d'avec celles qui sont des composantes de parole, et enfin de traiter le signal capté pour le débruiter de manière efficace tout en minimisant les distorsions introduites par ce traitement.
- Dans la suite, on appellera "bruit latéral" un bruit non stationnaire directif dont la direction d'arrivée est éloignée de celle du signal utile, et on appellera "cône privilégié" la direction ou secteur angulaire de l'espace où se trouve la source de signal utile (la parole du locuteur) par rapport au réseau de micros. Lorsqu'une source sonore se manifestera en dehors du cône privilégié, il s'agira donc d'un bruit latéral, que l'on cherchera à atténuer.
- Le point de départ de l'invention consiste à associer les propriétés de non-stationnarité temporelle et fréquentielle, d'une part, et de directivité spatiale, d'autre part, pour détecter un type de bruit qu'il est d'ordinaire difficile de discriminer de la parole, puis pour en déduire une probabilité de présence de la parole qui servira à atténuer ce bruit.
- Plus précisément, l'invention a pour objet un procédé de débruitage d'un signal acoustique bruité capté par une pluralité de microphones d'un dispositif audio multi-microphone opérant dans un milieu bruité. Le signal acoustique bruité comprend une composante utile de parole issue d'une source de parole directive et une composante parasite de bruit, cette composante de bruit incluant elle-même une composante de bruit latéral non stationnaire directif.
- Un tel procédé est par exemple divulgué par : 1. Cohen, Analysis of Two-Channel Generalized Sidelobe Canceller (GSC) with Post-Filtering, IEEE Transactions on Speech and Audio Processing, Vol. 11, No 6, November 2003, pp. 684-699.
- Essentiellement, et de façon caractéristique de l'invention, le procédé comporte les étapes suivantes de traitement, exécutées dans le domaine fréquentiel:
- a) combinaison de la pluralité de signaux captés par la pluralité correspondante de microphones en un signal combiné bruité ;
- b) à partir du signal combiné bruité, estimation d'une composante de bruit pseudo-stationnaire contenue dans ce signal combiné bruité ;
- c) à partir de la composante de bruit pseudo-stationnaire estimée à l'étape b) et du signal combiné bruité, calcul d'une probabilité de présence de transients dans le signal combiné bruité ;
- d) à partir de la pluralité de signaux captés par la pluralité correspondante de microphones et de la probabilité de présence de transients calculée à l'étape c), estimation d'une direction principale d'arrivée des transients ;
- e) à partir de la direction principale d'arrivée des transients estimée à l'étape d), calcul d'une probabilité de présence de parole sur un critère spatial, propre à discriminer entre parole utile et bruit latéral parmi les transients ;
- f) à partir de la probabilité de présence de parole calculée à l'étape e) et du signal combiné bruité, réduction sélective du bruit par application d'un gain variable propre à chaque bande de fréquences et à chaque trame temporelle.
- Selon diverses formes de mise en oeuvre subsidiaires avantageuses :
- le traitement de l'étape a) est un traitement de préfiltrage de type fixed beamforming ;
- le traitement de l'étape d) comprend les sous-étapes successives suivantes : d1) partition de l'espace en une pluralité de secteurs angulaires ; d2) pour chaque secteur, évaluation d'un estimateur de direction d'arrivée à partir de la pluralité de signaux captés par la pluralité correspondante de microphones ; d3) pondération de chaque estimateur par la probabilité de présence de transients calculée à l'étape c) ; d4) à partir des valeurs d'estimateurs pondérées calculées à l'étape d3), estimation d'une direction principale d'arrivée des transients ; et d5) validation ou invalidation de l'estimation de la direction principale d'arrivée des transients opérée à l'étape d4).
- à l'étape d5) l'estimation n'est validée que si la valeur de l'estimateur pondéré correspondant à la direction estimée est supérieure à un seuil prédéterminé, et/ou en l'absence de maximum local de l'estimateur pondéré dans le secteur angulaire d'origine du signal de parole utile, et/ou que si la valeur de l'estimateur est croissante de façon monotone sur une pluralité de trames temporelles successives ;
- le procédé comprend en outre une étape de maintien de l'estimation de la direction principale d'arrivée pendant un laps de temps minimal prédéterminé ;
- la probabilité de présence de parole calculée à l'étape e) est soit une probabilité binaire, prenant une valeur 1 ou 0 selon que la direction principale d'arrivée des transients estimée à l'étape d) est située ou non dans le secteur angulaire d'origine du signal de parole utile, soit une probabilité à valeurs multiples, fonction de l'écart angulaire entre la direction principale d'arrivée des transients estimée à l'étape d) et la direction d'origine du signal de parole utile ;
- le traitement de l'étape f) est un traitement de réduction sélective du bruit par application d'un gain à amplitude log-spectrale modifié optimisé OM-LSA.
- On va maintenant décrire un exemple de mise en oeuvre du procédé de l'invention en référence à la figure annexée.
- La
Figure 1 est un schéma par blocs montrant les différents modules et fonctions mis en oeuvre par le procédé de l'invention ainsi que leurs interactions. - Le procédé de l'invention est mis en oeuvre par des moyens logiciels, qu'il est possible de décomposer et schématiser par un certain nombre de modules 10 à 24 illustrés
Figure 1 . - Ces traitements sont mis en oeuvre sous forme d'algorithmes appropriés exécutés par un microcontrôleur ou un processeur numérique de signal. Bien que, pour la clarté de l'exposé, ces divers traitements soient présentés sous forme de modules distincts, ils mettent en oeuvre des éléments communs et correspondent en pratique à une pluralité de fonctions globalement exécutées par un même logiciel.
- Le signal que l'on souhaite débruiter est issu d'une pluralité de signaux captés par un réseau de micros (qui, dans la configuration minimale, peut être simplement un réseau de deux micros) disposés selon une configuration prédéterminée.
- Le réseau de micros capte le signal émis par la source de signal utile (signal de parole), et la différence de position entre les micros induit un ensemble de déphasages et variations d'amplitude dans l'enregistrement des signaux émis par la source de signal utile.
- Plus précisément, le micro d'indice n délivre un signal :
où an est l'atténuation d'amplitude due à la perte d'énergie entre la position de la source sonore s et le micro, τ n est le déphasage entre le signal émis et reçu par le micro et vn représente la valeur du champ de bruit diffus à la position du micro. - Dans la mesure où la source est éloignée d'au moins quelques centimètres des micros, on pourra faire l'approximation que la source sonore émet une onde plane. Les retards τ n pourront alors être calculés à partir de l'angle θ s, défini comme l'angle entre les médiatrices des couples de micros (n, m) et la direction de référence correspondant à la source s de signal utile. Lorsque le système considéré comporte deux micros dont la médiatrice coupe la source, l'angle θ s est nul.
- Le signal dans le domaine temporel xn (t) issu de chacun des N micros est numérisé, découpé en trames de T points temporels, fenêtré temporellement par une fenêtre de type Hanning, puis la transformée de Fourier rapide FFT (transformée à court terme) Xn (k, l) est calculée pour chacun de ces signaux :
avec :
1 étant l'indice de la trame temporelle,
k étant l'indice de la bande de fréquences, et
fk étant la fréquence centrale de la bande de fréquence indicée par k. -
- Il est à noter que, concrètement, le nombre de micros étant limité, ce traitement ne procure qu'une faible amélioration du rapport signal/bruit, de l'ordre de 1 dB seulement.
- Lorsque le système considéré comporte deux micros dont la médiatrice coupe la source, l'angle θ s est nul et il s'agit d'une simple moyenne qui est faite sur les deux microphones.
- Cette étape a pour objet de calculer une estimation de la composante de bruit pseudo-stationnaire V̂(k,l) présente sur le signal X(k,l).
- Il existe de très nombreuses publications sur ce sujet, l'estimation et la réduction du bruit pseudo-stationnaire étant en effet un problème classique assez bien résolu. Différentes méthodes sont efficaces et utilisables pour obtenir V̂(k,l), notamment un algorithme d'estimation de l'énergie de la composante de bruit pseudo-stationnaire à moyennage récursif par contrôle des minima (MCRA) comme celui décrit par I. Cohen et B. Berdugo, Noise Estimation by Minima Controlled Recursive Averaging for Robust Speech Enhancement, IEEE Signal Processing Letters, Vol. 9, No 1, pp. 12-15, Jan. 2002.
- Les "transients" désignent tous les signaux non-stationnaires, incluant aussi bien la parole utile que les bruits non-stationnaires sporadiques, qui peuvent avoir une énergie équivalente ou parfois supérieure à la parole utile (passage d'un véhicule, sirène, klaxon, parole d'autres personnes etc.).
- Il est possible de détecter ces transients à l'aide de l'estimation précédemment établie de la composante de bruit pseudo-stationnaire V̂(k,l), en retranchant cette dernière du signal global X(k,l).
- On verra plus loin (description détaillée des blocs 18 et 20) la manière dont il est possible de discriminer parmi ces transients entre ceux qui correspondent à la parole utile et ceux qui correspondent à des bruits non-stationnaires et qui ont des caractéristiques similaires à la parole utile. Le traitement opéré par le bloc 16 consiste seulement à calculer une probabilité pTrausient (k,l) de présence de signaux transients, sans distinction entre parole utile et bruits parasites non-stationnaires. L'algorithme est le suivant :
-
-
(i) Calculer le "Transient to Stationary Ratio" :
- (ii) Si TSR(k,l) ≤ TSR min :
- pTransient (k,l) = 0
- (iii) Si TSR(k,1) ≥ TSR max :
- pTransient (k,l) = 1
- (iv) Si TSR min < TSR(k,l) < TSR max :
- Les constantes TSR min et TSR max sont choisies de manière à correspondre à des situations typiques, proches de la réalité.
- Ce calcul tire parti du fait que, à la différence de la composante pseudo-stationnaire du bruit qui est diffuse, les transients sont souvent directifs, c'est-à-dire issus d'une source sonore ponctuelle (comme la bouche du locuteur pour la parole utile, ou le moteur d'une motocyclette pour un bruit latéral). Il est donc judicieux de calculer la direction d'arrivée de ces signaux, qui sera en général bien définie, et de comparer cette direction d'arrivée à l'angle θ s correspondant à la direction d'origine parole utile), de manière à déterminer si le signal non-stationnaire considéré est utile ou parasite, et d'effectuer ainsi la discrimination entre parole utile et bruit non-stationnaire.
- La première étape consiste à estimer la direction d'arrivée du transient. La méthode utilisée ici est basée sur l'utilisation de la probabilité de présence des transients pTransient (k,l) déterminée par le bloc 18 de la manière exposée plus haut.
- Plus précisément, on opère une partition de l'espace en secteurs angulaires, chacun correspondant à une direction définie par un angle θ i , i ∈ [1,M] (par exemple M=19, avec la collection d'angles {-90°,-80°...,o°,...+80°,+90°}). On notera qu'il n'y a aucun lien entre le nombre N de micros et le nombre M d'angles testés. Par exemple, il est tout à fait possible de tester une dizaine d'angles (M =10) avec un seul couple de micros (N = 2).
- Chaque angle θ i est testé de façon à déterminer celui qui est le plus proche de la direction d'arrivée du signal non-stationnaire étudié. Pour ce faire, on considère chaque couple de micros (n, m) et on calcule un estimateur de direction d'arrivée Pn,m (θ i ,k,l) correspondant, dont le module sera maximal lorsque l'angle θ i testé sera le plus proche de la direction d'arrivée du transient.
-
-
-
-
- L'intégration de la probabilité de présence de transients dans l'estimateur de direction d'arrivée présente trois avantages importants :
- l'estimation de direction est ciblée sur les parties non-stationnaires du signal (où la probabilité pTransient (k,l) est proche de 1), dont la direction d'arrivée est bien définie, ce qui rend l'estimation consistante ;
- l'estimation de direction est robuste au bruit diffus (où la probabilité pTransient (k,l) est proche de zéro), qui d'ordinaire perturbe les estimations de direction d'arrivée ;
- la fiabilité de l'estimateur PNewn,m (θ i,k,l) permet de distinguer plusieurs signaux non-stationnaires correspondant à différentes directions et simultanément présents (on verra plus bas que cette distinction peut se faire par bande de fréquences ou par analyse des maxima angulaires locaux sur une même bande de fréquences). Ainsi, si l'on a en même temps un signal de parole utile et un bruit latéral puissant, les deux types de signaux seront détectés, évitant que le signal de parole utile concomitant soit éliminé par erreur dans la suite du processus, même si son énergie est faible.
- On va maintenant expliciter les règles de décision permettant à partir de PNew :
- - soit de délivrer une estimation θ́(k,l) de la direction d'arrivée du transient,
- - soit d'indiquer qu'aucune estimation de direction d'arrivée ne peut être fournie, si ces règles ne sont pas satisfaites.
- 1°) Significaivité de PNew (θmax ,k,l) (θmax étant l'angle qui maximise la valeur ∥PNew (θ i,k,)∥)
Règle 1 :- Une estimation de direction ne peut être fournie que si ∥PNew (θmax,k,l)∥ dépasse un seuil donné PMIN,
- 2°) Monotonie de PNew sur l'intervalle |θ s - θmax ; θmax| (pour alléger les notations, dans la suite les barres de module de PNew seront enlevées)
Règle 2 :- Si θ max est en dehors du cône privilégié, une estimation d'angle ne sera validée que si Pnew augmente de façon monotone sur l'intervalle [θ s - θmax ; θmax ].
Le "bruit latéral" correspondra à un signal dont la direction d'arrivée est extérieure au cône privilégié, et l'on considèrera donc qu'un bruit latéral est présent si |θmax - θ s | dépasse le seuil θ0.
Pour valider cette détection d'un bruit latéral, il faut vérifier qu'un signal de parole utile ne se trouve pas simultanément à l'entrée du système.
Pour cela, PNew (θmzx,k,l) est confronté aux valeurs de PNew (θ i ,k,l) obtenues pour d'autres angles, notamment ceux qui appartiennent au cône privilégié. La règle permet ainsi de s'assurer qu'il n'y a pas de maximum local dans le cône privilégié.
- 1°) Significaivité de PNew (θmax ,k,l) (θmax étant l'angle qui maximise la valeur ∥PNew (θ i,k,)∥)
- 3°) Fiabilisation de la détection d'un bruit latéral
Règle 3 :- Si θmax est en dehors du cône privilégié pour la première fois sur la trame l considérée, une estimation d'angle ne sera validée que si :
et si
Si un bruit latéral est détecté, cette troisième règle tient compte des trames précédentes pour éviter les faux déclenchements. Elle ne s'applique qu'à la première trame d'un bruit latéral présumé, et vérifie que PNew (θmax,k,l) augmente de façon significative par rapport aux données correspondantes obtenues sur les cinq trames précédentes.
Les paramètres α1 et α2 sont choisis de manière à correspondre à des situations typiques, proches de la réalité.
Si les trois règles 1 à 3 ci-dessus sont vérifiées, l'estimation θ́(k,l) de la direction d'arrivée sera donnée par : θ́(k,l) = θmax.
- Si θmax est en dehors du cône privilégié pour la première fois sur la trame l considérée, une estimation d'angle ne sera validée que si :
- 4°) Stabilisation de la détection d'un bruit latéral :
- Les deux dernières règles sont destinées à empêcher les coupures dans la détection d'un bruit latéral. Après une période de détection, elles continuent à maintenir cet état pendant un laps de temps dit de hangover, quand bien même les règles de décision précédentes ne seraient plus vérifiées. Cela permet de détecter les éventuelles périodes à basse énergie d'un bruit non-stationnaire.
- Si θ́(k,l -1) est en dehors du cône privilégié (trame précédente), si cpt 1 ≤ HangoverTime 1 , (i.e. la période de Hangover n'est pas terminée),
- et si PNew (θ(k,l - 1), k,l) est supérieur à un seuil donné P 1 alors l'estimation d'angle est maintenue et cpt 1 est incrémenté.
- Si θ́(k, l -1) est en dehors du cône privilégié (trame précédente), si cpt2 ≤ HangoverTime 2 et si
- Si l'une de ces deux dernières règles (Règle n°4 ou n°5) est vérifiée, elle est prioritaire, et il en résulte : θ́(k,l) = θ́(k,l - 1), donc avec correction éventuelle de la valeur de θ́(k,l), qui ne sera pas égale à θ́max mais qui sera maintenue à sa valeur précédente.
- En résumé, le calcul de θ́(k,l) suit trois cas possibles :
- (i) si la règle n°4 ou n°5 est vérifiée, alors θ́(k,l) = θ́(k,l - 1) ;
- (ii) dans le cas contraire (ni la règle n°4, ni la règle n°5 n'est vérifiée), si les règles n°1, n°2 et n°3 sont vérifiées, alors θ́(k,l) = θmax ;
- (iii) sinon (ni la règle n°4, ni la règle n°5 n'est vérifiée, et l'une au moins des règles n°1, n°2 et n°3 n'est pas vérifiée), alors θ́(k,l) n'est pas défini.
-
- Cj désignant le cardinal de Kj .
- Dans ce cas, l'estimation d'angle θmax n'est pas faite sur chaque bande de fréquences, mais sur chaque paquet Kj de bandes de fréquences.
- On notera aussi qu'une approche "pleine bande" est possible (p = 1, un seul angle étant estimé par trame).
- On notera enfin que la méthode proposée est compatible avec l'utilisation de micros unidirectionnels. Dans ce cas il sera courant d'utiliser un réseau linéaire (micros alignés et dont les directions privilégiées sont identiques) et orienté vers le locuteur. Dans ce cas la valeur de θ s est donc naturellement connue et égale à zéro.
- L'étape suivante, caractéristique du procédé de l'invention, consiste à calculer une probabilité de présence de parole basée sur l'estimation de direction d'arrivée θ́(k,l) obtenue de la manière indiquée ci-dessus.
- Il s'agit d'une probabilité, notée pspa (k,l), qui a donc pour originalité d'être calculée sur un critère spatial (à partir de θ́(k,l)), et qui permettra de distinguer parmi les signaux non-stationnaires la parole utile des bruits parasites. Cette probabilité sera ensuite utilisée dans une structure classique de débruitage (bloc 22, décrit ci-après).
- La probabilité pspa (k,l) peut être calculée de différentes manières, donnant une valeur binaire ou bien des valeurs multiples. On donnera ci-dessous deux exemples de calcul pspa (k,l), sachant que d'autres lois peuvent être utilisées pour exprimer pspa (k,l) à partir de θ́(k,l).
- La probabilité de présence de parole prendra les valeurs '0' ou '1' :
- elle sera mise à '0' lorsqu'un bruit latéral, c'est-à-dire un transient provenant d'une direction extérieure au cône privilégié, est détecté ;
- elle sera mise à '1' lorsque la direction d'arrivée du transient est à l'intérieur du cône privilégié, ou lorsqu'aucune estimation fiable n'a pu être faite sur cette direction.
- L'algorithme correspondant est le suivant :
- Si θ́(k,l) est à l'intérieur du cône privilégié (|θ́(k,l) - θ s |≤θ0 ), alors pspa (k,l) = 1
- Si θ́(k,l) est à l'extérieur du cône privilégié (|θ́(k,l)-θ s | > θ0 ), alors pspa (k,l) = 0
- Si θ́(k,l) n'est pas défini, alors pspa (k,l) = 1
- Il est possible d'utiliser pour pspa (k,l) un calcul progressif, par exemple selon l'algorithme suivant :
- Si θ́(k,l) est à l'intérieur du cône privilégié |(θ́(k,l) - θ s |≤ θ0 ), alors pspa (k,l) = 1
- Si θ́(k,l) est à l'extérieur du cône privilégié (|θ́(k,1) - θs |>θ 0), alors
- Si θ́(k,l) n'est pas défini, alors pspa (k,l) = 1
- La probabilité pspa (k,l) de présence de parole calculée au bloc 20, dépendant elle-même de la probabilité pTransient (k,l) de présence de transients calculée au bloc 16, va être utilisée comme paramètre d'entrée dans une technique classique de débruitage.
- On sait que la probabilité de présence de parole est un estimateur crucial pour le bon fonctionnement d'un algorithme de débruitage, car elle soustend la bonne estimation du bruit et le calcul d'un gain optimal efficace. On peut avantageusement utiliser une méthode de débruitage de type OM-LSA (Optimally Modified - Log Spectral Amplitude) telle que celle décrite par : I. Cohen, Optimal Speech Enhancement Under Signal Presence Uncertainty Using Log-Spectral Amplitude Estimator, IEEE Signal Processing Letters, Vol. 9, No 4, April 2002.
- Essentiellement, l'application d'un gain nommé "gain LSA" (Log-Spectral Amplitude) permet de minimiser la distance quadratique moyenne entre le logarithme de l'amplitude du signal estimé et le logarithme de l'amplitude du signal de parole originel. Ce second critère se montre supérieur au premier car la distance choisie est en meilleure adéquation avec le comportement de l'oreille humaine et donne donc qualitativement de meilleurs résultats. Dans tous les cas, l'idée essentielle est de diminuer l'énergie des composantes fréquentielles très parasitées en leur appliquant un gain faible, tout en laissant intactes (par l'application d'un gain égal à 1) celles qui le sont peu ou pas du tout.
- L'algorithme "OM-LSA" (Optimally-Modified Log-Spectral Amplitude) améliore le calcul du gain LSA à appliquer en le pondérant par la probabilité conditionnelle de présence de parole.
- Dans cette méthode, la probabilité de présence de parole intervient à deux moments importants, pour l'estimation de l'énergie du bruit et pour le calcul du gain final, et la probabilité pspa (k,l) sera utilisée à ces deux niveaux.
-
- On peut noter ici que la probabilité pspa (k,l) module le facteur d'oubli dans l'estimation du bruit, qui est mise à jour plus rapidement sur le signal bruité X(k,l) lorsque la probabilité de parole est faible, ce mécanisme conditionnant entièrement la qualité de λ̂ Bruit (k,l).
-
- G H1(k,l) étant un gain de débruitage (dont le calcul dépend de l'estimation du bruit λ̂ Bruit ) décrit dans l'article précité de Cohen, et G min étant une constante correspondant au débruitage appliqué lorsque la parole est considérée comme absente.
- On note ici que la probabilité pspa (k,l) joue un grand rôle dans la détermination du gain GOM-LSA(k,l). Notamment, lorsque cette probabilité est nulle le gain est égal à G min et une réduction de bruit maximale est appliquée : si par exemple une valeur de 20 dB est choisie pour G min, les bruits non-stationnaires précédemment détectés sont atténués de 20 dB.
-
- On notera que d'ordinaire une telle structure de débruitage produit un résultat peu naturel et agressif sur les bruits non-stationnaires, qui sont confondus avec la parole utile. L'un des intérêts majeurs de la présente invention est d'éliminer efficacement ces bruits non-stationnaires.
- Par ailleurs, il est possible d'utiliser dans les expressions ci-dessus une probabilité de présence de parole hybride phybrid (k,l), c'est-à-dire calculée à l'aide de pspa (k,l) combinée à une autre probabilité de présence de parole p(k,l), par exemple calculée selon la méthode décrite dans le
WO 2007/099222 A1 (Parrot SA). Il vient : - Cette probabilité hybride permet de bénéficier du repérage des bruits non-stationnaires associé aux petites valeurs de pspa (k,l), et de compléter l'estimation de la probabilité phybrid (k,l) sur les parties (k,l) où l'estimation de direction d'arrivée θ́(k,l) n'a pas été définie (produisant une probabilité pspa (k,l) forcée à la valeur 1 par sécurité).
- La probabilité hybride phybrid (k,l) intègre ainsi à la fois les bruits non-stationnaires détectés par pspa (k,l) et les autres bruits (par exemple pseudo-stationnaires) détectés par p(k,l).
- La dernière étape consiste à appliquer au signal Ŝ(k,l) une transformée de Fourier rapide inverse iFFT pour obtenir dans le domaine temporel le signal de parole débruité ŝ(t).
Claims (10)
- Un procédé de débruitage d'un signal acoustique bruité capté par une pluralité de microphones d'un dispositif audio multi-microphone opérant dans un milieu bruité, notamment un dispositif téléphonique "mains libres" pour véhicule automobile,
le signal acoustique bruité comprenant une composante utile de parole issue d'une source de parole directive et une composante parasite de bruit, cette composante de bruit incluant elle-même une composante de bruit latéral non stationnaire directif,
procédé caractérisé en ce qu'il comporte, dans le domaine fréquentiel pour une pluralité de bandes de fréquences définies pour des trames temporelles successives de signal, les étapes de traitement du signal suivantes :a) combinaison (12) de la pluralité de signaux captés par la pluralité correspondante de microphones en un signal combiné bruité (X(k,l));b) à partir du signal combiné bruité, estimation (14) d'une composante de bruit pseudo-stationnaire (V̂(k,l)) contenue dans ce signal combiné bruité ;c) à partir de la composante de bruit pseudo-stationnaire estimée à l'étape b) et du signal combiné bruité, calcul (16) d'une probabilité de présence de transients (pTransient (k,l)) dans le signal combiné bruité ;d) à partir de la pluralité de signaux captés par la pluralité correspondante de microphones et de la probabilité de présence de transients calculée à l'étape c), estimation (18) d'une direction principale d'arrivée des transients (θ́(k,l)) ;e) à partir de la direction principale d'arrivée des transients estimée à l'étape d), calcul (20) d'une probabilité de présence de parole sur un critère spatial (pssp (k,l)), propre à discriminer entre parole utile et bruit latéral parmi les transients ;f) à partir de la probabilité de présence de parole calculée à l'étape e) et du signal combiné bruité, réduction sélective du bruit (22) par application d'un gain variable propre à chaque bande de fréquences et à chaque trame temporelle. - Le procédé de la revendication 1, dans lequel le traitement de l'étape a) est un traitement de préfiltrage de type fixed beamforming.
- Le procédé de la revendication 1, dans lequel le traitement de l'étape d) comprend les sous-étapes successives suivantes :d1) partition de l'espace en une pluralité de secteurs angulaires ;d2) pour chaque secteur, évaluation d'un estimateur de direction d'arrivée à partir de la pluralité de signaux captés par la pluralité correspondante de microphones ;d3) pondération de chaque estimateur par la probabilité de présence de transients calculée à l'étape c) ;d4) à partir des valeurs d'estimateurs pondérées calculées à l'étape d3), estimation d'une direction principale d'arrivée des transients ;d5) validation ou invalidation de l'estimation de la direction principale d'arrivée des transients opérée à l'étape d4).
- Le procédé de la revendication 3, dans lequel à l'étape d5) l'estimation n'est validée que si la valeur de l'estimateur pondéré correspondant à la direction estimée est supérieure à un seuil prédéterminé.
- Le procédé de la revendication 3, dans lequel à l'étape d5) l'estimation n'est validée qu'en l'absence de maximum local de l'estimateur pondéré dans le secteur angulaire d'origine du signal de parole utile.
- Le procédé de la revendication 3, dans lequel à l'étape d5) l'estimation n'est validée que si la valeur de l'estimateur est croissante de façon monotone sur une pluralité de trames temporelles successives.
- Le procédé de la revendication 3, comprenant en outre une étape de maintien de l'estimation de la direction principale d'arrivée pendant un laps de temps minimal prédéterminé.
- Le procédé de la revendication 1, dans lequel la probabilité de présence de parole calculée à l'étape e) est une probabilité binaire, prenant une valeur 1 ou 0 selon que la direction principale d'arrivée des transients
estimée à l'étape d) est située ou non dans le secteur angulaire d'origine du signal de parole utile. - Le procédé de la revendication 1, dans lequel la probabilité de présence de parole calculée à l'étape e) est une probabilité à valeurs multiples, fonction de l'écart angulaire entre la direction principale d'arrivée des transients estimée à l'étape d) et la direction d'origine du signal de parole utile.
- Le procédé de la revendication 1, dans lequel le traitement de l'étape f) est un traitement de réduction sélective du bruit par application d'un gain à amplitude log-spectrale modifié optimisé OM-LSA.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0955133A FR2948484B1 (fr) | 2009-07-23 | 2009-07-23 | Procede de filtrage des bruits lateraux non-stationnaires pour un dispositif audio multi-microphone, notamment un dispositif telephonique "mains libres" pour vehicule automobile |
Publications (2)
Publication Number | Publication Date |
---|---|
EP2293594A1 EP2293594A1 (fr) | 2011-03-09 |
EP2293594B1 true EP2293594B1 (fr) | 2011-11-02 |
Family
ID=41683233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP10166119A Active EP2293594B1 (fr) | 2009-07-23 | 2010-06-16 | Procédé de filtrage des bruits latéraux non-stationnaires pour un dispositif audio multi-microphone, notamment un dispositif téléphonique "mains libres" pour véhicule automobile |
Country Status (5)
Country | Link |
---|---|
US (1) | US8370140B2 (fr) |
EP (1) | EP2293594B1 (fr) |
AT (1) | ATE532345T1 (fr) |
ES (1) | ES2377056T3 (fr) |
FR (1) | FR2948484B1 (fr) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2948484B1 (fr) * | 2009-07-23 | 2011-07-29 | Parrot | Procede de filtrage des bruits lateraux non-stationnaires pour un dispositif audio multi-microphone, notamment un dispositif telephonique "mains libres" pour vehicule automobile |
TWI459828B (zh) * | 2010-03-08 | 2014-11-01 | Dolby Lab Licensing Corp | 在多頻道音訊中決定語音相關頻道的音量降低比例的方法及系統 |
JP5974901B2 (ja) * | 2011-02-01 | 2016-08-23 | 日本電気株式会社 | 有音区間分類装置、有音区間分類方法、及び有音区間分類プログラム |
US9626982B2 (en) * | 2011-02-15 | 2017-04-18 | Voiceage Corporation | Device and method for quantizing the gains of the adaptive and fixed contributions of the excitation in a CELP codec |
GB2491173A (en) * | 2011-05-26 | 2012-11-28 | Skype | Setting gain applied to an audio signal based on direction of arrival (DOA) information |
FR2976710B1 (fr) * | 2011-06-20 | 2013-07-05 | Parrot | Procede de debruitage pour equipement audio multi-microphones, notamment pour un systeme de telephonie "mains libres" |
GB2493327B (en) | 2011-07-05 | 2018-06-06 | Skype | Processing audio signals |
GB2495278A (en) | 2011-09-30 | 2013-04-10 | Skype | Processing received signals from a range of receiving angles to reduce interference |
GB2495472B (en) | 2011-09-30 | 2019-07-03 | Skype | Processing audio signals |
GB2495128B (en) | 2011-09-30 | 2018-04-04 | Skype | Processing signals |
GB2495129B (en) | 2011-09-30 | 2017-07-19 | Skype | Processing signals |
GB2495131A (en) | 2011-09-30 | 2013-04-03 | Skype | A mobile device includes a received-signal beamformer that adapts to motion of the mobile device |
GB2495130B (en) | 2011-09-30 | 2018-10-24 | Skype | Processing audio signals |
GB2496660B (en) | 2011-11-18 | 2014-06-04 | Skype | Processing audio signals |
GB201120392D0 (en) | 2011-11-25 | 2012-01-11 | Skype Ltd | Processing signals |
GB2497343B (en) | 2011-12-08 | 2014-11-26 | Skype | Processing audio signals |
US9291697B2 (en) * | 2012-04-13 | 2016-03-22 | Qualcomm Incorporated | Systems, methods, and apparatus for spatially directive filtering |
EP2660813B1 (fr) * | 2012-04-30 | 2014-12-17 | BlackBerry Limited | Authentification vocale à double microphone pour dispositif mobile |
JP6114915B2 (ja) * | 2013-03-25 | 2017-04-19 | パナソニックIpマネジメント株式会社 | 音声入力選択装置及び音声入力選択方法 |
US9449610B2 (en) * | 2013-11-07 | 2016-09-20 | Continental Automotive Systems, Inc. | Speech probability presence modifier improving log-MMSE based noise suppression performance |
EP3712635A1 (fr) | 2014-08-29 | 2020-09-23 | SZ DJI Technology Co., Ltd. | Véhicule aérien sans pilote (uav) pour recueil de données audio |
US9979724B2 (en) | 2015-02-06 | 2018-05-22 | NXT-ID, Inc. | Distributed method and system to improve collaborative services across multiple devices |
US9565493B2 (en) | 2015-04-30 | 2017-02-07 | Shure Acquisition Holdings, Inc. | Array microphone system and method of assembling the same |
US9554207B2 (en) | 2015-04-30 | 2017-01-24 | Shure Acquisition Holdings, Inc. | Offset cartridge microphones |
US10419428B2 (en) | 2015-07-05 | 2019-09-17 | NXT-ID, Inc. | System and method to authenticate electronics using electronic-metrics |
JP6501259B2 (ja) * | 2015-08-04 | 2019-04-17 | 本田技研工業株式会社 | 音声処理装置及び音声処理方法 |
US10367948B2 (en) | 2017-01-13 | 2019-07-30 | Shure Acquisition Holdings, Inc. | Post-mixing acoustic echo cancellation systems and methods |
JP7312180B2 (ja) * | 2017-12-29 | 2023-07-20 | ハーマン インターナショナル インダストリーズ, インコーポレイテッド | 遠端電気通信のための車室内音響雑音消去システム |
EP3804356A1 (fr) | 2018-06-01 | 2021-04-14 | Shure Acquisition Holdings, Inc. | Réseau de microphones à formation de motifs |
US11297423B2 (en) | 2018-06-15 | 2022-04-05 | Shure Acquisition Holdings, Inc. | Endfire linear array microphone |
US10699727B2 (en) | 2018-07-03 | 2020-06-30 | International Business Machines Corporation | Signal adaptive noise filter |
CN108985234B (zh) * | 2018-07-19 | 2021-08-31 | 沈阳建筑大学 | 一种适用于非高斯信号的贝叶斯小波包降噪方法 |
WO2020061353A1 (fr) | 2018-09-20 | 2020-03-26 | Shure Acquisition Holdings, Inc. | Forme de lobe réglable pour microphones en réseau |
JP7572964B2 (ja) | 2019-03-21 | 2024-10-24 | シュアー アクイジッション ホールディングス インコーポレイテッド | 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置 |
US11558693B2 (en) | 2019-03-21 | 2023-01-17 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality |
WO2020191354A1 (fr) | 2019-03-21 | 2020-09-24 | Shure Acquisition Holdings, Inc. | Boîtiers et caractéristiques de conception associées pour microphones matriciels de plafond |
US11445294B2 (en) | 2019-05-23 | 2022-09-13 | Shure Acquisition Holdings, Inc. | Steerable speaker array, system, and method for the same |
EP3977449A1 (fr) | 2019-05-31 | 2022-04-06 | Shure Acquisition Holdings, Inc. | Automélangeur à faible latence, à détection d'activité vocale et de bruit intégrée |
CN114467312A (zh) | 2019-08-23 | 2022-05-10 | 舒尔获得控股公司 | 具有改进方向性的二维麦克风阵列 |
WO2021087377A1 (fr) | 2019-11-01 | 2021-05-06 | Shure Acquisition Holdings, Inc. | Microphone de proximité |
US11552611B2 (en) | 2020-02-07 | 2023-01-10 | Shure Acquisition Holdings, Inc. | System and method for automatic adjustment of reference gain |
CN111564161B (zh) * | 2020-04-28 | 2023-07-07 | 世邦通信股份有限公司 | 智能抑制噪音的声音处理装置、方法、终端设备及可读介质 |
US11706562B2 (en) | 2020-05-29 | 2023-07-18 | Shure Acquisition Holdings, Inc. | Transducer steering and configuration systems and methods using a local positioning system |
WO2022165007A1 (fr) | 2021-01-28 | 2022-08-04 | Shure Acquisition Holdings, Inc. | Système de mise en forme hybride de faisceaux audio |
Family Cites Families (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2687496B1 (fr) * | 1992-02-18 | 1994-04-01 | Alcatel Radiotelephone | Procede de reduction de bruit acoustique dans un signal de parole. |
JP3453898B2 (ja) * | 1995-02-17 | 2003-10-06 | ソニー株式会社 | 音声信号の雑音低減方法及び装置 |
US6535666B1 (en) * | 1995-06-02 | 2003-03-18 | Trw Inc. | Method and apparatus for separating signals transmitted over a waveguide |
JP3591068B2 (ja) * | 1995-06-30 | 2004-11-17 | ソニー株式会社 | 音声信号の雑音低減方法 |
US6130949A (en) * | 1996-09-18 | 2000-10-10 | Nippon Telegraph And Telephone Corporation | Method and apparatus for separation of source, program recorded medium therefor, method and apparatus for detection of sound source zone, and program recorded medium therefor |
US6167375A (en) * | 1997-03-17 | 2000-12-26 | Kabushiki Kaisha Toshiba | Method for encoding and decoding a speech signal including background noise |
FI114422B (fi) * | 1997-09-04 | 2004-10-15 | Nokia Corp | Lähteen puheaktiviteetin tunnistus |
US6192134B1 (en) * | 1997-11-20 | 2001-02-20 | Conexant Systems, Inc. | System and method for a monolithic directional microphone array |
SE515674C2 (sv) * | 1997-12-05 | 2001-09-24 | Ericsson Telefon Ab L M | Apparat och metod för brusreducering |
DE19812697A1 (de) * | 1998-03-23 | 1999-09-30 | Volkswagen Ag | Verfahren und Einrichtung zum Betrieb einer Mikrofonanordnung, insbesondere in einem Kraftfahrzeug |
US7072831B1 (en) * | 1998-06-30 | 2006-07-04 | Lucent Technologies Inc. | Estimating the noise components of a signal |
JP4163294B2 (ja) * | 1998-07-31 | 2008-10-08 | 株式会社東芝 | 雑音抑圧処理装置および雑音抑圧処理方法 |
US6453285B1 (en) * | 1998-08-21 | 2002-09-17 | Polycom, Inc. | Speech activity detector for use in noise reduction system, and methods therefor |
US6289309B1 (en) * | 1998-12-16 | 2001-09-11 | Sarnoff Corporation | Noise spectrum tracking for speech enhancement |
US7062049B1 (en) * | 1999-03-09 | 2006-06-13 | Honda Giken Kogyo Kabushiki Kaisha | Active noise control system |
US6910011B1 (en) * | 1999-08-16 | 2005-06-21 | Haman Becker Automotive Systems - Wavemakers, Inc. | Noisy acoustic signal enhancement |
US7117149B1 (en) * | 1999-08-30 | 2006-10-03 | Harman Becker Automotive Systems-Wavemakers, Inc. | Sound source classification |
US6243322B1 (en) * | 1999-11-05 | 2001-06-05 | Wavemakers Research, Inc. | Method for estimating the distance of an acoustic signal |
US7072833B2 (en) * | 2000-06-02 | 2006-07-04 | Canon Kabushiki Kaisha | Speech processing system |
KR100898879B1 (ko) * | 2000-08-16 | 2009-05-25 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 부수 정보에 응답하여 하나 또는 그 이상의 파라메터를변조하는 오디오 또는 비디오 지각 코딩 시스템 |
US7117145B1 (en) * | 2000-10-19 | 2006-10-03 | Lear Corporation | Adaptive filter for speech enhancement in a noisy environment |
AU2002224413A1 (en) * | 2000-10-19 | 2002-04-29 | Lear Corporation | Transient processing for communication system |
US7617099B2 (en) * | 2001-02-12 | 2009-11-10 | FortMedia Inc. | Noise suppression by two-channel tandem spectrum modification for speech signal in an automobile |
DE10118653C2 (de) * | 2001-04-14 | 2003-03-27 | Daimler Chrysler Ag | Verfahren zur Geräuschreduktion |
US6959276B2 (en) * | 2001-09-27 | 2005-10-25 | Microsoft Corporation | Including the category of environmental noise when processing speech signals |
US6937980B2 (en) * | 2001-10-02 | 2005-08-30 | Telefonaktiebolaget Lm Ericsson (Publ) | Speech recognition using microphone antenna array |
US7171008B2 (en) * | 2002-02-05 | 2007-01-30 | Mh Acoustics, Llc | Reducing noise in audio systems |
JP4195267B2 (ja) * | 2002-03-14 | 2008-12-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 音声認識装置、その音声認識方法及びプログラム |
US7398209B2 (en) * | 2002-06-03 | 2008-07-08 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
US7084801B2 (en) * | 2002-06-05 | 2006-08-01 | Siemens Corporate Research, Inc. | Apparatus and method for estimating the direction of arrival of a source signal using a microphone array |
US8073157B2 (en) * | 2003-08-27 | 2011-12-06 | Sony Computer Entertainment Inc. | Methods and apparatus for targeted sound detection and characterization |
JP4352790B2 (ja) * | 2002-10-31 | 2009-10-28 | セイコーエプソン株式会社 | 音響モデル作成方法および音声認識装置ならびに音声認識装置を有する乗り物 |
US7949522B2 (en) * | 2003-02-21 | 2011-05-24 | Qnx Software Systems Co. | System for suppressing rain noise |
US7725315B2 (en) * | 2003-02-21 | 2010-05-25 | Qnx Software Systems (Wavemakers), Inc. | Minimization of transient noises in a voice signal |
US8073689B2 (en) * | 2003-02-21 | 2011-12-06 | Qnx Software Systems Co. | Repetitive transient noise removal |
EP1473964A3 (fr) * | 2003-05-02 | 2006-08-09 | Samsung Electronics Co., Ltd. | Réseau de microphones, méthode de traitement des signaux de ce réseau de microphones et méthode et système de reconnaissance de la parole en faisant usage |
DE102004005998B3 (de) * | 2004-02-06 | 2005-05-25 | Ruwisch, Dietmar, Dr. | Verfahren und Vorrichtung zur Separierung von Schallsignalen |
JP2005249816A (ja) * | 2004-03-01 | 2005-09-15 | Internatl Business Mach Corp <Ibm> | 信号強調装置、方法及びプログラム、並びに音声認識装置、方法及びプログラム |
CN101015001A (zh) * | 2004-09-07 | 2007-08-08 | 皇家飞利浦电子股份有限公司 | 提高了噪声抑制能力的电话装置 |
US7949520B2 (en) * | 2004-10-26 | 2011-05-24 | QNX Software Sytems Co. | Adaptive filter pitch extraction |
US8139787B2 (en) * | 2005-09-09 | 2012-03-20 | Simon Haykin | Method and device for binaural signal enhancement |
FR2898209B1 (fr) * | 2006-03-01 | 2008-12-12 | Parrot Sa | Procede de debruitage d'un signal audio |
JP5070873B2 (ja) * | 2006-08-09 | 2012-11-14 | 富士通株式会社 | 音源方向推定装置、音源方向推定方法、及びコンピュータプログラム |
EP1912472A1 (fr) * | 2006-10-10 | 2008-04-16 | Siemens Audiologische Technik GmbH | Procédé pour le fonctionnement d'une prothèse auditive and prothèse auditive |
FR2908003B1 (fr) * | 2006-10-26 | 2009-04-03 | Parrot Sa | Procede de reduction de l'echo acoustique residuel apres supression d'echo dans un dispositif"mains libres" |
US8098842B2 (en) * | 2007-03-29 | 2012-01-17 | Microsoft Corp. | Enhanced beamforming for arrays of directional microphones |
US8005237B2 (en) * | 2007-05-17 | 2011-08-23 | Microsoft Corp. | Sensor array beamformer post-processor |
GB0720473D0 (en) * | 2007-10-19 | 2007-11-28 | Univ Surrey | Accoustic source separation |
US8175291B2 (en) * | 2007-12-19 | 2012-05-08 | Qualcomm Incorporated | Systems, methods, and apparatus for multi-microphone based speech enhancement |
US8189807B2 (en) * | 2008-06-27 | 2012-05-29 | Microsoft Corporation | Satellite microphone array for video conferencing |
US8577677B2 (en) * | 2008-07-21 | 2013-11-05 | Samsung Electronics Co., Ltd. | Sound source separation method and system using beamforming technique |
US8392185B2 (en) * | 2008-08-20 | 2013-03-05 | Honda Motor Co., Ltd. | Speech recognition system and method for generating a mask of the system |
US8081772B2 (en) * | 2008-11-20 | 2011-12-20 | Gentex Corporation | Vehicular microphone assembly using fractional power phase normalization |
WO2010091077A1 (fr) * | 2009-02-03 | 2010-08-12 | University Of Ottawa | Procédé et système de réduction de bruit à multiples microphones |
FR2948484B1 (fr) * | 2009-07-23 | 2011-07-29 | Parrot | Procede de filtrage des bruits lateraux non-stationnaires pour un dispositif audio multi-microphone, notamment un dispositif telephonique "mains libres" pour vehicule automobile |
FR2950461B1 (fr) * | 2009-09-22 | 2011-10-21 | Parrot | Procede de filtrage optimise des bruits non stationnaires captes par un dispositif audio multi-microphone, notamment un dispositif telephonique "mains libres" pour vehicule automobile |
-
2009
- 2009-07-23 FR FR0955133A patent/FR2948484B1/fr not_active Expired - Fee Related
-
2010
- 2010-06-16 ES ES10166119T patent/ES2377056T3/es active Active
- 2010-06-16 EP EP10166119A patent/EP2293594B1/fr active Active
- 2010-06-16 AT AT10166119T patent/ATE532345T1/de active
- 2010-07-01 US US12/829,115 patent/US8370140B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP2293594A1 (fr) | 2011-03-09 |
US8370140B2 (en) | 2013-02-05 |
FR2948484A1 (fr) | 2011-01-28 |
FR2948484B1 (fr) | 2011-07-29 |
ES2377056T3 (es) | 2012-03-22 |
US20110054891A1 (en) | 2011-03-03 |
ATE532345T1 (de) | 2011-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2293594B1 (fr) | Procédé de filtrage des bruits latéraux non-stationnaires pour un dispositif audio multi-microphone, notamment un dispositif téléphonique "mains libres" pour véhicule automobile | |
EP2309499B1 (fr) | Procédé de filtrage optimisé des bruits non stationnaires captés par un dispositif audio multi-microphone, notamment un dispositif téléphonique "mains libres" pour véhicule automobile | |
EP2430825B1 (fr) | Procede de selection d'un microphone parmi deux microphones ou plus, pour un systeme de traitement de la parole tel qu'un dispositif telephonique "mains libres" operant dans un environnement bruite | |
EP1830349B1 (fr) | Procédé de débruitage d'un signal audio | |
EP2680262B1 (fr) | Procédé de débruitage d'un signal acoustique pour un dispositif audio multi-microphone opérant dans un milieu bruité | |
EP2772916B1 (fr) | Procédé de débruitage d'un signal audio par un algorithme à gain spectral variable à dureté modulable dynamiquement | |
EP2538409B1 (fr) | Procédé de débruitage pour équipement audio multi-microphones, notamment pour un système de téléphonie "mains libres" | |
EP1356461B1 (fr) | Procede et dispositif de reduction de bruit | |
EP2057835B1 (fr) | Procédé de réduction de l'écho acoustique résiduel après suppression d'écho dans un dispositif "mains libres" | |
EP2530673B1 (fr) | Equipement audio comprenant des moyens de débruitage d'un signal de parole par filtrage à délai fractionnaire | |
EP2262216B1 (fr) | Procédé de détection d'une situation de double parole pour dispositif téléphonique "mains libres" | |
EP3192073B1 (fr) | Discrimination et atténuation de pré-échos dans un signal audionumérique | |
US20200184994A1 (en) | System and method for acoustic localization of multiple sources using spatial pre-filtering | |
FR2906070A1 (fr) | Reduction de bruit multi-reference pour des applications vocales en environnement automobile | |
EP2515300B1 (fr) | Procédé et système de réduction du bruit | |
FR2906071A1 (fr) | Reduction de bruit multibande avec une reference de bruit non acoustique | |
WO2017207286A1 (fr) | Combine audio micro/casque comprenant des moyens de detection d'activite vocale multiples a classifieur supervise | |
FR3113537A1 (fr) | Procédé et dispositif électronique de réduction du bruit multicanale dans un signal audio comprenant une partie vocale, produit programme d’ordinateur associé | |
JP2020533619A (ja) | 有音音声検出の複雑性低減およびピッチ推定 | |
FR3106691A1 (fr) | Conversion de la parole par apprentissage statistique avec modélisation complexe des modifications temporelles | |
FR3142031A1 (fr) | Procédé d’égalisation d’un signal audiofréquences diffusé dans un environnement de diffusion, produit programme d’ordinateur et dispositif correspondant | |
FR2878399A1 (fr) | Dispositif et procede de debruitage a deux voies mettant en oeuvre une fonction de coherence associee a une utilisation de proprietes psychoacoustiques, et programme d'ordinateur correspondant |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20100616 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME RS |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: H04R 3/00 20060101AFI20110429BHEP Ipc: G10L 21/02 20060101ALI20110429BHEP Ipc: H04R 1/40 20060101ALI20110429BHEP |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 602010000359 Country of ref document: DE Effective date: 20111229 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: T3 |
|
REG | Reference to a national code |
Ref country code: ES Ref legal event code: FG2A Ref document number: 2377056 Country of ref document: ES Kind code of ref document: T3 Effective date: 20120322 |
|
LTIE | Lt: invalidation of european patent or patent extension |
Effective date: 20111102 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120302 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120202 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120203 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120302 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FD4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120202 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: IE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MK05 Ref document number: 532345 Country of ref document: AT Kind code of ref document: T Effective date: 20111102 |
|
26N | No opposition filed |
Effective date: 20120803 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 602010000359 Country of ref document: DE Effective date: 20120803 |
|
BERE | Be: lapsed |
Owner name: PARROT Effective date: 20120630 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: ES Payment date: 20120628 Year of fee payment: 3 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: MC Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120630 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120630 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120616 Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 |
|
REG | Reference to a national code |
Ref country code: ES Ref legal event code: FD2A Effective date: 20140707 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100616 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: ES Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20130617 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20140630 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20140630 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 6 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R081 Ref document number: 602010000359 Country of ref document: DE Owner name: PARROT AUTOMOTIVE, FR Free format text: FORMER OWNER: PARROT, PARIS, FR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: 732E Free format text: REGISTERED BETWEEN 20151029 AND 20151104 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: TP Owner name: PARROT AUTOMOTIVE, FR Effective date: 20151201 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: PD Owner name: PARROT AUTOMOTIVE; FR Free format text: DETAILS ASSIGNMENT: VERANDERING VAN EIGENAAR(S), OVERDRACHT; FORMER OWNER NAME: PARROT Effective date: 20151102 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 7 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 8 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 9 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: NL Payment date: 20180625 Year of fee payment: 9 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: SE Payment date: 20180716 Year of fee payment: 15 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: MM Effective date: 20190701 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: NL Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190701 Ref country code: IT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190616 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20230523 Year of fee payment: 14 Ref country code: DE Payment date: 20230523 Year of fee payment: 14 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20230523 Year of fee payment: 14 |