CN101894558A - 丢帧恢复方法、设备以及语音增强方法、设备和系统 - Google Patents

Abstract

本发明实施例公开了一种丢帧恢复方法、设备及语音增强方法、设备及系统。其中，上述丢帧恢复方法包括：根据丢失帧相邻的相邻帧类型确定丢失帧的类型；获取对相邻帧进行解参数后得到的特征参数，特征参数用于确定帧中编码数据的特征信息；根据相邻帧的特征参数以及各帧中编码数据特征信息之间的相关性，构建与丢失帧类型相符的特征参数；根据构建的丢失帧的特征参数恢复丢失帧。通过上述方法，可以实现参数域的丢帧恢复，减少恢复过程中消耗的系统资源。

Description

丢帧恢复方法、设备以及语音增强方法、设备和系统

技术领域

本发明涉及通信技术领域，尤其涉及一种丢帧恢复方法、设备以及一种语音增强方法、设备和系统。

背景技术

语音传输在通信领域有着广泛的应用，一个常见的语音传输系统如图1所示：原始语音数据(模拟信号)经过采样得到基于样点值的波形信号(数字信号)，再经过编码后形成以帧为基本单元的码流，并通过相应的传输网络(如IP网、TFO网)进行传输。由于受各种网络环境因素的制约，会出现网络拥塞以及抖动等现象，导致帧丢失，从而对语音质量造成影响。

为了实现语音增强(即提高语音质量)，现有技术一般都采用线性域(波形域)补偿的方法来对丢失的帧进行恢复，即先将编码后的相关帧进行完全解码，得到基于样点值的信号波形，再根据前一帧或后一帧的波形来恢复当前帧的波形，将恢复出来的波形(基于样点值)进行编码，恢复生成丢失的帧数据。

发明人在实现本发明的过程中，发现现有技术至少存在如下缺点：

由于现有技术在进行帧恢复时，需要先对相关帧进行解码，然后再根据解码后的相关帧的波形进行恢复；而解码过程往往需要消耗较多的系统资源(如内存占用、CPU占用率等)，因此，如果当网络条件较差，需要恢复的帧数据较多时，需要执行多次解码操作，从而大大增加了系统资源消耗。

发明内容

本发明实施例提供一种丢帧恢复方法、设备及语音增强方法、设备及系统，用于降低丢帧恢复过程中消耗的系统资源以及实现语音增强。

其中，本发明实施例提供了一种丢帧恢复方法，包括如下步骤：

根据与丢失帧相邻的相邻帧类型确定丢失帧的类型；

获取对相邻帧进行解参数后得到的特征参数，特征参数用于确定帧中编码数据的特征信息；

根据相邻帧的特征参数以及所述丢失帧与所述相邻帧中编码数据特征信息之间的相关性，构建与丢失帧类型相符的特征参数；

根据构建的丢失帧的特征参数恢复丢失帧。

本发明实施例还提供了一种语音增强方法，包括上述丢帧恢复方法，用于对语音帧进行丢失帧恢复，还包括：

在对丢失帧进行恢复后，通过在参数域实现自动回声控制、自动噪声抑制、抗削波、自动电平控制以及自动噪声补偿中的一种或多种技术对进行丢失帧恢复后的语音帧信号进行语音增强。

本发明实施例还提供了一种丢帧恢复设备，包括：

帧信息确定单元，用于根据与丢失帧相邻的相邻帧类型确定丢失帧的类型；

解参数单元，用于获取对相邻帧进行解参数后得到的特征参数，特征参数用于确定帧中编码数据的特征信息；

特征参数构建单元，用于根据相邻帧的特征参数以及所述丢失帧与所述相邻帧中编码数据特征信息之间的相关性，构建与丢失帧类型相符的特征参数；

恢复单元，用于根据构建的丢失帧的特征参数恢复丢失帧。

本发明实施例还包括一种语音增强设备，包括以上丢帧恢复设备，还包括以下几个语音增强单元中的一个或多个：：

自动回声控制单元，用于自动回声控制；

自动噪声抑制单元，用于自动噪声抑制；

抗削波单元，用于抗削波；

自动电平控制单元，用于自动电平控制；

自动噪声补偿单元，用于自动噪声补偿；

上述一个或多个语音增强单元对丢帧恢复设备进行丢失帧恢复后的语音帧进行解参数后得到特征参数，并利用解参数后得到的特征参数进行语音增强处理。

本发明实施例还提供了一种语音增强系统，包括：

第一基站，第一终端；第二基站，第二终端；上述丢帧恢复设备；

其中，第一基站与第一终端之间通过第一链路进行连接；第二基站与第二终端之间通过第二链路进行连接；第一基站与第二基站之间通过第三链路进行连接；

丢帧恢复设备用于对第一链路、第二链路或者第三链路中的一个或多个环节出现的丢帧进行恢复。

本发明实施例还提供了一种语音增强系统，包括：

第一基站，第一终端；第二基站，第二终端；上述语音增强设备；

其中，第一基站与第一终端之间通过第一链路进行连接；第二基站与第二终端之间通过第二链路进行连接；第一基站与第二基站之间通过第三链路进行连接；

语音增强设备用于对第一链路、第二链路或者第三链路中的一个或多个环节出现的丢帧进行恢复及实现上述一个或多个环节出现的语音增强。

上述技术方案中具有如下的优点：

本发明实施例中丢帧恢复方法及设备中，通过利用相邻帧的类型与特征参数来恢复丢失帧，由于解参数过程相比于完全解码到波形域的过程所消耗的资源要少得多，因此，通过本发明实施例恢复方法可以大大降低系统消耗的资源，在网络条件较差，存在很多丢失帧的情况下，这种效果更加明显。

同时，本发明实施例语音增强方法、设备及系统中，在基于丢帧恢复的基础上进行对帧进行解参数，并对解参数后得到的特征参数进行语音增强，可以在降低系统消耗的资源上更一步提升语音的质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术常见语音传输系统示意图；

图2为本发明实施例一方法流程示意图；

图3为本发明实施例一方法流程图；

图4为本发明实施例二加入模式选择的方法流程图；

图5为本发明实施例三采用AMR-NB进行语音增强示意图；

图6为本发明实施例三采用AMR-NB对丢失帧特征参数进行恢复的方法；

图7为本发明实施例四在基于丢失帧恢复基础上通过其他参数域进行语音增强的方法示意图；

图8为本发明实施例四中加入信号分类器对信号进行分类示意图；

图9为本发明实施例在参数域进行抗削波方法流程图；

图10为本发明实施例五丢帧恢复设备结构示意图；

图11为本发明实施例五丢帧恢复设备中帧信息确定单元结构示意图；

图12为本发明实施例五丢帧恢复设备包括模式选择单元时的结构示意图；

图13为本发明实施例五语音增强设备结构示意图；

图14为本发明实施例五语音增强设备一个具体硬件实现示意图；

图15为本发明实施例五语音增强设备另一个具体硬件实现示意图；

图16为本发明实施例六应用语音增强设备系统的示意图；

图17为本发明实施例六在全IP组网下TrFO场景下应用示意图；

图18为本发明实施例六在TFO场景下应用示意图；

图19为本发明实施例六在TDM场景下应用示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下将通过具体实施例和相关附图，对本发明作进一步详细说明。

实施例一

本发明实施例一提供了一种语音增强方法，参见图2，为本发明实施例一个流程示意图，在接收码流后，首先根据相邻帧的类型确定该丢失帧的类型，再利用对相邻帧进行解参数后得到的特征参数来构建丢失帧的特征参数，最后对构建的丢失帧的特征参数进行编码，恢复丢失帧。由于本发明实施例是通过解参数后通过得到特征参数来恢复丢失帧，因此，可以看成是一个在“参数域”进行恢复的过程。具体的，参见图3，本发明实施例包括如下步骤：

S101、根据与丢失帧相邻的相邻帧类型确定丢失帧的类型；

在确定根据相邻的帧的类型确定丢失帧类型之前，首先要确定丢失帧是哪一帧，以及丢失帧相邻的帧，以及这些相邻帧的类型。

其中，确定丢失帧以与其相邻的帧可以通过检测收到的帧中的帧序号，或者时间戳是否符合预设规则等方法来确定。

具体的，通过帧序号实现的方法是将每个帧按一定规则(如顺序递增)编上序号，如果接收到发现收到的多个帧序号不满足该规则(如顺序递增过程中中间少了个号)，则认为发生了丢帧，那么，该帧的前一帧或前几帧，后一帧或后几帧为该丢失帧的相邻帧。

上述收到的多个帧序号可以通过在收到帧数据时先对帧进行缓存，判断是否丢失帧时，解析缓存的帧数据得到；或者也可以在收到帧数据时先解析得到帧序号，将其缓存，在判断时直接读取缓存的帧序号时得到。后续其他与帧相关的数据(如时间戳、帧类型标志、特征参数等)都可以采用先缓存帧，使用时解析帧提取相关数据；或者直接在收到帧时先解析出这些数据进行缓存，需要用到时直接使用这些缓存的数据。

具体的，当采用时间戳实现时，每个帧在发送时会打上时间戳，接收端收到多个帧后，根据这些时间戳的先后顺序来判断是否发生丢帧。例如，假设正常时每隔1ms就会打上一个时间戳，接收端收到两个帧后，发现两帧间隔了2ms或2ms以上，则认为在这两个帧之间有帧丢失，这两个帧可认为是相邻帧，可以理解的是，前一相邻帧再往前的一帧或多帧以及再往后一相邻帧再往后一帧的一帧或多帧也可认为是相邻帧。

此外，在某一些情况下，如果通过检测发现收到的为错帧，则也可将这种情况认为该帧为丢失帧；当然，实际应用中，也可以不认为是丢失帧，而是按错帧的情况进行处理。

需要说明的是，上述丢失帧可以是一个或者多个，如果是多个，则恢复时先恢复第一个，然后再依次利用恢复的帧(也可以是一个或多个)来恢复后面的丢失帧。

在确定了帧丢失的情况，以及丢失帧的相邻帧后，便可以通过相邻帧的类型来确定丢失帧的类型。

其中，在确定帧的类型时，可以通过帧中的相应标志位来确定。例如，基于AMR-NB编码方式的帧在编码过程中，编码器在将语音数据编码成帧数据时，会在帧特定的位置通过标志位来表示帧的类型(如话音帧、舒适噪声帧、空帧等)；接收端只要接收到帧数据，便可以根据相应的标志位来确定帧的类型；基于EVRC(Enhanced Variable Rate Codec，增强型变速率语音编解码)的帧通过速率标志位以速率为类型区分不同类型的帧(如1/8速率，半速率，全速率等)。

通过以上方法确定丢失帧的相邻帧后，可以根据这些相邻帧的类型来确定丢失帧的类型。具体的，可以根据相邻帧的类型并结合实际帧传输情形，估计丢失帧最可能的类型，例如，假设码流中的帧类型包括A、B、C三种，实际应用中，大多数情况下这几种类型的帧会按A、B、C三种类型先后顺序传输，此时，如果丢失帧的前一帧为A、后一帧为C，那么丢失帧为B的概率为最大，可以在这种情况下认为该丢失帧的类型为B；或者，再结合根据最佳帧类型确定丢失帧的类型，例如，针对B帧，可能是好帧(没有损失的数据)，也可能是坏帧(如某一位或几位出错，但有一部分也能用)，这种情况下，都按是好帧(即最佳帧类型)的情况进行恢复。实际使用过程中，一般都会使用上述两种方案的结合，当然，也可以只基于其中一种方法进行恢复，本发明实施例并不进行限定。

S102、获取对相邻帧进行解参数后得到的特征参数，特征参数用于确定帧中编码数据的特征信息；

在进行解参数的过程中，由于进行编解码时基于的语音数字信号的模型可能不同，因此，进行解参数后得到的特征参数也会不同。例如，以基于CELP(Code Excited Linear Prediction，码激励线性预测编码)模型的解码器为例，输出的特征参数可以包括：线谱频率(LSF，Line Spectrum Frequency)或线谱对(LSP，Line Spectrum Pair)、基音延迟、自适应码书增益(Gain Pit)、固定码书增益(Gain Code)、反射系数等信息，其中，线谱频率以及线谱对是用于描述同一信息采用的两种不同表示方法，两者之间可以相互转化。以基于VSELP(Vector Sum Excited Linear Prediction，矢量和激励线性预测编码)模型为例，解参数后可以得到谱包络、帧能量等参数。上述特征参数的具体定义以及解参数的方法都已在相应的标准中有定义，本领域技术人员可以根据标准中的定义完成解参数的步骤，在此不再赘述。

其中，上述各个特征参数用于确定帧中编码数据的特征信息；这里的编码数据即对语音信号进行采样、编码后得到的数据；编码数据中的特征信息用于描述编码信号所对应的时域或频域的一些信息，而解参数后得到的特征参数即用于对这些特征信息进行描述或表示。例如，LSF/LSP描述了信号在频域上的包络特性；基音延迟描述了当前帧的基音与前一帧的差值；自适应码书增益描述了频域周期性最强的频谱分量的能量特性；固定码书增益描述了其他周期性较弱的频谱分量的能量特性。如果一个帧的特征参数确定了，那么就可以根据这些特征参数来对该帧进行恢复。

需要说明的是，当本发明实施例基于一个独立的设备时，上述解参数过程的由该独立设备的解参数单元来完成。而如果本发明实施例基于一个现有的设备，那么解参数功能可以由现有设备来完成，例如，现有设备为了转码或兼容需求，已有一个解码器，而该解码器在解码(解码到波形)过程中，也会输出特征参数，那么，就可以利用该解码器输出的特征参数；当然，这种情况下也可以不使用原有设备输出的特征参数，而是在本设备上通过一个解参数单元来完成特征参数的输出。

S103、根据相邻帧的特征参数以及所述丢失帧与相邻帧中编码数据特征信息之间的相关性，构建与丢失帧类型相符的特征参数；

确定丢失帧的类型后，需要构建与丢失帧类型相符的特征参数，例如，对于一些类型的丢失帧(话音帧)，恢复时只需要使用相邻帧中解参数出来的一种特征参数；而对于另一些类型的丢失帧(如信号帧)，需要使用多种特征参数。因此，根据不同类型的帧，需要构建与其类型相符的特征参数，这样才能根据这些构建的特征参数对丢失帧进行恢复。

需要说明的是，对于另一些类型的丢失帧(如静音帧等)，可以不进行恢复，直接透传到后级进行处理(如后级进行一些数据的填充)，具体处理方法在本发明实施例中不进行详细描述。

构建与丢失帧类型相符的特征参数根据相邻帧的特征参数以及各帧中编码数据特征信息之间的相关性来完成。这里的相关性也可以理解为表征各帧中编码数据的特征信息变化趋势。实际应用中，各帧中的编码数据的特征信息并非完全孤立的，很多情况下都是具有相关性的，如多个帧中编码数据的包络特性(通过LSF/LSP特征参数体现)会表现出增加，或者减少，或者有规律变化的趋势等，通过这种相关性(或变化趋势)，可以利用某一些帧来对另一些帧进行恢复。本发明实施例中，丢失帧中编码数据特征信息与相邻帧中的编码数据特征信息也会存在相关性，因此，可以通过相邻帧的特征参数(用于表征相邻帧中的特征信息)以及这种相关性来得到丢失帧的特征参数，例如，前2帧相邻帧特征参数(也可理解为特征信息，在此并不严格区分)为分别为2、4；后2帧分别为7，10，则可以看到各帧的相关性(变化趋势)为呈现增加的趋势，因此，可得到丢失帧在很大概率上为4-7之间的一个值。

在根据多个帧中编码数据特征信息之间的相关性进行丢失帧特征参数恢复时，选取的相邻帧数越多，判断这种相关性(或变化趋势)的准确度也越高，但同时引入的时延以及算法复杂度也会增加，实际使用中可以根据应用需求选择合适数量的相邻帧(如前2帧，或前后各一帧)来恢复丢失帧。

恢复丢失帧所采用的算法的实现形式并不唯一，例如，想恢复LSF/LSF参数时，一个简单的算法是将丢失帧的前后各一帧的LSF/LSF参数相加后取算术平均，来得到当前帧的LSF/LSF参数；或者，想恢复基音延迟参数时，将前一帧的基音延迟参数加上一固定值或者直接使用前一帧的基音延迟参数。

实际应用当中，为了取得更好性能的恢复效果，可以在利用丢失帧与相邻帧之间的相关性的基础上结合引入影响因子(或加权系数)等方式创建更优的算法，实现对丢失帧特征参数更准确的构建，例如，虽然有多个帧会与丢失帧相关，但因为相关性不同，所以需要对相关的帧的相关程度通过影响因子进行限定(加权)。影响因子的确定可以通过历史经验值或者测试值来得到，通过结合影响子，可以取得更好的恢复效果。

S104、根据构建的特征参数恢复丢失帧

构建完丢失帧的特征参数之后，便可以根据这些构建的特征参数恢复丢失帧，其具体实现也可参见标准相关定义，将这些特征参数编码后恢复成新的帧。同时，与解参数过程类型，根据本发明实施例基于的设备可以是由一个独立设备中的相关功能单元来完成，也可以基于原有设备中具有相应功能的单元来完成，在此并不限定。

本发明实施例中，通过利用相邻帧的类型与特征参数来恢复丢失帧，由于解参数过程相比于完全解码到波形域的过程所消耗的资源要少得多，因此，通过本发明实施例恢复方法可以大大降低系统消耗的资源，在网络条件较差，存在很多丢失帧的情况下，这种效果更加明显。

实施例二

本发明实施例基于上述实施例一，提供了一种基于不同工作模式的语音增强方法，为了应对实际应用中对传输质量与延迟的要求，在确定有丢失帧且需要对丢失帧进行恢复时，通过进入不同的模式来应对不同的实际应用场景。

这里的系统指的是应用了本发明实施例语音增强技术的系统；在该系统中，为了防止网络抖动(Jitter)，可能会设立抖动缓存(Jitter Buffer)，通过缓存一定量的帧，并进行重排序来防止抖动，通过抖动缓存的设置，使得传输更加稳定，提高了传输质量，但在另一方面却会造成延时。

当系统提供了Jitter Buffer时，在获取跟帧有关的数据(如序号、时间戳、类型等)时也可以从Jitter Buffer中去取(在这种情况下，Jitter Buffer需要支持提供某一接口，如标志位、接口函数等来供其他单元获取相关的信息)。通过利用系统提供的Jitter Buffer，可以不必再开辟一块缓存区缓存相关的数据，节省了存储空间，实现起来也更简单。当然，本发明实施例也可以不使用系统提供的Jitter Buffer，而再设计一个缓存(类似于实施例一中的用于缓存帧的缓存)来实现相应的功能。

由于系统的实际应用场景并不固定，不同的场景对传输质量与传输延时要求并不相同，有的应用场景对传输延时的要求比较高，有的则对传输质量要求比较高，因此，本发明实施例引入了两种工作模式来针对实际中可能会遇到的两种场景来满足可能会出现的场景，具体包括：延时模式(Delay Mode)以及非延时模式(Non-Delay Mode)，当进入延时模式时，用前一帧(或前几帧)和后一帧(后几帧)进行恢复，以保证对质量的要求；当进入非延时模式时，只用前一帧(或前几帧)进行恢复，以保证对时延的要求。

具体的，参见图4；包括如下步骤：

S201、判断系统是否进入延时模式，如果是，执行步骤S202；否执，执行步骤S203；

其中，是否进入延时模式可以根据是否有抖动缓存(或者抖动缓存是否工作)，以及是否接收到下一帧来判断。具体的，包括如下步骤：

S211、判断是否存在抖动缓存(Jitter Buffer)；如果是，执行步骤S212，否则，判断为进入非延迟模式执行步骤S203；

S212、判断是否接收到下一帧；如果是，执行步骤S202，否则，判断为进入非延迟模式，执行步骤S203；

如果在准备发送最近接收到的帧数据时，已经收到下一帧，则判定进行入延迟模式，利用前后帧的特征参数进行恢复；否则，为了减少延时，进入非延迟模式，仅使用前帧(前一帧或前几帧)的特征参数进行恢复。

S202、进入延迟模式，利用前后帧的特征参数进行恢复；

在延迟模式下，可以利用前后帧的特征参数进行恢复，此时，相邻帧包括前后帧。本发明例中，仅使用前后各一帧的特征参数进行恢复，但实际使用中，也可以使用前一帧或多帧以及后一帧或多帧的特征参数来恢复。由于用到了前后相邻帧的数据，因此，准确性相对较高，满足了对质量的要求。

S203、进入非延迟模式，利用前帧的特征参数进行恢复；

在非延迟模式下，对延时的要求比较严格，因此，仅使用前一帧(或前几帧)来恢复，此时，相邻帧指的是前帧。由于只使用前一帧(或前几帧)，相比于S202中的方案，需要缓存的帧也会减少(不需要缓存后几帧)，因此，引入的时延也会减少；同时，少了后一帧或后几帧的特征参数作为参考，在算法实现上也会更加快捷，从而能更快地进行恢复，但由于少了后一帧或后几帧的特征参数作为参考，其准确性可能会不如延迟模式下得到的结果。

实际使用过程中，除了上述判断方法外，也可以通过其他类似的方法来选择进入的模式，在此并不限定。例如：可以通过手动配套结合自动检测的方法来进入相应的模式，具体的，用户可以通过相应的程序接口根据实际需求配置某个参数来决定要进入的模式，系统运行时读取该参数来决定选择进入哪种模式；

或者，结合上述两种方法，系统通过步骤S201的方法以及读取用户手动配置的参数，判断是否一致，如果一致，则进入相应的模式；如果不一致，则根据一定的算法(如通过判断两种方法的优先级)选择其中一个模式。

本发明实施例通过设定两种模式(延迟模式以及非延迟模式)，在系统运行时，可以根据实际情况自动选择或者通过人工手动配置进入哪种模式，满足了不同场景下对传输质量及传输时延的要求。

实施例三

本发明实施例基于上述实施例，以系统采用AMR-NB(Adaptive Multi-RateNarrow-Band，自适应多码率-窄带)编码为例对语音增强技术进行详细说明，参见图5，包括如下步骤：

S301、获取帧数据；

获取帧数据可以是直接获取前端处理后的帧数据，或者在本端增加一个接收单元通过解析网络传输的数据包(Packet)得到。在实际应用中，为了适应各种网络传输协议，编码后的帧都会根据网络传输类型进行打包(如打成IP包、RTP包等)，每个包一般包括只包含一个帧，这样即使发生丢包的情形式，损失的帧也比较少，可以提高传输的可靠性；在一些需要传输多路数据的应用场景下，一个包也可能包含多个帧，但多个帧分别属于多个用户，即一个用户对应于包中的一帧数据，这样也是为了在发生丢包情形时不至于损失过多的帧数据。

在本发明实施例中，为了说明方便，以一个数据包只含有一帧为例来进行说明，在这种情况下，无论是“丢包”还是“丢帧”，都意味着那一帧语音数据的失丢，只不过“丢包”是从协议传输层面上来讲，而“丢帧”是从数据层面上来讲。因此，本发明实施例并不对“丢包”以及“丢帧”作严格区分，可以认为“丢包”即意味着出现了“丢帧”，而“丢帧”则意味着是因为“丢包”进而导致了“丢帧”。

需要指出的是，如果一个包中包含有多个属于同一用户的帧时，只需通过解析出包中的多个帧数据即可，本发明实施例中其余步骤也完全对这种情况适用，后续恢复步骤都可以参考一个包只包含一个帧情况的步骤进行。此外，如果一帧数据由多个包构成，则只需要解析多个包后得到该帧数据，后续步骤也可以参考一个包只包含一个帧情况的步骤进行。

本发明实施例中，解析包的过程由具体的传输协议进行定义，解析后得到的包中的净荷(Payload)部分一般就是有效的帧数据。

S302、判断是否有帧丢失，如果是，执行步骤S303，否则，执行步骤S308、解参数后得到特征参数，更新缓存的特征参数；后续执行步骤S307、按正常帧的处理流程来进行处理。

其中，步骤S308中，用于对帧进行解参数，得到特征参数，并更新缓存的特征参数。这里“缓存的特征参数”是指在系统开辟的一块缓存区域中存储的之前帧的特征参数；因为构建当前帧的特征参数需要用到相邻帧的特征参数，因此，需要将这些相邻帧进行解参数后进行缓存。缓存的大小可以视恢复时使用到的帧数而定，例如，在恢复丢失帧时，需要用到丢失帧前面3帧的特征参数来构建丢失帧的特征参数，则可以缓存3帧或3帧以上(具体可视实际用而定)的特征参数。当本次有新数据时，更新缓存区，丢弃掉最老的数据，得到最近的一帧或几帧数据的特征参数。

需要说明的是，本发明实施例中，缓存的数据是解参数后得到的特征参数，实现使用中，也可以缓存帧数据，在需要进行帧恢复时，取出缓存的帧数据，再进行解参数，得到相应的特征参数。这两种方法都有各自的特点，当采用缓存特征参数时，在每一次收到正常帧时都需要执行解参数的步骤，会增加平均资源消耗，但在对丢失帧进行恢复时，可以直接使用缓存的特征参数，不再执行解参数的动作，此时就会降低峰值的资源消耗；而采用缓存帧的方法时，在收到正常帧时并不需要执行解参数，会降低平均资源消耗，但在恢复过程中，需要进行解参数，并执行恢复算法，会增加峰值的资源消耗。在系统设计过程当中，设计指标一般都会以峰值的资源消耗作为参考，如系统总的资源为12，每个用户在峰值时消耗为4，则可以设计3路用户，如果用户峰值资源消耗为2，则可以设计6路用户。而本发明实施例中，使用缓存解参数的方法，可以使得在恢复过程中不需要再进行解参数，从而降低系统在峰值的资源消耗，以便更好地满足系统设计需求。

判断的具体方法可以参见实施例一中的相关描述，例如，通过序号、时间戳等方法来进行判断。

S302′、确定进入的模式；具体的方法可以参见上述实施例二，在此不再赘述；该步骤为可选步骤，实际应用中也可以不进行判断，而直接进入某一种模式，使用前一帧(前几帧)和/或后一帧(后几帧)的特征参数来恢复。

S303、确定丢失帧的类型；

具体的，通过与丢失帧相邻的帧(相邻帧)来确定丢失帧的类型。

参见表1，本发明实施例基于实施一步骤S101中介绍的帧类型确定方法给出了一种基于AMR-NB编码的帧类型确定方法。

表1AMR-NB帧类型确定对应表

表1中，第一列为系统所处的工作模式，即对应实施例二中的非延时模式以及延时模式；第二、第三列为在各种模式下丢失帧前一帧以及后一帧的类型，采用非延时模式时，后一帧类型为空；最后一列为根据前一帧，或者根据前一帧以及后一帧后确定的丢失帧类型。

具体的，以RX_SPEECH打头的为话音帧，包括RX_SPEECH_GOOD、RX_SPEECH_DEGRADED及RX_SPEECH_BAD等类型，表中的RX_SPEECH_xxx包括上述三种类型；

以RX_SID打头的为信号帧，包括RX_SID_FIRST、RX_SID_UPDATE及RX_SID_BAD等类型，表中RX_SID_xxx包括上述三种类型；

此外，RX_NO_DATA表示静音帧；

通过本发明实施例中的表格中的对应关系，可以根据前一帧(或结合后一帧)的类型来决定丢失帧的类型，例如，在非延时模式下，如果前一帧类型为RX_SPEECH_xxx类型，则丢失帧类型为RX_SPEECH_GOOD(尽量以好帧类型去恢复，以得到更好的效果)；在延时模式下，如果前一帧类型为RX_SPEECH_xxx，后一帧类型为RX_SID_xxx，则丢失帧类型为RX_SPEECH_GOOD。

需要说明的是，上述表格只是本实施例中的一个具体实现形式，具体的需要用到的相邻帧个数(如不采用一帧数据，而采用前几帧和/或后几帧)以及具体定义方法(如前一帧为RX_SPEECH_DEGRADED时，丢失帧不为RX_SPEECH_GOOD，而是RX_SPEECH_DEGRADED)都不限定。

通过对帧类型的确定，后续可以对类型为话音帧的丢失帧进行恢复；而对于信号帧以及静音帧，本发明实施例可以不需要通过恢复算法进行恢复(即可认为没发生丢帧)，后续由其他后级单元通过噪声补偿等方法来实现数据恢复，在此并不赘述。

S304、获取相邻帧的特征参数；

通过对相关的相邻帧进行解参数，获取相邻帧的特征参数；解参数的具体方法可以通过AMR-NB解码器来完成，AMR-NB解码器基于CELP模型，生成的特征参数主要包括LSF/LSP、基音延迟、自适应码书增益、固定码书增益等。

S305、构建与丢失帧类型相符的特征参数；

即通过根据相邻帧的特征参数以及多个帧中编码数据特征信息之间的相关性，构建与丢失帧类型相符的特征参数。

例如，以构建丢失帧的LSF参数为例，假设丢失帧的LSF参数为LSF(n)，选取该帧前N帧以及后一帧相邻帧的LSF参数进行构建，则前N帧及后一帧的LSF参数分别为LSF(n-N)、LSF(n-N+1)...LSF(n-1)以及LSF(n+1)，总共N+1个值；这里的n可以为整数，N可以为正整数；则可以通过如下公式进行恢复：

$\mathrm{LSF}\left(n\right)=\mathrm{mean}\_\mathrm{lsf}+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{fac}\left(i\right)*\mathrm{LSF}\_r(n-i)+\mathrm{fac}(N+1)*\mathrm{LSF}\_r(n+1)$ (公式1)

其中，公式中的mean_lsf表示经过大量语音数据训练得到的LSF平均值(即取大量数据的LSF参数的平均值)；fac(n)为影响因子(也可认为是“加权系数”)，其值也由大量语音数据训练得到，例如，想确定fac(1)时，可以先取一段大量的语音数据，如1000帧，然后，假设第1帧丢失，此时，先取fac(1)为其中一个数，利用公式恢复出第1帧的LSF参数后，与真实的第1帧LSF参数值做差，此时，一般差值都会较大；然后，再继续调整fac(1)为另一个数，再算LSF参数，再与真实值做差，如此反复，直到通过公式逼近的第1帧LSF参数与真实的LSF参数差在一个阈值范围内，则此时fac(1)即为训练后得到的fac(1)值。同理，其余影响因子也可以通过类似方法进行确定。

需要说明的是，上述公式及各参数及实现形式并不唯一，例如，可以取不同数量的相邻帧，或者使用其他加权的方法，只要能利用各帧相关性来构建丢失帧的算法都可以。

再次，以需要构建出丢失帧的基音延迟参数时，首先需要得到前后帧的基音周期，然后再生成基音延迟，其中，如果根据基音周期生成基音延迟的方法为本领域技术人员熟知的技术，在此不再赘述。

在获取基音周期时，由于语音的基音周期具有较好的平稳性，因此，可以利用丢失帧前几帧和后几帧的变化趋势来判断丢失帧基音的几种变化趋势。这里以丢失帧前两帧和后一帧为例来判断丢失帧基音的5种变化趋势(快速上升，快速下降，平稳上升，平稳下降，持平)。

假设丢失帧的基音周期为Delay(n)，(n为整数)，丢失帧前两帧的基音周期为Delay(n-2)，Delay(n-1)，丢失帧后一帧的基音周期为Delay(n+1)，则构建丢失帧基音周期的方法如下：

首先，判决定上升还是上降：如果丢失帧前一帧的基音周期大于丢失帧后一帧的基音周期(即Delay(n-1)-Delay(n+1)＞0)，则判决为下降情况；如果小于0，则为上升情景；如果等于0，则为持平情景。

其次，判断变化趋势是快速还是平稳：如果丢失帧前两帧的基音周期差值的绝对值Delay_abs(Delay_abs＝|Delay(n-2)-Delay(n-1)|)大于等于设定的门限值Delay_set，则判断为快速变化，否则，判断为平稳变化；门限值的设定并不限定，可以根据实际情况进行调整。

最后，根据分类结果进行恢复，具体的：

(公式2)

实际应用过程中，由于解码出的基音周期分为整数基音周期T0和分数基音周期T0_frac两部分(分数基音周期的变化单位为1/3或1/6个整数基音周期单位)，为了取得更好的构建效果，在快速变化时，还可以以整数基音为单位套用公式2，用T0套用公式2后，得到的公式如下：

(公式3)

本发明实施例中，构建丢失帧恢复自适应码书增益以及固定码书增益的方法与上述需要构建出丢失帧的基音周期的方法类型，也是先判断上升或下降，再判断平稳或快速，最后参考前后帧参数进行构建，在此不再赘述。

由于丢失帧的类型不同，因此，需要构建的与其类型相符的特征参数也不同。参见图6，为本发明实施例AMR-NB基于不同的帧类型对丢失帧特征参数进行恢复的方法，包括：

S351、判断帧的类型；当为RX_SPEECH_GOOD时，执行步骤S352；当为RX_SID_FIRST时，执行步骤S352′；当为RX_NO_DATA时，不进行丢帧恢复操作，直接透传至后级，由后级(相对于丢失帧恢复这一级)处理单元来完成相应的操作；

S352、构建LSF参数；

S353、构建基音延迟参数；

S354、构建自适应码书增益以及固定码书增益参数；

S352′、构建LSF参数，与S352类似，也构建LSF参数，只是此处针对RX_SID_FIRST帧；

从以上步骤可看到，当帧类型为RX_SPEECH_GOOD时，需要构建LSF、基音延迟、自适应码书增益以及固定码书增益等与该帧类型相符的特征参数；而当帧类型为RX_SID_FIRST时，只需构建LSF特征参数。其中，上述各参数的具体恢复方法在本实施例中相应部分已经进行描述，在此不再赘述。

在构建与丢失帧类型相符的特征参数后，继续执行如下步骤：

S306、对丢失帧特征参数进行编码得到恢复后的新帧；

即对构建的丢失帧的特征参数进行编码，得到恢复后的新帧；编码由系统的编码器来完成。

S307、执行正常帧处理流程。

恢复后的新帧可认为是正常帧，后续执行正常帧的处理流程；当步骤S302判断没有帧丢失时，执行步骤S308后也执行该步骤。

本发明实施例中，通过利用相邻帧的类型与特征参数来恢复丢失帧，由于解参数过程相比于完全解码到波形域的过程所消耗的资源要少得多，因此，通过本发明实施例恢复方法可以大大降低系统消耗的资源，在网络条件较差，存在很多丢失帧的情况下，这种效果更加明显。

此外，本发明实施例还通过设定两种模式(延迟模式以及非延迟模式)，在系统运行时，可以根据实际情况自动选择或者通过人工手动配置进入哪种模式，满足了不同场景下对传输质量及传输时延的要求。

实施例四

本发明实施例基于上述实施例对丢失帧进行恢复的基础上，通过结合其他参数域的语音增强技术以达到更好的语音增强效果。

参见图7，本发明实施例在基于丢失帧恢复的基础上，还通过其他参数域语音增强方法来实现语音增强，即对经过丢帧恢复后的语音帧再进行解参数，得到特征参数，根据得到的特征参数进行语音增强。

如图7所示，这里本发明实施例应用在网络中间网元设备中的示意图，在该设备中，接收到的码流可分为上行码流以及下行码流。其中，上行处理过程中，在丢失帧恢复后，可以先对信号进行分类，然后根据分类结果执行后续AEC、ANR、ACLP以及ALC各语音增强功能模块的处理流程。其中，上述各功能模块的含义如下：

AEC(Acoustic Echo Control，自动回声控制)；

ANR(Automatic Noise Reduction，自动噪声抑制)；

ACLP(Anti-clip，抗削波)；

ALC(Automatic Level Control，自动电平控制)；

需要说明的是，本发明实施例各语音增强步骤之间用虚线箭头连接仅表示后续可能执行这些步骤中的一个或多个(按箭头顺序)，并不代表后续某个功能模块的输出是另一个的输入，如上行处理过程中，AEC的输出并不代表ANR的输入。

下行处理过程与上行处理过程类似，在进行丢失帧恢复后，先对信号进行分类，然后根据分类结果执行后续ANR、ACLP、ALC以及ANC中的一个或多个功能模块的处理流程。其中，ANR、ALP、ALC的定义在文已经介绍，在些不再赘述；这里的ANC表示Automatic Noise Compensation，即自动噪声补偿。

本发明实施例中，上下行的处理并不完全相同，例如，考虑到回声主要来自于终端侧，因此，上行过程当中增加了AEC模块，而下行中并没有增加AEC模块。当然，实际使用中也可以使用相同的处理方法，在此并不限定。另外，上下行也可以使用其中一种或多种语音增强方法，如上行只使用AEC，下行只使用ACL等。

当上行或下行需要使用多种增强处理方式时，可以根据每个功能模块处理方式的特点对处理顺序进行排序。例如，AEC用于回声控制，一般放在最前面，这样可以先去掉回声，否则，信号在处理过程当中始终会带着回声，在进行信号增强时会把回声也增强了，给后续回声控制增加难度；而ALC一般放在最后，这是因为ALC用于将语音的幅值调到目标范围内，如果放在前面，则后续其他模块处理后，又会引起语音幅值的变化，还得进行ALC调整，浪费了前面一次ALC处理过程。

此外，还需要说明的是，上下行的数据可以是独立的，也可以是相关的(即其中有些数据需要相互交互)，当上下行的数据是独立时，完全可以只使用上行模块或者下行模块；或者，如果实际应用只需要处理上行或下行数据，则本发明实施例可以只设置对应的上行或下行处理模块。

为了更好地对信号分类进行说明，下面结合图8来进行详细阐述。参见图8，为本发明实施例进行信号分类处理的一个示意图，本发明实施例中，输入的码流首先通过一个信号分类器，区分是静音、噪声、语音、音乐、回声以及信号音中的哪种，实际应用中，用户也可以添加其他自定义的分类，或者删除一些分类。信号分类器区分是哪种信号可以通过分析各种特征参数来得到，例如，如果分析到某些帧没有能量，则可以判决为静音；如果某些帧的参数符合话音帧或音乐帧的特征，则可以判决为话音帧或音乐帧。

当由信号分类器确定是哪种类型后，送到相应的功能模块进行处理，例如，当确定是静音或噪声后，通过噪声电平跟踪后送到ANR功能模块进行处理；当确定是语音或音乐时，通过语音电平跟踪送至ALC以及ANC功能模块进行处理；需要说明的是，这里为了方便将噪声电平跟踪以及语音电平跟踪以单独的模块形式呈现，实际应用中，噪声电平跟踪以及语音电平跟踪都由分别由ANC，ALC或ANC内部实现，例如ALC和ANC每个单元内部都有一个语音电平跟踪功能模块来实现对语音电平的跟踪；当确定是回声时，直接送到AEC进行处理；当收到的是信号音时，不进行处理，直接输出。各功能模块具体处理步骤可以参考上述描述，在此不再赘述。

本发明实施例中，与丢失帧恢复处理方法类似，每个功能模块的处理也在参数域进行，通过缓存的解参数后得到的相关特征参数并通过一定的算法进行恢复，算法实现过程中，也可以利用一些相邻帧的相关性并引入一定的经验值或影响因子，使得恢复结果更加准确。

例如，以ACLP(抗削波)处理为例，参见图9，包括如下步骤：

S401、削波状态识别；

具体的，可以基于缓存的帧得到出现削波帧的比例，当比例达到一定阈值，认为需要进行削波处理；其中，削波帧的判断方法通过解参数后得到的特征参数来判断，例如，可以通过固定码书增益或自适应码书增益等参数来判断能量是否溢出(即是否超过一定阈值)，如果是，则判断为削波帧。

S402、判断当前帧是否为削波；

在进行削波状态识别后，如果状态是需要进行削波处理，则后续针对每一帧判断是否为削波判断后输出三种结果，分别为否、弱、以及强；

如果为否，执行步骤S403；如果为弱，执行步骤S404；如果为强，执行步骤S405；

S403、更新缓存的正常帧参数；

如果为否，则进行透传处理，不需要恢复，更新完缓存的正常帧参数即可；

S404、削波恢复因子弱更新；后续执行步骤S406；

这里的削波恢复因子是指跟恢复有关的影响因子，类似于实施例三中在进行丢失帧LSF参数构建时公式中的影响因子fac()，这里的削波恢复因子也是一个经验值，用于决定削波恢复的程度，例如，如果削波增益只超阈值一点点，则恢复时也只需要将削波增益减少一点点，此时，削波恢复因子就可以设得平稳一些(即变化不需要太大)；反之，如果削波情况比较严重，恢复时需要将削波增益大大减少，则此时需要将削波恢复因子设得剧烈一些(即变化需要大一点)。

当判断为“弱”时，表示虽然有削波发生，但不是非常严重，因此，弱更新时，削波恢复因子可以选择一个比较平稳的值。

S405、削波特征参数强更新；后续执行步骤S406；

与判断为“强”时，表示削波情况比较严重，因此，需要通过强更新来将削波恢复因子设置成一个比较剧烈的值。

S405、进行削波恢复；

削波恢复因子更新后，便可以根据削波恢复因子以及解参数后得到的一些特征参数(如自适应码书增益、固定码书增益等)来进行削波恢复。通过上述步骤，即可以得到进行削波恢复，在进行其他处理时(如AEC、ALC)，也可以利用参数域中的特征参数并结合一些影响因子通过一定的算法来实现各种对应的功能。

本发明实施例通过在对丢失帧恢复的基础上，通过分类器判断信号属于哪种类型，并进行相应的处理，可以针对不同类型进行相应的处理，从而进一步提升了语音质量。

通过本发明实施例，可以实现对语音进一步的增强，同时，由于也在参数域进行语音增强，因此，也能降低系统消耗的资源；结合前面实施例中的丢帧恢复技术，能取得更好的效果。

同时，本发明实施例当有多个语音增强模块(如AEC、ANC等)时，可以根据实际情况对各增强单元在顺序上进行调整，并且通过信号分类器对信号进行划分，以取得更好的效果。

实施例五、

本发明实施例提供了一种丢帧恢复设备51，用于对丢失帧进行恢复，参见图10，包括；

帧信息确定单元511，用于根据与丢失帧相邻的相邻帧类型确定丢失帧的类型；

解参数单元512，用于获取对相邻帧进行解参数后得到的特征参数，该特征参数用于确定帧中编码数据的特征信息；

特征参数构建单元513，用于根据相邻帧的特征参数以及多个帧中编码数据特征信息之间的相关性，构建与丢失帧类型相符的特征参数；

恢复单元514，用于根据构建的丢失帧的特征参数恢复丢失帧。

参见图11，具体的，上述帧信息确定单元511还可以包括丢失帧确定单元5111、帧类型确定单元5112以及丢失帧类型确定单元5113；其中，

丢失帧确定单元5111用于，通过检测收到的帧中的帧序号，或者时间戳确定是否符合预设规则的方法来确定丢失帧及与相邻帧；

帧类型确定单元5112用于，通过帧中相关标志位确定帧的类型；

丢失帧类型确定单元5113用于，根据相邻帧类型确定丢失帧类型，其中，相邻帧的类型可由帧类型确定单元5112来完成，而丢失帧的确定可由丢失帧确定单元5111来完成；

参见图12，上述语音增强设备还可以包括：

模式选择单元515，用于当丢失帧确定单元确定有丢失帧且需要恢复时，判断是否进入延时模式，如果是，则特征参数构建单元513使用前后帧的特征参数进行恢复，此时，相邻帧包括前后帧；否则，进入非延时模式，特征参数构建单元513使用前帧的特征参数进行恢复，此时，相邻帧指前帧。

上述各单元具体执行的步骤可以参见上述实施例一、二、三中的相关描述，本领域技术人员可以从以上实施例中描述来实现本发明实施例各单元具体执行步骤。

参见图13，本发明实施例还可以提供了一种语音增强设备，包括丢帧恢复设备51，还包括以下几个语音增强单元中的一个或多个(也可以全部)：

自动回声控制(AEC)单元52，用于自动回声控制；

用于自动噪声抑制(ANR)单元53，用于自动噪声抑制；

抗削波(ACLP)单元54，用于抗削波；

自动电平控制(ALC)单元55，用于自动电平控制；

自动噪声补偿(ANC)单元56，用于自动噪声补偿。

当有多个单元时，还可以包括：

分类单元57，用于对输入的信号进行分类，确定信号的类型，并根据确定的类型送至上述一个或多个对应的功能单元进行处理。如果只使用其中一个单元，则可以不使用分类单元，直接根据信号的类型进行相应处理。

分类单元521及上述AEC、ANR、ACLP、ALC、ANC等单元都是基于参数域进行信号处理，即对码流进行解参数后得到特征参数，根据特征参数对信号进行自动回声控制、自动噪声抑制、抗削波、自动电平控制或者自动噪声补偿中的一种或多种语音增强处理。其具体处理方法可以参见实施例四中的相关说明，本领域技术人员可以根据实施例四中描述来实现各单元的功能，在此不再赘述。

在具体硬件实现上，本发明实施例可以各单元可以通过通用处理器(如DSP、FPGA等)来实现，也可以采用ASIC专用电路来实现，在此并不限定。同时，如果本发明实施例中设备可以是独立的设备，也可以与其他设备进行集成，例如，如果原来有设备中的相应解参数单元(如通过自带解码器实现解参数功能)也可以完成解参数的功能，则本发明实施例解参数单元也可以采用原有设备中的解码单元来完成解参数；如果是独立的设备，则可以通过设计相应的解参数模块来完成需要的功能。

参见图14，为本发明实施例中一个具体实现的硬件示意图，包括DSP、存储器、接口单元、附属电路等部分；其中，DSP为主要处理芯片，用于运行处理代码，实现上述各单元的功能；存储器用于为程序运行提供所需的存储空间，如DDR、flash等；接口单元用于该设备与其他设备进行通信，如通过串口、以太网或其他接口进行通信；附属电路可以是系统运行所需一些电路，如电源电路，晶振电路、监控电路等，在此不再赘述。

在图14所示的实施例中，DSP负责所有的程序代码执行，包括对码流进行解参数；在另一个实施例中，如果系统内的其他设备已经带有解参数功能的话，那么DSP可以直接使用该设备解参数后得到的特征参数，而不需要自己再执行解参数。参见图15，为本发明另一实施例DSP直接使用另一设备(如编解码器，也可以用DSP实现)解参数后输出的特征参数示意图。

本发明实施例通过在参数域进行丢失帧恢复，可以降低系统消耗的资源，同时，通过模式选择单元选择不同的模式进行恢复，可以满足系统对延时或质量的要求；并且，本发明实施例还可以加入其他语音增强单元，以达到更好的语音增强效果。

实施例六

本发明实施例提供了一种语音增强系统，参见图16，包括：

第一基站61，第一终端62；第二基站63，第二终端64；丢帧恢复设备(或语音增强设备)65；

其中，第一基站61与第一终端62之间通过第一链路66进行连接；第二基站63与第二终端64之间通过第二链路67进行连接；第一基站61与第二基站64之间通过第三链路68进行连接；

其中，丢帧恢复设备(或语音增强设备)65为上述实施例中提供的丢帧恢复设备或语音增强设备(以下统一称为语音增强设备，并不对两者进行严格区分)，用于对第一链路、第二链路或者第三链路中的一个或多个环节出现的丢帧进行恢复；或者还可以对码流进行解参数后得到的特征参数，根据特征参数对信号进行自动回声控制、自动噪声抑制、抗削波、自动电平控制或者自动噪声补偿中的一种或多种语音增强处理。

具体的，语音增强设备根据应用场景不同位于系统中的位置也不同，下面通过几种常用的场景进行介绍。

参见图17，为全IP组网下TrFO(Transcoder Free Operation，免编解码级联操作)场景应用示意图，包括IP网(图中Internet)以及位于IP网两侧的基站和终端。TrFO的特点在于通信双方(如图中两个终端)采用相同的编码形式，因此，在传输过程当中不需要进行编码转换，都是以码流的形式进行传输(不包括通过Internet传输时打包)，这些码流都可以作为本发明实施例中的输入。

如图17所示，在网络传输过程中，会有几个丢包(丢帧)环节，如丢包环节1表示在IP网络出现丢包；丢包环节2表示终端跟基站上行或下行也会出现丢包的情况。

如图17所示，为了解决IP网络中的丢包环节1导致的丢包情况，将语音增强设备放在位于基站至IP网中的相关网元中，例如，放在BSC(Base StationController，基站控制器)或核心网中的相关网元；

或者，也可以将语音增强设备放在基站或终端中，以解决丢包环节2导致的丢包情况；

或者也可以在几个位置都增加语音增强设备。

参见图18，为另一应用语音增强设备的系统示意图，图18所示的应用场景为TFO(Tandem Free Operation，免级联操作)，在TFO应用场景中，两侧终端对应的编码类型也相同，在传输过程中不需要进行编码转换，都以码流的形式进行传输，这些码流也可以作为语音增强设备的输入。

其中，丢包环节可能发生在终端与基站上下行传输过程当中，语音增强设备的位置并不固定，例如可以位于终端或基站上，解决上下行丢包的问题；或者也可以如图18所示，位于两个基站之间，解决其中一侧产生的丢包问题；或者也可以在几个位置都增加语音增强设备。

参见图19，为本发明另一实施例应用语音增强设备的系统示意图，图19所示的应用场景为TDM(Time Division Multiplex，时分复用)传统组网。在TDM应用场景中，两侧终端的编解码类型可能不同(如一侧是GSM，另一侧是CDMA)，此时，需要通过编解码器来对不同类型的码流进行转化，如图中TC所示。此时，语音增强设备位于TC的前端，经过处理后输出给TC的都是经语音增强设备处理(丢帧恢复及其他语音增强处理)过的好帧。

当然，与前面几个应用场景类似，语音增强设备也可以位于基站或终端或者几个地方都进行部署。

通过上述应用场景可知，本发明实施中的语音增强设备可以位于全IP组网下的TrFO、以及TFO、TDM等应用场景，具有非常好的适用性；同时，通过本语音增强设备，可以基于输入的码流解决不同环节出现的丢包问题，提升了语音质量，并且与现有技术基于波形的恢复方法相比，大大降低了消耗的资源。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

上列较佳实施例，对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种丢帧恢复方法，其特征在于，包括如下步骤：

根据与丢失帧相邻的相邻帧类型确定所述丢失帧的类型；

获取对所述相邻帧进行解参数后得到的特征参数，所述特征参数用于确定帧中编码数据的特征信息；

根据相邻帧的特征参数以及所述丢失帧与所述相邻帧中编码数据特征信息之间的相关性，构建与丢失帧类型相符的特征参数；

根据构建的所述丢失帧的特征参数恢复所述丢失帧。

2.如权利要求1所述的方法，其特征在于，所述根据与丢失帧相邻的相邻帧类型确定丢失帧的类型步骤之前，还包括：

通过检测收到的帧中的帧序号，或者时间戳确定是否符合预设规则的方法来确定所述丢失帧及与所述相邻帧。

3.如权利要求1所述的方法，其特征在于，所述根据与丢失帧相邻的相邻帧类型确定丢失帧的类型包括：

根据所述相邻帧的类型并结合实际帧传输情形，估计所述丢失帧最可能的类型；

和/或

根据最佳帧类型确定所述丢失帧的类型。

4.如权利要求1所述的方法，其特征在于，还包括：

结合影响因子，构建与丢失帧类型相符的特征参数。

5.如权利要求1所述的方法，其特征在于，还包括：

当确认有所述丢失帧且需要对所述丢失帧进行恢复时，判断是否进入延时模式，如果是，则使用前后帧的特征参数进行恢复，所述相邻帧包括前后帧；否则，进入非延时模式，使用前帧的特征参数进行恢复，所述相邻帧指前帧。

6.如权利要求5所述的方法，其特征在于，所述判断是否进入延时模式包括：

判断是否存在抖动缓存，如果否，则判断进入非延时模式；

如果是，则判断是否接收到下一帧，如果接收到下一帧，则判断进入延时模式，否则，判断为进入非延时模式。

7.一种语音增强方法，其特征在于，包括如权利要求1-6任一的丢帧恢复方法，用于对语音帧进行丢失帧恢复，所述方法还包括：

对丢失帧恢复后的语音帧进行解参数后得到特征参数，并利用解参数后得到的特征参数进行语音增强处理。

8.如权利要求7所述的方法，其特征在于，所述语音增强处理包括：

在参数域实现自动回声控制、自动噪声抑制、抗削波、自动电平控制以及自动噪声补偿中的一种或多种。

9.一种丢帧恢复设备，其特征在于，包括：

帧信息确定单元，用于根据与丢失帧相邻的相邻帧类型确定所述丢失帧的类型；

解参数单元，用于获取对所述相邻帧进行解参数后得到的特征参数，所述特征参数用于确定帧中编码数据的特征信息；

特征参数构建单元，用于根据相邻帧的特征参数以及所述丢失帧与所述相邻帧中编码数据特征信息之间的相关性，构建与丢失帧类型相符的特征参数；；

恢复单元，用于根据构建的所述丢失帧的特征参数恢复所述丢失帧。

10.如权利要求9所述的设备，其特征在于，所述帧信息确定单元包括：

丢失帧确定单元，用于通过检测收到的帧中的帧序号，或者时间戳确定是否符合预设规则的方法来确定所述丢失帧及所述相邻帧；

帧类型确定单元，用于通过帧中相关标志位确定帧的类型；

丢失帧类型确定单元，用于根据所述帧类型确定单元确定的相邻帧类型确定所述丢失帧类型。

11.如权利要求9所述的设备，其特征在于，还包括：

模式选择单元，用于当丢失帧确定单元确定有丢失帧且需要恢复时，判断是否进入延时模式，如果是，则所述特征参数构建单元使用前后帧的特征参数进行恢复，所述相邻帧包括前后帧；否则，进入非延时模式，所述特征参数构建单元使用前帧的特征参数进行恢复，所述相邻帧指前后帧。

12.一种语音增强设备，其特征在于，包括如权利要求9-11任一的丢帧恢复设备，还包括以下几个语音增强单元中的一个或多个：

自动回声控制单元，用于自动回声控制；

自动噪声抑制单元，用于自动噪声抑制；

抗削波单元，用于抗削波；

自动电平控制单元，用于自动电平控制；

自动噪声补偿单元，用于自动噪声补偿；

上述一个或多个单元对丢失帧恢复后的语音帧进行解参数后得到特征参数，并利用解参数后得到的特征参数进行语音增强处理。

13.如权利要求12所述的设备，其特征在于，当包括上述多个语音增强单元时，还包括：

分类单元，用于对输入的信号进行分类，确定信号的类型，并根据确定的类型送至自动回声控制单元、自动噪声抑制单元、抗削波单元、自动电平控制单元、自动电平控制单元以及自动噪声补偿单元中的一个或多个进行处理。

14.一种语音增强系统，其特征在于，包括：

第一基站，第一终端；第二基站，第二终端；权利要求9-11中任一所述所述的丢帧恢复设备；

其中，所述第一基站与所述第一终端之间通过第一链路进行连接；所述第二基站与所述第二终端之间通过第二链路进行连接；所述第一基站与所述第二基站之间通过第三链路进行连接；

丢帧恢复设备用于对所述第一链路、所述第二链路或者所述第三链路中的一个或多个环节出现的丢帧进行恢复。

15.一种语音增强系统，其特征在于，包括：

第一基站，第一终端；第二基站，第二终端；权利要求12-13任一的语音增强设备；

其中，第一基站与第一终端之间通过第一链路进行连接；第二基站与第二终端之间通过第二链路进行连接；第一基站与第二基站之间通过第三链路进行连接；

语音增强设备用于对所述第一链路、所述第二链路或者所述第三链路中的一个或多个环节出现的丢帧进行恢复及实现上述一个或多个环节出现的语音增强。

Images