-
背景
文章介绍了自动语音识别（ASR）中存在的问题，尤其是在使用大型语言模型（LLM）进行生成错误修正（GER）时，虽然能有效增强ASR结果，但仍存在不考虑源语音内容和输入信息冗余的问题。 -
已有的工作为什么解决不了 现有研究没有整合源语音作为输入，导致可能出现语法正确但与源语音内容不符的情况。此外，N最佳假设列表中的项目往往只在几个词汇上有所变化，这在进行修正时造成信息冗余，LLM难以确定应 focus 的词汇。
- 提出了一个名为ClozeGER的新范式
-
挑战1：模型在修正时忽视了源语音内容 现有的模型在进行文本生成错误修正时，未能考虑到原始语音的内容，可能导致输出与真实语音内容不符。为此，作者引入了一个多模态LLM“SpeechGPT”，该模型通过接收源语音作为额外输入，提高了修正输出的准确性。
-
挑战2：输入信息冗余 在GER中使用全N最佳假设导致输入冗余，模型难以精确进行错误修正。论文通过重新格式化GER为填空题和对数标定来移除输入冗余，并通过清晰指令简化修正过程。
-
ClozeGER在九个流行的ASR数据集上实现了新的突破，并通过实验表明其有效性。与传统GER相比，ClozeGER通过减少输入冗余和提升修正的目标明确性，实现了更精确的错误修正。
本论文成功提出并验证了结合多模态LLM的新ASR错误修正范式，不仅解决了源语音忽视和输入冗余的问题，还在实际应用中取得了显著效果。