2404.03592.md

背景

• 背景
  论文讨论了在神经网络中，如何通过表示空间的低秩线性子空间进行干预，来控制语言模型（LM）的输出，从而达到有效适应下游任务的目标。作者从因果抽象框架和交换干预的逻辑出发，探讨了这一方法的可行性。

• 已有的工作 现有的PEFT方法（模型参数有效调整方法）虽然取得了一些进展，但参数效率和控制能力还有待提高。例如，早期的适配器架构并不涵盖本文考虑的任务，或者在不同设置下进行超参数调整。

核心贡献

• 提出了一个Low-rank Linear Subspace ReFT (LoReFT)

  • 挑战1：参数效率和计算成本 现有的PEFTs通常需要大量的参数来调整预训练模型，这导致了高昂的计算成本。ReFT方法通过用较少的参数实现表示空间的低秩线性干预，提供了一个参数和计算上更高效的解决方案。

  • 挑战2：模型的适应性和可解释性 给定特定的下游任务，有必要对模型进行精细的适应性调整，并在此过程中保持或提高模型的可解释性。ReFT方法利用线性表示假设，通过干预少数关键表示，既改变了LM的行为，又提供了可解释性的线索，因为这些干预是在理解模型行为的框架下获得的。

实现与部署

通过对多种不同规模的语言模型进行实验，LoReFT在常识推理、指令跟随和自然语言理解等四个领域的基准测试中均显示出强大性能，并在参数效率方面比现有的最先进PEFTs高出10倍至50倍。LoReFT在经过调整后的模型与传统全参数微调模型与其他微调方法进行比较，表现出更高的性能。通过这些实验，论文提供了LoReFT应用于不同场景下的综合评估。

总结

这篇论文介绍了一种新的语言模型微调方法LoReFT，它在资源效率和模型控制能力方面显著优于现有的参数有效调整（PEFTs）方法。实验表明，该方法在多个NLP领域的任务上实现了新的最佳性能，同时保持了较少的参数需求和较高的可解释性。