2405.00623.md

背景

• 背景
  文章指出大型语言模型(LLMs)已经开始改变我们的日常生活，人们在搜索信息、写作和编程等任务中广泛使用这些模型。尽管LLMs可以生成流畅且看似合理的输出，但这些输出有时是错误的，可能导致用户过分依赖它们的回答，进而产生严重后果。

• 已有的工作 尽管存在过度依赖问题，但是如何减轻这种现象是一个难题，因为许多解决方案，比如解释机制，已被发现无效或甚至会增加过分依赖。研究社区提出了让LLMs向最终用户表达输出的不确定性这一方法，但对于如何有效地以自然语言向用户表达这种不确定性，目前还了解甚少。

核心贡献

• 提出了一个研究

  • 挑战1：表达不确定性对用户信任和依赖的影响 论文通过实验发现，采用第一人称表达不确定性（例如，“我不确定，但是……”）可以降低用户对系统的信心和赞同系统回答的倾向，同时还提高了用户的准确度。实验探索性分析表明，虽然没有完全消除，但降低了用户对错误答案的过度依赖。

  • 挑战2：精确的语言选择 研究表明，采用自然语言表达不确定性可能是减少对LLMs过度依赖的有效方法，但具体使用的语言非常重要。这强调了在大规模部署LLMs之前进行用户测试的重要性。

实现与部署

实验中，404名参与者回答医疗问题，并访问了一个虚构的使用LLM技术的搜索引擎的回答。通过行为和自我报告的测量，研究检验了不同自然语言表达不确定性的方式如何影响用户对系统的依赖、信任和整体任务表现。结果显示，采用第一人称表达可以提升用户的答题准确度，这表明用户对于系统错误答案的过度依赖有所减少。然而，当不确定性从一般角度表达时（例如，“现在还不清楚，但是……”），这种效果较弱且没有达到统计上的显著性。这些发现突显了在LLMs广泛应用之前，用户测试的重要性以及预先了解用户对不确定性表达的反应。

总结

该论文通过大规模实验研究表明，LLMs通过自然语言来表达不确定性，可以减少用户的过度依赖，并提高任务处理的准确度。尤其是第一人称表达形式对提高用户的准确性效果显著。此外，这项研究还强调在实际应用LLMs之前，进行用户测试以调整不确定性的表达方式的重要性。