-
背景
文章探讨了在不同场景中（零样本、单域和跨域）如何为大型语言模型（LLMs）构建有效的提示（prompts）以执行文本到SQL（text-to-SQL）任务。目前的研究缺乏在提示构造与其主要贡献之间的可比性，并且选择有效的提示构造已成为未来研究的一个持续问题。 -
已有的工作 以前的研究在增强LLMs的text-to-SQL能力时，使用了示例检索策略和中间推理步骤等多种策略，但这些研究通常采用多变的提示策略，包括文本到SQL的多个关键组成部分：数据库架构和内容以及示例。这种在提示构建上的差异使两项研究之间难以直接进行比较，并且不同研究的结果可能因在提示工程技术上的新发现而变化。
- 提出了一个综合性评估
-
挑战1：如何构建数据库提示（Database Prompt Construction） 在零样本设置中，本研究对比了不同的数据库提示构造方式，并分析了不同构造方式对模型性能的影响。实验表明，在跨域设置中尤其存在Codex模型提示长度的“甜蜜点”。
-
挑战2：示例提示构造的影响（Impact of Demonstration Prompt） 本研究分析了演示提示中的数据库和每个数据库中示例数量对模型性能的影响。实验证明，合适的示例提示有助于提高语言模型在跨数据库text-to-SQL任务中的性能。
-
...
-
根据实验结果，在三种常见的text-to-SQL场景：零样本、单域和跨域下，对于各种数据库提示构造策略进行了评估，并考虑了所有三种设置下的各种数据库提示构造。除此之外，在跨域的场景中，研究还调查了构造演示的策略。通过评估，旨在深入了解这些提示构造策略的有效性。
本研究揭示出有效提示构造的关键数据库知识和最优表述，为LLMs在text-to-SQL任务中的应用提供指导，并指出在跨域设置中对于提示长度存在一个“甜蜜点”。本研究的发现可能对于特定数据库不总是适用，特别是如果该数据库与Spider数据库显著不同。