-
背景
在大型语言模型(LLMs)更新知识并解决不熟悉查询方面面临挑战,可能导致准确性问题。尽管将知识图谱与LLMs融合的方法已经被探索过,但现有方法将LLMs作为主要决策者,对它们的能力要求很高。这对于计算要求较低、性能相对较差的LLMs来说尤其不适用。 -
已有的工作 现有方法将LLMs作为决策的中心,忽略了LLMs在知识图谱中路径探索时的限制和瓶颈,这使得其对LLMs的能力要求过高,限制了这些方法在参数较少的LLMs上的适用性。
- 提出了一个Clue-Guided Path Exploration(CGPE)框架
-
挑战1:减少LLMs能力要求 CGPE 通过将问题中的信息作为线索来系统探索知识路径,降低了对LLMs能力的整体要求,允许参数较少的LLMs有效完成问题解答任务。
-
挑战2:降低计算资源消耗 CGPE仅需要较少的LLMs调用次数,显著降低了计算资源消耗。实验表明,使用CGPE的LLMs在进行知识获取时的调用频率更低,从而减少了计算负担。
-
CGPE框架在各种公开数据集的实验中表现出色,超越了以往的方法,特别是在参数较少的LLMs上展现出了显著的性能,甚至在某些情况下6亿参数的ChatGLM3都能与GPT-4相媲美。CGPE通过提取问题中的线索,识别知识库中的初始节点,并根据这些节点探索相关的知识路径,从而降低了对LLMs的要求。此外,CGPE框架的引入次数很少,表明其在减少计算资源消耗方面具有显著效果。通过实验对比和消融研究,提供了进一步减少计算资源消耗的洞见。
论文提出的CGPE框架能有效支持LLMs在问答任务中的应用,通过线索引导的路径探索机制,降低了对LLMs能力的要求,并显著减少了计算资源消耗,对计算资源有限的个人和组织具有重要实际意义。