-
背景
本文探讨了大型语言模型（如 ChatGPT）作为世界知识的主要载体及其在神经网络中的预训练角色。文章强调，当前的大型语言模型虽然积累了海量序列化世界知识，但存在诸多问题。具体地，文章讨论了如知识图谱为增强型语言模型、结构性诱导预训练、知识型提示、结构化的链式推理、知识编辑、语言模型的语义工具和知识型人工智能代理等方面如何与大型语言模型相结合。 -
已有的工作 虽然知识图谱等符号化知识能够增强现有的大型语言模型，但这些模型在存储和处理世界知识的结构化表示方面仍然不足。以往的AI系统，如专家系统，知识库和推理引擎等被构建为独立模块，而现代的大型语言模型将“语言”和“知识”混合在一起，这与传统的符号系统有所偏离。此外，大型模型现有的知识存储方式缺乏可辨认的模式，使模型难以在参数空间中建立知识片段之间合理的联系，进而难以近似人类认知的方式产生所需答案。
-
提出了一个大型知识模型（LKM）理念
-
挑战1：从大型语言模型到大型知识模型的转变 本文提倡开发一种大型知识模型（LKM），它旨在更好地管理和解码知识表示的多样化结构。文章指出，未来大型模型应该将世界模型从推理机制中解耦，从而允许存储的知识被独立验证和维护。
-
挑战2：重构预训练以加入结构化知识 文章提出在预训练阶段增强训练语料的结构化特征，使训练数据的表示和组织更接近人类知识的组织方式，以此缩小大型模型与人类思维之间的“认知差距”。通过改进数据的组织结构，可以使大型模型中的知识更加透明、具有关联性并且可验证。
-
-
挑战3：大型常识模型 当前大型语言模型已展示出储备大量常识知识和进行常识推理的潜力，但它们面临幻觉和推理结果不可靠等挑战。研究人员看到将传统的常识知识库与大型语言模型集成，创建一个大型常识知识模型的潜力。这样的模型能结合两种方法各自的优势以克服其各自的局限。
-
挑战4：LKM 的五“ A”原则 文章最后介绍了一种新的大型知识模型（LKM）的概念和其关键特征。使用五个“A”框架来描述LKM的本质方面，包括：增强型预训练、“真实”的知识、负责任的推理、丰富的知识覆盖范围、以及与知识结构对齐。
本文未给出特定的实现与部署详情，也没有提供具体的评估结果或与相关工作的对比。文章的主要内容是理论性分析和提出构想，未涉及具体的技术实施和实验评估。
本文提出了一种大型知识模型（LKM）的概念，旨在更有效地管理和解读知识表示的多样性。研究指出了从现有的大型语言模型到LKM转变的挑战，强调了结构化知识在预训练中的重要性，并提出了一套LKM的设计原则。