2404.14372.md

背景

• 背景
  论文指出，大型语言模型(LLMs)在扩缩放上已经成为许多语言任务的默认选择。但在特定场景，其中简化的定制方法可能更卓越，例如专利批准预测任务。由于这些任务中固有的依赖关系，简单的领域特定图方法比增加模型大小更为有效。

• 已有的工作 已有工作试图通过扩大开源LLMs的基础模型和探索基于提示的方法，以利用LLMs的潜力进行专利批准预测。然而，这些方法的最佳结果接近随机猜测，突显了简单扩缩放模型的无效性。

核心贡献

• 提出了一个Fine-grained cLAim depeNdency (FLAN) Graph

  • 挑战1：如何捕捉专利文本各部分之间的内在依赖关系 作者通过详尽的专利数据分析，提出了FLAN图，捕捉专利文本各部分之间的内在依赖关系。这一方法不依赖于具体的模型，而且适用成本效益较高的图模型以获取用于批准预测的表示。

  • 挑战2：如何改进当前的专利批准预测 所提出的FLAN图通过应用各种图模型，在多数实验中一致地显著优于所有LLMs基线，极大地提高了现状。

实现与部署

研究者使用GraphSage等图模型与FLAN图结合以进行专利批准预测。实验结果显示，所有应用了FLAN图的模型均超过了之前的基准，其中GraphSage在AUC上提高了7.4%，在Macro-F1得分上提高了7.8%，分别达到了66.04和58.22的绝对分数。

总结

研究者提出了一种新颖的用于构建细粒度主张依赖图(FLAN图)的算法，该算法在大规模上显著改善了现状，并对现代LLMs在专利批准预测上的应用进行了广泛实验和分析，发现了LLMs的局限性，并为未来LLM方案的开发提供了有价值的参考。源代码和数据集已公开发布以促进未来的研究。