-
背景
论文指出,大型语言模型(LLMs)在扩缩放上已经成为许多语言任务的默认选择。但在特定场景,其中简化的定制方法可能更卓越,例如专利批准预测任务。由于这些任务中固有的依赖关系,简单的领域特定图方法比增加模型大小更为有效。 -
已有的工作 已有工作试图通过扩大开源LLMs的基础模型和探索基于提示的方法,以利用LLMs的潜力进行专利批准预测。然而,这些方法的最佳结果接近随机猜测,突显了简单扩缩放模型的无效性。
- 提出了一个Fine-grained cLAim depeNdency (FLAN) Graph
-
挑战1:如何捕捉专利文本各部分之间的内在依赖关系 作者通过详尽的专利数据分析,提出了FLAN图,捕捉专利文本各部分之间的内在依赖关系。这一方法不依赖于具体的模型,而且适用成本效益较高的图模型以获取用于批准预测的表示。
-
挑战2:如何改进当前的专利批准预测 所提出的FLAN图通过应用各种图模型,在多数实验中一致地显著优于所有LLMs基线,极大地提高了现状。
-
研究者使用GraphSage等图模型与FLAN图结合以进行专利批准预测。实验结果显示,所有应用了FLAN图的模型均超过了之前的基准,其中GraphSage在AUC上提高了7.4%,在Macro-F1得分上提高了7.8%,分别达到了66.04和58.22的绝对分数。
研究者提出了一种新颖的用于构建细粒度主张依赖图(FLAN图)的算法,该算法在大规模上显著改善了现状,并对现代LLMs在专利批准预测上的应用进行了广泛实验和分析,发现了LLMs的局限性,并为未来LLM方案的开发提供了有价值的参考。源代码和数据集已公开发布以促进未来的研究。