信息检索与事实核查（3）：Retrieval Augmented Fact Verification by Synthesizing Contrastive Arguments

---

发布时间（2024ACL）

---

标题：通过 综合对比论证 进行 检索增强 事实验证

给定claim，使用检索到的证据输出的lable应该与真实label一致，同时还要给出label的判断原因

对于检索的启发：
与+passage越不相关的-passage，损失越大

摘要

虚假信息的快速传播对公众利益构成了重大风险。为了打击虚假信息，大型语言模型 (LLM) 被改造为自动验证主张的可信度。然而，现有方法严重依赖 LLM 中的嵌入知识和/或黑盒 API 来收集证据，导致使用较小的 LLM 或在不可靠的上下文中性能不佳。在本文中，我们提出了通过对比论证综合 (RAFTS) 进行检索增强事实验证的方法。输入主张后，RAFTS 从证据检索开始，我们设计一个检索管道来从可验证来源收集和重新排序相关文档。 然后，RAFTS 根据检索到的证据形成对比论据（即支持或反驳）。此外，RAFTS 利用嵌入模型来识别信息丰富的演示，然后根据上下文提示生成预测和解释。我们的方法有效地检索相关文档作为证据，并从不同角度评估论点，结合细微信息进行细粒度决策。结合先前提供的信息丰富的上下文示例，RAFTS 无需复杂提示即可显著改善监督和 LLM 基线。我们通过大量实验证明了我们方法的有效性，其中 RAFTS 可以以明显较小的 7B LLM1 优于基于 GPT 的方法。

3 前提

我们考虑以下问题设置：给定输入声明 x（带有标签 y）和 k 次演示 {(xi , yi)} k i=1，