信息检索与事实核查（3）：Retrieval Augmented Fact Verification by Synthesizing Contrastive Arguments

---

发布时间（2024ACL）

---

标题：通过 综合对比论证 进行 检索增强 事实验证

给定claim，使用检索到的证据输出的lable应该与真实label一致，同时还要给出label的判断原因

对于检索的启发：
与+passage越不相关的-passage，损失越大

摘要

虚假信息的快速传播对公众利益构成了重大风险。为了打击虚假信息，大型语言模型 (LLM) 被改造为自动验证主张的可信度。然而，现有方法严重依赖 LLM 中的嵌入知识和/或黑盒 API 来收集证据，导致使用较小的 LLM 或在不可靠的上下文中性能不佳。在本文中，我们提出了通过对比论证综合 (RAFTS) 进行检索增强事实验证的方法。输入主张后，RAFTS 从证据检索开始，我们设计一个检索管道来从可验证来源收集和重新排序相关文档。 然后，RAFTS 根据检索到的证据形成对比论据（即支持或反驳）。此外，RAFTS 利用嵌入模型来识别信息丰富的演示，然后根据上下文提示生成预测和解释。我们的方法有效地检索相关文档作为证据，并从不同角度评估论点，结合细微信息进行细粒度决策。结合先前提供的信息丰富的上下文示例，RAFTS 无需复杂提示即可显著改善监督和 LLM 基线。我们通过大量实验证明了我们方法的有效性，其中 RAFTS 可以以明显较小的 7B LLM1 优于基于 GPT 的方法。

3 前提

我们考虑以下问题设置：给定输入声明 x（带有标签 y）和 k 次演示 {(xi , yi)} k i=1，我们的目标是：（1）检索一组 m 个文档 {di} m i=1，这些文档提供相关信息可用作支持证据；（2）根据输入 x、k 次示例 {(xi , yi)} k i=1 和检索到的证据 {di} m i=1 生成标签 yˆ 和解释 e。对于每个输入 x，我们利用预训练的嵌入模型 fembed 来自适应地检索演示 {(xi , yi)} k i=1，而检索模型则学习到预测 {di} m i=1 并提供来自可验证来源的相关信息。根据检索到的示例和文档，预测的 yˆ 应该与基本事实标签 y 完全匹配。此外，生成的解释 e 应该展示理想的属性（例如，事实性），参见图 1 中的示例。我们在下面详细说明我们的设置。

输入和输出：给定一个训练和测试分割为 X train 和 X test 的数据集，我们将文档检索管道表示为 fretrieve，将基于 LLM 的事实核查模型表示为 fcheck。正式来说，我们的框架由信息检索（即证据收集）和事实验证（即预测和解释）中的两个子问题组成，每个问题的定义如下：

6 结论

在本文中，我们提出了一种新颖的检索增强事实验证框架 RAFTS。RAFTS 由三个关键部分组成：（1）示例检索，提供信息丰富的上下文演示；（2）文档检索，从可验证的来源收集相关文档；（3）上下文提示，通过考虑信息丰富的示例和对比论证中的细微信息来执行少量事实核查。因此，RAFTS 实现了细粒度的事实验证，而无需复杂的提示技术和大型 LLM。我们在基准数据集上的实验结果突出了 RAFTS 的优越性，它在事实核查性能和生成的解释质量方面始终优于最先进的方法。