VeraCT Scan: Retrieval-Augmented Fake News Detection with Justifiable Reasoning
发布时间(2024ACL)
标题:VeraCT 扫描,利用合理推理进行 检索增强假新闻检测
摘要
虚假新闻的泛滥不仅传播误导性信息,而且破坏民主的基础,构成重大威胁。生成式人工智能的最新进展进一步加剧了区分真实新闻和虚假故事的挑战。 为了应对这一挑战,我们推出了 VeraCT Scan,这是一种用于检测虚假新闻的新型检索增强系统。
该系统的运行方式是从给定的新闻中提取核心事实,然后进行全网搜索以识别确凿或相互矛盾的报道。然后利用消息来源的可信度来验证信息。除了确定新闻的真实性之外,我们还提供透明的证据和推理来支持其结论,从而使结果具有可解释性和可信度。除了 GPT-4 Turbo,Llama-2 13B 还针对新闻内容理解、信息验证和推理进行了微调。这两种实现都展示了虚假新闻检测领域最先进的准确性1。
3 方法
在本文中,“声明”一词是指新闻文章中陈述的事实。术语“事实声明提取”和“事实提取”在整篇论文中互换使用。 图 1 显示了 VeraCT Scan 的主要工作流程。我们提示 GPT-4 Turbo 进行关键事实提取、查询生成、验证和理由生成(有关正在使用的提示,请参阅附录 A)。这些单独的组件可以轻松交换到其他 LLM 或搜索引擎。在这项工作中,GPT-4 Turbo 的输出加上人工审查,作为训练数据来微调 Llama-2 13B(Touvron 等人,2023 年),使其也能够支持这些任务。关于搜索组件,我们同时使用 Google 和我们专有的内部新闻搜索引擎进行全面的信息检索。
claim
factual claim extraction
fact extracti