RAG开发中常见的12个痛点及天壤解法，看完你算是入门大模型了！

还记得Barnett 等人论文《构建检索增强生成系统的七大挑战》在业界引起了广泛关注，激发了一场关于 RAG 技术发展的热烈讨论。Wenqi Glantz 进一步丰富了这一讨论，在原有基础上增加了 5 个关键痛点，将 RAG 开发中的难题扩展到了 12 个。

在本文中，我们将深入剖析，展示天壤如何利用技术手段来应对 RAG 的 12 个痛点，创造出更加实用、更精准的 AI 应用。

1

内容缺失

知识库中缺少必要的上下文信息。当知识库没有包含正确答案时，RAG 系统可能会给出一个貌似合理但实际上错误的回答，而不是明确表示它不知道答案。这可能会导致用户接收到误导信息，从而感到挫败。

天壤解法

\1. 混合增强RAG：关键词检索解决没有Embedded的内容检索正确性，语义检索解决Query和Doc语义不一致的问题，综合提高检索的准确性。
\2. 设置阈值：即在回答问题前先设定一个质量标准。如果召回内容达不到标准或无召回，系统不会提供答案，而是告诉用户需要更多信息或返回固定话术，防止错误或不准确的信息误导用户。

\3. 判断上下文信息是否充分：如果判断出上下文信息不足，系统不会尝试提供可能错误的回答，而是提示用户需要提供更多上下文或优化查询词。

2

遗漏重要文档

在初始的检索步骤中，有时会漏掉关键文档，导致它们没有出现在系统返回的最顶端结果之中。这就意味着正确的答案可能被忽略了，使得系统无法准确回答问题。正如论文所指出的，“答案虽然在某个文档中，但因为排名不够高而没有呈现给用户”。

天壤解法

\1. 分析用户意图：通过分析用户的查询词汇和历史交互，缩小搜索范围，提高检索的相关性。

\2. 混合增强 RAG：关键词检索解决没有 Embedded 的内容检索正确性，语义检索解决 Query 和 Doc 语义不一致的问题，综合提高检索的准确性。

\3. 引入重排序模型：根据用户的实际反馈和文档的相关性指标，对召回的文档进行二次排序，确保最相关的内容出现在结果的顶部。

3

脱离上下文的挑战

即使在重排之后，有时关键文档仍未能融入生成答案所需的上下文中。这种情况通常出现在数据库返回大量文档，并需要通过一个整合过程来检索答案时。简而言之，即便包含答案的文档被检索到了，但未能有效整合进最终的回答中。

天壤解法

\1. 添加文档标签过滤：通过标签分类文档，在搜索时通过标签来缩小搜索范围，减少无关信息干扰，检索与用户查询最相关的文档。

\2. 微调 embedding 模型：在预训练的模型基础上，使用特定领域的数据集进一步训练，以适应特定的任务或需求，帮助模型更好地理解用户查询和文档内容之间的语义相似性，从而提高检索的准确性。

4

信息提取困难

有时系统难以从提供的上下文中提取正确答案，特别是当上下文信息量过大时。关键细节可能会被忽略，影响回答的质量。这种情况往往出现在上下文中存在过多的干扰信息或信息矛盾时。

天壤解法

基于天壤知识工程，进行知识萃取，将这些信息转化为结构化的知识，并与现有索引系统相结合，快速有效地响应用户的查询。

5

输出格式不正确

当系统忽略了以特定格式（例如表格或列表）提取信息的指令时，输出可能会出现格式错误。

天壤解法

天壤大模型根据预设的格式要求，如JSON，来组织和呈现信息。通过这种对齐，模型在输出信息时能够保持一致性和准确性。

6

细节不够具体

当输出没有达到所需的级别时，回答可能会缺乏必要的详细信息，经常需要进一步的查询来进行澄清。答案可能过于泛泛或模糊，无法有效地满足用户的需求。

天壤解法

级联增强：根据用户的初始查询生成回答，系统分析第一次回答的结果，识别出更多细节，并据此生成更具体的问题，系统使用更具体的问题再次进行 RAG，逐步提高回答的质量。

7

输出不完整

有时输出虽不完全错误，但却未能提供所有详细信息，尽管这些信息在上下文中是存在且可以获取的。例如，询问文档 A、B 和 C 讨论的主要方面时，分别询问每个文档可能更能确保获得全面的答案。

天壤解法

使用大模型对用户提出的问题进行拆解，将其分解为更小、更具体的子问题，接着，系统对每个子问题分别进行 RAG 流程，以确保每个文档的关键信息都能被充分考虑和提取，从而提供更完整、更全面的回答。

8

数据摄入的扩展性问题

当数据摄入管道难以处理更大数据量，可能会出现性能瓶颈和系统潜在故障，导致摄入时间延长、系统过载、数据质量问题及可用性限制。

天壤解法

采用分布式处理框架提升数据摄入管道的处理能力，确保系统在面对大规模数据时仍能保持高性能和高可用性。

9

结构化数据的查询应答

对于复杂或含糊的查询，准确解释用户查询并检索相关结构化数据可能颇具挑战，尤其是在文本到 SQL 转换不够灵活和当前 LLM 处理这类任务的限制下。

天壤解法

CoT 和 ToT 流程：鼓励大模型在生成答案之前进行更深入的思考。CoT 流程要求模型展示其推理过程，而 ToT 则进一步让模型对自己的推理进行反思，从而提高大模型在处理结构化数据查询时的表现。

10

处理复杂 PDF 文档的数据提取

从嵌入的表格等复杂 PDF 文档中提取数据，尤其用于问答场景，传统的检索方法可能无法实现。我们需要更高级的方法来处理这种复杂的 PDF 数据提取。

天壤解法

\1. 天壤知识工程平台提供一系列工具，处理多种文档格式，识别文档中的表格、图表、标题和其他结构元素，以及它们之间的关系。

\2. 使用长序列的 token 输入大模型，使模型更好地理解上下文，从而提供更准确的回答。

11

备用模型

在使用 LLM 时，可能会遇到比如 OpenAI 模型的速率限制错误等问题。在主模型出现故障时，你需要一个或多个备用模型作为后备。

天壤解法

天壤开放平台支持接入多种模型，用户可以根据需要切换不同的 LLM。

12

LLM的安全问题

处理提示注入、不安全输出以及防止敏感信息泄露等问题，是每位 AI 架构师和工程师面临的关键挑战。

天壤解法

天壤开放平台支持集成敏感词检测服务，自动识别和过滤掉可能引起安全问题的词汇。

—

通过将这 12 个挑战及其建议的解决方法并列在一张表中，我们现在可以更直观地理解问题及其对策。

虽然这份清单并未穷尽 RAG 系统设计与实现的所有细节，但它旨在揭开这一过程中所面临的复杂挑战的神秘面纱。

期望通过这些分享，让我们更好地理解 RAG 系统的复杂性，激发大家的热情，一起让大模型应用在现实世界中大放异彩。

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。