还记得Barnett 等人论文《构建检索增强生成系统的七大挑战》在业界引起了广泛关注,激发了一场关于 RAG 技术发展的热烈讨论。Wenqi Glantz 进一步丰富了这一讨论,在原有基础上增加了 5 个关键痛点,将 RAG 开发中的难题扩展到了 12 个。
在本文中,我们将深入剖析,展示天壤如何利用技术手段来应对 RAG 的 12 个痛点,创造出更加实用、更精准的 AI 应用。
1
内容缺失
知识库中缺少必要的上下文信息。当知识库没有包含正确答案时,RAG 系统可能会给出一个貌似合理但实际上错误的回答,而不是明确表示它不知道答案。这可能会导致用户接收到误导信息,从而感到挫败。
天壤解法
\1. 混合增强RAG:关键词检索解决没有Embedded的内容检索正确性,语义检索解决Query和Doc语义不一致的问题,综合提高检索的准确性。
\2. 设置阈值:即在回答问题前先设定一个质量标准。如果召回内容达不到标准或无召回,系统不会提供答案,而是告诉用户需要更多信息或返回固定话术,防止错误或不准确的信息误导用户。
\3. 判断上下文信息是否充分:如果判断出上下文信息不足,系统不会尝试提供可能错误的回答,而是提示用户需要提供更多上下文或优化查询词。
2
遗漏重要文档
在初始的检索步骤中,有时会漏掉关键文档,导致它们没有出现在系统返回的最顶端结果之中。这就意味着正确的答案可能被忽略了,使得系统无法准确回答问题。正如论文所指出的,“答案虽然在某个文档中,但因为排名不够高而没有呈现给用户”。
天壤解法
\1. 分析用户意图:通过分析用户的查询词汇和历史交互,缩小搜索范围,提高检索的相关性。
\2. 混合增强 RAG:关键词检索解决没有 Embedded 的内容检索正确性,语义检索解决 Query 和 Doc 语义不一致的问题,综合提高检索的准确性。
\3. 引入重排序模型:根据用户的实际反馈和文档的相关性指标,对召回的文档进行二次排序,确保最相关的内容出现在结果的顶部。
3
脱离上下文的挑战
即使在重排之后,有时关键文档仍未能融入生成答案所需的上下文中。这种情况通常出现在数据库返回大量文档,并需要通过一个整合过程来检索答案时。简而言之,即便包含答案的文档被检索到了,但未能有效整合进最终的回答中。
天壤解法
\1. 添加文档标签过滤:通过标签分类文档,在搜索时通过标签来缩小搜索范围,减少无关信息干扰,检索与用户查询最相关的文档。
\2. 微调 embedding 模型:在预训练的模型基础上,使用特定领域的数据集进一步训练,以适应特定的任务或需求,帮助模型更好地理解用户查询和文档内容之间的语义相似性,从而提高检索的准确性。
4
信息提取困难
有时系统难以从提供的上下文中提取正确答案,特别是当上下文信息量过大时。关键细节可能会被忽略,影响回答的质量。这种情况往往出现在上下文中存在过多的干扰信息或信息矛盾时。
天壤解法
基于天壤知识工程,进行知识萃取,将这些信息转化为结构化的知识,并与现有索引系统相结合,快速有效地响应用户的查询。
5
输出格式不正确
当系统忽略了以特定格式(例如表格或列表)提取信息的指令时,输出可能会出现格式错误。
天壤解法
天壤大模型根据预设的格式要求,如JSON,来组织和呈现信息。通过这种对齐,模型在输出信息时能够保持一致性和准确性。
6
细节不够具体
当输出没有达到所需的级别时,回答可能会缺乏必要的详细信息,经常需要进一步的查询来进行澄清。答案可能过于泛泛或模糊,无法有效地满足用户的需求。
天壤解法
级联增强:根据用户的初始查询生成回答,系统分析第一次回答的结果,识别出更多细节,并据此生成更具体的问题,系统使用更具体的问题再次进行 RAG,逐步提高回答的质量。
7
输出不完整
有时输出虽不完全错误,但却未能提供所有详细信息,尽管这些信息在上下文中是存在且可以获取的。例如,询问文档 A、B 和 C 讨论的主要方面时,分别询问每个文档可能更能确保获得全面的答案。
天壤解法
使用大模型对用户提出的问题进行拆解,将其分解为更小、更具体的子问题,接着,系统对每个子问题分别进行 RAG 流程,以确保每个文档的关键信息都能被充分考虑和提取,从而提供更完整、更全面的回答。
8
数据摄入的扩展性问题
当数据摄入管道难以处理更大数据量,可能会出现性能瓶颈和系统潜在故障,导致摄入时间延长、系统过载、数据质量问题及可用性限制。
天壤解法
采用分布式处理框架提升数据摄入管道的处理能力,确保系统在面对大规模数据时仍能保持高性能和高可用性。
9
结构化数据的查询应答
对于复杂或含糊的查询,准确解释用户查询并检索相关结构化数据可能颇具挑战,尤其是在文本到 SQL 转换不够灵活和当前 LLM 处理这类任务的限制下。
天壤解法
CoT 和 ToT 流程:鼓励大模型在生成答案之前进行更深入的思考。CoT 流程要求模型展示其推理过程,而 ToT 则进一步让模型对自己的推理进行反思,从而提高大模型在处理结构化数据查询时的表现。
10
处理复杂 PDF 文档的数据提取
从嵌入的表格等复杂 PDF 文档中提取数据,尤其用于问答场景,传统的检索方法可能无法实现。我们需要更高级的方法来处理这种复杂的 PDF 数据提取。
天壤解法
\1. 天壤知识工程平台提供一系列工具,处理多种文档格式,识别文档中的表格、图表、标题和其他结构元素,以及它们之间的关系。
\2. 使用长序列的 token 输入大模型,使模型更好地理解上下文,从而提供更准确的回答。
11
备用模型
在使用 LLM 时,可能会遇到比如 OpenAI 模型的速率限制错误等问题。在主模型出现故障时,你需要一个或多个备用模型作为后备。
天壤解法
天壤开放平台支持接入多种模型,用户可以根据需要切换不同的 LLM。
12
LLM的安全问题
处理提示注入、不安全输出以及防止敏感信息泄露等问题,是每位 AI 架构师和工程师面临的关键挑战。
天壤解法
天壤开放平台支持集成敏感词检测服务,自动识别和过滤掉可能引起安全问题的词汇。
—
通过将这 12 个挑战及其建议的解决方法并列在一张表中,我们现在可以更直观地理解问题及其对策。
虽然这份清单并未穷尽 RAG 系统设计与实现的所有细节,但它旨在揭开这一过程中所面临的复杂挑战的神秘面纱。
期望通过这些分享,让我们更好地理解 RAG 系统的复杂性,激发大家的热情,一起让大模型应用在现实世界中大放异彩。
如何学习大模型
现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。
作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。
我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。
![](https://img-blog.csdnimg.cn/img_convert/6d73284ac8e2e42060838284e3a03226.png)
一、AGI大模型系统学习路线
很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。
二、AI大模型视频教程
三、AI大模型各大学习书籍
四、AI大模型各大场景实战案例
五、结束语
学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。
再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。
因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。