大模型检索增强(RAG)技术之——GraphRAG，知识库产品必不可少的技术

最新推荐文章于 2024-09-30 09:09:52 发布

python_知世

最新推荐文章于 2024-09-30 09:09:52 发布

阅读量659

点赞数 29

文章标签：数据库人工智能大语言模型 ai大模型 LLM RAG GraphRAG

本文链接：https://blog.csdn.net/zhishi0000/article/details/142462290

版权

“ RAG技术的重难点，是怎么更高效和更准确的检索数据 ”

知识库技术作为大模型技术的一个重要应用方向，也是对大模型技术的一个重要补充；特别是在问答系统，如智能客服等领域，知识库有着非同一般的作用。‍‍

从技术的角度来说，一个智能客服的好坏，除了大模型本身的质量之外，更多的是由知识库决定的。因此，知识库的作用不言而喻，而怎么才能做出一个合格的知识库，需要使用哪些技术。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

今天，我们就来讨论一下GraphRAG知识库技术。‍‍‍‍‍‍

GraphRAG

其实对很多不是特别了解知识库的人来说，总以为知识库和RAG是一个东西。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

但事实上，知识库和大模型并没有直接关系，甚至可以说知识库是知识库，大模型是大模型两者之间没有什么关联。它们是两种完全不同的技术，而且知识库的出现并不是因为大模型。‍‍‍‍‍‍‍‍‍‍

现在网上常把大模型和知识库放在一块，也经常听到有人说大模型知识库，包括作者自己。‍‍‍‍‍‍‍‍

从技术的角度来说，知识库和大模型是独立的两个技术或者说两个产品；而把它们两个进行关联的技术叫做——RAG 检索生成增强。‍‍‍‍‍‍‍‍‍‍

在这里插入图片描述

在之前的文章中也介绍过，知识库就相当于我们现实世界中的图书馆，档案室，资料库；里面存放了大量的资料，而我们平常遇到不懂的东西就可以去这些资料库里查资料。‍‍‍‍‍‍‍‍‍‍‍‍‍

大模型也是如此，由于大模型自身的缺陷等问题，导致大模型在某些方面会表现出知识不足的问题；因此，就给大模型配置了一个外部资料库，让它可以随时进行查阅，而这个外部资料库就叫做大模型知识库。‍‍‍

对大模型来说，这个资料库是什么样的不重要，怎么管理的，怎么运营的都不重要。‍‍‍‍‍‍‍

甚至很多人会认为，搭建知识库就必须要用到向量数据库，就必须使用向量检索。但事实上并非如此，知识库可以是任何形式，包括向量数据库，传统的结构化数据库和非结构化数据库，甚至是一些乱七八糟的文本文件，音视频等。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

因为，从RAG的技术流程上来说，用户发出提问之后，是有RAG去知识库中做知识匹配，然后把匹配到的知识和用户的问题通过提示词的方式一块输入给大模型，然后大模型根据这些知识做出回答。‍‍‍‍‍‍‍‍‍‍‍‍

上面就是RAG技术完整的执行流程，可以看出知识库和大模型并没有直接的交集，而是由RAG和知识库进行交流，然后把检索结果交给大模型。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

因此，知识库的重难点是怎么更加高效和准确的存储和检索知识；简单来说就是，如果有一个图书馆存储了全世界所有的书籍，资料；然后用户想问一个了解什么是大模型的问题，这时怎么用最快的速度，找到其中最准确，最权威的回答。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

而不是给你巴拉巴拉，要想了解什么是大模型就要学习线性代数，概率论，编程，算法等等。虽然它们也和大模型相关，但它们并没有准确的回答问题，而这就是RAG需要做的事情。‍‍‍‍‍‍‍‍

那什么是GraphRAG呢？‍‍

在传统的RAG技术中，施压的是向量格式的存储与检索，简单来说就是用embedding模型分析内容的语义，然后把它们存储到向量数据库中进行检索。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

而GraphRAG技术采用的是一种新的方式来存储和检索数据，那就是知识图谱。‍‍‍‍‍‍‍

知识图谱其实是著名的搜索引擎巨头——Google谷歌提出的一种智能搜索引擎；它的定义是结构化的语义数据库——用于迅速描述物理世界中的概念与其相互关系。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

从技术的角度来说，知识图谱是通过图结构的形式，把错综复杂的数据整理成一种简单的实体，关系实体的三元组，最后聚合大量知识从而实现知识的快速响应和推理。‍‍‍‍‍

如下图所示，就是一个简单的知识图谱：‍‍‍

在这里插入图片描述