8.17 书生大模型实战营-基础岛4 -InternLM+LlamaIndex RAG 实践作业

目录

1. RAG-检索增强生成

1.1 RAG的基本概述

1.2 RAG的工作原理

1.3 RAG的发展进程

1.4  LLM模型优化方法对比

1.5 评估框架和基准测试：

1.6 总结

2. InternLM+LlamaIndex RAG 实践

2.1 LlamaIndex介绍

2.2 实践

3. 作业

---

1. RAG-检索增强生成

正式介绍检索增强生成（Retrieval Augmented Generation，RAG）技术以前，大家不妨想想为什么会出现这样一个技术。 给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。 第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程，可以参考InternLM2技术报告。第二种方式，并不改变模型的权重，只是给模型引入格外的信息。类比人类编程的过程，第一种方式相当于你记住了某个函数的用法，第二种方式相当于你阅读函数文档然后短暂的记住了某个函数的用法。

对比两种注入知识方式，第二种更容易实现。RAG正是这种方式。它能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。本次课程选用了LlamaIndex框架。LlamaIndex 是一个上下文增强的 LLM 框架，旨在通过将其与特定上下文数据集集成，增强大型语言模型（LLMs）的能力。它允许您构建应用程序，既利用 LLMs 的优势，又融入您的私有或领域特定信息。

1.1 RAG的基本概述

RAG的技术主要可以解决：

1. 模型幻觉 

对于一些大模型不知道的知识，大模型可能会胡乱生成，并且试图让其看起来合理！

2. 过时知识 

大模型本身在训练时，是一次性训练，因此采用的是过去的知识。当我们想要一些最新的知识时，大模型回答不了

3. 缺乏透明和可追溯的推理过程

大模型在生成回答时，可能答案是正确的，但是并不能展现大模型本身的一个推理过程，RAG的技术可以帮助我们追溯推理过程（对于这个点有点疑惑）

1.2 RAG的工作原理

1.3 RAG的发展进程

从Naive RAG（问答系统、信息检索）、Advanced RAG（摘要生成、内容推荐）、Modular RAG（多模态任务、对话系统）

提供了一些可以优化RAG方法的思路：

RAG 与 Fine-tuning的对比：

1.4  LLM模型优化方法对比

上述图片的横轴表示模型任务的适应性、纵轴表示外部知识的需求！

1.5 评估框架和基准测试：

1.6 总结

2. InternLM+LlamaIndex RAG 实践

2.1 LlamaIndex介绍

2.2 实践

如图所示，由于xtuner是一款比较新的框架， InternLM2-Chat-1.8B 训练数据库中并没有收录到它的相关信息。左图中问答均未给出准确的答案。右图未对 InternLM2-Chat-1.8B 进行任何增训的情况下，通过 RAG 技术实现的新增知识问答。

使用RAG之前：

使用RAG之后：

不难发现，在使用RAG之前，大模型产生了模型幻觉；而在使用了RAG之后，大模型能够利用外部的知识库，对问题进行比较详细、准确的回答！

web端的实现：

3. 作业

• 任务要求：基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前InternLM2-Chat-1.8B模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力，截图保存。

首先询问：介绍一下上海交通大学人工智能研究院视觉智能研究中心

由于模型在训练时没有此类的数据，因此模型无法回答！模型输出如下：

此时，接入外部的知识库，这里在上海交通大学的人工智能研究院摘取了几篇关于研究中心的介绍：

上海交通大学各个研究中心介绍：

# 人工智能研究院智能语音与自然语言处理研究中心：

* 本研究中心聚焦自然声学场景的听觉感知计算和自然交互环境的语言认知计算，研究方向包括音频事件检测及分析、语音识别及合成、自然语言理解、对话及问答、知识工程及信息检索、多语种言语处理，多模态言语认知等.

* 目标是构建认知型跨模态自然人机对话技术的理论、算法和系统，实现人类与机器的自由沟通和协同进化。中心成员在国际权威期刊和会议上发表上百篇高水平学术论文，获得一系列优秀论文奖和国际竞赛冠军。

 

* 中心与欧美亚的国际一流研究机构具有广泛的交流合作，并建立了国际权威专家组成的咨询委员会。同时，中心高度关注科学研究与工程实践结合，从真实世界技术挑战中凝练科学问题，并将关键技术应用于真实产业系统实践。

 

# 人工智能研究院视觉智能研究中心

* 本研究中心顺应人机物融合的发展趋势，瞄准人工智能和计算机视觉的科学前沿，发展以全域感知、行为认知、虚实融合、安全可信为特征的新一代视觉智能理论与技术，提升数字媒体、智慧城市、智慧医疗等领域的视觉感知认知能力，实现人工智能赋能新视界的愿景。

# 人工智能研究院集成电路EDA技术研究中心

* 芯片产业包括设计、制造、封装、测试等，其中芯片设计完全依赖芯片设计EDA软件，是芯片产业的关键技术瓶颈。本研究中心，面向数字、模拟、射频、混合集成电路，采用人工智能技术，结合先进3D IC集成电路工艺，通过集成电路设计方法理论的突破，研究机器自动生成物理版图方法,为模拟、数字、射频SoCs、SiPs、PCBs开发一个统一的物理版图生成器，研究意图驱动的系统综合方法，开发自动建构校正的系统生成器，最终实现电子硬件“无人参与闭环”智能设计，同时研究人工智能芯片的算法与自动化综合工具。研究中心汇集了电子技术、微纳电子技术、计算机技术等相关领域科研人才，共同解决EDA技术面临的多学科交叉难题，对标国际EDA最新技术，坚持产学研相结合的技术路线，助力企业发展国产自主可控EDA技术，打破国际技术垄断。

接入RAG技术之后，模型的回答如下：

不难发现，模型基本可以根据外部的知识库，对于询问的问题作出一个基本的回答！

web端的部署：

能够输出一些相对具体、准确的内容，同时也能够输出数据的来源！

后续可以换一些参数量比较大的模型，效果会更好一些！

完成！