zzzibo-CSDN博客

原创【InternLM 实战营第二期笔记+作业07】OpenCompass 大模型评测实战

是meta官方推荐唯一国产大模型评测体系社区支持最完善的评测体系之一，有100+评测集 50万+题目，涉及学科、语言、知识、理解、推理等多个领域快速开始 — OpenCompass 0.2.5 文档配置数据集 — OpenCompass 0.2.5 文档重点观察./opencompass下分片partitoners、提交runner、openicl写明执行方式(评价/推理/撤回）、总结summarizers自定义数据集评测步骤1../configs/datasets下新建safeqa文件夹。

2024-06-02 09:10:34 1152

原创【InternLM 实战营第二期笔记+作业06】Lagent & AgentLego 智能体应用搭建

lagent关于工具部分的介绍文档在动作 — Lagent继承 BaseAction 类实现简单工具的 run 方法；或者实现工具包内每个子工具的功能简单工具的 run 方法可选被 tool_api 装饰；工具包内每个子工具的功能都需要被 tool_api 装饰下面我们将实现一个调用和风天气 API 的工具以完成实时天气查询的功能。2.3.1创建工具文件写入内容import os@tool_api"""一个天气查询API。可以根据城市名查询天气信息。

2024-05-19 17:26:53 911 1

原创【InternLM 实战营第二期笔记+作业05】LMDeploy量化部署LLM&VLM实践

在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和有状态推理。

2024-05-17 21:42:47 880

原创【InternLM 实战营第二期笔记+作业04】XTuner 微调 LLM：1.8B、多模态、Agent

LLM的下游应用中，增量预训练和指令跟随主要的两种微调模式。增量预训练：再输入书籍、文字补充数据库指令跟随：让模型学会对话模版，学习数据是高质量的对话数据，需要高质量的标注举例：指令微调让模型不再简单地拟合问题，可以根据范式输出回答与llama-factory微调框架作对比多模态数据的处理1.文本 embedding模型转向量2.图像 image projector 转向量，一并输出。

2024-05-16 16:50:01 584

原创【InternLM 实战营第二期笔记+基础作业03】茴香豆：搭建你的RAG智能助理

RAG（retrieval augmented generation）是一种结合了检索（retrieval）和生成（generation）的技术，旨在通过利用外部知识库来增强大型语言模型（LLMs）的性能，通过检索与用户输入相关的信息片段，并结合这些信息来生成更准确、更丰富的回答。通俗理解，RAG是一个搜索引擎，在外部知识库当中搜寻相关的内容，结合大语言模型的能力生成回答。最大的优点是帮助大模型处理知识密集型任务时遇到的挑战，可以解决外部记忆缺失的难题。应用场景：问答系统、文本生成、信息检索、图片描述。

2024-05-14 11:54:09 789

原创 InternLM实战营常用linux命令（小白纯白版更新中）

进入对应目录下再python。

2024-05-13 21:38:40 151 3

原创【InternLM 实战营第二期笔记+作业02】轻松玩转书生·浦语大模型趣味 Demo

（Windows 即开始菜单键）打开指令界面，并输入命令，按下回车键。打开 PowerShell 后，先回到开发机首页点击SSL连接查看端口，记下自己的端口号，回到powershell。这要注意，把密码ctrlc之后，在powershell里直接右键点一下，然后回车，不需要ctrlv!后，（会有较长的加载时间）勾上数据分析，进行计算方面的 Demo 对话。（这一步黑标闪了很久，我还以为卡住了，必须要等到user出来）进入开发机后，三种开发模式，老师选的是jupyter lab。

2024-05-11 18:54:21 884

原创【InternLM 实战营第二期笔记01】书生·浦语大模型全链路开源体系

本次课程链接在GitHub上：InternLM/Tutorial at camp2 (github.com)第一次课程录播链接：书生·浦语大模型全链路开源体系_哔哩哔哩_bilibiliInternLM2技术报告：arxiv.org/pdf/2403.17297.pdf2023年6月7日，InternLM大模型发布2024年1月，上海 AI Lab正式发布书生 · 浦语 2.0（InternLM2），包括1.8B、7B 及 20B 两种参数规格及Base、Chat等多个版本InternLM2_Base：高质

2024-05-10 16:46:14 1042

zzzibo的博客