- 博客(13)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 第七课笔记
二、OpenCompass评测工具的全面升级，包括工具链、基准、榜单、自定义数据集和多模态评测等功能，以及开放共享的基准社区和自研数据集。一、大模型评测的重要性以及评测所面临的挑战，并详细讲解了司南评测体系2.0的实现方法和特点。基于社区力量，汇集工具基准和榜单三位一体，定期更新榜单和模型性能。支持自定义模型和数据集，切分任务并行化，高效利用资源。评测体系已广泛用于头部研究机构，是唯一国产评测体系。自研数据集，注重梯度难度和各种知识能力的评测。介绍大模型评测的重要性。垂直领域进行模型评测。
2024-04-24 20:25:27
239
原创 第七课作业
使用 OpenCompass 评测 internlm2-chat-1_8b 模型在 C-Eval 数据集上的性能。- 将自定义数据集提交至OpenCompass官网。
2024-04-24 20:14:17
130
原创 第六课笔记
3.介绍legend和agent lego两个工具包，用于构建基于大模型的智能体应用。一、基于大语言模型的智能体的局限性和需求，以及智能体的组成和经典案例。2.智能体的三个条件：感知环境、动作、推理能力。1.介绍智能体应用搭建的背景和需求。
2024-04-22 09:50:27
464
原创 第四课笔记
XTuner是打包好的大模型微调工具箱，轻量级，支持多种微调算法和硬件，易于使用。对话模板的作用和训练中需要添加的起始符和结束符。介绍XTuner微调大语言模型和本节内容。讲解增量预训练和指令微调两种微调范式。讲解数据的标准化格式和对话模板的添加。模型经过组装后的效果。
2024-04-22 09:36:20
265
原创 第五次课笔记
一、大模型部署的背景、部署方法、LMDeploy量化部署和大模型实践，以及实际部署中面临的挑战，包括计算量、内存开销、仿存瓶颈和用户请求不确定性等问题。可以通过减少模型参数来提高计算效率，可以使用知识蒸馏方法来降低训练难度，模型量化可以提高计算效率，并减少模型参数所需的内存空间。LMDeploy 量化部署 LLM-VLM 实践。2.实际部署过程中需要考虑的计算能力和显存等问题。二、LMDeploy 量化部署的三个核心功能。3.大模型推理过程中存在的问题和解决方案。1.大模型部署的背景介绍和实践环节。
2024-04-14 11:40:37
354
1
原创 LMDeploy 量化部署 LLM&VLM 实践
3.以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，分别使用命令行客户端与Gradio网页客户端与模型对话。4.使用W4A16量化，调整KV Cache的占用比例为0.4，使用Python代码集成的方式运行internlm2-chat-1.8b模型。2.设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。5.使用 LMDeploy 运行视觉多模态大模型 llava gradio demo （优秀学员必做）
2024-04-12 09:21:21
626
原创 第三次课笔记
二、RAG技术及其三种范式，以及常见的优化方法和微调思路。RAG技术可以处理专业知识和实时新闻摘要等，但依赖于外部知识库的质量和覆盖范围。一、使用茴香豆搭建个人RAG知识助手的实战营课程，包括RAG基础知识、RAG技术原理和应用、以及实战演练等内容。三、RAG技术的基本概念和应用，以及如何评价RAG技术的性能。此外，还介绍了开源应用工具茴香豆的使用场景和特点。RAG技术发展迅猛，出现三种范式，包括索引检索、生成和总结融合。本项目中的茴香豆是基于大模型的领域知识助手，应用RAG技术。
2024-04-10 15:07:59
568
1
原创 第三次课RAG作业
微信版本 8.0.47 （其他版本没效果，因为微信版本强绑定了 ViewID）；一个测试用的微信其余的按照步骤一步一步操作就行。【应用方向】结合自己擅长的领域知识（游戏、法律、电子等）、专业背景，搭建个人工作助手或者垂直领域问答助手，参考茴香豆官方文档，部署到下列任一平台。• 根据教程文档搭建 茴香豆技术助手，针对问题"茴香豆怎么部署到微信群？也基本还是能够完成，但是为啥没有识别出来不调用知识库还是使用了参考文档吗？基本上安装教程步骤一步一步的来，就没什么问题，非常的棒。
2024-04-09 23:44:25
404
原创 第二次课笔记
如何完成使用基于书生·浦语大语言模型的图文多模态大模型进行图文写作和图像理解。需要升级开发机配置并进行环境包安装和配置。如何在左侧的文件夹栏目中找到已创建的文件，并进行下载和执行。同时，还介绍了如何部署模型并进行测试。如何进行图片理解实战，并提供了一些技巧和注意事项。通过上传图片并分析其内容，可以完成实战任务。以及如何配置本地端口环境等。介绍书生·浦语社区大模型。和的图文生成以及视觉问答。介绍书生·浦语兴趣小组。以及其提供的资源支持。如何在实战任务中使用。
2024-04-05 18:01:13
304
原创 第二次课：轻松玩转书生·浦语大模型趣味 Demo
2.熟悉huggingface下载功能，使用huggingface_hub python 包，下载 InternLM2-Chat-7B 的`config.json` 文件到本地（需截图下载过程）总结与问题：基本上跟着视频中的步骤或者readme一步一步操作都能实现，有些小的问题也可以通过网上搜多方法解决，非常好。4.完成`Lagent`工具调用`数据分析Demo部署（需截图）3.完成 `浦语·灵笔2`的图文创作及视觉问答部署（需截图）**进阶作业 (优秀学员必做)****基础作业 (结营必做)**
2024-04-04 19:21:24
492
1
原创 第一次课：书生·大模型全链路开源体系
书生浦语大模型的全年度开源体系，以及书生浦语与大模型的发展历程和特点，其中包括轻量级和重量级模型以及不同能力的模型。模型在各种能力评测中的表现，包括语言知识、推理、数学、代码等方面，同时还介绍了模型的应用和数据分析功能。五、英特尔开源模型推理和部署工具的评测和发展趋势，以及智能体框架和多媒体多模态智能体工具箱的使用和开发。思南大模型评测体系，包括评测框架的开发和开源、评测基准社区的建立以及对大模型能力提升的分析。书生浦语的全链条工具体系开源，包括数据、预训练、微调、部署、评测、应用等环节。
2024-03-30 18:07:39
263
新建文件夹中有好看的树.rar
2019-12-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人