zhidong007-CSDN博客

原创探索 InternLM 模型能力边界-进阶(学习笔记)

数字交通作为数字经济的基础性支撑，能够助力稳投资、扩内需和增就业，促进经济高质量发展。”欧国立指出，交通与汽车、电子、软件等产业深度融合，能够形成跨界发展、共创共享的数字交通新兴产业，产生强大的新质生产力，推动数字经济迈上新台阶，促进经济结构转型升级。

2024-09-25 16:55:03 579

原创 MindSearch 部署到Github Codespace 和 Hugging Face Space（学习笔记）

和相比区别是把internstudio换成了github codespace。随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务（免费的 InternLM2.5-7B-Chat 真的很香），MindSearch 的部署与使用也就迎来了纯 CPU 版本，进一步降低了部署门槛。那就让我们来一起看看如何使用硅基流动的 API 来部署 MindSearch 吧。

2024-09-25 15:36:22 729

是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。因此，根据大量国内用户的实际需求，总结出了的茴香豆知识问答助手架构，帮助企业级用户可以快速上手安装部署。

2024-09-25 12:27:55 1037

原创 InternVL 多模态模型部署微调实践(学习笔记)

InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。

2024-09-24 23:36:33 557

原创 Lagent 自定义你的 Agent 智能体(练习笔记)

Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器在本节中，我们将带大家基于 Lagent 自定义自己的智能体。Lagent 中关于工具部分的介绍文档位于。继承BaseAction类实现简单工具的run方法；

2024-09-24 20:25:35 691

原创 LMDeploy 量化部署进阶实践(学习笔记)

点选开发机，自拟一个开发机名称，选择镜像。所以我们需要大于14GB的显存，选择(24GB显存容量)，后选择，等状态栏变成运行中，点击，我们即可开始部署。在终端中，让我们输入以下指令，来创建一个名为lmdeploy的conda环境，python版本为3.10，创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

2024-09-24 17:05:50 967

原创 OpenCompass 评测 InternLM-1.8B 实践(练习笔记)

在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。接下来，我们将展示 OpenCompass 的基础用法，分别用命令行方式和配置文件的方式评测InternLM2-Chat-1.8B，展示书生浦语在C-Eval基准任务上的评估。更多评测技巧请查看文档。

2024-09-21 10:57:37 858

原创 InternLM + LlamaIndex RAG 实践（练习笔记）

如何使用 LlamaIndex 来部署 InternLM2 1.8B（以 InternStudio 的环境为例）

2024-09-20 20:37:53 635

原创 XTuner微调个人小助手认知(练习笔记)

本节主要重点是带领大家实现个人小助手微调，如果想了解微调相关的基本概念，可以访问XTuner微调前置基础。环境安装：我们想要用简单易上手的微调工具包 XTuner 来对模型进行微调的话，第一步是安装 XTuner ！安装基础的工具是一切的前提，只有安装了 XTuner 我们才能够去执行后续的操作。前期准备：在完成 XTuner 的安装后，我们下一步就需要去明确我们自己的微调目标了。我们想要利用微调做一些什么事情呢，然后为了实现这个目标，我们需要准备相关的硬件资源和数据。启动微调：在确定了自己的微调目标后，我

2024-09-20 18:39:25 616

原创浦语提示词工程实践(学习笔记)

Prompt是一种用于指导以大语言模型为代表的生成式人工智能生成内容(文本、图像、视频等)的输入方式。它通常是一个简短的文本或问题，用于描述任务和要求。Prompt可以包含一些特定的关键词或短语，用于引导模型生成符合特定主题或风格的内容。例如，如果我们要生成一篇关于“人工智能”的文章，我们可以使用“人工智能”作为Prompt，让模型生成一篇关于人工智能的介绍、应用、发展等方面的文章。Prompt还可以包含一些特定的指令或要求，用于控制生成文本的语气、风格、长度等方面。

2024-09-19 21:43:06 970

原创书生8G 显存玩转大模型（学习笔记）

创建开发机：激活环境：编写cli_demo.py 调用大模型python cli_demo.py测试调用大模型：二、Streamlit Web Demo 部署 InternLM2-Chat-1.8B 模型启动一个 Streamlit 服务在本地的 PowerShell 中输入以下命令，将端口映射到本地打开本地浏览器：http://127.0.0.1:6006

2024-09-19 19:28:19 205

原创大模型全链路开源体系（学习笔记）

书生·浦语大模型开源工具与社区生态无缝连接，如HuggingFace、VLLM、LLaMA、TensorRT-LLM、LMStudio、LLaMA-Factory、Llamalndex、LangChain、ollama、MLX、llamafile、Swift等。当前大模型厂商提供了从数据、预训练、微调、部署、评测和应用，全链路的开源开放产品，为中国大模型的推广、普及和发展起着推动作用。2023年9月27日，开源书生·浦语灵笔（InternLM-XComposer），这是首个支持图文混合创作的大模型。

2024-09-12 22:36:27 249

原创 Python练习

请使用本地vscode连接远程开发机，将上面你写的wordcount函数在开发机上进行debug，体验debug的全流程，并完成一份debug笔记(需要截图)。请实现一个wordcount函数，统计英文字符串中每个单词出现的次数。返回一个字典，key为单词，value为对应单词出现的次数。一、python 基础练习。

2024-07-20 14:28:59 238

原创【大模型实战】第一关：Linux

点击VS界面左面工具里Extensions，然后搜索SSH，找到Remote-SSH进行安装。创建完成环境，并激活环境：conda activate allen_test。运行python文件， python hello_world.py。编写hello_world.py文件。

2024-07-20 14:15:27 392

zhidong007的专栏