大模型全链路开源体系（学习笔记）

当前大模型厂商提供了从数据、预训练、微调、部署、评测和应用，全链路的开源开放产品，为中国大模型的推广、普及和发展起着推动作用。
以书生·浦语大模型为例，做下介绍，供读者在学习大模型知识和技术时参考。

一、书生·浦语大模型开源历程

2023年6月7日，发布浦语系列首个千亿参数模型。

2023年7月6日，InternLM-7B开源并免费商用，同时发布全链条开源工具体系。

2023年9月20日，InternLM-20B开源，开源工具链进行全线升级。

2023年9月27日，开源书生·浦语灵笔（InternLM-XComposer），这是首个支持图文混合创作的大模型。

2024年1月17日，开源InternLM2，其性能超过当时最新同量级开源模型。

2024年1月23日，发布InternLM2-Math，这是首个同时支持形式化数学语言及解题过程评价的开源模型。

2024年1月29日，发布书生·浦语灵笔2（InternLM-XComposer2），支持个性化高质量图文创作和对话。

2024年5月24日，开源InternLM2-Math-Plus，刷新开源数学模型性能上限。

2024年6月4日，开源InternLM2-WQX，这是一个200亿参数量的语言模型，在2024年高考中取得接近GPT-4o的成绩。

2024年7月，开源InternLM 2.5。

开源InternLM 2.5概览

二、书生·浦语大模型开源工具链体系

标准化的开源工具链算法库，覆盖了从数据、模型预训练到评测的全链条流程。
1.数据：书生·万卷
首个精细处理的开源多模态语料库
2.预训练：InternEvo
性能超过国际主流训练框架DeepSpeed。
3.微调：Xtuner
多种微调和偏好对齐算法支持干亿参数+百万上下文。
4.部署：LMDeploy
性能超过国际主流推理框架vllm。
5.评测：OpenCompass
社区最全面的开源评测体系。
6.应用
MindSearch：思索式开源搜索应用
Lagent：首个支持代码解释器的智能体框架
MinerU：高效文档解析工具
HuixiangDou：基于专业知识库的群聊助手
书生·浦语大模型开源工具与社区生态无缝连接，如HuggingFace、VLLM、LLaMA、TensorRT-LLM、LMStudio、LLaMA-Factory、Llamalndex、LangChain、ollama、MLX、llamafile、Swift等。
三、书生·浦语大模型核心技术思路
1.高质量合成数据
融合多种数据合成方案，提升合成数据质量。方案包括基于规则的数据构造、基于模型的数据扩充和基于反馈的数据生成等。

2.领先的推理能力

InternLM 2.5推理能力相比上一代大幅提升，领先同量级开源模型。

3.100万Token上下文

测试表明：InternLM2.5-7B大海捞针效果很好。

4.基于规划和搜索解决复杂问题