GGML模型转换教程（pytorch-＞ GGUF格式）

已于 2024-11-09 08:33:53 修改
阅读量1.2k 收藏 10
点赞数 4
文章标签： 人工智能 ggml gguf
于 2024-10-31 18:44:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/znsoft/article/details/143414540
版权

本教程持续更新，介绍怎样将一个pytorch原始模型转换为ggml支持的新格式gguf，并编写c程序推理模型。本文的目标是提供一种简单教学，方便大家入门。

gguf格式为ggml的第3版模型文件规范（结构），使用 gguf库操作，比前几版使用更加容易。

安装python库

pip  install gguf

一、 gguf格式

二、模型转换

三、C++程序编写

0. 编译ggml库

1.模型参数加载

2.计算图构建 

znsoft
关注
GGUF模型转换入门
weixin_40777649的博客
06-27 1523
1 定义2 案例。
GGML、GGUF、GPTQ 都是啥?
kcarly的专栏
02-04 1783
GGML是一种早期的模型格式，主要用于简化模型存储和推理，但因灵活性不足逐渐被GGUF取代。GGUF是GGML的升级版，提供了更高的灵活性和兼容性，适合在不同设备上运行大型语言模型。GPTQ是一种先进的量化技术，专注于GPU优化，能够显著压缩模型大小并提高推理效率。这三种技术和格式各有优缺点，选择时需根据具体需求（如硬件条件、模型大小和性能要求）进行权衡。存储效率：GGUF通过二进制格式和优化的数据结构，在存储效率上优于GGML，加载和保存速度更快。推理效率。
使用 llama.cpp 实现从 PyTorch 到 GGUF 的格式转换与量化
学亮编程手记
03-28 598
量化可显著缩小模型体积，但会损失一定精度。根据需求选择合适的量化类型（如。确保 PyTorch 模型以标准格式保存（如包含。的完整目录），通常通过。
Hugging Face 模型格式全解析：从 PyTorch 到 GGUF
mingo_敏
03-20 876
Hugging Face 生态支持多种模型格式，以满足不同场景下的存储、部署和推理需求。以下是主流格式的技术解析与演进脉络：Hugging Face 模型格式的演进体现了安全性、效率和兼容性的平衡：根据需求选择格式：追求安全用 ，本地部署用 ，深度集成 PyTorch 则保留 。
大模型转换为 GGUF
奔跑中的小象的博客
01-10 1249
GGUF 格式的全名为（GPT-Generated Unified Format），提到 GGUF 就不得不提到它的前身 GGML（GPT-Generated Model Language）。GGML 是专门为了机器学习设计的张量库，最早可以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发中，遇到了灵活性不足、相容性及难以维护的问题。
如何用hugging face hub一键下载模型并将模型转换为gguf格式（支持自定义量化）
2301_78453609的博客
03-24 1万+
量化就是减少模型所占内存的大小，量化位数越少，模型占有内存越小，但相对可能模型表现会更差，所以建议在模型过大的时候可以适当采用。进入本地【E:\llamaapp\llama.cpp】文件夹（llama.cpp文件夹），在当前环境下将【llama】我尝试了采用convert.py文件失败，所以采用convert-hf-to-gguf.py，成功。下载完成的话，缓存【modelcache】里面选中的文件就可以删除了（所有文件都可以删除）好的，能看到这里的小伙伴都是大牛了，我也是花了好长时间才跑成功的。
AI大模型：一文搞懂大模型文件存储格式新宠GGUF
pythonhy的博客
10-14 1万+
本文大介绍大模型文件存储格式新宠GGUF，目前 Huggingface Transformers 已经支持了GGUF格式，同时，像谷歌的Gemma、阿里的Qwen等模型默认已经提供了GGUF格式文件，可见其发展势头如日中天。
GGUF 是一种用于存储推理模型的文件格式 替换为 GGML 和基于 GGML 的执行程序 GGUF 是一种二进制格式，专为快速加载和保存模型而设计， 以及为了便于阅读
02-11
这意味着使用PyTorch、TensorFlow或其他框架开发的模型可以转换成GGML格式，以便在不同的环境中进行使用。这种转换过程使得模型不再受限于特定框架的限制，从而能够更广泛地被应用和共享。 GGML还提供了GGUF解析器...
本地DeepSeek模型GGUF文件转换为PyTorch格式
搏博的专栏
02-16 1751
可能的难点在于参数名称的映射和格式转换。接前文，我们在本地Windows系统上，基于GGUF文件部署了DeepSeek模型（DeepSeek-R1-Distill-Qwen-1.5B.gguf版本），但是GGUF是已经量化的版本，我们除了对其进行微调之外，无法对其训练，那么还有没有其他办法对本地的GGUF部署的DeepSeek模型进行训练呢？大端模式是指数据的低位保存在内存的高地址中，而数据的高位保存在内存的低地址中.小端模式是指数据的低位保存在内存的低地址中，而数据的高位保存在内存的高地址中。
【AIGC】大模型面试高频考点-LLM量化方法对比：GPTQ、GGUF、AWQ
LeeZhao的博客
03-16 1147
LLM量化方法对比：GPTQ、GGUF、AWQ
ollama把huggingface下载下来的模型转换为gguf
abments的博客
05-16 5200
ollama把huggingface下载下来的模型转换为gguf
大模型转换为 GGUF 以及使用 ollama 运行
最新发布
weixin_39249427的博客
04-09 89
GGUF。
深度认知大模型文件格式GGUF
FeelTouch Labs
08-06 2002
Hugging Face Hub 支持所有文件格式，但内置了GGUF 格式的功能，这是一种二进制格式，针对快速加载和保存模型进行了优化，使其在推理方面非常高效。GGUF 旨在与 GGML 和其他执行器一起使用。GGUF 由@ggerganov开发，他也是流行的 C/C++ LLM 推理框架llama.cpp的开发者。最初在 PyTorch 等框架中开发的模型可以转换为 GGUF 格式，以便与这些引擎一起使用。正如我们在图中所看到的，与。
pytorch数据类型及类型转换等
qq_33278461的博客
09-13 1593
一、pytorch数据类型及类型转换 0.pytoch中的数据类型 Data type dtype CPU tensor GPU tensor 32-bit floating point torch.float32 or torch.float torch.FloatTensor torch.cuda.FloatTensor 64-bit floating point torch.float64 or torch.double torch.DoubleTensor torch.cud
浅谈将Pytorch模型从CPU转换成GPU
Ema1997的博客
07-08 2086
最近将Pytorch程序迁移到GPU上去的一些工作和思考 环境：Ubuntu 16.04.3 Python版本：3.5.2 Pytorch版本：0.4.0 0. 序言 大家知道，在深度学习中使用GPU来对模型进行训练是可以通过并行化其计算来提高运行效率，这里就不多谈了。 最近申请到了实验室的服务器来跑程序，成功将我简陋的程序改成了“高大上”GPU版本。 看到网上总体来说少了很多介绍，这里决定将我的一些思考和工作记录下来。 1. 如何进行迁移 由于我使用的是Pytorch写的模型，网上给出了一个非常简单的.
探索G-MLP：PyTorch实现的全局卷积神经网络新星
gitblog_00068的博客
04-20 709
探索G-MLP：PyTorch实现的全局卷积神经网络新星 g-mlp-pytorchImplementation of gMLP, an all-MLP replacement for Transformers, in Pytorch项目地址:https://gitcode.com/gh_mirrors/gm/g-mlp-pytorch 在深度学习领域，Transformer模型已经成为自然语言...
llama3 微调教程之 llama factory 的 安装部署与模型微调过程，模型量化和gguf转换。
热门推荐
失业求捞！
05-17 2万+
本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImplementedError: Architecture ‘LlamaForCausalLM’ not supported!
macbook m1 本地部署llama2模型
abcdlmk的博客
08-27 4116
本文将对在macbook m1笔记本上使用llama.cpp本地部署量化版的llama2的过程进行记录。
vllm gguf
03-14
<think>好的，我现在需要处理用户关于vLLM和GGUF格式使用或问题的问题。用户提到了引用[1]中的类型错误和引用[2]中安装vllm的步骤。首先，我应该先理解这两个技术的基本概念和应用场景。 vLLM是一个专注于高效推理和部署大语言模型（LLM）的库，它通过优化注意力机制和内存管理来提高推理速度，适合高吞吐量的场景。而GGUF是GGML团队推出的新模型格式，支持更灵活的数据类型和硬件兼容性，常用于本地或资源受限环境下的模型部署。 用户遇到的类型错误“'<=' not supported between instances of 'float' and 'str'”可能是在使用vLLM加载GGUF模型时，输入数据格式不匹配导致的。比如，输入的数据类型可能被错误地解析为字符串而非浮点数，或者模型配置中的某些参数类型不正确。需要检查输入数据的预处理步骤，确保传入的数据类型符合模型的要求。此外，检查模型配置文件是否正确，特别是与量化相关的参数是否设置正确。 关于GGUF格式在vLLM中的使用，目前vLLM主要支持Hugging Face格式的模型，对GGUF的支持可能有限。用户可能需要将GGUF模型转换为vLLM支持的格式，比如使用转换工具或导出为PyTorch格式后再加载。如果vLLM不支持GGUF，可能需要使用其他支持GGUF的库如llama.cpp来加载这类模型。 另外，用户提到安装vllm时使用了清华的镜像源，这可能涉及到依赖安装的问题。需要确认所有依赖库是否正确安装，特别是与硬件加速相关的库如CUDA是否配置正确。如果存在版本冲突，可能需要调整依赖版本或创建虚拟环境隔离。 总结下来，用户的问题可能集中在如何正确在vLLM中使用GGUF格式的模型，以及解决相关的类型错误。解决方案包括检查输入数据类型、转换模型格式、确保依赖正确安装，以及考虑使用兼容的库来处理GGUF模型。</think>### vLLM与GGUF格式的使用及问题解答 #### 一、vLLM与GGUF的核心区别 1. **vLLM** - 定位：专注于大语言模型（LLM）的高效推理和部署，通过优化注意力机制和内存管理提升推理速度[^1]。 - 适用场景：高吞吐量、低延迟的云端推理，支持Hugging Face模型格式。 - 限制：对非标准格式（如GGUF）的支持有限。 2. **GGUF** - 定位：由GGML团队设计的新模型格式，支持多种量化方式和硬件兼容性（如CPU、GPU）。 - 适用场景：本地化部署、资源受限环境（如移动设备）。 - 典型工具链：`llama.cpp`、`ollama`等。 #### 二、关键问题分析 1. **类型错误 `'<=' not supported between 'float' and 'str'`** - **原因**：输入数据或模型配置中的类型不匹配，例如： - 输入文本未正确编码为数值张量。 - 模型参数（如`temperature`）被错误赋值为字符串。 - **解决方案**： - 检查数据预处理流程，确保输入为浮点类型。 - 验证模型配置项（如`max_tokens`、`temperature`）是否为数值类型。 2. **vLLM直接加载GGUF的限制** - 当前vLLM主要支持Hugging Face格式，直接加载GGUF需额外适配： - **方法一**：通过`llama.cpp`将GGUF转换为PyTorch格式，再加载到vLLM。 - **方法二**：使用`vLLM`的`AsyncLLMEngine`自定义加载逻辑（需修改源码）。 #### 三、操作示例 1. **使用llama.cpp转换GGUF格式** ```bash # 安装llama.cpp git clone https://github.com/ggerganov/llama.cpp cd llama.cpp && make # 转换GGUF为PyTorch格式 python convert-gguf-to-pth.py input.gguf output.pth ``` 2. **在vLLM中加载转换后的模型** ```python from vllm import LLM # 初始化模型（假设已转换） llm = LLM(model="output.pth", dtype="float16") # 推理示例 outputs = llm.generate(["Hello, how are you?"]) print(outputs) ``` #### 四、常见问题排查表 | 问题现象 | 可能原因 | 解决步骤 | |---------|---------|---------| | 加载GGUF时报错`Unsupported format` | vLLM未集成GGUF解析器 | 使用`llama.cpp`或转换工具预处理模型 | | 推理结果异常 | 量化参数不匹配 | 检查GGUF文件的量化类型（如Q4_K_M）与硬件兼容性 | | 内存不足 | 未启用内存优化 | 启用vLLM的`paged_attention`或调整`gpu_memory_utilization`参数[^2] |
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值