- 博客(2)
- 收藏
- 关注
转载 MiniGPT4部署
请注意,这不是直接的 working weight ,而是LLAMA-13B的 working weight 与 original weight 的差值。注:低CPU内存需加入--low-cpu-mem,可以把大的权重文件分割成多个小份,并使用磁盘作为临时存储。可以使峰值内存保持在16GB以下。当前版本的MiniGPT-4是建立在v0版本的 Vicuna-13B 之上的。注:这里 直接 从 HuggingFace 下载 已转化为 HuggingFace格式的原始LLAMA-7B或LLAMA-13B 权重。
2023-06-26 22:30:02 421
转载 Vicuna 模型学习
请注意,这不是直接的 working weight ,而是LLAMA-13B的 working weight 与 original weight 的差值。注:低CPU内存需加入--low-cpu-mem,可以把大的权重文件分割成多个小份,并使用磁盘作为临时存储。当前版本的MiniGPT-4是建立在v0版本的 Vicuna-13B 之上的。方案一:将 --low-cpu-mem 追加到上面的命令中,这会将大权重文件拆分为较小的文件,并将磁盘用作临时存储。我们目前使用的是v0版本的Vicuna-13B。
2023-06-20 16:04:05 381
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人