零一科技Yi-VL 6B视觉大模型环境搭建&推理

引子

最近看新闻博客说零一科技的Yi-VL-Plus视觉大模型效果很不错,那就想着尝尝鲜。这是第四篇关于视觉大模型的博客。之前有写过一篇零一科技的chat大模型零一科技Yi-34B Chat大模型环境搭建&推理_python部署大模型yi-34b-chat-CSDN博客,感兴趣的童鞋可以移步。我个人始终觉得大模型发展之路,还是要走小而精之路,即模型小但能力强,所以这篇就部署下6B的模型吧(好吧,也许最重要原因是我显卡不够。。。)。OK,让我们开始吧。

一、环境搭建

1、模型下载

git clone 魔搭社区

2、代码下载

git clone https://github.com/01-ai/Yi.git

3、安装环境

docker run -it -v /datas/work/zzq/:/workspace --gpus=all pytorch/pytorch:2.0.1-cuda11.7-cudnn8-devel bash

cd /workspace/Yi-vl/Yi/VL

pip install -r requirements.txt -i Simple Index

二、代码运行

1、接口运行

python single_inference.py --model-path model/Yi-VL-6B/ --image-file images/cats.jpg --question "Describe the cats and what they are doing in detail."

报错,显卡不支持格式,修改如下:

继续运行

2、命令行交互

python cli.py --model-path model/Yi-VL-6B/ --image-file images/cats.jpg

报错,显卡不支持格式,修改如下:

  • 5
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

要养家的程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值