DeepSeek-R1华为卡300i Duo环境搭建&推理测试

引子

前文已经写了不少DeepSeek相关的文章，感兴趣的童鞋可以移步（DeepSeek-R1环境搭建&推理测试_搭建深度求索环境-CSDN博客，基于Ollama的win10环境下DeepSeek安装测试_win10 ollama deepseek-CSDN博客）。在N卡上的操作，应该已经展示的比较全面了。今年过年期间，华为很快就宣布适配DeepSeek-R1，刚好，手上有几张华为300i Duo卡，有资源部署。OK，让我们开始吧。

一、模型介绍

呃，DeepSeek就不用介绍了吧，哈哈哈

二、模型部署

1、修改模型里的config.json比如模型路径为：/home/aicc/modelscope/deepseek/distill-32b

里面的文件如下：修改torch_dtype(由bfloat16改成float16):

2、启动docker

docker run -it -d --net=host --name mindie_rc3_zzq --privileged=true --device=/dev/davinci_manager --device=/dev/hisi_hdc --device=/dev/devmm_svm  --device=/dev/davinci4   --device=/dev/davinci5 -v /usr/local/Ascend/driver:/usr/local/Ascend/driver   -v /usr/local/sbin:/usr/local/sbin   -v /home/aicc/:/home/aicc bf6b7812c595 bash

进到下面路径：

docker exec -it -u 0 mindie_rc3_zzq bashcd /usr/local/Ascend/mindie/latest/mindie-service/conf

3、修改ip和端口号，检查httpsEnabled是否是false

vi config.json

4、配置大模型路径、name和分配对应的芯片

5、修改对应的context参数，最好按照下面的格式修改：

6、启动服务：

cd /usr/local/Ascend/mindie/latest/mindie-service/./bin/mindieservice_daemon 

通过watch -n 1 npu-smi info命令查看当前的npu程序，看看是否加载顺利

三、推理测试

用curl命令本地访问大模型，看是否有返回结果

curl --location --request POST 'http://xxx.xx.x.xxx:xxxx/v1/chat/completions' --header 'Content-Type: application/json' --data-raw '{

    "model": "ds_7b",

    "messages": [{

        "role": "user",

        "content": "You are a helpful assistant."

    }],

    "max_tokens": 20

}'