昇腾Mindie + mis-tei + dify + DeepSeek-R1-Distill-Qwen-32B-W8A8

1、Mindie 服务

mindie json配置文件：

蒸馏模型LLM模型信息

"ModelDeployConfig" :
{
"maxSeqLen" : 2560,
"maxInputTokenLen" : 2048,
"truncation" : false,
"ModelConfig" : [
{
"modelInstanceType" : "Standard",
"modelName" : "DeepSeek-R1-W8A8",
"modelWeightPath" : "/home/DeepSeek-R1-Distill-Qwen-32B-W8A8",
"worldSize" : 4,
"cpuMemSize" : 5,
"npuMemSize" : -1,
"backendType" : "atb"
}
]
},

2、mis-tei 安装和拉起

2.1从昇腾镜像中心获取镜像

提前准备模型：bge-large-zh-v1.5 、 bge-reranker-large

注意模型权重路径为模型所在的上级目录如： /home/data

• -e ASCEND_VISIBLE_DEVICES: 挂载指定的npu卡到容器中，只有宿主机安装了Ascend Docker Runtime，此环境变量才会生效，如果未安装Ascend Docker Runtime,可参考配置如下参数挂载指定的卡到容器

    --device=/dev/davinci_manager \
    --device=/dev/hisi_hdc \
    --device=/dev/devmm_svm \
    --device=/dev/davinci0 \
    --device=/dev/davinci1 \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
    -v /usr/local/sbin:/usr/local/sbin:ro \

默认服务器已安装Ascend Docker Runtime，更多细节参考tei镜像README

2.2拉起bge-large-zh-v1.5拉起命令样例，请自行按需修改：

docker run -u root -e ASCEND_VISIBLE_DEVICES=0 -itd --name=bge-large-zh-v1.5--net=host \ -v /home/data:/home/HwHiAiUser/model \ swr.cn-south-1.myhuaweicloud.com/ascendhub/mis-tei:6.0.0-300I-Duo-aarch64 BAAI/bge-large-zh-v1.5 192.168.30.37 8080

2.3拉起bge-reranker-large拉起命令样例，请自行按需修改：

docker run -u root  -e ASCEND_VISIBLE_DEVICES=1 -itd --name=bge-reranker-large --net=host \
 -v  /home/data:/home/HwHiAiUser/model \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mis-tei:6.0.0-300I-Duo-aarch64  BAAI/bge-reranker-large 192.168.30.37 8081

3、dify 安装和拉起

安装docker-compose：

cd /bin &&   wget https://sxj731533730.obs.cn-east-317.qdrgznjszx.com/docker-compose  && chmod 777 docker-compose

查看版本  docker-compose -v

获取dify源码并进入dify/docker

git clone https://gitee.com/dify_ai/dify.git   && cd  ./dify/docker   && git checkout 0.15.3  &&  docker-compose up -d

docker ps 查看后台拉起dify依赖容器

4、后台npu-smi info查看容器运行情况

5、配置dify信息，获取mindie和mis-tei服务可用模型

配置mindie模型

配置Text Embedding模型：

配置重排Rerank模型：

总览情况：

上传知识库测试：

基于本地知识库问答：

FAQ：

1、如何修改dify端口：

cd  ./dify/docker目录， cp .env.example .env  &&  vi   .env  修改以下字段：NGINX_PORT、EXPOSE_NGINX_PORT