文章目录
部署条件
1、硬件
【注意:不同的大模型对显存有对应的要求】
2、系统
【注意:当前下载的docker-desktop安装对windows版本有要求,可通过升级Windows版本解决】
一、安装ollama
1、下载安裝
地址:https://ollama.com/,直接安裝即可
2、配置
为了能在局域网中访问ollama的大模型API,在系统变量中,添加:
OLLAMA_HOST:0.0.0.0
OLLAMA_ORIGINS:*
二、下载deepseek预训练模型
1、获取适合的大模型下载指令
访问:https://ollama.com/library/deepseek-r1
查找当前显存可支持的大模型参数规模(这里的 “B” 代表 “Billion”,即“十亿”)
2、复制命令并下载
获取命令并复制,如deepseek-r1 7b的预训练模型下载指令:ollama run deepseek-r1:7b
打开cmd,输入ollama -v,确认已安装,直接执行ollama run deepseek-r1:7b即可
下载完毕后,会出现对话模式,可输入对话测试大模型运行效果
三、下载并安装docker-desktop
1、下载地址
https://www.docker.com/products/docker-desktop