【实战AI】macbook M1 本地ollama运行deepseek

由于deepseek 官网或者Aapi 调用会有网络延迟或不响应的情况,故在本地搭建部署;

前提条件

1.由于需要拉取开源镜像,受网络限制,部分资源在 vpn        前提中会下载的更快!请自行翻墙;

2.设备  macbook M1  32G

下载ollama 

Ollama 是一款跨平台推理框架客户端(MacOS、Windows、Linux),专为无缝部署大型语言模型(LLM)(如 Llama 2、Mistral、Llava 等)而设计。通过一键式设置,Ollama 可以在本地运行 LLM,将所有交互数据保存在自己的机器上,从而提高数据的私密性和安全性。

访问 Ollama 网站下载 ollama AI工具;

或者 mac 终端执行:  brew install --cask ollama

检查  ollama -v   出现版本即可;

设置模型保存位置 mac :

 echo 'export OLLAMA_MODELS="你的文件路径/models"' >> ~/.zshrc

下载交互客户端 chatbo

<think>嗯,用户问的是如何使用Ollama框架运行DeepSeek模型。首先,我需要回忆Ollama的基本用法。Ollama是一个在本地运行大型语言模型的工具,通常通过命令行操作。记得用户需要先安装Ollama,然后通过命令拉取模型。但是DeepSeek模型是否在Ollama的官方模型库中呢?可能用户需要先确认模型是否可用,或者是否有特定的模型名称。比如,DeepSeek Coder可能有对应的模型名称,比如deepseek-coder。 接下来,用户可能需要安装Ollama的步骤。比如在MacOS或Linux上用curl命令安装,或者Windows的不同方法。然后,拉取模型的命令应该是ollama run deepseek-coder这样的格式。但不确定模型的确切名称,可能需要查看Ollama的文档或DeepSeek的说明。 然后,运行模型后,用户可能需要交互式界面,或者通过API调用。Ollama一般提供REST API,所以用户可能需要用curl或者Python代码发送请求。比如,使用Python的requests库发送POST请求到localhost:11434/api/generate,并带上模型名称和prompt参数。 另外,需要注意用户的问题中引用了参考资料的[^1],里面提到“使用 Ollama 运行 DeepSeek Coder”,所以可能模型名称确实是存在的,可以直接用ollama run deepseek-coder。不过可能用户需要先执行ollama pull deepseek-coder来下载模型。 还要考虑模型的大小和硬件要求,比如需要足够的RAM和存储空间。可能需要提醒用户检查系统配置是否满足要求。 最后,生成相关问题的时候,需要考虑用户可能进一步的问题,比如性能优化、应用场景、自定义模型集成等。这部分需要根据常见的使用场景来设计问题。</think>以下是在本地使用Ollama框架运行DeepSeek Coder模型的详细步骤: ### 一、环境准备 1. 安装Ollama - **MacOS/Linux**: ```bash curl -fsSL https://ollama.ai/install.sh | sh ``` - **Windows**:从官网下载安装包 2. 验证安装 ```bash ollama --version ``` ### 二、模型部署 1. 拉取DeepSeek Coder模型 ```bash ollama pull deepseek-coder ``` 2. 启动模型服务 ```bash ollama run deepseek-coder ``` ### 三、交互使用 ```python # 通过Python调用API示例 import requests response = requests.post( "http://localhost:11434/api/generate", json={ "model": "deepseek-coder", "prompt": "用Python实现快速排序", "stream": False } ) print(response.json()["response"]) ``` ### 四、注意事项 1. 硬件要求:建议至少16GB内存,模型文件约7-15GB 2. 首次运行会自动下载模型参数 3. 可通过`--gpu`参数启用GPU加速(需NVIDIA显卡)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

东方鲤鱼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值