简单记录一下DeepSeek的部署过程
最近国产的DeepSeek很火,所以尝试一下部署。目前2月8日前有免费十块钱的试用,大约500万tokens
开始
官网:https://www.deepseek.com/
注册登录后送十块钱体验金
首先创建API key
注意保存,仅创建的时候可见。
DeepSeek API 使用与 OpenAI 兼容的 API 格式,通过修改配置,您可以使用 OpenAI SDK 来访问 DeepSeek API,或使用与 OpenAI API 兼容的软件。
- 出于与 OpenAI 兼容考虑,您也可以将 base_url 设置为 https://api.deepseek.com/v1 来使用,但注意,此处 v1 与模型版本无关。
- deepseek-chat 模型已全面升级为 DeepSeek-V3,接口不变。 通过指定 model=‘deepseek-chat’ 即可调用 DeepSeek-V3。
使用python语言调用
先安装openai
pip install openai
from openai import OpenAI
#替换api_key为创建的key
client = OpenAI(api_key="<DeepSeek API Key>", base_url="https://api.deepseek.com")
response = client.chat.completions.create(
#指定模型
model="deepseek-chat",
#发送消息给模型
messages=[
#角色有system,user,assistant三种,可修改系统提示词,用户对话来获取模型回答
{"role": "system", "content": "You are a helpful assistant"},
{"role": "user", "content": "Hello"},
],
#针对模型的微调,具体可查阅官网文档
max_tokens=1024,
temperature=0.7,
stream=False
)
print(response.choices[0].message.content)
<DeepSeek API Key>替换为前面创建的API Key
运行后返回:
Hello! How can I assist you today? 😊
说明调用成功
temperature 参数默认为 1.0。我们建议您根据如下表格,按使用场景设置 temperature。
场景 | 温度 |
---|---|
代码生成/数学解题 | 0.0 |
数据抽取/分析 | 1.0 |
通用对话 | 1.3 |
翻译 | 1.3 |
创意类写作/诗歌创作 | 1.5 |
Token 用量计算
-
token 是模型用来表示自然语言文本的基本单位,也是我们的计费单元,可以直观的理解为“字”或“词”;通常 1 个中文词语、1 个英文单词、1 个数字或 1 个符号计为 1 个 token。
-
一般情况下模型中 token 和字数的换算比例大致如下:
1 个英文字符 ≈ 0.3 个 token。
1 个中文字符 ≈ 0.6 个 token。
但因为不同模型的分词不同,所以换算比例也存在差异,每一次实际处理 token 数量以模型返回为准,您可以从返回结果的 usage 中查看。
您可以通过如下压缩包中的代码来运行 tokenizer,以离线计算一段文本的 Token 用量。离线计算 Tokens 用量
错误码
错误码 | 描述 |
---|---|
400 - 格式错误 | 原因:请求体格式错误 解决方法:请根据错误信息提示修改请求体 |
401 - 认证失败 | 原因:API key 错误,认证失败 解决方法:请检查您的 API key 是否正确,如没有 API key,请先 创建 API key |
402 - 余额不足 | 原因:账号余额不足 解决方法:请确认账户余额,并前往 充值 页面进行充值 |
422 - 参数错误 | 原因:请求体参数错误 解决方法:请根据错误信息提示修改相关参数 |
429 - 请求速率达到上限 | 原因:请求速率(TPM 或 RPM)达到上限 解决方法:请合理规划您的请求速率。 |
500 - 服务器故障 | 原因:服务器内部故障 解决方法:请等待后重试。若问题一直存在,请联系我们解决 |
503 - 服务器繁忙 | 原因:服务器负载过高 解决方法:请稍后重试您的请求 |