《Ollama与DeepSeek》：此文为AI自动生成

  

《Ollama与DeepSeek》

启动并运行大型语言模型。

macOS 的

下载

窗户

下载

Linux的

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>curl -fsSL https://ollama.com/install.sh | sh
</code></span></span></span></span>

手动安装说明

码头工人

Docker Hub 上提供了官方的 Ollama Docker 镜像。ollama/ollama

图书馆

• OLLAMA-Python
• OLLAMA-JS

社区

• 不和
• Reddit 网站

快速入门

要运行 Llama 并与 Llama 聊天 3.2：

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama run llama3.2
</code></span></span></span></span>

模型库

Ollama 支持 ollama.com/library 上可用的模型列表

以下是一些可以下载的示例模型：

型	参数	大小	下载
羊驼 3.3	70 字节	43GB	ollama run llama3.3
羊驼 3.2	3B	2.0千兆字节（GB）	ollama run llama3.2
羊驼 3.2	1乙	1.3GB	ollama run llama3.2:1b
Llama 3.2 愿景	11B	7.9GB	ollama run llama3.2-vision
Llama 3.2 愿景	90B	55GB	ollama run llama3.2-vision:90b
羊驼 3.1	8B	4.7GB	ollama run llama3.1
羊驼 3.1	405B 系列	231GB	ollama run llama3.1:405b
Phi 4	14B	9.1吉字节	ollama run phi4
Phi 3 迷你	3.8 字节	2.3GB	ollama run phi3
杰玛 2	2B	1.6GB	ollama run gemma2:2b
杰玛 2	9B	5.5GB （千兆字节）	ollama run gemma2
杰玛 2	27B	16GB	ollama run gemma2:27b
米斯特拉尔	7B	4.1千兆字节（GB）	ollama run mistral
月梦 2	1.4乙	829兆字节（MB）	ollama run moondream
神经聊天	7B	4.1千兆字节（GB）	ollama run neural-chat
椋	7B	4.1千兆字节（GB）	ollama run starling-lm
代码 Llama	7B	3.8千兆字节（GB）	ollama run codellama
Llama 2	7B	3.8千兆字节（GB）	ollama run llama2-uncensored
拉瓦	7B	4.5GB	ollama run llava
太阳的	10.7 字节	6.1吉字节	ollama run solar

注意

您应该至少有 8 GB 的 RAM 来运行 7B 型号，16 GB 的 RAM 来运行 13B 的型号，32 GB 的 RAM 来运行 33B 型号。

自定义模型

从 GGUF 导入

Ollama 支持在 Modelfile 中导入 GGUF 模型：

1. 创建一个名为 ， 的文件，其中包含要导入的模型的本地文件路径的指令。ModelfileFROM

   <span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>FROM ./vicuna-33b.Q4_0.gguf
   </code></span></span></span>

2. 在 Ollama 中创建模型

   <span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama create example -f Modelfile
   </code></span></span></span>

3. 运行模型

   <span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama run example
   </code></span></span></span>

从 Safetensor 导入

请参阅 导入模型 以了解更多信息。

自定义提示

Ollama 库中的模型可以通过提示进行自定义。例如，要自定义模型：llama3.2

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama pull llama3.2
</code></span></span></span></span>

创建一个 ：Modelfile

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>FROM llama3.2

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1

# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""
</code></span></span></span></span>

接下来，创建并运行模型：

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>ollama create mario -f ./Modelfile
ollama run mario