ollama本地部署大模型

Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地机器上运行和部署大型语言模型。Ollama 设计为一个框架，旨在简化在 Docker 容器中部署和管理大型语言模型的过程，使得这一过程变得简单快捷。用户可以通过简单的命令行操作，快速在本地运行如 Llama 3 这样的开源大型语言模型。

安装：

Linux下直接执行：curl -fsSL https://ollama.com/install.sh | sh

常用命令：

查看模型 ollama list

运行模型 ollama run glm4

删除模型 ollama rm glm4

创建模型 ollama create -f  

退出模型 ctl+d

（1）Ollama模型库：

https://ollama.com/library

（2）Ollama构建自己的模型:

gguf模型库：

https://huggingface.co/

HF-Mirror

魔搭社区

下载模型文件：比如： Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf

编写模型文件：Modelfile

# FROM 指定 GGUF 文件的路径

FROM D:/AI/Download/Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf

创建自己的模型：ollama create test-Llama3-8B-Chinese -f ./Modelfile

运行自己的模型：ollama run test-Llama3-8B-Chinese:latest