如何使用 Ollama 的 API 来执行其他功能（列出本地模型、打印模型信息、复制模型、删除模型、从官方库中下载模型、上传模型到官方库中、生成嵌入向量、列出已加载的模型、查看 Ollama 的版本）

于 2025-03-07 11:33:28 发布
阅读量1.1k 收藏 15
点赞数 8
分类专栏： AI 应用 文章标签： ai llama 人工智能 自然语言处理 学习 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zjw529507929/article/details/145992531
版权

如何使用 Ollama 的 API 来执行其他功能

简介

列出本地模型

打印模型信息

复制模型

删除模型

从官方库下载模型

上传模型到官方库中

生成嵌入向量

列出已加载的模型

查看 Ollama 的版本

简介

        Ollama 提供了一个 RESTful API，允许开发者通过 HTTP 请求与 Ollama 服务进行交互。这个 API 覆盖了所有 Ollama 的核心功能，包括模型管理、运行和监控。在之前介绍 Ollama API 的文章当中已经介绍了生成文本、生成聊天和创建模型的 API 接口的使用，本篇将介绍其他 Ollama 的 RESTful API 接口，分别有列出本地模型、打印模型信息、复制模型、删除模型、从库中拉取模型、推送模型到库中、生成嵌入、列出运行中的模型、查看版本。

列出本地模型

端点：

GET /api/tags

        列出服务器可用的本地模型。 

请求：

curl http://localhost:11434/api/tags

响应：

{
    "models": [
        {
            "name": "DeepSeek-R1-32B-abliterated-Q4_K_M:latest",
            "model": "DeepSeek-R1-32B-abliterated-Q4_K_M:latest",
            "modified_at": "2025-03-06T11:27:23.0213997+08:00",
            "size": 19851336554,
            "digest": "88ec7678f999c7d92e2a62200f3951167f746a58c744ce1b8b0388dca23ac6f9",
            "details": {
                "parent_model": "",
                "format": "gguf",
                "family": "qwen2",
                "families": [
                    "qwen2"
                ],
                "parameter_size": "32.8B",
                "quantization_level": "Q4_K_M"
            }
        },
        {
            "name": "llama3.1:8b-q4_K_M",
            "model": "llama3.1:8b-q4_K_M",
            "modified_at": "2025-03-05T16:24:50.1425586+08:00",
            "size": 4920753328,
            "digest": "1474810144ea411c8da8eb741f0e99c4f1d0858fe264f917d04d603c4208b79e",
            "details": {
                "parent_model": "",
                "format": "gguf",
                "family": "llama",
                "families": [
                    "llama"
                ],
                "parameter_size": "8.0B",
                "quantization_level": "Q4_K_M"
            }
        },
    ]
}

打印模型信息

端点：

POST /api/show

        该 API 将显示有关模型的信息（详细信息、模板文件、模板、参数、许可、系统提示等）。 

参数：

  • model：模型名称
  • verbose（可选）：如果想要获取完整的信息，需要把该项设置为 true

请求：

curl http://localhost:11434/api/show -d '{
  "model": "DeepSeek-R1-32B-abliterated-Q4_K_M:latest"
}'
curl http://localhost:11434/api/show -d '{
  "model": "DeepSeek-R1-32B-abliterated-Q4_K_M:latest",
  "verbose": true
}'

响应：

{
    "modelfile": "# Modelfile generated by \"ollama show\"\n# To build a new Modelfile based on this, replace FROM with:\n# FROM DeepSeek-R1-32B-abliterated-Q4_K_M:latest\n\nFROM E:\\ChatAI\\ollama\\models\\blobs\\sha256-4de296cf59ba595f8695084cd4e0215784baa1c6b02ee9fc26a250be08b7b6a3\nTEMPLATE {{ .Prompt }}\n",
    "template": "{{ .Prompt }}",
    "details": {
        "parent_model": "E:\\ChatAI\\ollama\\models\\blobs\\sha256-4de296cf59ba595f8695084cd4e0215784baa1c6b02ee9fc26a250be08b7b6a3",
        "format": "gguf",
        "family": "qwen2",
        "families": [
            "qwen2"
        ],
        "parameter_size": "32.8B",
        "quantization_level": "Q4_K_M"
    },
    "model_info": {
        "general.architecture": "qwen2",
        "general.base_model.0.name": "DeepSeek R1 Distill Qwen 32B",
        "general.base_model.0.organization": "Deepseek Ai",
        "general.base_model.0.repo_url": "https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B",
        "general.base_model.count": 1,
        "general.basename": "DeepSeek-R1-Distill-Qwen",
        "general.file_type": 15,
        "general.finetune": "abliterated",
        "general.parameter_count": 32763876352,
        "general.quantization_version": 2,
        "general.size_label": "32B",
        "general.tags": [
            "abliterated",
            "uncensored"
        ],
        "general.type": "model",
        "quantize.imatrix.chunks_count": 128,
        "quantize.imatrix.dataset": "/training_dir/calibration_datav3.txt",
        "quantize.imatrix.entries_count": 448,
        "quantize.imatrix.file": "/models_out/DeepSeek-R1-Distill-Qwen-32B-abliterated-GGUF/DeepSeek-R1-Distill-Qwen-32B-abliterated.imatrix",
        "qwen2.attention.head_count": 40,
        "qwen2.attention.head_count_kv": 8,
        "qwen2.attention.layer_norm_rms_epsilon": 0.00001,
        "qwen2.block_count": 64,
        "qwen2.context_length": 131072,
        "qwen2.embedding_length": 5120,
        "qwen2.feed_forward_length": 27648,
        "qwen2.rope.freq_base": 1000000,
        "tokenizer.ggml.add_bos_token": true,
        "tokenizer.ggml.add_eos_token": false,
        "tokenizer.ggml.bos_token_id": 151646,
        "tokenizer.ggml.eos_token_id": 151643,
        "tokenizer.ggml.merges": null,
        "tokenizer.ggml.model": "gpt2",
        "tokenizer.ggml.padding_token_id": 151643,
        "tokenizer.ggml.pre": "deepseek-r1-qwen",
        "tokenizer.ggml.token_type": null,
        "tokenizer.ggml.tokens": null
    },
    "modified_at": "2025-03-06T11:27:23.0213997+08:00"
}

{
    "modelfile": "# Modelfile generated by \"ollama show\"\n# To build a new Modelfile based on this, replace FROM with:\n# FROM DeepSeek-R1-32B-abliterated-Q4_K_M:latest\n\nFROM E:\\ChatAI\\ollama\\models\\blobs\\sha256-4de296cf59ba595f8695084cd4e0215784baa1c6b02ee9fc26a250be08b7b6a3\nTEMPLATE {{ .Prompt }}\n",
    "template": "{{ .Prompt }}",
    "details": {
        "parent_model": "E:\\ChatAI\\ollama\\models\\blobs\\sha256-4de296cf59ba595f8695084cd4e0215784baa1c6b02ee9fc26a250be08b7b6a3",
        "format": "gguf",
        "family": "qwen2",
        "families": [
            "qwen2"
        ],
        "parameter_size": "32.8B",
        "quantization_level": "Q4_K_M"
    },
    "model_info": {
        "general.architecture": "qwen2",
        "general.base_model.0.name": "DeepSeek R1 Distill Qwen 32B",
        "general.base_model.0.organization": "Deepseek Ai",
        "general.base_model.0.repo_url": "https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B",
        "general.base_model.count": 1,
        "general.basename": "DeepSeek-R1-Distill-Qwen",
        "general.file_type": 15,
        "general.finetune": "abliterated",
        "general.parameter_count": 32763876352,
        "general.quantization_version": 2,
        "general.size_label": "32B",
        "general.tags": [
            "abliterated",
            "uncensored"
        ],
        "general.type": "model",
        "quantize.imatrix.chunks_count": 128,
        "quantize.imatrix.dataset": "/training_dir/calibration_datav3.txt",
        "quantize.imatrix.entries_count": 448,
        "quantize.imatrix.file": "/models_out/DeepSeek-R1-Distill-Qwen-32B-abliterated-GGUF/DeepSeek-R1-Distill-Qwen-32B-abliterated.imatrix",
        "qwen2.attention.head_count": 40,
        "qwen2.attention.head_count_kv": 8,
        "qwen2.attention.layer_norm_rms_epsilon": 0.00001,
        "qwen2.block_count": 64,
        "qwen2.context_length": 131072,
        "qwen2.embedding_length": 5120,
        "qwen2.feed_forward_length": 27648,
        "qwen2.rope.freq_base": 1000000,
        "tokenizer.ggml.add_bos_token": true,
        "tokenizer.ggml.add_eos_token": false,
        "tokenizer.ggml.bos_token_id": 151646,
        "tokenizer.ggml.eos_token_id": 151643,
        "tokenizer.ggml.merges": [...],    # verbose 为 true 才会出现，但这里数据太多了所以省略了
        "tokenizer.ggml.model": "gpt2",
        "tokenizer.ggml.padding_token_id": 151643,
        "tokenizer.ggml.pre": "deepseek-r1-qwen",
        "tokenizer.ggml.token_type": [...],    # verbose 为 true 才会出现，但这里数据太多了所以省略了
        "tokenizer.ggml.tokens": [...],    # verbose 为 true 才会出现，但这里数据太多了所以省略了
    },
    "modified_at": "2025-03-06T11:27:23.0213997+08:00"
}

复制模型

端点：

POST /api/copy

        对已在服务器中的模型进行复制，并命名为其他名字。配合删除功能可以实现模型的重命名。

参数：

  • source：被复制的模型名称
  • destination： 复制后新模型的名称

请求：

curl http://localhost:11434/api/copy -d '{
  "source": "llama3.2:latest",
  "destination": "llama3.2-backup:latest"
}'

响应：

        复制成功会返回200 OK，如果源模型不存在导致失败将返回404 Not Found

删除模型

端点：

DELETE /api/delete

        删除模型（包括本地模型 blob）及其数据

参数：

  • model：需要删除模型的名称

请求：

curl -X DELETE http://localhost:11434/api/delete -d '{
  "model": "llama3.2:latest"
}'

响应：

        成功删除将返回200 OK，如果要删除的模型不存在则返回404 Not Found

 

从官方库下载模型

端点：

POST /api/pull

        将会从官方仓库下载一个 模型，这个下载有断点续传功能，也可以同时下载多个模型。

参数：

  • model：要下载的模型名称
  • insecure（可选）：允许与官方库的不安全链接，开发过程中才会用到
  • stream（可选）：设置为 false 则不使用流式传输，默认为流式传输

请求：

curl http://localhost:11434/api/pull -d '{
  "model": "llama3.2"
}'

响应： 

        流式传输时返回的第一个包的 status 为 pulling manifest

{
  "status": "pulling manifest"
}

        第一个包过后就是一系列的下载响应 ，在下载过程返回的包有可能会不包含 completed 字段

{
    "status": "pulling dde5aa3fc5ff",
    "digest": "sha256:dde5aa3fc5ffc17176b5e8bdc82f587b24b2678c6c66101bf7da77af9f7ccdff",
    "total": 2019377376,
    "completed": 2019377376
}

        当所有文件都下载完成后，最后的响应如下 

{
    "status": "verifying sha256 digest"
}
{
    "status": "writing manifest"
}
{
    "status": "success"
}

上传模型到官方库中

端点：

POST /api/push

        把自己本地的训练好的模型上传到官方模型库当中，但在推送之前需要先前往 ollama.com 上注册，并添加上公钥。

参数：

model：要上传的模型名称，格式为 <namespace>/<model>:<tag>

insecure（可选）：允许与官方库的不安全链接，开发过程中才会用到

stream（可选）：设置为 false 则不使用流式传输，默认为流式传输

请求：

curl http://localhost:11434/api/push -d '{
  "model": "mattw/pygmalion:latest"
}'

响应：

        流式传输时返回的第一个包的 status 为 retrieving manifest

{ "status": "retrieving manifest" }

        第一个包过后就是一系列的上传响应

{
  "status": "starting upload",
  "digest": "sha256:bc07c81de745696fdf5afca05e065818a8149fb0c77266fb584d9b2cba3711ab",
  "total": 1928429856
}

         最后上传上传完成后，最后的响应如下

{"status":"pushing manifest"}
{"status":"success"}

生成嵌入向量

端点：

POST /api/embed

        可以让模型生成嵌入向量，嵌入向量是一种将文本转换为数值向量表示的方式，这些向量在机器学习和自然语言处理中非常有用，例如用于文本相似性计算、聚类、分类等任务。

基本参数：

  • model：用于生成嵌入向量的模型名称
  • input：需要生成嵌入向量的文本，这可以是一个列表，可以输入多个文本

高级参数：

  • truncate：根据设定的上下文长度从每个输入的尾部截断，可能会造成输入的部分缺失，默认为 true，如果设定为 false，当超过上下文长度后将返回 error
  • options：模型参数，即 Modelfile 中填写的参数，例如 temperature 之类的
  • keep_alive：请求后模型存在于内存中的时间，默认为5分钟

一、单个文本输入

请求：

curl http://localhost:11434/api/embed -d '{
  "model": "DeepSeek-R1-32B-abliterated-Q4_K_M:latest",
  "input": "Why is the sky blue?"
}'

响应：

{
    "model": "DeepSeek-R1-32B-abliterated-Q4_K_M:latest",
    "embeddings": [[0.00080057175,0.0028768708,-0.001027889,0.0038258387,...,0.008404303,0.008198861,0.009408009]],
    "total_duration": 50136542400,
    "load_duration": 49729266600,
    "prompt_eval_count": 6
}

二、多个文本输入

请求：

curl http://localhost:11434/api/embed -d '{
  "model": "DeepSeek-R1-32B-abliterated-Q4_K_M:latest",
  "input": ["Why is the sky blue?", "Why is the grass green?"]
}'

响应：

{
    "model": "DeepSeek-R1-32B-abliterated-Q4_K_M:latest",
    "embeddings": [[0.00080057175,0.0028768708,-0.001027889,0.0038258387,...,0.008404303,0.008198861,0.009408009],[0.0024882958,0.0042897887,0.00031655197,0.0008690393,0.0022822758,...,0.007627705,0.009500079,0.008125986]],
    "total_duration": 232338100,
    "load_duration": 7154700,
    "prompt_eval_count": 12
}

 

列出已加载的模型

端点：

GET /api/ps

请求：

curl http://localhost:11434/api/ps

响应：

{
    "models": [
        {
            "name": "llama3.2-backup:latest",
            "model": "llama3.2-backup:latest",
            "size": 3972362240,
            "digest": "a80c4f17acd55265feec403c7aef86be0c25983ab279d83f3bcd3abbcb5b8b72",
            "details": {
                "parent_model": "",
                "format": "gguf",
                "family": "llama",
                "families": [
                    "llama"
                ],
                "parameter_size": "3.2B",
                "quantization_level": "Q4_K_M"
            },
            "expires_at": "2025-03-07T11:30:13.2267966+08:00",
            "size_vram": 3972362240
        }
    ]
}

 

查看 Ollama 的版本

端点：

GET /api/version

 请求：

curl http://localhost:11434/api/version

响应：

{
    "version": "0.5.12"
}

Ollama教程——入门：开启本地大型语言模型开发之旅
walkskyer的博客
04-02 5万+
ollama不仅支持运行预构建的模型，还提供了灵活的工具来导入和自定义您自己的模型。无论是从GGUF格式导入还是进行模型的个性化设置，ollama都能满足您的需求。您还可以通过自定义提示来调整模型的行为。接着，创建一个ModelfileFROM llama2 # 设置创造性更高的温度参数 PARAMETER temperature 1 # 设置系统消息 SYSTEM "" "你是超级马里奥，以马里奥的身份回答问题。"" "这样，您就能按照自己的需求定制模型了。
【AI从入门到入土系列教程】Ollama教程——入门篇：本地大型语言模型开发
TianYa707722173的博客
04-24 7018
ollama不仅支持运行预构建的模型，还提供了灵活的工具来导入和自定义您自己的模型。无论是从GGUF格式导入还是进行模型的个性化设置，ollama都能满足您的需求。您还可以通过自定义提示来调整模型的行为。# 设置创造性更高的温度参数# 设置系统消息SYSTEM """你是超级马里奥，以马里奥的身份回答问题。"""这样，您就能按照自己的需求定制模型了。``ollama提供了一个强大而灵活的平台，允许开发者在本地环境中轻松地部署和运行大型语言模型。
Ollama | 本地部署运行开源大模型
2401_82469710的博客
11-26 1447
你有没有考虑过在本地运行开源LLM？你是否不得不手动下载庞大的模型文件？你是否努力构建本地模型的API？你是否尝试在本地管理多个模型？我猜你确实考虑过！这些都是繁重的体力劳动。幸运的是，这里有。Ollama是一款流行的大模型管理工具，用于在本地部署和运行大型语言模型 - https://ollama.ai/现在，你不再需要担心这些麻烦了，一款单一的应用程序可以解决所有这些问题。你只需要访问他们的官方网站，下载应用程序并进行安装。就这样！
拥抱开源大模型，一篇文章快速了解Ollama+本地知识库创建
DEVELOPERAA的博客
10-31 1198
Ollama是一个便于用户在本地部署和管理开源大语言模型的应用框架，极大简化了开源大语言模型的安装和配置细节。
AI大模型入门基础教程（非常详细），AI大模型入门到精通，收藏这一篇就够了！
2301_76168381的博客
06-24 609
2024人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。
Ollama REST API 入门教程：接口详解与示例
基础决定高度
02-06 1354
通过这些接口，你可以轻松地与Ollama模型进行交互，生成文本、聊天对话、拉取模型、获取模型列表等。欢迎关注：庄智曰。
C#整合Ollama实现本地LLMs调用
weixin_31083901的博客
09-09 508
前言 近两年AIGC发展的非常迅速，从刚开始的只有ChatGPT到现在的很百家争鸣。从开始的大参数模型，再到后来的小参数模型，从一开始单一的文本模型到现在的多模态模型等等。随着一起进步的不仅仅是模型的多样化，还有模型的使用方式。大模型使用的门槛越来越低，甚至现在每个人都可以在自己的电脑上运行模型。今天我们要说的就是大模型工具中的佼佼者Ollama,并演示如何通过C#来使用Ollama。 ...
Ollama：一个在本地部署、运行大型语言模型的工具
2401_84495725的博客
06-15 5913
所谓自定义模型就是不适用Ollama官方模型库中的模型，理论可以使用其他各类经过转换处理的模型Ollama库中的模型可以通过提示进行自定义。python复制代码FROM llama3 # 设置温度参数 PARAMETER temperature 1 # 设置SYSTEM 消息 SYSTEM """作为AI智能助手，你将竭尽所能为员工提供严谨和有帮助的答复。"""Modelfile文档One-API是一个OpenAI接口管理 & 分发系统，支持各类大模型。这里使用Docker快速进行部署。拉取镜像。
Deepseek4j接入本地Ollama R1: 大规模语言模型深度集成指南
02-21
内容概要：本文介绍了如何使用Deepseek4j与本地运行的Ollama的Deepseek-r1:14b大规模语言模型进行整合。首先指导了不同操作系统(macOS、Linux和Windows)上的Ollama平台安装流程，以及所需特定版本的Deepseek模型的...
Ollama本地部署自定义大模型
摇光65535的博客
10-07 3343
Ollama是一个专为本地机器设计的开源框架，旨在简化大型语言模型（LLM）的部署和运行过程。本文将使用Ollama来实现llama-3.1大模型的本地化部署。
OLLAMA：如何像云端一样运行本地大语言模型
songgz的专栏
03-16 1万+
您是否曾发现自己被云端语言模型的网络所缠绕，渴望获得更本地化、更具成本效益的解决方案？那么，您的探索到此结束。欢迎来到 OLLAMA 的世界，这个平台将彻底改变我们与大型语言模型 (LLM) 的交互方式，让我们可以在本地运行这些模型。我们将深入探讨 OLLAMA 的复杂性，探索其功能、设置过程以及它如何改变你的项目。无论您是 Python 开发人员、网络开发爱好者，还是喜欢摆弄语言模型的人，本文都是您的一站式资源。OLLAMA 是一个尖端平台，旨在本地运行开源大型语言模型。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2511
TensorFlow相关组件的安装
LLM@本地语言大模型部署工具@ollama等@Gemma@qwen等开源大模型的安装与使用
xuchaoxin1375的博客
02-29 4124
开始安装模型(这里使用的电脑没有GUP太low,所以选择用cpu就可以运行的2b模型(20亿参数),对内存要求也不高,我这里只有约8GB内存)进入docker和退出docker都挺耗时的,需要耐心一些(但是一般也不会超过2分钟,否则就可能是出问题了),毕竟是虚拟机操作。低配电脑还是不要本地大模型了,配置不够,对话体验相当差(慢且乱),还是老老实实用在线大模型吧。安装或更新完毕,会要求重启电脑(对于初次安装使用者,先不要重启,看下一节)2b模型不给力,至少中文方面是这样的,不知道7b的如何。
dify专题-后台源码二
qq_37577727的博客
11-10 1234
从代码中我们可以看到获取到的模型实际上就是\api\core\model_runtime\model_providers目录下的一些模型，其中的配置信息基本都在对应模型文件夹下的yaml文件。在上节中我们验证了dify登录接口。实际上我们登录到dify后，页面会自动跳转到工作室页面，如下图所示，我们已经创建了一个聊天助手的应用。在跳转过程中，前端服务调用接口如下，下面我们逐个分析这些接口，以方便熟悉dify登录后的流程。该接口会提供登录租户下的所有已配置的模型，这些模型需要在模型供应商中进行配置。
一文尝鲜大语言模型LLM运用
lvaolan的博客
12-23 1075
当前人工智能领域快速发展，大语言模型（Large Language Models，LLM）无疑是最闪亮的星，其核心的特点是能够理解和生成自然语言文本，具备强大的语言处理能力和广泛的应用潜力。LLM比较关键的是模型训练和模型推理，模型训练阶段十分复杂，而且投入成本极高，因此这里只关注模型推理阶段即将训练好的模型应用于实际任务。
Transformers 库中的 Tokenizer 使用
热门推荐
wtfloser的博客
06-28 2万+
使用 Transformers 库的 Tokenizer 时发现的一些问题，并给出解决措施。
全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！
lythinking的博客
04-15 6976
本地运行大模型耗资源，需要选择较小的模型作为基础模型。在终端中运行时可能会出现 CUDA 错误，表示显存不足，导致提供的端口失效。若使用Hugging Face，需要申请 API Key 并且需要本地有 Python 或其他编程语言的环境。而使用Ollama则更加简单。✨ AI算法工程师 | AIGC技术实践者 🚀🎵 知音难求，自我修炼亦艰。📚 吾生也有涯，而知也无涯。🌌 AIGC时代，立志成为超级个体：抓住前沿技术的机遇，与我们一起成为创新的超级个体。✉️ 回复“群聊”，就能和大家嗨聊！
ollama 运行本地模型
最新发布
03-14
同时，基础命令部分如列出模型、删除模型、创建自定义模型都是用户可能会用到的，需要逐一说明。 优化部分，引用2提到设置代理可以加速下载，这点很重要，特别是对于国内用户，下载大模型可能会很慢。另外，GPU加速...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JoveZou

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值