Ollama 是一个本地部署大型语言模型(LLM)的开源工具,它支持多种主流的大模型,并持续更新对新模型的支持。用户可以通过 Ollama Model Library 查看所有当前支持的模型

Ollama 是一个本地部署大型语言模型(LLM)的开源工具,它支持多种主流的大模型,并持续更新对新模型的支持。用户可以通过 Ollama Model Library 查看所有当前支持的模型。
在这里插入图片描述

以下是截至目前 Ollama 支持的部分主流 AI 大模型及其版本信息整理:


Ollama 支持的主要大模型及版本

1. llama3

  • 版本:8B、70B
  • 开发者:Meta
  • 说明:Llama 系列最新一代模型,性能更强,适用于对话、推理等任务。

2. llama2

  • 版本:7B、13B、70B
  • 开发者:Meta
  • 说明:上一代 Llama 模型,在多个基准测试中表现优异。

3. mistral

  • 版本:7B、22B(mistral-large
  • 开发者:Mistral AI
  • 说明:在代码生成和自然语言理解方面表现突出。

4. mixtral

  • 版本:8x7B
  • 开发者:Mistral AI
  • 说明:混合专家模型(MoE),具有高效推理能力。

5. phi3

  • 版本:3.8B(phi3-mini)、14B(phi3-medium, phi3-large
  • 开发者:Microsoft
  • 说明:小型但高性能的语言模型,适合边缘设备部署。

6. gemma

  • 版本:2B、7B
  • 开发者:Google
  • 说明:轻量级模型,适合资源受限环境下的应用。

7. qwen

  • 版本:7B、14B、32B、72B(部分为量化版)
  • 开发者:阿里云
  • 说明:通义千问系列模型,广泛应用于中文场景。

8. command-r

  • 版本:16B
  • 开发者:Cohere
  • 说明:专为指令跟随设计,适用于对话系统和搜索任务。

9. dbrx

  • 版本:123B(参数量极大)
  • 开发者:Databricks
  • 说明:大规模 MoE 模型,适合高复杂度任务。

10. nemotron

  • 版本:4(包括 nemotron-4-340b-instruct
  • 开发者:NVIDIA
  • 说明:用于生成高质量文本,尤其擅长内容创作。

11. deepseek

  • 版本:1.0、2.0、MoE 版本
  • 开发者:DeepSeek
  • 说明:具备较强的多语言和代码生成能力。

12. yi

  • 版本:6B、9B、34B、34B-Q(量化)
  • 开发者:01.AI
  • 说明:适用于多模态任务和长文本处理。

13. neural-chat

  • 版本:7B
  • 开发者:Intel
  • 说明:优化了对话质量,适合聊天机器人场景。

14. zephyr

  • 版本:7B
  • 开发者:Hugging Face
  • 说明:基于 Mistral 微调,适合对话和指令执行。

Ollama 支持模型汇总表

模型名称主要版本开发者是否推荐使用
llama38B, 70BMeta
llama27B, 13B, 70BMeta
mistral7B, 22B (mistral-large)Mistral AI
mixtral8x7BMistral AI
phi3phi3-mini (3.8B), phi3-medium (14B)Microsoft
gemma2B, 7BGoogle
qwen7B, 14B, 32B, 72B阿里云
command-r16BCohere
dbrx123BDatabricks
nemotron4NVIDIA
deepseek1.0, 2.0, MoEDeepSeek
yi6B, 9B, 34B, 34B-Q01.AI
neural-chat7BIntel
zephyr7BHugging Face

⚠️ 注意:

  • 某些大模型(如 dbrx, qwen-72b)需要较高内存或显存支持。
  • 可通过 ollama pull <model_name> 下载模型。
  • 更多模型请访问 Ollama 官方模型库

如需了解某个具体模型的使用方法或性能对比,请告诉我。

### 本地环境快速部署语言模型的方法和工具 #### Ollama 的功能与优势 Ollama 是一款开源大型语言模型LLM)服务工具,专为简化本地环境中部署和运行大模型而设计。通过其类似于 Docker 的框架,用户可以轻松完成安装启动多种开源语言模型,例如 Llama 2 或其他支持模型[^1]。该工具的主要特点是提供了简单直观的操作方式,使得即使是技术背景较弱的用户也能迅速上手。 #### 部署过程概述 尽管某些中文开源项目的部署可能较为复杂,但借助现代工具支持,这一流程已被显著优化。通常情况下,部署工作需要经过几个关键环节:准备硬件资源、下载所需的基础包以及配置运行环境等[^2]。对于初学者而言,这些步骤可能会显得繁琐;然而,利用现成解决方案能够有效降低难度。 #### 跨平台兼容性与具体特性介绍 作为一款强大的命令行界面(CLI)应用,Ollama 不仅实现了Windows,Linux 及MacOS三大主流操作系统上的无缝衔接,还具备如下亮点: - **跨平台支持**:无论是在哪种常见桌面端设备之上皆可顺利执行; - **丰富模型库**:除了官方预设选项外亦允许个人加载自定义版本; - **高效性能表现**:得益于内置机制,即使面对多GPU架构也依旧游刃有余.[^3] #### 特定实例分析 - ChatGLM-6B 以 ChatGLM-6B 这一特定模型为例说明其实用价值所在之处。作为一个开放源码形式发布的双语交流型AI程序(涵盖普通话同英文),凭借约莫六十二亿规模参数量级构建而成.更重要的是它特别适合于那些拥有较低规格图形处理器单元(GPU RAM 小至6GB即可满足需求)之消费者群体来进行家庭内部独立运作尝试.与此同时,由于采用了先进的压缩算法(Int4 Quantization Techniques),进一步降低了实际消耗门槛.[^4] ```bash # 安装ollama CLI 工具 brew install ollama # 对应macOS 用户适用方法之一 sudo apt-get update && sudo apt-get install ollama # Linux 下的标准做法 # 获取指定名称下的最可用镜像文件副本 ollama pull llama2 # 此处假设目标选用Lamda系列第二代产品线成员 # 启动交互会话窗口以便实时测试效果反馈情况 ollama run llama2 # 开始体验刚刚获取到的手头这个实例化对象吧! ``` 以上脚本片段展示了从零开始直至成功激活任意选定类别内的代表性个体所需的全部必要动作序列.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱的叹息

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值