本地部署AI大模型?Ollama一招搞定,轻松使用。
Ollama是什么?
Ollama是一个旨在简化大型语言模型本地部署和运行过程的工具123。它提供了一个轻量级、易于扩展的框架,让开发者能够在本地机器上轻松构建和管理LLMs。通过ollama,开发者可以访问和运行一系列预构建的模型,或者导入和定制自己的模型,无需关注复杂的底层实现细节。
支持的操作系统
支持但不限于
Windows :Windows 10及以上
MacOS :所有MacOS
Linux :比如Ubuntu
下载和安装Ollama
官方网站
下载完成后双击运行
一步一步安装完成
安装完成后,cmd输入运行 ollama
ollama
出现上述所示信息,表示安装成功!
部署大模型
名称 | 参数 | 命令 |
llama3 | 8b | ollama run llama3:8b |
qwen | 0.5b | ollama run qwen:0.5b |
qwen | 1.8b | ollama run qwen:1.8b |
qwen | 4b | ollama run qwen:4b |
qwen | 7b | ollama run qwen:7b |
以qwen:1.8b为实例
cmd运行ollama run qwen:1.8b
ollama run qwen:1.8b
出现如上图片就说明成功了
常用命令
查看已安装的大模型
ollama list
运行指定大模型(xxxx是指定大模型的名称)
ollama run xxxx
删除指定大模型(xxxx是指定大模型的名称)
ollama rm xxxx