大模型本地化部署1-Ollama安装(Windows)

1、下载Ollama安装包

Ollama官网地址
https://ollama.com/
进入下载页面,如下图:
在这里插入图片描述
下载后的安装包如下图:
在这里插入图片描述

2、安装Ollama

双击OllamaSetup.exe,进行安装。

注意,在windows下安装时,是不允许选择安装位置的,默认是安装在系统盘的。
安装完毕后,打开终端进行验证,在终端中输入ollama

ollama

如果看到以下信息则说明安装成功
在这里插入图片描述

3、设置模型存放目录

在windows,ollama安装的模型,默认存放目录为C:/Users//.ollama/models
3.1、可以通过以下命令更改模型安装时的存放目录

# 只设置当前用户(需要先创建D:\ollama_models目录)
setx OLLAMA_MODELS "D:\ollama_models" 
# 为所有用户设置(需要先创建D:\ollama_models目录)
setx OLLAMA_MODELS "D:\ollama_models" /M

执行如下图:
在这里插入图片描述
3.2、重启终端(setx命令在windows中设置环境变量时,这个变量的更改只会在新打开的命令提示符窗口或终端会话中生效。)
3、重启ollama服务。

4、查看Ollama支持的模型

可以通过以下网址查看Ollama支持的模型列表:
https://ollama.com/library
如下图:
在这里插入图片描述
点击某个模型连接,比如qwen2,可以看到模型详细的介绍,如下图:
在这里插入图片描述

5、模型安装

可以通过以下命令进行模型安装

ollama pull qwen2

安装过程如下图:
在这里插入图片描述
在这里插入图片描述
安装完毕时如下:
在这里插入图片描述

6、查看已安装的模型列表

通过以下命令查看已安装的模型列表

ollama list

执行结果如下:
在这里插入图片描述

7、运行一个模型

通过以下命令运行一个模型

ollama run qwen2

启动后如下图:
在这里插入图片描述
然后就可以对话了,如下图:
在这里插入图片描述
在终端中退出对话和模型的运行,需要输入:

/bye

8、设置Ollama允许外放访问

1、默认情况下,在通过ollama运行一个模型时,默认的服务地址和端口为127.0.0.1:11434,可以通过以下命令看到。

ollama run --help

在这里插入图片描述
2、要想允许外部程序访问Ollama,需要把服务侦听的地址改为0.0.0.0:11434,在Windows下可以通过设置系统环境变量的方式修改,如下:
在这里插入图片描述
3、环境变量设置完毕后,需要重启ollama服务才能生效,ollama服务在启动的时候会读取这个环境变量的值,按这个值进行侦听。
由于windows下安装的ollama不是一个标准的windows service,所以智能直接结束连个ollama进程(先结束ollama app.exe,否则无法正常结束ollama.exe),如下图:
在这里插入图片描述
启动ollama可以从windows开始菜单中找到ollama,点击启动,如下图:
在这里插入图片描述
运行后会自动启动与Ollama相关的两个进程。其实,开始菜单中的Ollama就时Ollama app.exe,相当于ollama的守护进程,会自动监控ollama.exe的运行情况,如果发现ollama.exe结束后,会自动启动ollama.exe。
4、需要关闭终端重新启动终端,在新的终端中再运行模型。

ollama run qwen2

5、再新开一个终端,查看侦听的地址和端口

netstat -an

如下图:
在这里插入图片描述
则说明正确配置允许外部访问了。

### 本地部署大规模模型 Ollama 的教程 #### 工具简介 Ollama 是一种用于在本地环境部署和运行大型语言模型的工具,其操作命令类似于 Docker 命令集。这使得熟悉容器化应用的开发者能够快速上手并利用该平台进行开发工作[^1]。 #### 部署准备 为了成功安装和配置 Ollama,在开始之前需确认计算机满足最低硬件需求,并已预先安装好必要的软件依赖项如 Docker 或者其他支持虚拟化的解决方案。由于具体版本可能会有所变化,请访问官方文档获取最新的兼容性和设置指导[^2]。 #### 初始化服务 通过执行 `ollama serve` 来启动核心的服务进程,这是后续所有交互的基础。一旦此命令被执行,将会初始化后台守护程序以便管理和调度各个实例的任务请求。 ```bash $ ollama serve ``` #### 创建与管理模型 对于初次使用者来说,可以先尝试从远程仓库拉取预训练好的模型到本地存储中,使用如下指令完成这一过程: ```bash $ ollama pull model_name ``` 这里 `model_name` 应替换为目标模型的实际名称。之后可以通过 `ollama list` 查看当前已经加载至系统的全部可用资源列表;如果想要进一步查看某个特定条目的详情,则可调用 `ollama show model_name`。 当准备好要使用的模型后,便能借助 `ollama run model_name` 开始实际推理流程或是提供 API 接口供外部应用程序调用了。此外还有诸如复制(`cp`)、删除(`rm`)等功能帮助维护整个生命周期内的资产状态调整。 #### 故障排除提示 遇到问题时不要慌张,记得查阅内置的帮助手册——只需输入 `ollama help [command]` 即可以获得关于任意子命令的具体说明和支持选项介绍。同时也可以参考社区论坛或联系技术支持团队寻求更专业的建议和服务。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值