大语言模型&多模态模型应用界面，本地部署指南！

今天我们本地部署一套LLMs的前端应用界面Open WebUI，这套应用界面适用非常多LLM。

先来了解下特点：

📱 响应式设计：在桌面和移动设备上享受无缝体验。

⚡ 快速响应：享受快速响应的性能。

🚀 轻松设置：使用 Docker 或 Kubernetes（kubectl、kustomize 或 helm）无缝安装，获得轻松的体验。

✒️完整的 Markdown 和 LaTeX 支持：通过全面的 Markdown 和 LaTeX 功能提升您的LLM体验，以丰富交互。

📚 本地 RAG集成：此功能将文档交互无缝集成到您的聊天体验中。您可以将文档直接加载到聊天中或将文件添加到文档库中，使用 # 提示符中的命令轻松访问它们。

🌐 网页浏览功能：使用 # 命令后跟 URL 将网站无缝集成到您的聊天体验中。此功能允许您将 Web 内容直接合并到您的对话中，从而增强互动的丰富性和深度。

📜 提示预设支持：使用聊天输入中 / 的命令立即访问预设提示。毫不费力地加载预定义的对话启动器并加快您的交互速度。通过Open WebUI社区集成轻松导入提示。

👍 RLHF 注释：通过竖起大拇指和竖起大拇指对消息进行评分来增强您的消息，从而促进创建用于人类反馈强化学习 （RLHF） 的数据集。利用您的消息来训练或微调模型，同时确保本地保存数据的机密性。

🏷️ 对话标记：轻松分类和定位特定聊天，以便快速参考和简化数据收集。

🗑️ 下载/删除模型：直接从 Web UI 轻松下载或删除模型。

⬆️ GGUF 文件模型创建：通过直接从 Web UI 上传 GGUF 文件，轻松创建 Ollama 模型。

。。。其实还有很多，就不一一列举了，项目地址我放在文尾，有兴趣的小伙可以看看。

---

快速上手

1. Docker安装

在本地部署这套应用前，我们先下载DockerDesktop版本，这样才能让它跑起来。

进入Docker官网，找到DockerDesktop版本，点击进入下一页。

在Download for Windows 按钮选择您的系统版本，这次以Windows为例。

这里的安装步骤很简单，我就不一一截图了。不过，在安装过程中会让你登录账号，如果没有账号可以选择注册，不想注册则可以选择continue without signing in，在下一个页面选择skip。

安装完成后就是这个界面，我们把docker最小化，先放在旁边（切记不要退出docker）。

2.Open WebUI安装

这个项目支持云部署和本地部署，今天我们就用本地部署。

在Windows中搜索Power shell并打开，在命令行输入以下这条命令。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

输入命令后按回车执行，开始拉取镜像文件，需要稍等一会。

镜像文件拉取完成。

---

3.使用Open WebUI

接下来，我们再打开Docker，Containers列表这里就会多出一行，点击端口3000:8080按钮就能用浏览器打开该项目。

第一次登录需要注册您的账号，点击create account按钮完成注册，注册完成后就是管理元了，下次再启动只需要输入账号和密码。

进入页面后点击select a model下拉菜单选择gemma模型，就可以与gemma对话了。

注意：如果这里没显示模型，则需要打开ollama项目，打开后刷新页面会显示ollama安装过得模型。

好了，至此，Open WebUI项目完成本地部署。这个项目有很多功能值得摸索，小伙伴可以自己研究下。

---

4. 多模态模型安装

点击左下角setting，进入设置弹窗。

选中侧边栏的models按钮，在pull a model from Ollama.com输入框内输入llava下载该模型。

下载进度到100%就可以与llava多模态模型聊天了（下载过程有点慢的请耐心等待）。

好的，能识别出图像里得内容了。

---

Open WebUI项目地址：https://github.com/open-webui/open-webui

Docker官方地址：https://www.docker.com/

Tips:

\1. 如何删除：在docker的Containers和Images内点垃圾桶图标即可删除项目；

\2. 关闭后如何再启动：在docker的Containers和Images内点run图标即可启动项目（如果是ollama项目中下载的模型则需要启动ollama）；

\3. docker关闭后再启动为何项目列表为空：需要用户登录；

\4. ollama项目下载的模型在哪里：如果是默认安装路径，在C:\Users\用户名.ollama\models文件夹内；

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。