Ollama 和 Open WebUI 是两款非常实用的工具,可以帮助用户在本地轻松部署强大的语言模型和智能推理引擎。本篇文章将详细介绍如何零门槛地在本地部署 Ollama 和 Open WebUI,并通过 Deepseek-R1-14b 模型进行高效的推理。
Ollama 安装 Deepseek-R1-14b
Ollama 是一款非常轻量且易于安装的工具,旨在为开发者提供便捷的语言模型 API 支持。它支持多种大型语言模型的运行和调用,包括 Deepseek-R1-14b。下面是安装步骤的详细说明。
curl -fsSL https://ollama.com/install.sh
ollama run deepseek-r1:14b
在执行这条命令时,Ollama 将自动下载并安装 deepseek-r1:14b
这个大型语言模型,并准备好 API 供后续使用。安装成功后,你将能够通过 API 请求与模型进行交互。
Ollama 安装不在这里做过多介绍,比较方便,几乎一键安装部署。
Open WebUI 部署
Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台,旨在完全离线运行。它支持各种 LLM 运行器,如 Ollama 和 OpenAI 兼容的 API,并内置了 RAG 推理引擎,使其成为强大的 AI 部署解决方案。
Docker 安装
如果你希望通过 Docker 来快速部署 Open WebUI,可以按照以下步骤进行操作。首先,确保你已经在系统中安装了 Docker。然后,执行以下命令来启动 Open WebUI:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
此命令会从 Docker Hub 拉取最新的 Open WebUI 镜像,并在后台启动该应用。启动成功后,你可以通过浏览器访问 http://localhost:3000
来使用 Open WebUI。
pip 安装
如果你希望不使用 Docker,而是通过 pip
来安装 Open WebUI,可以按照以下步骤进行操作:
-
\1. 安装 Open WebUI:
pip install open-webui
-
\2. 启动 Open WebUI:
open-webui serve
启动后,你可以通过访问
http://localhost:8080
提示:pip 安装的版本可能会比 Docker 镜像版本略有不同,建议选择最适合你的部署方式。
配置与使用 Open WebUI
首次访问 Open WebUI 时,你将会看到一个登录界面。在这个界面上,你需要创建一个管理员账号。输入必要的信息后,你将能够访问管理员面板,进行模型管理和 API 配置。
在管理员面板中,你需要配置 Ollama 的 API。点击相应的设置选项,输入你安装 Ollama 时生成的 API 地址和密钥。确保配置正确,这样 Open WebUI 才能成功连接到 Ollama 并调用 Deepseek-R1-14b 模型进行推理。
配置 Ollama API
访问聊天
配置完成后,你可以开始使用 Open WebUI 进行聊天。进入聊天界面,输入你的问题或请求,Open WebUI 将通过 Ollama 的 API 调用 Deepseek-R1-14b 模型并返回相应的结果。
通过这种方式,你可以便捷地与语言模型进行交互,进行各种文本生成、问答等操作。
Open WebUI 还支持同时运行多个语言模型,这使得你可以在同一个平台中使用不同的模型进行对比和组合。例如,你可以同时运行 Ollama 和 OpenAI 模型,并在聊天时选择不同的模型进行对话。
这种多模型支持大大增强了 Open WebUI 的灵活性和实用性。
总结
通过以上步骤,我们成功地在本地环境中部署了 Ollama、Open WebUI 和 Deepseek-R1-14b 模型,并配置了相关的 API 接口。这一过程非常适合希望将 AI 技术应用到本地开发中的开发者。在未来,随着更多模型和功能的加入,Open WebUI 将成为更加强大的 AI 部署平台。
如何零基础入门 / 学习AI大模型?
大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?
”“谁的饭碗又将不保了?
”等问题热议不断。
不如成为「掌握AI工具的技术人」
,毕竟AI时代,谁先尝试,谁就能占得先机!
想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。
但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高
那么我作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,希望可以帮助到更多学习大模型的人!至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
👉 福利来袭
CSDN大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈
全套AGI大模型学习大纲+路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
👉 福利来袭
CSDN大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。