本地部署AI大模型？手把手教你用Ollama一招搞定

已于 2024-08-22 17:08:08 修改
阅读量301 收藏 1
点赞数 9
分类专栏： AI 文章标签： 自然语言处理
于 2024-08-22 17:03:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangyikai666/article/details/141430413
版权

本地部署AI大模型？Ollama一招搞定，轻松使用。

Ollama是什么？

  Ollama是一个旨在简化大型语言模型本地部署和运行过程的工具123。它提供了一个轻量级、易于扩展的框架，让开发者能够在本地机器上轻松构建和管理LLMs。通过ollama，开发者可以访问和运行一系列预构建的模型，或者导入和定制自己的模型，无需关注复杂的底层实现细节。

支持的操作系统

  支持但不限于

  Windows ：Windows 10及以上

  MacOS ：所有MacOS

  Linux ：比如Ubuntu

下载和安装Ollama

官方网站

https://ollama.com/download

下载完成后双击运行

一步一步安装完成

安装完成后，cmd输入运行 ollama

ollama

出现上述所示信息，表示安装成功！

部署大模型

名称参数命令
llama38bollama run llama3:8b
qwen0.5bollama run qwen:0.5b
qwen1.8b

ollama run qwen:1.8b

qwen4bollama run qwen:4b
qwen7bollama run qwen:7b

以qwen:1.8b为实例

cmd运行ollama run qwen:1.8b

ollama run qwen:1.8b

出现如上图片就说明成功了

常用命令

查看已安装的大模型

ollama list

运行指定大模型(xxxx是指定大模型的名称）

ollama run xxxx

删除指定大模型(xxxx是指定大模型的名称）

ollama rm xxxx

zhangyikai258
关注
  • 9
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
然后，我们使用GGML格式的本地模型，直接从Hugging Face Models存储库下载bin文件，并将文件移动到根目录下的models目录中。 七、使用LLaMA-CPP-Python 为了使用LLaMA模型，我们需要使用 llama-cpp-python，这是...
《AI大模型应用》--ollama本地部署通义千问.zip
07-15
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
《AI大模型》--使用nextjs本地化部署AI大模型gemma.zip
03-22
人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结...
多模态大模型应用-本地化部署VQGAN+CLIP-不使用colab-附流程教程-优质大模型应用实战.zip
05-08
在当前的IT领域，多模态大模型的应用已经成为人工智能研究和开发的重要方向。VQGAN（Vector Quantized Generative Adversarial Networks）和CLIP（Contrastive Language-Image Pretraining）是两种在图像处理和自然...
【Python机器学习】NLP——一个简陋的聊天机器人
weixin_39407597的博客
08-21 1737
正则表达式就是一种FSM，同时它也给出了一种可能的NLP方法，即基于模式的方法。
DeepLearning.AI课程：从代码层面理解预训练大语言模型（Pretraining LLMs）
阿正的梦工坊
08-15 1113
Pretraining involves teaching an LLM to predict the next token using vast text datasets, resulting in a base model, and this base model requires further fine-tuning for optimal performance and safety.
自然语言处理（NLP）大模型
2402_84466582的博客
08-21 997
自然语言处理（NLP）领域中的一种重要技术，具有强大的语言理解和生成能力。以下是对NLP大模型的详细介绍：
论文翻译：Universal and Transferable Adversarial Attacks on Aligned Language Models
CSPhD-winston的博客
08-18 318
因为“即开即用”的大型语言模型能够生成大量令人反感的内容，近期的工作集中在对这些模型进行对齐，以防止不受欢迎的生成。尽管在规避这些措施方面取得了一些成功——即所谓的针对大型语言模型（LLMs）的“越狱”——这些攻击需要大量的人类智慧，并且在实践中很脆弱。自动对抗性提示生成的尝试也取得了有限的成功。在本文中，我们提出了一种简单有效的攻击方法，可以导致对齐的语言模型生成令人反感的行为。
大型语言模型（LLM）——直接偏好优化完整指南
知来者逆的博客
08-18 716
将大型语言模型 (LLM) 与人类价值观和偏好相结合是一项挑战。传统方法，例如 [从人类反馈中强化学习](（RLHF）通过整合人类输入来完善模型输出，为这一领域的研究铺平了道路。然而，RLHF 可能非常复杂且资源密集，需要大量的计算能力和数据处理。（DPO）作为一种新颖且更精简的方法出现，为这些传统方法提供了一种有效的替代方案。通过简化优化过程，DPO 不仅减少了计算负担，还增强了模型快速适应人类偏好的能力。
【Python机器学习】NLP概述——词序和语法
weixin_39407597的博客
08-21 354
词的顺序很重要，那些在词序列（如句子）中控制词序的规则被称为语言的语法（也被称为文法）。
【文献阅读】A Comprehensive Review of Multimodal Large Language Models
weixin_42726068的博客
08-18 941
MLLMs 的核心原理在于不同模态的整合与交互，这显著提高了模型的有效性。这种多模态方法不仅增强了对单一数据类型的理解，还促进了它们之间的更细致的交互，从而扩大了 AI 应用的范围和精度。
【Python机器学习】NLP理论概述
weixin_39407597的博客
08-20 229
自然语言处理（NLP）是计算机科学和人工智能（AI）的一个研究领域，它关注自然语言的处理，这种处理通常包括将自然语言转换成计算机能够用于理解这个世界的数据。
什么是BERT？工程快速入门
chy19911123的专栏
08-18 381
全称是Bidirectional Encoder Representations from Transformers。BERT翻译成中文通常被称为“双向编码器表征法”或简单地称为“双向变换器模型是双向神经网络，这个在学习 RNN 时候我们就了解到如何使用双向 RNN 让每一个词视野更加广阔，不但可以看到其前面词还能看到其后面的词。说明 BERT 是编码器。BERT 是完成词的表征的任务的模型，之前我们已经学过了了 word2vec。
通过CLIP引导解码减轻大型视觉-语言模型中的幻觉问题
人工智能讲师分享前沿技术
08-16 998
大型视觉-语言模型（LVLMs）因其在视觉推理方面的能力而备受瞩目，被视为实现自主操作智能体的重要里程碑。但它在生成文本时容易出现对象幻觉问题，即描述中包含不存在的对象，这严重限制了它们的可靠性和实用性。为了解决这一问题，新加坡国立大学计算学院的Ailin Deng、Zhirui Chen和Bryan Hooi提出了一种新颖的方法——CLIP引导解码（CGD），旨在在不经过额外训练的情况下，通过CLIP模型在解码时引导模型，增强生成文本与图像的视觉基础，从而有效减轻对象幻觉问题。
群晖NAS本地搭建可远程交互的大型语言模型LLM聊天机器人
小程的博客
08-15 1280
本文主要分享如何在群晖NAS本地部署并运行一个基于大语言模型Llama 2的个人本地聊天机器人并结合内网穿透工具发布到公网远程访问
A3VLM: Actionable Articulation-Aware Vision Language Model
s_m_c的博客
08-15 955
边界框B的宽度、高度和长度是根据链路的最远点与中心之间的距离来计算的。：a representation that describes the object's articulation structure and action affordance simultaneously. 与之前的以机器人为中心的动作表示[3,21]相比，A3VLM的表示是以对象为中心的，这使得在不收集昂贵的机器人交互数据的情况下学习对象的可操作模型，并且各种机器人可以使用相同的学习对象模型。：了解铰接物体的关节和动作可供性。
【LLM大模型论文日更】| 格式胜过内容：揭示大型语言模型的提示效应
qq_59084968的博客
08-21 743
然后将两种示例结合起来，形成一个完整的示例集。：设计一个新的集成提示模板，在提示模板中添加示例级指令，描述后续示例具有相似的词或相似的句法。：计算了不同提示部分之间的注意力权重，发现LLMs在处理描述性名词时的注意力权重并不一定大于随机名词，表明LLMs可能并不真正关心描述的实际内容。综上所述，集成提示框架通过其特定的格式，能够更有效地引导LLMs的注意力，从而提高其在各种NLP任务中的性能。：通过计算不同提示部分的注意力权重，发现LLMs在处理描述时并不关心描述的实际内容，而更关注提示的格式。
数据结构核心知识.pdf
08-21
本资料围绕数据结构的理解、数据的逻辑结构、数据的存储结构、运算、线性表等方面来阐述数据结构核心知识。
HandBrake.deb多媒体格式转换软件
最新发布
08-21
HandBrake.deb多媒体格式转换软件，可在多个平台上运行，该软件支持将视频文件从一种格式转换为另一种常见的格式，如MP4或MKV；用户可以调整视频编解码器、帧速率、比特率等参数；HandBrake还具有一些预设选项，使用户能够快速选择适合他们设备的设置，例如iPhone、Android手机或游戏机。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值