LLM使用方法介绍，持续更新

最新推荐文章于 2024-05-30 11:54:04 发布
最新推荐文章于 2024-05-30 11:54:04 发布
阅读量570 收藏 4
点赞数 10
分类专栏： LLM 文章标签： LLM 大模型 人工智能 llama3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zj907638274/article/details/138098931
版权

LLM使用方法介绍，持续更新

1. LLM本地搭建与运行

1. Ollama的安装

  1. 网址：https://ollama.com/
  2. 点击Download选择对应的操作系统下载安装软件，软件默认安装在C盘无法选择路径；
    image-20240423001240049
  3. 安装完成后，Win+R进入终端执行：ollama，出现如下图所示表示安装成功
    image-20240423001339414

2. Llama 3的安装与运行

  1. 打开：https://github.com/ollama/ollama，找到下载对应版本的运行命令
    image-20240423001359709
  2. 在终端执行对应命令即可下载，下载完成即可在终端输入对话；
    image-20240423001418480
  3. 输入对话测试即可
    image-20240423002412593

3. Open WebUI的安装与运行

Open WebUI 是一个仿照 ChatGPT 界面，为本地大语言模型提供图形化界面的开源项目，可以非常方便的调试、调用本地模型。你能用它连接你在本地的大语言模型（包括 Ollama 和 OpenAI 兼容的 API），也支持远程服务器。

2. Colab微调大模型

待更新 。。。

3. 百度千帆大模型的API调用

1.创建应用

https://console.bce.baidu.com/qianfan/ais/console/applicationConsole/application

image-20240423005351821

2.开通大模型服务

根据自己需要开通对应大模型，当然也可以不开通。在后续的体验中心和代码在线调试中选择免费的大模型即可；

image-20240423005110349

3.体验中心

https://console.bce.baidu.com/qianfan/ais/console/onlineTest

4. 示例代码在线调试

https://console.bce.baidu.com/tools/#/index，复制示例代码到自己工程即可使用；

image-20240423004808915

米小杰
关注
  • 10
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大语言模型（LLM）及使用方法
FL1717的博客
06-08 3842
大语言模型（LLM，Large Language Model）是一种基于深度学习的自然语言处理技术，它使用深度神经网络来学习自然语言的统计规律，以便能够自动地生成、理解和处理自然语言。大语言模型（LLM）是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。训练数据集：ChatGPT的训练数据集通常是大规模的自然语言文本数据集，例如维基百科、新闻报道、社交媒体帖子等。必应 (bing.com)
LLM+赋能研发效能提升
09-07
传统工程实践中，依赖于个人能力和意愿，如极限编程、DevOps和持续交付等方法虽然有效，但提升个人能力需要时间且难以标准化。例如，编写整洁代码、自动化测试、Code Review和DevOps实践都需要高水平的专业技能，...
开源大语言模型(LLM)汇总（持续更新中）.pdf
08-26
开源大语言模型(LLM)汇总（持续更新中）.pdf
LLM大模型应用开发权威指南【2024】
新缸中之脑
02-02 1223
将 llm 对象的温度设置为 0.1，因为我们需要提高其余练习的可预测性。在另一个单元格中，复制新闻文章的正文，并让LLM对其进行总结。
Ollama全面指南：安装、使用与高级定制
最新发布
全世界的博客
05-30 1万+
Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。Ollama的目标是使大型语言模型的部署和交互变得简单，无论是对于开发者还是对于终端用户。Ollama提供了一个直观且用户友好的平台，用于在本地环境中运行大型语言模型。启动Ollama服务：首先，确保Ollama服务已经安装并运行。在命令行中输入以启动服务。选择模型：使用命令查看可用的模型列表。
开源模型应用落地-工具使用篇-Ollama（六）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
03-05 1万+
Ollama集成QWen1.5系列模型，全网唯一，绝非搬运。
LLM(1)之基础使用prompt
Once_day的回忆
04-30 2529
如同ChatGPT的通用大模型需要使用指令式微调来获取更好的输出效果。三引号(triple quotes)，"""三个反引号(triple backticks)，```三个破折号(triple dashes), ---尖角括号(Angle brackets), < >>>> 以一个专业的c程序员回答下面的问题```结构体的大小如何计算```结构体的大小是由其成员变量的类型和对齐方式决定的。具体计算方法如下：1. 计算结构体中每个成员变量的大小，包括基本类型和其他结构体类型。
本地上百个大模型便携部署调用工具 Ollama 使用指南
数智笔记
04-14 1万+
Ollama 支持在 Modelfile 中导入 GGUF 模型：创建一个名为Modelfile的文件，使用FROM指令指定要导入的模型的本地文件路径。创建模型运行模型可以使用提示来自定义 Ollama 模型。例如，要自定义llama2创建一个Modelfile# 设置温度为 1 [值越高越有创造性，值越低越连贯]# 设置系统消息SYSTEM """""">>> hiHello!更多示例，请参考examples目录。有关使用 Modelfile 的更多信息，请参考Modelfile文档。
【LLM】Langchain使用[一]（模型、提示和解析器、存储）
发现问题，并解决问题，批判性思维
07-15 3145
为各种不同基础模型提供统一接口帮助管理提示的框架一套中心化接口，用于处理长期记忆（参见Memory）、外部数据（参见Indexes）、其他 LLM（参见Chains）以及 LLM 无法处理的任务的其他代理（例如，计算或搜索）。Models：从不同的 LLM 和嵌入模型中进行选择Prompts：管理 LLM 输入Chains：将 LLM 与其他组件相结合Indexes：访问外部数据Memory：记住以前的对话Agents：访问其他工具。
【LLM】ollama 用法简介
步子哥的博客
03-10 1079
安装Ollama：您可以在Ollama官网上下载适用于您的操作系统的安装包，然后打开运行安装程序。如果您使用的是Windows系统，官方推荐在WSL 2中以Linux方式使用命令进行安装。命令从在线模型库下载您想要使用的模型。请注意，运行大模型可能需要较大的内存和计算资源。确保您的计算机满足模型运行的要求。下载模型：使用Ollama的。
AGI资料汇总学习（主要包括LLM和AIGC），持续更新.......zip
04-25
在使用这些资源时，请务必遵守学术诚信原则和相关法律法规，不得将其用于任何商业目的或侵犯他人权益的行为。对于任何因使用本资源而导致的问题，包括但不限于数据丢失、系统崩溃或安全漏洞，风险自担！
终端LLM AI模型:mlc-llm
10-10
同时，该模型还能持续学习和更新，以适应不断变化的语言环境和用户需求。 **三、强化学习的应用** 强化学习是MLC LLM的另一个重要特点。通过模拟人与环境的互动，模型可以自我学习和改进，以达到更高的任务完成度...
LLM与数据分析
weixin_37172178的博客
11-06 1055
本文主要以LLM的应用为基础，说明LLM与数据开发、数据分析领域的相关工作以及未来可能存在的发展。搜索在传统数据库，搜索功能都是基于不同的索引方式（B Tree、倒排索引等）加上精确匹配和排序算法（BM25、TF-IDF）等实现的。本质还是基于文本的精确匹配，这种索引和搜索算法对于关键字的搜索功能非常合适，但对于语义搜索功能就非常弱。
如何优雅的使用各类LLM
wutao22的博客
05-16 508
近几个月，随着ChatGPT的风靡，大型语言预训练模型也如雨后春笋般地涌现，虽然效果差强人意，好在不受限制。配置稍好的电脑也能跑个7B、13B参数的大语言模型。虽然模型众多，但是如果给每一个模型都单独去配置环境，每个模型单独启用，就显得非常的笨拙，不够优雅。如果能借助SD WEBUI的思路，给这些大预言模型也能够动态地加载起来运用，岂不美哉。俗话说，不怕你想不到，就怕你做不到，有同...
LLM学习：本地下载并运行大语言模型，准备入门的同学一定要来看看
m0_59164304的博客
04-18 1274
在LLM与ChatGPT流行的当下，商业人工智能（AI）和大型语言模型（LLMs）仍然存在一个较大的隐患：即数据的隐私问题。在处理敏感或专有数据时，我们很难通过公开的ChatGPT或者大模型UI这些工具中受益。因此，在本地进行模型训练，快速实验与学习，也成为越来越常见的需求。本篇总结了现在主流的本地运行LLM的方法，主要介绍如何通过以下6种方式在本地私有的机器中操作LLMs。
开源项目Ollama让你的电脑也可以运行大模型
2401_82469710的博客
03-05 2561
从OPEN AI推出大模型已经过去一年多了，想必大家已经感受到了AI对我们的影响。大型模型极具用途，其提升的准确性和处理更复杂任务的能力都令人赞叹。
Py之Langchain：Langchain(LLM大型语言模型应用程序框架/将LLMs个体进行flow的能力)的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
05-21 5510
​ Py之Langchain：Langchain(LLM大型语言模型应用程序框架/将LLMs个体进行flow的能力)的简介、安装、使用方法之详细攻略 目录 Langchai的简介 Langchai的安装 Langchain的使用方法 Langchai的简介 大型语言模型（LLMs）正在成为一种具有变革性的技术，使开发人员能够构建以前无法构建的应用程序。然而，仅仅将这些LLMs用于独立应用通常是不够的，真正的力量在于将它们与其他计算或知识来源相结合。
简单使用ollama
make_progress的博客
05-19 630
Ollama是一个开源的大型语言模型部署工具，它可以帮助用户快速在本地部署运行大模型。类似于Docker一样，仅仅用几行命令就可以运行一个大模型。
介绍大模型LLM的流程
03-14
大模型LLM（Large Language Model）的介绍流程如下： 1. 定义任务：首先确定LLM要解决的任务或问题，例如文本生成、机器翻译、对话系统等。 2. 数据收集：收集与任务相关的大规模数据集，包括原始文本数据、标注数据等。 3. 数据预处理：对收集到的数据进行预处理，包括文本清洗、分词、标注等，以便后续的模型训练。 4. 模型设计：设计LLM的模型结构，通常采用深度学习模型，如Transformer等，可以根据任务的特点进行定制化设计。 5. 模型训练：使用预处理后的数据对LLM进行训练，通过优化算法（如梯度下降）不断调整模型参数，使其能够更好地拟合训练数据。 6. 模型评估：使用测试数据对训练好的LLM进行评估，评估指标可以包括准确率、召回率、BLEU等，以评估模型的性能和效果。 7. 超参数调优：根据评估结果，对LLM的超参数进行调优，如学习率、批大小等，以提升模型的性能。 8. 部署应用：将训练好的LLM部署到实际应用中，可以通过API接口或其他方式提供服务，使其能够实时响应用户的请求。 9. 持续改进：根据用户反馈和实际应用情况，对LLM进行持续改进和优化，以提升其性能和用户体验。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值