python_知世-CSDN博客

原创基于大模型的 Agent 进行任务规划的10种方式

定义 Agent 要调用的工具，一个用于获取句子中不同汉字的数量的函数，同时将工具函数绑定到模型上"""用于计算句子中不同汉字的数量"""# 将工具函数绑定到模型上# 构建一个Agent，它将处理输入、提示、模型和输出解析agent = (),| prompt。

2024-07-26 10:44:31 571

原创花了一周时间, 总结了一份AI 学习攻略, 让不懂算法也能轻松上手AI Agent开发

大语言模型（Large Language Model）：通常是具有大规模参数和计算能力的自然语言处理模型，例如 OpenAI 的 GPT-3 模型。这些模型可以通过大量的数据和参数进行训练，以生成人类类似的文本或回答自然语言的问题。大型语言模型在自然语言处理、文本生成和智能对话等领域有广泛应用。

2024-07-26 10:41:06 404

Llama3.1系列模型的开源，真让大模型格局大震，指标上堪比最好的闭源模型比如GPT 4o和Claude3.5，让开源追赶闭源成为现实。这里给大家分享一篇俊林兄（@知乎张俊林）的一篇解读，主要对LLaMA3.1的模型结构、训练过程进行分享，并对其带来的影响、小模型要如何做、合成数据等方面谈点看法。LLaMa3模型结构LLaMa3的模型结构如上图所示，这基本已经形成目前Dense LLM模型的标准结构了，绝大多数LLM模型结构都与此非常接近。

2024-07-25 11:16:05 962

原创大模型开发整体流程 & 基于个人知识库的问答助手项目流程架构解析

将开发以LLM为功能核心，通过LLM的强大理解能力和生成能力，结合特殊的数据或业务逻辑来提供独特功能的应用。

2024-07-25 10:57:16 517

原创使用 HuggingFace 中的 Trainer 进行 BERT 模型微调，太方便了！！！

本文介绍了如何使用HuggingFace中的Trainer对BERT模型微调。可以看到，使用Trainer进行模型微调，代码较为简洁，且支持功能丰富，是理想的模型训练方式。。

2024-07-24 10:31:49 1307

原创面试了字节大模型算法岗(实习)，快被问哭了。。。。

在自我介绍环节，我清晰地阐述了个人基本信息、教育背景、工作经历和技能特长，展示了自信和沟通能力。传统的seq2seq模型使用循环神经网络（RNN）来处理序列数据，但RNN存在一些限制，如难以并行计算和难以捕捉长期依赖关系。Transformer则通过使用自注意力机制（self-attention）来解决这些问题。Transformer模型由编码器和解码器组成。编码器将输入序列转换为一系列高维特征表示，而解码器则将这些特征表示转换为输出序列。编码器和解码器都由多个相同的层组成。

2024-07-24 10:29:47 932

原创高效又稳定的ChatGPT大模型训练技巧总结，让训练事半功倍！

近期，ChatGPT成为了全网热议的话题。ChatGPT是一种基于大规模语言模型技术（LLM， large language model）实现的人机对话工具。现在主流的大规模语言模型都采用Transformer网络，通过极大规模的数据进行自监督训练。但是，如何构建自监督训练数据？在基础的Transformer结构上，大家又做了哪些创新呢？为了保证训练过程高效且稳定，又有哪些黑科技呢？今天给大家介绍一篇来自人民大学的综述论文，为大家解密这些大模型的训练技巧。

2024-07-23 10:31:28 566

原创用消融的方法让大模型更听话，无需重新训练

现代LLM在安全性和遵循指令方面进行了微调，这意味着他们接受过拒绝有害请求的训练。在他们的博客文章中，Arditi 等人。已经表明这种拒绝行为是由模型残差流中的特定方向调节的。如果我们阻止模型表示这个方向，它就会失去拒绝请求的能力。相反，人为添加此方向可能会导致模型拒绝无害的请求。在传统的类似 Llama 的解码器架构中，我们可以定位三个残差流：每个块的开始处（“pre”）、注意力层和 MLP 层之间（“mid”）以及 MLP 之后（“post”）。下图说明了每个残差流的位置。

2024-07-23 10:30:16 1107

原创零代码，我炼了个自己的大模型，快来围观

大家好。这两天用开源的 Qwen2 ，微调了一个自己的大模型。通过指令监督微调，改变大模型的，让他不再是 Qwen 而是渡码。微调的过程非常简单，不需要写代码，三步就可以搞定，今天跟朋友们分享一下。首先需要安装开源工具，选择开源模型作为基座。这里支持很多开源模型，我选的是 Qwen2-1.5B，因为我的显卡只有 8G 显存，所以只能训练参数小点的模型。接下来需要将基座模型下载到自己电脑上。建议在魔搭社区下载，速度快。下载后，在“模型路径”中填写模型存放的位置。，选择训练数据。

2024-07-22 10:53:59 1056

原创 AI“法官助理”在深圳上岗，审判大模型真的“靠谱”吗？

7月21日，《中共中央关于进一步全面深化改革、推进中国式现代化的决定》全文正式发布。必须全面贯彻实施宪法，维护宪法权威，协同推进立法、执法、司法、守法各环节改革，健全法律面前人人平等保障机制，弘扬社会主义法治精神，维护社会公平正义，全面推进国家各方面工作法治化。在深圳，一项关于司法审判的重大突破，正在进行。当人工智能技术延伸至司法领域，会给传统审判工作带来怎样的变革？本期深圳卫视《先行》栏目将讲述法官及其AI辅助如何在公正路上并肩前行。深圳卫视深视新闻。

2024-07-22 10:47:55 932

原创来聊聊普通工程师如何入坑大模型 | 附超详细教程！

前几天，跟强哥一起吃饭。他说，大模型的技术，真是太好玩了！他买了一台超高配置的游戏本，本来是想买回来打游戏放松放松的。结果后来发现，玩大模型的技术，比打游戏好玩太多了！我连连表示赞同，不错不错，关键是游戏本没白买啊，跑大模型正好也用得上（强哥是谁？不重要，你只需要知道是一位登上人生巅峰的技术大佬就好了）认真地说，以大语言模型 (LLM) 为核心的AI技术，正在如火如荼地席卷整个行业。技术的发展日新月异，几乎每天都有突破性的进展。现在这种状态，让我们俨然回到了十年之前移动互联网刚刚兴起的那个年代。

2024-07-21 11:45:00 1654

原创成果 | RepoAgent：大模型驱动的项目级代码文档生成框架，助力软件开发流程自动化

本研究成果推出了 RepoAgent 开源框架，为项目级别的代码库生成细粒度的代码文档，并实现了代码文档构建和更新维护的自动化。RepoAgent 有望大幅减轻软件开发人员的文档维护负担，提高代码库的可维护性和可理解性，带来新的软件开发流程范式。。

2024-07-20 10:00:00 996

原创使用大语言模型生成自动驾驶指令代码可行吗？

大语言模型最近太火了，大家都在各个方向上应用它。自动驾驶也是当下一个热门领域，两个热门领域的结合自然非常令人期待。AIGCer在读了一些相关文献后，感觉在自动驾驶这个热点方向上应用大语言模型，也将是一个很有前途的方向。这里AIGCer分享一个基于大语言模型的自动驾驶规划任务新框架LaMPilot。它重新思考规划任务为一个利用已有的行为原语的代码生成过程。这种方法旨在解决解释和执行用户指令（如“overtake the car ahead”）的难题，这些指令通常会给现有框架带来困难。

2024-07-19 11:56:21 542

原创如何利用框架，使用大模型评估RAG效果（附文档代码）

目前RAG是很多AI落地场景的解决方案，但所谓没有评估就没有优化。本文介绍几种常用的RAG评估框架。LlamaIndex 是用于大型语言模型（LLM）应用的开发框架。它被开发人员广泛使用，用于创建检索增强生成（RAG）应用程序。在 RAG 应用程序的开发过程中，评估相关数据对于更好地调整和优化应用程序至关重要。随着 RAG 技术的进步，出现了更有效的评估工具，以促进对 RAG 应用程序的准确和高效评估。

2024-07-19 11:54:10 851

原创敲黑板！吴恩达LLM Agent工作流Prompt精华全解析

以上就是我在研究这4种LLM Agentic工作流中对于Prompt提示所得与思考。希望诸君能有所得。

2024-07-18 10:48:26 1203

原创 ai大模型实战：三十分钟无痛上手自动化Prompt框架

DSPy 是一款功能强大的框架。它可以用来自动优化大型语言模型（LLM）的提示词和响应。还能让我们的 LLM 应用即使在 OpenAI/Gemini/Claude版本升级也能正常使用。无论你有多少数据，它都能帮助你优化模型，获得更高的准确度和性能。通过选择合适的优化器，并根据具体需求进行调优，你可以在各种任务中获得出色的结果。在官方教程中使用LLM 为，数据集为在线的ColBERTv2 服务器，托管维基百科 2017 年“摘要”搜索索引（即包含2017 年转储中每篇文章的第一段）问答数据集使用了。

2024-07-18 10:45:49 571

原创当RAG遇上PDF表格，如何实现索引内容的精准回答

解析和理解非结构化文档尤其是图片格式表格（比如：扫描文件中的表格）时，优化 RAG 方案面临重大挑战。本文首先讲述 RAG 表格处理的核心技术，继而评估现有开源解决方案，并进一步提出及实践一种解决方案策略。该模块核心职责是从非结构化文档及图像中高精度抽取表格结构，强调表格标题的准确提取及与表格本身的便捷绑定。现有方法概览：\1. 多模态 LLM 应用：运用GPT-4V等工具，识别并提取PDF页面中的表格信息。\2. 专用表格检测模型：比如：Table Transformer，专门用于解析表结构。

2024-07-17 10:40:51 1158

原创 17 种（高级）RAG 技术，将您的 RAG 应用原型转变为生产就绪型解决方案

没有明确的道路可循。这是一个不断试错的过程。与任何其他数据科学用例一样，我们有一套特定的工具，可以使用这些工具来尝试找到针对特定问题的解决方案。这就是这些项目一开始就很有趣的原因。如果有一本静态的食谱可以遵循，那不是很无聊吗？。

2024-07-17 10:38:55 697

原创人人都是程序员—AI大模型的应用远比你想像的要简单

2022年底OpenAI发布了语言大模型chatgpt3.5，它能像人一样跟我们聊天，从此AI市场着了大火，国内外各个顶级科技公司纷纷跟进，出现了一大批的AI大模型，比如文心一言（百度）、Gemini（谷歌）、通义千问（阿里）、讯飞火星（科大讯飞）、豆包（抖音）、kimi（月之暗面）等等，这一年可以称得上是AI元年，AI真正参与到了普通人的工作和生活，。但大部人对AI大模型的理解是：我们只是用户，搞这东西需要很高的技术难度和巨大的投资。非也！非也！

2024-07-16 11:24:26 985

原创用大模型帮程序员找Bug，中科院剖析102篇论文总结出这些方案

中科院对“”下手了，一口气总结了N种方案！法宝就是大模型。大模型由于其卓越的自然语言理解、推理等能力，已经被应用于各种场景，取得了前所未有的效果。类似的，软件测试领域也受益于其强大的能力，能够帮助生成逼真且多样化测试输入，模拟各种异常，加速缺陷的发现，提升测试效率，进行潜在提高软件质量。来自中国科学院软件研究所、澳大利亚Monash大学、加拿大York大学的研究团队收集了截止到2023年10月30日发表的，并分别从软件测试和大模型视角进行了全面分析，总结出一篇关于大模型在软件测试领域应用的全面综述。

2024-07-16 11:22:31 958

原创技术干货｜什么是大模型？超大模型？Foundation Model？

1) 模型碎片化，大模型提供预训练方案04大模型训练框架MindSpore官方资料。

2024-07-15 11:53:23 1067

原创大模型火了一年半，AI应用如何实现商业变现？

自ChatGPT走红后，国内AI大模型建设潮起，如今经过一年半的快速发展后，大模型商业化显著提速。自生成式AI席卷各行业以来，市场对AI应用发展的预期高涨，但AI应用似乎陷入“增长难题”，进展不及预期，大模型如何商业变现，成为各界关注的焦点。大模型对于人类自然语言的理解已经比较准确，人们可以通过自然语言描述进行IT开发、图片视频生成、工业控制、无人驾驶等。但基于大模型的应用尚未爆发，很大程度上可能是因为，实际上问题本身或是自身知识结构的专业性体现，大模型对于普通用户来说基本上就是个玩具。

2024-07-15 11:46:21 738

原创回归冷静，AI产品经理该如何面对大模型

在过去半年多内，AI行业再度爆火，引领热点，大家都在讨论大模型，讨论ChatGPT，不乏很多文章在传播人工智能进入新的阶段会不会替代很多人的工作。在产品圈中，也有很多产品经理都在讨论ChatGPT会对日常工作产生什么样的影响，是否会因为不懂大模型而被业务边缘化？诸如此类的言论甚嚣尘上，笔者想说的是不要担心，冷静面对即可，笔者曾跟一个创业朋友说过“让子弹飞一会，距离大模型在国内场景的商业应用还需要点时间”。接下来，我们就看看产品经理应该如何面对爆火的大模型呢？

2024-07-13 10:49:41 886

原创 2024转型大模型面试指南：兄弟们，冲啊

老宋这俩月又跳槽了，自从去年从百度出来来到新公司，躺了一年，最近因为大模型技术发展，重新有了奋斗的方向和动力。大模型的诞生必然会重塑整个 NLP 方向，因此，必须参与到这波浪潮中，果然，这行就是得奋发向上，不然躺的时间久了真滴容易被时代抛弃。话不多说，来聊聊这次的跳槽过程。

2024-07-13 10:47:20 565

原创这本书太好了！150页就能让你上手大模型应用开发（免费分享PDF）

如果问个问题：有哪些产品曾经创造了伟大的奇迹？ChatGPT 应该会当之无愧入选。仅仅发布 5 天，ChatGPT 就吸引了 100 万用户——当然，数据不是关键，关键是其背后的技术开启了新的 AI 狂潮，成为技术变革的点火器。就算我们这些周边吃瓜群众都日日活在 ChatGPT 带来的震撼里，更不用说在 AI 领域摸爬滚打的专家们了。

2024-07-12 11:38:35 667

原创直观易用的大模型开发框架LangChain，你会了没？

在今年的敏捷团队建设中，我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢？由此我的Runner探索之旅开始了！LangChain 作为一个大语言模型（LLM）集成框架，旨在简化使用大语言模型的开发过程，包括如下组件：

2024-07-12 11:33:47 791

原创【AI大模型应用开发】AI+知识图谱极简入门：手把手带你体验LangChain实现知识图谱创建和查询（附代码和源码分析）

知识图谱是一种结构化的语义知识库，它通过图的形式存储和表示实体（如人、地点、组织等）以及实体之间的关系（如人物关系、地理位置关系等）。知识图谱通常用于增强搜索引擎的语义理解能力，提供更丰富的信息和更准确的搜索结果。1. 实体(Entity)：知识图谱中的基本单元，代表现实世界中的一个对象或概念。2. 关系(Relation)：实体之间的联系，如“属于”、“位于”、“创立者”等。3. 属性(Attribute)：实体所具有的描述性信息，如人的年龄、地点的经纬度等。

2024-07-12 11:29:48 909

原创将 Vision Transformer 用于医学图像的语义分割

我在我的分割系统中使用了Hugging Face的Swin Transformer V2作为编码器。Swin Transformer（分层视觉Transformer，使用偏移窗口）包含4个阶段的编码器处理嵌入补丁。最初，补丁大小为4x4像素。在每个编码器阶段，通过合并来自前一个阶段较小补丁的嵌入，补丁分辨率会增加两倍。这意味着图像的空间分辨率，以补丁表示，每个后续阶段会减少两倍。

2024-07-11 11:02:34 790

原创局部归纳偏置真的有必要吗？探索 Transformer 新范式：一个像素就是一个 token！

(来自 FAIR, Meta AI，阿姆斯特丹大学)1 PiT 论文解读1.1 局部性这个归纳偏置可以在 Transformer 中去除1.2 ConvNets 中的局部性1.3 ViTs 中的局部性1.4 像素 Transformers1.5 实验1：监督学习1.6 实验2：自监督学习1.7 实验3：图像生成1.8 ViT 中的局部性设计1.9 PiT 的局限性本文不是提出新视觉 Transformer 架构的工作，而是质疑视觉 Transformer 中。

2024-07-11 10:52:26 971

原创深入剖析Transformer - 为什么选择自注意力机制？

本文全面概述了Transformer为什么选自注意力机制。因为自注意力机制能更好地处理长序列，计算起来简单，能并行计算，顺序操作更少。在翻译任务中，基于自注意力层的Transformer模型做得很好，还更省钱。同时，GPT已经将自注意力机制和Transformer模型用在更多地方，比如处理图片和视频，将多模态的展望成为现实。

2024-07-11 10:46:41 618

原创多模态大模型时代下的文档图像智能分析与处理_多模态ocr

随着人工智能技术的不断发展，尤其是深度学习技术的广泛应用，多模态数据处理和大模型训练已成为当下研究的热点之一，这些技术也为文档图像智能处理和分析领域带来了新的发展机遇。多模态大模型时代下的文档图像智能分析与处理的研究旨在通过运用多种数据类型，如文本、图像、音频等，并借助大规模深度学习模型的训练，来实现对文档图像内容的更加准确和全面的理解和分析。综合使用多模态数据训练大模型可以极大地提高文档图像处理和分析的效率和精度，进而推动相关行业的数字化转型和智能化升级。

2024-07-10 12:05:47 829

原创多模态大模型：技术原理与实战工具和算法框架介绍

传统的深度学习模型大多是单模态的，例如只处理图像数据的卷积神经网络（CNN）或只处理文本数据的循环神经网络（RNN）。然而，现实世界的信息往往是多模态的，例如一张图片可以包含物体、场景、文字等多种信息，一段视频则包含图像、声音、字幕等多种模态的数据。为了更好地理解和处理现实世界的信息，多模态学习应运而生。根据文本描述检索图像，或根据图像检索相关文本。为图像或视频生成自然语言描述。根据图像内容回答自然语言问题。分析文本、语音和图像中的情感倾向。

2024-07-10 12:03:59 674

原创多模态大模型：技术原理与实战基于人工反馈的强化学习

近年来，随着互联网和移动设备的普及，多模态数据(如文本、图像、视频、音频等)呈爆炸式增长。如何有效地处理和理解这些多模态数据成为了人工智能领域的一个重要挑战。传统的单模态模型(如自然语言处理模型或计算机视觉模型)在处理多模态数据时往往会遇到瓶颈，难以充分利用不同模态之间的互补信息。MLLMs可以用于生成视频的摘要。例如，给定一段关于猫的视频，MLLM可以生成摘要 “这只猫很可爱，它喜欢玩玩具”。随着计算能力的提升，MLLMs的规模将会越来越大，从而学习到更丰富的语义表示。

2024-07-10 12:00:45 1404

原创零代码手搓Agent智能体，起飞了

上次了分享通过工作流的方式零代码拖拽一个Agent智能体。这篇文章带大家一步步实践一下，Agent平台是 dify，开源，免费，一行命令即可安装。这次的Agent案例是大家比较关心的本地资料问答助手，就是大模型+本地知识库。这种模式应用特别广，小到帮你阅读论文、资料、代码，大到企业智能客服，取代传统搜索引擎首先，需要创建本地知识库上传本地资料点击，下一步。这一步其实是实现了一个简易版的搜索引擎，大家不需要太关心内部原理，按照默认设置就可以。简单解释下涉及的知识点。

2024-07-09 10:51:26 626

原创推荐收藏！九大最热门的开源大模型 Agent 框架来了

在人工智能领域，AI Agent 扮演着关键角色，能够模拟人类的智能行为。近年来，开源社区涌现出多个优秀的 AI Agent 框架，本文将介绍九种备受关注的开源AI Agent框架，包括AutoGPT、AutoGen、Langfuse、ChatDev、BabyAGI、CAMEL、SuperAGI、MetaGPT和ShortGPT。这些框架为开发者提供了丰富的资源和工具，为智能应用的开发和创新提供了强大支持。

2024-07-09 10:47:47 1092

原创从零开始创建基于LLM的Agent

此次比赛是阿里云举办的AI创意挑战赛，主旨是设计能够完成一定任务的AI Agent，创作出受欢迎的Agent产品。本次比赛我们会调用开源的通义千问大模型api作为LLM大脑，通过设计Prompt为LLM设定角色，确定LLM的功能，以及自行的创建或者调用第三方的tool，让Agent实现更多的功能。Prompt是一段文字或代码片段，用于与语言模型进行交互。它是一种启发式的工具，通过提供明确的指令或问题，引导模型生成相关的文本。在Agent构建中，prompt的设计影响了模型对任务的理解和执行方式。我构建了。

2024-07-09 10:46:19 1418

空空如也

空空如也