JasonLiu1919-CSDN博客

原创全面深入解读Movie Gen技术原理(5部曲)：概述 (1)

研究发现，通过扩大训练数据、计算资源和模型参数，使用Flow Matching训练的Transformer模型可以生成高质量的视频或音频。Meta据此打造Movie Gen的2种基础模型：Movie GenVideo和Movie GenAudio。Movie Gen Video和Movie Gen Audio模型参数量分别是300亿和130亿。

2024-10-07 16:55:32 2006

原创突发！Meta重磅发布Movie Gen入局视频生成赛道！

作为最先进和沉浸式的讲故事模型套件，Movie Gen具备四种核心功能：视频生成、个性化视频生成、精确视频编辑和音频生成。这些模型的训练采用了经过授权和公开可用的数据集组合。虽然研究论文中详细阐述了技术细节，但本篇博文将重点分享每种功能的出色表现。后续会补充该论文的技术细节，感兴趣的小伙伴可以留意下。

2024-10-05 15:18:27 700

原创 LLM端侧部署系列 | PowerInfer-2助力AI手机端侧部署47B大模型 (论文解读)

为啥大模型要做端侧部署？除了常说的端侧数据安全隐私，其实还有系统上的原因。PowerInfer-2是一个专为智能手机如何高速推理大型语言模型（LLM）而设计的框架，特别适用于模型大小超过设备内存容量的场景。PowerInfer-2的关键思路是将传统的矩阵计算分解为细粒度的神经元集群计算。具体而言，在PowerInfer-2中设计多态神经元引擎，能够根据LLM推理的不同阶段自适应采用不同的计算策略。此外，引入了分段神经元缓存(neuron caching) 和细粒度神经元集群级流水线。

2024-10-05 14:13:42 1344

原创 LLM端侧部署系列 | 手机上运行47B大模型?上交推理框架PowerInfer-2助力AI手机端侧部署

近日，上海交大为大模型能够在智能手机上部署提出PowerInfer-2，该框架是专为智能手机设计且高度优化的推理框架。目前PowerInfer-2支持的最大模型是Mixtral 47B MoE模型，在inference的时候每秒可生成11.68个token，这比其他最先进的框架快22倍。即使是使用7B模型，PowerInfer-2只需将50%的FFN权重放置在手机上，在7B这个模型参数上，仍然是目前最快的推理框架！更多大模型相关，如模型解读、模型微调、模型部署、推理加速。

2024-10-04 12:13:56 1035

原创端侧Agent系列 | 端侧AI Agent任务拆解大师如何助力AI手机？(详解版)

AI智能体由于其能够自主决策并执行任务并解决诸多问题，从而在各领域变得越发重要。为了有效运作AI Agent，NexaAI的研发人员提出了一种设备端规划-执行框架Octo-planner和Octopus执行智能体。Octo-planner将任务分解为子步骤，然后由Octopus模型(指之前提出的Octopus v1、v2、v3、v4模型)执行。为优化资源受限设备上的运行性能，官方使用模型微调而非上下文学习，从而降低计算成本和能耗，提高响应速度。

2024-10-04 11:13:56 1169

原创论文推荐 |【Agent】自动化Agent设计系统

• 引入了自动化代理系统设计（ADAS），这是一个新的研究领域，用于自动创建强大的代理系统设计。- 在领域迁移后，GSM-Hard任务的准确率提高了13.2%• 以代码形式表示代理，使元代理能够编程出越来越优秀的代理。- 在领域迁移后，GSM8K任务的准确率提高了25.9%自动化代理设计在性能和通用性方面显著超越了手动方法。• 在数学任务（MGSM）上将准确率提高了14.4%- 基于不断演进的先前发现档案，迭代生成新的代理。• 在多个领域超越了最先进的手动设计代理。• 理论上能够发现任何可能的代理系统。

2024-10-03 22:02:50 486

原创端侧大模型系列 | 端侧AI Agent任务拆解大师如何助力AI手机？(简短版)

随着AI技术的发展，AI Agent应用越来越广泛，但大多数依赖大型语言模型，需要强大计算资源和网络连接，限制了其在边缘设备上的应用。为此，研究人员提出了Octo-planner，一个专为边缘设备优化的规划Agent框架：Octo-planner。Octo-planner是一个高效的Planner-Action框架，将规划和执行分为两个组件：针对边缘设备优化的规划Agent和使用Octopus模型的执行Agent。它将任务分解为子步骤，由Octopus执行。

2024-10-03 21:43:33 1210

原创面向大学生 | 算法可视化讲解：翻转链表

1.使用三个指针：prev,curr,next2.设置：prev = NULL，curr = HEAD3.保存下一个节点：next =current.next4. 反转当前节点的链接，使其指向上一个节点： curr.next = prev5. 将上一个移至当前，将当前移至下一个：prev = curr, curr = next6.重复步骤 3-5，直到current为NULL7. 循环结束后，prev 将指向反转列表的新头部。翻转链表-可视化。

2024-10-03 21:16:43 218

原创风格迁移还能玩出花？谷歌重磅推出新风格迁移模型：零训练，秒变大师级风格！

由此产生的漂移不仅克服了上述困难，还确保了对参考风格的高度保真，并遵循给定的文本提示。通过理论论证和实证证据，RB-Modulation框架展示了在无需训练的情况下精确提取和控制内容和风格。此外，RB-Modulation的方法允许内容和风格的无缝组合，这标志着摆脱了对外部适配器或 ControlNets 的依赖。总之，RB-Modulation提供了一种强大且灵活的工具，为图像处理和生成艺术开辟了新的道路，让用户能够轻松实现各种独特的风格创造与内容融合。(b) 参考风格图像中不必要的内容泄漏，以及。

2024-10-01 23:28:44 226

原创免费书分享 | 麻省理工爆火的免费书《线性代数的艺术》图解笔记开源！中英文都有！

众所周知，线性代数是AI领域的数学基础！而 MIT教授Gilbert Strang老爷子的线性代数课程是全网最火性代数课程，没有之一！本期分享的开源图书：《线性代数的艺术》通过可视化图示的方式，直观且深入的促进从矩阵分解的角度对向量、矩阵计算和算法的理解！它作为唯二的笔记之一和唯一的Interesting Link被放在原著官网的首页推荐，也获得了教授的亲笔推荐序。#线性代数 #图解 #AI数学基础 #AI入门 #开源电子书 #AI基础。中文版可以在公众号上回复"线性代数"获取。

2024-10-01 23:20:33 204

原创全面解说OpenAI o1三部曲：下篇-乞丐版o1-mini

小伙伴们好，我是微信公众号《小窗幽记机器学习》的小编：卖海参的小女孩。OpenAI 发布的o1 是一个系列模型。除了o1-preview，官方还一并发布了一个 mini 版：OpenAI o1-mini。o1-mini是面向开发者，兼顾成本和效益。o1-mini 在 STEM 领域表现出色，尤其是在方面，其性能几乎可以与 OpenAI o1 在 AIME 和 Codeforces 等评估基准上相媲美。o1-mini将成为在无需广泛世界知识的应用中需要推理任务时的快速且具成本效益的模型。

2024-09-30 20:12:26 656

原创全面解读OpenAI o1三部曲：中篇-原理

小伙伴们好，我是微信公众号《小窗幽记机器学习》的小编：卖海参的小女孩。OpenAI 官方在技术博客《Learning to Reason with LLMs》中对 o1 系列模型做了进一步的技术介绍。虽然不是很详细，但是聊胜于无。小窗幽记机器学习记录机器学习过程中的点点滴滴和坑坑洼洼公众号在 OpenAI 的测试中，该系列后续更新的模型在物理、化学和生物学这些具有挑战性的基准任务上的表现接近博士生水准。OpenAI 还发现它在数学和编码方面表现出色。

2024-09-30 20:10:53 1194

原创开源实战分享 | 新书：《大型语言模型实战手册》随书代码分享

大型语言模型实战手册》(英文版)目前电子版在亚马逊有售，纸质版预计在2024年10月15日开售。该书通过超过275张定制插图，深入探索大型语言模型的世界，为Python开发者提供使用大型语言模型所需的实用工具和概念。如果对于插图没有特别执念的同学，可以直接在微信公众号《小窗幽记机器学习》上回复"大模型实战"获取随书代码(有完整的notebook)！纸上得来终觉浅，绝知此事要躬行！

2024-09-30 20:02:41 466

原创全面解读OpenAI o1三部曲：上篇-概述

小伙伴们好，我是微信公众号《小窗幽记机器学习》的小编：卖海参的小女孩。前几天(9月12日)，OpenAI发布了o1系列模型。该系列的模型旨在让模型。这类似诺贝尔经济学奖得主提到的"慢思考"。这种主打"慢思考"的模型与之前的模型相比，能够在科学、编程和数学领域中完成复杂任务和解决更难的问题。简而言之，"慢思考"模型在逻辑推理等理工科任务上，刷到一个新的高度！真的遥遥领先！堪称地表最强理科王者！记录机器学习过程中的点点滴滴和坑坑洼洼公众号。

2024-09-29 21:10:59 1029

原创端侧多模态 | 不到10亿参数的端侧Agent竟媲美GPT-4V？AI手机不远了！

多模态人工智能Agent（智能体）能够处理和学习各种数据类型，包括自然语言、图像和音频。虽然将视觉数据融入大型语言模型已有进展，但如何将图像数据转化为Agent可操作结果仍具挑战。这篇文章介绍一种新型多模态模型，结合了功能性标记(function token)的概念，专为Agent应用设计。为实现边缘设备部署，模型参数被优化至10亿以下。与GPT-4类似，该模型支持英语和中文处理。实践证明，该模型可在多种边缘设备(包括像树莓派这样资源受限设备)上高效运行。演示视频如下：AI科技爱科学。

2024-09-29 21:08:35 1166

原创 LLM Agent系列 | 端侧Agent路由器，合纵连横AI江湖，破局端侧大模型之困！

语言模型在各种应用中都表现出色，但最先进的模型通常是专有或私有的。例如，OpenAI 的GPT-4和Anthropic 的各种模型，这些模型使用价格昂贵且能耗高。相比之下，开源社区已经公布极具竞争力的模型，如Llama3。此外，特定领域的小语言模型（如法律、医疗或金融任务的模型）在某些方面优于其专有的同行对手。本文介绍了一种新方法，使用函数token整合多个开源模型(这些开源模型每个都针对特定任务进行了优化)，使得可以根据用户query自动分配最合适的模型。

2024-09-27 21:02:34 1293

原创 RAG实战 | 基于LlamaIndex的文档问答系统

本文主要介绍如何使用LlamaIndex实现RAG系统，并以文档问答为实例，介绍如何使用LlamaIndex实现RAG。借助LlamaIndex实现的RAG系统，可以进一步实现本地化的知识库系统的构建。#RAG #LlamaIndex #问答系统 #知识库问答 #RAG实战 #AI入门 #搜索系统。

2024-09-27 20:59:28 650

原创如何精准剑指offer？大学生必须掌握的市场洞察大法!

然而，大学教育的意义远不止于职业技能的培养。对于已经进入职场的人来说，定期通过外部的招聘要求评估自己，甚至通过小号参与面试来获得实战经验，也是了解自身能力和市场需求的有效方式。通过合理利用JD信息，提升自身技能，并在此基础上，不断反思和拓展个人理想，他们才能在职场中找到属于自己的位置，实现个人的全面发展。因此，大学生需要主动了解市场需求，培养适应社会的能力，同时保持自己的原则和初心，避免成为精致的利己主义者。大学生在获取职业技能的同时，应该坚持自己的原则和初心，追求更高层次的自我实现和社会贡献。

2024-09-22 20:20:32 551

原创模型部署系列 | 如何本地部署LLM服务？以ollama为例

本文主要介绍如何安装ollama，并演示2种加载模型的方法：(1)拉取ollama官方已经有的模型，进行LLM服务部署。(2)加载本地模型部署大模型服务。最后，对部署的LLM服务的接口进行测试。#大模型部署 #LLM部署 #如何部署ollama #模型框架 #AI入门 #推理加速。

2024-09-22 20:16:57 1454

原创吹爆吊打 GPT-4 的大模型新王者Reflection 70B，是否言过其实？

一觉睡西天，谁知梦里乾坤大。只身眠净土，只道其中日月长。小伙伴们好，我是微信公众号《小窗幽记机器学习》的小编：卖铁观音的小男孩。今天这篇小作文主要介绍这几天网上狂吹的开源新晋王者Reflection 70B，该模型号称在多个基准测试中超越GPT-4o和Llama 3.1。模型下载：https://huggingface.co/mattshumer/Reflection-Llama-3.1-70B。

2024-09-21 14:53:10 992

原创 AI入门系列 | 如何优雅地下载最前沿的模型？

本文简要介绍如何便捷地从huggingface上下载模型。该方式从小编自身的实践来看，是目前最为便捷的，特别是支持断点续传的功能，特别符合我们的网络环境。

2024-09-21 14:28:51 409

原创从 Prompt 工程看职场PUA！明明是模型缺陷，为啥要 Prompt 雕花？

从 Prompt 工程到职场 PUA，我们看到一个共同的问题：系统的不足让个体承担了不必要的负担。然而，随着技术的进步和职场文化的变革，这种现象正在得到改善。未来的 AI 模型应更具主动性和透明性，让用户在明确表达需求的情况下得到准确的结果。而在职场中，我们也应该追求一种公开、透明的沟通机制，鼓励每个人清晰表达需求。这种双向的改善，无疑将为人类和人工智能的互动带来更光明的前景。

2024-09-16 18:45:50 851 1

原创端侧大模型系列 | 斯坦福手机端侧Agent大模型，为Android API而生！

语言模型在自动工作流中的有效性得到了验证，尤其是在函数调用方面。尽管大规模语言模型在云环境中表现优异，但隐私和成本问题仍令人担忧。当前端侧模型在延迟和准确性上面临挑战，研究人员提出了名为Octopus的模型，其2B参数版本在准确性和延迟上超越了GPT-4，并将上下文长度减少了95%。与Llama-7B相比，Octopus的延迟提高了35倍，适合在各种边缘设备上部署。论文地址：模型下载地址：大型语言模型在函数调用方面的能力显著促进了AI Agent的发展，如MultiOn、Adept AI等已进入市场。

2024-09-16 18:42:43 2036

原创 “创始人模式“？Airbnb创始人分享

经过深入思考，答案逐渐明晰：这些建议的实质是教你如何经营一家并非由你创办的公司，换句话说，被建议的对象设定其实是职业管理人，而非创始人。创始人们感到自己受到了来自两个方向的操纵：一方面是那些告诉他们必须像管理人一样经营公司的人，另一方面是当他们这么做时，来自被他们管理的员工的压力。这种方法听起来很有道理，但从众多创始人的经验来看，这种建议的潜台词可能变成："雇佣专业的骗子，让他们把公司掏空。然而，从那些尝试过管理人模式的创始人的失望中，以及他们摆脱这种模式后取得的成功中，我们可以推断出另一种模式的存在。

2024-09-08 15:49:03 525

原创 LLM系列 | 38：解读阿里开源语音多模态模型Qwen2-Audio

Qwen2-Audio是一个大规模音频-语言模型，可以接受各种音频信号输入，并根据语音指令执行音频分析或直接生成文本响应。与之前的模型（Qwen-Audio）相比，Qwen2-Audio在以下几个方面做了改进:简化预训练过程: 使用自然语言提示替代复杂的层级标签，扩大了训练数据规模。增强指令遵循能力: 通过监督微调和直接偏好优化(DPO)，使模型输出更符合人类偏好。实现两种音频交互模式: 语音聊天模式和音频分析模式，无需系统提示即可智能切换。

2024-09-08 10:54:07 1157

原创腾讯版GPT-4o平替方案：VITA

VITA是腾讯优图实验室在交互式全模态大语言模型方面的一次新探索。近年来，大语言模型(LLM)和多模态大语言模型(MLLM)的快速发展给人工智能领域带来了巨大变革。特别是GPT-4等模型展现出的强大多模态能力和自然交互体验，为MLLM的实际应用奠定了基础。然而，开源社区在这一领域还存在明显的差距。为了推动开源MLLM的发展，来自腾讯优图实验室等机构的研究人员提出了VITA模型，这是首个开源的能够同时处理视频、图像、文本和音频的多模态大语言模型，并且具备先进的多模态交互体验。

2024-09-01 14:11:31 1388 1

原创 LLM系列 | 36：Google最新开源大模型：Gemma 2介绍及其微调(下篇)

引言环境安装数据准备下载处理模型训练模型inference结果gemma-2-9b。

2024-09-01 14:01:12 1023

原创 Google最新开源大语言模型：Gemma 2介绍及其微调(上篇)

2024年6月27日，Google DeepMind发布了Gemma 2，这是Gemma系列轻量级开放语言模型的最新成员。Gemma 2在架构和训练方法上都有重大创新，在多项基准测试中取得了显著进步，甚至可以与参数规模大2-3倍的模型相媲美。本文将对Gemma 2技术报告的主要内容进行解读，包括模型架构、预训练和后训练方法、性能评估等方面。

2024-07-21 16:39:13 2031

原创基于AutoGen的多Agent AI系统实践

AutoGen是一个由Microsoft开源的框架，专为构建和优化大型语言模型（LLM）工作流程而设计。它提供了多Agent会话框架、应用程序构建工具以及推理性能优化的支持。基于AutoGen框架使得能够方便地使用多Agent开发LLM应用程序。以下将介绍如何基于AutoGen构建和定制多Agent系统，使Agent能够扮演不同的角色。通过使用AutoGen框架，不同Agent可以协作完成复杂任务。

2024-07-14 19:31:11 1136

原创 LLM端侧部署系列 | 手机上运行47B大模型?上交推理框架PowerInfer-2助力AI手机端侧部署

近日，上海交大为大模型能够在智能手机上部署提出PowerInfer-2，该框架是专为智能手机设计且高度优化的推理框架。目前PowerInfer-2支持的最大模型是Mixtral 47B MoE模型，在inference的时候每秒可生成11.68个token，这比其他最先进的框架快22倍。即使是使用7B模型，PowerInfer-2只需将50%的FFN权重放置在手机上，在7B这个模型参数上，仍然是目前最快的推理框架！视频号：AI科技爱科学。

2024-06-30 13:05:58 1253

原创 LLM端侧部署系列 | 陈天奇MLC-LLM重磅升级：基于机器学习编译的通用LLM部署引擎

当下正是大型语言模型和生成式AI时代，蓬勃发展的大型语言模型带来了定制和特定领域模型部署的重大机(风)遇(口)。一方面，云服务器部署发展迅速，提供能够利用多个GPU为更大模型、更多并发服务请求的解决方案。与此同时，本地化的端侧部署开始崭露头角，量化后的模型已能部署到笔记本电脑、浏览器和手机等端侧设备上。相信未来是端云混合的部署方式，因此让任何人都能在云端和本地环境中运行大型语言模型至关重要。包括MLC-LLM项目在内的许多LLM推理项目，为服务器和本地模型部署提供了不同的解决方案，具有不同的实现和优化。

2024-06-30 12:48:29 2094

经典模式识别教材matlab代码

空空如也