自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(196)
  • 收藏
  • 关注

原创 Graph RAG: 知识图谱结合 LLM 的检索增强

本文为大家揭示 NebulaGraph 优先提出的 Graph RAG 方法,这种结合知识图谱、图数据库作为大模型结合私有知识系统的最新技术栈,是 LLM+ 系列的第三篇,加上之前的图上下文学习、Text2Cypher 这两篇文章,目前 NebulaGraph + LLM 相关的文章一共有 3 篇。

2024-06-15 11:35:42 787

原创 强化RAG:微调Embedding还是LLM?

微调有利于提高模型的效率和有效性。它可以减少训练时间和成本,因为它不需要从头开始。此外,微调可以通过利用预训练模型的功能和知识来提高性能和准确性。它还提供对原本无法访问的任务和领域的访问,因为它允许将预先训练的模型转移到新场景。换句话说,这一切都是为了获得更好的结果、减少奇怪的输出、更好地记住数据以及节省时间和金钱。虽然微调也可用于使用外部数据“增强”模型,但微调可以通过多种方式补充RAG:Embedding微调的好处LLM微调的好处。

2024-06-15 11:31:27 329

原创 RAG工作流在高效信息检索中的应用

RAG(Retrieval Augmented Generation)是一种突破知识限制、整合外部数据并增强上下文理解的方法。由于其高效地整合外部数据而无需持续微调,RAG的受欢迎程度正在飙升。让我们来探索RAG如何克服LLM的挑战!LLM知识限制大型语言模型面临与知识的准确度和时效性相关的几个挑战。其中两个常见问题是幻觉和知识断裂。幻觉:当模型自信地产生一个错误响应时发生。例如,如果一个模型声称“googly retriever”是一种真实的狗品种,那么这就是一种幻觉,可能导致误导性的信息。

2024-06-15 11:28:30 1004

原创 一文看懂RAG的各种套路 | 综述:当RAG遇到大语言模型

RAG检索增强生成(RAG)技术,作为 AI 领域的尖端技术,能够提供可靠且最新的外部知识,极大地便利了各种任务。在 AI 内容生成的浪潮中,RAG 通过其强大的检索能力为生成式 AI 提供了额外的知识,助力其产出高质量内容。尽管大型语言模型(LLMs)在语言处理上展现了突破性的能力,但仍受限于内部知识的幻觉和过时。因此,检索增强的 LLMs 应运而生,它们利用外部权威知识库,而非仅依赖内部知识,以提升生成质量。本综述全面审视了 RA-LLMs 的研究现状,从架构、训练策略到应用三个技术层面进行探讨。

2024-06-14 15:15:00 811

原创 如何在 Go 应用程序中使用检索增强生成(RAG)

这只是一个简单的示例,旨在让您更好地理解构建基于 RAG 的解决方案中的各个步骤。这些可能会根据实现的不同而略有变化,但高层次的思路保持不变。我使用了 langchaingo 作为框架。但这并不意味着您一定要使用某个框架。如果您需要在应用程序中进行细粒度控制或框架无法满足您的要求,您也可以移除抽象层并直接调用 LLM 平台的 API。与大多数生成式 AI 一样,这个领域正在迅速发展,我对 Go 开发人员拥有更多选择来构建生成式 AI 解决方案持乐观态度。​。

2024-06-14 11:10:26 1536

原创 GPT-4搞不定的图推理,港科大7B模型搞定|KDD2024

连通性和环检测、二分图检验、拓扑排序;三个多项式复杂度任务:最短路径、最大三角形和、最大流;以及两个NP完全任务:哈密尔顿路径和子图匹配。通过选择这九个图问题,团队的工作从简单到复杂、可解到难解的问题上进行了全面的图论探索。这种多样化的选择不仅有助于团队理论上理解图算法,而且还能解决广泛的实际应用问题。

2024-06-14 10:58:40 238

原创 干货!如何选选择Ai大模型(LLMs)?

当我们在不断扩大的大型语言模型领域中航行时,很明显,它们的潜力才刚刚开始被挖掘。这一领域的快速创新预示着人工智能可以为我们的工作和创造性努力做出更深远的贡献。展望未来,我认为继续在开源社区中推广 AI 模型、推动造福所有人的进步并确保负责任地使用这些强大工具至关重要。当我们这样做时,希望我们能找到适当的平衡点,在降低风险的同时最大限度地LLMs为社会带来利益。

2024-06-13 15:30:00 647

原创 ChatGPT面试指南来袭!10个提示词助你应对自如

面试时刻,你准备充分了吗?许多求职者即将面对的面试,仿佛一场无形的战斗。关键的面试问题,犹如一个个智勇双全的敌人。那么,如何才能在这场战斗中取胜?本文为你提供面试中的十大秘密武器——提示词。正确使用提示词,你可以破解面试官的难题,从容应对各种困境。别小看这十个小词,配合ChatGPT这个最强面试伙伴,它们将成就你的面试之旅一路高歌猛进。从自我介绍到离职原因,从个人优势到职业规划,提示词将助你完美应对面试中的种种难题。面试,就要直击要害、一击致胜!1、自我介绍提示:如何准备一个简洁有力的自我介绍?

2024-06-13 15:00:00 1160

原创 AI落地好项目,一张照片秒生成个人写真

只需要输入1张照片,无需训练,就能秒级生成个人写真?你没听错,就是这个神奇的AI工具–InstantID。众所周知,AI图生图面临的挑战之一是无法保持较高的角色一致性,尤其是人脸保真度。InstantID通过强语义和弱空间条件设计了一个新颖的身份识别网络,将面部和地标图像与文本提示相结合,引导图像生成。在只有一张参考 ID 图像的情况下,InstantID 的目标是在确保高保真的前提下,从一张参考 ID 图像中生成具有各种姿势或风格的定制图像。

2024-06-13 10:43:53 276

原创 多模态大语言模型综述(下)-任务实用指南

我们应该建立一个具有持续学习能力的LLM,能够根据自己的经验对世界进行复杂的理解,从而使用更复杂的知识进行自主和渐进的训练和改进[74]。是专门为支持音乐情感识别和分析研究而设计的,它包括2000多首歌曲的音频功能和歌词[55],其中音频特征包括各种描述符(如MFCC、频谱对比度和节奏特征),而歌词则使用单词袋(bag-of-words)和词嵌入(word embeddings)等技术来表示。通过对齐视频和音频的时间信息,模型可以利用视觉和音频特征进行手语识别,从而提高识别的准确性和有效性。

2024-06-12 10:54:49 598

原创 多模态大语言模型综述(上)-摘要与技术要点

对多模态语言模型的探索集成了多种数据类型,诸如图像、文本、语言、视频以及其他异构内容。尽管最新的大语言模型在文本任务中表现出现,但他们往往难以处理与处理其他数据类型。多模态大语言模型通过绑定各种模态来解决这一限制,从而能更全面的理解各类数据。本文首先定义了多模态的概念并考察了多模态算法的历史发展, 然后,我们介绍了一系列多模态的产品,重点关注主要科技公司在这一领域的努力。

2024-06-12 10:53:04 541

原创 一文深度解读多模态大模型视频检索技术的实现与使用

通过对自然语言描述的理解,大模型可以将这些描述转换为相应的向量表示,并在高维空间中寻找最匹配的内容。第三代检索技术的优势在于它的灵活性和表现力。用户不必再局限于有限的关键字,而可以用自己的语言进行更精确和细腻的描述。同时,由于大模型能够理解内容的深层意义,搜索结果通常更加相关和准确,增强了用户体验,并为获取和发现信息提供了更加强大的工具。例如,一个用户想要找到一张描绘“一个穿着古代盔甲的战士在日落时分静立在山巅”的图片和视频。

2024-06-12 10:50:50 1263

原创 一张图看懂大模型性价比:能力、价格、并发量全面PK

百度最强模型的价格不变,但轻量模型把“厘时代”直接打到免费。不过需要注意的是,根据文心一言官网介绍,ERNIE Speed模型适用于精调,而精调还是要收费的。阿里云的模型全线降价,最强模型降幅低,轻量模型降幅高。所有价格应该都是经过了精密的测算,不会是随意拍的数。从价格来看还是颇有诚意,但初始支持的TPM/RPM稍显不足,企业在实际使用中需要对相关权益做好沟通。字节,火山引擎。当我们说起价格那些事儿,不由想起《明朝那些事儿》的经典台词:要么不做,要么做绝。

2024-06-11 15:15:00 1550

原创 大模型的高考数学成绩单:及格已经非常好了

让考生头皮发麻的高考数学,可难倒了顶尖 AI 大模型。一年一度的高考即将落幕,衷心希望各位考生都超常发挥,考出满意的好成绩!!和往年一样,除了让 AI 大模型写写高考作文,我们也选取了六家国内头部大模型公司的产品与考生们一同参与一场客观且公平(让众多考生头皮发麻)的高考数学考试(新课标 Ⅰ 卷),其中包括 GPT-4o、GLM-4、文心一言 4.0、豆包、百小应(百川 4)以及通义千问 2.5。

2024-06-11 15:00:00 2180 7

原创 一次曝 9 个大模型,「字节 AI」这一年都在做什么?

字节跳动的大模型家族,会长出下一个抖音吗?整个 2023 年,字节并没有对外官宣其内部自研的大模型。外界一度认为,大模型这一技术变革,字节入场晚了。梁汝波在去年底的年会上也提到了这一点,他表示「字节对技术的敏感度不如创业公司,直到 2023 年才开始讨论 GPT。尽管如此,字节做大模型和 AI 应用的消息不断。2023 年 8 月 31 日,国内首批大模型产品通过《生成式人工智能服务管理暂行办法》备案,字节跳动云雀大模型赫然在列。

2024-06-11 10:32:06 570

原创 大模型如何通过token进行推理?

大型模型通过token进行推理的过程通常涉及以下步骤:1、Tokenization(分词):首先,输入文本或序列被分割成tokens,这些tokens通常是单词、子词或字符的序列。这一步通常由预训练模型的tokenizers完成。2、添加特殊标记:在tokens的开头和结尾添加特殊的标记,如和,用于指示句子的开始和结束,以及不同句子之间的分隔。3、转换为张量:将tokens转换为模型所需的张量形式。

2024-06-10 15:45:00 361

原创 如何计算 GPT 的 Tokens 数量?

随着人工智能大模型技术的迅速发展,一种创新的计费模式正在逐渐普及,即以“令牌”(Token)作为衡量使用成本的单位。那么,究竟什么是Token呢?Token 是一种将自然语言文本转化为计算机可以理解的形式——词向量的手段。这个转化过程涉及对文本进行分词处理,将每个单词、汉字或字符转换为唯一的词向量表示。通过计算这些词向量在模型中的使用次数,服务提供商就能够量化用户所消耗的计算资源,并据此收取费用。需要注意的是,不同的厂商可能采用不同的方式来定义和计算 Token。

2024-06-09 15:00:00 1711

原创 一文读懂:token到底是个啥?

前些年随着互联网的普及,token一词逐步被越来越多的人熟知,再加上后来区块链技术的成熟应用,token也被用在了加密货币领域,再到当下火热的AGI大模型,当你在和别人聊天聊到token,不知道具体含义时,请不要错过本篇文章,我将尽可能在保持原意的前提下,以大白话式的方式从互联网软件开发、区块链加密货币、AGI大模型三个领域为你揭开token的神秘面纱。目录。

2024-06-08 16:00:00 887

原创 用大模型理解爆火的KAN网络

调参也是一门技术活。同样的例子在官网给出的结果更加准确,因为调参的时候做的更精细。下图是官网的结果,exactly由一个平方函数、一个正弦函数和一个指数函数结合。KAN还有一些其他的功能,例如能解微分方程、在学习的过程中有记忆力等等。这个先不谈,后面用到了再说吧。

2024-06-07 11:28:09 920

原创 知识工作者如何在工作中使用大模型?

自 2022 年 11 月 OpenAI 发布 ChatGPT 以来,人们对生成式人工智能(GenAI,以下简称“生成式AI”)的兴趣激增,同时也对其安全性表示担忧。(译者注:生成式人工智能,即用 AI 生成文本、图像、音乐、音频、视频等,大模型通常是指训练这些生成式 AI 的庞大且复杂的神经网络模型)鉴于这一转折点,我们必须重新关注生成式AI对专业人士工作的影响。这是因为与早期的 AI 相比,生成式 AI 更接近专业人士的核心工作内容,即为客户提供诊断和治疗。

2024-06-07 11:25:36 947

原创 AI大模型应用的6种架构设计模式,你知道几种?

架构设计模式已成为程序员的重要技能。然而,当我们转向大模型应用领域,情况可能会有所不同。面对新兴技术,比如:生成式 AI,我们尚缺乏成熟的设计模式来支撑这些解决方案。根据多年的架构设计经验,我在这里整理总结了一些针对大模型应用的设计方法和架构模式,试图应对和解决大模型应用实现中的一些挑战,比如:成本问题、延迟问题以及生成的幻觉等问题。当用户输入一个 Prompt 查询时,该查询会被发送到路由转发模块,而路由转发模块则扮演着对输入 Prompt 进行分类的角色。

2024-06-07 11:21:09 796

原创 AI大模型正改变着推荐系统的未来

LangChain 是一个强大的框架,旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口,可简化创建由大型语言模型 (LLM) 应用程序的过程。LangChain 可以轻松管理与语言模型的交互,将多个组件链接在一起,集成额外的资源,例如 API 和数据库。从功能模块视角对比,LangChain 的 Data Connection 就有点类似于推荐系统里数据采集、数据挖掘、特征工程的过程。Data Connection给 LLM 提供了所需要的特征数据。

2024-06-06 11:42:41 761

原创 ChatGLM4重磅开源! 连忙实操测试一波,效果惊艳,真的好用!

GLM-4-9B是智谱AI在24年6月5日推出的开源预训练模型,属于GLM-4系列。之前已开源chatglm1~chatglm3等多个版本。GLM4在语义理解、数学、推理、编程和知识等领域的测试中表现优异。GLM-4-9B-Chat是其人类偏好对齐版本,支持多轮对话、网页浏览、代码执行、自定义工具调用(function call)以及长文本推理(最大128K上下文)。该系列模型还支持26种语言,包括日语、韩语和德语,并推出了支持1M上下文长度(约200万中文字符)的版本。GLM-4-9B 系列模型主要包含:

2024-06-06 11:36:03 1974

原创 产品基础:产品经理的高频面试题解析

有不少人看了我写的 []后,提议说想要看看这些面试题,主要的面试目的,以及期待答复是什么。考虑到一些产品童鞋的诉求,我这边会挑一些内容分几期,分享下面试官视角下,希望得到的面试反馈和思考。请进行自我介绍这题基本是面试的开胃菜了,估计面试多的,自己答案都能倒背如流啦。其实自我介绍还是蛮重要的,对我来说主要有 3 个作用:面试准备、能力预估、思维评估。

2024-06-05 15:15:00 636

原创 产品基础:产品经理的 40+ 高频面试题,赶紧收藏!

产品经理的面试,一般会问什么问题?作为公司的产品负责人,大小也面了不下 100 个产品,产品经验横跨了 0~3 年、3~5 年。我罗列了一些常用的产品面试问题,主要有“开始、产品、中级、考察、结束”等五类,希望能帮到你。

2024-06-05 10:58:43 652

原创 起薪4万的AI产品经理,ChatGPT底层实现原理怎么能不懂?

Transformer模型在普通的编码器—解码器结构基础上做了升级,它的编码端是由构成的,而解码端同样由多个解码器构成,如下图所示:它同时也在输入编码和自注意力方面做了优化,例如采用多头注意力机制、引入位置编码机制等等,能够识别更复杂的语言情况,从而能够处理更为复杂的任务。首先看编码器部分。。自注意力机制通过计算前一个编码器的输入编码之间的相关性权重,来输出新的编码。之后前馈神经网络对每个新的编码进行进一步处理,然后将这些处理后的编码作为下一个编码器或解码器的输入。之后是解码器部分。。

2024-06-05 10:53:02 635

原创 一道电梯题,暴打国产大模型!

所以,小小一个读图题,其实涉及到很多知识点,任何一个环节有短板,都会导致最后的错误判断。而这其中,我认为最NB的还是综合推理。最近,我也在不断试用前面那些国产大模型,按我的使用体验,如果询问一些单点问题、知识点,国产大模型都能回答得头头是道,甚至和ChatGPT没有太大差别。比如我问通义千问、文心一言同样的电梯运行逻辑的问题,它们也能回答得滴水不漏。甚至很多偏门、晦涩的问题,也都可以有问必答。

2024-06-04 10:30:16 1486

原创 看完这篇,我奶奶也要去练大模型了!

当下圈里最火的话题莫过而国内最拉风的大模型莫过反正,上千号百度工程师为肝出这个大模型已经熬出了黑眼圈像「文心一言」这种超级大模型训练过程太虐人,搁谁都得“吐血”即便像百度这么有实力的技术大厂恐怕,工程师们也在厕所哭晕过好几轮今天,我们就从技术层面来讲讲训练一个「文心一言」大模型到底有多难?到底有多虐人?到底有多吐血?唯有大集群才能 Hold 住大模型通常千亿参数规模才好意思叫大模型比如,GPT-3,有1750亿参数而文心大模型(ERNIE 3.0 Titan)参数则高达2600亿。

2024-06-04 10:25:50 810

原创 绝了,不用写代码也能训练大语言模型!

LLaMA-Factory 是一个基于大型语言模型的微调框架,允许用户通过自定义数据集来优化模型表现。微调大模型可以如此轻松…只需要在界面操作,无需写代码,即可以进行大模型训练。

2024-06-04 10:21:22 667

原创 Llama 3突然来袭!开源社区再次沸腾:GPT-4级别模型可以自由访问的时代到来

就在刚刚,Meta官网上新,官宣了Llama 3 80亿和700亿参数版本。并且推出即为开源SOTA:Meta官方数据显示,Llama 3 8B和70B版本在各自参数规模上超越一众对手。8B模型在MMLU、GPQA、HumanEval等多项基准上均胜过Gemma 7B和Mistral 7B Instruct。而70B模型则超越了闭源的当红炸子鸡Claude 3 Sonnet,和谷歌的Gemini Pro 1.5打得有来有回。Huggingface链接一出,开源社区再次沸腾。

2024-06-03 11:04:12 355

原创 Llama 3-V:以100倍小的模型和500美元匹敌GPT4-V视觉模型

Llama3 的横空出世震惊了世界,它在几乎所有基准测试中都超越了 GPT-3.5,并在一些方面超越了 GPT-4。随后,GPT-4o 的出现凭借其多模态能力再次夺回了王座。今天,我们发布了一个改变现状的产品:Llama3-V,这是首个基于 Llama3 构建的多模态模型。而且,我们在不到 500 美元的成本下完成了整个训练。你问基准测试怎么样?让数据来说话吧。我们的性能比当前最先进且最受欢迎的多模态理解模型 Llava 提高了 10-20%。

2024-06-03 11:02:18 840 1

原创 Llama3改进与亮点

Meta LLaMA3 强势发布,迄今为止功能最强大的公开可用的 LLM。此版本是在 15 万亿个 Token 上预训练的语言模型,具有 8B 和 70B 两种参数规模,可以支持广泛的用户场景,在各种行业基准上取得了最先进的性能,并提供一些了新功能,包括改进的推理能力,这些都是同时期最好的开源模型。除此之外,LLaMA3还有400B参数的模型正在训练中。

2024-06-03 11:00:22 831

原创 过去三个月,LLaMA系模型发展如何?指令微调的核心问题又是什么?

现阶段 instruction tuning 核心问题是能力平衡基础能力的 Eval 可以参照 Chain-of-thought Hub,但 dialog 还是得人来,且人也不一定 eval 得足够好FLAN 非常神奇,可以考虑做一个中文版抓紧把 instruction tuning 收尾,快点进到 reward modeling 阶段注意要先把 reward modeling 本身做好,确保 reward model 有判断力,再去做 PPO。

2024-05-31 16:23:00 1268

原创 LlamaFS:用AI(Llama3)来自动整理你杂乱的电脑文件!

在数字化时代,我们的电脑文件夹往往像是没有规律的迷宫,找文件就像是寻宝一样费时费力。但现在,有了LlamaFS,这一切都将成为过去。今天,我要介绍一个名为LlamaFS的神奇工具,它能够帮助我们自动整理文件,让文件管理变得前所未有的简单。无论是文档、图片(通过Moondream)还是音频(通过Whisper),LlamaFS都能够支持。LlamaFS有两种模式:批处理模式和交互式守护进程模式。在批处理模式下,你可以一次性整理大量文件。

2024-05-31 16:20:44 399

原创 从零复现Llama3代码库爆火,大神Kapathy一键三连,GitHub狂揽2k+

火就火在,它教你从头用Meta开源的权重进行推理,。换句话说,他解释了每行代码都在干啥。Karpathy看后直呼打造者(后文暂称“纳哥”)是个有品的人:完全展开后,比起模块相互嵌套和调用时,更容易理解每一步具体在做什么。网友们对其也是赞不绝口,纷纷致敬:话不多说,一起来看纳哥是如何手把手教的。(量子位在不改变原意的基础上,进行了编译整理)

2024-05-31 16:15:38 828

原创 从头预训练一只超迷你 LLaMA 3

虽然是练习,但既然打着复现工作的名头,还是来简要回顾一下原工作究竟做了什么吧。原工作探索的问题是语言模型(LM)在文本连贯性上的表现。像早期的一些语言模型如 GPT-2,即使在一些 Common Craw 这样的语料库上大量预训练后,也很难生成长的、连贯的文本。比如前几年有一种 AI 玩具类型是做文本续写,例如彩云小梦,可以写写作文、小说什么的,如果大家玩过就知道效果其实一言难尽,和今天的大模型完全没法比,其实这就是 GPT-2 level 的续写能力。

2024-05-30 14:45:00 869

原创 个人视角:成为AI产品经理,要先搞定这两个问题

那我们重点关注这四个步骤。

2024-05-30 10:16:53 697

原创 AI时代:成为产品经理的核心路径

​ 首先看入行前的心理认知。笔者建议读者不要盲目崇拜AI,同时也绝不能因为迷茫而轻视AI。比如,很多人认为AI很快就要改变我们的生活,在不久的将来我们将不再需要人工驾驶汽车,汽车可以自动驾驶,因此可以不学车了;很多人还认为在不久的将来也许不需要上网去社交,因为出现了AI生成的男女朋友。笔者觉得要实现以上两个场景至少还需要15年以上的时间。​ 大家对AI在消费领域带来的产品创新的期望过高,因此投资过多。笔者觉得对消费直接产生影响的AI产品的质和量都比较有限。

2024-05-30 10:11:34 1178

原创 百度沈抖回应「大模型价格战」

2024 年 5 月 28 日,由人民日报文化传媒有限公司和百度联合主办的 2024 智能经济论坛在北京举行。会上,百度集团执行副总裁、百度智能云事业群总裁沈抖介绍了文心系列主力大模型免费背后的原因。此外,为了加速行业大模型的落地,百度智能云推出“千帆·行业增强版”,目前已经在政务、交通、工业等行业落地。沈抖表示,。目前,文心大模型已经拥有中国最大的产业落地规模,超半数央企正在联合百度进行AI创新。百度集团执行副总裁、百度智能云事业群总裁沈抖。

2024-05-29 15:00:00 1194

原创 58行代码把Llama 3扩展到100万上下文,任何微调版都适用

堂堂开源之王Llama 3,居然只有……,让到嘴边的一句“真香”又咽回去了。在32k起步,100k寻常的今天,这是故意要给开源社区留做贡献的空间吗?(一百万)背后是一个LoRA,从扩展好上下文的Llama 3 70B Instruct微调版本中提取出来,。接下来使用Mergekit,就可以与其他同架构模型一起运行或直接合并到模型中。所使用的1048k上下文微调版本,刚刚在流行的大海捞针测试中达到全绿(100%准确率)的成绩。不得不说,开源的进步速度是指数级的。

2024-05-29 14:30:00 536

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除