结合Transformer与Mamba，Jamba来了！

最新推荐文章于 2024-05-18 13:27:14 发布
最新推荐文章于 2024-05-18 13:27:14 发布
阅读量791 收藏 15
点赞数 13
分类专栏： AI资讯 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzh516451964zzh/article/details/137193873
版权

近期AI相关资讯，一起看看吧~

X 的 Grok 得到重大升级

马斯克的人工智能初创公司X.ai推出了Grok-1.5，是Grok聊天机器人的升级版AI模型。该新版本增强了推理能力，特别是在编码和数学任务方面，并扩展了其处理更长、更复杂输入的能力，具有128,000个标记的上下文窗口

Grok聊天机器人以其在讨论有争议话题时带有叛逆色彩的能力而闻名。改进的模型将首先由X的早期用户进行测试，计划稍后进行更广泛的推广

https://x.ai/blog/grok-1.5

结合Transformer与Mamba，Jamba来了

AI21 Labs发布了Jamba，这是基于Mamba架构的第一个生产级AI模型。这种新的架构结合了传统Transformer模型和Mamba SSM的优势，产生了一个既强大又高效的模型

Jamba的混合架构由Transformer、Mamba和专家混合(MoE)层组成，同时优化内存、吞吐量和性能

在这里插入图片描述

该模型在各种基准测试中展示了卓越的结果，在其规模类别中与或优于最先进的模型。Jamba将以Apache 2.0许可证的开放权重发布，并且将可以从NVIDIA API目录中访问

https://www.ai21.com/jamba

谷歌DeepMind的AI生成数据检查器表现优于人类

谷歌DeepMind开发了一种名为Search-Augmented Factuality Evaluator（SAFE）的人工智能系统，可以比人类检查员更有效地评估由大型语言模型生成的信息的准确性。在一项研究中，SAFE在72%的情况下与人类评级相匹配，在与人类意见不一致的情况下，76%的时间都是正确的

尽管一些专家对将SAFE的表现描述为"超人类"表示怀疑，主张将其与专业检查员进行基准测试，但这个系统的成本效益是无可否认的，比人类检查员便宜20倍

https://arxiv.org/pdf/2403.18802.pdf

情感与AI结合：Hume AI的EVI重新定义了语音交互

Hume AI推出了一款名为Empathic Voice Interface（EVI）的新型对话人工智能。EVI与其他语音界面的不同之处在于它能够理解并响应用户的语调，为交互添加了情感智能。通过根据用户的表达方式调整语言和回复，EVI创造了一种类似于人类的体验，模糊了人工智能和情感智能之间的界限

EVI的共情能力不仅仅局限于理解语调，还能准确地检测对话转换的结束，处理中断，甚至从用户的反应中学习以逐步改进，再加上它快速可靠的转录和文本到语音功能，使EVI成为一个高度适应性强的工具

https://analyticsindiamag.com/forget-openais-chatgpt-hume-ais-empathetic-voice-interface-evi-might-be-the-next-big-thing-in-ai/

Claude 3 Opus成为顶级用户评价聊天机器人，击败了OpenAI的GPT-4

Anthropic的Claude 3 Opus已超越OpenAI的GPT-4，成为Chatbot Arena排行榜上评价最高的聊天机器人。这标志着自GPT-4发布约一年以来，另一个语言模型首次在这一基准中超越了它，该基准根据用户的偏好对模型进行排名。Anthropic更便宜的Haiku和中档的Sonnet模型也表现出色，几乎可以在显著降低的成本下接近原始GPT-4的功能

虽然OpenAI仍然在市场上占据主导地位，但这一进展以及OpenAI最近的领导层变动已帮助Anthropic取得了进展。然而据传言，OpenAI正准备在今年夏天推出更先进的“GPT-4.5”或“GPT-5”模型，希望重新夺回榜首

https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard

DBRX成为世界上最强大的开源LLM

Databricks发布了DBRX，一系列开源大型语言模型，为性能和效率设定了新标准。该系列包括由Databricks的Mosaic AI团队开发并使用NVIDIA DGX Cloud进行训练的DBRX Base和DBRX Instruct。这些模型利用了优化的专家混合（MoE）架构，比其他领先的LLM实现了2倍的计算效率

在性能方面，DBRX在语言理解、编程和数学等行业基准上优于开源模型，如Llama 2 70B、Mixtral-8x7B和Grok-1。它在大多数这些基准上也超过了GPT-3.5，尽管它仍然落后于GPT-4

https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm

Stability AI的CEO离职

Stability AI的创始人兼CEO Emad Mostaque已辞去他的职务和公司董事会成员的职务，以专注于去中心化人工智能。Mostaque相信，不能通过更加集中化的人工智能来击败中心化的人工智能，并强调了行业需要更加透明和分布式的治理

该人工智能初创公司已任命首席运营官Shan Shan Wong和首席技术官Christian Laforte为临时联合CEO，同时寻找永久性的替代者，Mostaque的离职发生在Stability AI处于混乱时期之际，据报道，2023年全年，公司高级管理人员离职，并且投资者之间发生了争议

https://stability.ai/news/stabilityai-announcement

Stability AI推出了Instruction-tuned LLM

Stability AI推出了Stable Code Instruct 3B，一款新的Instruction-tuned大型语言模型。可以处理各种软件开发任务，如代码补全、生成、翻译和解释，以及根据简单指令创建数据库查询

Stable Code Instruct 3B声称在准确性、理解自然语言指令以及处理多种编程语言方面优于竞争对手模型，如CodeLlama 7B Instruct和DeepSeek-Coder Instruct 1.3B

https://stability.ai/news/stabilityai-announcement

Zoom推出了一体化的现代AI协作平台

Zoom推出了Zoom Workplace AI协作平台，集成许多工具旨在提高团队合作和生产力。该平台具有超过40个新功能，包括Zoom Phone、Team Chat、Events和Contact Center的AI Companion更新，以及引入了Ask AI Companion。Zoom Workplace通过熟悉的界面简化了工作流程

该平台提供了定制选项、会议功能以及跨Zoom生态系统的改进的协作工具。与Zoom Workplace集成的Zoom Business Services提供了基于AI的营销、客户服务和销售解决方案

https://news.zoom.us/zoom-unveils-ai-powered-collaboration-platform-zoom-workplace-to-reimagine-teamwork/

啥都生
关注
  • 13
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
1000层的Transformer，诞生了！ .pdf
08-12
1000层的Transformer，诞生了！ .pdf
视觉领域的CNN与Transformer综述
03-19
1 卷积神经网络（CNN）介绍 1.1 CNN基本结构介绍 1.2 经典的CNN模型 2 Transformer介绍 2.1 基本结构介绍 2.2 视觉Transformer模型（VIT，DETR，GroundingDINO） 3 CNN与Transformer的比较 3.1 结构差异 3.2 性能差异 3.3 优劣对比 4 总结
1000层的Transformer，诞生了！ .rar
10-18
1000层的Transformer，诞生了！ .rar
MAMBA
03-17
曼巴
详解Self-attention与Transformer1
08-03
基本layer对于输入序列的某个位置的 vector（如下图中的），Self-attention layer 首先计算它与其它其他位置的 vector 之间的相
Hume AI发布EVI ： 具有情感感知能力
niguangfei的博客
03-30 409
并且捕捉你说话的语调、节奏、音色，以及所说的语言间的细微差别，生成自己的声音和语言，构建回应。更有意思的是，EVI 还不会打断对话。如果你突然打断它，它会像真人一样停下来听你说。这种技术结合了大型语言模型（LLMs）的语言理解能力和表情测量技术的情感感知能力。EVI采用了一种被称为情感大语言模型（eLLM）的多模态生成AI技术。体验链接：https://demo.hume.ai/官网地址：https://www.hume.ai。
Jamba: A Hybrid Transformer-Mamba Language Model
liferecords的博客
04-02 731
我们介绍了Jamba，一种新的基于新颖混合Transformer-Mamba混合专家（MoE）架构的基础大型语言模型。具体来说，Jamba交错了Transformer和Mamba层的块，享受两个模型家族的好处。在这些层中的一些层添加了MoE，以增加模型容量，同时保持活跃参数使用量可控。这种灵活的架构允许针对资源和目标的特定配置。在我们实现的特定配置中，我们得到了一个强大的模型，适合在单个80GB GPU中运行。
Keyclone绝配的插件jamba v0.8+jamba的翻译及设置截图
08-02
与最新版的keyclone v1.9i最配合的插件jamba v0.8；可以说用keyclone多开不能少了他，jamba它让很多动作同步而且自动化，如：自动交接任务，与主号自动骑飞行点，自动显示各小号的状态（血量，是否被攻击，任务物品的数目），自动修理和一键贩卖灰色物品，太多功能有点神化。多开的神级插件。里面配合详细的截图设置及英文翻译。
CSWin Transformer
08-20
Transformer设计中一个具有挑战性的问题是，全局自注意力的计算成本非常高，而局部自注意力通常会限制每个词向量的交互域。为了解决这个问题，作者提出了CSWin Transformer。CSWin Transformer 在常见的视觉任务上...
Mamba和Transformer合体！Jamba来了：超越Transformer！
阿木寺的博客
03-30 224
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/扩散和多模态】微信交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：机器之心 | 编辑：小舟Mamba 时代来了？自 2017 年开创性研究论文...
对话式 AI 的天花板来了，Hume AI 再拿 5000 万美金融资
加百力 的技术博客
03-29 2886
因为这些产品的大量出现，以及一些大企业已经开始用 AI 来取代其客服人员，比方说 Klarna 已经用 AI 取代了 700 名客服人员，于是我在之前的文章《AI 取代人类的工作，正在从客服行业开始》里说，客服可能会是第一个被 AI 大量取代的行业。一位叫 Dacher Keltner 的情感科学家说，Alan Cowen 的研究改变了我们对声音、面部、身体和手势中情感表达的丰富语言的理解，他的作品开辟了整个研究领域，以理解声音的情感丰富性和面部表情的微妙之处。，并将其作为一项基本的首要目标。
Meta出招了！Megalodon LLM对Transformer架构发起挑战！
2301_81888214的博客
04-22 594
前两天，科技新闻网站VentureBeat上放出了Ben Dickson的一篇文章，名字就叫“Meta 携 Megalodon LLM 挑战 Transformer 架构”。
推理速度暴增，Mamba终结Transformer的统治 ！！
不要给自己设限，尝试更多可能（思所向 皆可往）
02-23 2447
在这篇关于 Mamba 的文章中，我们来探索这个创新的状态空间模型（state-space model，SSM）如何在序列建模领域带来革命性的变革。Mamba 是由 Albert Gu 和 Tri Dao开发的，因其在语言处理、基因组学、音频分析等领域的复杂序列时表现出色而受到关注。Mamba 采用线性时间序列建模和选择性状态空间，因此在这些不同的应用领域都展现出了卓越的性能。本文，我们将深入了解 Mamba 是如何解决传统 Transformer 在处理长序列时遇到的计算挑战的。
深度学习之基于YoloV5+LPRNet车牌识别系统
2301_79809972的博客
05-18 973
一、项目背景与意义在智能交通管理系统中，车牌识别技术是一项至关重要的技术。随着车辆数量的不断增长和交通环境的日益复杂，对车牌进行准确、快速的识别已成为现代交通管理不可或缺的一部分。为了满足这一需求，本项目采用了先进的YOLOv5和LPRNet算法，结合深度学习技术，开发了一套高效的车牌识别系统。二、技术原理该系统基于深度学习和目标检测技术，整合了YOLOv5目标检测框架和LPRNet文本识别模型。YOLOv5算法在目标检测领域具有出色的性能，能够快速、准确地检测图像中的目标；
深度学习之基于Yolov7驾驶员疲劳检测系统
2301_79809972的博客
05-17 961
一、项目背景随着汽车保有量的不断增加，驾驶安全问题日益受到人们的关注。驾驶员疲劳驾驶是导致交通事故的重要原因之一。因此，开发一种能够实时监测驾驶员疲劳状态并提前发出预警的系统对于保障驾驶安全具有重要意义。近年来，深度学习技术特别是目标检测技术在计算机视觉领域取得了显著进展，为驾驶员疲劳检测提供了新的解决方案。本项目旨在利用YOLOv7算法，开发一个基于深度学习的驾驶员疲劳检测系统。二、项目目标。
深度学习之基于Tensorflow卷积神经网络花卉识别系统
2301_79809972的博客
05-18 770
一、项目背景与目标随着人工智能技术的不断发展，图像识别技术已经广泛应用于各个领域。在植物学领域，自动识别花卉种类对于植物分类、生态保护以及园艺应用具有重要意义。传统的花卉识别主要依赖于人工分类和鉴定，这种方法耗时且容易受主观因素影响。因此，开发一个基于深度学习的花卉识别系统，实现自动化、准确的花卉分类与识别，成为当前研究的热点。本项目旨在利用Tensorflow深度学习框架，构建一个基于卷积神经网络（CNN）的花卉识别系统。
深度学习之基于YoloV5钢材表面缺陷检测
最新发布
2301_79810943的博客
05-18 985
一、项目背景与意义在钢铁生产过程中，钢材表面的缺陷检测是一个至关重要的环节。传统的检测方法往往依赖于人工视觉检测，这种方法不仅效率低下，而且容易受到人为因素的影响，导致检测结果的准确性和稳定性难以保证。随着深度学习技术的快速发展，基于深度学习的目标检测算法在图像识别领域取得了显著成果。其中，YoloV5（You Only Look Once version 5）作为一种高效且准确的目标检测算法，被广泛应用于各种实际场景中。
基于深度学习(Resnet+Vgg)肺炎CT图像检测诊断系统
2301_79809972的博客
05-17 499
一、项目背景随着全球健康问题的日益严重，肺炎作为一种常见的呼吸道疾病，其早期诊断和治疗显得尤为重要。然而，传统的肺炎诊断方法主要依赖于医生的临床经验，存在一定的主观性和误差。近年来，深度学习技术的快速发展为肺炎CT图像检测诊断提供了新的解决方案。本项目旨在利用ResNet和VGG两种深度学习模型，结合CT图像数据，构建一个高效、准确的肺炎检测诊断系统。二、项目目标。
Transformer与LSTM相结合
12-13
Transformer与LSTM相结合可以用于跨话语信息表示，即在对话系统中，将多个话语的信息结合起来进行处理。具体实现方法是在每个Transformer block前分别建立一个LSTM，将前面所有话语的信息进行编码，然后将编码结果与当前话语的Transformer block输入进行拼接，再进行后续的处理。这样可以使得模型更好地捕捉到跨话语的信息，提高对话系统的效果。 下面是一个简单的示例代码，其中包含了一个LSTM和一个Transformer block： ```python import torch import torch.nn as nn import torch.nn.functional as F from torch.nn.utils.rnn import pack_padded_sequence, pad_packed_sequence class TransformerLSTM(nn.Module): def __init__(self, input_dim, hidden_dim, num_layers, num_heads): super(TransformerLSTM, self).__init__() self.lstm = nn.LSTM(input_dim, hidden_dim, num_layers, batch_first=True) self.transformer = nn.TransformerEncoderLayer(hidden_dim, num_heads) def forward(self, x, lengths): # 对输入进行pack，以便LSTM处理变长序列 packed = pack_padded_sequence(x, lengths, batch_first=True, enforce_sorted=False) # LSTM编码 lstm_out, _ = self.lstm(packed) # 对LSTM输出进行unpack lstm_out, _ = pad_packed_sequence(lstm_out, batch_first=True) # Transformer输入需要为(batch_size, seq_len, hidden_dim) transformer_in = lstm_out.unsqueeze(1) # Transformer编码 transformer_out = self.transformer(transformer_in) # 将Transformer输出进行拼接 out = torch.cat([lstm_out, transformer_out.squeeze(1)], dim=-1) return out ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

啥都生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值