首个AI码农来了

• B站：啥都会一点的研究生
• 公众号：啥都会一点的研究生

Devin：首位AI软件工程师

美国初创公司 Cognition AI 推出了世界上第一个人工智能软件工程师 Devin，这是一项开创性的发展。Devin可以自主使用自己的 shell、代码编辑器和网络浏览器解决工程任务，能自主执行规划、编码、调试和部署项目等任务

SWE-Bench 基准测试要求AI解决 GitHub 在实际开源项目中发现的问题，在该测试中，Devin 在无人协助的情况下正确解决了 13.86% 的问题，远远超过了之前SOTA模型 1.96% 的无人协助和 4.80% 的协助性能。Devin还成功通过了大型AI公司的实际工程面试，甚至完成了真实的工作

https://twitter.com/cognition_labs/status/1767548763134964000

由 OpenAI 驱动的 "Figure 01 "机器人可以聊天、感知和完成任务

Figure 与 OpenAI 合作开发了一款名为 "Figure 01 "的开创性机器人，它可以根据口头请求执行任务并进行完整的对话，即使是那些模棱两可或依赖于上下文的请求。通过将机器人连接到由 OpenAI 训练的多模态AI模型上实现

AI模型处理机器人的整个对话历史，包括图像，使其能够生成适当的语言回应，并选择最合适的学习行为来执行给定的命令。机器人的行动由视觉运动转换器控制，该转换器可将视觉输入转化为精确的物理动作

https://venturebeat.com/ai/openai-powers-a-robot-that-can-hand-people-food-pick-up-trash-put-away-dishes-and-more/

华为推出文生图模型 PixArt-Σ

华为诺亚方舟实验室（Noah’s Ark Lab）推出了 PixArt-Σ，这是一种文生图模型，可根据提示创建 4K 分辨率图像，准确性令人惊讶。与 SDXL 等模型相比，PixArt-Σ 的参数要少得多，但在图像质量和提示匹配方面却胜过它们

该模型采用 "从弱到强 "的训练策略和高效的标记压缩以降低计算要求。依赖于高分辨率图像和描述准确的训练数据。研究人员称，PixArt-Σ 可以赶上 Adobe Firefly 2、Google Imagen 2、OpenAI DALL-E 3 和 Midjourney v6 等商业替代产品

https://pixart-alpha.github.io/PixArt-sigma-project/

Apple收购加拿大人工智能初创公司 DarwinAI

DarwinAI 开发了用于在制造过程中对部件进行视觉检测的人工智能技术，为各行各业的客户提供服务。但它的核心技术之一是让人工智能系统变得更小、更快。这会对苹果公司有所帮助，因为苹果公司正专注于在设备上而不是完全在云端运行AI

在苹果公司今年大力推进人工智能之前，这项不引人注意的收购已经到来。首席执行官蒂姆-库克（Tim Cook）承诺，苹果今年将在人工智能领域 “开辟新天地”，预计最快将在 6 月份的全球开发者大会上宣布这一消息

https://www.bloomberg.com/news/articles/2024-03-14/apple-aapl-buys-canadian-ai-startup-darwinai-as-part-of-race-to-add-features

Cerebras WSE-3：可支持比 GPT-4 大 10 倍模型的AI芯片

Cerebras Systems 发布了其最新的晶圆级人工智能芯片 WSE-3。拥有惊人的 4 万亿个晶体管，是市场上功能最强大的AI芯片之一。这款第三代晶圆级人工智能超大型芯片的性能是上一代的两倍，同时还非常省电。得益于最新的制造技术，该芯片的晶体管密度提高了 50% 以上

WSE-3 最显著的特点之一是能够支持比 GPT-4 和 Gemini 模型大 10 倍的人工智能模型

https://the-decoder.com/cerebras-wse-3-enables-ai-models-to-be-ten-times-larger-than-gpt-4-and-gemini/#summary

DeepMind SIMA：无所不能的AI游戏代理

DeepMind推出了SIMA（Scalable Instructable Multiworld Agent），这是一款通用的AI代理，可以理解并遵循自然语言指令，在不同的视频游戏环境中完成任务。SIMA是八个游戏工作室在九款不同游戏中进行训练，标志着游戏AI领域的重要里程碑，因为它展示了将学到的技能泛化到新的游戏世界的能力，而不需要访问游戏代码或API

SIMA在600种基本技能上进行评估，包括导航、物体交互和菜单使用。在测试中，SIMA代理在多个游戏上训练的表现明显优于在单个游戏上训练的专业代理。值得注意的是，SIMA在未知游戏上的表现几乎与专门针对该游戏进行训练的代理一样好，展示了SIMA在泛化到新环境方面的出色能力

https://deepmind.google/discover/blog/sima-generalist-ai-agent-for-3d-virtual-environments/

Meta 推出两个 24K GPU 集群来训练 Llama 3

Meta 推出了两个 24k GPU 集群，这两个集群建立在 Grand Teton、OpenRack 和 PyTorch 的基础上，旨在支持各种人工智能工作负载，包括 Llama 3 的训练

Meta 的目标是在 2024 年底之前扩大其基础设施建设。计划纳入35万个英伟达™（NVIDIA®）H100 GPU，提供相当于近60万个H100的计算能力。集群的构建注重研究人员和开发人员的体验。它为Meta公司构建开放、负责任地开发通用人工智能（AGI）的长期愿景锦上添花

https://engineering.fb.com/2024/03/12/data-center-engineering/building-metas-genai-infrastructure/

Deepgram 的 Aura 能让AI发出真实的声音

Deepgram 是一家顶级语音识别初创公司，最近发布了新的实时文本到语音模型 Aura。这是首个为反应灵敏、会话式人工智能代理和应用而打造的 TTS 模型。可将这些代理用于呼叫中心的客户服务和其他面向客户的角色

Aura 包括十几种自然、类似人类的声音，其延迟比任何同类语音人工智能替代产品都要低

Meta探索改进 LLM 的推理能力

Meta 公司的研究人员研究了如何利用强化学习（RL）来提高大型语言模型（LLM）的推理能力。他们比较了近端策略优化（PPO）和专家迭代（EI）等算法，发现简单的 EI 方法特别有效，经过多次训练迭代后，模型的性能比微调模型高出近 10%

不过研究也发现，测试的 RL 方法在进一步提高 LLM 的逻辑能力方面存在局限性。研究人员建议，加强探索技术，如思维树（Tree of Thoughts）、XOT 或将 LLMs 与进化算法相结合，对于提高推理性能非常重要

https://arxiv.org/pdf/2403.04642.pdf