人工智能
文章平均质量分 61
古猫先生
长期混迹存储领域,先后供职于知名半导体外企和互联网存储研发,欢迎留言or私信交流~
展开
-
MinIO DataPOD 目标锁定 GPU Direct 并行文件系统
因此,我们无法直接比较 MinIO 与例如 VAST Data 系统在服务器、存储和网络组件的数量和成本方面的差异,即使两者都能提供 349 GBit/sec 的读取吞吐量和 177.6 GBit/sec 的写入吞吐量。一份名为“面向 AI 数据基础设施的高性能对象存储”的白皮书指出:“MinIO 的性能特性意味着您可以运行多个 Apache Spark、Presto/Trino 和 Apache Hive 查询,或者快速测试、训练和部署 AI 算法,而不会遇到存储瓶颈。原创 2024-08-15 23:37:29 · 349 阅读 · 0 评论 -
2024年人工智能固态硬盘采购容量预计超过45 EB
**高速增长率**:预计未来几年内,AI服务器将推动SSD需求的平均年增长率超过60%,AI SSD需求可能从2024年占总NAND闪存消费量的5%上升到2025年的9%。- **合同价格上涨**:由于AI服务器客户对企业级SSD的需求激增,这类SSD的合同价格从2023年第4季度至2024年第3季度上涨了超过80%。- **AI模型训练**:在AI模型训练过程中,SSD主要用于存储模型参数,如权重和偏差等,并创建检查点以便在训练中断后恢复。#### 企业级SSD在AI中的作用。原创 2024-08-15 23:30:54 · 176 阅读 · 0 评论 -
DRAM 和 NAND 闪存收入将在 2024 年显著增长 75% 和 77%
根据 TrendForce 最新发布的市场报告,预计 2024 年 DRAM 和 NAND 闪存的收入将分别显著增长 75% 和 77%,这一增长主要是由于平均价格的上涨以及高价值产品的兴起,例如 HBM(高带宽内存)和 QLC(四层单元)闪存。- **平均价格上涨**:预计 2024 年 DRAM 平均价格将上涨 53%,2025 年上涨 35%,带动 DRAM 收入在 2024 年达到 907 亿美元,同比增长 75%;- **成本压力**:内存价格的上涨将导致电子产品成本增加。原创 2024-07-30 23:50:11 · 583 阅读 · 0 评论 -
继HBM之后, 内存领域新宠MCR DIMM闪亮登场!
传统上,DRAM模块在每次访问时只能激活一个内存列,而MCR DIMM通过在模块上集成的数据缓冲器,能够同时操作两个内存列,从而使得每次数据传输量翻倍,达到128字节。相比传统的RDIMM,MCRDIMM能在保持良好兼容性的同时提供更高的带宽,有望大幅提升服务器性能并降低总体拥有成本(TCO)。在服务器需求的推动下,MCRDIMM作为内存行业的新宠儿,正逐步登上历史舞台。相比之下,MRDIMM/MCRDIMM作为面向大容量、成本效益和可扩展内存的主流解决方案,有望成为未来AI和HPC首选的主要内存方案。原创 2024-07-30 23:16:29 · 762 阅读 · 0 评论 -
深度技术分析:Meta Llama 3模型训练故障剖析
在所有意外中断中,GPU问题占据了58.7%,其中GPU故障(包括NVLink故障)占30.1%,HBM3内存故障占17.2%。Meta的Llama 3模型训练集群在持续54天的训练过程中,共记录了419次意外组件故障,凸显了在大规模计算系统中保持稳定性的挑战。通过这些措施,Meta展示了即使在极端的计算条件下,也能通过技术创新和策略优化,有效管理和缓解大规模计算集群的故障问题。5. **系统冗余**:设计系统冗余,以提高容错能力,确保局部故障不会导致整个系统的崩溃。### GPU和HBM3内存故障。原创 2024-07-27 23:27:46 · 683 阅读 · 0 评论 -
英特尔终于宣布了解决CPU崩溃和不稳定性问题的方法,声称过高的电压是根本原因;补丁预计将于8月中旬推出【更新】
英特尔官方宣布,已找到困扰其CPU的崩溃问题的根本原因,并将于8月中旬前发布微码更新以解决这一问题,从而结束自2022年12月首次出现零星故障报告以来,至2023年底愈演愈烈的长期困境。英特尔的通告指出,错误的CPU微码是造成持续不稳定性问题的根本原因,该微码导致CPU请求超出安全范围的升压电压进行工作。对退回处理器的分析证实,过高的工作电压源于微码算法,导致向处理器发出错误的电压请求。对于不稳定性问题,我们将提供一个微码补丁,解决了导致电压升高的问题,这是不稳定性问题的关键因素。原创 2024-07-23 23:00:00 · 1189 阅读 · 0 评论 -
AMD EPYC处理器性能宣称远超Nvidia Grace CPU
尽管AMD的测试显示其处理器在许多关键工作负载上具有明显优势,但值得注意的是,Nvidia的Grace Hopper平台主要设计用于处理人工智能(AI)训练和推理工作负载,而这并非传统意义上的通用服务器负载。AMD近期发布了一份博客文章,其中对比了其EPYC处理器与Nvidia Grace Hopper Superchip(基于Arm架构的72核CPU)在一系列基准测试中的性能,声称EPYC处理器在多种工作负载下的表现最多可高出两倍。原创 2024-07-23 22:53:26 · 490 阅读 · 0 评论 -
Innodisk宣布启用第二期研发与生产中心,发力扩展边缘AI解决方案产能
综上所述,Innodisk通过第二阶段研发与生产中心的启动,不仅在硬件层面加强了边缘AI解决方案的生产与交付能力,还在软件及人才层面布局,致力于打造一个从技术创新到实际应用、从人才培养到智慧管理全方位发展的生态系统,以应对未来边缘AI市场的巨大潜力与挑战。此次扩张旨在强化公司创新能力,推动全球边缘AI解决方案的发展。2024年被Innodisk视为创新活力的一年,伴随新产品与技术的同时推出,新扩建的制造厂将开始生产多种边缘AI相关产品,重点聚焦于三大核心技术:“AI加速”、“视觉驱动”与“定制集成”。原创 2024-07-09 22:59:43 · 461 阅读 · 0 评论 -
DeepMind的JEST技术:AI训练速度提升13倍,能效增强10倍,引领绿色AI革命
而未来发展趋势显示,AI能源需求将持续上升,例如单次ChatGPT请求的能耗是谷歌搜索的10倍,Arm公司CEO预测到2030年,AI将占据美国电网四分之一的电力。谷歌旗下的人工智能研究实验室DeepMind发布了一项关于人工智能模型训练的新研究成果,声称其新提出的“联合示例选择”(Joint Example Selection,简称JEST)技术能够极大地提高训练速度和能源效率,相比其他方法,性能提高了13倍,而能源效率则提升了10倍。然而,JEST方法的成功高度依赖于训练数据的质量。原创 2024-07-08 22:55:33 · 470 阅读 · 0 评论 -
ASRock Creator系列GPU:为AI推理及多GPU系统打造,采用16针电源接口的Radeon RX 7900系列显卡
值得注意的是,Creator系列GPU是首批采用16针电源接口(12V-2x6)的AMD显卡,此前这种接口主要出现在英伟达的GeForce RTX 40系列显卡上。单个电源线缆的设计也简化了装机过程。在这种情况下,最好的AIB(Add-in Board)合作伙伴策略就是为用户提供选择,让他们根据特定的工作负载和环境需求来挑选适合的显卡。Creator系列显卡采用了带有蒸汽室的单风扇吹风式散热设计,适合多GPU环境和多种工作负载,能够提供必要的高气流和可靠性,但可能伴随较高的噪音水平。原创 2024-07-07 22:21:02 · 535 阅读 · 0 评论 -
2028年企业云存储支出翻倍,达到1280亿美元
存储服务受到了特别大的影响,部分原因是前几年的过度配置以及向昂贵的图形处理单元(GPU)的转变,以支持新兴的生成式人工智能(AI)热潮。“GPU需求激增严重影响了存储支出,”Omdia的首席分析师Dennis Hahn表示,“如果企业的直接支出主要用于购买这些非常昂贵的GPU服务,那么用于存储、网络和其他许多方面的预算就会减少。“总的来说,分析和生成式AI将成为云服务的巨大推动力——分析已经是这样了,”Hahn说,“一个AI项目中,有多达70%的工作是在处理数据,确保其正确性,对其进行编目并尝试整理。原创 2024-07-07 22:09:38 · 567 阅读 · 0 评论 -
Micron近期发布了32Gb DDR5 DRAM
Micron在这款产品中继续沿用了其前沿的D1-beta制程节点,采用了门先行(gate-first)HKMG(High-K Metal Gate,高K金属栅极)结构,而且并未采用EUV(极紫外光刻)技术。Micron Technology近期发布了一项内存技术的重大突破——一款32Gb DDR5 DRAM芯片,这项创新不仅将存储容量翻倍,还显著提升了针对人工智能(AI)、机器学习(ML)、高性能计算(HPC)以及数据中心应用的性能。原创 2024-07-06 23:02:17 · 682 阅读 · 0 评论 -
警惕AI泡沫:巨额投资与回报失衡
然而,AI硬件领域的投资仍在持续扩大。即便乐观估计谷歌、微软、苹果和Meta等每家公司每年能从AI业务获得100亿美元收入,而甲骨文、字节跳动、阿里巴巴、腾讯、X(原Twitter)和特斯拉等公司各获得50亿美元,仍存在5000亿美元的巨大差距,表明AI领域的投资回报远未达到预期,泡沫风险加剧。分析师指出,依托微软Azure基础设施的OpenAI,收入从2023年底的16亿美元激增至2024年的34亿美元,突显了其市场主导地位,远超仍在努力突破1亿美元营收大关的其他初创企业。原创 2024-07-06 22:38:38 · 526 阅读 · 0 评论 -
马斯克的液冷革命:特斯拉Gigafactory超级数据中心与xAI,共携35万Nvidia GPU引领AI绿色新篇章
该工厂的扩建工程引人注目,部分原因在于正在建设中的巨型风扇,它们将用于冷却液体循环系统。此外,马斯克还着手建造另一座价值数十亿美元的超级计算机——xAI超级计算机,它同样采用超微电脑的液体冷却技术,并已预订了100,000个英伟达H100 GPU,旨在训练GroksAI,这是X平台(原Twitter)上提供给高级订阅用户的独特AI聊天机器人服务。值得注意的是,有报道指出,由于马斯克在6月份要求英伟达将数千个原本预定给特斯拉的GPU转而供应给X项目,导致特斯拉超级计算机集群的建设被推迟了几个月。原创 2024-07-06 22:28:17 · 435 阅读 · 0 评论 -
技术分析报告:StorageReview实验室打破π计算世界纪录
在这一计算过程中,交换空间的性能是最大的瓶颈。直接连接的NVMe存储提供了最高的性能选项,尽管某些方案可能在单个设备的吞吐量上更快,但我们使用的大型高密度QLC SSD阵列在总体上完全能满足这项任务的要求。从系统层面来看,计算如此庞大的π数字,如100万亿位,需要大量空间,因为涉及到复杂的算术运算,尤其是大数乘法,这本身就要求大量的内存。Chudnovsky公式因其在计算π的多位数字方面的广泛应用而闻名,它要求大量的算术运算,包括乘法、除法和平方等,这些通常归结为大规模的乘法操作。原创 2024-07-05 23:36:40 · 1094 阅读 · 0 评论 -
三星组件新的HBM开发团队加速HBM研发
依据各公司的TSV(硅通孔)产能,预计到今年年底,HBM将占先进工艺晶圆投入的35%,剩余的晶圆产能将用于LPDDR5(X)和DDR5产品。为应对人工智能(AI)市场扩张带来的对高性能存储解决方案需求的增长,三星电子在其设备解决方案(DS)部门内部成立了全新的“HBM开发团队”,旨在提升其在高带宽存储器(HBM)领域的竞争力。此外,7月4日韩国媒体Newdaily的一篇报道指出,三星已获得英伟达对其第五代HBM即HBM3e的合格认证,虽然三星随后否认了这一市场传闻,但这一动向仍吸引了广泛关注。原创 2024-07-05 22:56:27 · 434 阅读 · 0 评论 -
CXL-GPU: 全球首款实现百ns以内的低延迟CXL解决方案
Panmnesia的GPU架构设计和集成方案通过创新地融合CXL控制器与内存/SSD控制器功能,创建了一个高度优化的系统,该系统不仅解决了与GPU缓存系统兼容的问题,还通过一个灵活且高效的CXL RC设计,实现了对不同类型EP设备的支持。这一控制器展现出了两位数纳秒级的往返延迟,这是迄今为止报道中最快的。计算单元访问:CXL允许GPU或其他计算单元如同访问本地内存一样,直接通过标准的加载/存储指令来读写这些外挂的存储设备,从而避免了通过CPU和系统内存作为中介的传统做法,减少了数据搬运的开销和延迟。原创 2024-07-03 22:32:57 · 1981 阅读 · 0 评论 -
AI需求强劲推动韩国六月芯片出口创历史新高
报道指出,芯片是出口增长的主要驱动力,六月份芯片出口额同比增长50.9%,达到134亿美元,实现了连续八个月的同比增长。据路透社7月1日报道,韩国产业通商资源部最新数据显示,韩国出口连续第九个月增长,六月份海外对芯片的持续且增强的需求将芯片出口额推至历史高位。从出口市场来看,韩国对美国的六月出口额同比增长14.7%,达到110亿美元,创下了历史同期的新高,自去年8月以来对美月度出口额持续刷新纪录。六月份,韩国出口同比增长5.1%,达到570亿美元,而进口则同比下降7.5%,降至490亿美元。原创 2024-07-02 23:20:29 · 461 阅读 · 0 评论 -
SK海力士豪掷750亿美元押注AI,HBM成重头戏
据《商业时报》报道,在为期两天的策略会议结束后,SK集团明确表示,此次巨额投资中的80%,即约82万亿韩元(600亿美元),将专项用于HBM的研发。此前,有关消息曾报道,韩国于2024年1月启动了“全球最大最强半导体超级集群建设计划”,拟至2047年投资622万亿韩元(约4540亿美元),在包括平泽、华城、龙仁、议政府和水原等京畿道南部城市新建16座工厂及研发中心,打造“半导体超级集群”。SK集团规划,至2026年,集团将投资80万亿韩元于AI与半导体领域,并持续优化业务结构以提升盈利能力及回馈股东。原创 2024-07-01 21:57:43 · 308 阅读 · 0 评论 -
SK海力士计划746亿美元巨额投资,旨在强化内存芯片业务并寄望于AI业务提振
SK集团向AI技术的转型,有望通过提供高性能内存芯片,为全球客户带来积极影响,同时也将助力企业在激烈竞争的国际环境中占据有利位置。全球最大的内存制造商之一SK海力士,目前占据DRAM市场35%的份额,宣布未来三年内将投资103万亿韩元(约合746亿美元),以进一步巩固其在内存领域的领导地位,并聚焦人工智能(AI)技术的发展。据路透社报道,SK海力士的母公司SK集团除了上述巨额投资外,还计划在原有750亿美元预算之外再投入580亿美元,专门用于人工智能和半导体领域,旨在“通过专注于AI价值链来提升竞争力”。原创 2024-06-30 23:01:24 · 315 阅读 · 0 评论 -
2029年AI服务器出货量将突破450万台,AI推理服务器即将爆发式增长
Omdia在其《Cloud and Data Center Market Snapshot – June 2024》报告中指出,AI服务器的出货量预计将从2019年的约50万台上升到在2029年的450万台,Omdia预测,至少在2029年前,AI服务器的出货量将持续近乎垂直的增长态势。相反,AI推理服务器将迎来显著增长,复合年增长率高达17%,从2019年的约50万台增长到2029年的约400万台,反映了AI应用的普及和相应处理工作负载所需服务器数量的增加。原创 2024-06-30 22:58:03 · 858 阅读 · 0 评论 -
放大招了|十亿参数大模型LLMs运行功耗仅需13W,内存使用量减少90%!
借助定制硬件,模型在仅13瓦特功率下实现了超越人类阅读速率的输出,相比之下,使用GPU大约需要700瓦特的功率,这意味着定制硬件的效率是GPU的50多倍。其次,研究者调整了矩阵之间的通信策略,不是将一个矩阵中的每个数字与另一个矩阵中的每个数字相乘,而是设计了一种只执行最重要运算的策略,通过叠加矩阵并仅计算最关键的部分,达到与矩阵乘法相同的效果,但大大减少了计算成本。尽管计算量减少,但通过引入基于时间的计算训练模型,研究者能够保持神经网络的性能,使网络能够“记住”处理的关键信息,从而提升表现。原创 2024-06-27 22:54:07 · 852 阅读 · 0 评论