HBM之后，高带宽闪存(HBF)也来了！

近日，SanDisk 推出的新型高带宽闪存（High Bandwidth Flash，HBF），这项技术结合了3D NAND的容量优势和高带宽内存（HBM）的高速性能。HBF旨在为需要高带宽和大容量的AI推理应用提供解决方案，并且能够实现高达4TB的VRAM容量。

1. HBF 技术的基本原理与架构

HBF的概念类似于HBM，它通过硅通孔（TSVs）将多个高性能闪存核心芯片堆叠在一起，并连接到一个可以并行访问闪存子阵列的逻辑芯片上。这种架构基于SanDisk的BICS 3D NAND技术，采用CMOS直接键合到阵列（CBA）设计，将3D NAND存储阵列键合在一个使用逻辑工艺技术制造的I/O芯片之上。

传统的 NAND 芯片设计通常将核心 NAND 闪存存储阵列划分为平面、页和块，而 HBF 似乎将芯片分解为 “众多子阵列”，以便能够同时进行访问。每个子阵列（拥有自己的页和块）大概都有其独立的读写路径，这一设计理念远超传统的多平面 NAND 设备。目前，第一代 HBF 将使用 16 个 HBF 核心芯片，SanDisk 还发明了一种专有的堆叠技术，以实现最小的翘曲，从而能够堆叠 16 个 HBF 核心芯片，并且开发出了可以同时从多个 HBF 核心芯片访问数据的逻辑芯片。

2. HBF技术优势与潜在应用

SanDisk 表示，HBF 技术在相似成本下，不仅能够提供与 HBM 相当的带宽，还能实现 8 到 16 倍的容量提升。

第一代 HBF 可在 GPU 上实现高达 4TB 的 VRAM 容量，未来还会有更大的容量提升空间。从 SanDisk 提供的示例来看，八个 HBF 堆栈拥有 4TB 的 NAND 内存，即每个堆栈可存储 512GB，这是单个 8 层 HBM3E 堆栈（容量为 24GB）容量的 21 倍。这意味着 HBF 技术能够为需要存储大量数据的应用，如大型 AI 模型存储，提供强大的支持。

单GPU搭载4TB存储，可直接加载GPT-4等大型AI模型，减少数据迁移延迟。相比HBM，单位容量成本更低（宣称相似成本下容量提升8-16倍），适合大规模AI推理部署。HBF 产品主要针对读密集型、高吞吐量的应用，例如大型 AI 推理数据集。对于许多 AI 推理任务而言，在可行成本下的高吞吐量是关键因素，而非 HBM 或其他类型 DRAM 所提供的超低延迟。所以，尽管 HBF 在每比特延迟上无法与 DRAM 相媲美，但它能够满足 AI 推理领域对高容量、高带宽且成本相对较低的需求，在市场上占据独特的一席之地。

此外，NAND的静态非易失性降低待机功耗，适用于边缘计算与移动设备（如未来手机AI协处理）。

SanDisk 尚未提及 HBF 的写耐久性问题。NAND 具有有限的使用寿命，只能承受一定数量的写入操作。虽然 SLC 和 pSLC 技术相较于消费级 SSD 中使用的 TLC 和 QLC NAND 具有更高的耐久性，但这是以牺牲容量和增加成本为代价的。此外，NAND 通常以块为粒度进行写入，而内存是按位寻址的，这也是 HBF 技术需要解决的关键挑战之一。NAND的块级擦除与页级读写限制精细数据操作，需通过缓存层（如HBM）缓解。

3. 市场定位与前景