ZNS SSD垃圾回收优化方案解读-1

已于 2025-01-17 23:15:22 修改
阅读量2.4k 收藏 22
点赞数 30
分类专栏： SSD 文章标签： 人工智能 大数据 云计算 科技 服务器
于 2025-01-17 23:13:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhuzongpeng/article/details/145216305
版权

本文解读的论文《Optimizing Garbage Collection for ZNS SSDs via In-storage Data Migration and Address Remapping》是由重庆大学相关研究团队撰写，发表于2024年11月。本文小编将结合论文内容进行学习解读，以供各位读者参考！由于水平有限，如有错误之处，欢迎在本文底部留言或者私信交流，感谢支持！

图片

扩展阅读：

最低0.47元/天 解锁文章
ZNS SSD垃圾回收优化方案解读-2
存储随笔
01-17 2275
原因在于 Brick-ZNS 通过重映射过滤出大量有效数据块，仅回收少量数据块，这些少量数据块含更多无效空间，相比 Trad 能以更少的擦除次数回收相同空间，有效延长了 SSD 寿命。该算法对系统性能无显著影响。对于有效数据占比低的命中块，采用存储内迁移，在设备内部移动数据，规避端到端传输；鉴于 ZNS SSDs 现有区域 - 块映射机制的局限，创新性的动态区域 - 块映射机制应运而生，同时设置动态阈值（Th），依命中块有效数据比例智能抉择迁移方式，实现数据迁移开销最小化与空间利用率最大化的双重目标。
2.3 SSD之垃圾回收(GC)
shenfan321的博客
04-01 2097
数据删除时之前的映射关系解除，数据覆写时找干净的位置写入并建立新的映射关系。GC流程就是把几个block中的有效数据读取到新的block上，原来的块就全部是无效数据，可以擦除后加入干净block链表，用于写入新数据。这样也就带来了写放大。或者说空闲时的后台垃圾回收(background GC)，在没有IO操作时，controller利用这个空闲时间来做GC，利于保持SSD的性能。GC的一个优化就是根据块中无效page多少，从无效page最多的块，依次选择block去做GC，这样也能减小写放大。
SSD GC机制简介
鲸鱼写程序的专栏
10-26 3190
背景 闪存基本构成：页page（4K）→块block（通常64个page组成一个block，有的是128个）→面plane（多个blcok组成）→die（plane就是一个die）→闪存片（多个die组成）→SSD（多颗闪存片组成）;(可能不同型号具体数字不同)。 SSD上已经被写入过的Page页在重新被写入之前，必须要将page页所在的block块擦除，而不是直接覆盖写。这个是由Nand Flash的工作原理决定的。因此产生了Gc的概念； gc触发的位置 FTL层 gc分类： 限制垃圾回收：不占用
本地虚拟机FEMU搭建ZNS SSD并在云服务器上运行
最新发布
Delicate02的博客
03-04 436
由于云服务器上不支持GUI，无法直接在云服务器上搭建自己的VM image。一种可行的方法是，在本地vmware ubuntu虚拟机上搭建VM image，再搬运到云服务器上运行。
字节跳动ZNS SSD应用案例解析
大隐隐于野
12-08 1869
写回（Write-back）：如果主机发出一个写入请求，而目标地址已经存在于CMB中，那么控制器可以选择先更新CMB中的数据，稍后再将修改后的数据写入闪存。通过使用CMB，SSD可以预先将一部分数据缓存在高速的DRAM中，然后根据需要快速地从CMB中提供数据给主机系统，或者临时存储等待写入闪存的数据。在ZNS的场景下，不同应用按照Zone配置信息，相应存放业务数据。如果在文件系统层删除一个文件，比如下图文件C，在没有GC搬迁的情况下，会在无效数据C会占用大量的存储空间。
固态存储是未来｜浅析SSD架构的演进与创新技术-1
存储随笔
03-12 2053
信息显示该闪存拥有1Tb的单Die容量，面积密度高达28.5 Gb/mm²（如下图，市面上的存储密度排行来看，三星这个存储密度排名第一），传输速率达到了3.2 GB/s，相较于当前市场常见的传输速度为2.4 GB/s的3D NAND闪存有了较大的提升。它的主要原理在于将传统的命令和地址（CMD/ADD R）信号与数据传输（DATA/DQ）信号分离到不同的通道上，即创建了专门的SCA CA通道用于命令和地址的串行传输，而DQ通道专注于数据的并行传输。随着时代的发展，SSD架构，也不断有新的挑战和需求。
ZNS SSD+F2FS文件系统｜如何降低GC开销？---1
存储随笔
04-23 1668
此外，F2FS在处理ZNS SSD时，可能会被迫将直接写direct I/O转换为buffer I/O，而突发的buffer IO读写操作可能导致内存使用激增、页面缓存被丢弃，进而影响数据移动过程，特别是涉及大序列写入和随机读取的操作。这样的布局确保了元数据不受ZNS的顺序写入约束影响，能够快速响应更新请求，同时充分发挥ZNS SSD在顺序写入上的优势。对于跨越区容量边界但起始位置在区容量之前的segment，其在区容量范围内的部分被视为可写入的，这部分逻辑块可以被正常分配给用户数据。
UNH-IOL-NVMe-ZNS-Command-Set-Conformance-v18.0-2022.07.13.pdf
10-08
这份文档，"UNH-IOL-NVMe-ZNS-Command-Set-Conformance-v18.0-2022.07.13.pdf"，是UNH-IOL（University of New Hampshire InterOperability Laboratory）发布的针对NVMe ZNS命令集的符合性测试计划，版本18.0，基于...
UNH-IOL-NVMe-ZNS-Command-Set-Conformance-v20.0-2023.07.19.pdf
10-08
它强调了ZNS在SSD上的重要性，因为ZNS允许更有效地管理大容量存储，通过分区数据来优化写入性能和耐用性。 2. **参考文献**：列出了相关的技术规范和标准，如NVM Express Zoned Namespace Command Set规范1.1c，这...
UNH-IOL-NVMe-ZNS-Command-Set-Conformance-v19.0-2023.01.04.pdf
10-08
UNH-IOL_NVMe_ZNS_Command_Set_Conformance_v19.0
femu使用记录
最佳损友1020的博客
05-09 2377
自己制作镜像，但失败了，故选择第一种方法，下载femu提供的镜像，下载完成后直接运行run_zns.sh脚本，不需要第二种方法的安装操作系统，修改grub等操作。可使用ssh连接虚拟机，端口号即为hostfwd定义的端口号（8080），vscode连接更方便。以root权限运行nvme list能看到zns ssd，则表示搭建环境成功。这篇博客用于记录femu搭建与使用过程中遇到的问题。首先是搭建环境，刚开始按照博客。
年度总结｜存储随笔2023年度最受欢迎文章榜单TOP15-part2
存储随笔
12-31 1149
这里面核心点，IO逻辑地址LSA(或者叫LBA)，到真正最后落入NAND，还有一层FTL转化为了NAND的物理地址PPN（或者叫做PBA）。：最低有效位，这是在同一个存储单元中编程延迟最小的位。对于3位的TLC NAND闪存来说，LSB通常是第一个被写入的位，因为它的编程阈值最低。但显示的情况是，我们可能会因为一些不想看到的问题，导致性能受损。反常的是，全并行并没有实现最高的吞吐量，因为高WAF导致半并发配置的吞吐量几乎比全并行高出40%。：最高有效位，具有最高的编程阈值，在同一存储单元中的编程延迟最大。
详解SSD之垃圾回收GC
存储随笔
07-18 1万+
当在操作系统（例如 Windows）中删除文件时，操作系统只是在其内部文件表中做标记表示该文件已删除。由于NAND 闪存设备不能覆盖现有数据，所以在固态硬盘SSD上，当前无效的数据仍然保留在硬盘上。 这样的话就会产生大量的失效数据，也称为数据垃圾。为了提升SSD的利用效率，这时候就该“垃圾回收”（Garbage Collection, 下文全部简称GC)出手了。 那什么是GC呢？别着急，听
SSD 之GC垃圾回收机制
YuZhiHui_No1的专栏
06-16 6672
在前面向大家讲解FTL时，我们提到了GC的操作，所谓GC就是把一个闪存块里的‘有效’页数据复制到一个‘空白’块里，然后把这个块完全擦除。GC是SSD里的一个非常关键的操作，其效率对性能有决定性影响。闪存块里‘有效’页的数量对GC效率有决定性的影响，因数量越少，需要复制的页就越少， 花费的时间也越少，效率就高了。（GC操作参考下图） 请看下图，把X块和Y块里的“有效”页复制到N块里，然后擦
闪存垃圾回收
guozuofeng的博客
06-04 737
闪存垃圾回收基础知识
一招完美解决SSD系统盘卡顿死机的问题！
热门推荐
存储随笔
11-08 9万+
小编自从在电脑上配备了一块SATA SSD作为系统盘, 电脑运行比之前的机械硬盘快了很多，浏览网页，玩游戏都很流畅了。 可是，最近小编发现电脑经常会出现卡顿，或者重启的时候会卡机，这让小编愉悦的心情平添了一丝失落。于是，小编觉得探索一下问题的根源。 根据小编处理SSD案例的经验，小编决定先通过SATA Trace看看，能否会找到问题的端倪。 接下来的任务就是搭建SATA tracer平台了，
给老笔记本换固态硬盘，能提升系统速度吗？
存储随笔
03-05 8万+
给老笔记本换固态硬盘对系统速度的提升效果非常的明显！在老笔记本上，我们的系统都是安装在机械硬盘上，而机械硬盘由于本身的缺陷，延迟很大，读写速度非常慢。将机械硬盘更换为固态硬盘，已经成为很多朋友让老笔记本重新焕发青春的大招！我们先来个直观的对比，下图是对一款SATA SSD(三星840 SSD)和某款SATA HDD为例。可以看到固态硬盘SSD的速度是机械硬盘的数倍，数据延迟(Data Acess ...
iMac为什么不直接预置固态硬盘SSD？
存储随笔
03-05 4万+
不直接预置固态硬盘SSD，最根本也最有可能的原因就是价格。我觉得，这也正是苹果聪明的地方。由于固态硬盘价格仍然比较贵，如果真的预置了固态硬盘，那么很多消费者都会被吓退咯。为什么这么说，不信，我们先来看一组机械硬盘和固态硬盘的价格对比。在某东上，1TB的普通机械硬盘价格是300多，而1TB的SATA固态硬盘是2000多，1TB的PCIe固态硬盘更是在三四千块以上。苹果iMac预置的硬盘基本普通的机械...
什么是zns ssd
02-18
### ZNS SSD 的定义 Zone Namespaces (ZNS) SSD 是一种新型的固态硬盘技术，旨在通过重新设计存储接口来优化闪存介质的工作方式。与传统的基于块的传统 NVMe SSD 不同，ZNS SSD 将物理 NAND 闪存划分为多个独立区域（zones），每个区域都具有固定的大小并支持顺序写入操作[^1]。 这种分区方法使得主机能够更好地控制数据放置位置，并减少了垃圾回收过程中所需的额外开销。此外，由于采用了更高效的地址映射机制，ZNS SSD 可以显著减少 DRAM 使用量和过度配置比例(OP)，从而降低了整体成本[^2]。 ### ZNS SSD 的工作原理 #### 数据写入流程 当应用程序向 ZNS SSD 发起写请求时： - 主机首先会查询哪些 zone 处于可写状态； - 接着选择一个合适的可用 zone 进行连续的数据写入； - 如果当前 zone 写满，则自动切换到下一个未使用的 zone 继续写入过程； 这种方式确保了所有新数据都被追加到现有内容之后，而不是随机分布在各个地方，这有助于提高读取性能并延长设备寿命。 #### 垃圾回收机制 对于已经完成写周期或包含无效扇区的 zones: - 设备内部维护了一个列表用于跟踪这些不可再用的空间； - 当某个 zone 被标记为空闲后，它会被清理以便再次接受新的写入命令； - 清理过程中只涉及有效数据搬移而不影响其他正常工作的 zones； 这种方法不仅简化了磨损均衡算法的设计难度，同时也提高了整个系统的稳定性和可靠性。 ```python def write_data_to_zns_ssd(data_chunk): available_zones = get_available_zones() for chunk in data_chunk: current_zone = select_next_writeable_zone(available_zones) while not is_zone_full(current_zone): append_data(chunk, current_zone) mark_as_used(current_zone) update_zone_state() def garbage_collection(): stale_zones = identify_stale_or_invalid_zones() for zone in stale_zones: valid_data = move_valid_data_from(zone) erase_and_reset_zone(zone) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

古猫先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值