存储随笔

在确定合适的活跃区域数量时，通过对cachebench工作负载使用QEMU进行基于追踪的分析发现：若要检测访问次数最多的页面，使用最少的页面提升操作达到特定访问覆盖率时，由于访问可能分布在半连续的页面范围，减少监测槽数量虽能达到相同访问覆盖率，但会增加页面迁移次数。基于性能计数器（如PEBS/IBS）的追踪无法涵盖所有内存访问，缓存流量（如预读/回写操作）未被计入，这可能导致对数据热度的误判，影响内存层级间的数据迁移决策，降低系统整体性能。在CXL内存的应用场景中，热数据检测成为优化内存性能的关键环节。

通过消除远程对象访问时的对象序列化、网络传输以及节点间的重复对象拷贝，实现了零拷贝，大大降低了系统延迟，提高了端到端的执行效率，为AI/ML应用提供了更高效的内存共享解决方案。通过深入分析这些应用的内存使用特点和需求，进一步优化内存资源的分配和管理，提高系统在AI场景下的性能和效率，为AI技术的发展提供更强大的内存支持。在内存池化方面，系统能够在节点间共享内存资源，根据各节点的实际内存使用情况动态分配和分离式内存资源，从而减少内存闲置和数据溢出的发生，提高内存利用率。

业界普遍认为CXL是未来互连技术的重要组成部分，它不仅能够增强现有系统的性能，还为未来的创新提供了基础。此外，在FMS峰会上，Kioxia展示了结合CXL技术和BiCS Flash SSD的产品，为那些寻求替代传统DRAM方案的企业提供了新的选择。随着技术的进步和市场的接受度不断提高，CXL不仅会改变现有的数据中心架构，还将开启一系列新的可能性，例如动态资源分配、跨节点内存共享等。CXL内存控制器：这是一个专用的硬件组件，负责管理连接到它的DRAM模块，提供统一的内存地址空间给CPU和其他CXL设备访问。

随着处理器性能不断提升，其处理数据的速度远超主内存的读写速度，导致处理器经常处于等待数据从内存加载到缓存或从缓存写回内存的状态，这种等待时间占用了大量原本可用于计算的时间，限制了整个系统的性能表现。传统的冯·诺依曼架构虽然广泛应用于各类计算系统，但其分离的数据存储与处理单元导致了数据传输瓶颈，特别是在处理内存密集型任务时，CPU或GPU需要频繁地从内存中读取数据进行运算，然后再将结果写回内存，这一过程涉及大量的数据传输和较高的延迟，成为制约系统性能提升的关键瓶颈。

通过优化完成检查的延迟，并利用CXL技术实现高效的数据传输，该平台不仅提高了计算效率，还降低了延迟，增强了系统的整体性能。为了提高DLRM的吞吐性能，异构计算平台（xPU + CMM-DC）通过将计算密集型任务和内存密集型任务分别分配给最适合处理它们的硬件资源，来实现更高效的执行。嵌入查找属于内存密集型操作，因为它们需要大量的内存读取，并且对内存带宽有较高的要求。计算与内存分离：通过将计算密集型任务分配给xPU，而将内存密集型任务交给CMM-DC处理，可以实现计算与内存的有效分离，从而提高整体系统的性能。

FleX技术则将CXL内存引入主板。XConn Technologies和MemVerge的合作展示了CXL技术在AI和内存数据库领域的巨大潜力，通过实现可扩展的内存共享，该解决方案不仅提高了性能，还降低了总体拥有成本。MSI的S2301 CXL内存扩展服务器结合了三星的256GB CXL2.0内存模块和MemVerge的Memory Machine X软件，通过智能管理内存层级来优化AI和其他内存密集型工作负载的成本和性能，根据带宽或延迟QoS策略自动将数据放置在合适的内存层级，以达到最优性能。

然而，在读工作负载下，两者性能都有所下降，LMB-CXL在顺序和随机读取上分别低了8%和56%，而LMB-PCIe的性能降级更为严重，分别低了62%和70%。：考虑到PCIe设备与CXL设备访问内存协议的不同，以及现有CXL内存池设计难以兼容PCIe设备，LMB内核模块被设计成一座桥梁，提供统一的内存分配和共享接口。本文提出的LMB方案是针对PCIe设备DRAM短缺问题的一次重要探索，通过结合CXL技术，不仅为高性能计算领域带来了新的解决方案，也为未来的存储和计算架构设计提供了新思路。

标准化还简化了内存的采购流程，减少了定制化硬件的成本，使内存升级和维护更加经济高效。为了解决这些问题，业界正积极寻求新的技术和标准，比如Compute Express Link (CXL)，它旨在通过提供标准化的高速互连来提高内存带宽、降低延迟，并简化内存扩展的软件集成，从而有效地打破内存墙的限制。CXL技术为数据中心和高性能计算环境提供了一种有效的解决方案，它不仅提升了内存的性能和容量，而且通过标准化和低延迟特性，简化了系统集成和管理，最终帮助用户突破了内存墙的限制，实现了更高效的数据处理和应用性能。

这种等待，即延迟，对计算性能产生重大负面影响。与流行应用软件的复杂集成：为了利用新的内存技术，软件需要进行相应的修改或优化，以便能够有效利用扩展的内存资源。随着数据密集型应用需求的增长，对内存资源的消耗急剧上升，但内存技术的发展却难以匹配这种快速增长的需求。这意味着超过一定数量的处理器核心会因缺乏足够的内存带宽而无法充分发挥效能，从而削弱了额外核心带来的优势，也就是出现了内存墙的问题。以往尝试突破内存墙的努力受限于技术、成本和兼容性等多方面的难题，这些挑战阻碍了内存系统的高效扩展和应用性能的全面提升。

尽管面临诸多技术挑战，但随着科研创新、产业协作与标准化进程的推进，光学互连有望破解现有电子互连的瓶颈，开启数据中心互联技术的新篇章。：由于光纤不受电磁干扰影响，可以实现千米级别的无损传输，大大拓展了服务器集群间的连接范围，使得数据中心内的设备可以更加灵活地分布在更大空间内，同时不影响数据通信性能。：设计专用的高性能PCIe控制器和物理层芯片（PHY），能够支持最新的PCIe标准，并优化其与光学接口的对接，保证数据在经过光传输后的完整性和准确性。

此外，三星还在开发多款CXL方案，比如CXL DRAM (CMM-D)、CXL-PNM (CMM-DC)、内存语义SSD (CMM-H) 以及Smart SSD + CXL接口(I/F)计算(CMM-HC)均为CXL内存扩展和计算解决方案，这些都是三星内存实验室预测的产品。这一特性为降低固态硬盘（SSDs）的成本创造了机会，因为在“近内存”架构下，可以采用成本较低的存储介质，同时依然保证较高的性能水平，通过更好的资源搭配和层级设计，达到性价比最优的存储解决方案。这个跟三星的CMM-H TM类似。

对于科学计算、金融建模、高性能计算（HPC）等需要大量内存的场景，CXL内存扩展能够提供远超传统服务器内存容量的解决方案，无需牺牲内存访问性能。CXL 3.0规范基于PCIe 6.0支持高达64 GT/s的带宽，远超过当前PCIe 4.0（16 GT/s）和PCIe 5.0（32 GT/s），能够有效满足AI应用的带宽需求。尽管CXL内存带宽扩展理论上对AI有潜在价值，但由于硬件支持不足、与其他专有互连技术在带宽与延迟上的差距，以及AI工作负载的特定需求，

在2019年，Intel主导联合多家阿里巴巴、Facebook(也就是改名后Meta)、谷歌、Dell、华为、思科、微软、HPE最初的八巨头，发布了新的互联协议CXL，全称Comupte Express Link。内存是一种非常昂贵的资源，2022年占服务器价值的平均比例约为30%，预计到2025年将超过40%。随着数据大规模超算、AI、5G、云技术、边缘计算、自动驾驶等蓬勃发展，未来的数据存在指数级的增长且要求实时计算。的加入，让CXL阵营更加全面强大，为下一步的生态普及打下了坚实的基础。

当从属的CXL内存设备（如SSD或其他带有CXL.mem接口的存储设备）需要更新自身的内存缓存副本时，它可以发起Back Invalidate Snoop 请求，直接向Home Agent或者其他持有最新数据的设备请求更新一致性状态。这是为了确保在进行U-IO DMA操作时，能够正确地同步内存一致性状态，即当数据发生更改时，相关的缓存条目可以在整个系统中得到及时无效化（invalidate），从而维护全局内存一致性。在CXL架构下，为了保持内存一致性，特别是对于共享CXL内存资源的情况，

在这种情况下，一致内存存在于RC另一侧，这意味着任何想要访问一致内存的设备都需要通过RC才能实现，这增加了数据传输的路径长度和由此产生的延迟。这一特性为降低固态硬盘（SSDs）的成本创造了机会，因为在“近内存”架构下，可以采用成本较低的存储介质，同时依然保证较高的性能水平，通过更好的资源搭配和层级设计，达到性价比最优的存储解决方案。这意味着Home Agent在处理一致性问题时起到了关键的中介作用，确保了即使CXL内存已经通过交换机进行了拓扑上的优化，访问时仍能保持数据的一致性。，影响总体带宽和性能表现。