Panmnesia - A SW-HW Framework for AI-Driven ANNS Utilizing CXL Memory Pool

摘要

1. AI驱动ANNS简介： 该演讲介绍了一个利用CXL（计算快速链接）内存池的AI驱动近似最近邻搜索（ANNS）的软硬件框架。ANNS对于搜索引擎和推荐系统等服务至关重要，它可以找到与查询相似的对象，通常需要处理包含数十亿数据点的数据集，这需要大量内存。

2. 挑战与提出的解决方案：传统的ANNS由于CXL的“远内存类”特性而面临性能限制，导致高延迟。提出的解决方案是一种软件和硬件协作方法，该方法缓存频繁访问的数据，并优化计算以最小化数据传输开销。这种方法大大提高了性能，相比于拥有无限本地DRAM的系统。

3. 基于图的ANNS和内存压力问题： 演讲深入探讨了基于图的ANNS的工作原理，这些ANNS因其准确性和性能而被使用，但在处理大型数据集的生产环境中对系统造成了巨大的内存压力。

4. 技术方法与创新： 该方法包括在本地内存中缓存“内部节点”和在CXL端点加速距离计算，从而减少数据传输开销。设计涉及根复合体侧的复杂软件堆栈和端点侧的硬件堆栈，重点优化内存分配和数据传输。

5. 性能评估与结论：评估结果显示，提出的基于CXL的ANNS框架在性能上大大超过了传统系统，包括那些拥有无限本地DRAM的系统。这种改进归功于对大型数据集的高效处理和数据传输开销的减少，显示出高可扩展性和性能，同时不牺牲准确性。

背景

KNN

ANNS

Graph-based ANNS

Challenge：对内存访问更大的要求

现存的解决方法

方法一：压缩

方法二：分层

新方法

内存分解：内存统一编址

CXL内存的flit

当前的CXL内存的延迟slowdown

Observation

设计架构

软硬协同架构

本地缓存

CXL内存池的数据放置

加速算法

Evaluation

实验效果