性能：如何减少延迟提升内存分配效率

OceanStar的学习笔记

已于 2022-08-23 23:36:47 修改

阅读量5.8k

点赞数 1

分类专栏：计算机理论与基础文章标签：缓存

于 2021-11-04 20:39:13 首次发布

原文链接：https://time.geekbang.org/

版权

310 篇文章 73 订阅

订阅专栏

内存是如何影响性能的

在这里插入图片描述

虽然缓存能够极大地提升运算性能，但是也带来了一些其他的问题，比如“缓存一致性问题”
如果不能保证缓存一致性，就可能造成结果错误。因为每个核都有自己的L1和L2缓存，当在不同核上运行同一个进程的不同线程时，如果这些线程同时操作同一个进程内存，就可能相互冲突，最终产生错误的结果。
为了达到数据访问的一致性，就需要各个处理器和内核，在访问缓存和写回内存时遵循一些协议，即缓存一致性协议。常见协议有MSI、MESI等
缓存一致性协议解决了缓存内容不一致的问题，但同时也造成了缓存性能的下降。

计算机性能方面的一个趋势是，内存越来越变成主要的性能瓶颈。内存对性能的制约包括三个方面：内存大小、内存访问延迟和内存带宽

在这里插入图片描述

第一个方面是内存大小。这个方面的优化方式有很多，包括采用高效的，使用内存少的算法和数据结构
第二个方面是内存访问延迟。
- CPU的各级缓存，就是为了降低内存的直接访问，从而间隔降低内存访问延迟的。
- 如果我们尽量降低数据和程序的大小，那么各级缓存的命中率也会相应的提高，这是因为缓存可以覆盖的代码和数据比例会增大
第三个方面是内存带宽。
- 内存带宽就是单位时间内，可以并行读取或者写入的数据量，通常以字节/秒为单位表示。
- 一个CPU的最大内存带宽往往是有限而确定的。并且一般来说，这个最大内存带宽只是个理论最大值，实际上我们的程序使用只能达到最大带宽利用率的60%，如果超出这个百分比，内存的访问延迟就会急剧上升

在这里插入图片描述
图中内存带宽使用是横轴，相对应的，内存访问延迟是纵轴。你可以清楚地看到：

问：处理器的内存总带宽取决于哪些因素。

程序使用的内存大小很关键，是影响一个程序性能的重要因素，所以我们应该尽量对程序的内存使用大小进行调优，从而让程序尽量少的使用内存。

如果程序把系统内存耗光了，系统就会被迫杀掉一些进程，并且抛出一个系统错误：OOM(Out Of Memory)
还有，服务器等容量也是公司运营成本的一部分。如果一台服务器的内存资源足够，那么这样一个服务器系统就可以同时运行多个程序或者进程，以最大限度的提高系统利用率。
应用程序向操作系统申请内存时，系统会分配内存，这中间重要花些时间，因为操作系统需要查看可用内存并分配。一个系统的空闲内存越多，应用程序向操作系统申请内存的时候，就越快的拿到所申请的内存。反之，应用程序就有可能经历很大的内存请求分配延迟
- 比如，在系统空闲内存很少的时候，程序很可能会变得超级慢。因为操作系统对内存请求进行(比如malloc)处理是，如果空闲内存不够，系统需要采取措施回收内存，这个过程可能会阻塞
- 一般来讲，开发应用程序时，建议使用内存池而不是malloc、new等方式直接申请。这样可以尽量避免内存碎片，提升内存分配效率和系统的总体内存使用效率

在这里插入图片描述

NUMA，也就是多处理器对内存使用有什么影响呢？

NUMA系统现在非常普遍，它和CPU以及内存的性能都很相关。简单来说，NUMA包含多处理器（或者节点），它们之间通过高速互联网络连接而成。每个处理器都有自己的本地内存，但所有处理器都可以访问全部内存。

因为访问远端内存的延迟远远大于本地内存访问，操作系统的设计已经将内存分布的特点考虑进去了。比如一个线程运行在一个处理器中，那么为这个线程所分配的内存，一般是该处理器的本地内存，而不是外部内存。但是，在特殊情况下，比如本地内存已经用光，那就只能分配远端内存。

我们部署应用程序时，最好将访问相同数据的多个线程放在相同的处理器上。有时，也需要强制去绑定线程到某个节点或者CPU核上

在这里插入图片描述

关注