为什么手工drop_caches之后cache值并未减少？

最新推荐文章于 2024-07-06 00:58:35 发布
最新推荐文章于 2024-07-06 00:58:35 发布
阅读量605 收藏 1
点赞数
分类专栏： Linux内存管理 ------------Linux------------

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

在Linux系统上查看内存使用状况最常用的命令是"free"，其中buffers和cache通常被认为是可以回收的：

$ free

total used free shared buffers cached

Mem: 32764716 1067548 31697168 158332 12 593096

-/+ buffers/cache: 474440 32290276

Swap: 2103292 0 2103292


当内存紧张的时候，有一个常用的手段就是使用下面的命令来手工回收cache：

$ echo 1 > /proc/sys/vm/drop_caches

注：drop_caches接受以下三种值：

  • To free pagecache:
    echo 1 > /proc/sys/vm/drop_caches

  • To free reclaimable slab objects (includes dentries and inodes):
    echo 2 > /proc/sys/vm/drop_caches

  • To free slab objects and pagecache:
    echo 3 > /proc/sys/vm/drop_caches


当我们考虑有多少cache可供回收的时候，首先要知道的是：不同版本的"free"命令计算cache值的算法不同，据不完全统计举例如下：

  1. 版本：procps-3.2.8-36
    cache值等于/proc/meminfo中的"Cached"；

  2. 版本：procps-3.3.9-10.1
    cache值等于/proc/meminfo的 [Cached + SReclaimable]；

  3. 版本：procps-ng-3.3.10-3
    cache值等于/proc/meminfo的 [Cached + Slab]。

注：

/proc/meminfo中的"Cached"表示page cache所占用的内存大小；

"Slab"表示内核Slab所占用的内存大小，slab有的可回收有的不可回收，其中可回收的通过"SReclaimable"表示，不可回收的通过"SUnreclaim"表示。

所以，对上述第2、3版本的"free"命令，"echo 1 > /proc/sys/vm/drop_caches"对其中的SReclaimable或Slab部分是不起作用的。


即便仅考虑page cache (对应于 /proc/meminfo 的"Cached")，也并不是所有的页面都可以回收的：


首先，drop_caches只回收clean pages，不回收dirty pages，参见https://www.kernel.org/doc/Documentation/sysctl/vm.txt

所以如果想回收更多的cache，应该在drop_caches之前先执行"sync"命令，把dirty pages变成clean pages。


其次，即使提前执行了sync命令，drop_cache操作也不可能把cache值降到0，甚至有时候cache值几乎没有下降，这是为什么呢？因为page cache中包含的tmpfs和共享内存是不能通过drop_caches回收的。


Page cache用于缓存文件里的数据，不仅包括普通的磁盘文件，还包括了tmpfs文件，tmpfs文件系统是将一部分内存空间模拟成文件系统，由于背后并没有对应着磁盘，无法进行paging(换页)，只能进行swapping(交换)，在执行drop_cache操作的时候tmpfs对应的page cache并不会回收。


我们通过实验来观察tmpfs文件对free命令的影响：

挂载一个3G大小的tmpfs：

$ mount -t tmpfs -o size=3G none /mytmpfs/


此时free命令看到的内存使用状况：

$ free

total used free shared buffers cached

Mem: 65942736 2343336 63599400 9492 8952 92848

-/+ buffers/cache: 2241536 63701200

Swap: 33038332 0 33038332


在tmpfs上新建一个2G大小的文件，free命令看到"cached"增加了2GB，注意"shared"也增加了2GB：

$ dd if=/dev/zero of=/mytmpfs/testfile bs=1G count=2

2+0 records in

2+0 records out

2147483648 bytes (2.1 GB) copied, 2.42736 s, 885 MB/s

$ free

total used free shared buffers cached

Mem: 65942736 4423404 61519332 2106644 9088 2190064

-/+ buffers/cache: 2224252 63718484

Swap: 33038332 0 33038332


执行drop_caches，再观察free命令的"cached"值，发现刚才增加的2GB并未被回收：

$ sync

$ sudo sh -c 'echo 1 > /proc/sys/vm/drop_caches'

$ free

total used free shared buffers cached

Mem: 65942736 4430388 61512348 2106644 5284 2183096

-/+ buffers/cache: 2242008 63700728

Swap: 33038332 0 33038332


最后删除tmpfs上的文件，free命令看到"Cached"和"Shared"同时减少2GB：

$ rm /mytmpfs/testfile

$ free

total used free shared buffers cached

Mem: 65942736 2324096 63618640 9784 6228 87412

-/+ buffers/cache: 2230456 63712280

Swap: 33038332 0 33038332

结论：

tmpfs占用的page cache是不能通过drop_caches操作回收的，tmpfs占用的page cache同时也算进了"shared"中，也就是说，被视为共享内存。


Linux kernel利用tmpfs实现共享内存（shared memory），参见：

https://www.kernel.org/doc/Documentation/filesystems/tmpfs.txt

所以共享内存也和tmpfs一样，属于page cache，但又不能被drop_caches回收。这里所说的共享内存包括：

  • SysV shared memory
    是通过shmget申请的共享内存，用"ipcs -m"或"cat /proc/sysvipc/shm"查看；

  • POSIX shared memory
    是通过shm_open申请的共享内存，用"ls /dev/shm"查看；

  • shared anonymous mmap
    通过mmap(…MAP_ANONYMOUS|MAP_SHARED…)申请的内存，可以用"pmap -x"或者"cat /proc/<PID>/maps"查看；
    注：mmap调用参数如果不是MAP_ANONYMOUS|MAP_SHARED，则不属于tmpfs，比如MAP_ANONYMOUS|MAP_PRIVATE根本不属于page cache而是属于AnonPages，MAP_SHARED属于普通文件，对应的page cache可以回写硬盘并回收。


我们通过一个实验来观察共享内存对free命令的影响。以下程序通过shared anonymous mmap方式申请256MB大小的内存：

#include <sys/mman.h>

#include <sys/stat.h>

#include <fcntl.h>

#include <stdio.h>

#include <stdlib.h>

#include <unistd.h>

#define MAP_SIZE 268435456


int main()

{

char *addr;

ssize_t s;


addr = mmap(NULL, MAP_SIZE, PROT_READ|PROT_WRITE, MAP_ANONYMOUS|MAP_SHARED, -1, 0);


if (addr == MAP_FAILED) {

fprintf(stderr, "mmap failed\n");

exit(EXIT_FAILURE);

}


memset(addr, 9, MAP_SIZE);


printf("mmap done, memset done, check free output. Press any key to exit...\n");

getchar();

exit(EXIT_SUCCESS);

}


实验过程如下：

先回收cache，设置初始状态：

$ sync; sudo sh -c 'echo 1 > /proc/sys/vm/drop_caches'; free

total used free shared buffers cached

Mem: 65942736 2401684 63541052 9576 3648 54820

-/+ buffers/cache: 2343216 63599520

Swap: 33038332 0 33038332


然后执行我们的测试程序，申请256MB共享内存：

$ ./mmap_test

mmap done, memset done, check free output. Press any key to exit...


在另一个窗口里观察，看到cache值增加了256MB，注意"shared"也同时增加了256MB：

$ free

total used free shared buffers cached

Mem: 65942736 2652796 63289940 271720 6380 321760

-/+ buffers/cache: 2324656 63618080

Swap: 33038332 0 33038332


执行drop_caches，发现刚才新增的256MBcache值并未被回收：

$ sync; sudo sh -c 'echo 1 > /proc/sys/vm/drop_caches'; free

total used free shared buffers cached

Mem: 65942736 2666452 63276284 271720 3628 316532

-/+ buffers/cache: 2346292 63596444

Swap: 33038332 0 33038332


退出mmap_test程序，再看cache值就减少了256MB，注意"shared"也同时减少256MB：

$ free

total used free shared buffers cached

Mem: 65942736 2400268 63542468 9576 4796 59148

-/+ buffers/cache: 2336324 63606412

Swap: 33038332 0 33038332

结论：cache值包含了共享内存的大小，然而drop_caches是不能回收它的。


总结：为什么drop_caches操作不能回收所有的page cache？

  • dirty pages不能回收；

  • 共享内存和tmpfs不能回收(注意观察free命令显示的shared值)；

  • 不同版本的free命令有不同的计算cache值的方法，有的包含了slab或SReclaimable，"echo 1 > /proc/sys/vm/drop_caches"是不能回收slab的，"echo 3 > /proc/sys/vm/drop_caches"也只是回收slab中的SReclaimable部分。


zhuyong006
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux手动释放cache缓存
Behind You！
10-11 942
一、遇到的问题 服务器CPU占用飙升报警，后发现内存爆满，程序停止后依然有大半内存释放不掉 二、查看哪部分内存没释放，使用vmstat命令    #  vmstat 2 观察到cache的内存无法释放，考虑手工释放cache内存 三、手工释放cache内存    1、首先，/proc/sys/vm/drop_caches的值，默认为0。 # cat /proc/sys/vm/dr
Linux下清除缓存 drop_caches，sysctl（备忘）
热门推荐
Sky_qing的专栏
05-29 3万+
1. 用命令 free -m 查看一下内存的使用情况： 然后清除缓存后再来查看一下内存的使用情况： 前后对比可发现，缓存由之前的110M缩小到了25M，效果比较明显。 2. 下面说一下 drop_caches： 清空 pagecache： sync echo 1 > /proc/sys/vm/drop_caches 或者： sync sysctl -w v
蓝易云 - Linux环境下如何通过手动调用drop_caches命令释放内存
最新发布
高性价比服务器就选：蓝易云
07-06 186
这个命令实际是两部分组成的。概念上，Linux的内核会将一部分RAM用于缓存，以提高系统的性能。然而，有时我们需要手动释放这些占用的内存，适时恢复它们的空闲状态，这就是需要使用“drop_caches”命令的场景。这是一个简单却非常有用的手段，下面我们会通过图解和文字的方式让你理解并使用这个命令。如果你想要深入学习Linux系统，甚至成为一个真正的Linux高手，需要更多的实践和理解。总的来说，记录住“drop_caches” 命令并理解其含义，可以让你在日常使用Linux的过程中更加娴熟和自如。
echo 3 ＞ /proc/sys/vm/drop_cache
大叶子不小的博客
02-02 5375
前者针对磁盘块的读写，后者针对文件inode的读写。需要说明的是，mem的used=free+buffers+cached，有些情况是cached占用很多资源，算起来数值就是不对，其实不影响实际使用，下面转载部分有说明如何清除cached的占用（实际上可以不清除，不会影响实际使用）但实际上，我们都知道这是因为Linux对内存的管理与Windows不同，free小并不是说内存不够用了，应该看的是free的第二行最后一个值：”-/+ buffers/cache: 58 191” 这才是系统可用的内存大小。
linux drop_caches的总结
tuzero0的博客
08-17 3583
需要注意的是，Linux 内核会自动管理页缓存的状态，根据内存压力和应用程序的访问模式来管理数据的加载、写回和清理。清空 dirty 页会导致数据同步到磁盘，而清空 used 页并没有实际的含义，因为 used 页是可以直接被重新使用的。页缓存是 Linux 内核中用于缓存文件系统数据的一种机制，它将磁盘上的文件数据缓存在内存中，以加快对文件的读取操作。Dirty 页表示需要同步到磁盘的数据，Used 页表示被频繁访问的数据，而 Cleaned 页表示已被写回磁盘或清除的可重用页。文件来执行相应的操作。
手动释放linux内存cache和脚本定时释放
wwater的专栏
12-04 1025
总有很多朋友对于Linux的内存管理有疑问，之前一篇linux下的内存管理方式似乎也没能清除大家的疑虑。而在新版核心中，似乎对这个问题提供了新的解决方法，特转出来给大家参考一下。最后，还附上我对这方法的意见，欢迎各位一同讨论。 当在Linux下频繁存取文件后，物理内存会很快被用光，当程序结束后，内存不会被正常释放，而是一直作为caching。这个问题，貌似有不少人在问，不过都没有看到有什么很好解...
手工释放linux内存——/proc/sys/vm/drop cache
qq_44906603的博客
04-14 171
手工释放linux内存——/proc/sys/vm/drop cache
mysql内存回收_mysql占用内存过多
weixin_34036423的博客
01-31 1527
一、计算mysql所需的内存https://www.cnblogs.com/cheyunhua/p/9045057.html 理论有待学习https://www.cnblogs.com/simplelogic/archive/2012/12/06/2804798.html二、查看innodb缓冲池实际使用内存通过将缓冲池中可用的数据与InnoDB页面(InnoDB缓冲池单位)大小相乘，可以计算I...
内存回收导致关键业务抖动案例分析-论云原生OS内存QoS保障
吉小白的博客
05-10 450
蒋彪，腾讯云高级工程师，10+年专注于操作系统相关技术，Linux内核资深发烧友。目前负责腾讯云原生OS的研发，以及OS/虚拟化的性能优化工作。 ## 导语 云原生场景，相比于传统的IDC场景，业务更加复杂多样，而原生 Linux kernel 在面对云原生的各种复杂场景时，时常显得有些力不从心。本文基于一个腾讯云原生场景中的一个实际案例，展现针对类似问题的一些排查思路，并希望借此透视Linux kernel的相关底层逻辑以及可能的优化方向。 ## 背景 腾讯云客户某关键业务容器所在节点，偶发CPU
linux mysql 清空缓存吗_linux怎么清除缓存(转)
weixin_42324002的博客
01-27 633
​Linux 清除内存中的cache首先以Centos6.4的来说，Centos7有些区别一、buffer/cache/swap的介绍#cat /etc/redhat-release #查看系统版本CentOS release 6.4 (Final)#free -m #查看缓冲区及内存使用情况total used free shared buffers ...
【linux】free和top显示可用内存不一致|free显示内存90%但是top却看不到谁用
小鱼菜鸟的博客
07-22 3656
free和top显示可用内存不一致 free可用内存偏少是top相对free没有统计Slab。这也是导致两者差别的主要原因。 可以使用cat /proc/meminfo看到内存的更具体的使用情况 以MB为单位显示 cat /proc/meminfo | awk '{print $1,$2/1024" MB"}'|column -t 以GB为单...
解决echo 0 ＞ /proc/sys/vm/drop_caches报错
Hassang的博客
04-10 4102
找了半天都没搜到解决方法，只说重启之后就会恢复成默认值0，可是生产环境的服务器哪是说重启就能重启的呢？突然想起之前有一台服务器恢复默认值的操作时成功了的，万幸terminal还没关掉，翻了下历史命令，发现其实这个报错的原因和解决方法简直不要太简单——去掉0和>之间之间的空格就好了！配置文件：/proc/sys/vm/drop_caches 该文件记录了缓存释放的参数，默认值为0，也就是不释放缓存。cat发现值已经变成0了！清理缓存时，我们会使用。附：linux缓存释放。
drop_caches释放哪些内存
sydyh43的博客
01-14 3188
1、命令 echo 1 > /proc/sys/vm/drop_caches 释放文件的page cache内存，对应着top下的cached值 2、cached具体被哪些模块使用着（cat /proc/meminfo） 【Active(file) + Inactive(file) + Shmem + mlock_file】== 【Cached + Buffers】 Active(file)和Inactive(file)对应着文件映射 Shmem对应着内存文件系统，如/tmp;或
释放linux缓存 echo 1 ＞ /proc/sys/vm/drop_caches
lk的博客
06-11 6228
购买的云主机（1核2G，Debian系统）安装了docker。docker中运行着六七个服务（包括几个微服务项目和mysql，redis，nginx等），之前启动一直好好的，偶尔一天，不知什么原因，系统需要重启，当我手动启动docker的时候，几秒钟的时间内存和cpu立马撑爆了，并且服务器处于假死或者说宕机状态。也无法登录，连云厂商的后台监控都丢失了cpu和内存的监控数据。服务器重启之后，正常，但是只要一启动docker就再次假死，怎么回事？之前一直好好的呀 进过多次重启尝试无果后，仔细查看了一下内存 发现
drop_caches修改为0_植物大战僵尸（1） 修改阳光数
weixin_39553653的博客
12-04 455
环境准备cheat engine；githubCheat Engine是一款内存修改编辑工具 ，它允许你修改你的游戏或软件内存数据，以得到一些其他功能。植物大战僵尸中文版；网上自己找2. 思路植物大战僵尸的阳光是一个整数，在内存中应该也是以整数的方式存储的，那么我们按照这个思路结合CE查找一下阳光的内存地址，然后修改即可。3. 实现打开植物大战僵尸进入游戏打开CE附加植物大战僵尸进程当前阳光数值是...
【linux根据free和cache大小清缓存】
yipiantian的博客
05-16 319
#!/bin/bash #********************************************* # vicggle@gmail.com # 2020-05-07 #********************************************* set -e num=100000 num1=50000 ch1=`free -m | awk '{if(length !=0) print $4}'|grep -Po "\d+"|head -1` #free size ch..
linux 中free命令 cached 内存很大 free内存很小，导致机器变慢甚至宕机
得已
12-01 9949
如何解决这个导致机器变慢的问题呢？罪魁祸首就是内存都被cached了，free的基本没有了所以我们应该想想如何把cached内存释放出来重启机器肯定是可以解决，但是我们肯定是不能用这样的办法 释放方法有三种（系统默认值是0，释放之后你可以再改回0值）：To free pagecache: echo 1 > /proc/sys/vm/drop_cachesTo free dentries and inodes: echo 2 > /proc/sys/vm/drop_cachesTo free...
linux的cache过高的原因定位与解决echo 3 ＞ /proc/sys/vm/drop_caches
shy_snow的专栏
09-23 3万+
一、在crontab定时执行echo 3> /proc/sys/vm/drop_caches清理缓存。治标不治本。 二、hcache -top 10查看缓存文件,删除后其缓存将永久清除。 三、把没用的大日志文件清理删除掉，查找大于1G的文件find / -type f -size +1G。 四、将vm.extra_free_kbytes设置为vm.min_free_kbytes和一样大，提高low阈值，触发操作系统自动回收缓存。...
Ubuntu路径/proc/sys/vm/drop_caches存放的什么数据
05-27
`/proc/sys/vm/drop_caches`是一个特殊的文件，用于清空内核缓存。它不存储数据，而是包含了三个整数值，用于控制内核缓存的清空： - 第一个值表示清空page cache（页缓存）； - 第二个值表示清空slab objects（内核对象缓存）； - 第三个值表示清空inodes和dentries（文件系统缓存）。 这三个值的含义如下： - 1：表示清空对应的缓存； - 2：表示释放对应的缓存； - 3：表示同时清空page cache、slab objects和inodes/dentries。 因此，当你向`/proc/sys/vm/drop_caches`写入"3"时，就会清空所有的内核缓存。请注意，清空缓存可能会使系统性能下降，并且可能会影响正在运行的应用程序。因此，除非必要，否则不建议频繁清空缓存。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值