Mysql问题(2)大表全表扫描,是否会把内存打爆?

大表全表扫描,是否会把内存打爆?

不会

server

服务端并不需要保存完整的结果集。而是通过net_buffer边发边读。

  1. 获取数据,写到net_buffer中。这块内存的大小是由参数net_buffer_length定义的,默认是16k。
  2. 重复获取,直到net buffer写满,调用网络接口发出去。
  3. 如果发送成功,就清空net_buffer,然后继续取下一行,并写入net_buffer.
  4. 如果发送函数返回EAGAIN或WSAEWOULDBLOCK,就表示本地网络栈(socket sendbuffer)
    写满了,进入等待。直到网络栈重新可写,再继续发送。

InnoDB

内存的数据页是在Buffer Pool(BP)中管理的,在WAL里BufferPool起到了加速更新的作用。同时Buffer Pool还有一个更重要的作用,就是加速查询。lnnoDB BufferPool的大小是由参数innodb_buffer_pool_size确定的,一般建议设置成可用物理内存的60%~80%。

改进的LRU算法

lnnoDB内存管理用的是最近最少使用(Least Recently Used,LRU)算法,这个算法的核心就是淘汰最久未使用的数据。

如果按照普通的LRU算法,这里全表扫描正常会更新链表,导致正常业务无法使用内存,会影响业务。

Mysql做了改进:
在InnoDB实现上,按照5:3的比例把整个LRU链表分成了young区域和old区域。LRU old指向的就是old区域的第一个位置,是整个链表的5/8处。也就是说,靠近链表头部的5/8是young区域,靠近链表尾部的3/8是old区域

改进后的LRU算法执行流程
1.访问在young区域的数据,和优化前的LRU算法一样,将其移到链表头部。
2.访问一个新的不存在于当前链表的数据页,这时候依然是淘汰掉最后的数据页,但是新插入的数据页是放在LRU old处。
3.处于old区域的数据页,每次被访问的时候都要做下面这个判断:

  • 若这个数据页在LRU链表中存在的时间超过了1秒,就把它移动到链表头部;
  • 如果这个数据页在LRU链表中存在的时间短于1秒,位置保持不变。1秒这个时间,是由参数innodb_old_blocks_time控制的。其默认值是1000,单位毫秒。

一个数据页里面有多条记录,这个数据页会被多次访问到,但由于是顺序扫描,这个数据页第一次被访问和最后一次被访问的时间间隔不会超过1秒,因此还是会被保留在old区域;
再继续扫描后续的数据,之前的这个数据页之后也不会再被访问到,于是始终没有机会移到链表头部(也就是young区域),很快就会被淘汰出去。所以没有不会有太大的影响。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值