大表全表扫描,是否会把内存打爆?
不会
server
服务端并不需要保存完整的结果集。而是通过net_buffer边发边读。
- 获取数据,写到net_buffer中。这块内存的大小是由参数net_buffer_length定义的,默认是16k。
- 重复获取,直到net buffer写满,调用网络接口发出去。
- 如果发送成功,就清空net_buffer,然后继续取下一行,并写入net_buffer.
- 如果发送函数返回EAGAIN或WSAEWOULDBLOCK,就表示本地网络栈(socket sendbuffer)
写满了,进入等待。直到网络栈重新可写,再继续发送。
InnoDB
内存的数据页是在Buffer Pool(BP)中管理的,在WAL里BufferPool起到了加速更新的作用。同时Buffer Pool还有一个更重要的作用,就是加速查询。lnnoDB BufferPool的大小是由参数innodb_buffer_pool_size确定的,一般建议设置成可用物理内存的60%~80%。
改进的LRU算法
lnnoDB内存管理用的是最近最少使用(Least Recently Used,LRU)算法,这个算法的核心就是淘汰最久未使用的数据。
如果按照普通的LRU算法,这里全表扫描正常会更新链表,导致正常业务无法使用内存,会影响业务。
Mysql做了改进:
在InnoDB实现上,按照5:3的比例把整个LRU链表分成了young区域和old区域。LRU old指向的就是old区域的第一个位置,是整个链表的5/8处。也就是说,靠近链表头部的5/8是young区域,靠近链表尾部的3/8是old区域
改进后的LRU算法执行流程:
1.访问在young区域的数据,和优化前的LRU算法一样,将其移到链表头部。
2.访问一个新的不存在于当前链表的数据页,这时候依然是淘汰掉最后的数据页,但是新插入的数据页是放在LRU old处。
3.处于old区域的数据页,每次被访问的时候都要做下面这个判断:
- 若这个数据页在LRU链表中存在的时间超过了1秒,就把它移动到链表头部;
- 如果这个数据页在LRU链表中存在的时间短于1秒,位置保持不变。1秒这个时间,是由参数innodb_old_blocks_time控制的。其默认值是1000,单位毫秒。
一个数据页里面有多条记录,这个数据页会被多次访问到,但由于是顺序扫描,这个数据页第一次被访问和最后一次被访问的时间间隔不会超过1秒,因此还是会被保留在old区域;
再继续扫描后续的数据,之前的这个数据页之后也不会再被访问到,于是始终没有机会移到链表头部(也就是young区域),很快就会被淘汰出去。所以没有不会有太大的影响。