MYSQL数据库超大级别数据读

场景:当数据量达到一定千万级别的记录,且查询的字段又多的时候,此时将查询数据的缓存全部存储在php的内存当中会导致内存溢出。

数据库查询:

//$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$startMemory = memory_get_usage();
function getDb(){
    global $pdo;
    while($row=$stat->fetch()){
        yield $row;
    }
}

foreach(getDb() as $key=>$val){
    echo "已经使用内存数量:",(memory_get_usage()-$startMemory)/(1024*1024),"数量id:";      
    print_r($val['id']);echo "<br>";
}
exit;

当使用上面语句查询的时候本地48万条数据,12列字段,大部分以varchar格式存储,
可以看到查询的资源型数据存储在内存中已经使用了31M内存,但是将上面代码的注释段数据撤销之后数据没有存储在运行内存之中,理论上来说可以无限取mysql中的数据。
使用yield生成器将每次获取的单条数据进行处理(总数据存储在运行内存中会内存溢出)查询缓存存储在运行内存中
查询缓存不存储在运行内存中

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值