场景:当数据量达到一定千万级别的记录,且查询的字段又多的时候,此时将查询数据的缓存全部存储在php的内存当中会导致内存溢出。
数据库查询:
//$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$startMemory = memory_get_usage();
function getDb(){
global $pdo;
while($row=$stat->fetch()){
yield $row;
}
}
foreach(getDb() as $key=>$val){
echo "已经使用内存数量:",(memory_get_usage()-$startMemory)/(1024*1024),"数量id:";
print_r($val['id']);echo "<br>";
}
exit;
当使用上面语句查询的时候本地48万条数据,12列字段,大部分以varchar格式存储,
可以看到查询的资源型数据存储在内存中已经使用了31M内存,但是将上面代码的注释段数据撤销之后数据没有存储在运行内存之中,理论上来说可以无限取mysql中的数据。
使用yield生成器将每次获取的单条数据进行处理(总数据存储在运行内存中会内存溢出)