最近在处理数据的时候遇到了巨大的txt文件,在读取的时候遇到了一些问题,在上网查阅了一些资料之后我总结了一些方法。
对于一些比较小的文件,我们可能是这样读取文件的:
for line in file.readlines():
do_something(line)
但如果这样读取,对电脑内存是一个巨大的负担,因为需要把文件全部读入内存。
方法1
while line:
line = file.readline()
do_something(line)
方法2
for line in file:
do_something(line)
这两种写法可以按行读取,读取时不是先将整个文件读入内存。