python对大文本进行乱序

python对大文件进行乱序

背景

数据处理，文件太大，几十个G的。

思想

逐行读取并记录每行开头的位置，将位置列表乱序，再按乱序后的位置逐行读取并写入新文件。

代码

'''
xxx.py input_file output_file
'''
import os, sys
import random

def get_line_offset(f):
    lines_start_offset=list()
    f.seek(0)
    lines_start_offset.append(f.tell())
    line = f.readline()
    while line:
        line=line.strip()
        lines_start_offset.append(f.tell())
        line = f.readline()
    return lines_start_offset   

def rewrite_file(f_in, f_out, lines_start_offset):
    for i in range(len(lines_start_offset)):
        f_in.seek(lines_start_offset[i], 0)
        line=f_in.readline()
        f_out.write(line)

if __name__ == "__main__":
    path1 = os.path.abspath(sys.argv[1])
    path2 = os.path.abspath(sys.argv[3])
    f = open(path1, 'r', encoding='utf-8')
    f_out = open(path2, 'w', encoding='utf-8')
    lines_start_offset = get_line_offset(f)
    random.shuffle(lines_start_offset)
    rewrite_file(f, f_out, lines_start_offset)
    f.close()
    f_out.close()