大数据 - 120GB的TXT文本文件快速排序工具附带大数据文件按行切分功能

测试数据大小:121GB和152GB,TXT数据格式:一共4列27.5亿行

关于如何生成如此大的测试数据文件,请看我的另一篇博客介绍含Java源码代码

如何实现一款随机测试大数据生成工具(适用于任何排序算法测速)

哈希排序软件运行环境

支持操作系统:Windows 7/8/10 64位系统,64位Linux系统和64位苹果操作系统

运行内存:16GB Kingmax 1860GHz,通常情况下只需要8GB内存即可

固态硬盘:GLOWAY STK512GS3-S7 512GB读写速度(450M/s)

CPU:Intel(R) Core(TM) i5-4570 CPU @ 3.2GHz

随机数测试数据截图如下:

第1种数据类型:以百分数数据列排序

TXT大数据数据排序以百分数作为排序列,完整视频下载地址如下

链接:https://pan.baidu.com/s/1IT94-EMLVmndiu6rLWeYVg
提取码:lhzx



最终输出已排序好的大数据文件位置在 D:\human\child\20190903-175851.txt(文件命名格式为:年月日-小时分钟秒),

第2种数据类型:以日期数据列排序

TXT大数据数据排序以日期数据作为排序列,完整视频下载地址如下

链接:https://pan.baidu.com/s/1rmqf4VScJ0w0JwFWDoEHJQ
提取码:587s

最终输出已排序好的大数据文件位置在 D:\human\child\20190905-154310.txt(文件命名格式为:年月日-小时分钟秒),

第3种数据类型:以整数数据列排序

TXT大数据数据排序以整数数据作为排序列,完整视频下载地址如下

链接:https://pan.baidu.com/s/1rbIeO8oTwOV9JkFylyPhNw
提取码:0j9r


最终输出已排序好的大数据文件位置在 D:\human\child\20191005-154000.txt(文件命名格式为:年月日-小时分钟秒),

第4种数据类型:以文本数据列排序

TXT大数据数据排序以文本数据作为排序列,完整视频下载地址如下

链接:https://pan.baidu.com/s/1wlzRuav5_WRoCOfLhL_ang
提取码:64xz
 

最终输出已排序好的大数据文件位置在 D:\human\child\18\20191001-125522.txt(文件命名格式为:年月日-小时分钟秒), 

第5种数据类型:以小数数据列排序

TXT大数据数据排序以小数数据作为排序列,完整视频下载地址如下

链接:https://pan.baidu.com/s/123A_aMTTnzFdQKeCAP1Reg
提取码:q5ls
 

最终输出已排序好的大数据文件位置在 D:\human\child\20191002-165722.txt(文件命名格式为:年月日-小时分钟秒),

第6种数据类型:以日期时间数据列排序

TXT大数据数据排序以日期时间数据作为排序列,完整视频下载地址如下

链接:https://pan.baidu.com/s/1O2hRytKs0fzdj4ju4EON7A
提取码:jp9s
 

最终输出已排序好的大数据文件位置在 D:\human\child\20191003-064804.txt(文件命名格式为:年月日-小时分钟秒) 

附带功能切分大数据文件(按照我们期望的行数切分大数据) :

TXT大数据文件按设定的行数切分成500万行的小文件,完整视频下载地址如下

链接:https://pan.baidu.com/s/1S4gyUVa-_NlRjd_VeozeTA
提取码:sbh9

作者本人唯一客服QQ:24759362(无代理商)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值