张伯毅的专栏

一. 缘由这两天在验证问题的时候, 突然发现一个问题System.out.println( ) 会影响测试的准确性,因为System.out.println( ) 本来性能就很差!!!!!!\所以特意做了个性能测试.二.测试代码package com.system;import org.openjdk.jmh.annotations.*;import org...

 在看代码的时候,发现同事在用 将数据转换为 map 之前,加了一个 distinct , 觉得这样并不靠谱,所以写了一段代码进行验证. 结果如下: (无论哪种方式, 数据是一样的 !!! 使用distinct 会慢 很多   ) 情况1: 随机生成 指定条数的数据, 无重复 key , 查看运行时间与结果 (时间单位 毫秒)   1W 5W 10W...

目标 了解测试数据的时候，一个文本文件在磁盘中所占空间的大小。注： 本文信息统计 基于mac 操作系统。 Mac操作系统总结：空文件 占用0字节英文字符（!@#$%^&*()_+  回车 空格 ）普遍占用1个字节中文普遍占用3个字节 CentOS操作系统总结：空文件 占用1字节  （与mac的区别）英文字符（!@#$%^&*()_+  回车 ...

在看代码的时候,发现同事在用 将数据转换为 map 之前,加了一个 groupByKey , 觉得这样并不靠谱,所以写了一段代码进行验证. 结果如下: (无论哪种方式, 数据是一样的 !!! 使用groupByKey 会慢 很多   ) 情况1: 随机生成 指定条数的数据, 无重复 key , 查看运行时间与结果 (时间单位 毫秒)   1W 5W 10W...

主要测试两种情况1.将 rdd 转换为 map 广播, 与另外集合rdd 进行匹配2.将 rdd 与 rdd 进行连表 , 过滤数据. 时间单位(毫秒)  10万 100万 500万 1000万 广播map 过滤 4 8 22 47  rdd join 过滤 50 92 175 279   ...

 本文是对Redis 单节点,针对不同的数据类型,做插入行测试. 数据总条数为:10058624 环境说明:            Redis 未做任何优化, 单节点    (服务器上, 内存64G).            数据量 ： 10058624条  （大约一千零6万条数据，本地机器运行读取插入操作.）            数据大小 ：  1093.56MB  （...

 环境说明:            Redis 未做任何优化, 单节点    (服务器上, 内存64G).            Mysql 未做任何优化, 单节点     (服务器上, 内存64G).            数据量 ： 10058624条          （大约一千零6万条数据，本地机器运行读取插入操作.）            数据大小 ：  1093.5...