- 博客(193)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 大数据-TXT文本重复行计数工具
大数据文件里过滤出重复行文本并标记出它们重复的次数支持系统类型：Windows 64位系统 Linux 64位系统 苹果64位系统硬盘要求：固态硬盘（有效剩余磁盘空间大小最低3倍于大数据文件的大小）内存要求：最低8G（例如只有几百G数据） 如果处理TB级大数据文件最低需32G内存大数据格式：M行1列 或M行N列
2024-03-31 00:50:31
1030
原创 TXT文本大数据比较导出工具
运行环境：支持所有Linux系统，苹果操作系统，所有Windows 64位的操作系统需要内存：至少8GB，推荐使用16G的内存需要固态硬盘：固态硬盘剩余空间必须是被打乱数据大小的3倍，如果只有机械硬盘，也可以运行此软件，就是机械硬盘的速度只有固态硬盘速度的1/10本工具软件理论上 处理数据无上限限制，只要固态硬盘足够大 可以轻松处理超过1000GB的数据对比 数据平均处理速度超过50万条/秒数据简单处理效果截图如下：...
2022-05-31 10:40:39
1048
原创 20亿行21.3G的文本数据打乱操作只需要2.2G的内存执行19分钟
运行环境：支持所有Linux系统，苹果操作系统，所有Windows 64位的操作系统需要内存：至少8GB，本工具软件实际消耗的内存大约在2.2GB左右操作系统本身消耗3.8GB的内存，本工具软件消耗2.2G，总共消耗6G的内存，所以使用本软件至少需要8G的内存支持1列N行格式和多列N行格式的数据的打乱操作，也支持30G、50G、100G、 200G、 300G、 400G、 500G、甚至1000G大小的TXT格式数据行打乱操作递增生成20亿个整数每行一个整数.wmv测试过程中只录
2021-11-29 00:07:36
1012
原创 TXT文本 切分 查找 替换 文件合并的大数据工具软件
例如 切分20亿行130GB的数据只需要31分钟，查找和替换还有合并操作的耗时均不会超过31分钟
2021-03-28 12:25:50
1291
2
原创 TXT文本去重 TXT去重 TXT文本合并去重工具 —— 20亿行130GB的数据只需60分钟
例如：多个TXT大数据文本文件合并以及文本行去重 130GB20亿行数据60分钟即可完成去重操作 测试数据大小：20亿行130GB的数据只需60分钟 平均去重速度：2000000000(行) ÷ 3600(秒) = 555555(行/秒)≈55万行/秒以上工具会生成如下格式的测试数据一共4列20亿行（条）：2008-4-25【数据来源于】【编号0255713】培...
2020-11-18 12:55:48
31412
6
原创 大数据 - 文本文件数据对比分离去重工具 如何求两个数千GB超大集合的交集和补集
支持文本格式：TXT和CSV（支持文本文件一切数据格式） 作者QQ：24759362运行环境：支持所有Linux系统，苹果操作系统，所有Windows 64位的操作系统需要内存：至少16GB推荐使用固态硬盘（读写速度越高越好）...
2020-11-18 12:55:20
2320
1
原创 文本文件数据对比分离工具 - 对比110GB和18GB两组大数据分离出它们之间相同的数据与不同的数据
支持文本格式：TXT和CSV（支持文本文件一切数据格式） 作者本人唯一客服QQ：24759362（无代理商）运行环境：支持所有Linux系统，苹果操作系统，所有Windows 64位的操作系统需要内存：至少16GB，本工具软件实际消耗的内存大约在4GB左右 = 9.6GB的最高内存消耗- 操作系统本身消耗3.8GB的内存 - 视频录屏软件消耗的1.8GB推荐使...
2020-11-18 11:12:59
2259
原创 TXT文本去重 平均去重速度55万条/秒
TXT文本去重 TXT文本合并 TXT文件求并集https://blog.csdn.net/zhengzizhi/article/details/72615021测试数据大小：20亿行130GB的数据只需60分钟 平均去重速度：2000000000(行) ÷ 3600(秒) = 555555(行/秒)≈55万行/秒...
2019-12-15 09:57:28
1091
原创 大数据 - 120GB的TXT文本文件快速排序工具附带大数据文件按行切分功能
测试数据大小：121GB和152GB，TXT数据格式：一共4列27.5亿行关于如何生成如此大的测试数据文件，请看我的另一篇博客介绍含Java源码代码如何实现一款随机测试大数据生成工具（适用于任何排序算法测速）哈希排序软件运行环境支持操作系统：Windows 7/8/10 64位系统，64位Linux系统和64位苹果操作系统运行内存：16GB Kingmax 1860GHz，通常...
2019-11-04 09:51:51
5182
原创 大数据 TXT文本去重 TXT文本排序 TXT文本提取 TXT文本对比分离 TXT文件求并集 TXT文件求交集 TXT文件求补集 软件 工具
互联网上目前最快的100GB以上的大数据文件TXT文本处理工具软件TXT文本快速排序 TXT文本按行切分功能https://blog.csdn.net/zhengzizhi/article/details/100173108测试数据大小：121GB和152GB，TXT数据格式：一共4列27.5亿行 处理时间根据数据类型不同一般为120分钟左右TXT文本去重 TXT文本合并 TX...
2019-10-08 20:55:25
3140
原创 大数据 - 文本文件数据提取工具之一 基础篇常见文本格式
基础篇如何正确的拆分常见的文本格式，什么样的字符能做拆分符号，理论上所有的字符都可以作为拆分符号用来拼接多列数据，在拆分列数据的时候，数据里面不能再有这个拆分符号一样的字符串，否则数据就无法分开了，下面是日常工作中我们常用的列拆分符号（可以是连续的多个同样字符作为1个拆分符号，相当于一个不常用的字符来做拆分符号）博客中说的本软件是指大数据 - 文本文件数据提取工具随机生成的范例...
2019-07-09 14:24:38
3387
原创 大数据 - 文本文件数据提取工具之二 实战使用常用的拆分符号拆分文本 输出标准化的文本行列格式文本
1. 如果你想按某个分割符号去把长长的一整列数据拆分成多列；2. 如果你想导出拆分后数据，你希望勾选那一列就导出那一列数据，勾选多列就导出多列数据；3. 如果你想让某列按日期范围导出数据，就能按某列的日期范围导出数据；4. 如果你想按某列的数值大小范围导出数据，就能按某列的数值范围导出数据；5. 如果你想按某列文本前缀包含什么内容，就能按设定的前缀条件导出数据；6. 如果你想按...
2019-07-09 14:24:01
1448
原创 大数据 - 文本文件数据提取工具根据设置条件从大文本数据中内导出我们勾选的列文本内容
1. 如果你想按某个分割符号去把长长的一整列数据拆分成多列；2. 如果你想导出拆分后数据，你希望勾选那一列就导出那一列数据，勾选多列就导出多列数据；3. 如果你想让某列按日期范围导出数据，就能按某列的日期范围导出数据；4. 如果你想按某列的数值大小范围导出数据，就能按某列的数值范围导出数据；5. 如果你想按某列文本前缀包含什么内容，就能按设定的前缀条件导出数据；6. 如果你想按...
2019-07-09 14:22:29
2789
1
原创 如何在uni-app项目里让多个uni.request()异步请求按顺序执行——封装uni.request()异步请求按同步的方式执行
如果在你的uni-app项目里，出现以下情况：1) 你希望用第1个uni.request请求返回的结果作为第2个uni.request请求的参数；2）如果你发现Storage里存储的数据根本获取不到，或者即使获取到也是上一次的历史数据，Storage传参失败；3）你希望出现的代码执行顺序并没有按照你的预期顺序执行；那么很显然，你需要让uni.request()异步请求变成同步请求，因为uni-app的官网没有提供同步请求方法uni.requestSync();所以我们需要使用Promi.
2020-05-19 20:53:03
14396
1
原创 如何在uni-app项目中实现多个自定义vue子组件与父vue页面之间传递参数
范例项目结构如下：父页面chat/chat.vue代码如下：<template> <view class="content"> <chat-room :selectedUser="selectedUser"></chat-room> <!-- 监听事件@chooseuser="toggleUser"等价与 v-on:ch...
2020-05-03 01:41:55
1719
原创 如何在uni-app项目vue页面里调用js文件中的定义的函数
项目结构如下：service.js代码如下： const getUsers = function() { let ret = '[{"account":"zhengzizhi","password":"123456"}]'; return JSON.parse(ret); }; export default { getUsers // export的作用是导出函数...
2020-05-01 00:25:48
14482
原创 十进制数取反运算的详细步骤以及范例
取反运算符号 ~ 和 indexOf 搜索函数结合作为条件语句，是编程种常见的写法，像从字符串中或者从数组中搜索字符串，字母，或者数字，当找到就时，就返回一个大于等于0的整数，当没有找到时就返回 -1，只有整数-1取反等于0，它会被转换成布尔值false,其它正负整数均被转换成布尔true。...
2020-04-30 00:46:08
2825
原创 在uni-app项目中如何使用同步或者异步的的方式修改State中定义的属性
项目结构如下：store/index.js代码如下：import Vue from 'vue'import Vuex from 'vuex'Vue.use(Vuex)const store = new Vuex.Store({ state: { /** * 是否需要强制登录 */ forcedLogin: false, hasLogin: fals...
2020-04-29 00:07:13
4134
原创 为何uni-app项目中使用uni.getSystemInfo获得的属性值绑定到动态样式上没有生效
先看看错误的范例代码，当你单步调试onLoad里面的代码时，能够输出我们想要的结果，但这样的写法不能让正确的动态样式绑定生效：<template> <view class="content" :style="{ height: wagesheight + 'px' }"> <image class="logo" src="/static/logo.pn...
2020-04-28 23:34:00
13057
4
原创 如何配置uni-app官网live-pusher组件范例使用手机直播的运行环境
live-pusher.nvue代码的作用相当于OBS软件，将直播视频推流到Linux系统上的直播服务器端，在网页上看直播或者在其他人的手机上看直播客户端代码还没实现，这个很简单，留给大家自己实现吧，只要大家都是蹭以上邻居家的WiFi，我们可以简单地用一个终端命令看手机直播的内容，终端命令如下：ffplay rtmp://192.168.199.200/myapp/mystream...
2020-03-29 00:36:22
5624
原创 如何在HBuilderX开发工具中实现自定义生成代码块的功能
因为uListMedia不是内置组件， uni-app官网视频教程中，可能是因录播时间有限，没时间展开说明uListMedia代码块是如何自定义的，这给所有入门的学习uni-app开发的人带来了困扰，特此写此文，希望能减少你进入uni-app开发中遇到的障碍。自定义uListMedia代码块如下： "uListMedia": { "body": [ ...
2020-03-21 23:45:12
9644
22
原创 如何让HBuilderX开发工具创建的uni-app项目调试运行在你的手机上，我们不需要安装手机模拟器调试运行程序
演示源码下载地址：链接：https://pan.baidu.com/s/1d5tEaCC1lku-SMI7QxRhHA提取码：59lc演示项目目录结构如下图所示：
2020-03-10 16:34:00
8723
1
原创 微信开发者工具上传功能正确的设置步骤
当我们学习《uni-app官方教程》第2节时（共3节），微信开发者工具上传功能如何设置官网视频没有说明https://ke.qq.com/webcourse/index.html#cid=343370&term_id=100408141&taid=2796517631278410&vid=5285890787986942538微信小程序开发工具官网下载地址...
2020-02-25 22:39:46
13330
1
原创 How to Configuration Multiple MySQL/MariaDB DataSource About Druid Spring Boot Starter
本范例还包括纯注解Mybatis代码的写法（抛弃逆向工程生成mapper.xml代码文件），多数据源事务回滚，附带包括查询日志，慢查询日志，错误日志的bin_log日志的配置方式,数据库存储数据编码的设置方式，还有数据库连接数等等的设置方式官网推荐安装包下载地址（软件包下载速度很慢，不推荐你使用官网的MariaDB.repo文件定义方式）[root@contoso ~]# cat ...
2019-11-23 11:11:45
795
原创 Spring AOP 面向切面编程的技术范例
如果你需要使用lombok.jar这个软件包简化对象代码定义，关于在CentOS8系统上如何安装lombok.jar到STS开发工具里，请参考下面唯一一张图片的说明：AOP 可以实现在不修改源代码的情况下给程序动态统一添加功能，而不需要破坏某个操作业务模块代码的完整性范例1：package com.contoso;import org.springframework.bo...
2019-11-18 11:25:39
734
原创 Java关键字volatile在多线程环境下的用途
范例1：首先看一个子线程的死循环的错误范例package com.contoso;public class App { public static void main(String[] args) { try { ChildThread childThread = new ChildThread(); ch...
2019-10-17 20:56:29
239
原创 Java范例 从20亿个随机整数中找出重复次数最多的1000个整数只需要8秒的时间
本范例代码运行20亿个整数找重复次数最多的1000个整数大约需要5GB的内存package com.contoso;import java.util.Collections;import java.util.HashMap;import java.util.LinkedList;import java.util.List;import java.util.Map;import...
2019-10-14 08:14:07
463
原创 Java 超快并行执行的多核心CPU矩阵乘法(线性代数)在数据统计方面的应用
并发与并行区别并发：当有多个线程在操作时,如果系统只有一个CPU（单核心）,则它根本不可能真正同时进行一个以上的线程，它只能把CPU运行时间划分成若干个时间段,再将时间 段分配给各个线程执行，在一个时间段的线程代码运行时，其它线程处于挂起状。.这种方式我们称之为并发(Concurrent)。并行：当系统有一个以上CPU（一个CPU具备多核心）时,则线程的操作有可能非并发。当一个CPU执行一...
2019-10-13 11:43:41
721
原创 Java范例 从20亿个随机整数中找出最小的1000个整数只需要1.2秒的时间
查找算法：大顶堆package com.contoso;import java.util.Arrays;import java.util.Random;public class RankingMinimum { /** * 创建堆 */ public static void buildMaxHeap(int[] result) { ...
2019-10-12 18:39:53
629
原创 Java范例 从20亿个随机整数中找出最大的1000个整数只需要3秒的时间
查找算法：小顶堆在内存中维护一个长度为TOP的数组，根据堆的性质，每一个节点都比他的左右子节点小，先取出前TOP个数并构建小顶堆，然后将所有数据与堆顶比较大小，如果比堆顶小就直接丢弃，如果比堆顶大则替换堆顶，并且重新构建这个堆。构建小顶堆的过程：先要找到最后一个非叶子节点，数组的长度为6，那么最后一个非叶子节点就是：长度/2-1，也就是6/2-1=2，然后下一步就是比较该节点值和它...
2019-10-12 01:34:25
607
原创 Java 多线程共享变量
范例1：启动10个线程求连续自然数累加的和，使用线程本地变量ThreadLocal<Integer>package com.contoso.demo1;public class App { public static void main(String[] args) { // 启动10个线程求连续自然数累加的和 for (int i ...
2019-10-09 20:07:33
1078
原创 Java 语言中日期和日期时间相关的范例
范例1：lib\commons-lang3-3.8.1.jar 我们需要在项目根目录下建立文件夹lib下载软件包commons-lang3-3.8.1.jarpackage com.myth;import java.sql.Timestamp;import java.time.LocalDateTime;import java.time.ZoneOffset;import ja...
2019-09-09 20:54:20
477
原创 How to dynamically add/remove JComboBox Items
我们在删除JComboBox控件中addItem方法添加的每一项内容时，不可以简单的直接调用removeAllItems方法，这样会抛出异常；正确的范例代码如下：package com.myth;import java.awt.BorderLayout;import java.awt.Color;import java.awt.EventQueue;import jav...
2019-09-04 16:14:25
206
1
原创 如何利用多核CPU并行任务快速搜索文本文件中指定列中是否存在某项内容
范例项目结构如下：Document 类获取测试数据words.txt中文测试数据下载地址：链接：https://pan.baidu.com/s/1Ydwo6IX_NYRsOEfw5PMQlQ提取码：4wjn复制这段内容后打开百度网盘手机App，操作更方便哦Document.javapackage com.myth;import java.io.BufferedRe...
2019-08-30 17:03:31
286
原创 如何使用3个线程分3步计算表达式(a + b) × a ÷ 2的值
范例：多线程分步运算方式使用3个线程分3步计算表达式(a + b) × a ÷ 2的值每个线程具备1个队列存储分步运算的中间结果，3个线程共享同一个消息对象进行数据交换由队列的阻塞功能和写入消息到3个不同队列的操作顺序来决定表达计算的先后顺序package com.contoso;public class Message { public double a; p...
2019-08-29 12:42:45
341
原创 Java 如何让多线程按顺序执行
范例1：使用Join的方式指定线程执行次序package com.contoso;public class MultiThreadMemo { public static void main(String args[]) throws InterruptedException { Thread1Memo t1 = new Thread1Memo(); ...
2019-08-24 13:16:38
458
原创 如何实现一款随机测试大数据生成工具（适用于任何排序算法测速）
随机函数会用到软件包： commons-lang3-3.8.1.jar以下代码随机生成27.5亿行测试数据，测试数据大小大约150G左右package com.myth;import java.io.FileOutputStream;import java.io.OutputStreamWriter;import java.util.Date;import java.uti...
2019-08-15 16:17:22
1325
原创 如何删除JTextArea控件里指定行内容
package human;import java.awt.event.ActionEvent;import java.awt.event.ActionListener;import javax.swing.JButton;import javax.swing.JFrame;import javax.swing.JOptionPane;import javax.swing.JPan...
2019-04-05 01:38:01
2847
1
原创 清空StringBuilder对象里的1行10列与10行10列数据三种方案速度优劣对比
public class Example8 { public static void main(String[] args) throws Exception { String a1 = ""; String a2 = ""; String a3 = ""; StringBuilder sb2 = new StringB...
2019-04-04 17:23:50
277
智能通道系统 Socket+多线程+数据库+工业上CRC查表校验信息码
2009-09-09
地磅系统 LCD液晶显示屏控件 C# RS232/485串口通讯
2009-09-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人