- 博客(19)
- 收藏
- 关注
RSS订阅原创 spark-repartition底层实现
前缀key和numPatitions 通过85行代码 生成结果分区数字， 决定这条数据落地到哪个分区。key和numPatitions 通过85行代码 生成结果分区数字， 决定这条数据落地到哪个分区。445行 根据index和nunPartitions 生成一个开始数字 position。遍历items的数据，每条数据增加前缀key，就是这个开始的数字累加1。rdd是key-value对的数据，必须有key。444行代码 index代表分区编号，从0开始。每个分区的数据根据key从小到大排序。
2023-07-08 14:42:01
178
原创 flink写hdfs文件-去重+分桶
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-02-01 20:10:11
933
转载 http请求
https://blog.csdn.net/shuchongqu/article/details/88948589最近调用外部厂商提供的Post接口，总结了几种方法：一、项目的maven依赖： <dependency> <groupId>org.apache.httpcomponents</groupId> ...
2020-03-24 18:10:26
234
原创 java常用正则-Pattern
\ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个 向后引用、或一个八进制转义符。^ 匹配输入字符串的开始位置$ 匹配输入字符串的结束位置. 匹配除换行符（\n、\r）之外的任何单个字符。\d 匹配一个数字字符。等价于 [0-9]。\D 匹配一个非数字字符。等价于 [^0-9]。\s 匹配任何空白字符，包括空格、制表符、换页符等等。等...
2020-01-13 19:56:22
229
原创 java文件流的操作
package flinkdemo.threadPool;import java.io.*;/*** @author zhangkai* @create 2020/1/6*/public class FileCopy { public static void main(String[] args) { String inFilePath = "/Us...
2020-01-06 12:52:53
522
原创 java自带线程池Executors
Executors类里边常用的四种线程池public class Executors {//1.newFixedThreadPool创建一个定长线程池，可控制线程最大并发数，超出的线程会在无界队列中等待public static ExecutorService newFixedThreadPool(int nThreads) {return new ThreadPoolExec...
2020-01-02 21:12:13
111
原创 线程池ThreadPoolExecutor
线程池作用：利用线程池可以大大减少在创建和销毁线程上所花的时间及系统资源的开销ThreadPoolExecutor类ThreadPoolTExecutor类 继承 AbstractExecutorService抽象类，AbstractExecutorService抽象类 实现 ExecutorService接口ExecutorService接口 继承 Executo...
2020-01-02 21:10:52
106
原创 mac 安装es+kibana
mac 单机安装es和kibana下载eshttps://www.elastic.co/cn/downloads/elasticsearch1.下载es版本2.解压es包 tar -zxvf elasticsearch-7.5.1-darwin-x86_64.tar.gz3.修改配置文件 elasticsearch.yml cluster.name: my-applic...
2019-12-31 17:14:14
913
原创 flink从kafka-topic固定offset消费的5种方式
package flinkdemo.sinkDemo;import flinkdemo.sourceDemo.deserialization.ConsumerRecordKafkaDeserializationSchema;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.st...
2019-12-27 17:55:02
1231
原创 flink-sql-udf
package flinkdemo.flinksql.sqlJoin;import org.apache.flink.api.java.DataSet;import org.apache.flink.api.java.ExecutionEnvironment;import org.apache.flink.table.api.Table;import org.apache.flink.t...
2019-12-23 21:33:32
500
原创 flink-sql报错POJO does not define field name: EXPR$1
代码如下import org.apache.flink.api.java.DataSet;import org.apache.flink.api.java.ExecutionEnvironment;import org.apache.flink.table.api.Table;import org.apache.flink.table.api.java.BatchTableE...
2019-12-20 13:43:41
685
原创 flink on yarn
在flink on yarn模式中flink yarn-session的两种提交方式1.公用一个yarn-session在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。2.每个job提供一个yarn-session每次提交都会创建一个新的flink集群，任务之间互相独立，互不影响，方...
2019-12-19 11:50:42
632
原创 flink-checkpoint
CheckpointFlink 容错机制的核心就是持续创建分布式数据流及其状态的一致快照。Flink的checkpoint 是通过分布式快照实现的,所以在flink中这两个词是一个意思。checkpoint机制需要一个可靠的可以回放数据的数据源(kafka,RabbitMQ,HDFS…)和一个存放state的持久存储（HDFS,S3…）。1，checkpointConfig通过调用...
2019-12-19 10:58:05
349
原创 rocketMq单机搭建+代码实战
1.需要的环境64bit OS, Linux/Unix/Mac is recommended;64bit JDK 1.8+; 查看方式： java -versionMaven 3.2.x; 查看方式： mvn -v2.下载压缩包ziphttps://www.apache.org/dyn/closer.cgi?path=rocketmq/4.3.0/rocketmq-all-4....
2019-09-06 15:37:38
282
原创 Spark Streaming 中文乱码问题解决
最近用Spark Streaming从Kafka接数据进行处理，是对中文的内容进行计算。发现处理时中文全变成了????????的形式，导致处理的结果和预期的不一样。遇到这种情况，想到的就是编码问题，因为在在本地运行spark streaming是可以处理中文的，放到集群上就不行了。解决方法：集群上提交spark任务，指定参数--conf spark.executo...
2019-08-20 11:59:48
1332
原创 redis设置密码
redis密码设置有两种方式，一种需要重启redis服务，一种不需要重启redis服务。第一种 介绍一下需要重启redis服务的设置方式即找到redis的配置文件—redis.conf文件，然后修改里面的requirepass，这个本来是注释起来了的，将注释去掉，并将后面对应的字段设置成自己想要的密码，保存退出。重启redis服务，即可。我这里是设置密码成了test123重启...
2019-07-29 15:23:40
101
原创 imply的jdbc连接（druid的jdbc连接）
imply官网所说https://docs.imply.io/on-prem/query-data/sql#client-apis搭建了单机的implypom需要的依赖<dependency> <groupId>org.apache.calcite.avatica</groupId> <artifactId>av...
2019-07-17 21:24:23
1472
原创 阿里otter的搭建
环境准备1. otter manager依赖于mysql进行配置信息的存储，所以需要预先安装mysql，并初始化otter manager的系统表结构wget https://raw.github.com/alibaba/otter/master/manager/deployer/src/main/resources/sql/otter-manager-schema.sql在mysql...
2018-10-18 14:52:19
1702
原创 phoenix查询数据会有重复，怎么解决
select "rowkey" ,"id" from "stg_as_order_orders_zk_test" where "created_at" >='2018-08-24' and "created_at" <='2018-08-24 00:05:59' ；查询结果有重复的数据但是根据上边查询的重复的rowkey，继续查询 select "ro
2018-08-28 16:07:14
1373
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人