zhiwen

本文章主要是解决之前在写数据中平台的时候遇到的俩个问题，一是封装查询后的结果集为前端展示数据，二是携带查询日志。当然结果集和日志可根据需求决定是否返回和返回方式，比如websocket。xia...

pom依赖<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpcore</artifactId> <version>4.4.6</version> </dependency> <dependency>

需求：实现告警信息推送到企业微信群介绍：企业微信支持自建应用推送消息和机器人推送消息，根据不同需求都可实现。方案一：机器人推送在群里建一个机器人，复制该机器人的webhook例如：https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=123555asdfgh23456方案二：应用推送可通过postman测验一、管理员创建应用->从而拿到应用的secret对应corpsecret，并且拿到企业ID对应corpid二、后台获取到该应用2

offset什么时候提交主要看是否开启了checkpoint开启了checkpoint情况1：用户通过调用 consumer上的setCommitOffsetsOnCheckpoints(true) 方法来启用 offset 的提交(默认情况下为 true )那么当 checkpointing 完成时，Flink Kafka Consumer 将提交的 offset 存储在 checkpoint 状态中。这确保 Kafka broker 中提交的 offset 与 checkpoint 状态中

package com.wzw.demo.utils;import net.sf.jsqlparser.JSQLParserException;import net.sf.jsqlparser.expression.*;import net.sf.jsqlparser.parser.CCJSqlParserManager;import net.sf.jsqlparser.parser.CCJSqlParserUtil;import net.sf.jsqlparser.parser.Simple

import java.sql.*;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;/** * @description:clickhouse连接测试 * @author: ZhiWen * @create: 2021-01-05 **/public class ClickhouseUse { public static void .

一 下载rpm包1.查看Linuxcat /prod/version我的如下[root@server04 clickhouse-server]# cat /proc/versionLinux version 3.10.0-862.el7.x86_64 (builder@kbuilder.dev.centos.org) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-28) (GCC) ) #1 SMP Fri Apr 20 16:44:24 UTC 2018

注意:要加上最后的 ‘| > out.txt’,否则控制台会输出一堆 ‘>’ cat data.txt | kafka-console-producer --broker-list 172.24.103.8:9092 --topic test_taos | > out.txt提供俩个可能用到的命令1.查看文件行数wc -l data.txt2.查看topic的offset kafka-run-class kafka.tools.GetOffsetShell --broke

准备mkdir outputvi consumer_kafka.shnohup kafka-console-consumer --bootstrap-server 172.24.103.8:9092,172.24.103.9:9092,172.24.103.10:9092 --topic monitor_dev >> output/consumer_kafka_out.txt &echo $! > consumer_kafka.pid说明:后台运行,并会把进程id保

用鸭子来举例测试类package com.troila.design_patterns.strategy_pattern;/** * @description: * @author: ZhiWen * @create: 2020-10-21 **/public class TestDuck { public static void main(String[] args) { RedheadDuck redheadDuck = new RedheadDuck();

使用 Flink-connector-kafka 可能会遇到的问题如何消费多个 Kafka Topic通常可能会有很多类型的数据全部发到 Kafka，但是发送的数据却不是在同一个 Topic 里面，然后在 Flink 处消费的时候，又要去同时消费这些多个 Topic，在 Flink 中除了支持可以消费单个 Topic 的数据，还支持传入多个 Topic，另外还支持 Topic 的正则表达式（因为有时候可能会事先不确定到底会有多少个 Topic，所以使用正则来处理会比较好，只要在 Kafka 建立的 To

什么是Kubernetes?k8s?Kubernetes 的名字来自希腊语，意思是“舵手” 或 “ 领航员” .K8s是将8个字母“ubernete”替换为“8”的缩写.Kubernetes是Google 2014年创建管理的，是Google 10多年大规模容器管理技术Borg的开源版本。Kubernetes是容器集群管理系统，是一个开源的平台，可以实现 容器集群 的自动化部署、自动扩缩容、维护等功能。Kubernetes 特点可移植 : 支持公有云，私有云，混合云，多重云（multi-cloud

项目阶段包括： 编译，运行，测试和发布。SCOPE 分类:compile默认scope为compile，表示为当前依赖参与项目的编译、测试和运行阶段，属于强依赖。打包之时，会打到包里去。test该依赖仅仅参与测试相关的内容，包括测试用例的编译和执行，比如定性的Junit。runtime依赖仅参与运行周期中的使用。一般这种类库都是接口与实现相分离的类库，比如JDBC类库，在编译之时仅依赖相关的接口，在具体的运行之时，才需要具体的mysql、oracle等等数据的驱动程序。此类的驱动都是为run

package com.xxx.test;import java.util.Properties;import java.util.Set;/** * @description: * 测试一下 Java 中 的System.getProperties()都能获取到什么 * 平常常用到 System.getProperty("user.dir") 俩获取项目当前地址 * Java 开发人员可能对System的运用比较熟悉 * 大数据开发可能会在 提交jar作业中获取参数并且和通用.

#zookeeper 192.168.0.187:2181,192.168.0.162:2181,192.168.0.71:2181/kafka#kafka 192.168.0.140:21007,192.168.0.71:21007kafka-topics.sh --create --zookeeper 192.168.0.187:2181,192.168.0.162:2181,192.168.0.71:2181/kafka --replication-factor 1 --partitions

import com.taosdata.jdbc.TSDBDriver;import java.sql.*;import java.util.Properties;/** * @description: * TDengine: 时序数据库,又名涛思(taos) * 测试版本: Community Edition, version is 1.6.6.1 * 服务端地址: 172.24.103.5:6030 * 已建数据库: wzw_test * 用户: root * 密码:taosda

前期调研：数仓字段血缘解析实现—hive版为什么要使用图数据库?neo4j手册CQL教程neo4j视频Hive鲜为人知的宝石-HooksHive学习笔记——hive hook大数据血缘分析系统设计（一）大数据血缘分析系统设计（二）大数据血缘分析系统设计（三）大数据血缘分析系统设计（四）注意：LineageLogger Hook 是 Hive2.0版本 之后存在的，如果HIVE版本不够需要升级HIVE版本...

neo4j安装参照博客：https://blog.csdn.net/u013946356/article/details/81736232常用的基本命令：数据库服务启动：/opt/soft/neo4j-community-3.4.5/bin/neo4j start数据库服务停止：./neo4j stop查看服务状态：./neo4j status客户端客户端访问：http://172.24.103.3:7474/browser/账号：neo4j密码：123456Java项目中配置(

需求描述：在实际工作中，总会有些时候需要我们通过java代码通过远程连接去linux服务器上面执行一些shell命令，包括一些集群的状态管理，执行任务，集群的可视化界面操作等等，所以我们可以通过java代码来执行linux服务器的shell命令为了解决上述问题，google公司给提出了对应的解决方案，开源出来了一个jar包叫做sshxcute，通过这个jar包我们可以通过java代码，非常便捷的操作我们的linux服务器了使用介绍项目中idea手动添加依赖,非pom开发演示import net.

图解HBase初识进阶实践初识进阶实践