大数据实时分析
文章平均质量分 54
彪悍程序员
以德立身,泽己及人,以志立身,契而不舍
展开
-
mac电脑安装flink其他版本(历史版本)简单有效
mac电脑安装flink其他版本(历史版本)简单有效原创 2022-08-03 17:53:14 · 1543 阅读 · 0 评论 -
canal采集mysql binlog的json各个字段的含义说明
canal采集mysql binlog的json各个字段的含义说明原创 2022-06-09 16:32:43 · 1749 阅读 · 2 评论 -
二次开发seatunnel/waterdrop实现在filter中正则替换所有列
1.背景我在使用seatunnel实现从mysql导入到hive的时候,遇到mysql中存在回车换行符“\n\r”时,到hive中会出现在换行符处切分,导致换行前的一条记录后面的列都是空,而换行后的一条记录的前面的列都是空,严重干扰了结果的准确性,所以需要解决这个问题。本身seatunnel的filter是有将列里面的内容通过使用正则的方式进行替换的,但是需要每一个列都要进行配置,如果列特别多的话,会产生很大的工作量。Seatunnel Replacefilter{ replace {原创 2022-02-14 16:27:36 · 1613 阅读 · 0 评论 -
为基于Docker的Doris安装mysql的ODBC驱动CentOS
1.下载5.3版本的MySQL的odbc驱动因为最新版本的MySQL-ODBC驱动对Doris的兼容并不太好所以准备了一个5.3版本的驱动链接: https://pan.baidu.com/s/1hcRVIGH3rGbIqJBGIpVSYQ 密码: 4mfq2.安装unixODBC因为mysql-odbc依赖unixodbcyum install unixODBC.x86_64 -y yum install unixODBC-devel.x86_64 -y...原创 2021-05-22 12:19:10 · 1267 阅读 · 0 评论 -
Doris的缩容
连接到Doris的MySQL 客户端,mysql -u root -h doris-node1.tech -P 9030 -p删除feALTER SYSTEM DROP FOLLOWER[OBSERVER] "fe_host:edit_log_port";删除beALTER SYSTEM DROP BACKEND "be_host:be_heartbeat_service_port";ALTER SYSTEM DECOMMISSION BACKEN..原创 2021-05-22 11:43:44 · 111 阅读 · 0 评论 -
基于docker的doris集群的扩容
一、FE节点的扩容①创建使用已有的fe节点制作镜像先将一台doris的fe 节点做成镜像docker commit doris-node1 doris-node1:v2②根据创建好的镜像生成新的fe所需的docker节点创建fe节点,原来有4个节点,按名称顺序,就叫doris-node5docker run -it -d --name doris-node5 -h doris-node5 --network tech --privileged=true doris-node原创 2021-05-22 11:40:01 · 433 阅读 · 0 评论 -
基于docker的doris集群升级
1.下载新版本的Doris安装包访问如下链接https://cloud.baidu.com/doc/PALO/s/Ikivhcwb5找到想使用的版本,然后下载,可以下载编译好的版本,也可以下载源码再次编译,如果下载的是编译好的版本,可以不参考编译过程,我下载0.13.15版本的2.将下载好的源码分发到每台docker节点上。本次是七个节点,其中,123为fe节点,234567为be节点docker cp incubator-doris-DORIS-0.13.15-rel原创 2021-02-22 16:25:36 · 371 阅读 · 0 评论 -
Docker搭建Doris集群监控grafana+prometheus
说明:Doris 使用Prometheus和Grafana进项监控项的采集和展示。来看一下这俩东西都是什么:具体的架构形式是这样的一、Docker安装Prometheus说明:网上有跟多博客,可以教我们在Docker容器上安装Prometheus的,但是步骤比较复杂,我就不喜欢这么复杂的安装方式,所以我是使用Ubuntu16.04的基础镜像上搭建的,搭建下来会比直接用官方的镜像的搭建方式还要简单很多。1.创建一个空的Ubuntu16.04的容器①预留8179端口,具体...原创 2020-09-22 17:01:38 · 2011 阅读 · 0 评论