- 博客(19)
- 收藏
- 关注
RSS订阅原创 Ambari+HDP通过脚本设置yarn执行计划
1.背景我们都知道CDH带有设置yarn执行计划的功能：通过这个功能，能方便我们充分使用集群的计算资源（一般白天和夜间采用不同的策略）。但是ambari+HDP集群没有这个功能，但是我们还是想要他具有切换yarn资源池队列大小的计划功能，应该如何去做。2.做法：2.1.首先在ambari上进行设置（设置好后先不要点刷新并保存）：修改完后，“Actions”变成黄色，提示需要进行保存和刷新才能生效。2.2.打开F12，进入web控制台，点击“Fetch/XHR”，观察点击保
2022-04-08 16:44:29
2015
原创 二次开发seatunnel/waterdrop实现在filter中正则替换所有列
1.背景我在使用seatunnel实现从mysql导入到hive的时候，遇到mysql中存在回车换行符“\n\r”时，到hive中会出现在换行符处切分，导致换行前的一条记录后面的列都是空，而换行后的一条记录的前面的列都是空，严重干扰了结果的准确性，所以需要解决这个问题。本身seatunnel的filter是有将列里面的内容通过使用正则的方式进行替换的，但是需要每一个列都要进行配置，如果列特别多的话，会产生很大的工作量。Seatunnel Replacefilter{ replace {
2022-02-14 16:27:36
1601
原创 二次开发seatunnel实现导入mysql前先执行删除操作
seatunnel waterdrop导出到mysql先删后导入 seatunnel waterdrop二次开发
2022-02-11 16:53:16
3032
原创 为基于Docker的Doris安装mysql的ODBC驱动CentOS
1.下载5.3版本的MySQL的odbc驱动因为最新版本的MySQL-ODBC驱动对Doris的兼容并不太好所以准备了一个5.3版本的驱动链接: https://pan.baidu.com/s/1hcRVIGH3rGbIqJBGIpVSYQ 密码: 4mfq2.安装unixODBC因为mysql-odbc依赖unixodbcyum install unixODBC.x86_64 -y yum install unixODBC-devel.x86_64 -y...
2021-05-22 12:19:10
1253
原创 Doris的缩容
连接到Doris的MySQL 客户端，mysql -u root -h doris-node1.tech -P 9030 -p删除feALTER SYSTEM DROP FOLLOWER[OBSERVER] "fe_host:edit_log_port";删除beALTER SYSTEM DROP BACKEND "be_host:be_heartbeat_service_port";ALTER SYSTEM DECOMMISSION BACKEN..
2021-05-22 11:43:44
107
原创 基于docker的doris集群的扩容
一、FE节点的扩容①创建使用已有的fe节点制作镜像先将一台doris的fe 节点做成镜像docker commit doris-node1 doris-node1:v2②根据创建好的镜像生成新的fe所需的docker节点创建fe节点，原来有4个节点，按名称顺序，就叫doris-node5docker run -it -d --name doris-node5 -h doris-node5 --network tech --privileged=true doris-node
2021-05-22 11:40:01
424
原创 基于docker的doris集群升级
1.下载新版本的Doris安装包访问如下链接https://cloud.baidu.com/doc/PALO/s/Ikivhcwb5找到想使用的版本，然后下载，可以下载编译好的版本，也可以下载源码再次编译，如果下载的是编译好的版本，可以不参考编译过程，我下载0.13.15版本的2.将下载好的源码分发到每台docker节点上。本次是七个节点，其中，123为fe节点，234567为be节点docker cp incubator-doris-DORIS-0.13.15-rel
2021-02-22 16:25:36
364
原创 Docker搭建Doris集群监控grafana+prometheus
说明：Doris 使用Prometheus和Grafana进项监控项的采集和展示。来看一下这俩东西都是什么：具体的架构形式是这样的一、Docker安装Prometheus说明：网上有跟多博客，可以教我们在Docker容器上安装Prometheus的，但是步骤比较复杂，我就不喜欢这么复杂的安装方式，所以我是使用Ubuntu16.04的基础镜像上搭建的，搭建下来会比直接用官方的镜像的搭建方式还要简单很多。1.创建一个空的Ubuntu16.04的容器①预留8179端口，具体...
2020-09-22 17:01:38
2003
原创 Docker安装部署Doris集群
参考Doris的开源站点，有不懂的赶紧查https://github.com/apache/incubator-doris准备好装有Docker的虚拟机，这里我们部署Doris的最低配置的集群方式部署按照官方所说，4台机器效果还可以，而且扩容也不难1.下载doris的容器镜像docker pull apachedoris/doris-dev:build-env-1.22.节点1配置FE(Leader)创建一个Doris的容器节点，如果想外网访问该集群，需要配置端口映射，在
2020-05-22 17:43:58
7589
6
原创 Nginx解决ip地址拦截问题，Nginx搭建部署，Nginx支持websocket，Nginx支持https
环境准备：Centos7依赖准备：yum install gcc-c++ yum install pcre pcre-devel yum install zlib zlib-devel yum install openssl openssl--develyum install zip unzip下载安装包和插件：自行去官网下载nginxhttp://nginx....
2020-03-26 19:13:32
939
原创 https请求http接口被浏览器拦截问题，python实现websocket客户端websocket服务端，跨域问题，dwebsocket
1. 背景：由于公司前端的页面部署在以https（加了证书）协议的域名下，去请求http协议的域名的某个服务，并且该http域名下的服务，不仅要处理普通请求（POST、GET），还需要处理websocket请求。由于浏览器禁止https域名的内容请求http的服务，甚至嵌入子页面都禁止，因为浏览器会认为http的内容是不安全的，所以为解决该问题，研究出如下解决方案。2. 解决办法：由于浏览器禁...
2020-03-04 12:37:47
5201
原创 火狐浏览器插件webextensions开发发送ajax请求案例
1.建好这样的一个目录结构，其中icons存放的是插件的图标，borderify.js是代码部分，install.rdf是安装文件，manifest.json是配置文件。2.在icons下放入一张图片3.在manifest.json中写入如下代码{ "manifest_version": 2, "name": "Borderify", "version": "1.0...
2018-08-16 16:29:45
1973
原创 java方式httpclient/htmlunit爬虫入门案例
@Testpublic void test1() throws Exception{ CloseableHttpClient httpClient = HttpClients.createDefault(); HttpGet httpGet = new HttpGet("http://www.baidu.com"); CloseableHttpRespons...
2018-08-16 15:38:16
319
原创 java方式selenium+phantomjs动态爬虫入门案例
public void test1(){ //System.setProperty("webdriver.firefox.bin", "D:/software/Mozilla Firefox/firefox.exe"); String path = demo1.class.getClassLoader().getResource("").getPath()+"phantomjs-...
2018-08-16 15:31:47
1787
原创 linux下rpm安装MySQL
1.将Percona-Server考入mysql的路径下2.解压Percona-Server命令：tar -xvf Percona-Server-5.6.24-72.2-r8d0f85b-el6-x86_64-bundle3.分别安装解压后的四个安装包（顺序不能出错）rpm -ivh Percona-Server-56-debuginfo-5.6.24-rel72.2.el6...
2018-07-20 11:02:05
296
原创 01-zookeeper概述
Zookeeper概述Zookeeper是一个工具，可以实现集群中的分布式协调服务。所谓的分布式协调服务，就是在集群的节点中进行可靠的消息传递，来协调集群的工作。Zookeeper之所以能够实现分布式协调服务，靠的就是它能够保证分布式数据一致性。所谓的分布式数据一致性，指的就是可以在集群中保证数据传递的一致。Zookeeper能够提供的分布式协调服务包括：数据发布订阅、...
2018-07-19 13:34:15
152
原创 linux下修改服务器hostname
1.修改hosts文件 添加hostname和ip地址的映射 本机的也要配置vim /etc/hosts2.修改network hostname改为本机的hostnameNOZEROCONF=yes/etc/sysconfig/network3.reboot命令重启服务器4.hostname cloud3 //cloud3为自己本地的hostname5.在h...
2018-07-18 15:25:28
6299
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人