大数据
文章平均质量分 61
水彩橘子
这个作者很懒,什么都没留下…
展开
-
Debezium 抽取oracle数据
1、环境介绍操作系统:centos 7.9jdk版本:11.0.12kafka版本:2.8.0Debezium版本:1.6(debezium-connector-oracle-1.6.1.Final-plugin.tar.gz)oracle版本:19c2、安装oraclehttps://blog.csdn.net/zyj81092211/article/details/1200828283、设置oracle(1)创建目录mkdir /u01/app/oracle/oradata/reco原创 2021-09-07 16:18:50 · 2203 阅读 · 1 评论 -
Debezium 抽取sqlserver数据
1、环境介绍操作系统:centos 7.9jdk版本:11.0.12kafka版本:2.8.0Debezium版本:1.6(debezium-connector-sqlserver-1.6.1.Final-plugin.tar.gz)sqlserver版本:sqlserver 20162、sqlserver 2016安装https://blog.csdn.net/zyj81092211/article/details/1199143983、创建测试数据库MyDB4、sqlserver开原创 2021-09-02 19:46:28 · 2851 阅读 · 3 评论 -
zeppelin 配置mysql 解释器
1、环境介绍操作系统:centos 7.9jdk版本:8u291zeppelin版本:0.9.02、创建mysql 解释器3、填写mysql解释器参数default.driver: com.mysql.jdbc.Driverdefault.url:jdbc:mysql://10.99.99.200:3306/default.user:rootdefault.password:1qazXSW@添加依赖https://mvnrepository.com/artifact/mysq原创 2021-08-25 15:31:44 · 330 阅读 · 0 评论 -
数据中心架构图及描述
--------------------------------------------------------------------------------------------------绘图/设计作者:D.J.Y1、主要提供服务为hbase、spark和hadoop集群2、hbase做实时数据检索,故规范化数据直接流入hbase直接进行使用,次级数据流入spark做处理增强hbase;原始数据流入hadoop hdfs,做处理增强hbase;spark和hadoop集群主要任务都是完善hba.原创 2021-08-25 11:37:02 · 1469 阅读 · 0 评论 -
zeppelin可视化工具部署和phoenix解释器配置
1、环境介绍操作系统:centos 7.9+jdk版本:8u291zeppelin版本:0.9.0zeppelin下载地址:http://zeppelin.apache.org/download.html2、关闭防火墙和selinux3、配置主机名,并配置hosts解析4、配置JDKhttps://blog.csdn.net/zyj81092211/article/details/1180550685、上传软件包,解压并重命名/usr/local/zeppelin6、设置zep原创 2021-08-24 11:33:06 · 483 阅读 · 0 评论 -
Debezium 抽取mysql数据
1、环境介绍操作系统:centos 7.9jdk版本:11.0.12kafka版本:2.8.0Debezium版本:1.6(debezium-connector-mysql-1.6.1.Final-plugin.tar.gz)mysql版本:5.72、安装mysqlhttps://blog.csdn.net/zyj81092211/article/details/1198522783、创建Debezium MySQL 连接器用户CREATE USER 'debezium'@'%' IDEN原创 2021-08-22 21:41:59 · 1233 阅读 · 0 评论 -
kafka connector 配置 Debezium
1、环境介绍操作系统:centos 7.9jdk版本:11.0.12kafka版本:2.8.0Debezium版本:1.6Debezium兼容性列表:Debezium数据库插件下载地址:https://debezium.io/documentation/reference/1.6/install.html2、架构注意:Debezium部署依赖kafka connector,需要提前完成zookeeper集群安装,kafka集群部署,kafka connector部署数据库(作为数据原创 2021-08-21 17:24:45 · 2074 阅读 · 0 评论 -
CMAK(kafka manager)部署
1、环境说明操作系统:centos 7.9JDK版本:11.0.12JDK下载地址:https://www.oracle.com/java/technologies/javase-jdk11-downloads.htmlCMAK版本:3.0.0.5CMAK下载地址:https://github.com/yahoo/CMAK/releases/tag/3.0.0.52、jdk安装参考https://blog.csdn.net/zyj81092211/article/details/11原创 2021-08-17 18:22:35 · 778 阅读 · 0 评论 -
zookeeper管理工具PrettyZoo
1、环境介绍操作系统:windows 10 64位PrettyZoo:1.9.3PrettyZoo下载地址:https://github.com/vran-dev/PrettyZoo/releases2、双击msi文件安装PrettyZoo安装完成后出现3、配置软件并进行zookeeper连接(1)、选择中文重启生效(2)创建zookeeper连接填写连接字符串,多个zknode之间用逗号隔开(不支持域名,无法连接),端口2181连接zookeeper连接成功原创 2021-08-16 16:37:29 · 1561 阅读 · 0 评论 -
kafka 可视化工具 kafka tool
1、环境介绍操作系统:windows 10 64位kafka tool:2.1kafka tool下载地址:https://www.kafkatool.com/download.html2、双击exe文件进行开始安装2、运行安装后的程序3、添加kafka集群原创 2021-08-16 16:12:14 · 640 阅读 · 0 评论 -
kafka connect 分布式部署
1、环境介绍操作系统:centos 7.9jdk版本:8u291kafka版本:2.8.0kafka下载地址:https://kafka.apache.org/downloads节点清单:10.99.27.111 kafkac01.wtown.com 4核心 8G内存 500G硬盘10.99.27.112 kafkac02.wtown.com 4核心 8G内存 500G硬盘10.99.27.113 kafkac03.wtown.com 4核心 8G内存 500G硬盘2、设置主机名及ho原创 2021-08-14 20:58:05 · 2300 阅读 · 0 评论 -
flume高可用集群搭建和连接kafka
1、环境介绍操作系统:centos 7.9jdk版本:8u291flume版本:1.9.0flume下载地址:http://flume.apache.org/download.html2、flume集群架构和数据流向原创 2021-08-10 17:35:41 · 700 阅读 · 0 评论 -
kafka集群搭建
1、环境介绍操作系统:centos 7.9kafka版本:2.8.0kafka下载地址:https://kafka.apache.org/downloads节点清单:10.99.27.101 kafka01.wtown.com 4核心 8G内存 500G硬盘10.99.27.101 kafka01.wtown.com 4核心 8G内存 500G硬盘10.99.27.101 kafka01.wtown.com 4核心 8G内存 500G硬盘2、设置主机名及host文件(三台机器)10.99原创 2021-08-02 17:40:58 · 353 阅读 · 0 评论 -
postman连接加密ElasticSearch集群
1、环境介绍操作系统:centos 7.9elasticsearch版本:7.13.3postman版本:Postman-win64-8.8.0postman下载地址:https://www.postman.com/downloads/2、使用浏览器插件连接ES3、获取识别表示浏览器F124、使用postman建立连接需要传送请求体的写这里5、ES一些常用操作模板https://download.csdn.net/download/zyj81092211/20433990原创 2021-07-24 16:39:45 · 276 阅读 · 0 评论 -
ElasticSearch集群配置IK分词
1、环境介绍操作系统:centos 7.9elasticsearch版本:7.13.3IK分词版本:elasticsearch-analysis-ik-7.13.3IK分词下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases注意:下载分词要和elasticsearch版本对应2、配置自定义字典<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE prope原创 2021-07-24 16:25:00 · 216 阅读 · 0 评论 -
ElasticSearch集群配置密码认证
1、环境介绍操作系统:centos 7.9elasticsearch版本:7.13.32、生成es ca证书bin/elasticsearch-certutil ca注意:提示输入密码:输入Smtgbk_123(自定义,后面配置文件中用到)3、生成p12秘钥bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12注意:提示输入密码:输入Smtgbk_123(自定义,后面配置文件中用到)4、创建秘钥目录,并把秘钥放到里面m原创 2021-07-21 17:48:18 · 1044 阅读 · 3 评论 -
kibana配置
1、环境介绍操作系统:centos 7.9kibana版本: 7.13.3kibana下载地址:https://www.elastic.co/cn/downloads/kibana2、创建软件目录/datamkdir /data3、创建es用户useradd esecho "es" | passwd --stdin es4、更改sudo权限visudo添加如下:es ALL=(ALL) NOPASSWD:ALL5、更改/data权限chown -R es.es /da原创 2021-07-21 15:57:41 · 1201 阅读 · 0 评论 -
ElasticSearch集群部署
1、环境介绍操作系统:centos 7.9elasticsearch版本:7.13.3es master节点:10.99.27.81 esmn01.wtown.com 4核心8G内存10.99.27.82 esmn02.wtown.com 4核心8G内存10.99.27.83 esmn03.wtown.com 4核心8G内存es datanode节点:10.99.27.91 esdn01.wtown.com 4核心8G内存 500G数据盘10.99.27.91 esdn02.wtown.c原创 2021-07-20 17:32:36 · 515 阅读 · 1 评论 -
使用Squirrel连接Phoenix
1、环境介绍操作系统:windows 10jdk版本:windows x64 8u291squirrel版本:3.9.1(4.2.0不兼容)squrirel下载地址:https://sourceforge.net/projects/squirrel-sql/files/1-stable/3.9.1/2、配置jdkhttps://blog.csdn.net/zyj81092211/article/details/1188527933、双击运行下载下来的jar包,点击next4、查看版本支持原创 2021-07-18 16:41:05 · 458 阅读 · 0 评论 -
windows JDK安装配置
1、环境介绍操作系统:windows 10jdk版本:windows 64位 8u291jdk下载地址:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html2、运行jdk软件包,点击下一步3、选择安装路径,点击下一步4、点击关闭,完成安装、5、配置环境变量依次打开,计算机,属性,高级系统设置,高级,环境变量6、系统变量,点击新建7、创建JAVA_HOME8、创建CLASSPA原创 2021-07-17 17:34:46 · 143 阅读 · 0 评论 -
Hbase 集成 phoenix
1、环境介绍操作系统:centos 7.9jdk版本:8u291hadoop版本:2.10.1hbase版本:2.3.5zookeeper版本:3.6.3phoenix版本:5.1.2phoenix下载地址:https://phoenix.apache.org/download.html注意:下面操作使用hadoop用户2、hbase集群https://blog.csdn.net/zyj81092211/article/details/1186326403、关闭hbase集群sto原创 2021-07-13 19:15:07 · 418 阅读 · 2 评论 -
Hbase HA集群搭建
一、环境配置1、环境介绍操作系统:centos 7.9jdk版本:8u291hadoop版本:2.10.1hbase版本:2.3.5hbase下载地址:https://mirrors.bfsu.edu.cn/apache/hbase/zookeeper版本:3.6.3hm01,hm02:4核心 8G内存 数据盘400Grs01-rs05:16核心 16G内存 数据盘2Thjn01-hjn03:2核心 2G内存zk01-zk03(复用现有):4核心 8G内存2、主机名和IP原创 2021-07-12 16:54:41 · 530 阅读 · 0 评论 -
hadoop伪分布式集群 spark配置
一、基础环境1、环境介绍操作系统:centos 7.9jdk版本:8u291hadoop版本:2.10.1spark版本:2.4.8 (因为自建了hadoop 所以使用without-hadoop包)spark下载地址:https://archive.apache.org/dist/spark/spark-2.4.8/2、hadoop配置https://blog.csdn.net/zyj81092211/article/details/1182483613、上传软件包到服务器并解压重名为s原创 2021-07-06 17:51:55 · 674 阅读 · 0 评论 -
spark on yarn配置External Shuffle Service
1、Shuffle Service介绍Shuffle描述着数据从map task输出到reducetask输入的这段过程。shuffle是连接Map和Reduce之间的桥梁,Map的输出要用到Reduce中必须经过shuffle这个环节,shuffle的性能高低直接影响了整个程序的性能和吞吐量。因为在分布式情况下,reducetask需要跨节点去拉取其它节点上的maptask结果。这一过程将会产生网络资源消耗和内存,磁盘IO的消耗。通常shuffle分为两部分:Map阶段的数据准备和Reduce阶原创 2021-07-05 16:59:55 · 1930 阅读 · 0 评论 -
Spark on yarn 配置
1、环境介绍操作系统:centos 7.9jdk版本:8u291hadoop版本:2.10.1spark版本:2.4.8 (因为自建了hadoop 所以使用without-hadoop包)spark下载地址:https://archive.apache.org/dist/spark/spark-2.4.8/注:spark on yarn 运行方式有两种 client和cluster模式:client方式:任务调度driver,运行在当前提交程序的客户机上,作业完成前不能关闭,显示输出在客原创 2021-07-04 17:55:52 · 1941 阅读 · 1 评论 -
hadoop管理脚本
1、hostlist.txt文件#namenodenn01.wtown.com,all,namenode,zkfcnn02.wtown.com,all,namenode,zkfc#journalnodejn01.wtown.com,all,journalnodejn02.wtown.com,all,journalnodejn03.wtown.com,all,journalnode#resourcemanagerrm01.wtown.com,all,resourcemanagerrm02.原创 2021-07-02 17:40:42 · 121 阅读 · 1 评论 -
hadoop伪分布式部署
1、环境介绍操作系统:Centos 7.7jdk版本:8u291hadoop版本:2.10.14核心 8G内存 100G硬盘2、关闭防火墙和selinux3、安装jdkhttps://blog.csdn.net/zyj81092211/article/details/1180550684、建立hadoop用户useradd hadoopecho hadoop|passwd --stdin hadoop5、使用hadoop登录,解压缩hadoop安装包并重命名hadooptar -原创 2021-06-26 15:55:28 · 187 阅读 · 0 评论 -
hadoop HA集群搭建
一、环境配置1、环境介绍操作系统:Centos 7.9jdk版本:8u291hadoop版本:2.10.12、资源划分--------------hadoop节点---------------nn01、nn02:CPU:4核心内存:8GB数据盘:400Gjn01、jn02、jn03:CPU:2核心内存:2GBrm01、rm02:CPU:8核心内存:8GBdn01–dn05:CPU:16核心内存:16GB数据盘:2T--------------zookeeper节点原创 2021-06-25 17:22:21 · 308 阅读 · 1 评论 -
zookeeper集群安装
1、环境介绍操作系统:centos 7.9zookeeper版本:apache-zookeeper-3.6.3-bin.tar.gzzookeeper下载地址:https://zookeeper.apache.org/releases.htmljdk版本:jdk-8u291地址规划:zk01.wtown.com 10.99.27.11 zk02.wtown.com 10.99.27.12 zk03.wtown.com 10.99.27.13 注:zookeeper节点数应该为奇数个,以防选原创 2021-06-20 17:46:12 · 349 阅读 · 0 评论 -
配置安装JDK
1、JDK下载版本: jdk-8u291https://www.oracle.com/cn/java/technologies/javase/javase-jdk8-downloads.html2、将安装包上传至服务器3、检查是否安装了openjdkrpm -qa | grep jdk4、解压jdktar -xvf jdk-8u291-linux-x64.tar.gz5、移动jdk至/usr/local/下并重命名javamv jdk1.8.0_291/ /usr/local/ja原创 2021-06-19 16:14:08 · 355 阅读 · 0 评论 -
linux LVM操作
环境:centos 7.91、检查现有磁盘fdisk -l2、对新盘sdb进行分区fdisk /dev/sdb3、刷新分区partprobe4、创建pvpvcreate /dev/sdb15、创建vgvgcreate data /dev/sdb16、创建逻辑卷lvcreate -l 100%VG -n zk_data data注:-l 指定逻辑卷大小-n 指定逻辑卷名字 7、格式化逻辑卷mkfs.xfs /dev/data/zk_data原创 2021-06-19 15:36:59 · 356 阅读 · 0 评论 -
大数据资源目录导航
LVM操作https://blog.csdn.net/zyj81092211/article/details/118054000原创 2021-06-19 15:38:18 · 628 阅读 · 0 评论