大数据
zld_555
这个作者很懒,什么都没留下…
展开
-
azkaban on kubernetes部署方式 多执行节点支持自动伸缩
使用编译好的azkaban 3.84.4版本建立镜像,镜像通过args参数控制启动exe还是webazkaban的配置文件和用户文件引入configmap,方便修改配置默认建立1个mysql,1个exe执行节点,1个web节点exe节点可以自动激活和反激活,方便进行伸缩管理密码存入secret文件因为我的k8s是单node环境,所以mysql服务的地址直接使用了service-name限于篇幅,代码这里就不贴了,请移步github查看https://github.com/justong86.原创 2020-08-07 11:09:17 · 944 阅读 · 0 评论 -
azkaban多节点部署安装记录
环境准备jdk8+mysql节点划分centosx1centosx2centosx3web-serverexe-serverexe-servermysql这里编辑了hosts文件,关闭了selinux和firewalld[root@centos7x3 azkaban-exec-server]# cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localho原创 2020-06-27 15:50:38 · 2664 阅读 · 0 评论 -
sqoop 的job使用方式及密码保存
sqoop 的job使用方式基本使用说明job参数说明功能简单明了。ArgumentDescription--create <job-id>Define a new saved job with the specified job-id (name). A second Sqoop command-line, separated by a -- shoul...原创 2019-12-20 16:41:13 · 2456 阅读 · 0 评论 -
sqoop1.4.7安装和操作
前提概述官网http://sqoop.apache.org/将来sqoop在使用的时候有可能会跟那些系统或者组件打交道?HDFS, MapReduce, YARN, ZooKeeper, Hive, HBase, MySQLsqoop1就是一个工具, 只需要在一个节点上进行安装即可。如果sqoop要跟hive交互,那么sqoop节点机器一定要有hive系统。版本sqoop1和sqoop...原创 2019-12-20 10:12:54 · 373 阅读 · 0 评论 -
基于confluent的kafka和kafka-rest代理配置
基于confluent的kafka和kafka-rest代理配置一、组件及说明(一)Confluent的组件简介Confluent Platform 包括更多的工具和服务,使构建和管理数据流平台更加容易。Confluent Control Center(闭源)。管理和监控Kafka最全面的GUI驱动系统。Confluent Kafka Connectors(开源)。数据进出kafka,连...原创 2019-05-21 10:15:33 · 4658 阅读 · 0 评论 -
《快学Scala》第三章 学习笔记+练习题答案
《快学Scala》学习笔记+练习题答案##第三章 数组相关操作3.1编写一段代码,将a设置为一个n个随机整数的数组,要求随机数介于0(包含) 和n(不包含)之间。import collection.mutable.ArrayBufferimport scala.util.Randomdef createArray(n:Int):Array[Int]={ for(i <- 1 ...原创 2019-12-07 15:27:41 · 358 阅读 · 0 评论 -
把用户加入到supergroup组来访问HDFS
本机是linux系统,使用远程的hadoop。程序直接访问hdfs://node1:8020 会有权限问题。比较简单的解决粗暴方式是把用户加入到supergroup组。Hadoop本身的用户和组的关系,是同步Linux系统中的用户权限,但是HDFS和Linux的超级用户组又有一点差别,HDFS中的超级用户组是supergroup,但是Linux中默认是没有supergoup这个组,这个时候...原创 2019-11-23 15:08:57 · 1651 阅读 · 0 评论 -
Hive3.1.2安装及Hive与HBase的结合使用
Hive3.1.2安装及Hive与HBase的结合使用一、说明安装包:apache-hive-3.1.2-bin.tar.gz二、前期准备1、mysql 5.7创建用户 hivemysql > grant all privileges on *.* to 'hive'@'%' identified by '123456'; 2、其他环境Zookeeper:zookeeper...原创 2019-11-09 11:02:19 · 1666 阅读 · 0 评论 -
hadoop分布式集群&spark on yarn集群安装配置
hadoop&spark on yarn安装配置一 环境准备3台 linux版本centos7.6hadoop版本3.1.2spark版本2.4.41.1 修改IPvim /etc/sysconfig/network-scripts/ifcfg-ens32DEVICE="ens32"ONBOOT="yes"IPADDR="192.168.22.232"PREFIX=...原创 2019-09-28 17:22:19 · 826 阅读 · 0 评论