大数据
文章平均质量分 53
主要用来整理大数据相关技术的知识
zhyajshhz
熟悉的开发环境:Linux。
熟悉的开发语言:C++。
涉及的开发语言:python, C++, JAVA。
涉及的技术方向:大数据,服务器业务系统开发。
涉及的业务方向:大数据。
展开
-
flink与HDP平台适配
flink1.12.1和hive3.1.2的漫长集成之旅开篇絮叨背景问题定位源码编译准备下载配置maven源配置版本配置编译问题缺少依赖HIVE版本骂个街开篇絮叨背景 垂青于阿里吹捧的流批一体,迫不及待下载了flink1.12.1,按照flink的官方教程,下载了依赖包, 放进了lib文件夹,一个命令跑起来,结果就报了“NoSuchMethodError: com.google.common.base.Preconditions.checkArgument” 这个让我废寝忘食了一个星期原创 2021-01-27 15:38:17 · 1419 阅读 · 2 评论 -
solr的安装和配置
solr的安装和配置背景部署下载配置解压配置启动注意背景apache atlas和apache ranger都需要使用solr作为审计存储组件,这篇文章整理下solr的部署。solr的版本号是8.3.0部署下载// An highlighted blockwget http://mirrors.tuna.tsinghua.edu.cn/apache/lucene/solr/8.3.0/solr-8.3.0-src.tgz配置解压// An highlighted blocktar zx原创 2020-10-15 11:45:27 · 195 阅读 · 0 评论 -
apache ranger的hive插件在CDH平台中的适配
apache ranger的hive插件在CDH平台中的适配问题描述解决方案问题描述我使用的是CDH6.3.0,本来hive版本是2.2.1,后来升级为3.1.2。我们希望使用apache ranger作为权限控制组件。根据教程,发现hiveserver2启动失败,报不能读取ranger的配置文件。查看可知,配置文件生成到指定的目录下,但是CDH服务每次的配置目录是变化的,所以hiveserver2启动失败的原因是因为配置文件读取不到。根据: 《CDH大数据平台集成Apache Ranger安全管理原创 2020-10-12 16:11:10 · 1054 阅读 · 0 评论 -
apache ranger编译
apache ranger编译背景改动修改项目目录下pom.xml添加npm和node的内网下载地址,要不下载太慢编译背景我需要在cdh中使用apache ranger来做权限控制,需要自己编译一份apache ranger 来部署服务。CDH版本是6.3.0,apache ranger版本使用的是3.0.0,不建议使用ranger 2.1.0,编译一直不成功。改动修改项目目录下pom.xml在repositories节点下添加:// An highlighted block<repos原创 2020-10-10 10:07:31 · 575 阅读 · 1 评论 -
apache ranger usersync不能同步用户
apache ranger usersync不能同步用户问题源码解决问题打算使用apache ranger作为大数据集群的权限管理工具,部署好ranger-admin和ranger-usersync,设置同步用户源为unix,但是一直不能成功。所幸是开源软件,打开代码,研究代码,最终解决问题。源码// 同步是根据config.isUserSyncEnabled()方法控制的 private void syncUserGroup() throws Throwable { UserGroupSyn原创 2020-09-29 10:22:06 · 2098 阅读 · 0 评论 -
presto编译部署
presto编译部署背景环境准备maven安装maven配置国内源下载presto-0.224下载oracle插件下载编译编译presto编译Oracle插件部署背景新公司需要部署大数据平台做一个数仓,经过调研,决定使用presto作为ETL和OLAP工具,需要支持Oracle,MySQL,SQLServer等多数据源。这里比较特殊的是对Oracle的支持,presto本身不带Oracle插件,需要自己实现。网上找了个比较新的版本,是对presto-0.224版本的支持,决定暂时使用presto-0.2原创 2020-07-29 15:39:56 · 823 阅读 · 0 评论