- 博客(19)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 解决IDEA中的maven始终无法加载并下载完整的jar包
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用执行 call mvn -f pom.xml dependency:copy-dependencies mvn clean install 实际可分为mvn clean 和 mvn install mvn clean 移除所有上一次构建生成的文件 ...
2019-02-14 18:15:43
5640
原创 Impala
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用1.执行 impala-shell 即能进入界面操作sql。2.如果在hive更新了数据之后，而在impala中却无法看到更新后的数据的话，意味着impala里元数据信息还没有刷新， 此时在impala操作界面里 执行 invalidate metadata; 命令刷新元数据。3.示例： use rime...
2019-02-14 18:14:50
598
原创 CDH的 hue 整合 oozie
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用由于oozie的xml配置执行各种任务调度是在太过于繁琐，所有一般都使用hue整合oozie来使用通过hue对oozie进行配置，所以首先保证hue中 time_zone为Asia/Shanghaicloudera oozie默认时区是UTC，缺点就是在开发oozie任务时必须在期望执行的时间上减去8小时，因此很...
2019-02-14 18:13:45
2915
9
原创 phoenix客户端
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用jdbc:phoenix:192.168.88.100:2181 和 org.apache.phoenix.jdbc.PhoenixDriver
2019-02-14 18:00:58
1259
原创 非CDH的 hive 整合 hbase、Phoenix
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用1.hive 整合 hbase 1.Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询、插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 2.应用场景 1.将ETL操作的数据存入HBase 2.HB...
2019-02-14 17:56:44
1413
1
原创 CDH的 Phoenix、hbase操作
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用1.下载：https://mirrors.cnnic.cn/apache/phoenix/apache-phoenix-5.0.0-HBase-2.0/bin/apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz2.tar -zxvf apache-phoenix-5.0.0-HBase-2.0-...
2019-02-14 17:47:41
6095
12
原创 dbvisualizer
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用DbVisualizer Pro 10.0.16 x64 破解：1.把 破解文件夹中的 dbvis.jar 替换到 D:\DbVisualizer\lib 目录中2.重启 DbVisualizer3.install license key：浏览 dbvis.license文件 然后重启软件准备两类...
2019-02-14 17:43:50
1564
原创 CDH的 hive 整合 hbase
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用1.hbase与hive哪些版本兼容？ hive0.90与hbase0.92是兼容的，早期的hive版本与hbase0.89/0.90兼容，不需要自己编译。 hive1.x与hbase0.98.x或则更低版本是兼容的，不需要自己编译。 hive2.x与hbase1.x及比hbase1.x更高版本兼容...
2019-02-14 17:41:15
2217
原创 非CDH的 hive on spark（spark on yarn）
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用1.电商用户画像环境搭建(SparkSql整合hive） Hive 的执行任务是将 hql 语句转化为 MapReduce 来计算的，Hive 的整体解决方案很不错，但是从查询提交到结果返回需要相当长的时间，查询耗时太长。 这个主要原因就是由于Hive原生是基于MapReduce的，那么如果我们不生成MapRed...
2019-02-14 17:39:38
549
1
原创 CDH的 hive on spark（spark on yarn）
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用1.所有版本：https://www.scala-lang.org/download/all.html 2.11.8版本：https://www.scala-lang.org/download/2.11.8.html 2.12.8版本： tar -zxvf scala-2.12.8.tg...
2019-02-14 17:23:26
7511
1
原创 hadoop客户端代码
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.0.0</...
2019-02-13 18:11:16
510
原创 CDH优化
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用 1.MapReduce shuffle处理程序和IFile阅读器使用本机Linux调用，在安装了Hadoop本机库的Linux系统上。 2.改善随机处理程序 1.您可以通过启用shuffle readahead来改进MapReduce shuffle处理程序的性能。 这...
2019-02-13 18:10:06
1498
原创 CDH 6 的使用（hadoop ha、yarn ha）
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用1.每台机器：根据aliyun提供的服务进行 时间同步：ntpdate -u ntp6.aliyun.com 启动服务 systemctl start ntpd、重启服务systemctl restart ntpd、关闭服务systemctl stop ntpd 查看是否启动 ps -ef |...
2019-02-13 18:08:29
3818
7
原创 CDH 6 安装
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用在CDH安装之前必须保证NODE1主节点中的以下程序均已启动 1.每台机器：根据aliyun提供的服务进行 时间同步：ntpdate -u ntp6.aliyun.com 启动服务 systemctl start ntpd、systemctl restart ntpd 查看是否启动 ps...
2019-02-13 17:51:12
3258
原创 Cloudera Manager安装(只需要在NODE1主节点执行上述操作便会自动分配部署到各节点)
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用Cloudera Manager安装(只需要在NODE1做) 1.配置本地repo源 1.下载CM6.0的安装包，地址为： https://archive.cloudera.com/cm6/6.0.0/redhat7/yum/RPMS/x86_64/cloudera-manager...
2019-02-13 17:45:03
3041
25
原创 MySQL 5.7.24 安装、my.cnf配置文件
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用 1.查看是否安装了自带mysql：rpm -qa | grep mysql 2.把64位的MySQL（centOS 7 版本MySQL：mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz）解压到 /usr/local 目录文件夹下 cd /...
2019-02-13 17:38:12
5126
6
原创 配置 CentOS 7：安装 CDH 之前，必须进行以下配置
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用------------------------------------------------------------------------------------------------------------------------------------------------1.查看IP地址：ip addr2...
2019-02-13 17:34:35
3175
12
原创 虚拟机 克隆：完整克隆 模式
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用对拷贝后的node2和node3 分别进行以下修改1.uuidgen ens33 获取新的 UUID2.vim /etc/sysconfig/network-scripts/ifcfg-ens33 修改 IP 和 UUID3.service network restart 重启网络4.vi /...
2019-02-13 17:04:32
2442
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人