大数据 CDH
文章平均质量分 90
あずにゃん
日萌社
展开
-
非CDH的 hive on spark(spark on yarn)
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用1.电商用户画像环境搭建(SparkSql整合hive) Hive 的执行任务是将 hql 语句转化为 MapReduce 来计算的,Hive 的整体解决方案很不错,但是从查询提交到结果返回需要相当长的时间,查询耗时太长。 这个主要原因就是由于Hive原生是基于MapReduce的,那么如果我们不生成MapRed...原创 2019-02-14 17:39:38 · 604 阅读 · 1 评论 -
CDH 6 的使用(hadoop ha、yarn ha)
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用1.每台机器:根据aliyun提供的服务进行 时间同步:ntpdate -u ntp6.aliyun.com 启动服务 systemctl start ntpd、重启服务systemctl restart ntpd、关闭服务systemctl stop ntpd 查看是否启动 ps -ef |...原创 2019-02-13 18:08:29 · 3862 阅读 · 7 评论 -
CDH优化
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用 1.MapReduce shuffle处理程序和IFile阅读器使用本机Linux调用,在安装了Hadoop本机库的Linux系统上。 2.改善随机处理程序 1.您可以通过启用shuffle readahead来改进MapReduce shuffle处理程序的性能。 这...原创 2019-02-13 18:10:06 · 1547 阅读 · 0 评论 -
hadoop客户端代码
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.0.0</...原创 2019-02-13 18:11:16 · 544 阅读 · 0 评论 -
CDH的 hive on spark(spark on yarn)
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用1.所有版本:https://www.scala-lang.org/download/all.html 2.11.8版本:https://www.scala-lang.org/download/2.11.8.html 2.12.8版本: tar -zxvf scala-2.12.8.tg...原创 2019-02-14 17:23:26 · 7599 阅读 · 1 评论 -
Hive实现update和delete
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用1.官网关于update和delete的相关说明: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Update https://cwiki.apache.org/confluence/di...原创 2019-03-01 16:35:57 · 1563 阅读 · 0 评论 -
CDH 安装 sqoop1
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用命令测试1.sqoop help2.sqoop import \--connect jdbc:mysql://192.168.20.41:3306/adm \--username root \--password admin \--table userPortraitComplete \--hive...原创 2019-03-07 22:22:41 · 2266 阅读 · 0 评论 -
CDH安装某个大数据组件的parcel安装包(例子:CDH安装impala的parcel安装包)
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用====== 本地安装 已下载好的某个大数据组件 的parcel安装包 ============= 远程安装 下载某个大数据组件 的parcel安装包 ==========例子:远程安装 下载impala 的parcel安装包,因为后续要和kudu集成,所以使用这...原创 2019-04-05 20:26:18 · 2476 阅读 · 0 评论 -
CDH 6.2.0 安装(先安装CM 6.2.0,再安装CDH 6.2.0)
================= 最新文章 =================1.CDH 6 的安装和使用、CDH5安装2.用户画像3.Spark 实时处理4.大数据组件安装(非CDH)和使用 总文章5.大数据组件使用 总文章6.window下 人工智能 Keras、TensorFlow、PyTorch、CUDA、cuDNN 的环境安装 总文章、window 安装 P...原创 2019-05-04 19:52:58 · 7884 阅读 · 4 评论 -
CDH 6 安装
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用在CDH安装之前必须保证NODE1主节点中的以下程序均已启动 1.每台机器:根据aliyun提供的服务进行 时间同步:ntpdate -u ntp6.aliyun.com 启动服务 systemctl start ntpd、systemctl restart ntpd 查看是否启动 ps...原创 2019-02-13 17:51:12 · 3310 阅读 · 0 评论 -
Cloudera Manager安装(只需要在NODE1主节点执行上述操作便会自动分配部署到各节点)
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用Cloudera Manager安装(只需要在NODE1做) 1.配置本地repo源 1.下载CM6.0的安装包,地址为: https://archive.cloudera.com/cm6/6.0.0/redhat7/yum/RPMS/x86_64/cloudera-manager...原创 2019-02-13 17:45:03 · 3089 阅读 · 25 评论 -
CDH的 hive 整合 hbase
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用1.hbase与hive哪些版本兼容? hive0.90与hbase0.92是兼容的,早期的hive版本与hbase0.89/0.90兼容,不需要自己编译。 hive1.x与hbase0.98.x或则更低版本是兼容的,不需要自己编译。 hive2.x与hbase1.x及比hbase1.x更高版本兼容...原创 2019-02-14 17:41:15 · 2268 阅读 · 0 评论 -
dbvisualizer
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用DbVisualizer Pro 10.0.16 x64 破解:1.把 破解文件夹中的 dbvis.jar 替换到 D:\DbVisualizer\lib 目录中2.重启 DbVisualizer3.install license key:浏览 dbvis.license文件 然后重启软件准备两类...原创 2019-02-14 17:43:50 · 1880 阅读 · 0 评论 -
CDH的 Phoenix、hbase操作
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用1.下载:https://mirrors.cnnic.cn/apache/phoenix/apache-phoenix-5.0.0-HBase-2.0/bin/apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz2.tar -zxvf apache-phoenix-5.0.0-HBase-2.0-...原创 2019-02-14 17:47:41 · 6228 阅读 · 12 评论 -
非CDH的 hive 整合 hbase、Phoenix
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用1.hive 整合 hbase 1.Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询、插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 2.应用场景 1.将ETL操作的数据存入HBase 2.HB...原创 2019-02-14 17:56:44 · 1517 阅读 · 1 评论 -
phoenix客户端
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用jdbc:phoenix:192.168.88.100:2181 和 org.apache.phoenix.jdbc.PhoenixDriver原创 2019-02-14 18:00:58 · 1295 阅读 · 0 评论 -
Impala
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用1.执行 impala-shell 即能进入界面操作sql。2.如果在hive更新了数据之后,而在impala中却无法看到更新后的数据的话,意味着impala里元数据信息还没有刷新, 此时在impala操作界面里 执行 invalidate metadata; 命令刷新元数据。3.示例: use rime...原创 2019-02-14 18:14:50 · 664 阅读 · 0 评论 -
解决IDEA中的maven始终无法加载并下载完整的jar包
总帖:CDH 6系列(CDH 6.0、CHD6.1等)安装和使用执行 call mvn -f pom.xml dependency:copy-dependencies mvn clean install 实际可分为mvn clean 和 mvn install mvn clean 移除所有上一次构建生成的文件 ...原创 2019-02-14 18:15:43 · 5692 阅读 · 0 评论 -
CDH 6系列(CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等)安装和使用
日萌社CDH 6系列(CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等)安装和使用CDH5(CDH 5.16.1)安装======= CDH 6系列(CDH 6.0、CHD6.1等)安装和使用========CDH 6 安装笔记:/s/12DvQftfCBbQit9dAgnfYfw提取码:iwd3 安装 CentOS 7 虚拟机 克隆:完整克隆 ...原创 2021-06-26 20:49:49 · 16317 阅读 · 1 评论 -
CDH5(CDH 5.16.1)安装
CDH 6系列(CDH 6.0.0、CDH 6.1.0、CDH 6.2.0等)安装和使用CDH5(CDH 5.16.1)安装linux配置1.第一种方式:rsa算法加密,非对称加密的方式基于私钥登陆的方式:(ssh连接时无需输入用户密码) 1.ssh-keygen -t rsa 然后四下回车 2./root/.ssh目录下: 私钥:id_rsa 公钥:id_rsa.p...原创 2019-06-29 19:58:14 · 7453 阅读 · 3 评论