- 博客(5)
- 资源 (14)
- 问答 (4)
- 收藏
- 关注
转载 HUE安装与使用
版本: centos6.4 hue3.7.1 1、介绍 HUE=Hadoop User Experience Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。 通过使用Hue我们可以在浏览器端的Web控制台上与Ha...
2019-01-30 15:42:10 5784 1
原创 hue hadoop hive 集成问题整理
1. 在hadoop集群中集成hive(多节点),出现拒绝链接问题,如下所示: Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient...
2019-01-30 14:53:23 607
原创 Spark 问题整理
问题一: Spark Job执行了两次 由于job内部有一个逻辑,如果第一次失败,第二次重试已没有意义,那么就没有必要让它跑第二次,如下图所示: 首先调查为什么默认是尝试两次,结果如下: <property> <name>yarn.resourcemanager.am.max-attempts</name> <value>...
2019-01-28 18:32:18 2121
原创 Scala Scalatest Maven 集成测试配置
第一篇:Scala Scalatest Maven 单元测试配置(测试报告和覆盖率报告) 第二篇:Scala Scalatest Maven 集成测试配置 最近在做单元测试的时候发现了一个问题,我使用静态变量存放环境信息,默认使用的是单元测试的环境(unitTest),可是跑到集成测试(integrationTest)的时候,发现环境信息依然是单元测试的环境信息。因为集成测试也是作为单元测试来...
2019-01-21 19:40:19 2242 1
原创 Apache Airflow 安装
安装环境: ubuntu 14.04 root:root用户 darren:普通用户(有sudo权限) 安装: 第一步:安装python sudo apt-get update sudo apt-get install python3 如果已经安装过python3,可以跳过此步。 第二步:配置软连接 sudo ln -s /usr/bin/python3.4 /usr/bin...
2019-01-14 19:29:12 5968 2
memcached win32 and win64
2015-03-18
命令行trigger airflow一直处于running状态
2019-03-14
请问 shuffle and sort in MapReduce这幅图出自哪里?
2018-07-05
MapReduce 如何加载本地库
2018-06-26
Mac 机器上如何配置启用PDO
2015-09-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人