hadoop
短短几个秋
主要从事分布式数据研究和架构
展开
-
hadoop和spark配置环境变量
vi /etc/profileJAVA_HOME=/usr/java/jdk1.8.0_131 CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar SCALA_HOME=/usr/local/scala-2.10.3/ HADOOP_HOME=/usr/local/hadoop-2.7.3/ SPARK_HOME=/usr/local原创 2017-05-06 20:35:11 · 607 阅读 · 0 评论 -
mac scala搭建
安装brew install scala 进入到仓库 cd /Users/liujian.zhang/.ivy2/原创 2017-07-18 10:54:40 · 296 阅读 · 0 评论 -
mesos日常工作
mesos查看日志 192.168.40.130 spark提交任务机 192.168.40.131 查看日志的机器原创 2017-12-08 16:35:36 · 223 阅读 · 0 评论 -
Hive 同步数据
1NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil 2java.lang.NoSuchMethodError javax.servlet.ServletContext.getVirtualServerName()Ljava/lang/String; 3SBT Assembl原创 2017-07-27 19:10:15 · 731 阅读 · 0 评论 -
distcp传输文件俩边hdfs的blocksize不同报错
distcp 设置-skipcheckcrc -update代码编写如下 val mapper = conf.mapper val bandwidth = conf.bindwidth val writeMode = conf.getWriteMode val sourcePath = conf.readerHdfsPath val targetPath = co原创 2017-12-11 22:48:58 · 487 阅读 · 0 评论 -
mysql 用hfile写入到hbase报错
数据过大时报错,不知道什么原因造成,还在想办法找原创 2017-12-11 22:51:54 · 234 阅读 · 0 评论