![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 66
郑斯道
这个作者很懒,什么都没留下…
展开
-
IDEA 编译:Saprk 2.2 上的WordCount
本地编译IDEA需要添加scala插件,本机环境需要有scala环境 本地: Scala 2.12 集群: Spark 2.11 Scala 2.11.8在IDEA上创建Scala项目 最简单的WordCount代码 :import org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Ar原创 2017-08-10 10:22:39 · 1071 阅读 · 0 评论 -
CaffeOnSpark 安装笔记 可以正常运行
CaffeOnSpark 安装环境 平台:Ubuntu 16.04对于CaffeOnSpark的安装,默认的前提是已经在机器上安装CUDA, Hadoop 和 Spark 集群,并且它们可用的。关于Hadoop和Spark的版本,官方文档有严格定义: Hadoop 2.6 Spark 1.6 或者是: Hadoop 2.7 Spark 2.0原创 2017-11-08 13:57:17 · 695 阅读 · 0 评论 -
CaffeOnSpark 安装遇到的一系列问题
入职虹软第一天:任务搭建一个搭建一个CaffeOnSpark的测试集群 ,状态:未完成。遇到的问题: 1在搭建 Hadoop 集群的时候,按照配置执行完两个重要的配置:core-site.xml 和 hdfs-site.xml 然后运行命令: ./bin/hdfs namenode -format 出现这样的错误: 提示 Error: JAVA_HOME is not set and co原创 2017-10-25 14:04:19 · 2289 阅读 · 4 评论 -
Spark 2.2.0 启动时报Error while instantiating / java.net.ConnectException
我的机器: 已经安装好Hadoop Java Scala HiveMaster:192.168.244.129 Slave1.hadoop:192.168.244.128 Slave2.hadoop:192.168.244.130在之前的工作中比如:Hadoop Hive 等环境都已经配置正确在启动用一下命令启动Spark集群时无问题:./sbin/start-all.sh使用JPS查看:132原创 2017-07-25 21:21:47 · 16372 阅读 · 3 评论 -
关于CaffeOnSpark 集群效率低下的问题解决方案
在我之前的文章上可以看到关于CaffeOnSpark的搭建教程。 这里假设大家已经把整个集群启动。我的配置:node: 四台计算机: 三台Ubuntu 16.04 8Gb内存 Gtx1080 一台 CentOs 7 8Gb 内存 Gtx970 作为master 不参与工作配置的节点数量不应该过大,否则集群之间的数据传递是一个很大的问题。Executor数量造成数据倾斜在官方的Git上用的原创 2017-11-16 17:23:39 · 469 阅读 · 0 评论