spark
文章平均质量分 54
just-天之蓝
这个作者很懒,什么都没留下…
展开
-
Spark-windows 下安装和wordcount使用
http://www.cnblogs.com/zlslch/p/5880926.html转载 2016-11-08 19:18:52 · 448 阅读 · 0 评论 -
Windows 单机模式 Spark 安装和 配置
一安装前说明二安装配置所需的安装包scala2104httppanbaiducoms1eSn2jsQIntellij IDE 20163 httppanbaiducoms1dFA4Pk1spark 140 httppanbaiducoms1bLQcY6三 windows7 安装 scala四Intellij IDE 安装五 Intellij IDE 中 scala 插件安装六运原创 2016-11-12 15:16:51 · 6069 阅读 · 1 评论 -
spark on yarn 集群 安装
一集群基础环境centos65 64 位 Hadoop 完全分布见教程httpblogcsdnnetu011414200articledetails47681711集群说明安装包二 scala 安装三安装配置spark一.集群基础环境1. centos6.5 64 位 Hadoop 完全分布(见教程http://blog.csdn.net/u011414200/article/detail原创 2016-11-15 10:58:08 · 696 阅读 · 0 评论 -
Spark on yarn Intellij ide 安装,编译,打包,集群运行 详解
一intellij 安装centos65系统步骤一步骤二步骤三本地运行打包集群 yarn 运行说明:已经安装好hadoop2.2.0 完全分布,scala,spark已安装好,环境配置完毕;主机为hadoop-master,hadoop-slave一.intellij 安装(centos6.5系统)1.需要安装包ideaIc-2017.1.tar.gz(http://pan.baidu.co原创 2017-03-28 14:26:34 · 1958 阅读 · 0 评论 -
spark/hdfs..操作命令,常用
1.查看 hdfs 里文件 hadoop fs -ls -R / 2.在 hdfs中新建目录 hadoop fs -mkdir -p /data/wordcount 3.上传文件到hdfs hadoop fs -put /usr/local/cluster/hadoop/etc/hadoop/slaves /data/wordcount/将slaves文件传到hdfs下的wordcount原创 2017-03-21 21:26:10 · 2466 阅读 · 0 评论 -
Spark-1.0.0 SQL使用简介
上传文件到HDFS启动 sql1.上传文件到HDFShttp://blog.csdn.net/zhaolei5911/article/details/645147262.启动 sqlspark1.0.0 中 sql 启动是直接在 spark-shell 启动后 启动val sqlContext = new org.apache.spark.sql.SQLContext(sc)import sql原创 2017-07-08 00:06:56 · 477 阅读 · 0 评论 -
##公司合作项目--基于质差指标筛选结果的 spark-sql 查询系统Demo
一系统简介数据简介系统功能二处理流程数据处理spark-sql 使用流程一.系统简介1.数据简介:本Demo系统所用数据是某省某运营商 IPTV 用户数据,基于此数据,经过一系列的数据清洗与数学建模,最终得到了三个质差用户指标,本Demo系统是基于初步筛选的七个指标的数据进行的。2.系统功能:在上述的有七个指标的数据中,通过质差指标对新的用户数据进行筛选,筛选出来的即为质差用户-质差设备,原创 2017-07-08 20:56:59 · 690 阅读 · 0 评论