大数据
zhouyu7373
这个作者很懒,什么都没留下…
展开
-
Spark 安装及运行第一个程序遇到问题总结
这里只说明一下单节点怎么配置,集群scp拷贝过去,配置一下启动节点就可以了1、下载scala2.11.4版本 下载地址为:http://www.scala-lang.org/download/2.11.4.html2、解压和安装(自己随便找个目录): 解压 :[spark@S1PA11 scala]$ tar -xvf scala-2.11.4.tgz 3、编辑 ~原创 2016-03-01 14:55:40 · 1036 阅读 · 0 评论 -
xgboost异常AttributeError: 'DMatrix' object has no attribute 'handle'
学习xgboost时候总是遇见这个错误xgboost异常AttributeError: 'DMatrix' object has no attribute 'handle'点击红框进去源码发现这一段代码真正的原因其实是这个:DataFrame.dtypes for data must be int, float or bool.所以:出现 'DMatrix' o原创 2017-11-10 16:56:58 · 8210 阅读 · 0 评论 -
spark批量写入--内存中建临时表
package com.jd.joyanalyzer.spark.jinrong;import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import org.apache.spark.sql.Dataset;import org.apache.spark.sql.Row;import org.ap...原创 2018-04-09 11:46:28 · 4809 阅读 · 1 评论