zhouyu7373-CSDN博客

原创 spark批量写入--内存中建临时表

package com.jd.joyanalyzer.spark.jinrong;import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import org.apache.spark.sql.Dataset;import org.apache.spark.sql.Row;import org.ap...

2018-04-09 11:46:28 4833 1

原创 xgboost异常AttributeError: 'DMatrix' object has no attribute 'handle'

学习xgboost时候总是遇见这个错误xgboost异常AttributeError: 'DMatrix' object has no attribute 'handle'点击红框进去源码发现这一段代码真正的原因其实是这个：DataFrame.dtypes for data must be int, float or bool.所以：出现 'DMatrix' o

2017-11-10 16:56:58 8254

原创【H5】手机浏览器分批次多张上传图片（文件），包含进度条

描述本文所描述的上传文件主要是应用于手机端，PC端可以酌情改造。应用场景：手机浏览器一次上传多张图片或者文件，将文件每5个拆分为一组上传。上传进度条为手机端上传至后台所用时间不包含后台耗时。选择图片用H5的input file标签（能否选多张看浏览器了），上传功能使用XMLHttpRequest后面简称xhr，jquery和zepto中都包含。html上传照片1.将u

2016-05-21 20:30:51 5393

原创【H5】iphone多张图片上传，iCloud的照片无法触发onchange事件，问题总结

问题描述html上传照片jsvar input = document.querySelector('input[type=file]');input.onchange = function (){1.把上传照片的div的点击事件和file的点击事件绑定在一起2.选择相册中的图片（ps:因为本地内存不足，图片已经被上传至iCloud），需要从云端下载图

2016-05-16 18:50:27 2496

原创 Spark 安装及运行第一个程序遇到问题总结

这里只说明一下单节点怎么配置，集群scp拷贝过去，配置一下启动节点就可以了1、下载scala2.11.4版本下载地址为：http://www.scala-lang.org/download/2.11.4.html2、解压和安装（自己随便找个目录）：解压：[spark@S1PA11 scala]$ tar -xvf scala-2.11.4.tgz 3、编辑 ~

2016-03-01 14:55:40 1050

原创针对kafka的simpleConsumer查询方法

package bonree.consumer;import java.nio.ByteBuffer;import java.util.ArrayList;import java.util.Collections;import java.util.HashMap;import java.util.List;import java.util.Map;import kafka.api.

2014-09-03 12:02:04 2396