自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(15)
  • 收藏
  • 关注

原创 spark rdd转dataframe 写入mysql的示例

spark

2016-03-11 14:11:39 18967 1

原创 hive中控制map和reduce数量的简单实现方法

通过mapred.max.split.size等参数控制hive中的map个数进行资源控制

2016-03-06 17:17:20 42851 5

原创 spark读取kafka数据 createStream和createDirectStream的区别

spark读取kafka数据 createStream和createDirectStream的区别

2016-03-06 16:43:34 21619 1

原创 kafka->spark->streaming->mysql(scala)实时数据处理示例

kafka->spark->streaming->mysql(scala)实时数据处理示例

2016-03-06 16:34:01 19475 6

原创 CM 4.6.0测试环境搭建笔记

笔记分为两部分 (一)、集群搭建 (二)、集群中添加主机和服务 需要说明的是虽然版本为cm 4.6 但是在版本5之上也是相同相近的,操作基本一致。(一)、集群搭建一、辅助环境1、系统配置 系统版本,SUSE,根据版本选择CDH和CM 2、预计的环境安装,datanode01暂不计入 3、关闭防火墙rcSuSEfirewall2 stopchkconfig --leve

2016-02-23 15:48:33 2525

原创 flume-kafka- spark streaming(pyspark) - redis 实时日志收集实时计算

鉴于实在是比较少python相关是spark streaming的例子,对于自己实现的测试例子分享上来一起讨论。强烈建议scala去写spark streaming程序,python资料太少,翻遍github也才发现几份代码

2016-02-23 11:20:09 11466 2

原创 重新编译spark 增加spark-sql适配CDH

spark-sql

2015-12-19 16:15:47 9287 9

原创 HBase的基本api操作及简要说明

hbase基础api

2015-05-25 14:32:10 5057

原创 关于在win本地远程hadoop集群开发导致的NullPointerException问题

在连续百度和google之后都发现找不到任何一个解决的方法,几乎所有人都是说是hadoop(插件)自身的问题,建议打包成jar放到集群上去执行   我之所以没这么做是因为之前我是可以的,并且我找到了我的另一个测试程序也是可以成功的,另一个重要的原因是太懒了   针对这种类型的错误原因这里给出一种可靠的解决方案,但并不保证所有这种NullPointerException都可以这样解决。  先说结果

2015-05-19 13:46:18 808

原创 在maven中新建hadoop项目说明与mapreduce.framework.name的initialize异常

Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.

2015-05-15 14:22:32 4701 1

原创 利用sqoop从数据源获取数据到hive的流程化

sqoop hive

2015-05-11 18:35:11 4084 2

原创 Impala配置与错误解决方案

impala 安装impala配置问题

2015-05-07 17:01:11 31907

原创 Mapreduce中的 自定义类型、分组与二次排序

MapReduce中的自定义类型,分组函数、二次排序问题job.setSortComparatorClassjob.setGroupingComparatorClass

2015-05-06 20:54:58 2445

原创 (window7中)maven 编译hadoop2.5.0源码

win下的hadoop源码编译

2015-04-22 15:50:30 2725 4

原创 hdfs 复制文件 java.io.FileNotFoundException(文件名、目录名或卷标语法不正确)

Exception in thread "main" java.io.FileNotFoundException: hdfs:\192.168.73.16:8020\user\9003547\text.txt (文件名、目录名或卷标语法不正确。) at java.io.FileInputStream.open(Native Method) at java.io.FileInputSt

2015-04-19 16:44:32 6160

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除