自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

可为的专栏

记录编程的点滴收获

  • 博客(11)
  • 资源 (4)
  • 问答 (1)
  • 收藏
  • 关注

原创 spark stage的划分和task分配

spark stage的划分和task分配

2017-08-22 18:36:58 1278

原创 spark本地调试hive

spark2.1.0本地调试hive

2017-10-19 15:50:06 5757 2

原创 java操作hive2.1.0

java通过jdbc连接hive2.1.0进行操作

2017-10-12 14:32:53 941

原创 hadoop2.6.0伪分布式环境搭建

hadoop伪分布式环境搭建

2017-09-29 18:19:10 349

原创 DAGScheduler核心步骤解读

DAGScheduler说明完成stage划分维护job和stage的对应关系维护RDD的存储位置根据stage信息生成taskSet提交给TaskScheduler

2017-09-13 14:05:25 1589

原创 SparkContext源码

sparkContext说明

2017-09-13 13:59:56 366

原创 spark异常分析(一)

spark异常处理系列1.lost executor

2017-09-05 19:20:50 751

原创 es聚合查询

es常用聚合查询

2017-08-22 19:51:21 1657

原创 sparkSql中udf的应用

sparkSql中使用udf

2017-08-10 18:14:15 605

原创 es增删改查

es的增删改查操作demo

2017-08-10 17:48:22 812

原创 spark、es、java精确匹配

使用spark进行后台数据计算,将明细数据存储到es中,页面根据条件精确匹配结果。es充当nosql角色

2017-05-31 17:31:23 2367

复杂网络数据

文档包含了所有复杂网络研究中用到的Newman数据集,即所有的gml文档,为了统一格式,方便后续研究的方便,本人将其按照统一的方法为每个数据建立了一个对应的统一文档,格式为: 第一行为数据的基本信息,名称、节点数、边数、是否加权、是否有向 从第二行开始每行都是一个节点的信息,节点序号、label、邻居节点集、节点标签。有的节点可能没有邻居节点,所以邻居节点集可能为空。

2013-03-27

多条最短路径 Java实现

书本上的算法只是给出了最短距离的求法,没有给出最短路径的实现。代码在迪杰斯特拉的基础上加以改进,能求图中任意两点的最短距离和所有的最短路径(如果存在多条最短路径)。将结果存储在一个HashMap中。

2011-12-26

软件设计报告模板 需求分析 可行性分析 概要设计 详细设计

之前自己写报告时一直苦恼没有可以参考的模板,要么就是收费,要么就是格式不好,需要自己重新排版,现在自己找到了几个,分享了

2011-06-24

php+mysql+apache组合的一些问题

就一些php+mysql+apache组合的一些常见问题的解决方案!

2011-03-24

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除