大数据开发
文章平均质量分 73
期待可为
这个作者很懒,什么都没留下…
展开
-
spark、es、java精确匹配
使用spark进行后台数据计算,将明细数据存储到es中,页面根据条件精确匹配结果。es充当nosql角色原创 2017-05-31 17:31:23 · 2388 阅读 · 0 评论 -
hadoop2.6.0伪分布式环境搭建
hadoop伪分布式环境搭建原创 2017-09-29 18:19:10 · 370 阅读 · 0 评论 -
es聚合查询
es常用聚合查询原创 2017-08-22 19:51:21 · 1680 阅读 · 0 评论 -
DAGScheduler核心步骤解读
DAGScheduler说明完成stage划分维护job和stage的对应关系维护RDD的存储位置根据stage信息生成taskSet提交给TaskScheduler原创 2017-09-13 14:05:25 · 1620 阅读 · 0 评论 -
java操作hive2.1.0
java通过jdbc连接hive2.1.0进行操作原创 2017-10-12 14:32:53 · 961 阅读 · 0 评论 -
es增删改查
es的增删改查操作demo原创 2017-08-10 17:48:22 · 853 阅读 · 0 评论 -
spark异常分析(一)
spark异常处理系列1.lost executor原创 2017-09-05 19:20:50 · 781 阅读 · 0 评论 -
SparkContext源码
sparkContext说明原创 2017-09-13 13:59:56 · 386 阅读 · 0 评论 -
spark stage的划分和task分配
spark stage的划分和task分配原创 2017-08-22 18:36:58 · 1304 阅读 · 0 评论 -
sparkSql中udf的应用
sparkSql中使用udf原创 2017-08-10 18:14:15 · 626 阅读 · 0 评论 -
spark本地调试hive
spark2.1.0本地调试hive原创 2017-10-19 15:50:06 · 5793 阅读 · 2 评论