- 博客(8)
- 资源 (2)
- 收藏
- 关注
转载 大型网站架构
转发与http://www.cnblogs.com/edisonchou/p/3851333.html 一、网站架构的伸缩性设计 1.1 不同功能进行物理分离实现伸缩 (1)纵向分离:将业务处理流程上得不同部分分离部署,实现系统的伸缩性; (2)横向分离:将不同的业务模块分离部署,实现系统的伸缩性; 1.2 单一功通过集
2016-09-19 10:13:35 372
转载 hadoop的几个排序
转载于:http://www.linuxidc.com/Linux/2013-08/88603.htm 1,map阶段的排序 map阶段的排序时对key进行排序,最简单的方式就是将要排序的字段封装成对象,然后这个对象实现WritableComparator接口重写compare这个比较方法,在shuffle阶段就会按照这个定义排序; 2,reduce阶段排序 其实在redu
2016-09-12 10:29:55 2974
转载 mapreduce之shuffle原理
转载于 MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗,把一组有一定规则的数据尽量转换成一组无规则的数据,越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程,把一组无规则的数据尽量转换成一组具有一定规则的数据。 为什么MapReduce计算模型需要Shuffle过程?我们都知道MapReduce计算模型一般包括两个
2016-09-07 17:50:39 291
转载 hadoop2.x_实战案例
转载于 本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,博主为石山园,博客地址为http://www.cnblogs.com/shishanyuan 。该系列课程是应邀实验楼整理编写的,这里需要赞一下实验楼提供了学习的新方式,可以边看博客边上机实验,课程地址为 https://www.shiyanlou.com/courses
2016-09-04 21:55:59 1838
javaNIOnetty
2018-04-18
httpclient-4.3.3+jsoup-1.7.3模拟登陆csdn
2016-01-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人