- 博客(4)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Hadoop、Storm和Spark主流分布式系统特点和应用场景
最初我们来到这个世界，是因为不得不来；最终我们离开这个世界，是因为不得不走。——《余华作品集》1、概述 大数据现在是业内炙手可热的话题，随着技术的发展，如HDFS，大数据存储技术已经不在是难点，但是对大数据如何做好存储后的下一步处理将是未来竞争的焦点，目前比较受欢迎的Storm, Spark, Hadoop三个大数据处理工具都是JVM上的语言写成的。 由于Google没有开源Goo
2017-12-25 18:32:59
14763
1
原创 MapReduce的工作机制
我要这天，再遮不住我眼， 要这地，再埋不了我心， 要这众生，都明白我意， 要那诸佛，都烟消云散! ——《悟空传》1、概述1.1 定义Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发
2017-12-21 21:36:17
662
原创 HDFS的工作机制
只要你是天鹅蛋，就是生在养鸡场里也没有什么关系。——《安徒生童话》1、概述1.1 设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；1.2 在大数据系统中作用为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务重点概念：文件切块，副本存放，元数据1.3 HDFS的概念和特性1.3.1 概念(1)首先
2017-12-19 01:51:42
779
原创 大数据推荐系统实时架构和离线架构
生活中无论有什么闪失，统统是自己的错，与人无尤，从错处学习改过，精益求精，直至不犯同一错误，从不把过失推诿到他人肩膀上去，免得失去学乖的机会。——《阿修罗》 1、概述 推荐系统是大数据中最常见和最容易理解的应用之一，比如说淘宝的猜你喜欢和京东等网站的用户提供个性化的内容。但是不仅仅只有电商会用推荐引擎为用户提供额外的商品，推荐系统也可以被用在其他行业，以及具有不同的应用中使用，如网易
2017-12-16 16:17:04
19153
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人