一.大数据IMF传奇行动
1、目的:
1.发布DT大数据梦工厂版本的SPARK,做最好版本的spark,每周迭代一次
2.培养100W spark大数据从业人员。
2、如何学习:
1HADOOP 视频 ——-LINUX视频
-----JACA视频
-----MYSQL视频
2 SCALA视频 可以选择SCALA深入浅出初级教程
3.HADOOP学习,HADOOP算法可放放
4.HIVE
5开始学SPARK了
如果有了HADOOP可以直接学SPARK
全世界第一家全面系统深度的SPARK培训机构
SPARK源码.1.6版本
快速定位SPARK问题
二、零基础到百万年薪实战之路
1 内容:
1零基础
2实战之路 LINUX JAVA 都是从大数据的角度去学 从企业实战出发
3年薪百万
**HADOOP SPARK黄金技术
**通向新的激动人生 weibo.com/ilovepains YY68917580
2 大数据怎么来的
工业革命 机器取代体力,蒸汽机技术为代表
能源革命 风能太阳能
数据革命 互联网和大数据为核心
*很多服务性的大公司 都是以大数据为背景*
*经过三场革命打破一切时空限制的智慧化星球*
3 大数据时代的技术架构:
(1) HADOOP APARK 是最有前途的数据技术黄金组合
HADOOP 基础设施的建设 SPARK 聚焦与一体化多元化的大数据通用计算框架
(2) 数据存储HDFS 首选的分布式存储
(3) 数据计算Mapredduce 针对大数据的分布式计算框架
(4) 数据查询框架 HIVE多维度查询
(5) HBASE 实时高速查询 在线海量定位信息
(6) YARN 集群资源管理和调度
sprak.apche.org官网
技术堆栈 SPARK 取代了HADOOP
SQL
CORE数据框架
GRAPHX 图计算
ML
R
STRRAMING
4 应用领域
(1 )J2EE ,NET LAMP开发的系统和数据平台
(2( 各种移动终端设备需要大数据中心的只能数据服务支持
(3) HQL语句下的SHELL脚本进行定时调度
HDFS YARN HBASE 是SARK取代不了的。