大数据Spark实战视频教程—33364人已学习
课程介绍
大数据Spark实战视频培训教程：本课程内容涉及，Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
课程收益
入门大数据，快速进入大数据spark领域
掌握Spark的多种部署模式、分布 式程序的开发
处理企业开发90%的内容，胜任企业80%的Spark应用开发
讲师介绍
张长志 更多讲师课程
5年互联网经验，国内第一批Android开发人员之一，在Moto负责多个项目开发，受过北京多家培训机构的邀请，讲过Android基础知识和分享一些Android前沿技术。
课程大纲
第1章:Spark实战part1
1. 1.spark介绍_整体架构_源码下载 27:44
2. 2.spark虚拟机安装_centos安装 27:59
3. 3.网络配置与关闭防火墙 30:38
4. 4.操作远程工具的使用（winscp_CRT） 8:59
5. 5.yum配置 4:03
6. 6.jdk安装 20:01
7. 7.配置集群ssh免密码登录 13:53
8. 8.hadoop安装 18:16
9. 9.hive与mysql安装与链接 24:22
10. 10.zookeeper安装 15:45
11. 11.scala安装 7:11
12. 12.kafka安装 19:44
13. 13.spark安装 12:47
14. 14wordcount小程序 6:48
第2章:Spark实战part2
1. 1.架构图 18:52
2. 2.案例讲解 11:36
3. 3.通过scala计算wordcount 21:23
4. 4.scala在window上面安装与path配置 9:55
5. 5.scala简单语法的介绍 25:39
6. 6.scala类的编写和演示 20:17
7. 8.IDAE的安装与配置 12:01
8. 9函数与方法的转换 20:18
9. 10添加数组与遍历数组 16:21
10. 11元组集合操作 31:05
11. 12可变类型map set 3:31
12. 13 scala常用的函数通过小案例讲解 27:35
13. 14scala单词统计案例讲解 19:43
第3章:Spark实战part3
1. 1回顾昨天语法 15:56
2. 2类与伴随对象的权限讲解 26:40
3. 3构造方法讲解 23:12
4. 4.辅助构造器 18:46
5. 5.单利对象与伴生对象 18:11
6. 6短信案例分享 17:04
7. 7apply方法 12:11
8. 8scala继承与实现 14:59
9. 9匹配字符串_类型_数组_元组 34:20
10. 10可选函数_偏函数 14:17
11. 11scala基础语法回顾 11:08
12. 12actor多线程案例讲解 46:45
第4章:Spark实战part4
1. 1回顾类对象_Actor 14:18
2. 2单机版本的wordcount 30:05
3. 3.架构 9:54
4. 4分享 01:01:28
5. 5回顾ActorWorCount 9:02
6. 6spark一个简单的运算过程 8:58
7. 7柯里化 11:16
8. 8在IDEA里面搭建maven工程 18:43
9. 9代码实现spark集群Master与worker通信 43:01
10. 10在IDEA里面通过maven打jar 5:46
第5章:Spark实战part5
1. 1.wordcount原理回顾 10:21
2. 2.隐士转换 14:19
3. 3隐式转换2 31:02
4. 4并行化操作 25:49
5. 5transformation与action总体介绍 11:18
6. 6统计每行出现的次数 20:20
7. 7将集合中每个元素乘以2 12:41
8. 8过滤出集合中的偶数 11:16
9. 9flatMap案例_将文本行拆分为多个单词 7:11
10. 10通过groupbyKey进行分组 16:45
11. 11reduceByKey统计每个班级的总分 12:26
12. 12sortbyKey学生分数进行排序 13:36
13. 13join案例班级合并 18:23
14. 14常用的action操作 15:07
15. 15saveAsTextFile保存到hdfs 5:26
第6章:Spark实战part6
1. 1.任务调度器 35:10
2. 2.任务调度器一个补充 2:36
3. 3spark工作原理与RDD介绍 24:14
4. 4maven安装 5:38
5. 5sparkjava版本wordcount本地执行 36:06
6. 6一些spark专业名词 7:27
7. 7人人车爬虫分享 13:47
8. 8项目分享 5:00
9. 9spark_java版本的集群模式 41:09
10. 10spark集群上面参数一些介绍 7:48
11. 11spark_scala_单机版本 9:43
12. 12spark_scala集群演示 16:40
13. 12回顾spark架构 5:42
14. 13服务器时间校准 4:31
15. 14wordcount原理分析 8:32
16. 15spark架构原理 17:09
第7章:Spark实战part7
1. 1.持久化操作 33:05
2. 2持久化一个补充 4:31
3. 3accumulator与共享变量 19:21
4. 4统计单词降序排列 20:21
5. 5二次排序 32:08
6. 6取出前三个排名最高的数据 17:02
7. 7取出每个班级里面最高分数的三个学生 29:26
8. 8sparlsql发展史 7:52
9. 9sparksql_scala版本jar包替换 32:29
10. 10spark中RDD与DateFrame互相转换 25:17
11. 11通过反射讲RDD转换为DataFrame_java版本 22:33
12. 12通过反射讲RDD转换为DataFrame_scala版本 13:30
第8章:Spark实战part8
1. 1.回顾_动态将RDD转换成DF 31:32
2. 2.动态将RDD转换成DF_scala版本 6:54
3. 3.通用的load和save操作 31:03
4. 4手动指定数据源类型 16:09
5. 5数据源Parquet之使用编程方式加载数据 15:12
6. 6.编译新的hive源码 6:47
7. 7.学生分享 5:15
8. 8自动分区推断 17:00
9. 9.合并元数据 7:43
10. 10总结sparksql的作用 5:18
11. 11JSON综合性复杂案例查询80分以上学生信息 50:18
12. 12JSON综合性复杂案例查询80分以上学生信息_scala 8:47
13. 13hive数据源实战java版本 29:34
14. 13hive数据源实战scala版本 9:35
第9章:Spark实战part9
1. 1jdbc简介与创建数据库和表 28:31
2. 2.spark_sql_java版本_jdbc 43:50
3. 3.mysql权限设置 10:39
4. 4学生分享 6:11
5. 6公司移动实战代码实战5根据移动公司数据统计家庭和工作地址业务介绍 20:24
6. 6公司移动实战代码实战 39:40
7. 7公司移动实战代码实战_第二种方法处理 27:24
8. 8复习spark原理 9:47
9. 9.公司移动实战读取文件夹 1:10
第10章:Spark实战part10
1. 1.简单的回顾 14:59
2. 2.sparkstream的介绍 15:35
3. 3Spark Streaming基本工作原理 8:09
4. 4.spark_streaming单词统计 36:05
5. 5输入DStream之基础数据源 9:11
6. 6sparkstream读取HDFS中的数据 23:10
7. 7sparkstream读取kafka数据 21:28
8. 8sparkstream读取kafka数据_direct方式 12:59
9. 9updateStateByKey统计所以单词 26:49
第11章:Spark实战part11
1. 1.sparkstreaming滑动窗口讲解 21:31
2. 2.滑块统计最高搜索单词 31:26
3. 3.公司业务流程介绍 17:25
4. 4.手机项目流程 5:50
5. 5.html简单介绍 34:18
6. 6.简单介绍一下跨平台开发 14:58
7. 7php和手机业务的介绍 43:50
8. 8生成数据方式 7:01
9. 9.简单分析一下业务流程 14:32
10. 1 7:01
11. 1 14:32
大家可以点击【 查看详情】查看我的课程
课程介绍
大数据Spark实战视频培训教程：本课程内容涉及，Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
课程收益
入门大数据，快速进入大数据spark领域
掌握Spark的多种部署模式、分布 式程序的开发
处理企业开发90%的内容，胜任企业80%的Spark应用开发
讲师介绍
张长志 更多讲师课程
5年互联网经验，国内第一批Android开发人员之一，在Moto负责多个项目开发，受过北京多家培训机构的邀请，讲过Android基础知识和分享一些Android前沿技术。
课程大纲
第1章:Spark实战part1
1. 1.spark介绍_整体架构_源码下载 27:44
2. 2.spark虚拟机安装_centos安装 27:59
3. 3.网络配置与关闭防火墙 30:38
4. 4.操作远程工具的使用（winscp_CRT） 8:59
5. 5.yum配置 4:03
6. 6.jdk安装 20:01
7. 7.配置集群ssh免密码登录 13:53
8. 8.hadoop安装 18:16
9. 9.hive与mysql安装与链接 24:22
10. 10.zookeeper安装 15:45
11. 11.scala安装 7:11
12. 12.kafka安装 19:44
13. 13.spark安装 12:47
14. 14wordcount小程序 6:48
第2章:Spark实战part2
1. 1.架构图 18:52
2. 2.案例讲解 11:36
3. 3.通过scala计算wordcount 21:23
4. 4.scala在window上面安装与path配置 9:55
5. 5.scala简单语法的介绍 25:39
6. 6.scala类的编写和演示 20:17
7. 8.IDAE的安装与配置 12:01
8. 9函数与方法的转换 20:18
9. 10添加数组与遍历数组 16:21
10. 11元组集合操作 31:05
11. 12可变类型map set 3:31
12. 13 scala常用的函数通过小案例讲解 27:35
13. 14scala单词统计案例讲解 19:43
第3章:Spark实战part3
1. 1回顾昨天语法 15:56
2. 2类与伴随对象的权限讲解 26:40
3. 3构造方法讲解 23:12
4. 4.辅助构造器 18:46
5. 5.单利对象与伴生对象 18:11
6. 6短信案例分享 17:04
7. 7apply方法 12:11
8. 8scala继承与实现 14:59
9. 9匹配字符串_类型_数组_元组 34:20
10. 10可选函数_偏函数 14:17
11. 11scala基础语法回顾 11:08
12. 12actor多线程案例讲解 46:45
第4章:Spark实战part4
1. 1回顾类对象_Actor 14:18
2. 2单机版本的wordcount 30:05
3. 3.架构 9:54
4. 4分享 01:01:28
5. 5回顾ActorWorCount 9:02
6. 6spark一个简单的运算过程 8:58
7. 7柯里化 11:16
8. 8在IDEA里面搭建maven工程 18:43
9. 9代码实现spark集群Master与worker通信 43:01
10. 10在IDEA里面通过maven打jar 5:46
第5章:Spark实战part5
1. 1.wordcount原理回顾 10:21
2. 2.隐士转换 14:19
3. 3隐式转换2 31:02
4. 4并行化操作 25:49
5. 5transformation与action总体介绍 11:18
6. 6统计每行出现的次数 20:20
7. 7将集合中每个元素乘以2 12:41
8. 8过滤出集合中的偶数 11:16
9. 9flatMap案例_将文本行拆分为多个单词 7:11
10. 10通过groupbyKey进行分组 16:45
11. 11reduceByKey统计每个班级的总分 12:26
12. 12sortbyKey学生分数进行排序 13:36
13. 13join案例班级合并 18:23
14. 14常用的action操作 15:07
15. 15saveAsTextFile保存到hdfs 5:26
第6章:Spark实战part6
1. 1.任务调度器 35:10
2. 2.任务调度器一个补充 2:36
3. 3spark工作原理与RDD介绍 24:14
4. 4maven安装 5:38
5. 5sparkjava版本wordcount本地执行 36:06
6. 6一些spark专业名词 7:27
7. 7人人车爬虫分享 13:47
8. 8项目分享 5:00
9. 9spark_java版本的集群模式 41:09
10. 10spark集群上面参数一些介绍 7:48
11. 11spark_scala_单机版本 9:43
12. 12spark_scala集群演示 16:40
13. 12回顾spark架构 5:42
14. 13服务器时间校准 4:31
15. 14wordcount原理分析 8:32
16. 15spark架构原理 17:09
第7章:Spark实战part7
1. 1.持久化操作 33:05
2. 2持久化一个补充 4:31
3. 3accumulator与共享变量 19:21
4. 4统计单词降序排列 20:21
5. 5二次排序 32:08
6. 6取出前三个排名最高的数据 17:02
7. 7取出每个班级里面最高分数的三个学生 29:26
8. 8sparlsql发展史 7:52
9. 9sparksql_scala版本jar包替换 32:29
10. 10spark中RDD与DateFrame互相转换 25:17
11. 11通过反射讲RDD转换为DataFrame_java版本 22:33
12. 12通过反射讲RDD转换为DataFrame_scala版本 13:30
第8章:Spark实战part8
1. 1.回顾_动态将RDD转换成DF 31:32
2. 2.动态将RDD转换成DF_scala版本 6:54
3. 3.通用的load和save操作 31:03
4. 4手动指定数据源类型 16:09
5. 5数据源Parquet之使用编程方式加载数据 15:12
6. 6.编译新的hive源码 6:47
7. 7.学生分享 5:15
8. 8自动分区推断 17:00
9. 9.合并元数据 7:43
10. 10总结sparksql的作用 5:18
11. 11JSON综合性复杂案例查询80分以上学生信息 50:18
12. 12JSON综合性复杂案例查询80分以上学生信息_scala 8:47
13. 13hive数据源实战java版本 29:34
14. 13hive数据源实战scala版本 9:35
第9章:Spark实战part9
1. 1jdbc简介与创建数据库和表 28:31
2. 2.spark_sql_java版本_jdbc 43:50
3. 3.mysql权限设置 10:39
4. 4学生分享 6:11
5. 6公司移动实战代码实战5根据移动公司数据统计家庭和工作地址业务介绍 20:24
6. 6公司移动实战代码实战 39:40
7. 7公司移动实战代码实战_第二种方法处理 27:24
8. 8复习spark原理 9:47
9. 9.公司移动实战读取文件夹 1:10
第10章:Spark实战part10
1. 1.简单的回顾 14:59
2. 2.sparkstream的介绍 15:35
3. 3Spark Streaming基本工作原理 8:09
4. 4.spark_streaming单词统计 36:05
5. 5输入DStream之基础数据源 9:11
6. 6sparkstream读取HDFS中的数据 23:10
7. 7sparkstream读取kafka数据 21:28
8. 8sparkstream读取kafka数据_direct方式 12:59
9. 9updateStateByKey统计所以单词 26:49
第11章:Spark实战part11
1. 1.sparkstreaming滑动窗口讲解 21:31
2. 2.滑块统计最高搜索单词 31:26
3. 3.公司业务流程介绍 17:25
4. 4.手机项目流程 5:50
5. 5.html简单介绍 34:18
6. 6.简单介绍一下跨平台开发 14:58
7. 7php和手机业务的介绍 43:50
8. 8生成数据方式 7:01
9. 9.简单分析一下业务流程 14:32
10. 1 7:01
11. 1 14:32
大家可以点击【 查看详情】查看我的课程
扫一扫
631
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
