大数据Spark实战视频教程-张长志-专题视频课程

大数据Spark实战视频教程—33364人已学习
课程介绍    

    大数据Spark实战视频培训教程：本课程内容涉及，Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
课程收益
    入门大数据，快速进入大数据spark领域
    掌握Spark的多种部署模式、分布 式程序的开发
    处理企业开发90%的内容，胜任企业80%的Spark应用开发
讲师介绍
    张长志 更多讲师课程
    5年互联网经验，国内第一批Android开发人员之一，在Moto负责多个项目开发，受过北京多家培训机构的邀请，讲过Android基础知识和分享一些Android前沿技术。
课程大纲
  第1章:Spark实战part1
    1. 1.spark介绍_整体架构_源码下载  27:44
    2. 2.spark虚拟机安装_centos安装  27:59
    3. 3.网络配置与关闭防火墙  30:38
    4. 4.操作远程工具的使用（winscp_CRT）  8:59
    5. 5.yum配置  4:03
    6. 6.jdk安装  20:01
    7. 7.配置集群ssh免密码登录  13:53
    8. 8.hadoop安装  18:16
    9. 9.hive与mysql安装与链接  24:22
    10. 10.zookeeper安装  15:45
    11. 11.scala安装  7:11
    12. 12.kafka安装  19:44
    13. 13.spark安装  12:47
    14. 14wordcount小程序  6:48
  第2章:Spark实战part2
    1. 1.架构图  18:52
    2. 2.案例讲解  11:36
    3. 3.通过scala计算wordcount  21:23
    4. 4.scala在window上面安装与path配置  9:55
    5. 5.scala简单语法的介绍  25:39
    6. 6.scala类的编写和演示  20:17
    7. 8.IDAE的安装与配置  12:01
    8. 9函数与方法的转换  20:18
    9. 10添加数组与遍历数组  16:21
    10. 11元组集合操作  31:05
    11. 12可变类型map set  3:31
    12. 13 scala常用的函数通过小案例讲解  27:35
    13. 14scala单词统计案例讲解  19:43
  第3章:Spark实战part3
    1. 1回顾昨天语法  15:56
    2. 2类与伴随对象的权限讲解  26:40
    3. 3构造方法讲解  23:12
    4. 4.辅助构造器  18:46
    5. 5.单利对象与伴生对象  18:11
    6. 6短信案例分享  17:04
    7. 7apply方法  12:11
    8. 8scala继承与实现  14:59
    9. 9匹配字符串_类型_数组_元组  34:20
    10. 10可选函数_偏函数  14:17
    11. 11scala基础语法回顾  11:08
    12. 12actor多线程案例讲解  46:45
  第4章:Spark实战part4
    1. 1回顾类对象_Actor  14:18
    2. 2单机版本的wordcount  30:05
    3. 3.架构  9:54
    4. 4分享  01:01:28
    5. 5回顾ActorWorCount  9:02
    6. 6spark一个简单的运算过程  8:58
    7. 7柯里化  11:16
    8. 8在IDEA里面搭建maven工程  18:43
    9. 9代码实现spark集群Master与worker通信  43:01
    10. 10在IDEA里面通过maven打jar  5:46
  第5章:Spark实战part5
    1. 1.wordcount原理回顾  10:21
    2. 2.隐士转换  14:19
    3. 3隐式转换2  31:02
    4. 4并行化操作  25:49
    5. 5transformation与action总体介绍  11:18
    6. 6统计每行出现的次数  20:20
    7. 7将集合中每个元素乘以2  12:41
    8. 8过滤出集合中的偶数  11:16
    9. 9flatMap案例_将文本行拆分为多个单词  7:11
    10. 10通过groupbyKey进行分组  16:45
    11. 11reduceByKey统计每个班级的总分  12:26
    12. 12sortbyKey学生分数进行排序  13:36
    13. 13join案例班级合并  18:23
    14. 14常用的action操作  15:07
    15. 15saveAsTextFile保存到hdfs  5:26
  第6章:Spark实战part6
    1. 1.任务调度器  35:10
    2. 2.任务调度器一个补充  2:36
    3. 3spark工作原理与RDD介绍  24:14
    4. 4maven安装  5:38
    5. 5sparkjava版本wordcount本地执行  36:06
    6. 6一些spark专业名词  7:27
    7. 7人人车爬虫分享  13:47
    8. 8项目分享  5:00
    9. 9spark_java版本的集群模式  41:09
    10. 10spark集群上面参数一些介绍  7:48
    11. 11spark_scala_单机版本  9:43
    12. 12spark_scala集群演示  16:40
    13. 12回顾spark架构  5:42
    14. 13服务器时间校准  4:31
    15. 14wordcount原理分析  8:32
    16. 15spark架构原理  17:09
  第7章:Spark实战part7
    1. 1.持久化操作  33:05
    2. 2持久化一个补充  4:31
    3. 3accumulator与共享变量  19:21
    4. 4统计单词降序排列  20:21
    5. 5二次排序  32:08
    6. 6取出前三个排名最高的数据  17:02
    7. 7取出每个班级里面最高分数的三个学生  29:26
    8. 8sparlsql发展史  7:52
    9. 9sparksql_scala版本jar包替换  32:29
    10. 10spark中RDD与DateFrame互相转换  25:17
    11. 11通过反射讲RDD转换为DataFrame_java版本  22:33
    12. 12通过反射讲RDD转换为DataFrame_scala版本  13:30
  第8章:Spark实战part8
    1. 1.回顾_动态将RDD转换成DF  31:32
    2. 2.动态将RDD转换成DF_scala版本  6:54
    3. 3.通用的load和save操作  31:03
    4. 4手动指定数据源类型  16:09
    5. 5数据源Parquet之使用编程方式加载数据  15:12
    6. 6.编译新的hive源码  6:47
    7. 7.学生分享  5:15
    8. 8自动分区推断  17:00
    9. 9.合并元数据  7:43
    10. 10总结sparksql的作用  5:18
    11. 11JSON综合性复杂案例查询80分以上学生信息  50:18
    12. 12JSON综合性复杂案例查询80分以上学生信息_scala  8:47
    13. 13hive数据源实战java版本  29:34
    14. 13hive数据源实战scala版本  9:35
  第9章:Spark实战part9
    1. 1jdbc简介与创建数据库和表  28:31
    2. 2.spark_sql_java版本_jdbc  43:50
    3. 3.mysql权限设置  10:39
    4. 4学生分享  6:11
    5. 6公司移动实战代码实战5根据移动公司数据统计家庭和工作地址业务介绍  20:24
    6. 6公司移动实战代码实战  39:40
    7. 7公司移动实战代码实战_第二种方法处理  27:24
    8. 8复习spark原理  9:47
    9. 9.公司移动实战读取文件夹  1:10
  第10章:Spark实战part10
    1. 1.简单的回顾  14:59
    2. 2.sparkstream的介绍  15:35
    3. 3Spark Streaming基本工作原理  8:09
    4. 4.spark_streaming单词统计  36:05
    5. 5输入DStream之基础数据源  9:11
    6. 6sparkstream读取HDFS中的数据  23:10
    7. 7sparkstream读取kafka数据  21:28
    8. 8sparkstream读取kafka数据_direct方式  12:59
    9. 9updateStateByKey统计所以单词  26:49
  第11章:Spark实战part11
    1. 1.sparkstreaming滑动窗口讲解  21:31
    2. 2.滑块统计最高搜索单词  31:26
    3. 3.公司业务流程介绍  17:25
    4. 4.手机项目流程  5:50
    5. 5.html简单介绍  34:18
    6. 6.简单介绍一下跨平台开发  14:58
    7. 7php和手机业务的介绍  43:50
    8. 8生成数据方式  7:01
    9. 9.简单分析一下业务流程  14:32
    10. 1  7:01
    11. 1  14:32
大家可以点击【 查看详情】查看我的课程