强强联手 | 尚硅谷&腾讯云EMR离线数仓教程发布

腾讯云EMR是由腾讯云打造的线上租赁式大数据解决方案平台，一站式高效部署。使用便携，没有繁琐的配置文件，直接线上修改配置；应用灵活，可以选择腾讯云提供的服务，也可以自行安装搭建服务。本套离线数仓项目由尚硅谷和腾讯云官方联合推出。

项目基于腾讯云EMR平台打通数据采集通道，从数仓建模到逐层构建离线数仓，拥有完整的数仓建模理论及建模过程，且在构建过程中采用了腾讯云EMR平台组件和原生组件相结合的方式，让企业在组件选择上更加灵活。通过本套教程的学习，你将全方位掌握腾讯云大数据服务组件的使用和调优！

教程目录

01.腾讯云EMR离线数仓教程简介

02.采集模块介绍

03.课程目标

04.数据仓库概念

05.项目需求

06.技术选型

07.数据流程设计

08.框架版本选型

09.服务器选型

10.集群规模&规划

11.电商业务简介

12.选购EMR集群

13.远程连接

14.修改主机名

15.配置主机映射

16.配置免密登录

17.电商业务数据分析

18.上传资料包

19.MySQL安装与启动

20.远程连接MySQL&建库建表

21.业务数据生成

22.Kafka服务安装

23.Kafka服务群起&测试

24.Flume&同步策略和工具概述

25.开启MySQL Binlog 配置信息

26.开启MySQL Binlog 测试

27.使用Sqoop完成全量数据同步

28.增量数据同步数据通道

29.Flink部署

30.FlinkCDC简单代码说明

31.FlinkCDC简单代码本地测试

32.FlinkCDC完整代码说明

33.FlinkCDC完整代码打包测试

34.Flume配置文件

35.增量数据同步测试

36.Flume脚本完成

37.构建离线数仓文档说明

38.数据仓库概述

39.建模准备工作

40.建模具体工作

41.Hive环境准备-修改配置

42.Hive环境准备-测试

43.Yarn环境准备

44.开发环境准备说明

45.ODS层-建表

46.ODS层-装载数据

47.DIM层-商品维度表

48.DIM层-优惠券维度表

49.DIM层-活动维度表

50.DIM层-地区维度表

51.DIM层-用户维度表

52.DWD层-加购事实表

53.DWD层-下单事实表

54.DWD层-取消订单事实表

55.DWD层-其他事实表&脚本封装

56.DWD层-数据展示

57.DWS层-交易域用户商品粒度订单需求-需求分析

58.DWS层-交易域用户商品粒度订单需求-建表&装载数据

59.DWS层-交易域用户商品粒度退单需求-建表&装载数据

60.ADS层-品牌订单统计

61.ADS层-交易综合统计

62.数据可视化-建表&导出数据

63.数据可视化-最终总结