重磅来袭 | 尚硅谷在线教育大数据项目发布

教程共分三大部分：采集系统、离线数仓、实时数仓。项目拥有完善的离线指标体系和实时指标体系，各指标体系均进行了完整的指标拆解与分析，形成了庞大的指标网络。涵盖40多个Shell脚本，5大类用户行为日志数据，30多张业务数据原始表格，100多张数仓分层表，分析展示了上百个离线指标、几十个实时指标。

项目采用MaxWell和DataX作为数据采集工具，灵活设计数据采集策略，将采集来的数据同时服务于离线数仓和实时数仓。结合阿里巴巴成熟的数仓构建实践，总结出一套数仓建模理论体系，并梳理出通用的数仓建模步骤。分别使用Hive和Flink构建离线数仓和实时数仓，采用了流行的任务流调度系统DolphinScheduler。