Spark实战项目--电商

项目流程目录

Spark实战项目——电商指标统计

一、引言

  1.1 框架设计原理

  1.2 框架搭建

    1.2.1 Util

      1.2.1.1 EnvUtils

      1.2.1.2 PropertiesUtil

    1.2.2 core

      1.2.2.1 TApplication

      1.2.2.2 TController

      1.2.2.3 TService

      1.2.2.4 TDAO

二、实战项目

  2.1 项目思路

  2.2 原始数据

  2.3 准备样例类

  2.4 需求1：Top10热门品类

    2.4.1 数据结构分析

    2.4.2 数据结果分析

    2.4.3 实现步骤

    2.4.4 代码实现

      2.4.4.1 bean

      2.4.4.2 HotCategoryTOP10ApplicationReview

      2.4.4.3 HotCategoryTop10ControllerReview

      2.4.4.4 HotCategoryTop10DAOReview

      2.4.4.5 HotCategoryTop10ServiceReview

    2.4.5 优化：使用累加器

      2.4.5.1 更新bean

      2.4.5.2 累加器 ：HotCategoryTop10AccumulatorReview

      2.4.5.3 更新HotCategoryTop10ServiceReview

      2.4.5.4 其余结构不变

      2.4.5.5 运行结果

    2.4.6 需求1总结

  2.5 需求2：Top10热门品类中每个品类的Top10活跃点击Session统计

    2.5.1 数据结构

    2.5.2 数据结果分析

    2.5.3 实现步骤

    2.5.4 代码实现

      2.5.4.1 HotCategorySessionTOP10ApplicationReview

      2.5.4.2 HotCategorySessionop10ControllerReview

      2.5.4.3 HotCategorySessionTop10DAOReview

      2.5.4.4 HotCategorySessionTop10ServiceReview

      2.5.4.5 运行结果

    2.5.5 优化：使用广播变量

    2.5.6 需求2总结

  2.6 需求3：页面单跳转换率统计

    2.6.1 数据结构

    2.6.2 数据结果分析

    2.6.3 实现步骤

    2.6.4 代码实现

      2.6.4.1 PageFlowApplicationReview

      2.6.4.2 PageFlowControllerReview

      2.6.4.3 PageFlowDAOReview

      2.6.4.4 PageFlowServiceReview

      2.6.4.5 运行结果

    2.6.5 指定页面转换率

      2.6.5.1 修改PageFlowServiceReview

      2.6.5.2 运行结果

    2.6.6 需求3总结

  2.7 需求4 ：统计页面id的平均停留时间

    2.7.1 数据结构

    2.7.2 需求结果分析

    2.7.3 实现步骤

    2.7.4 代码实现

      2.7.4.1 修改PageFlowServiceReview

      2.7.4.2 运行结果

    2.7.5 需求4总结

三 、项目总结

  3.1 踩过的坑

  3.2 逻辑及优化总结