第52课： Spark大型项目广告点击项目数据建模

1、广告点击行为数据的处理步骤
用户浏览网站时，发生广告点击行为, 处理步骤如下：
1）通过JS等代码发送点击行为到服务器 ⇒
2）Server接受到数据并把数据放在Flume的监控目录之下 ⇒
3）Flume感知到数据后会把数据放到Kafka中 ⇒
4）Spark Streaming读取Kafka中的数据，并进行处理 ⇒
5）流处理的结果交给例如HBase、Redis、MySQL ⇒
6）通过J2EE等技术把分析结果展示出来，以供运营人员决策分析，改善业务。

---

2、数据建模过程
2.1） 数据的预处理和期望的数据结果

• 有效的广告点击行为过滤，得到合法有效数据；
• 广告的排名，全局性的排名和区域性的广告排名
• 广告流量的统计分析
• 广告收益的统计分析

2.2） 表设计：
- 1. user_information 用户信息表
- 2. favorite_items 推荐表，推荐哪些商品
- 3. user_click 用户点击什么广告
- 4. item_informaiton 商品列表
- 5. blacklist 非法用户列表
- 6. ad_information 广告本身列表 什么时候 什么地方被点击
- 7. top5 排名前5 什么时间 什么地方 哪条广告 点击次数多少
- 8. ad_trend 广告点击趋势 友盟 用户行为统计 柱状图 每个小时 每天 每7天 每月的广告点击趋势，如百度趋势
- 9. same_day_history 去年的双11买了什么，今年的双11 将买什么 生日买什么