一、数据库设计规则(三范式)
第一范式:确保每列保持原子性,每个字段值都是不可分解的原子值
第二范式:确保表中的每列都和主键相关
第三范式:确保每列都和主键列直接相关,而不是间接相关
二、BI系统建设
四个阶段:实现可拓展性的展示报表、自助分析功能、添加功能性分析工具、实现业务场景模块。
可拓展性报表:可以通过前端配置json,在API下一层添加QueryAdapter,用于把API接口翻译成相应的sql,然后通过sql查询数据库的形式,来提高前端的扩展性和报表的灵活性。主要包含两个概念,单图(chart)和看板(dashboard),单图是对某个指标的展示,看板是将相互关联的单图集合在一起。单图在前端配置的json格式中,需要明确的几个字段:数据源、指标、维度、过滤器、排序。
自助分析功能:创建单图、创建看板、创建复杂的计算字段、数据源管理。
功能性分析工具:提供一些常用的数据分析工具,例如用户行为路径、用户分群与用户详情、系统监控等工具。
业务场景模板:每个业务场景总会沉淀下来一套固定的分析思路和分析架构,这套固定的分析架构就可以放在BI平台上来实现,例如渠道分析、用户留存分析、用户活跃分析及日常的周月报等。通过分析模板,可以方便快速的查看数分析数据,提高效率。
三、数据分析技能
常规分析:同比环比分析法、ABC分析法
统计模型分析:当掌握了很大的数据量,希望在数据中挖掘出更多信息的时候,一般都可以应用成熟的模型进行比较深入的分析(回归分析:线性和非线性回归、时间序列等;聚类分析、关联分析)
自建模型:
四、指标字典:指标、量度、维度;指标的口径、指标分类(基础指标、普通指标、计算指标)
1)规范维度和量度命名,命名规则要尽量做到明确、通用、易懂;
2)对确认维度或量度,统一计算口径,避免歧义;
3)涵盖尽可能多的关注的核心维度和量度,以此为基础推动数据建设,确保指标字典里覆盖的维度都可区分,指标都可统计;
4)基于指标字典,将核心维度和量度注入元数据中心,接入指标提取工具,后续实现不需要写sql即可完成自助查询及分析需求,可见,指标字典的建立,是搭建数据平台的基础。