本文为数据茶水间群友原创,经授权在本公众号发表。
关于作者:我是水大人,资深潜水员,一个基于开发、面向分析、走向全栈的饱经摧残的数据新手,爱折腾不爱玩,爱总结爱思考的老兵,错了改改了又错的惯犯。
0x00 前言
报表开发在很多的数据从业人员看来几乎都或多或少的要涉及,也广泛被认为是最没技术含量,最容易被替代的。其实在各大招聘网站上也找不到报表工程师这个职位,但是它却隐藏在大数据BI工程师、数据分析师、数据开发工程师等JD的要求上。而且广泛的被数据分析师来承担成构建数据监控体系来一言以蔽之。个人认为,搭建产品的基础报表体系是大数据BI工程师的主战场,数据分析师只是在基础的报表体系基础上完善开发专题分析的报表。然而由于现在的数据工作并无明显的界限划分,但严格来说,一个产品的基础数据体系搭建是大数据BI工程师的正统职责。本文以报表工程师自我修养的目标——大数据BI工程师,介绍报表工程师如何提高自我修养。
通过本文的阅读,你将获得以下四方面的认知:
1.BI工程师日常工作
2.BI工程师技能分解
3.BI工程师注意事项
4.BI工程师职业发展和思考
0x01 BI工程师日常
大数据BI工程师的日常工作可简单总结如下:
数据体系
协助数据产品、分析师完成数据体系蓝图的搭建,将指标定义准确落地形成高可扩展的统计代码。快速搭建新增、留存、活跃、回流等基于用户型产品的大盘体系,辅助LTV、用户价值、用户分层等体系的建立。
接收报表需求进行报表开发
BI工程师的重点职责,报表需求评审完后,将报表定义的指标口径严格落实成代码逻辑,开发数据集市,并使用报表开发工具进行BI报表配置。报表开发是数据开发最直观的成果体系,因此也被戏称为”表哥表姐“。
接收埋点需求进行埋点设计
埋点设计工作是BI工程师的重点工作之一。参与埋点需求评审等阶段,将数据产品转化的或者直接对接产品,将数据采集需求准确无误地落实成埋点设计,供业务开发进行埋点设计参考,过程中会进行埋点释疑沟通,确保业务开发准确无误地理解埋点设计,同时后续也会参与到埋点验收。需要说明的是埋点的整个流程数据开发未必会全程参与,但是埋点设计这一环一定得是数据开发主导。
负责日常数据正常产出,发现问题并及时定位
报表数据正常产出是BI工程师的日常例行工作,但是ETL延迟、计算错误等情况都会影响其正常产出,此时
要依据数据血缘及时定位和解决问题,虽然也有任务自动调度的加持和任务异常的预警,但并不是全能的,大多时候还是需要大数据BI工程师介入,此外某个任务的计算优化,提高数据产出的效率,也是大数据BI工程师的职责之一。
指标异常波动分析
虽然指标异常波动分析,很多时候都会作为数据分析师的专题来进行,但牵涉到数据异常、计算异常的情况下,首先由大数据BI工程师进行排查。
临时提数需求
BI工程师的工作会和数据产品、数据分析师重叠,承接一部分底层数据的提数,比如用户行为log、上报行为排查等
0x02 BI工程师技能分解
基础能力
技术能力:
linux、shell、sql(mysql/hive/spark)、excel、python/r、tableau/powerbi
<