从0-1建设数仓遇到什么问题?怎么解决的?

本文分享了从0到1建设数仓过程中可能遇到的问题,包括复杂业务梳理、技术选型、机器配置、指标定义、统一维度管理、口径梳理、开发规范、缓慢变化维处理、数仓分层等,并提供了相应的解决方案。同时强调了数据质量管理、元数据管理和统一用户识别的重要性。
摘要由CSDN通过智能技术生成

 

      这个应该算是比较高频的高级的面试题了,第一次听到这个面试题是几个月以前,朋友面试华为阿里滴滴啥的都有问到,近期老徐面微店蚂蚁美团都问到了,所以还是应该引起重视

      在交流群发起这个话题的时候,有响应但是没啥答案,可能是因为大家都不是从0-1搭建数仓的,或者不是数仓方向的,所以大家都在等待有经验的人来讨论一下这个问题,等啊等,硬是没等到。

 

 

        非常遗憾,我也没从0-1搭建过数仓,但是刚好遇到公司模型优化迁移以及数仓内部建设,所以就勉为其难来说说我的看法,仅供参考

一 复杂业务梳理

数仓建设初期,需要了解各种业务,有些业务比较复杂,对数据开发人员的要求比较高,这个时候,需要和业务开发多交流沟通,可以看看他们的详细设计文档,ER图和时序图,多方位去了解,最终落成文档共享

 

二 技术选型困难

技术选型也是需要在数仓建设前就需要考虑的,从数据抽取同步到数据处理再入供需求方使用,需要选择比较合理的技术栈。根据实际需求去选择。

数据同步:sqoop  datax

日志采集:flume  logstash  filebeat

资源调度:yarn

分布式存储:hdfs

数据处理

  • 4
    点赞
  • 31
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据私房菜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值