-
ETL (数据仓库技术)
ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。
ETL一词较常用在
数据仓库,但其对象并不限于数据仓库。
信息是现代企业的重要资源,是企业运用科学管理、决策分析的基础。目前,大多数企业花费大量的资金和时间来构建
联机事务处理OLTP的业务系统和
办公自动化系统,用来记录事务处理的各种相关数据。据统计,数据量每2~3年时间就会成倍增长,这些数据蕴含着巨大的商业价值,而企业所关注的通常只占在总数据量的2%~4%左右。因此,企业仍然没有最大化地利用已存在的数据资源,以致于浪费了更多的时间和资金,也失去制定关键商业决策的最佳契机。于是,企业如何通过各种技术手段,并把数据转换为信息、知识,已经成了提高其核心竞争力的主要瓶颈。而ETL则是主要的一个技术手段。
ETL工程师就是在ETL的各个技术环节的工程师了,要实现各种操作,如
抽取(extract)、转换(transform)、加载(load)。其中包含,根据不同项目在系统中实现业务逻辑处理,保证数据完成ETL操作,保证ETL环境,解决报错问题,输出脚本,设计初始化方案等都有可能是ETL工程师的工作内容。
ETL工程师,主要技术发展方向侧重与数据库、或大批量数据处理方向, 今后可以向
数据库开发工程师
、数据库架构师、
数据分析师
等方面发展。