什么是“去ETL”？

OLAP发展到今天，经过了数据仓库、数据湖时代，现在是处理湖仓一体化的时代。

从数据处理技术上讲，也正处于从ETL到“去ETL”的转型期。

数据仓库时期

1、代表技术：

• 关系型数据库，如SQLServer、Oracle、MySQL、Sybase、PostgreSQL、SQLite、Hbase、MariaDB、TIDB等

• ETL：ETL是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。

2、特点：

• 存储空间受限严重
• 原始数据保留较少
• 计算性能瓶颈突出
• 数据分析场景单一

数据湖时期

1、代表技术：

• MapReduce
• SQL on Hadoop。
• ETL

2、特点：

• 存储空间可横向扩展
• 计算能力可横向扩展
• 数据处理开发较复杂
• 不支持在线应用场景

湖仓一体时期

湖仓一体很好的解决了前面两个时期都没有解决的问题。

从OLAP发展阶段，我们会发现其实在2015年都是重依赖ETL的架构。

ETL代表性技术为：

• Kettle
• TOS(Talend Open Studio)

为什么要“去ETL”？

1、ETL开发复杂，ETL工具往往只有很基本的功能，稍复杂的场景就需要二次开发、扩展开发工具。

2、碎片化，不同的ETL工具有不同的开发方式、运行逻辑，相互不能兼容。

3、运维复杂，出了问题先查调度工具，从调度工具显示的位置，再去查ETL执行包，然后还需要看源代码，匹配日志，才能定位问题。

4、性能差，上亿级的数据，如果在处理过程中，涉及到多个数据级关联处理，或者说某个数据集的数据需要在一个较大数据集里进行验证，那性能将非常非常差，几乎不可用。

去ETL以后是什么？SQL！

简单便捷

用SQL来处理数据，不需要编译，直接运行，而且你还可以不需要外部工具，直接在数据库试运行、测试，不过度依赖开发人员。

灵活性强

SQL是一种非常灵活的语言，可以轻松地操作和处理各种类型的数据。使用SQL可以方便地对数据进行筛选、过滤、组合和变形等操作，从而实现各种复杂的数据转换。同时，SQL还支持各种数据库操作，可以方便地对不同类型的数据库进行数据提取和转换。

高效且稳定

SQL是一种成熟且稳定的语言，经过多年的发展和优化，已经成为了数据处理领域的重要工具。使用SQL可以大大提高数据处理效率，减少人工干预，降低出错率。同时，SQL还支持各种优化技术，如索引、视图和存储过程等，可以进一步提高数据处理性能。

易于维护和调试

SQL是一种结构化语言，具有良好的可读性和可维护性。在数据治理过程中，使用SQL可以方便地编写、修改和维护数据转换程序，降低了代码的复杂度和维护成本。同时，SQL还具有良好的调试能力，可以方便地查找和修复错误，提高数据处理流程的稳定性和可靠性。

集成度高

SQL是关系型数据库的标准语言，广泛应用于各种数据库系统。在数据处理过程中，使用SQL可以方便地与各种数据库进行交互，实现数据提取、转换和加载等操作。同时，SQL还支持各种数据库连接方式，如ODBC、JDBC和ADO等，可以方便地与各种应用程序进行集成。

SQL学习成本也很低。

基于“去ETL”化的理念，万山数据推出了湖仓数据治理平台DG4L。

湖仓数据治理工具DG4L特点

• 系统部署低门槛，几乎可以解压直接运行
• 数据集成低门槛，不管是数据库，还是接口数据源，均可使用相同的SQL函数实现数据增量同步
• 数据治理任务开发低门槛，所有的数据处理逻辑都通过SQL完成，无需其它编程语言和工具，无需编译
• 数据分析低门槛，拖拉拽和点选即可完成复杂的数据分析。
• 数据治理看得见摸得着
• 亿级数据秒出结果
• 一条SQL搞定所有数据加工
• 一条SQL搞定所有数据分析
• 一条SQL搞定所有数据集成
• 一条SQL亦可搞定OT数据
• 在线化，可直接服务于报表、接口、数据采集等高并发场景
• 占用空间小，按列进行数据压缩

DG4L架构