大数据技术选型之阿里云框架与开源框架对比

阿里云产品                                    简 介                                                        类 比

DataHub                                    数据总线                                         Kafka +各种服务接口

MaxCompute                      大数据计算框架                                     Hadoop+Hive+调度器

DataWorks              可视化MaxCompute的 开发管理平台                        目前没有

RDS                                 关系型数据库                                                      MySql

QuickBI                          可视化数据展示工具                              Tableau、Echarts、Kibana

ECS                                    弹性服务器                                                  Linux服务器

 

                                    阿里云框架                                        开源框架

数据采集传输：  Flume、DataHub、RDS              Flume、Kafka、Sqoop、DataX

数据存储       ：  MaxCompute、DataWorks          Mysql、Hadoop、HBase

数据计算       :    MaxCompute、DataWorks           Hive、Spark、Flink

数据可视化   :    QuickBI                                         Tableau、Echarts、Kibana

 

系统数据流程设计

DataHub

日志生产服务器ECS （用户行为日志）

QuickBI

业务系统

RDS

RDS

分析结果