盘点13种流行的数据处理工具

最新推荐文章于 2024-04-10 11:07:43 发布

大数据v

最新推荐文章于 2024-04-10 11:07:43 发布

阅读量4.4k

点赞数 1

文章标签：数据库大数据编程语言 hadoop python

本文链接：https://blog.csdn.net/zw0Pi8G5C1x/article/details/121667970

版权

本文介绍了13种流行的数据处理工具，包括Apache Hadoop、Apache Spark、Hadoop用户体验（HUE）、Pig、Hive、Presto、HBase、Apache Zeppelin、Ganglia、JupyterHub、Amazon Athena、Amazon Elastic MapReduce和AWS Glue，详细阐述了它们的功能和应用场景，旨在帮助读者理解大数据处理的不同选项。

摘要由CSDN通过智能技术生成

导读：我们来看一些流行的数据处理工具。

作者：所罗伯·斯里瓦斯塔瓦（Saurabh Shrivastava）、内拉贾利·斯里瓦斯塔夫（Neelanjali Srivastav）

来源：大数据DT（ID：hzdashuju）

数据分析是对数据进行摄取、转换和可视化的过程，用来发掘对业务决策有用的洞见。

在过去的十年中，越来越多的数据被收集，客户希望从数据中获得更有价值的洞见。他们还希望能在最短的时间内（甚至实时地）获得这种洞见。他们希望有更多的临时查询以便回答更多的业务问题。为了回答这些问题，客户需要更强大、更高效的系统。

批处理通常涉及查询大量的冷数据。在批处理中，可能需要几个小时才能获得业务问题的答案。例如，你可能会使用批处理在月底生成账单报告。

实时的流处理通常涉及查询少量的热数据，只需要很短的时间就可以得到答案。例如，基于MapReduce的系统（如Hadoop）就是支持批处理作业类型的平台。数据仓库是支持查询引擎类型的平台。

流数据处理需要摄取数据序列，并根据每条数据记录进行增量更新。通常，它们摄取连续产生的数据流，如计量数据、监控数据、审计日志、调试日志、网站点击流以及设备、人员和商品的位置跟踪事件。

图13-6展示了使用AWS云技术栈处理、转换并可视化数据的数据湖流水线。

▲图13-6 使用数据湖ETL流水线处理数据

在这里，ETL流水线使用Amazon Athena对存储在Amazon S3中的数据进行临时查询。从各种数据源（例如，Web应用服务器）摄取的数据会生成日志文件，并持久保存在S3。然后，这些文件将被Amazon Elastic MapReduce（EMR）转换和清洗成产生洞见所需的形式并加载到Amazon S3。

用COPY命令将这些转换后的文件加载到Amazon Redshift，并使用Amazon QuickSight进行可视化。使用Amazon Athena，你可以在数据存储时直接从Amazon S3中查询，也可以在数据转换后查询（从聚合后的数据集）。你可以在Amazon QuickSight中对数据进行可视化，也可以在不改变现有数据流程的情况下轻松查询这些文件。

以下是一些最流行的可以帮助你对海量数据进行转换和处理的数据处理技术：

01 Apache Hadoop