摘要: Flume是一个标准,简单,强大,灵活和可扩展的工具,用于从各种数据生产者(网络服务器)到Hadoop的数据摄取。在本教程中,我们将使用简单和说明性的示例来解释ApacheFlume的基本知识以及如何在实践中使用它。 ...
Flume是一个标准,简单,强大,灵活和可扩展的工具,用于从各种数据生产者(网络服务器)到Hadoop的数据摄取。在本教程中,我们将使用简单和说明性的示例来解释ApacheFlume的基本知识以及如何在实践中使用它。
合适人群
本教程面向所有希望学习使用ApacheFlume将日志和流数据从各种Web服务器传输到HDFS或HBase的过程的专业人员。
先决条件
为了充分利用本教程,您应该充分了解Hadoop和HDFS命令的基础知识。
ApacheFlume-简介
什么是Flume?
ApacheFlume是一种工具/服务/数据摄取机制,用于收集聚集和传输大量流数据,如日志文件,事件(等...)从各种来源到集中式数据存储。
Flume是一个高度可靠,分布式和可配置的工具。它主要设计用于将流数据(日志数据)从各种Web服务器复制到HDFS。
Flume的应用 假设电子商务Web应用程序想要分析来自特定区域的客户行为。为此,他们需要将可用的日志数据移入Hadoop进行分析。这里,ApacheFlume来到我们的救援。 Flume用于将应用服务器生成的日志数据以更高的速度移动到HDFS中。 Flume的优点 这里有使用Flume的优点- 使用ApacheFlume,我们可以将数据存储到任何集中式存储(HBase,HDFS)中。 当传入数据速率超过数据可写入目标的速率时,Flume充当数据生成器和集中存储之间的中介,并在它们之间提供稳定的数据流。 水槽提供的特征的上下文路由。 Flume中的事务是基于信道的,其中为每个消息维护两个事务(一个发送器和一个接收器)。它保证可靠的消息传递。 Flume是可靠的,容错的,可扩展的,可管理的和可定制的。 Flume的特点 Flume的一些显着特征如下- Flume从多个Web服务器将日志数据有效地摄入到集中式存储(HDFS,HBase)中。 使用Flume,我们可以立即从多个服务器获取数据到Hadoop。 除了日志文件,Flume还用于导入社交网站(如Facebook和Twitter)和电子商务网站(如Amazon和Flipkart)生成的大量事件数据。 Flume支持大量源和目标类型。 Flume支持多跳流,扇入扇出流,上下文路由等。 水槽可以水平缩放。 |