Storm是一个低延迟、高可用的实时数据处理框架，擅长实时计算。与Hadoop的离线计算不同，Storm数据保存在内存中，通过网络传输。常用于实时监控、日志分析等场景。其核心组件包括Nimbus、Supervisor和Worker。编程模型包含Topology、Spout和Bolt，以及数据单元Tuple和Stream。典型架构是：网络系统→Flume→Kafka→Storm→Redis。
什么是Storm
Strom是一个老牌的实时数据处理框架，在Spark Streaming流行前，Storm统治者整个流式计算的江湖。
更详细的说，Storm是一个实时数据处理框架，具有低延迟/高可用/易扩展/数据不丢失等特点，同时，Storm还提供流类似与MapReduce的简单编程模型，便于开发。
Storm与Hadoop的区别
Storm与Hadoop可以说是数据处理中两种极端场景下的不同解决方案，主要区别有：
- Storm用于实时计算，Hadoop用于离线计算
- Storm将处理的数据保存在内存中，Hadoop则保存在HDFS上
- Storm通过网络传输数据，Hadoop将中间数据保存在磁盘上
Storm的使用场景
- 实时监控与日志分析
- 管道系统
- 消息转换
Strom的核心组件
- Nimbus：负责资源分配和任务调度
- Supervisor：负责接收Nimbus分配的任务，启动和停止属于自己的Worker进程
- Worker：运行具体的处理逻辑的进程，Work运行的任务种类只有两种，一种是Spout任务，一种是Blot任务
- Task：Work中的每个Spout/Blot任务都是一个线程，这
最低0.47元/天 解锁文章
1136
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
