StreamSets实战之路（十一）-基础篇- StreamSets-数据流开发- Edge数据流设计

主要介绍StreamSets中Edge数据流设计，以系统硬件指标采集为例，将从指定的机器上采集相关指标，并将指标发送到数据流中进行处理。

  

Edge数据流是使用较少资源在远端设备运行的工作流（支持的设备系统包括：linux、mac、win、arm等），主要工作物联网设备终端进行数据采集以及进行简单的数据处理，达到终端设备的智能处理，另外，数据在终端设备中进行简单处理，可以减少数据传输，减少带宽占用。

 

（1）创建一个Edge数据流

 

（2）设置数据流，将System Metrics拖入，用于设备硬件指标的采集；将Expression Evaluator、Field Remover拖入，用于将hostid、hostname从hostInfo中提取处理，并删除多余的hostInfo数据；将Destination组件的HTTP Client的组件拖入，用于将数据发送到HTTP 服务端（数据收集端）。

（3）创建一个HTTP服务数据流，将接受edge数据流发送的数据，并启动

 

（4）下载edge并安装

下载Edge过后根据StreamSets实战之路（二）-环境篇- StreamSets安装与配置进行安装和启动

 

 

（5）发布edge数据流到指定设备

 

（6）启动edge数据流，并观察采集到的数据

Streamsets实战之路正在更新中，尽情期待！！！

 

 

此文章为博主原创，转载请标明出处和原始链接，谢谢。