大数据运维-监控可视化需求构建总结

1 数据源需求

1.1 主动接入

  需求来源：某些市场银行

1.1.1 API 接入

• 能力要求

1. 支持请求授权接入。（auth 认证）
2. 支持数据快速获取测试验证。
3. 支持数据依赖的参数引用。
4. 支持全量、增量同步（日、时、分、秒）
5. 支持多层级解析 （目前按JSON格式处理）

1.1.2 SDK接入

• 能力要求

1. 支持快速集成SDK 。
2. 支持数据依赖之间的参数引用。
3. 支持数据快速获取测试验证。
4. 支持格式化解析。
5. 支持全量、增量同步（日、时、分、秒）

1.1.3 WebService接入

• 能力要求

1. 支持多种webservice 接入方式。（cxf、axis、http）
2. 支持授权认证。
3. 支持快速接入测试验证。
4. 支持格式化解析。
5. 支持全量、增量同步（日、时、分、秒）

​​​​​​​1.1.4 数据库接入

（db2、oracle、mysql、sqlserver、treadata、postgresql）

• 能力要求

1. 支持数据源池配置。
2. 支持版本驱动。
3. 支持快速接入测试验证。
4. 支持全量、增量同步（日、时、分、秒）

​​​​​​1.1.5 流数据接入

(kafka、hive)

• 能力要求

1. 支持kerbores 认证。
2. 支持数据消费能力。
3. 支持全量、增量同步（日、时、分、秒）
4. 支持不同版本扩展。
5. 支持按生命周期存储。
6. 支持快速接入测试验证。

1.1.6 文件接入

(csv、excel)

• 能力要求

1. 支持快速接入测试验证。
2. 支持按生命周期存储。
3. 支持多sheet 数据处理。
4. 支持本地、远程文件处理。

1.2 被动接入

1.2.1 Udp 接入

• 能力要求