Flink 应用场景

先来看看Flink是什么:看一下百度百科

我的理解,同样也是分布式计算引擎,大数据童鞋都知道,大数据处理就是分布式存储和分布式计算,flink用来作大数据的流式计算.

可归为四大模块:

1. 实时数据存储
   实时数据存储的时候做一些微聚合、过滤某些字段、数据脱敏，组建数据仓库，实时 ETL。
2. 实时数据分析
   实时数据接入机器学习框架（TensorFlow）或者一些算法进行数据建模、分析，然后动态的给出商品推荐、广告推荐
3. 实时监控告警
   金融相关涉及交易、实时风控、车流量预警、服务器监控告警、应用日志告警
4. 实时数据报表
   活动营销时销售额/销售量大屏，TopN 商品

流式数据的特点
数据实时到达
数据到达次序独立，不受应用系统所控制
数据规模大且无法预知容量
原始数据一经处理，除非特意保存，否则不能被再次取出处理，或者再次提取数据代价昂贵

实时计算的优势
对于持续生成最新数据的场景，采用流数据处理是非常有利的。例如，再监控服务器的一些运行指标的时候，能根据采集上来的实时数据进行判断，当超出一定阈值的时候发出警报，进行提醒作用。再如通过处理流数据生成简单的报告，如五分钟的窗口聚合数据平均值。复杂的事情还有在流数据中进行数据多维度关联、聚合、筛选，从而找到复杂事件中的根因。更为复杂的是做一些复杂的数据分析操作，如应用机器学习算法，然后根据算法处理后的数据结果提取出有效的信息，作出、给出不一样的推荐内容，让不同的人可以看见不同的网页（千人千面）。

实时计算面临的挑战
数据处理唯一性（如何保证数据只处理一次？至少一次？最多一次？）
数据处理的及时性（采集的实时数据量太大的话可能会导致短时间内处理不过来，如何保证数据能够及时的处理，不出现数据堆积？）
数据处理层和存储层的可扩展性（如何根据采集的实时数据量的大小提供动态扩缩容？）
数据处理层和存储层的容错性（如何保证数据处理层和存储层高可用，出现故障时数据处理层和存储层服务依旧可用？）