Zhang Phil

Logstash（data collector，数据收集器）不负责生产数据、不负责存储数据，只是数据的搬运工。一种实时的大数据采集组件，即插即用。通常，logstash做为数据泵，泵出日志数据，logstash本身可以实时的对数据做一定强度和复杂度的适配和封装（定制成格式化的JSON帧），即进行标准化工作。logstash是行业内老牌的数据采集器。logstash本身是JRuby实现的，JRuby跑在JVM之上，在logstash早期的版本中，由于JVM和logstash两者的原因，性能在长期连续运行

spark streaming启动失败，报错：Cannot run program "python3"如图：找不到Python3。解决方案，最简单和直接的方法是在Python的目录下，把python.exe复制一份，修改名字为Python3.exe即可。

报错：Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: No output operations registered, so nothing to execute原因：在start后，没有触发spark的流数据动作，任意一个触发DStream的动作即可解决该问题，比如JavaReceiverInputDStream的：print()...

启动spark streaming失败，报错为：原因: java.lang.NoClassDefFoundError: org/apache/spark/api/java/function/FlatMapFunction解决：在pom.xml里面，原配置 <dependency> <groupId>org.apache.spark</groupId> <artifactId>