- 博客(4)
- 资源 (1)
- 收藏
- 关注
转载 Apache Spark学习:利用Scala语言开发Spark应用程序
Spark内核是由Scala语言开发的,因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉,可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习。 本文将介绍3个Scala Spark编程实例,分别是WordCount、TopK和SparkJoin,分别代表了Spark
2016-08-16 18:36:04 607
转载 scala解析一段日志
日志文件,格式如下: # Http-Method IP/domain timesGET www.baidu.com 1234GET www.qq.com 123GET 127.0.0.1 123 GET 10.123.76.3 12 GET 10.123.76.4 343 统计对所有IP的GET请求数, 比如上述的例子已经返回478 import java.io._ import sca
2016-08-15 14:22:14 1500
转载 利用Spark解析Tomcat日志,并将统计结果存入Mysql数据库
原文:http://www.voidcn.com/blog/Netbug_NB/article/p-5992917.html 本文试图实现的需求场景为:以学习Spark知识点为目的,编写Scala利用Spark解析800M的tomcat日志文件,打印一段时间内ERROR级别记录的前10行,统计每分钟的日志记录数,并将统计结果存入mysql数据库中。之前曾用JAVA写过一次同样的处理逻辑,
2016-08-15 13:59:23 858
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人