- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Apache Spark学习：利用Scala语言开发Spark应用程序
Spark内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习。 本文将介绍3个Scala Spark编程实例，分别是WordCount、TopK和SparkJoin，分别代表了Spark
2016-08-16 18:36:04
607
转载 scala解析一段日志
日志文件，格式如下： # Http-Method IP/domain timesGET www.baidu.com 1234GET www.qq.com 123GET 127.0.0.1 123 GET 10.123.76.3 12 GET 10.123.76.4 343 统计对所有IP的GET请求数, 比如上述的例子已经返回478 import java.io._ import sca
2016-08-15 14:22:14
1500
转载 利用Spark解析Tomcat日志，并将统计结果存入Mysql数据库
原文：http://www.voidcn.com/blog/Netbug_NB/article/p-5992917.html 本文试图实现的需求场景为：以学习Spark知识点为目的，编写Scala利用Spark解析800M的tomcat日志文件，打印一段时间内ERROR级别记录的前10行，统计每分钟的日志记录数，并将统计结果存入mysql数据库中。之前曾用JAVA写过一次同样的处理逻辑，
2016-08-15 13:59:23
858
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人