scala 编写 ip count 对apache 日志 IP 简单统计

对apache 日志 IP 简单统计

运行环境

 centos6.5 jdk1.8 spark1.6  scala-2.10.6

创建新项目 没有scala-sdk 的可以点Create 安装scala SDK

引入本地的scala 目录 点击 Browse

引入spark1.6目录下的lib的jar包

日志格式如下：

ip - - [datetime] "....." status ....

编写代码如下：

package z.test

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by z .
  */
object IPCount {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local").setAppName("IPCount")
    val sc = new SparkContext(conf);
    val data = sc.textFile("file:///home/z/App/xxxx_access_apache.log")
    data.map{line=>
      val ip = line.split(" ")(0)
      (ip)}.map((_,1)).reduceByKey(_+_).collect().foreach(println(_))
    sc.stop()
  }
}

输出：

(ip,count)

问题：

Spark 和 Scala 版本问题

我的用的spark2.0.x 和 scala-2.10.6 版本不对应

scala-2.10.6.tgz 与 spark-1.6.2-bin-hadoop2.6.tgz 对应

更多资讯关注公众号