CERT NetSA Security Suite遇见 Spark：网络流量分析新操作

网络流量分析，广泛运用于流量监控、网络安全检测、用户行为分析、计费管理或其他网络活动中。说起网络流量分析工具，很多人会想到Tcpdump和Wireshark。Tcpdump是很好用的抓包工具，Wireshark用户界面也十分友好，但是面对大规模网络环境，它们都显得很无力。

那么，大规模网络环境下，网络流量分析问题怎么破？

我们可以借助CERT NetSA开发的工具和Spark来轻松实现较大规模网络分析。


 
 
CERT NetSA工具简介
CERT NetSA Security Suite是由美国卡内基梅隆大学的网络应急响应组（CERT）开发的一套网络流量分析工具套件，用于分析大规模网络流量。我们主要讨论的是套件中的YAF和super_mediator。



SiLK工具套件支持网络流数据的高效收集、存储和分析，使网络安全分析人员能够快速查询大型历史流量集。SiLK非常适用于分析大型分布式企业的网络流量，以及中型ISP的骨干网络或边界流量。SiLK工具分为两种类型：包装系统和分析套件。包装系统中的rwflowpack，用来收集IPFIX、NetFlow v9或NetFlow v5等的流量，并将数据转换为一种节约存储空间的格式，然后记录到特定的SiLK文件中。分析套件可以读取SiLK格式文件，并执行各种查询、统计和过滤操作。



YAF工具可以处理tcpdump产出的pcap格式文件，将其打包成yaf格式文件，也可以实时捕获一个网卡的流量，将其转化为双向流，然后输出给IPFIX收集程序或基于IPFIX格式的文件。YAF的输出可以直接用SiLK的分析套件来进行分析。YAF还有深度包解析的插件，支持主流的应用层协议。



super_mediator是一个中间件，用于将YAF的输出转换为csv和json格式文件，或者存储到mysql中。
CERT NetSA工具安装与配置
以下介绍ubuntu环境下，以服务的方式安装配置相关工具，搭建一个流量采集节点。
安装依赖的库
NetSA的工具依赖glib2-dev和libpcap，直接apt-get安装：

 
 
 

  
  
  sudo apt-get -y install libglib2.0-dev

sudo apt-get -y install libpcap-dev
 
 
 
libfixbuf是我们依赖的，按照以下流程安装：

 
 
 

  
  
  wget http://tools.netsa.cert.org/releases/libfixbuf-1.7.1.tar.gz

tar -zxvf libfixbu