【网络流量识别】【深度学习】【三】CNN和LSTM—基于信息获取和深度学习的网络流量异常检测

本文是北京大学陆祥林等人,2019年四月发表于ICISDM的一篇文章,收录于ACM网站。

文章题目:基于信息获取和深度学习的网络流量异常检测

原文网址:基于信息获取和深度学习的网络流量异常检测|2019年第三届信息系统和数据挖掘国际会议纪要 (acm.org)

 看文章前注意:

本文利用了IG信息增益将来自KDDCUP-99数据集的41个特征提取出28个作为神经网络的训练数据。然后使用CNN和LSTM构建神经网络对网络流量进行二分类。最后训练结果训练精度达到0.99,测试精度达到0.925

目录

摘要

第一节:导言

第二节:模型架构

2.1 模型架构

2.2 信息增益

2.3 CNN

第三节:实验数据分析

3.1 数据集介绍

3.2 特征选择

 3.3 结果


 摘要

本文提出了一种将CNN和LSTM结合的深度学习方法,用来检测异常网络流量,特别是未知的入侵。在机器学习领域,特征的选择是模型准确的关键要素。因此,本文还提出基于信息增益(IG)的特征选择方法,提取更有价值的特征。这些特征输入模型后,利用CNN提取数据高维特征,然后利用LSTM学习网络流量的时间特性。将模型应用于KDDCup-99数据集,训练精度达到0.99,测试精度0.925,效果较好。

第一节:导言

本文提出一种基于CNN和LSTM组合的入侵检测方法,用于自动学习高维网络流量特征学习时间序列之间的关系。

选择KDDCUP-99数据集,具有百万个良性和恶意连接的网络流量事件可以建模为时间序列数据。首先使用训练集计算每个特征的信息增益,然后将Conv1D应用于选定的特征,以提取层次特征和控制模型拟合的能力。然后反馈给LSTM,以捕获CNN中最大池化层形成的特征时间序列模式。

第二节:模型架构

2.1 模型架构

下图显示了数据处理,训练和测试程序:

 模型总架构如下:

 

 可以看到,经过IG特征提取后,原数据集的41个特征降为了28个特征,经过最大池化层采样成14个,输入到LSTM。然后再经过全连接层,最后输出分类结果,二分类。

2.2 信息增益

信息增益可以认为这个特性带给整个系统的信息量,反应这个特征的重要程度,是衡量提取特征重要性的指标。

2.3 CNN

假设每个特征可以用长度为k的k维向量表示,那么一个TCP/IP数据就可以用长度为n的向量x_{1:n}={x_{1},x_{2},\cdots ,x_{n}}作为输入表示。Conv1D是一个滤波器,也是一个卷积核w\in R^{hk},这里的h表示TCP/IP的一组特征。对输入向量操作后,一个新的特征图c_{i}用下式生成:

                                                  c_{i}=f(w\cdot x_{i:i+h-1+b})

b代表偏置,f函数表示ReLU非线性函数。

池化层为最大池化,不再赘述。

第三节:实验数据分析

3.1 数据集介绍

下图显示了DKK99的数据集的数据片段。每条数据由41个特征和一个标签组成。其中数据的第二,第三,第四和最后一维是字符串,其他都是数据数据。

3.2 特征选择

首先将字符串数据转换为数字表示,然后计算它们的增益。计算每个信息的增益结果如下表,去掉几个增益小的特征,最后,每个数据包含28个特征值,然后将它们输入神经网络进行训练。

 3.3 结果

 异常数据标为1,实现二分类问题。当batch为1000时,训练集和测试集精度如下:

 

 上图显示,epoch大于4时,训练和测试精度不再增加,此时训练精度达到0.99测试精度达到0.925。尝试不同的batch大小,结果如下。结果表明,当batch尺寸增加时,ACC、TPR和FAR趋于平坦,但时间成本迅速下降,直到批次尺寸达到4500,我们认为此时我们的模型的训练和预测效果最好。

卷积神经网络(Convolutional Neural Network, CNN)是一种专门针对图像、视频等结构化数据设计的深度学习模型,它在计算机视觉、语音识别、自然语言处理等多个领域都有广泛应用。CNN的核心设计理念源于对生物视觉系统的模拟,尤其是大脑皮层中视觉信息处理的方式,其主要特点包括局部感知、权重共享、多层级抽象以及空间不变性。以下是CNN技术的详细介绍: ### **1. 局部感知与卷积操作** **卷积层**是CNN的基本构建块,它通过使用一组可学习的滤波器(或称为卷积核)对输入图像进行扫描。每个滤波器在图像上滑动(卷积),并以局部区域(感受野)内的像素值与滤波器权重进行逐元素乘法后求,生成一个输出值。这一过程强调了局部特征的重要性,因为每个滤波器仅对一小部分相邻像素进行响应,从而能够捕获图像中的边缘、纹理、颜色分布等局部特征。 ### **2. 权重共享** 在CNN中,同一滤波器在整个输入图像上保持相同的权重(参数)。这意味着,无论滤波器在图像的哪个位置应用,它都使用相同的参数集来提取特征。这种权重共享显著减少了模型所需的参数数量,增强了模型的泛化能力,并且体现了对图像平移不变性的内在假设,即相同的特征(如特定形状或纹理)不论出现在图像的哪个位置,都应由相同的滤波器识别。 ### **3. 池化操作** **池化层**通常紧随卷积层之后,用于进一步降低数据维度并引入一定的空间不变性。常见的池化方法有最大池化平均池化,它们分别取局部区域的最大值或平均值作为输出。池化操作可以减少模型对微小位置变化的敏感度,同时保留重要的全局或局部特征。 ### **4. 多层级抽象** CNN通常包含多个卷积池化层堆叠在一起,形成深度网络结构。随着网络深度的增加,每一层逐渐提取更复杂、更抽象的特征。底层可能识别边缘、角点等低级特征,中间层识别纹理、部件等中级特征,而高层可能识别整个对象或场景等高级语义特征。这种层级结构使得CNN能够从原始像素数据中自动学习到丰富的表示,无需人工设计复杂的特征。 ### **5. 激活函数与正则化** CNN中通常使用非线性激活函数(如ReLU、sigmoid、tanh等)来引入非线性表达能力,使得网络能够学习复杂的决策边界。为了防止过拟合,CNN常采用正则化技术,如L2正则化(权重衰减)来约束模型复杂度,以及Dropout技术,在训练过程中随机丢弃一部分神经元的输出,以增强模型的泛化性能。 ### **6. 应用场景** CNN在诸多领域展现出强大的应用价值,包括但不限于: - **图像分类**:如识别图像中的物体类别(猫、狗、车等)。 - **目标检测**:在图像中定位并标注出特定对象的位置及类别。 - **语义分割**:对图像中的每个像素进行分类,确定其所属的对象或背景类别。 - **人脸识别**:识别或验证个体身份。 - **图像生成**:通过如生成对抗网络(GANs)等技术创建新的、逼真的图像。 - **医学影像分析**:如肿瘤检测、疾病诊断等。 - **自然语言处理**:如文本分类、情感分析、词性标注等,尽管这些任务通常结合其他类型的网络结构(如循环神经网络)。 ### **7. 发展与演变** CNN的概念起源于20世纪80年代,但其影响力在硬件加速(如GPU)大规模数据集(如ImageNet)出现后才真正显现。经典模型如LeNet-5用于手写数字识别,而AlexNet、VGG、GoogLeNet、ResNet等现代架构在图像识别竞赛中取得突破性成果,推动了CNN技术的快速发展。如今,CNN已经成为深度学习图像处理领域的基石,并持续创新,如引入注意力机制、残差学习、深度可分离卷积等先进思想。 综上所述,卷积神经网络通过其独特的局部感知、权重共享、多层级抽象等特性,高效地从图像数据中提取特征并进行学习,已成为解决图像视频处理任务不可或缺的工具,并在众多实际应用中取得了卓越的效果。
评论 37
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值