网络与信息安全学习（八）

1、入侵检测的定义

        入侵检测（Intrusion Detection）是对入侵行为的发觉，通过在计算机网络系统若干关键点收集信息，并对其进行分析，从中发现网络或系统中是否有违反安全策略的行为和被攻击的迹象。

           入侵检测是继防火墙之后保护网络系统的第二道防线，属于主动安全防御技术，它能对入侵事件和入侵过程实时响应，入侵检测是防火墙的合理补充。

入侵检测扩展了系统管理员的安全管理能力（包括：安全审计、监视、进攻识别和响应能力），它从计算机网络系统中的若干关键点收集信息，通过分析检测网络中是否有违反安全策略的行为。

入侵检测在不影响网络性能的情况下对网络进行监测，在发现入侵后，及时作出响应，包括：切断网络连接、记录事件和报警等，提供对内部攻击、外部攻击和误操作的实时保护。

2、入侵检测系统的定义

入侵检测系统（Intrusion detection system，简称IDS）是一种通过观察、分析行为、日志或审计数据而检测入侵，并可报警或采取响应措施的系统，它属于主动防护安全设备。

本质上IDS就是一个没有跨接在任何链路上，不一定要有网络流量流过的监测装置。

Venustech(启明星辰）、Internet Security System（ISS）、思科等公司都先后推出IDS设备。

3、IDS的分类

根据信息来源，IDS分为：基于网络的IDS和基于主机的IDS。

根据检测方法，IDS分为：基于异常（行为）的入侵检测和基于规则（特征）的入侵检测。

根据状态，IDS分为：静态的入侵检测和动态的入侵检测。

4、IDS的基本组成

       1）事件产生器

       2）事件分析器

      3）响应单元

      4）事件数据库

5、IDS的功能

监视和分析用户行为及系统活动；

审计系统的弱点；

识别攻击模式并报警；

异常行为模式统计分析；

检测重要系统文件或数据文件的完整性；

审计跟踪操作系统，并识别违反安全策略的行为。

 6、IDS的部署

9.1.2 入侵检测过程

        分为：信息收集、信息分析和结果处理三个阶段。

   1.信息收集

包括：收集系统、网络及用户状态或行为的数据，且在网络或系统中的若干关键点（不同网段和不同主机）进行收集，对来自不同源的信息进行特征分析和比较。

入侵检测收集的信息主要来自以下三个方面：

     1）系统和网络日志文件

黑客常会在日志文件中留下踪迹，日志中包含发生在系统或网络上的不寻常和不期望的活动，这些活动表明，有人正在入侵系统，IDS将快速启动应急响应。

     2）非正常的目录和文件改变

包括：修改、创建和删除目录和文件。

    3）非正常的程序执行

系统上程序的执行一般通过多个进程来实现，若进程出现了不期望的行为，表明有黑客正在入侵系统。

  2.信息分析

对收集到的信息，IDS通过模式匹配、统计分析和完整性分析三种方法进行分析：

     1）模式匹配

        将收集的信息与数据库中已知的入侵模式进行比较，攻击模式可用一个过程（如：执行一条指令）或一个输出（如：获得权限）表示，从而发现违背安全策略的行为，即入侵。

     特点是：检测准确率高。不足是：无法检测到未知攻击。

     2）统计分析

        先给系统对象（如：用户、文件、目录和设备等）创建一个统计描述，对测量属性（如：访问次数、操作失败次数和延时等）进行描述和统计，把测量属性的平均值与网络系统的行为进行比较，当观察值在正常值范围之外时，说明有入侵发生，从而检测到一些未知的入侵。

         缺点是：误报率和漏报率较高。

        常用的统计分析方法：基于专家系统的分析、基于模型推理的分析和基于神经网络的分析。

  3）完整性分析

指分析系统中某个文件或对象是否被更改，包括：文件和目录的内容及属性。

完整性分析可用加密机制，如：MD5来分析和识别微小的变化；对发现被更改的、被木马化的应用程序特别有效。

特点：只要攻击导致文件或其它对象的改变，完整性分析方法都能发现。

不足：完整性分析需要批处理，且只能用于事后分析而不具有实时性。

3.结果处理

控制台按照响应报警并采取相应措施，如：重新配置路由器或防火墙、终止进程、切断连接、改变文件属性等。

9.1.3 入侵检测模型
 

1、IDES模型（入侵检测专家系统）

    用统计分析算法检测异常未知入侵行为，同时用一个专家系统检测模块检测已知的入侵攻击模式，以期望进化该入侵检测系统。

     IDES运行在独立的硬件平台上，处理从多个目标系统通过网络传送过来的审计数据，实时检测违反安全规则的活动。

2、CIDF模型

       DARPA和互联网工程任务组IETF的入侵工作组IDWG，制订了一系列规范IDS的标准，提出“公共入侵检测框架CIDF模型”。

       这个模型的工作包括：IDS的体系结构、通信机制、描述语言和应用编程接口API。

      CIDF将入侵检测系统分为四个基本组件：事件产生器、事件分析器、响应单元和事件数据库。

9.2 入侵检测系统
 

    9.2.1 基于主机的IDS

    1、HIDS概述

       基于主机的入侵检测系统HIDS查看针对可疑行为的审计记录，把新的记录与攻击特征模式进行比较，并检查不应被改变的系统文件的校验和，分析是否被入侵。

       如果发现与攻击模式匹配，IDS系统通过报警来响应，以阻止进一步的攻击。

      HIDS通常安装在被重点检测的主机之上，如：数据库服务器，对该主机的网络实时连接以及系统审计日志进行智能分析和判断。

   2、主要特点

      1）既可检测外部入侵，也可检测内部入侵。

      2）监视所有系统行为。

       基于主机的IDS能够监视所有用户的登录和退出，甚至用户所做的所有操作，包括：审计系统在日志里记录的策略改变、关键系统文件和可执行文件的改变等。

       3）适应灵活配置和加密。

       4）不要求额外的硬件。

       5）主机IDS比网络IDS误报率要低。

  3、检测方法

     1）异常检测（基于行为的检测）

异常检测采集合法用户在某段时间内的行为数据，然后统计检验被监测的行为，以较高的置信度确定该行为是否不是合法用户的行为。

      2)特征检测（基于规则的检测）

特征检测基于规则或攻击的模式，用于确定一个给定的行为是否为入侵。

9.2.2 基于网络的IDS

  1.NIDS概述

基于网络的入侵检测(Network Intrusion Detection)系统通过工作在混杂模式下的网卡，实时监视和分析所有的通过网络的原始数据包。

一旦检测到攻击，响应模块将按照配置做出响应，响应包括：发送电子邮件、记录日志、切断网络连接等。

NIDS通常部署在重要的网段内，监视网段中的数据包，通过实时地对每一个数据包进行特征分析，发现入侵模式。

目前，大部分入侵检测系统都是基于网络的！

      需注意：NIDS是检测网络上的数据包，而HIDS是检测主机上的用户和软件的活动行为，两者不同。

2.主要特点

       1）成本低。

       2）检查所有的包头。

       3）捕获的数据可作为起诉证据。

       4）具有更好的实时性。

       5）不依赖主机操作系统。

       6）不改变主机配置，不影响系统性能。

       7）配置简单，安装方便。

3.监控器（监控模块）

NIDS大量使用传感器监控数据包流量，服务器负责NIDS的管理，控制台提供人机交互界面和分析流量。传感器监视整个网络，并将数据收集起来，传到NIDS的检测中心。

传感器的工作模式：内嵌传感器与被动传感器。

内嵌传感器位于某一网段内部，以使正在监控的流量必须通过传感器。

被动传感器监控网络流量的备份，实际的流量并没有通过这个设备，被动传感器比内嵌传感器更有效。

被动传感器通过一个分接器连接到网络传输介质，如：光缆。分接器为传感器提供介质上网络流量的一个副本，这样不会造成包延迟的问题。

分接器的网络接口卡（NIC）通常不配置IP地址，而传感器连接到网络的NIC配置IP地址，以使传感器能与NIDS管理服务器进行通信。

9.2.3 分布式入侵检测系统
 

分布式入侵检测系统（Distributed intrusion detection system，简称DIDS) 由多个部件组成，分布在网络的各个部分，进行数据采集、审计分析等，通过中心控制部件实现数据汇总、入侵报警等。

 9.2.4 IDS的局限性
 

    1.主机IDS的局限性

        1）降低应用系统的效率。

        2）需要服务器固有的日志与监视能力。

        3）全面部署主机IDS代价高。

        4）不监测网络上的情况。

    2.网络IDS的局限性

       1）监测范围的局限。

       2）产生大量分析数据流量。

       3）检测加密通信行为困难。

9.3 入侵检测系统关键技术

9.3.1  异常检测技术

关键技术体现在采用什么样的检测方法上，异常检测又称做基于行为的检测。

这种检测技术基于以下假设：入侵者的行为和合法用户的行为之间存在可能量化的差别。

对入侵者的行为若定义过于松散，易导致误报，即将授权用户误认为入侵者。对入侵者的行为若定义过于严格，则易导致漏报，可能漏过真正的入侵者。

基于用户行为的检测属于概率检测范畴，即通过用户的行为参数来检测入侵。在这种方法中，授权用户的历史记录是检测的基础。目前有：基于神经网络算法的检测，基于数据挖掘方法的检测等。

IDS中异常检测技术的具体方法：
 1）基于贝叶斯推理的检测法

    2）基于统计的异常检测法：     通过对当前特征与以前已建立的特征比较，判断当前行为的异常性。

    3）数据挖掘检测法

网络审计记录大多以文件形式存放，数据挖掘检测从审计文件数据中提取有用的知识，然后用这些知识去检测异常入侵，此方法处理大量数据和数据关联分析的能力较强，但实时性较差。

此方法常采用KDD(Knowledge Discovery in Database，知识发现数据库）算法。

   4）基于应用模式的检测法

该方法根据服务请求类型、长度、请求包大小分布，计算网络服务的异常值。

通过实时计算出的异常值和所训练的阈值相比较，从而发现异常行为。

基于行为的入侵检测具有通用性强、漏报率低、操作方便等优点，但存在着误报率高 、阈值难以确定等缺点。

  9.3.2  误用检测技术

又称基于规则的检测。通过已知入侵方式，分析入侵过程的特征、条件、排列以及事件间关系，具体描述入侵行为，然后，根据已定义（描述）好的入侵模式，比较和判断已知入侵。这种方法依据特征模式库进行判断，检测准确度较高。

IDS中误用检测技术的具体方法：

     1）专家系统法

    专家系统将有关入侵知识转化成if-then结构的规则，即将构成入侵所要求的条件转换为if部分，而将发现入侵采取的相应措施转化成then部分。

    2）模式匹配法

 模式匹配法把收集到的信息与网络入侵和系统模式数据库中的信息进行比较，以发现违背安全策略的行为。

模式匹配法检测的准确率较高，系统占用少，但需不断升级，且不能检测未知攻击。

   3）状态转换法

将入侵过程看作一个行为序列，分析时先确定系统的初始状态和被入侵状态以及转换条件，然后，用“状态图”表示状态和特征事件，通过对事件序列的分析，进行状态转换。

这种方法不能分析过于复杂的事件，且不能检测与系统状态无关的入侵。（举例：验证码登录）

9.4 入侵检测系统的部署
 

 在实际中，根据网络的安全需求，选取不同类型的IDS，并采取相应的部署方式。

 9.4.1 基于网络的部署

在交换式网络中，IDS尽量部署在靠近受保护资源的位置。如：服务器区域的交换机上；Internet接入路由器之后的第一台交换机上；重点保护网段的局域网交换机上等。

    1.部署方式

       1）在线部署方式：部署于网络的关键路径上，对流经的数据流进行深度分析，实时防御来自外部和内部的攻击。

  2.具体部署位置

      1）部署在防火墙之后

此时IDS检测穿透防火墙的攻击和来自网络内部的攻击，网管通过IDS了解哪些攻击真正对网络构成威胁。

      2）部署在重要网段内

如：服务器区网段；财务部子网，对该子网中的连接进行监控；内部两个子网之间，监视子网之间的连接。

IDS的监听端口一般接在交换机的调试端口（Span port）上或专为监听增设的分接器上。部署并配置完成基于网络的IDS后，为提高保护级别，还可再部署基于主机的IDS。

 9.4.2 基于主机的部署

基于主机的IDS一般部署在重要的主机上，如：数据库服务器、通信服务器或Web服务器等服务器中。

基于主机的IDS若采用异常检测法，需要进行配置，且日志和升级的维护较繁琐，采用误用检测法一般不需配置。

 9.4.3 报警策略

IDS得到报警数据之后，并不是马上报警，而是根据报警策略进行处理后，再行报警。

IDS直接产生的报警数据可能存在以下问题：

     1. 产生的报警信息过多，如：C类网络中的IDS，一天可能产生上千条报警。

     2.一个异常事件可能会触发产生多个报警。

     3.报警事件之间可能存在逻辑关系。

    4.因时间误差和延时等原因，报警序列存在时序关系。

        现代IDS采取联合、关联或组合等方法，先对大量的直接报警数据（事件）进行分析、加工和整理，然后再行报警，以提高报警的准确率，降低误报率和漏报率。

9.5 入侵检测新技术简介
 

9.5.1 基于免疫的ID技术简介

该方法通过模仿生物体的免疫系统工作机制，使受保护的系统能将非自我(non self)的非法行为与自我(self)的合法行为区别开。

特点与功能：

       1)分布式保护

          基于免疫的入侵检测系统由分布于整个系统的多个代理组件组成，这些组件之间相互作用，提供对系统的分布式保护。

       2)多样性     在入侵检测系统中有多样组件，以提供多种模式识别。

    3)健壮性      系统中有足够多的组件。

    4)适应性      系统有自适应能力，能通过学习辨识病原。

    5)记忆性    系统能记住由适应性学习得到的入侵病原的特征结构，使系统在以后遇到类似结构特征的入侵病原时，能快速的识别和反应。

    6)异常检测     系统有检测新病原的能力。

         总之，基于免疫的入侵检测综合运用了异常检测和误用检测两种方法。

9.5.2  基于遗传算法的ID技术简介

 遗传算法是一种进化算法，它吸收了达尔文自然选择法则(适者生存)的优化原理。

该方法把事件数据定义为：假设向量，由向量指示是入侵或不是入侵，然后测试假设是否正确，并基于测试结果设计一个改进的假设。

遗传算法分析分成两步：

       第1步       用位串对问题的解决办法进行编码。

       第2步     与进化标准比较，寻找合适函数测试群体中的个体，并使用一个假设的n维向量集。

 

实验表明，这种方法对攻击的检测率达到0.996。对于200次攻击的样本集，一般系统要超过30分钟才能生成审计记录，而该方法只需l0分25秒即可完成，检测效果较好。

9.5.3 基于数据挖掘的ID技术简介

用数据挖掘技术对网络异常模式进行提取和分析。先将网络数据进行预处理，再运用数据挖掘技术分析攻击特征，检测异常入侵。

数据挖掘中的分类、关联算法，可对审计数据进行关联及序列分析，挖掘出可用的关联规则和序列规则。

挖掘数据常用的方法：分类、连接分析和顺序分析。

9.5.4 入侵防护系统

入侵防护系统（Intrusion Prevention System，简称IPS）是一种能够阻止数据包进入的IDS，在防火墙的指令集中增加IDS的算法就构成IPS，IPS串联于网络之中。

IPS是防火墙功能的增强，可阻止可疑网络数据包的进入。它以硬件的方式实现网络数据流的捕获和检测，并使用硬件加速技术进行数据包的深层分析。

IPS突破传统IDS只能检测不能防御入侵的局限，通过丢弃数据包来阻止可疑流量的进入。

IPS还能监视交换机上的端口，通过向路由器或者防火墙发送命令来阻止网络流量。

   1.基于主机的IPS

HIPS同时使用误用检测和异常检测两种技术来识别攻击，一方面分析数据包中有效载荷的内容，寻找恶意数据模式，另一方面寻找显示出恶意代码特征的程序行为。

   功能：

    1) HIPS能检查每个系统调用的恶意特征。

    2) HIPS能确保文件非恶意的访问系统调用，且符合安全策略。

    3) HIPS能确保系统注册表保持完整。

    4) 主机I/O：HIPS能检测客户端与网络及其设备的交互。

 

除了规则检测和异常检测外，HIPS还使用“沙箱方法”          先将一些可疑代码隔离在独立的系统区域内，然后，运行它并监视其行为，若发现这些代码违反预先定义的行为特征，就禁止这些代码在正常系统环境中执行。

2.基于网络的IPS

NIPS具有丢弃数据包和拆除TCP连接的功能。

NIPS使用“流数据保护技术”对数据包序列中的有效载荷进行重装，当一个数据包到达时，IPS对流内容进行过滤，如确定为恶意，则IPS将所有属于这个可疑数据流的数据包都丢弃，从而阻断攻击！

NIPS识别恶意数据包的方法：

    1) 模式匹配     扫描进入的数据包，寻找数据库中已知攻击的特定字节序列（即特征）。

    2) 状态匹配      在一个上下文相关的传输流中扫描攻击特征码。

    3) 协议异常       按照RFC中提及的协议标准集寻找偏差。

    4) 传输异常     寻找不正常的传输连接活动，如：UDP数据包的Flood流攻击。

    5) 统计异常     设置正常连接活动和吞吐量的基线，若基线发生偏离时就报警。

 9.6 入侵检测系统应用实例

9.6.1 典型IDS介绍

    1.H3C IPS系统

H3C SecPath IPS（Intrusion Prevention System）集成了入侵防御与检测、病毒过滤、带宽管理和URL过滤等多种功能，可进行7层分析与检测，能实时阻断网络流量中隐藏的病毒、蠕虫、木马、DDoS等攻击和恶意行为。

T5000-S3采用多核架构及分布式搜索引擎，使其在大流量及复杂应用环境下，仍具备深度检测和防护的能力，时延只是微秒级。

通过掉电保护、双机热备等高可靠性的设计，它能保证在断电、软硬件或链路故障的情况下，使网络仍能保持畅通，用户的业务不间断。

     1）较强的入侵抵御能力

T5000-S3 IPS集成了漏洞库、专业病毒库和应用协议库，特征库数量已达10000多，能识别并实时防范多种网络攻击和滥用行为。另外，此型号IPS通过国际权威组织CVE的兼容性认证。

    2）专业的病毒查杀

T5000-S3 IPS集成卡巴斯基防病毒引擎，内置卡巴斯基专业病毒库，采用第二代代码分析技术、新一代虚拟脱壳和行为判断技术，可查杀各种已知病毒、变种病毒和未知病毒。

    3）控制带宽滥用

    4）保护网络基础设施

当攻击发生或大规模爆发病毒导致网络流量激增时，能自动发现并阻断攻击和异常流量，以保护路由器、交换机等网络基础设施。

    5）组网模式灵活      支持在线或旁路方式部署。

  2.Snort系统

Snort是一个开源的轻量级的网络入侵检测系统NIDS，它具有实时分析数据流量和记录IP网络数据包的能力，能够进行协议分析，对网络数据包内容进行搜索/匹配，能检测各种不同的攻击方式，对攻击进行实时报警。

     1）Snort的主要特点

能截取网络数据报文，进行实时分析。使用灵活的规则语言描述网络数据报文。支持实时报警。支持插件功能。能记录网络数据到日志文件。有较好的扩展性和可移植性。

     2）Snort的工作模式，有三种工作方式：嗅探器、数据包记录器和入侵检测。

     3）Snort的功能架构

Snort的架构由4大软件模块组成：

     4）Snort的规则定义

        Snort的规则是基于文本的，规则文件按照不同的组进行分类，如：文件ftp.rules包含了FTP攻击内容。

       Snort的每条规则都可分成逻辑上的两部分：规则头和规则体。其中规则头包括4个部分：

           规则行为、协议、源信息、目的信息。                               

Snort 预置的5种规则动作：

     1）pass——将忽略当前的包，后继捕获的包将继续分析。

     2）log——将按照自己配置的格式记录包。

    3）alert——将按照自己配置的格式记录包，然后进行报警。

    4）dynamic——由activate类型的规则触发，之后像log动作一样记录数据包。

   5）activate——当被规则触发时生成报警，并启动相应的dynamic类型规则。