web攻击异常检测技术的研究和实现

内容提要 入侵检测系统IDS(Intrusion Detection System)是计算机安全领域的一个重要分支，对其的研究近几年来倍受重视。传统的安全策略如防火墙或VPN主要注重防护，而防护相对进攻来说总是滞后的。因为计算机系统和应用软件总是包含无法预知的漏洞，一种漏洞的发现与针对该漏洞的防护手段的采取之间总会有一个时间差，而检测是弥补这个时间差的必要手段。入侵检测系统的主要特点是主动防御，即在入侵行为发生之前或正在发生时就检测出该行为。目前的入侵检测方法主要分为两类：误用检测和异常检测。 基于异常的检测技术的优点在于它能够发现任何企图发掘、试探系统漏洞的行为，但此方法的缺陷是较高的误报率。 本文首先综述了网络安全的攻击和防御手段及当前的研究现状。然后介绍了分析入侵检测系统中的几类检测方法。之后又介绍了四种基于统计的异常检测方法，他们分别是：属性长度模型、字符分布模型、结构推论模型和令牌发现模型四种方法，详细描述了他们的原理以及属性长度和令牌发现两种模型的算法实现，他们的特点是都需要事先使用正常数据对模型进行训练和学习，基于统计学原理并将训练和学习的结果存储起来，在异常的检测阶段，模型利用之前存储的统计结果和被检测属性进行比较，从而判断被检测的数据异常与否。 最后运用上述检测技术在Windows平台下，采用标准C++的STL和MFC设计了一个实现了属性长度模型和令牌发现模型的基于Apache服务器的入侵检测系统，对Web访问的异常信息进行检测。 关键词：入侵检测系统，属性长度，字符分布，属性长度，令牌发现，异常检测 2.2入侵检测系统分类 2.2.1基于数据来源分类 (1)基于主机：入侵检测系统获取数据的依据是系统运行所在的主机，保护的目标也是系统运行所在的主机。其数据来源主要包括操作系统审计记录和系统日志。 操作系统审计记录由包含在操作系统软件内部的审计子系统产生，这些审计记录是反映系统活动的信息集合，每条审计记录描述了一次单独的系统事件；系统日志是反映各种系统事件和设置的文件，操作系统提供了分类齐全的系统日志，并且提供通用的服务用于支持产生和更新事件日志。相对于操作系统审计记录，系统日志更容易遭到恶意的破坏和修改，但系统日志更加直观化，而且在某些特殊的环境下，可能无法获得操作系统的审计记录或者不能对审计记录进行正确的释义，此时系统日志就成为系统安全管理不可缺少的信息来源。 基于主机的入侵检测系统在发展过程中融入了其他技术。检测对关键系统文件和可执行文件入侵的一个常用方法是通过定期检查文件的校验和来进行的，以便发现异常的变化。反应的快慢取决于轮询间隔时间的长短。许多产品都是监听端口的活动，并在特定端口被访问时向管理员报警。这类检测方法将基于网络的入侵检测的基本方法融入到基于主机的检测环境中。 (2)基于网络：入侵检测系统获取的数据来源是网络传输的数据包，保护的目标是网络的运行。基于网络的入侵检测系统，通常也称硬件检测系统，放置在比较重要的网段内，不停地监视网段中的各种数据包，对每一个数据包或可疑的数据包进行特征分析。 网络数据是目前商业入侵检测系统最为通用的信息来源，其基本原理是当网络数据流在网段中传播时，采用特殊的数据提取技术，收集网络中传输的数据，它通常利用一个工作在杂收模式(Promiscuous mode)下的网卡来实时监视并分析通过网络的数据流。系统的分析模块通常使用模式匹配、统计分析等技术来识别攻击行为。一旦检测到了攻击行为，入侵检测系统的响应模块就做出适当的响应，比如报警、切断相关用户的网络连接等。不同入侵检测系统在实现时采用的响应方式也可能不同，但通常都包括通知管理员、切断连接、记录相关的信息以提供必要的法律依据等。 (3)混合型：许多机构的网络安全解决方案都同时采用了基于主机和基于网络的两种入侵检测系统，因为这两种系统在很大程度上是互补的。 主机数据源的优势在于：针对性强、检测准确性高、适于检测复杂的攻击模式，不受交换式网络环境和数据加密的影响，并且可以准确地判定攻击是否成功。网络数据源的特点是适用范围广、性价比高、隐蔽性好、对主机和网络的性能影响较小，并且适于检测基于网络协议的攻击。 2.2.2基于分析方法分类 入侵检测从分析引擎所采用的技术上来说，可以分为误用检测(misuse detection)和异常检测(anomaly detection)两大类。 (1)误用检测：是指运用已知攻击方法，根据已定义好的入侵模式，通过判断这些入侵模式是否出现来检测。这种方法首先收集入侵行为的特征，建立相关的误用模式库；在后续的检测过程中，将收集到的数据与特征库中的特征代码进行比较，得出是否入侵的结论。 这种方法由于依据具体特征库进行判断，所以检测准确度很高，并且因为检测结果有明确的参照，也为系统管理员做出相应措施提供了方便。误用检测主要缺陷在于只能检测已知的攻击模式，当出现针对新漏洞的攻击手段或针对旧漏洞的新攻击方式时，需要由人工或其他机器学习系统得出新攻击的特征模式，添加到误用模式库中，才能使系统具备检测新的攻击手段的能力。 (2)异常检测：是指根据使用者的行为或资源使用状况的正常程度来判断是否入侵。该方法的特点是首先总结正常操作应该具有的特征，在得出正常操作的模型之后，对后续的操作进行监视，一旦发现偏离正常统计学意义上的行为，即进行报警。 异常检测的优点是具有抽象系统正常行为从而检测系统异常行为的能力。这种能力不受系统以前是否知道这种入侵与否的限制，所以能够检测新的入侵行为。异常检测的主要缺陷是误报率非常高，此外，若入侵者了解到检测规律，他们就能慢慢地训练检测系统，避免系统指标的突变，以至于最初认为是异常的行为经一段时间训练后也可能认为是正常的了。 2.3入侵检测技术 2.3.1误用检测技术 基于误用的入侵检测技术的研究主要是从20世纪90年代中期开始当时主要的研究组织有SRI，Purdue大学和California大学的Davis分校误用入侵检测的主要假设是具有能够被精确地按某种方式编码的攻击，并可以通过捕获攻击及重新整理，确认入侵活动是基于同一弱点进行攻击的入侵方法的变种。基于误用的入侵检测系统通过使用某种模式或者信号标识表示攻击，进而发现相同的攻击。 对于误用检测技术来说，最重要的技术问题是如何全面描述攻击的特征，覆盖此攻击方法的变种和如何排除其他带有干扰性的行为，减少误报率。执行误用检测需要具备完备的检测规则库、可信的用户行为记录和可靠的行为记录分析技术。主要的误用入侵检测系统类型如下： (1)专家系统 入侵检测专家系统最显著的特征是采用一定的IF-THEN规则表示攻击的行为，形成专家知识库，然后输入检测数据（审计事件记录），系统根据知识库中的内容对检测数据进行评估，判断是否存在入侵行为模式专家系统的优点在于把系统的推理控制过程和问题的最终解答相分离，即用户不需要理解或干扰专家系统内部的推理过程，而只须把专家系统看作是一个自治的黑盒子。专家系统应用于入侵检测时存在的问题包括系统性能完全取决于专家知识、只能检测已知的攻击模式和规则库的维护任务艰巨。 专家系统是最早的误用检测技术之一，被许多经典的检测模型所采用，如MIDAS、IDES、NIDES、DIDS和CMDS。其中，MIDAS、IDES和NIDES所采用的专家系统是由Alan Whitehurst设计的P-BEST；DIDS和CMDS使用的是CLIPS。 (2)状态转换分析系统 状态转换分析系统主要是把攻击行为描述成系统一系列状态的转化，通过对系统状态的监视找出攻击。目前，实现基于状态转换的入侵检测方法主要有以下三种：状态转移分析（state transition analysis）、着色Petri网（colored Petri nets，CP-Nets）和基于语言/应用程序接口的方法（language/API based approach）。 状态转移分析技术首先在STAT系统及USTAT系统中实现NSTAT是STAT的第二代系统，主要关注网络系统中的主机；最新一代的STAT系统NetSTAT脱离了STAT传统的基于主机的结构，采用了网络化的分布式检测。IDIOT系统采用着色Petri网技术表示和检测入侵模式。对商业化的误用检测工具进行优化，通用的方法是定义一种检测引擎可以识别的语言，用于对入侵行为的特征进行描述，比较著名的基于语言/应用程序接口的方法有RUSSEL语言、STALKER系统和N-Code包过滤语言。 (3)模式匹配系统 模式匹配系统主要是用一定的模式描述来提取攻击的主要特征，通过匹配机制从审计事件中发现攻击。模式匹配检测技术是由Kumar在1995年提出的，目前已成为入侵检测领域中应用最为广泛的检测手段和机制之一，其特点是原理简单、扩展性好、检测效率高和可实时检测，但其局限性是只能适用于比较简单的攻击方式，且误报率高。 简单模式匹配虽然在性能上存在很大问题，但由于系统的实现、配置和维护都非常方便，因此得到了广泛的应用。比较典型的系统由Snort和Bro。