异常检测技术的研究与实现

摘要：入侵检测是通过从计算机网络系统中的若干关键点收集信息并对其进行分析，从中发现违反安全策略的行为和遭到攻击的迹象，并做出自动的响应。其主要功能是对用户和系统行为的监测与分析、系统配置和漏洞的审计检查、重要系统和数据文件的完整性评估、已知的攻击行为模式的识别、异常行为模式的统计分析、操作系统的审计跟踪管理及违反安全策略的用户行为的识别。入侵检测通过迅速地检测入侵，在可能造成系统损坏或数据丢失之前，识别并驱除入侵者，使系统迅速恢复正常工作，并且阻止入侵者进一步的行动。同时，收集有关入侵的技术资料，用于改进和增强系统抵抗入侵的能力。 单纯的防火墙策略已经无法满足对安全高度敏感部门的需要，网络的防卫必须采用一种纵深的、多样化的手段。由于传统防火墙存在缺陷，引发了入侵检测IDS(Intrusion Detection System)的研究和开发。入侵检测是防火墙之后的第二道安全闸门，是对防火墙的合理补充，在不影响网络性能的情况下，通过对网络的监测，帮助系统对付网络攻击，扩展系统管理员的安全管理能力(包括安全审计、监视、进攻识别和响应)，提高信息安全基础结构的完整性，提供对内部攻击、外部攻击和误操作的实时保护。现在，入侵检测已经成为网络安全中一个重要的研究方向，在各种不同的网络环境中发挥重要作用。 该系统是基于令牌发现模型和属性长度模型实现的网络攻击异常检测技术的实现，从原理上体现了入侵检测的功能。 关键词：入侵检测系统 令牌发现? 属性长度? 异常检测 背景 Internet蓬勃发展到今天，计算机系统已经从独立的主机发展到复杂、互联的开放式系统，这给人们在信息利用和资源共享上带来了很大的便利。由Internet来传递和处理各种生活信息，早已成为人们重要的沟通方式之一，随之而来的各种攻击时间与入侵手法更是层出不穷，引发了一系列安全问题。特别是随着Internet的迅速扩张和电子商务的兴起，人们发现保护资源和数据的安全，让他免受来自恶意入侵者的威胁是件相当困难的事。提到网络安全，很多人首先想到的是防火墙，防火墙作为一种静态的访问控制类安全产品通常使用包过滤的技术来实现网络的隔离。适当配置的防火墙虽然可以将非预期的访问请求屏蔽在外，但不能检查出经过他的合法流量中是否包含着恶意的入侵代码。在这种需求背景下，入侵检测系统（IDS）应运而生。入侵检测系统（IDS）是将电子数据处理、安全审计、模式匹配及统计技术等有机地融合在一起，通过分析被检测系统的审计数据或直接从网络捕获数据，发现违背安全策略或危及系统安全的行为和活动。本文主要讨论入侵和入侵检测技术从20世纪70年代初到今天的发展历程。这个概念出自James P．Anderson在1972年的一项报告，随后的30多年中，概念本身几乎没有改变。 1.2研究现状随着信息网络化的发展，信息安全的研究和实践不断深化、延拓。从第二次世界大战后军方、政府专享的通信保密，发展到20世纪70年代的数据保护、90年代的信息安全直至当今的信息保障，安全的概念已经不局限于信息的保护，人们需要的是对整个信息系统的保护和防御。从事计算机和网络安全的研究人员对信息系统的服务、传输媒介和协议的各个环节进行研究，确保网络信息传输的安全性。 1.3网络安全基本概念 计算机网络最重要的资源是它向用户所提供的信息服务及其所有的信息资源。由于信息系统在应用中需要进行安全保护的方面有着丰富的内容，因此人们对计算机网络的安全性问题的研究总是围绕着信息系统进行。对于任一信息系统，安全性的作用在于：防止未经授权的用户使用(甚至破坏)系统中的信息，或干扰系统的正常工作。长期以来信息系统安全专家公认信息安全性的目标是维护信息的以下四个方面： (1)保密性：使系统只向已被授权的用户提供信息，对于未被授权的用户，这些信息是不可获得或不可理解的； (2)完整性：使系统只允许授权的用户修改信息，即信息在存储或传输过程中保持不被修改、不被破坏和丢失，以保证所提供给用户的信息是完整无缺的； (3)可用性：使被授权的用户从系统中获得所需的信息资源服务； (4)可审查性：使系统内部所发生的、与安全有关的动作均有说明性记录可查。 网络安全主要包含以下三个基本要素： (1)数据保护：数据包括在网络上传输的数据与端系统中的数据，从本质上说这些电子意义上的数据都是0或1的组合，但是经过特定的程序产生和处理之后，它们就具有了多种多样的语义学上的意义。对数据的保护包括数据的机密性和完整性保护，主要针对数据窃取、数据删改等攻击，其基本的手段包括加密和访问控制。这方面的理论比较完备（主要是加密体制的建立和加密算法的运用），实现手段也比较完善。 (2)通信信任：网络作为交流的重要手段，涉及到通信各方信任关系的建立与维护，这也是攻击者比较感兴趣的一个方面，因为信任关系的窃取就意味着数据访问权力的获取。为了建立安全的通信信任需要身份鉴别等手段来防止身份冒充、连接截取等攻击，其中涉及传输协议和加密的安全设计。 (3)通信性能：包括网络系统的传输性能和端系统的处理能力，前者包括网络通信双方的连接建立、数据传输和连接终止的性能，后者包括数据处理能力和服务提供能力等。针对通信性能的攻击包括拒绝服务、远程权力获取等，对通信性能进行保护的理论基本上是实践经验的总结。 同以前的计算机安全保密相比，计算机网络安全技术的问题要多得多，也复杂得多，涉及到物理环境、硬件、软件、数据、传输、体系结构等各个方面。除了传统的安全保密理论、技术及单机的安全问题以外，计算机网络安全技术包括了计算机安全、通信安全、操作安全、访问控制、实体安全、电磁安全、系统平台与网络站点的安全，以及安全管理和法律制裁等诸多内容，并逐渐形成独立的学科体系。 从狭义的保护角度来看，计算机网络安全是指计算机及其网络系统资源和信息资源不受自然和人为有害因素的威胁和危害，即计算机、网络系统的硬件、软件及其系统中的数据受到保护，不因偶然的或者恶意的原因而遭到破坏、更改、泄露，确保系统能连续可靠正常地运行，使网络服务不中断。计算机网络安全从其本质上来讲就是系统上的信息安全。计算机网络安全是一门涉及计算机科学、网络技术、密码技术、信息安全技术、应用数学、数论、信息论等多种学科的综合性科学。 从广义来说，凡是涉及到计算机网络上信息的保密性、完整性、可用性、真实性和可控性及相关技术和理论都是计算机网络安全的研究领域。所以，广义的计算机网络安全还包括信息设备的物理安全性，诸如场地环境保护、防火措施、防水措施、静电防护、电源保护、空调设备、计算机辐射和计算机病毒等。 1.4本章小结及后续章节安排 本文首先综述了网络安全的攻击和防御手段及当前的研究现状。然后介绍了分析入侵检测系统中的几类检测方法。之后又介绍了四种基于统计的异常检测方法，他们分别是：属性长度模型、字符分布模型、结构推论模型和令牌发现模型四种方法，详细描述了他们的原理以及属性长度和令牌发现两种模型的算法实现，他们的特点是都需要事先使用正常数据对模型进行训练和学习，基于统计学原理并将训练和学习的结果存储起来，在异常的检测阶段，模型利用之前存储的统计结果和被检测属性进行比较，从而判断被检测的数据异常与否。