网络流量监测技术及流量抽样方法的研究

摘 ??要 流量工程和网络行为学研究涉及到网络运行状态的测量、建模、特征化和控制，通过这些方面的研究能够掌握并优化网络运行状况，增强网络运行的可靠性，更为有效的进行网络的规划和设计。 网络流量监测是流量工程的一个重要内容，通过流量监测获得各种流量的统计信息是网络管理，网络服务分析，安全和错误监测，网络计费等应用和研究的基础。随着近年来网络流量爆炸性的增大，以抽样的方式进行流量监测已成为流量监测技术的一个重点内容。 本文在对流量监测技术相关理论详细了解的基础上，对现有的流量直接捕获，RMON，NETFLOW，SFLOW等流量监测技术，在流量信息获取，信息传送等方面进行了详细的分析和比较。论文还分析了流量监测的多种抽样方法，将其归纳为传统抽样，轨迹抽样，自适应类抽样三类，认为传统抽样更适用于流量监测，然后结合实际流量数据，对几种常用传统抽样方法在数据包长分布，协议分布，流量吞吐量，IP流量统计等流量统计信息方面的表现进行了讨论。 实验数据分析表明，在相同条件下不同抽样方法的表现区别不大，而同一种抽样方法在不同流量统计信息上的表现不同。对于数据包长分布和协议分布，由于其精确度要求不高，抽样数据结果能够很好的满足要求，由抽样数据计算得到的流量吞吐量也相当精确，但误差随抽样比率的提高增长较快，而对于IP流量统计，抽样数据结果的误差比前三种相对较大。 ??? 【关 键 字】 流量工程? 流量监测? 抽样? 流量统计信息 ? 【论文类型】 应用研究 1.1 课题背景 随着网络技术的飞速发展，链路容量和设备处理能力不断升级，Internet的规模呈爆炸性增长，社会对Internet的依赖性越来越高，随之而来，网络传输的业务类型已从简单的低带宽要求的文件传送、电子邮件等变为数据、语音、视频等大流量业务，并且，业务对可靠性，实时性，安全性传输的要求越来越高。近年来，网络病毒的出现和传播更加剧了网络状况的复杂和不稳定性。在此背景下，需要对网络状况，网络性能进行准确的检测和评估，对网络行为特性进行深入的研究，才能有效的保证网络和网络业务的正常运行，而这些正是流量工程和网络行为学的研究内容。 流量工程和网络行为学的研究目的在于准确的测量和评估网络的运行状况，性能，并能够容易得使网络的最终用户看到和理解评估结果，能够对网络中的突发时间能够做出积极有效的反应，以及研究和改进网络协议，网络工作模式的机制，以促进网络服务的可靠性[1]。 互联网工程任务组（The Internet Engineering Task Force IETF）在网络性能测量，网络系统管理，网络流量监测和分析，网络路由协议和未来网络体系等流量工程和网络行为学的多个相关研究方向上，组织了许多的工作组进行研究工作，提出了一系列的文献、草案和应用技术[2]。此外还有很多的研究组织和机构在相关领域做出了很多的理论研究和实际应用工作[3]。 为了探索新型网络的体系结构、行为特征和实现技术，给下一代互联网建设提供参考和理论依据，经国家科技部批准，实施了国家十五863课题“流量工程与网络行为学”（编号为：2001AA112111）。本课题研究的研究目的在于参照现有的国际规范，制定一套完整的网络行为测量理论体系，研究并实现新型网络中的网络测量系统，并应用流量工程的概念，通过实践逐步完善。 1.2 作者所做的工作 在“流量工程与网络行为学”项目的研究中，作者参与了网络测量和分析系统NMAS2的设计和开发，主要是设计和实现了测量和分析系统中各独立模块的网络通信模式和通信协议，并参与了系统中网络数据采样部分的设计和实现，后期负责整个系统的集成调试，测试和维护工作。 同时作者详细研究了网络流量监测的相关理论和方法，对目前的几种流量监测技术，包括流量直接捕获，RMON，NETFLOW，SFLOW等，在流量信息获取，信息传送等方面进行了详细的分析和比较，并对流量的抽样方法进行详细的研究，分析和比较了流量监测的多种抽样方法，并结合实际流量数据，对作者认为较适用于流量抽样的几种传统抽样方法在数据包长分布，协议分布，流量吞吐量，IP流量统计等流量统计信息方面的表现进行了讨论。在此基础上作者设计和实现了支持多种传统抽样方法的流量抽样系统。 1.3 论文内容和组织 本论文共分为七章： 第一章绪论，主要陈述了流量工程和网络行为学课题的背景和意义，作者所做的工作以及论文内容的组织。 第二章流量工程和网络行为学，介绍流量工程和网络行为学的基本概念，将其分为了网络测量，网络协议优化，网络行为建模，流量工程系统的建立和应用等四个研究方向，分别介绍了各个研究方向的研究领域，研究方法和研究现状。 第三章网络流量监测技术，对网络流量监测技术应用体系的系统框架以及各组成部分的要求进行了详细的介绍，对流量直接捕获，RMON，NETFLOW，SFLOW等四种流量监测方法的技术特点，应用模式进行了分析，并从实际应用 的角度对各种方法进行了比较。 第四章网络流量监测抽样方法的研究，介绍和分析了目前提出的各种流量抽样方法，选取分层系统抽样，分层随机抽样，泊松随机抽样三种抽样方法，结合实验数据，对抽样方法在数据包长分布，协议分布，进出流量统计，IP流量统计等流量统计信息的表现进行了详细的分析和对比。 第五章流量抽样系统的设计和实现。陈述了作者实现的流量抽样系统的设计思路，并对涉及的关键技术点进行了详细的说明。 第六章网络测量分析系统的网络通信接口的设计与实现，为作者在本课题的测量分析系统开发中承担的工作的介绍。 第七章为论文内容总结和进一步工作展望。 论文的最后列出主要参考文献