基于网关的网页过滤模型设计与实现

摘? 要 全球互联网自上世纪九十年代进入商用以来迅速拓展，目前已经成为当今世界推动经济发展和社会进步的重要信息基础设施。经过短短十几年的发展，截止2007年1月，全球互联网已经覆盖五大洲的233个国家和地区，网民达到10.93亿，用户普及率为16.6%，宽带接入已成为主要的上网方式。同时，互联网迅速渗透到经济与社会活动的各个领域，推动了全球信息化进程。然而，由于网络的开放性使得任何人可以获得几乎任何种类的信息，这就不免让一些不良信息乘虚而人。采取适当的技术措施，对互联网不良信息进行过滤，既可阻止不良信息对人们的侵害，适应社会对意识形态方面的要求，同时，通过规范用户的上网行为，提高工作效率，合理利用网络资源，减少病毒对网络的侵害。 随着用户对网络信息传输控制要求的不断提高，传统的基于IP包头信息的黑名单、白名单过滤技术，已经不能完全满足用户需要，更高层次的基于内容的过滤技术得到越来越广泛的应用。内容过滤技术还处于初级阶段，实用的技术相对比较单一，主要表现在名单过滤和关键词过滤技术基本成熟，而图像过滤与模板过滤技术还处于起步阶段，面临着图片的智能识别和过滤对机器或网络性能存在负面影响的障碍。现阶段的内容过滤技术主要是对URL网址过滤和网页文字等固定内容过滤，还无法做到智能的判断，这是内容过滤技术在现阶段的状况。内容过滤是指对WEB、邮件、BBS发贴的内容进行监控和过滤，防止非允许的内容通过上述方式流出。本文就是为了解决这个问题，利用系统驱动，设计一种基于网关的网页过滤的模型，利用url来过滤网页，同时考虑到时间段的设置。 关 键 词：网页过滤；驱动；网关 论文类型：应用研究 1.1 研究意义 ? 网页过滤(Web Filtering)已经不是一个新鲜名词，由于互联网的蓬勃发展，网上的信息资源开始到处泛滥，而其中不乏很多不良信息，于是人们开始探寻各种过滤信息的技术手段，以扼制不良信息的传播，保护特定人群不受恶意信息的侵扰，例如保护企业内员工不受购物、娱乐等信息侵扰，而影响工作效率；保护青少年不受色情、暴力等信息毒害，而健康成长；因此网页过滤技术应运而生，而由此衍生的内容安全市场也在飞速发展，国内外众多网络设备厂商开始涉足该领域。例如国外厂商有Websense、BlueCoat、8e6等，国内厂商有网康科技、新网程、任子行等。 　　目前，网页过滤技术正向两个主要方向发展：1.内容实时分析；2.Url过滤。 　　内容实时分析过滤是指在访问Web内容时，对内容进行实时扫描，根据已知的敏感关键字/词、图片和页面构成特点，分析是否含有禁止访问的内容。这是最有效的控制方法，只要建立一个足够完全的关键字库就可以完全杜绝对不良信息的访问。 　　但是，应用内容实时分析过滤技术却受到网络延迟、法律法规、文化道德、维护更新等多方面因素的限制。首先，该类产品对分析算法要求很高，并且要有相应运算能力的设备支持，否则在遇到大量数据分析时可能会造成严重的网络延迟、误判漏判等问题。其次，此类产品需要人工维护更新一个庞大的关键字数据库，不断将新的禁止访问的内容关键字添加进去，但是对内容的分析需要跟文化、法律、宗教信仰等多方面结合起来评判，因为不同地区、不同文化、不同法律对信息良莠的定义都不相同，特别是在中国，一个词可以用多音字、谐音字、拼音字母等多种方式表现，为关键字数据库的维护带来了巨大的难度。而这个维护更新工作一般是由用户自己完成，因为不同的用户对需要过滤的内容有不同的需求。还有，内容实时分析过滤需要将网页内容下载到本地才能进行分析，对系统资源和带宽资源都造成了一定的浪费。 　　因此，采用内容实时分析过滤技术的产品不应该是一个全球通用产品，必须做到真正的完全本地化，才能具备为本地用户服务的能力。 　　Url过滤是近几年才兴起的一种网页过滤方法，其原理非常简单：通过对互联网上各种各样的信息进行分类，精确地匹配URL和与之对应的页面内容，形成一个预分类网址库。在用户访问网页时，将要访问的网址与预分类网址库中的地址进行对比，以此来判断该网址是否被允许访问。例如我们事先设定禁止访问色情类网站，当某个用户想要访问www.sex.com时，系统会对比该网址在预分类网址库中属于哪一类？是否被允许访问？从而达到控制访问的效果。 　　与内容实时分析过滤相比，Url过滤方法具有节约带宽，降低访问延迟，减少误判率的优点。但是，Url过滤方法也存在一定的应用限制：首先，采用Url过滤方法的产品也不能是全球通用产品，这同样牵扯到法律、文化、宗教等诸多问题，例如中西方对色情和成人的评定等级就不相同，这就要求预分类网址库收集、分类必须符合当地法律法规、道德文化标准、用户使用习惯等。其次，预分类网址库必须实时更新，我们知道互联网的发展日新月异，每天都会有大量的新网站诞生，这就对采用Url过滤技术的产品提出了实时更新数据库的要求。还有，既然采用预分类的方式过滤Url，就对预分类网址库的精确度提出了很高的要求，预分类的网址不但要数量庞大，还要具有非常高的分类精确度，才不至于出现误判、漏判的可能。 1.2 本文的主要工作及章节安排 综上所述，在网络应用广泛的今天，不良网页过滤是一种非常重要的功能，本课题就是利用系统的驱动，设计一种基于网关的网页过滤的模型，利用url来过滤网页，同时考虑到时间段的设置。 本课题就是在上述背景下，做了如下的工作： 1.????? 研究当前网络使用状况，分析本课题的研究意义，提出了本课题的实现方法。 2.????? 按照课题提出的解决思路，设计实现了，电脑终端的url过滤设置模块，系统分析模块。 3.????? 在真实的网络环境下对这些模块进行了测试实现。 本文将按照下述方法进行组织： 第一章，绪论。介绍网络使用的现状，分析?????? RTSP协议的研究意义，并给出论文章节安排； 第二章，有关网络的基本概念。主要提出了本课题中用到的几个网络名词进行了解释和分析。 第三章，系统设计和实现。包含url过滤设置模块的设计实现，系统分析模块的设计实现。 第四章，关键性技术的实现。说明了在程序开发中用到的关键技术。 第五章，系统测试，对系统进行全面实验测试，并分析实验结果，评估系统性能。 第六章，总结与展望，对论文的工作进行总结，指出现有工作中的不足及进一步工作的方向。