基于形状的图像检索

本课题的目的及研究意义 形状特征是图像的重要特征之一，图像的形状信息不随图像颜色的变化而变化，是物体稳定的特征，因此可以利用形状特征，实现对形状特征比较明显的各类图像库的检索。另外，对于颜色和纹理不够丰富的图像，也可以利用形状来提高检索效率。在以查询与图像具有相似形状为主要目的检索中，形状特征显示出颜色、纹理所不能比拟的优越性能，目一前基于形状的图像检索己有非常广泛的应用，如对商标和徽标的检索、对医学图像的检索、对指纹图像的检索等。 传统的图像检索技术是基于文本的检索技术，其可检索信息来源于与图像相关的文本信息，如图像的获取日期、文件名、标引词等，换句话说，图像库只有经过标引之后才能成为可检索信息。于是，对图像的查询被转换成了对文本的查询，可以借助比较成熟的文本检索技术来实现。这种方法的特点是简单易行，但存在几个根本的问题影响其有效使用。 首先，文字描述只是一种特定的抽象，图像所表现出来的丰富内容是很难用文字表现出来的。图像的获取日期、文件名、标引词等都可以提供有用的索引线索，但都不能完全抓取图像的视觉信息。事实上，人们是通过图像的内容特征来记忆图像的，比如颜色、形状、场景及语义信息等，没有人是用标号、文件名和标引词来记忆图像的。 其次，图像标引存在很大的主观性，不同的人对同一幅图像有不同的理解，因而会出现用户输入的关键词和数据库中的关键词不一致或该关键词根本不存在的情况，此时将造成查询的失败。 再次，目前对图像的标引仍由人工完成，随着图像数据的来源越来越广泛，数量越来越大，这种费时费力的方法犹如杯水车薪，越来越不能满足需要。 为了解决以上问题，就需要全面的、客观的来提取图像内容。事实上，人们利用图像不仅仅是利用其视觉质量，更重要的是利用其视觉内容[2]。例如，商标是否雷同主要看商标的图案，仅仅靠商标的文字标签是不能解决问题的，把商标的图案信息提取出来才可能有效地比较不同的商标。 所以，只有根据图像的内容来检索，才可能有效的获取所需要的信息，同时只有在掌握图像内容的基础上，图像数据库中的信息才可以得到有效的管理。基于内容的图像检索技术就是在这样的需求下被逐步重视起来的。基于内容的图像检索技术涉及数学、心理学等学科，涉及图像处理、计算机、数据库等信息技术，是一个极富挑战性的研究课题。 形状特征本身就可以将不同的图像区分开来，然而形状的特征提取等自身的特殊性也是图像检索的难点，在进行基于形状的图像检索研究中，有三个问题值得关注：首先，形状常与目标联系在一起，有一定的语义含义，因而形状特征可以看作是比颜色或纹理要高级的一些的特征。另外，对形状的表达比对颜色或纹理的表达复杂的多。要获取有关目标的形状参数，常要先对图像进行分割，所以形状特征的提取会受图像分割效果的影响，而目前，图像分割在理论上仍缺乏简单易行又准确可靠的通用的方法；其次，目标形状的描述是一个复杂的问题。目标形状的描述相当复杂，至今还没有找到对形状的确切的数学定义，包括几何的、统计的、或形态学的测度与人对形状的感觉完全一致的，即数学上的描述和人眼感觉的不相符；本文研究的目的主要是通过提取和描述物体的形状特征，利用形状特征间的相似度实现图像的检索。基于形状特征的图像检索是基于内容检索中的难点，因为很难准确的对图像的形状特征进行描述，因此本文研究的意义在于找到一种合理的形状特征描述和提取方法以及相似性度量方法来达到精确的查询结果，并实现相应图像检索系统。 1.2本课题的国内外的研究现状 1992年，基于内容的图像检索(CBIR)一词开始在国际上正式使用。此后这项技术得到了国内外信息领域科技人员和许多国际学术组织的重视和广泛关注，迅速成为多媒体数据库技术中的热点，其理论研究推陈出新，技术方法层出不穷，近年来已有大量相关理论研究和技术应用的论文发表。例如在INSPEC上用image retrieval为关键词，可搜索到的从1992年至今的文献已经达到近3000篇，许多国际刊物组织了有关基于内容检索的专集，国内外也不断有相关的综述文章发表。 目前在Internet上已经有许多CBIR的原型系统，最为著名的有IBM公司的QBIC系统[4]和Virage公司开发的VIR Image Engine系统[5]。 QBIC系统是第一个商业化的基于内容的图像检索系统，也是目前应用最广泛的系统。它的系统框架和技术对后来的系统有着深远的影响。QBIC支持颜色百分比的查询和手绘草图的查询，也支持文字关键词的检索。 VIR Image Engine也是一个较著名的图像检索系统。它支持基于颜色、颜色布局、纹理等特征的检索，也支持以上特征任意组合的可视化检索，而且每种特征还可以被赋予0到10的权值，以便让用户选择哪种特征更重要。 另外也可看到许多实验系统的演示版，典型的有以下几个： California大学Berkeley分校的Chabot系统[6]。Chabot的特色之处在于将关系数据库和色彩分析结合在一起，其检索过程支持色彩和文本信息的集成检索。 Colombia大学的VisualSEEK系统[7]。VisualSEEK是一个较为完善的多媒体检索实验系统，可以检索图像和多媒体视频信息。该系统支持基于颜色、纹理、形状以及关键词的检索方式，也可以通过用户绘制草图来检索。系统还支持基于示例图像的检索，仅需要提供示例图像的URL地址即可检索与之相似的图像。 Carnegie-Mellon大学的Informedia系统[8]。Informedia是一个基于视频的图像检索系统。其主要目标是通过语音与图像处理来实现视频的检索，它利用轮廓直方图、语音和声音标记来分辨视频场景，然后根据语音标记中的重要的字来索引这些视频图像。查询支持语音输入。 California大学Irvine分校的MARS系统[9]。MARS系统是一个多媒体检索和数据库管理系统，其特点是利用相关反馈技术把多种特征组织成一个可以动态适应不同需求的检索机制。 国内从1994年开始关注这方面的研究，清华大学图形图像研究所、中科院计算所、微软亚洲研究院多媒体技术组、国防科技大学多媒体中心等科研机构在这方面都取得了一定的成果。相关的系统有微软亚洲研究院的iFind[10,11]系统等。 iFind系统是微软亚洲研究院多媒体组开发的基于内容图像检索的原型系统，它提供了关键词检索、示例检索、分类浏览、相关反馈和半自动标引功能。其主要技术在于物理特征和语义信息相结合的检索技术，其特色在于基于语义传递的相关反馈技术。这项技术能够根据用户的相关反馈更新图像的标引信息，增加正反馈图像的标引链接或权值，减小负反馈图像的标引链接或权值，更新后的标注信息反过来可以更好的帮助做相关反馈和接近语义层次的检索。 综上所述，CBIR技术从它被提出至今，得到了长足的发展，研究成果层出不穷，硕果累累。但同时，CBIR技术的研究和应用目前也面临着许多挑战。例如，如何建立语义层次的描述，实现情感和语义层次上的检索，如何使用户使用自然语言与检索系统交互，这些都是推动CBIR技术所必须解决的问题。 1.3本课题的研究内容 基于形状的图像检索技术是利用图像中目标的形状特征进行图像检索，研究者主要做了以下方面的研究工作：(1)形状特征的表达、描述及其匹配；(2)将形状特征与颜色、纹理还有空间特征有效的结合起来，以实现通用的综合图像库检索；利用形状带有一定语义的特点，将较低层的形状特征和高层的语义特征结合起来做更深的研究；(3)形状特征在检索背景下的性能比较研究；(4)形状特征对形状的描述能力与人的视觉相似性的比较研究。 本文将对基于边缘和基于区域的图像检索特征进行研究和性能比较，验证不同形状特征对于检索速度和检索精度的影响，在此基础上开发一个基于形状特征的图像检索系统。