基于中国手语合成的虚拟对话场景

摘要 关键帧动画是利用计算机的运算能力，按照运动学和动力学的规律计算生成两个关键动作之间的运动动作序列的动画方法。这种方法可以依靠几个简单的动作关键帧生成相对复杂的运动过程，从而压缩了运动数据的存储空间，并被广泛的应用于计算机动画领域。特别是在人体动画方面关键帧技术主要用于骨骼动画的生成。由于关键帧动画其选取方案的不同会造成对原有运动数据细节信息的丢失。因此，为了通过较少的数据存储获得更多的运动细节信息，人们提出了多种关键帧提取方案。本文研究增强人体关节动画中运动细节描述的关键帧调整和插值方法。 本文以人体上肢运动为研究对象，提出了人体上肢关节运动的数据采集方案，并给出了使用数据手套和位置跟踪仪实时采集数据驱动虚拟人动画的演示效果；以上肢运动传感器跟踪方法为基础，给出了对采集的原始数据进行处理的操作细节和实现方案；实现了用于编辑手语姿势的3D虚拟人显示平台，以方便修改因设备干扰等原因产生的错误动作，检测修改后手语数据对应的动画效果；在对手语数据关键帧特性进行分析的基础上，提出了基于关键帧种类的分层插值方案，以实现包含更多运动细节的手语动画。 关键词? 运动捕捉；虚拟人；手语；关键帧；分层插值 目 录摘要??? IAbstract??? III目 录??? V第1章 绪论??? 11.1课题背景??? 11.1.1人体动画与关节动画??? 11.1.2关键帧动画??? 21.1.3手语动画??? 31.2国内外研究现状??? 31.2.1运动捕捉技术??? 41.2.2关键帧动画与插值算法??? 41.3手语合成系统??? 51.3.1系统框架及关键技术??? 61.3.2动画插值方案??? 71.4本文结构??? 7第2章 手语数据采集系统的设计与实现??? 92.1引言??? 92.2国内外常用的动作采集设备??? 92.2.1 常用的位置跟踪设备??? 92.2.2 常用的手部数据采集设备??? 112.3系统设备介绍??? 132.3.1 数据手套??? 132.3.2 位置跟踪仪??? 162.4手语采集系统??? 172.4.1 设计方案??? 172.4.2 硬件结构??? 182.4.2 软件模块??? 202.4.2 实验结果??? 212.5本章小结??? 23第3章 手语数据的处理过程??? 253.1引言??? 253.2数据处理步骤??? 253.2.1 计算腕关节传感器在身体传感器中的相对位置和方向??? 263.2.2 计算肩关节和肘关节的位置和方向??? 283.2.3 计算任意姿势下肘关节和肩关节相对旋转方向??? 293.3实验结果??? 313.4本章小结??? 31第4章 手语动作调整系统的设计与实现??? 334.1引言??? 334.2关键技术??? 334.2.1 基于H-Anim虚拟人标准的虚拟人模型??? 334.2.2 利用折痕角平滑显示3D虚拟人模型??? 354.2.3 关键帧间动画插值的实现??? 374.2.4 利用四元数解决欧拉角的数据编辑缺陷??? 414.3人性化界面功能??? 424.3.1 运动数据编辑器??? 424.3.2 关节树状列表??? 434.3.3 关键帧编辑器??? 444.3.4 其他辅助功能??? 444.4系统设计说明??? 454.4.1 需求分析??? 454.4.2 系统设计??? 464.4.3 系统实现??? 474.4.3 系统效果??? 484.5本章小结??? 50第5章 增强动画运动细节的关键帧插值方案??? 515.1引言??? 515.2关键帧的提取??? 515.3关键帧的分类??? 535.3.1普通关键帧??? 535.3.2变速关键帧??? 545.3.3摆动关键帧??? 555.4基于关键帧分类的分层插值方案??? 565.5定制不同风格的关键帧动画??? 595.6本章小结??? 59结论??? 61参考文献??? 63攻读硕士学位期间所发表的学术论文??? 67致谢??? 69 本文结构 本文分为以下几个部分。 第一章为绪论，主要阐述手语关键帧动画的采集与显示的研究背景、国内外的相关技术、手语系统的实现框架以及本文在手语系统框架上所研究的关键技术。 第二章针对手语数据的实时采集进行阐述，首先介绍用于数据采集的设备，包括数据手套和位置跟踪仪。其次具体介绍手语数据采集系统的设计框架，并针对采集的数据进行评测。 第三章介绍手语原始数据的转换工作。阐述关于获得关节点旋转数据的实现方法，并给出实验结果进行评价。 第四章介绍手语姿势调整系统的设计与实现。首先讨论真实显示3D模型所需要的关键技术，其次介绍根据目前手语数据编辑的问题设计人性化界面功能，最后具体阐述整个手语姿势调整系统的设计框架与实现模块。 第五章以提高手语动画真实感为目标提出改善手语数据的方案，系统的阐述一个基于关键帧种类的分层插值方案，并实际应用于手语合成系统之中。最后给出对方案的评价。 在结论与展望部分，对本文的研究进行了总结，给出了相应的结论，并指出了今后应努力的方向。