CN103823554A - 一种数字化虚实交互系统及方法 - Google Patents

Abstract

本发明公开了一种数字化虚实交互系统及方法，该系统硬件包括手势采集设备、处理设备以及显示设备。该方法包含如下步骤：（1）跟踪捕捉摄像机采集到的用户指尖的运动轨迹；（2）在显示器上实时绘制轨迹曲线，或用触摸屏显示并记录用户指尖留下的轨迹；（3）提取运动轨迹形成的轮廓，检测其形状并赋予文字语义；（4）搭建三维模型库，通过语义管理图形库中的三维模型；（5）根据用户手绘轨迹的语义检索三维模型库，加载对应的三维模型并显示三维虚拟环境；（6）用户与三维模型及虚拟环境动态交互，实现数字化的虚实交互功能。本发明将适用于数字娱乐、虚拟设计、虚实互动、虚拟教学等多种应用领域。

Description

一种数字化虚实交互系统及方法

技术领域

本发明涉及一种数字化虚实交互系统及方法，属于计算机图形图像处理及虚拟现实研究领域。 

背景技术

虚实交互是目前人机交互领域的重要发展方向，基于虚实结合技术，为用户提供一个充满想象力但又具真实感的环境，使用户经历前所未有的体验，也可完成协同设计、训练、教学等目标功能。使用摄像机采集用户真实的信息（包括手势信息等），将其与三维虚拟世界相结合，构建虚实混合环境，是一种很自然的虚实交互方法，但是如何能够通过用户随机的即兴发挥，生成用户心中想要的三维场景并与之交互，目前还没有成熟的技术。 

在艺术创作领域，手绘草图是一种常用的用户表达方式，也是艺术家重要的思维方式和创意创造过程，是一种通过画面诱导获取创意的技术。手绘草图的数字化目前国内外也都有研究，通过对手绘草图的分析和识别来转换为数字化产品，再应用于教学、艺术/服装/建筑设计等多个领域。但是这种处理也仅限于从二维到二维的过程，龚健等在文献“龚健，费广正，石民勇，曹玮，基于手绘草图轮廓检索的简笔绘图系统，2008系统仿真技术及其应用学术会议论文集，pp.761-764”中利用基于手绘草图轮廓的图像检索技术实现了用于二维图像绘制的简笔绘图系统，用户利用检索出来的图像可做进一步的编辑，既能保证绘图的基本质量，又提高了绘图的效率。CMU的Wing Ho Leung等在文献“Wing Ho Leung,Tsuhan Chen,Hierarchical Matching for Retrieval of Hand-Drawn Sketches,International Conference on Multimedia and Expo-Volume2,2003,pp.29-32”中提出了手绘草图的层次化匹配检索方法，通过对用户手绘的逐个笔画进行匹配并考虑其空间关系来进行检索，减少了计算量，但仍然属于二维处理的过程。 

本发明旨在将用户手绘草图即用户实时绘制过程与图像检索和识别、三维环境渲染、用户交互集成在一起，实现中国传统文化中家喻户晓的“神笔马良”的故事效果，用户在操作平台徒手操作，即可看到相应的三维模型在虚拟环境中自然出现（当然也包括二维图像的编辑与交互），并可与用户交互运动。本发明主要涉及的技术包括用户手绘轨迹的跟踪、二维图像形状检索、语义识别及三维模型加载、虚实交互等。本发明中采集到的用户手势输入痕 迹可形成二维图像，利用其形状特征即可进行语义的检索与识别，通过图形库中加载对应的三维模型，即可渲染虚拟环境，实现沉浸式虚实交互功能。 

发明内容

本发明解决的技术问题是：通过采集用户指尖的运动轨迹，进行二维或三维虚实交互。二维交互功能包括：将手势轨迹转换为图像形状，检索图像库中具有该形状的图像并显示，用户可通过手势动作对图像进行缩放、旋转、编辑等操作；三维交互功能包括：通过用户手绘轨迹形成的图像识别出其语义，再根据语义检索图形库中的三维模型，绘制相应的虚拟环境，用户可通过手势动作与虚拟环境交互。 

本发明的技术解决方案为研究并实现数字化虚实交互系统及方法，其中系统硬件包括手势采集设备（摄像机或触摸屏）、处理设备（主机）以及显示设备（显示器或触摸屏）。采用的方法包含如下步骤：（1）跟踪捕捉摄像机采集到的用户指尖的运动轨迹；（2）在显示器上实时绘制轨迹曲线，或用触摸屏显示并记录用户指尖留下的轨迹；（3）提取运动轨迹形成的轮廓，检测其形状并赋予文字语义；（4）搭建三维模型库，通过语义管理图形库中的三维模型；（5）根据用户手绘轨迹的语义检索三维模型库，加载对应的三维模型并显示三维虚拟环境；（6）用户与三维模型及虚拟环境动态交互，实现数字化的虚实交互功能。 

附图说明

图1是数字化虚实交互系统结构示意图； 

图2是系统流程图； 

图3是用户指尖运动轨迹绘制流程图。 

具体实施方式

以下，参照附图，对本发明的具体状态作说明，但是本发明不限于图示例。 

如图1所示，数字化虚实交互系统由手势采集设备（摄像机或触摸屏）、处理设备（主机）以及显示设备（显示器或触摸屏）组成。如果采用摄像机进行图像采集，则使用显示器进行显示，要求摄像机采集的帧速不小于15fps，否则延迟会比较大，影响用户进行虚实交互的效果。 

如果使用触摸屏，则可以同时捕捉并显示（通过记录点击位置）用户的指尖运动轨迹，主机负责进行核心处理工作。 

如图2所示，数字化虚实交互方法包括以下步骤： 

（1）跟踪捕捉摄像机采集到的用户指尖的运动轨迹； 

（2）在显示器上实时绘制轨迹曲线，或用触摸屏显示并记录用户指尖留下的轨迹，实 现用户手绘草图的实时绘制功能； 

（3）提取运动轨迹形成的轮廓，检测其形状并赋予文字语义； 

（4）搭建三维模型库，通过语义管理图形库中的三维模型； 

（5）根据用户手绘轨迹的语义检索三维模型库，加载对应的三维模型并显示三维虚拟环境； 

（6）用户与三维模型及虚拟环境动态交互，实现数字化的虚实交互功能。 

如图3所示，上述步骤（2）中在显示器上实时绘制轨迹曲线的流程如下：①摄像机采集当前帧；②判断当前帧数，设置前20帧的判断是为了得到稳定的背景图像，以保证后续处理的准确性，20帧之后，用户开始操作；③用当前帧图像与背景图像作差，得到前景图；④将前景图转换为二值图，以便能更清楚地计算用户当前的指尖位置；⑤用OpenCV开源库中cvPoint函数显示当前指尖位置的坐标点；⑥通过曲线拟合连接上一帧与当前帧的位置点，并且存储用户连续画下的每个指尖点的信息，每一帧都显示至今为止画出的轨迹线，即可清楚地显示用户指尖的运动轨迹。曲线拟合可以用OpenCV中的cvLine函数连接两个相邻坐标点来实现。 

上述步骤（2）中在触摸屏上记录用户指尖轨迹的方法为：用户每次在触摸屏上用指尖触碰一个位置，就在该位置上绘制对应的点，通过曲线拟合将上一帧与当前帧的位置点连接起来，形成运动轨迹。 

数字化虚实交互方法步骤（3）是提取运动轨迹形成的轮廓并识别，为进行此步骤，需要做一项离线数据准备工作，即建立二维形状图像库，该图像库包含了基本形状（如圆形、方形、三角形、菱形等）、日常生活常用形状（如杯子、桌、椅、树、气球等）及复杂形状（如飞机、轮船、房子等）至少十种以上、100张以上的二维形状图像，以便于匹配当前用户手绘草图的形状。在图像库建立的基础上，数字化虚实交互方法步骤（3）提取运动轨迹形成的轮廓并识别的步骤为： 

①使用OpenCV中的轮廓提取函数cvFindContours提取用户指尖运动轨迹形成的轮廓； 

②对得到的轮廓contours，计算其归一化的傅里叶描述子，过程如下： 

Step1.设轮廓曲线由逆时针排列的N个序列点组成，分别记为P₀(x₀,y₀),P₁(x₁,y₁)……P_N-1(x_(N-1),y_(N-1))，根据下式计算这N个点的离散傅里叶变换系数z(k)作为傅里叶描述子： 

$z\left(k\right)=\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}(x\left(n\right)+\mathrm{iy}\left(n\right))e^{-j2\mathrm{\πkn}/N}$

Step2.由于上述的傅立叶描述子{z(k)}与原曲线形状的尺度、方向和起始点P₀位置有关，对识别结果有影响，故为了保证特征具有旋转、平移和尺度不变性，需要对傅里叶描述子进行 归一化，可按如下公式进行归一化： 

$d\left(k\right)=\frac{\left|\right|z\left(k\right)\left|\right|}{\left|\right|z\left(1\right)\left|\right|},k=\mathrm{1,2},...,N-1$

③通过归一化傅里叶描述子计算当前轮廓形状与图像库二维形状之间的匹配程度，由于形状的能量大多数集中在低频部分，傅里叶变换的高频分量一般很小且很容易受到高频噪声的干扰，因此，选择使用傅里叶描述子的部分低频分量来描述任意两个轮廓d_i(k)与d_j(k)之间的形状差异D_i,j，这里选用常数M=12，表示只选择前12个系数来进行匹配。公式如下： 

$D_{i,j}=\sqrt{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\left|\right|d_i\left(k\right)-d_j\left(k\right)\left|\right|}^2}$

④通过计算用户当前手绘草图形状的归一化傅里叶描述子{d_i(k)}及二维形状图像库中所有形状的归一化傅里叶描述子{d_j(k)}，并计算{d_i(k)}与所有{d_j(k)}的形状差异，找出该差异值最小的D_i,j，如果D_i,j在设定的阈值内，即可认为用户当前手绘形状的语义为图像j所对应的语义，完成识别过程；否则，根据形状差异值按从小到大排列出匹配度最大的前10幅图像供用户选择，用户选取之后，即显示最佳匹配图像。 

本方法选择使用归一化傅里叶描述子进行形状识别，可保证识别过程具有旋转、平移和尺度不变性。 

数字化虚实交互方法所述步骤（4）中搭建三维模型库的步骤为：①根据文字语义为数据库的主键，来组织数据库的条目内容；②所存储的三维模型格式统一为3ds格式，都具有在统一的世界坐标系下的三维坐标，便于导入系统中；③所存储的模型导入系统之后，可在系统驱动之下与用户交互，形成一个具有沉浸感的虚实交互系统。 

数字化虚实交互方法所述步骤（5）中根据用户手绘轨迹的语义检索三维模型库，加载对应的三维模型并显示三维虚拟环境的方法为：①根据用户手绘轨迹的文字语义，检索三维模型库的主键；②使用OpenGL将对应的三维模型导入到系统中；③根据导入的模型，系统选择对应的虚拟环境并渲染出来。基于OpenGL开发三维图形环境是本领域技术人员所共知的技术。 

说明：本系统通过建立三维模型库可完成三维模型和虚拟环境的载入、渲染和交互效果，但同时又建了二维形状图像库，不是重复工作，而是为了同时实现用户手绘草图的在线编辑、添加、修改及更灵活的一些功能，因此，本系统也包含了用户手绘草图的二维显示、在线编辑的创作过程，不止是实现了数字化三维虚实交互功能。本系统使用了归一化傅里叶描述子作为二维形状识别的特征算子，也可使用其他特征来进行检索与识别。 

上述过程在C语言编译环境下，使用了Intel推出的高性能的开源计算机视觉库OpenCV （Open Source Computer Vision Library）进行数字图像处理，使用OpenGL进行图形绘制，这些软件也可用类似功能的其他软件或开发语言实现。 

最后所应说明的是，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明数字化虚实交互系统及方法原理的前提下，还可以做出若干改进或等同替换，这些改进和等同替换也应视为本发明的保护范围。 

Claims (8)

1.一种数字化虚实交互系统，该系统包括：手势采集设备、处理设备以及显示设备，如果用摄像机进行图像采集，则使用显示器进行显示，否则使用触摸屏同时捕捉并显示用户的指尖运动轨迹，处理设备负责进行核心处理工作。 

2.一种数字化虚实交互方法，其特征在于包括以下步骤： 

（1）跟踪捕捉摄像机采集到的用户指尖的运动轨迹； 

（2）在显示器上实时绘制轨迹曲线，或用触摸屏显示并记录用户指尖留下的轨迹； 

（3）提取运动轨迹形成的轮廓并识别其形状，赋予文字语义； 

（4）搭建三维模型库，通过语义管理图形库中的三维模型； 

（5）根据用户手绘轨迹的语义检索三维模型库，加载对应的三维模型并显示三维虚拟环境； 

（6）用户与三维模型及虚拟环境动态交互，实现数字化的虚实交互功能。 

3.根据权利要求2所述的数字化虚实交互方法，其特征在于所述步骤（2）中在显示器上实时绘制轨迹曲线的方法为： 

（2.1）通过背景差方法，从摄像机采集到的当前帧图像中计算用户指尖此时画出的位置点信息； 

（2.2）通过曲线拟合连接上一帧与当前帧的位置点，并且存储用户连续画下的每个指尖点的信息，每一帧都显示至今为止画出的轨迹线，即可清楚地显示用户指尖的运动轨迹。 

4.根据权利要求2所述的数字化虚实交互方法，其特征在于所述步骤（2）中在触摸屏上记录用户指尖轨迹的方法为：用户每次在触摸屏上用指尖触碰一个位置，就在该位置上绘制对应的点，通过曲线拟合将上一帧与当前帧的位置点连接起来，形成运动轨迹。 

5.根据权利要求2所述的数字化虚实交互方法，其特征在于所述步骤（3）中提取运动轨迹形成的轮廓并识别其形状，赋予文字语义的步骤包含一个离线的数据准备工作，即建立二维形状图像库，包括基本形状和多种复杂形状的二维图像。 

6.根据权利要求2所述的数字化虚实交互方法，其特征在于所述步骤（3）中提取运动轨迹形成的轮廓并识别其形状，赋予文字语义的步骤为： 

（3.1）使用OpenCV中的轮廓提取函数cvFindContours提取运动轨迹形成的轮廓； 

（3.2）对得到的轮廓contours，计算其归一化的傅里叶描述子，公式如下： 

其中，N为轮廓点的个数，z(k)为轮廓点序列{x(n)，y(n)}，n=0,1，…，N-1的离散傅里叶变换系数，即傅里叶描述子，计算公式如下：

（3.3）.通过归一化的傅里叶描述子来进行轮廓之间的匹配，计算用户手绘轮廓与二维形状图像库中的每个形状的差异，差异最小者即为匹配结果，最佳匹配的语义即为用户手绘轮廓形状的语义，完成形状识别过程。 

7.根据权利要求2所述的数字化虚实交互方法，其特征在于所述步骤（4）中搭建三维模型库的步骤为： 

（4.1）根据文字语义为数据库的主键，来组织数据库的条目内容； 

（4.2）所存储的三维模型都具有在统一的世界坐标系下的三维坐标，便于导入系统中； 

（4.3）所存储的模型导入系统之后，能在系统驱动下与用户交互，形成一个具有沉浸感的虚实交互系统。 

8.根据权利要求2所述的数字化虚实交互方法，其特征在于所述步骤（5）中根据用户手绘轨迹的语义检索三维模型库，加载对应的三维模型并显示三维虚拟环境的方法为： 

（5.1）根据用户手绘轨迹的文字语义，检索三维模型库的主键； 

（5.2）使用OpenGL将对应的三维模型导入到系统中； 

（5.3）根据导入的三维模型，系统选择对应的虚拟环境并渲染出来。 

Images