CN104850226A - 基于手势识别的三维交互式果树树形修整方法 - Google Patents

Abstract

本发明提供基于手势识别的三维交互式果树树形修整方法，包括：构建果树三维模型和辅助工具三维模型；对果树三维模型预处理；识别用户第一手势指令，包括：左或右手指令信息、树龄选择信息、修整类型选择信息；根据第一手势指令和预设手势动作规则确定是否进入三维交互界面；如果进入，根据树龄选择信息、修整类型选择信息在果树三维模型中确定目标果树三维模型并显示在三维交互界面中；识别用户第二手势指令，包括：左和/或右手指令信息；根据第二手势指令和预设的手势动作规则对预处理后的果树三维模型进行修整操作，获得修整模拟效果。该方法可基于手势识别实现对三维空间果树树形进行修剪、拉枝、扭梢、摘心和环割等修整操作的虚拟交互。

Description

基于手势识别的三维交互式果树树形修整方法

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种基于手势识别的三维交互式果树树形修整方法。

背景技术

树形修整是果树生产管理中十分重要的技术环节，因此推广和普及先进实用的树形修整技术是果树产业推广的一项重要工作。目前果树修剪技术培训和推广工作中，大部分还是采用在真实果树上进行现场演示示范、讲解的方式，这种在真实果树上进行树形修整技术教学和训练的方法具有破坏性强、成本高、不易在同一棵树上进行各种树形修整技术演示等缺点。

利用虚拟现实技术手段辅助开展果树修剪技术的培训和推广是近年来研究者提出的一种设想，并得到了不少实践尝试。主要方法包括两类，一类是基于三维空间的虚拟交互修剪技术，侧重树形的虚拟交互修剪操作；另一类是果树修剪后的形态发展过程可视化模拟，侧重模拟果树在不同修剪策略下形态结构在下一季度、下一年甚至几年后的生长结果。

现有基于三维空间的虚拟交互修剪技术存在的缺点是，这些技术所提供的虚拟交互都是基于鼠标、键盘的操作，不够自然，难以提供与真实果树修剪操作一致的体验感。同时，目前这种方法基本都仅实现了剪枝这一种最重要的树形修整操作，而树形修整中其他常用的操作，如拉枝、摘心、扭梢、环割等尚无考虑。因此所开发的系统难以为用户提供完整的树形修整技术体验环境。

树木修剪后的形态发展过程可视化模拟技术也存在类似的缺点，其提供的虚拟交互更有限，往往是通过参数输入的方式设置不同的枝条修剪策略，无法提供形象、自然的果树树形修整交互体验环境。同样地，该方法也集中在枝条的修剪上，尚未提供拉枝、摘心、扭梢、环割等其他常用的树形修整技术的交互体验功能。

鉴于此，如何实现基于手势识别对三维空间的果树树形进行修剪、拉枝、扭梢、摘心和环割等修整操作的虚拟交互成为目前需要解决的技术问题。

发明内容

为解决上述的技术问题，本发明提供一种基于手势识别的三维交互式果树树形修整方法，可以基于手势识别实现对三维空间的果树树形进行修剪、拉枝、扭梢、摘心和环割等修整操作的虚拟交互。

第一方面，本发明提供一种基于手势识别的三维交互式果树树形修整方法，包括：

构建果树三维模型和辅助工具三维模型；

对所述果树三维模型进行预处理；

识别用户的第一手势指令，所述第一手势指令包括：左手指令信息或右手指令信息、树龄选择信息、修整类型选择信息；

根据所述第一手势指令和预设的手势动作规则，确定是否进入三维交互界面；

如果进入三维交互界面，根据所述树龄选择信息、修整类型选择信息，在所述果树三维模型中确定目标果树三维模型，将所述目标果树三维模型显示在三维交互界面中；

识别用户的第二手势指令，所述第二手势指令包括：左手指令信息和/或右手指令信息；

根据所述第二手势指令和预设的手势动作规则对预处理后的果树三维模型进行修整操作，获得修整模拟效果。

可选地，所述树龄选择信息包括：小树修整、或中树修整、或大树修整；

所述修整类型选择信息包括：冬季修整和夏季修整。

可选地，若修整类型选择信息为冬季修整，所述修整操作包括：旋转所述目标果树三维模型、放大所述目标果树三维模型、缩小所述目标果树三维模型、修剪、拉枝和环割操作；

若修整类型选择信息为夏季修整，所述修整操作包括：旋转所述目标果树三维模型、放大所述目标果树三维模型、缩小所述目标果树三维模型、修剪、拉枝、扭梢、摘心和环割操作。

可选地，所述构建果树三维模型和辅助工具三维模型，包括：

构建果树三维模型，所述果树三维模型包括：幼年期带叶、幼年期不带叶、初果期带叶、初果期不带叶、盛果期带叶和盛果期不带叶的6个果树三维模型；其中，所述果树三维模型中的每根枝条都用不同的纹理贴图，或者采用相同的纹理但改变纹理贴图的文件名称；

构建辅助工具三维模型，所述辅助工具三维模型包括：左手、右手、剪刀、环割刀、绳子、木桩对象的三维模型；

获取带环割效果的果树枝条的数字图像，作为枝条的预备纹理贴图。

可选地，所述识别用户的第一手势指令，所述第一手势指令包括：树龄选择信息、修整类型选择信息，包括：

对用户的第一手势进行识别，在所述第一手势符合左手或右手伸出食指斜指屏幕停留预设时间段时，根据所述第一手势的食指指尖位置分别确定树龄选择信息和修整类型选择信息。

可选地，所述根据所述树龄选择信息、修整类型选择信息，在所述果树三维模型中确定目标果树三维模型，包括：

若所述树龄选择信息为小树修整、所述修整类型选择信息为冬季修整，则确定目标果树三维模型为幼年期不带叶果树三维模型；

若所述树龄选择信息为小树修整、所述修整类型选择信息为夏季修整，则确定目标果树三维模型为幼年期带叶果树三维模型；

若所述树龄选择信息为中树修整、所述修整类型选择信息为冬季修整，则确定目标果树三维模型为初果期不带叶果树三维模型；

若所述树龄选择信息为中树修整、所述修整类型选择信息为夏季修整，则确定目标果树三维模型为初果期带叶果树三维模型；

若所述树龄选择信息为大树修整、所述修整类型选择信息为冬季修整，则确定目标果树三维模型为盛果期不带叶果树三维模型；

若所述树龄选择信息为大树修整、所述修整类型选择信息为夏季修整，则确定目标果树三维模型为盛果期带叶果树三维模型。

可选地，所述对所述果树三维模型进行预处理，包括：

根据所构建的果树三维模型，确定枝条间的父子关系，构建每个三维模型中枝条的拓扑结构模型；

根据所构建的拓扑结构模型，计算每根枝条的包围盒，以枝条的包围盒为单位，构建果树三维模型的八叉树结构。

可选地，所述根据所述第二手势指令和预设的手势动作规则对预处理后的果树三维模型进行修整操作，包括：

在所述第二手势指令左手指令信息时，判断所述第二手势指令中的左/右手指令信息、左/右手形状、动作与手势动作规则中的左/右手形状、动作是否一致，如果一致，对预处理后的果树三维模型执行该左/右手形状、动作在手势动作规则中对应的修整操作。

可选地，在对左/右手手势进行识别的同时，根据所识别的结果实时显示左/右手的三维模型，并根据所识别的手势动态显示手掌与手指的运动。

可选地，采用体感装置Kinect对手势进行识别；

和/或，

采用体感装置Leap Motion对手势进行识别；

和/或，

采用游戏引擎Unity3D进行界面、三维模型场景和所有修整操作动作的显示和模拟仿真。

由上述技术方案可知，本发明的基于手势识别的三维交互式果树树形修整方法，通过构建果树三维模型和辅助工具三维模型，对果树三维模型进行预处理，识别用户的第一手势指令，所述第一手势指令包括：左手指令信息或右手指令信息、树龄选择信息、修整类型选择信息；根据第一手势指令和预设的手势动作规则确定是否进入三维交互界面；如果进入三维交互界面，根据树龄选择信息、修整类型选择信息，在果树三维模型中确定目标果树三维模型，将目标果树三维模型显示在树形修整三维交互界面中；识别用户的第二手势指令，第二手势指令包括：左手指令信息和/或右手指令信息；根据第二手势指令和预设的手势动作规则对预处理后的果树三维模型进行修整操作(包括修剪、拉枝、扭梢、摘心和环割等操作)，获得修整模拟效果，可以基于手势识别实现对三维空间的果树树形进行修剪、拉枝、扭梢、摘心和环割等修整操作的虚拟交互，帮助使用者学习、掌握不同的树形修整操作。

附图说明

图1为本发明第一实施例提供的一种基于手势识别的三维交互式果树树形修整方法的流程示意图；

图2为本发明第二实施例提供的一种基于手势识别的三维交互式果树树形修整方法的主要处理流程示意图；

图3为本发明第二实施例提供的一种基于手势识别的三维交互式果树树形修整方法的具体执行过程的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。

第一实施例

图1示出了本发明第一实施例提供的基于手势识别的三维交互式果树树形修整方法的流程示意图，如图1所示，本实施例的基于手势识别的三维交互式果树树形修整方法如下所述。

101、构建果树三维模型和辅助工具三维模型。

在具体应用中，上述步骤101可包括图中未示出的步骤101a-101c：

101a、构建果树三维模型，所述果树三维模型可包括：幼年期带叶、幼年期不带叶、初果期带叶、初果期不带叶、盛果期带叶和盛果期不带叶的6个果树三维模型；

其中，所述果树三维模型中的每根枝条都用不同的纹理贴图，或者采用相同的纹理但改变纹理贴图的文件名称。

101b、构建辅助工具三维模型，所述辅助工具三维模型可包括：左手、右手、剪刀、环割刀、绳子、木桩等对象的三维模型。

101c、获取带环割效果的果树枝条的数字图像，作为枝条的预备纹理贴图。

102、对所述果树三维模型进行预处理。

在具体应用中，上述步骤102可包括图中未示出的步骤102a-102b：

102a、根据所构建的果树三维模型，确定枝条间的父子关系，构建每个三维模型中枝条的拓扑结构模型。

102b、根据所构建的拓扑结构模型，计算每根枝条的包围盒，以枝条的包围盒为单位，构建果树三维模型的八叉树结构。

103、识别用户的第一手势指令，所述第一手势指令包括：左手指令信息或右手指令信息、树龄选择信息、修整类型选择信息。

在具体应用中，上述步骤103可包括：

对用户的第一手势进行识别，在所述第一手势符合左手或右手伸出食指斜指屏幕停留预设时间段时，根据所述第一手势的食指指尖位置分别确定树龄选择信息和修整类型选择信息。

举例来说，所述预设时间段可以优选为3秒。

在具体应用中，所述树龄选择信息可包括：小树修整、或中树修整、或大树修整；

所述修整类型选择信息可包括：冬季修整和夏季修整。

104、根据所述第一手势指令和预设的手势动作规则，确定是否进入三维交互界面。

105、如果进入三维交互界面，根据所述树龄选择信息、修整类型选择信息，在所述果树三维模型中确定目标果树三维模型，将所述目标果树三维模型显示在三维交互界面中。

在具体应用中，上述步骤103中的“根据所述树龄选择信息、修整类型选择信息，在所述果树三维模型中确定目标果树三维模型”可包括：

若所述树龄选择信息为小树修整、所述修整类型选择信息为冬季修整，则确定目标果树三维模型为幼年期不带叶果树三维模型；

若所述树龄选择信息为小树修整、所述修整类型选择信息为夏季修整，则确定目标果树三维模型为幼年期带叶果树三维模型；

若所述树龄选择信息为中树修整、所述修整类型选择信息为冬季修整，则确定目标果树三维模型为初果期不带叶果树三维模型；

若所述树龄选择信息为中树修整、所述修整类型选择信息为夏季修整，则确定目标果树三维模型为初果期带叶果树三维模型；

若所述树龄选择信息为大树修整、所述修整类型选择信息为冬季修整，则确定目标果树三维模型为盛果期不带叶果树三维模型；

若所述树龄选择信息为大树修整、所述修整类型选择信息为夏季修整，则确定目标果树三维模型为盛果期带叶果树三维模型。

106、识别用户的第二手势指令，所述第二手势指令包括：左手指令信息和/或右手指令信息。

107、根据所述第二手势指令和预设的手势动作规则对预处理后的果树三维模型进行修整操作，获得修整模拟效果。

在具体应用中，上述步骤107中的“根据所述第二手势指令和预设的手势动作规则对预处理后的果树三维模型进行修整操作”可包括：

在所述第二手势指令左手指令信息时，判断所述第二手势指令中的左/右手指令信息、左/右手形状、动作与手势动作规则中的左/右手形状、动作是否一致，如果一致，对预处理后的果树三维模型执行该左/右手形状、动作在手势动作规则中对应的修整操作。

在具体应用中，若修整类型选择信息为冬季修整，所述修整操作可包括：旋转所述目标果树三维模型、放大所述目标果树三维模型、缩小所述目标果树三维模型、修剪、拉枝和环割等操作；

若修整类型选择信息为夏季修整，所述修整操作可包括：旋转所述目标果树三维模型、放大所述目标果树三维模型、缩小所述目标果树三维模型、修剪、拉枝、扭梢、摘心和环割等操作。

可理解的时，在具体应用中，本实施例可在对左/右手手势进行识别的同时，根据所识别的结果(在显示器屏幕)实时显示左/右手的三维模型，并根据所识别的手势动态显示手掌与手指的运动。

在具体应用中，举例来说，本实施例可采用体感装置Kinect对手势进行识别；本实施例可采用体感装置Leap Motion对手势进行识别；例如，采用体感装置Kinect对左手手势进行识别，采用体感装置LeapMotion对右手手势进行识别；本实施例可采用游戏引擎Unity3D进行界面、三维模型场景和所有修整操作动作的显示和模拟仿真。

可理解的是，在具体应用中，在步骤101之前，应预先设立手势动作规则(即规定操作者手势动作对应的功能意图)，可设立左或右手各种手势动作相对应的修整操作(包括旋转所述目标果树三维模型、放大所述目标果树三维模型、缩小所述目标果树三维模型、修剪、拉枝、扭梢、摘心和环割等操作)，本实施例并不对其进行限制。

本实施例的基于手势识别的三维交互式果树树形修整方法，可以基于手势识别实现对三维空间的果树树形进行修剪、拉枝、扭梢、摘心和环割等修整操作的虚拟交互，让使用者能够通过自然的手势动作即可在计算机构建的虚拟空间中进行各种果树修整技术的演练操作，帮助使用者学习、掌握不同的树形修整操作，为果树树形修整技术的推广、培训和科普教育提供简单实用的方法。

第二实施例

图2示出了本发明第二实施例提供的一种基于手势识别的三维交互式果树树形修整方法的主要处理流程示意图，图3示出了本发明第二实施例提供的一种基于手势识别的三维交互式果树树形修整方法的具体执行过程的流程示意图，如图2及图3所示，本实施例的基于手势识别的三维交互式果树树形修整方法如下所述。

S1.基础模型和动作规则构建。

在具体应用中，步骤S1可包括图中未示出的步骤S1-S14：

S11、建立目标果树的三维模型，包括幼年期、初果期和盛果期三个时期的带叶和不带叶的三维模型各1个，即树的三维模型共6个。要求模型中每根枝条都用不同的纹理贴图，也可以采用相同的纹理但改变纹理贴图的文件名称的方式进行处理，使修改模型中某根枝条的纹理贴图不会影响其他枝条。

S12、建立辅助工具的三维模型，包括左手、右手、剪刀、环割刀、绳子、木桩等对象的三维模型。

S13、获取带环割效果的果树枝条的数字图像，作为枝条的预备纹理贴图。

S14、建立手势动作规则，即规定操作者手势动作对应的功能意图(也可在步骤S1之前预先建立手势动作规则)。

所述手势动作规则可包括：左手动作规则和右手动作规则；

所述左手动作规则，可包括规则LHr1-LHr6：

LHr1:左手手掌张开正对前方(显示器屏幕)，停留3秒――返回主界面。

LHr2:左手握拳3秒――返回上一级界面。

LHr3:左手张开，五根手指呈环型排列，同时指向屏幕，做旋转动作――旋转果树三维模型

LHr4:左手大拇指竖起向前方移动――放大三维模型。

LHr5:左手大拇指竖起向后方移动――缩小三维模型。

LHr6:左手伸出食指，斜指屏幕，停留3秒――选取屏幕对应位置的功能按钮。

所述右手动作规则，可包括规则RHr1-RHr6：：

RHr1:右手伸出食指，斜指屏幕，停留3秒――选取屏幕上三维空间中果树三维模型上对应位置的枝条或其他器官。

RHr2:右手食指和中指呈V字型，其他手指收缩，两根手指从张开到并拢的动作――修剪枝条。

RHr3:右手食指呈勾状向下运动――拉枝。

RHr4:右手手掌紧握同时肘子下压――扭梢。

RHr5:右手拇指和食指同时弯曲并相向运动，当两个指尖碰在一起――摘心。

RHr6：右手食指伸直(其他手指收缩)，做一次直线自由比划：环割。

S2、对所述果树三维模型进行预处理。

在具体应用中，本步骤S2可包括步骤S21-S24：

S21、构建果树枝条的拓扑结构模型。对S11步骤构建的果树三维模型，明确枝条间的父子关系，建立每个三维模型中枝条的拓扑结构模型。

S22、构建果树三维模型的八叉树结构。对果树三维模型的每根枝条，计算的包围盒，以枝条的包围盒为单位，基于S21构建的果树枝条拓扑结构模型，构建果树三维模型的八叉树结构。

S23、建立操作选择菜单。

其中，主界面菜单，可包括小树修整、中树修整、大树修整三个功能按钮。

修整类型选择菜单，可包括冬季修整和夏季修整两个功能按钮。

冬季修整操作选择菜单，可包括修剪、拉枝、环割三个功能按钮。

夏季修整操作选择菜单，可包括修剪、拉枝、扭梢、摘心、环割五个功能按钮。

S24、在屏幕上显示主界面菜单，等待用户的手势交互。

S3、手势识别，采用体感装置Kinect进行左手手势动作的识别，采用体感装置Leap Motion进行右手手势动作的识别，并同步根据识别到的结果在屏幕上实时显示左手或右手的三维模型，并根据用户的手势动作动态显示手掌、手指的运动。

S4、动作响应，根据S3识别到的用户手势动作，采用游戏引擎Unity3D在计算机上进行相应的响应。

在具体应用中，步骤S4可具体包括如下步骤：

S41、主界面菜单响应。根据S14建立的手势动作规则，通过S3识别到用户的左手动作，若符合LHr6则记录下来(记为树龄选择)，然后在屏幕上显示修整类型选择菜单。

S42、修整类型选择菜单响应。根据S14建立的手势动作规则，通过S3识别到用户的左手动作，若符合LHr6则记录下来(即为修整类型选择)。

S43、显示树形修整三维交互界面，在三维空间正中增加一块四边形作为地面，然后根据以上用户选择的操作结果，包括树龄选择和修整类型选择，构造相应的三维交互界面并显示在屏幕上。

在具体应用中，本步骤S43可以包括：

树龄选择--小树修整、修整类型选择--冬季修整，则执行步骤S431；

树龄选择--小树修整、修整类型选择--夏季修整，则执行步骤S432；

树龄选择--中树修整、修整类型选择--冬季修整，则执行步骤S433；

树龄选择--中树修整、修整类型选择--夏季修整，则执行步骤S434；

树龄选择--大树修整、修整类型选择--冬季修整，则执行步骤S435；

树龄选择--大树修整、修整类型选择--夏季修整，则执行步骤S436；

S431、载入S11构建的幼年期不带叶果树三维模型，显示在屏幕中间并按屏幕比例进行适当的大小缩放，使果树三维模型具有良好的视觉效果，同时在屏幕右边显示冬季修整操作选择菜单，等待用户的手势交互；

S432、载入S11构建的幼年期带叶果树三维模型，显示在屏幕中间并按屏幕比例进行适当的大小缩放，使果树三维模型具有良好的视觉效果，同时在屏幕右边显示夏季修整操作选择菜单，等待用户的手势交互；

S433、载入S11构建的初果期不带叶果树三维模型，显示在屏幕中间并按屏幕比例进行适当的大小缩放，使果树三维模型具有良好的视觉效果，同时在屏幕右边显示冬季修整操作选择菜单，等待用户的手势交互；

S434、载入S11构建的初果期带叶果树三维模型，显示在屏幕中间并按屏幕比例进行适当的大小缩放，使果树三维模型具有良好的视觉效果，同时在屏幕右边显示夏季修整操作选择菜单，等待用户的手势交互；

S435、载入S11构建的盛果期不带叶果树三维模型，显示在屏幕中间并按屏幕比例进行适当的大小缩放，使果树三维模型具有良好的视觉效果，同时在屏幕右边显示冬季修整操作选择菜单，等待用户的手势交互；

S436、载入S11构建的盛果期带叶果树三维模型，显示在屏幕中间并按屏幕比例进行适当的大小缩放，使果树三维模型具有良好的视觉效果，同时在屏幕右边显示夏季修整操作选择菜单，等待用户的手势交互；

S44、利用S3进行手势识别，并根据用户选择操作类型执行手势动作规则中相应的操作动作，若用户的动作为左手手势，则执行步骤S441；若用户的动作为右手手势，则执行步骤S442；

S441、若用户的动作为左手手势，根据手势动作规则中的左手动作规则，执行相应的命令，包括：

若用户的手势动作符合LHr1，则执行步骤S24；

若用户的手势动作符合LHr2，则在屏幕上显示修整类型选择菜单，并等待用户进行手势交互；

若用户的手势动作符合LHr3，则根据手势运动的速度和对屏幕中的果树三维模型进行旋转；

若用户的手势动作符合LHr4，则根据手势移动的距离对屏幕中的果树三维模型进行放大显示；

若用户的手势动作符合LHr5，则根据手势移动的距离对屏幕中的果树三维模型进行缩小显示；

S442：若用户的动作为右手手势，根据手势动作规则中的右手动作规则，执行相应的命令，包括：

若用户的手势动作符合RHr1，则根据S22构建的果树三维模型的八叉树结构对屏幕中的三维手模型和果树三维模型进行相交监测，确定当前用户左手食指所选取的枝条并记录该枝条编号(保存到当前选取枝条编号变量BN_cs中)及食指在枝条上的位置坐标(保存到变量Coord_cs)。

若用户的手势动作符合RHr2，根据手的运动路径在屏幕上动态显示剪刀的三维模型，若此时BN_cs的值不为空，则执行步骤S451；

若用户的手势动作符合RHr3，若此时BN_cs的值不为空，则执行步骤S452；

若用户的手势动作符合RHr4，若此时BN_cs的值不为空，则执行步骤S453；

若用户的手势动作符合RHr5，若此时BN_cs的值不为空，则执行步骤S454；

若用户的手势动作符合RHr6，若此时BN_cs的值不为空，则执行S455；

S451、修剪动作响应。对三维空间中的果树三维模型中BN_cs指定的枝条，根据Coord_cs中记录的位置，在该位置对该枝条进行剪切。即将该枝条该位置到枝条顶部的那部分网格从果树三维模型中切割下来，同时根据步骤S21构建的果树枝条的拓扑结构模型将从属于该枝条的子枝条(仅包括长在切割下来的那部分枝条上的子枝条)也一起切割下来，并将切割下来的三维网格按预设速度(例如100cm/s)模拟其掉落到地面上的动态过程。然后清空BN_cs的值。

S452、拉枝动作响应。对三维空间中的果树三维模型中BN_cs指定的枝条，根据Coord_cs中记录的位置和步骤S3检测到的用户手指的运动距离，以该枝条的根部为原点，使枝条绕原点向下旋转。同时根据步骤S21构建的果树枝条的拓扑结构模型将从属于该枝条的子枝条的位置进行响应的移动。最后在该枝条转动后Coord_cs中记录的位置在地面上的投影坐标Coord_cs0处显示一根木桩的三维模型，同时显示一条绳子的三维模型(绳子两头的位置分别是该枝条转动后Coord_cs中记录的位置和地面上Coord_cs0指定的位置)。然后清空BN_cs的值。

S453、扭梢动作响应。对三维空间中的果树三维模型中BN_cs指定的枝条，以Coord_cs中记录的位置为原点，对该枝条Coord_cs位置到枝条顶部的那部分网格绕着原点并根据步骤S3检测到的用户手势运动的距离和方向进行旋转运动。然后清空BN_cs的值。

S454、摘心动作响应。对三维空间中的果树三维模型中BN_cs指定的枝条，将该枝条上Coord_cs位置到枝条顶部的那部分网格从果树三维模型上剪切掉。然后清空BN_cs的值。

S455、环割动作响应。对三维空间中的果树三维模型中BN_cs指定的枝条，将该枝条的纹理贴图替换为步骤S13指定的预备纹理贴图。然后清空BN_cs的值。

应说明的是，上述步骤S3和S4是相互循环执行的过程，本实施例的工作过程如图2及图3所示。

本实施例的基于手势识别的三维交互式果树树形修整方法，可以基于手势识别实现对三维空间的果树树形进行修剪、拉枝、扭梢、摘心和环割等修整操作的虚拟交互，让使用者能够通过自然的手势动作即可在计算机构建的虚拟空间中进行各种果树修整技术的演练操作，帮助使用者学习、掌握不同的树形修整操作，为果树树形修整技术的推广、培训和科普教育提供简单实用的方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于手势识别的三维交互式果树树形修整方法，其特征在于，包括：

构建果树三维模型和辅助工具三维模型；

对所述果树三维模型进行预处理；

识别用户的第一手势指令，所述第一手势指令包括：左手指令信息或右手指令信息、树龄选择信息、修整类型选择信息；

根据所述第一手势指令和预设的手势动作规则，确定是否进入三维交互界面；

如果进入三维交互界面，根据所述树龄选择信息、修整类型选择信息，在所述果树三维模型中确定目标果树三维模型，将所述目标果树三维模型显示在三维交互界面中；

识别用户的第二手势指令，所述第二手势指令包括：左手指令信息和/或右手指令信息；

根据所述第二手势指令和预设的手势动作规则对预处理后的果树三维模型进行修整操作，获得修整模拟效果。

2.根据权利要1所述的方法，其特征在于，所述树龄选择信息包括：小树修整、或中树修整、或大树修整；

所述修整类型选择信息包括：冬季修整和夏季修整。

3.根据权利要2所述的方法，其特征在于，若修整类型选择信息为冬季修整，所述修整操作包括：旋转所述目标果树三维模型、放大所述目标果树三维模型、缩小所述目标果树三维模型、修剪、拉枝和环割操作；

若修整类型选择信息为夏季修整，所述修整操作包括：旋转所述目标果树三维模型、放大所述目标果树三维模型、缩小所述目标果树三维模型、修剪、拉枝、扭梢、摘心和环割操作。

4.根据权利要3所述的方法，其特征在于，所述构建果树三维模型和辅助工具三维模型，包括：

构建果树三维模型，所述果树三维模型包括：幼年期带叶、幼年期不带叶、初果期带叶、初果期不带叶、盛果期带叶和盛果期不带叶的6个果树三维模型；其中，所述果树三维模型中的每根枝条都用不同的纹理贴图，或者采用相同的纹理但改变纹理贴图的文件名称；

构建辅助工具三维模型，所述辅助工具三维模型包括：左手、右手、剪刀、环割刀、绳子、木桩对象的三维模型；

获取带环割效果的果树枝条的数字图像，作为枝条的预备纹理贴图。

5.根据权利要4所述的方法，其特征在于，所述识别用户的第一手势指令，所述第一手势指令包括：树龄选择信息、修整类型选择信息，包括：

对用户的第一手势进行识别，在所述第一手势符合左手或右手伸出食指斜指屏幕停留预设时间段时，根据所述第一手势的食指指尖位置分别确定树龄选择信息和修整类型选择信息。

6.根据权利要4所述的方法，其特征在于，所述根据所述树龄选择信息、修整类型选择信息，在所述果树三维模型中确定目标果树三维模型，包括：

若所述树龄选择信息为小树修整、所述修整类型选择信息为冬季修整，则确定目标果树三维模型为幼年期不带叶果树三维模型；

若所述树龄选择信息为小树修整、所述修整类型选择信息为夏季修整，则确定目标果树三维模型为幼年期带叶果树三维模型；

若所述树龄选择信息为中树修整、所述修整类型选择信息为冬季修整，则确定目标果树三维模型为初果期不带叶果树三维模型；

若所述树龄选择信息为中树修整、所述修整类型选择信息为夏季修整，则确定目标果树三维模型为初果期带叶果树三维模型；

若所述树龄选择信息为大树修整、所述修整类型选择信息为冬季修整，则确定目标果树三维模型为盛果期不带叶果树三维模型；

若所述树龄选择信息为大树修整、所述修整类型选择信息为夏季修整，则确定目标果树三维模型为盛果期带叶果树三维模型。

7.根据权利要1所述的方法，其特征在于，所述对所述果树三维模型进行预处理，包括：

根据所构建的果树三维模型，确定枝条间的父子关系，构建每个三维模型中枝条的拓扑结构模型；

根据所构建的拓扑结构模型，计算每根枝条的包围盒，以枝条的包围盒为单位，构建果树三维模型的八叉树结构。

8.根据权利要1所述的方法，其特征在于，所述根据所述第二手势指令和预设的手势动作规则对预处理后的果树三维模型进行修整操作，包括：

在所述第二手势指令左手指令信息时，判断所述第二手势指令中的左/右手指令信息、左/右手形状、动作与手势动作规则中的左/右手形状、动作是否一致，如果一致，对预处理后的果树三维模型执行该左/右手形状、动作在手势动作规则中对应的修整操作。

9.根据权利要1所述的方法，其特征在于，在对左/右手手势进行识别的同时，根据所识别的结果实时显示左/右手的三维模型，并根据所识别的手势动态显示手掌与手指的运动。

10.根据权利要1-9中任一所述的方法，其特征在于，

采用体感装置Kinect对手势进行识别；

和/或，

采用体感装置Leap Motion对手势进行识别；

和/或，

采用游戏引擎Unity3D进行界面、三维模型场景和所有修整操作动作的显示和模拟仿真。