CN103092432A - 人机交互操作指令的触发控制方法和系统及激光发射装置 - Google Patents

Abstract

本发明公开了一种人机交互操作指令的触发控制方法和系统以及配套使用的激光发射装置。本发明主要利用摄像装置拍摄图像输出装置输出的显示区域；确定所拍摄的显示区域与图像输出装置输出的原始画面的坐标映射变换关系；在所拍摄的显示区域中检测激光点，并确定其坐标，根据所述坐标映射变换关系，将所述检测到的激光点坐标变换为图像输出装置输出的原始画面中的坐标；同时识别所述激光点的编码信号，当识别出所述激光点发出与某一人机交互操作指令对应的编码信号时，在由该激光点坐标对应变换出的所述原始画面中的坐标位置触发与所述编码信号对应的人机交互操作指令。利用本发明，可以方便用户进行中远程的人机交互操作。

Description

人机交互操作指令的触发控制方法和系统及激光发射装置

技术领域

本发明涉及人机交互系统技术，尤其涉及一种人机交互操作指令的触发控制方法和系统及配套使用的激光发射装置。

背景技术

人机交互技术(Human-Computer Interaction Techniques)是指通过数据处理设备的输入、输出设备，以有效的方式实现人与数据处理设备交互的技术。它包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息和操作指令等。

在传统的计算机如台式机、笔记本的交互过程中通过键盘、鼠标等输入设备触发操作指令。在计算机和投影机配合使用的讲解场景中，讲解人往往离计算机较远，当需要对计算机进行操作时，往往需要讲解人接近计算机进行相应的鼠标和键盘操作，这样无法实现中远程的人机交互，不方便用户进行人机交互操作。在进一步的解决方案中，实现了一种无线翻页笔技术，用户可以使用无线翻页笔进行简单的翻页操作，但是这种无线翻页笔无法实现较为复杂的鼠标光标移动和点击等操作，用户使用起来还是不方便。

发明内容

有鉴于此，本发明的主要目的在于提供一种人机交互操作指令的触发控制方法和系统，以方便用户进行中远程的人机交互操作。

本发明另一目的在于提供一种与所述人机交互操作指令的触发控制系统配套使用的激光发射装置，可以精确地发出与操作指令对应的激光编码信号，提高中远程人机交互操作中的操作精度。

本发明的技术方案是这样实现的：

一种人机交互操作指令的触发控制方法，包括：

利用摄像装置拍摄图像输出装置输出的显示区域；

确定摄像装置所拍摄的显示区域与图像输出装置输出的原始画面的坐标映射变换关系；

在摄像装置所拍摄的显示区域中检测激光点；确定所检测到的激光点的坐标，根据摄像装置所拍摄的显示区域与图像输出装置输出的原始画面的坐标映射变换关系，将所述检测到的激光点坐标变换为图像输出装置输出的原始画面中的坐标；

识别所述激光点的编码信号，当识别出所述激光点发出与某一人机交互操作指令对应的编码信号时，在由该激光点坐标对应变换出的所述原始画面中的坐标位置触发与所述编码信号对应的人机交互操作指令。

一种人机交互操作指令的触发控制系统，该系统包括：

图像输出模块，用于提供原始画面供图像输出设备输出；

摄像获取模块，用于获取摄像装置所拍摄的图像输出装置输出的显示区域；

映射关系模块，用于确定摄像装置所拍摄的显示区域与图像输出装置输出的原始画面的坐标映射变换关系；

激光点检测模块，用于在摄像装置所拍摄的显示区域中检测激光点；

定位模块，用于确定所检测到的激光点的坐标，根据摄像装置所拍摄的显示区域与图像输出装置输出的原始画面的坐标映射变换关系，将所述检测到的激光点坐标变换为图像输出装置输出的原始画面中的坐标；

编码识别模块，用于识别所述激光点的编码信号，当识别出所述激光点发出与某一人机交互操作指令对应的编码信号时，在由该激光点坐标对应变换出的所述原始画面中的坐标位置触发与所述编码信号对应的人机交互操作指令。

一种与上述的人机交互操作指令的触发控制系统配套使用的激光发射装置，包括：

人机交互操作指令触发键，用于触发对应的人机交互操作指令；

信号编码单元，用于存储人机交互操作指令对应的激光编码方式；

激光发射器，用于发射激光束；

激光发射控制器，用于根据人机交互操作指令触发键所触发的人机交互操作指令从所述信号编码单元读取对应的激光编码方式，控制所述激光发射器发出代表相应激光编码信号的激光束。

与现有技术相比，本发明所提供的方案将通过基于激光和摄像装置进行配合，通过检测和识别用户在中远程向显示区域发出的激光信号，即可完成对激光信号的定位和在该位置的相应操作指令的触发，所述激光信号可以编码模拟多种操作指令，方便用户在中远程的场景中进行人机交互操作。本发明所述的激光发射装置还可以精确地发出与操作指令对应的激光编码信号，提高中远程人机交互操作中的操作精度。

附图说明

图1为本发明所述方法的一种应用场景的一种器件系统连接示意图；

图2为本发明所述摄像头所拍摄投影区域画面标定的一种示意图；

图3所示为摄像头捕获的标定画面示意图；

图4为在摄像头所拍摄的图画中检测激光点的处理过程示意图；

图5为一种激光束的闪烁编码示意图；

图6为本发明所述的人机交互操作指令的触发控制系统的一种示意图；

图7a为所述触发控制系统中映射关系模块的具体组成示意图；

图7b为所述触发控制系统中激光点检测模块的具体组成示意图；

图7c为所述触发控制系统中编码识别模块的具体组成示意图；

图8为本发明所述激光发射装置的一种示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

本发明的核心技术方案是：

利用摄像装置拍摄图像输出装置输出的显示区域；

确定摄像装置所拍摄的显示区域与图像输出装置输出的原始画面的坐标映射变换关系，该坐标映射变换关系由两部分数据表示：一是参考标定点在拍摄画面中的坐标，二是原始画面和拍摄画面的长度比和宽度比；

在摄像装置所拍摄的显示区域中检测激光点；确定所检测到的激光点的坐标，根据摄像装置所拍摄的显示区域与图像输出装置输出的原始画面的坐标映射变换关系，将所述检测到的激光点坐标变换为图像输出装置输出的原始画面中的坐标；

识别所述激光点的编码信号，当识别出所述激光点发出与某一人机交互操作指令对应的编码信号时，在由该激光点坐标对应变换出的所述原始画面中的坐标位置触发与所述编码信号对应的人机交互操作指令。

本发明所述的图像输出装置可以是投影机，对应输出的显示区域为投影机在幕布或墙壁上等投影出来的投影区域；所述图像输出装置也可以是显示器，对应输出的显示区域为该显示器的显示屏幕。

本发明通过激光的编码信号可以模拟编码多种操作指令，下面的实施例中以用激光器模拟鼠标操作为例对本发明进行说明。除了模拟鼠标操作，本发明还可以适用于模拟更多的人机操作方式，例如：模拟单点触操作、以及利用一个以上激光发射装置模拟多点触操作等。从而可以实现远程的人机交互操作。

图1为本发明所述方法的一种应用场景的一种器件系统连接示意图。参见图1为实施本发明的一种比较典型的器件连接形态的示例，但本发明不局限此连接场景，还可以有其他的连接方式，例如所述投影机也可以不是必选设备，而是由显示器代替所述投影机，用激光器直接在显示器的显示屏上进行操作。

参见图1，所述数据处理设备105通过摄像头接口107与摄像头101连接，其连接方式可以是诸如通用串行总线(USB)连接或者wifi无线连接方式等各种业内成熟的连接解决方案。在另一种实现方式中所述摄像头101也可以不是单独的设备，而是数据处理设备105中的内置摄像头。所述投影机102通过投影机接口104与数据处理设备105连接，其连接方式可以是VGA方式、复合视频输出方式、高清晰度多媒体接口(HDMI)方式、以及其他各种有线或无线的能够提供视频传输能力的连接方式。

所述投影机102将投射出投影区域103(即本发明所述的显示区域)，摄像头101通过人工设置或自动调节而完整捕获投影区域103并进行清晰对焦。在用显示器代替投影机的场景下，则摄像头101通过人工设置或自动调节而完整捕获显示器的显示区域(相当于投影区域103)并进行清晰对焦。激光器108发射的激光束打在投影区域103上形成激光束光点109。当摄像头101完整捕获投影区域103并进行清晰对焦之后，可以启动数据处理设备105上的触发控制系统106。

所述的数据处理设备105的可以是指有中央处理器(CPU)、内存和操作系统提供程序运行环境的计算系统，典型的例子为台式计算机、笔记本电脑，平板电脑以及具有计算能力的智能手机等手持设备及有计算能力的机器人设备等。

数据处理设备105上运行的触发控制系统106是一种软件系统，用于将通过摄像头101获取投影区域103的视频画面，并进行视频图像分析计算，检测出激光器108所发射的激光束光点109在数据处理设备105通过投影机102所投射画面上的位置，并转化为鼠标光标位置，以及解析激光器108的激光束变化编码信息所代表的模拟鼠标单击、双击或右键及按下松开拖拽操作。

下面介绍所述触发控制系统106通过检测激光束光点模拟鼠标操作对本发明进行具体说明。

步骤s01、提供原始画面通过投影机接口104供投影机(即本发明所述的图像输出设备)输出；同时通过摄像头接口107获取利用摄像头所拍摄的投影机投出的显示区域即所述投影区103。

步骤s02、确定摄像头所拍摄的投影区域103与投影机投射的原始画面的坐标映射变换关系。

该坐标映射变换关系由两部分数据表示：一是投影区域的标定数据即参考标定点在拍摄画面中的坐标，二是原始画面和拍摄画面的长度比和宽度比。

首先，为准确获得摄像头所拍摄画面与投影机所投射内容的坐标位置关系，以便正确检测并计算激光束光点的位置进而模拟鼠标动作。触发控制系统需要对摄像头所拍摄的投影区域103进行标定。在用显示器代替投影机的场景下，则触发控制系统需要对摄像头所拍摄的显示器的显示区域进行标定。

图2为本发明所述摄像头所拍摄投影区域画面标定的一种示意图。参见图2，本发明一种实施例的具体标定方法可以为：

触发控制系统106控制所述投影机102投射标定画面，图2所述的投影区域103为投影机投射的原始的标定画面，在一种优选的实施例中，所述标定画面可以是一个默认的具有单一颜色背景的画面，该标定画面中包括至少四个参考标定点，参考标定点数越多则识别坐标变换越精准。在本实施例中采用了四个参考标定点即画面的四个角分别具有参考标定点11、12、13、和14，还可以进一步在画面的中心设置一个参考标定点15，这些参考标定点的颜色需要与背景颜色有鲜明的区分，以方便摄像头捕获画面和触发控制系统的标定分析。

图3所示为摄像头捕获的标定画面示意图。如图3所示的w和h是摄像头所拍摄的拍摄画面301的宽和高，本发明将摄像头拍摄画面301作为一个坐标系，如图3中所示的横轴Y和纵轴X，依据计算机习惯，其纵轴X的方向朝下。其坐标原点(0，0)为X和Y的交汇，即拍摄画面301的左上角。所述拍摄画面301内的区域302为投影机102输出的投影区域(或者在另一实施例中是显示器的显示区域)。投影机102输出的投影区域在标准环境中应该是矩形，但是由于现实生活中的摄像头和投影机未必完全做到同轴和1∶1完全对应，因此摄像头所拍摄到的投影区域302(或者在另一实施例中为显示器的显示区域)往往显示为接近梯形变形。如图3中所示的坐标为(s1x，s1y)、(s2x，s2y)、(s3x，s3y)、(s4x，s4y)的四个角是投影区域302的四个角在摄像头视频画面中的坐标。

由于投影机首先投射出标定画面，因此所述坐标值(s1x，s1y)、(s2x，s2y)、(s3x，s3y)、(s4x，s4y)分别为所摄像头拍摄的标定画面302的四个参考标定点11、12、13、和14在以拍摄画面301为基准坐标系中的坐标值。所述参考标定点的坐标值的确定方法为：触发控制系统106分析所拍摄的标定画面，标定画面的参考标定点的颜色与标定画面背景颜色有鲜明的区分，例如标定画面的背景为白色，而参考标定点的颜色为红色，并且触发控制系统还可以对所拍摄画面进行进一步的图像背景弱化处理，去除与所述参考标定点无关的图像信息而凸显参考标定点。之后可以按照现有的图像坐标分析技术非常方便地捕获所述参考标定点，计算出所述参考标定点11、12、13、和14在所述视频画面301的坐标系中的坐标值(s1x，s1y)、(s2x，s2y)、(s3x，s3y)、(s4x，s4y)。

其次，需要确定原始画面和拍摄画面的长度比和宽度比。假设投影机显示的电脑原始画面的分辨率为Ws＝1024宽、Hs＝768高(像素，后续单位均为像素)，假设摄像头分辨率为W＝1280宽、H＝1024高；则长度比为Ws/W＝1024/1280，高度比为Hs/H＝768/1024。

最后，需要存储所述投影区域的标定数据即参考标定点在拍摄画面中的坐标(s1x，s1y)、(s2x，s2y)、(s3x，s3y)、(s4x，s4y)，以及存储所述原始画面和拍摄画面的长度比和宽度比。

另外，本发明也可以采用其它的成熟变换算法确定摄像装置所拍摄的显示区域与图像输出装置输出的原始画面的坐标映射变换关系，本文不再敷述。图2和图3中所示的标定画面中参考标定点也仅为一种典型的标定实施方式，也可以是其他的参考标定点的标定方法，如在三个角和中心点设置参考标定点等方式。

步骤s03、在摄像头所拍摄的显示区域中检测激光点的位置。

众所周知，激光是一种超高亮度的光源，有非常好的水平聚光能力，非常适合作为指点设备。本发明的关键技术特征在于采用高亮度的激光光束形成的光点作为检测远程操作控制点，本实施例中说明激光点的位置代表鼠标光标位置。

图4为在摄像头所拍摄的图画中检测激光点的处理过程示意图。参见图4，其中子画面401代表人眼所看到的画面，其中包括投影机投射的画面(或显示器显示的画面)、以及用户用激光器发射光束打出的激光点，图中上部的圆点表示激光点。触发控制系统需要对所拍摄画面进行图像背景弱化处理，以去除与所述激光点无关的图像信息而凸显激光点。首先触发控制系统通过控制摄像头的曝光量去除与激光点无关的图像信息而凸显激光点信息，例如一种典型的方式是把摄像头的曝光量降到最低，这样投影画面由于亮度远远低于激光点，投影画面在摄像头所拍摄的画面就黯淡了，而激光点由于其高亮依然保持清晰。如子画面402所示。

接下来，触发控制系统还可以对子画面402的图像进一步进行图像处理，典型的方式是通过对图像色阶的调整，进一步弱化图像信息，即去除残留的黯淡影像信号，并且进一步凸显高亮的激光点，如子画面403所示的效果。此处的图像处理知识属于公知常见技术，当然，本发明还可以通过其它的图像处理方法实现去除与激光点无关的图像信息而凸显激光点信息。

最终，控制程序将摄像头所拍摄的画面处理得到类似子画面4所示的结果画面。该结果画面是仅有激光点信息400的画面，依据该结果画面，可以按照现有的图像坐标分析技术非常容易地捕获所述激光点。

步骤s04、由于捕获到所述激光点，因此可以计算出所检测到的激光点在拍摄画面301中的坐标，如果更为精确的话，是计算出激光点的平均中心在所拍摄画面301中的坐标值。再根据摄像头所拍摄的显示区域与投影机输出的原始画面的坐标映射变换关系，将所述检测到的激光点坐标变换为投影机输出的原始画面中的坐标。

如图3所示，假设(px，py)是通过图4所示的处理过程所获得的激光点在摄像头拍摄画面301中的坐标，则根据上述存储的所述投影区域的参考标定点在拍摄画面中的坐标(s1x，s1y)、(s2x，s2y)、(s3x，s3y)、(s4x，s4y)、以及存储所述原始画面和拍摄画面的长度比和宽度比，可以变换计算出该激光点在投影机输出的原始画面中的坐标(PX，PY)。具体的计算方法为本领域的常规技术，例如其中一种方法是：

首先，确定则所述四个参考标定点的中心点在拍摄画面中的坐标(S0x，S0y)为：

S0x＝(s1x+s2x+s3x+s4x)/4

S0y＝(s1y+s2y+s3y+s4y)/4

其次，确定激光点在投影机输出的原始画面中的坐标(PX，PY)为：

PX＝[(Px-S0x)*Ws/(s2x-s1x+s4x-s3x)+Ws/2]*Ws/W

PY＝[(Py-S0y)*Hs/(s3y-s1y+s4y-s2y)+Hs/2]*Hs/H

在模拟鼠标操作的实施例中，上述激光点在原始画面中的坐标位置就是原始画面中的鼠标光标位置，触发控制系统可以控制在该位置显示鼠标光标。

正如典型的摄像头提供的视频图像，是每秒30幅画面，通过上述步骤s03和步骤s04的方式，触发控制系统将对通过摄像头获得的视频的每一帧画面都进行处理，从而获得激光束光点在画面上的位置。通过该位置与之前原始画面的坐标映射变换关系，可以将激光束光点的位置转化为鼠标光标应该所在的位置，控制程序实时处理摄像头画面，并实时将鼠标光标移动到激光点所在位置，从而模拟激光鼠标光标的效果。

步骤s05、识别所述激光点的编码信号，当识别出所述激光点发出与某一人机交互操作指令对应的编码信号时，在由该激光点坐标对应变换出的所述原始画面中的坐标位置触发与所述编码信号对应的人机交互操作指令。

本实施例中通过激光束亮点依照特定的编码方式进行闪烁，对应鼠标点击的单击、右键、双击和按下拖拽等操作指令。但是，本发明并不局限激光点的闪烁编码，依据本发明的原理可以编制和解读代表更复杂的编码方式。

图5为一种激光束的闪烁编码示意图。参见图5，所述纵坐标为激光束开启状态，方波上沿表示激光开启，方波下沿表示激光关闭，不同的激光束闪烁编码方式对应了不同的鼠标操作。

本步骤中，所述识别所述激光点的编码信号的具体方法为：

控制程序根据步骤s03和s04中所述的方法，获得激光点的图像序列，持续检测所拍摄的每一帧画面中的激光点，判断在一预定的检测时间区间中所述连续的帧画面中激光点的闪烁编码，并与预设的(如图5所示的闪烁方式)由激光点的闪烁编码所代表的人机交互操作指令进行匹配，如果匹配某一人机交互操作指令，则判定识别到了与该人机交互操作指令对应的编码信号，作为触发控制系统模拟鼠标操作的单击、双击、长按或松开长按的依据，在该激光点的所述原始画面中的坐标位置触发对应的鼠标操作指令。

图6为本发明所述的人机交互操作指令的触发控制系统106的一种示意图，参见图6，该触发控制系统106主要用于实施本发明上述的处理方法，其中具体包括：

图像输出模块601，与所述投影机接口104连接用于提供原始画面供图像输出设备输出。

摄像获取模块602，与所述摄像头接口107连接，用于获取摄像装置所拍摄的图像输出装置输出的显示区域。

映射关系模块603，用于确定摄像装置所拍摄的显示区域与图像输出装置输出的原始画面的坐标映射变换关系。

激光点检测模块604，用于在摄像装置所拍摄的显示区域中检测激光点。

定位模块605，用于确定所检测到的激光点的坐标，根据摄像装置所拍摄的显示区域与图像输出装置输出的原始画面的坐标映射变换关系，将所述检测到的激光点坐标变换为图像输出装置输出的原始画面中的坐标；

编码识别模块606，用于识别所述激光点的编码信号，当识别出所述激光点发出与某一人机交互操作指令对应的编码信号时，在由该激光点坐标对应变换出的所述原始画面中的坐标位置触发与所述编码信号对应的人机交互操作指令。

进一步的，如图7a所示，所述映射关系模块603包括具体包括：

标定子模块631，用于控制所述图像输出模块提供原始的标定画面，该标定画面中包括至少三个参考标定点，并确定摄像装置所拍摄到的所述参考标定点在拍摄画面中的坐标。

比例确定子模块632，用于确定摄像装置所拍摄画面和图像输出装置输出的原始画面的长度比和宽度比。

存储子模块633，用于存储所述参考标定点在拍摄画面中的坐标、以及所述原始画面和拍摄画面的长度比和宽度比。

进一步的，如图7b所示，所述激光点检测模块604具体包括：

图像处理子模块641，用于对所拍摄画面进行图像背景弱化处理，去除与所述激光点无关的图像信息而凸显激光点。

捕获子模块642，用于从所述经过图像处理子模块641处理的拍摄画面中捕获所述凸显的激光点。

进一步的，如图7c所示，所述编码识别模块606具体包括：

编码库661，用于存储人机交互操作指令对应的激光编码方式；

编码识别子模块662，获取激光点检测模块604所持续检测的每一帧画面中的激光点，判断在一预定的检测时间区间中所述连续的帧画面中激光点的闪烁编码，并与编码库存储的激光编码方式进行对比，如果匹配某一人机交互操作指令对应的激光编码方式，则判定识别到了与该人机交互操作指令对应的编码信号；

指令触发模块663，用于在定位模块605所确定出的激光点在原始画面中的坐标位置触发与所述编码识别子模块662识别出的编码信号对应的人机交互操作指令。

如果用户得知所述的闪烁编码信号，可以通过一普通的激光发射器由用户自己发出相应的闪烁编码信号，从而进行人机之间的远程交互。但是采用这种方式时，人在操作激光发射器的时候往往无法精确地点按出相应的闪烁编码信号，影响了人机交互的精度。因此本发明还公开了一种与上述的人机交互操作指令的触发控制系统配套使用的激光发射装置。

图8为该激光发射装置的一种示意图。参见图8，该激光发射装置包括：

人机交互操作指令触发键801，用于触发对应的人机交互操作指令。

信号编码单元802，用于存储人机交互操作指令对应的激光编码方式。

激光发射器803，用于发射激光束。

激光发射控制器804，用于根据人机交互操作指令触发键所触发的人机交互操作指令从所述信号编码单元读取对应的激光编码方式，控制所述激光发射器发出代表相应激光编码信号的激光束。

当然，还包括电源和开关805。

所述人机交互操作指令触发键801可以包括以下至少一种触发键：

鼠标操作键，用于触发鼠标操作指令；

单点触操作键，用于触发单点触操作指令；

多点触操作键，用于触发多点触操作指令。

本实施例中，所述人机交互操作指令触发键为鼠标操作键，例如其中具体包括：用于触发长按操作指令的长按操作键811、用于触发单击操作指令的单击操作键812、用于触发双击操作指令的双击操作键813、以及用于触发右键操作的右键操作键814。

本实施例中，所述激光发射器发出的激光编码信号为激光闪烁信号。所述信号编码单元802中的激光编码方式例如可以是图5所示的编码方式，与所述触发控制系统106的编码库661中所存储的编码方式完全一致。当用户按下所述鼠标操作键的一个按键时，激光发射控制器804控制激光发射器803发出图5所示的该按键代表的操作指令所对应的激光闪烁信号，即含有闪烁编码的激光束，所述触发控制系统106就可以识别出这种激光闪烁信号，并从编码库661中匹配出对应的激光编码方式，得知相应的操作指令是哪一个，从而最终触发该操作指令。但是，本发明并不局限激光点的闪烁编码信号，依据本发明的原理可以编制和解读代表更复杂的编码方式。

上述公开的本发明的实施例中，通过摄像头监视投影机所投射的数据处理设备画面，在数据处理设备上的触发控制系统可以分析摄像头所拍摄内容，并进行图像分析而分辨出激光器指在投影画面上的位置，触发控制系统将管理数据处理设备上的鼠标光标位置，以及通过解析激光器的发射闪断控制编码，而获得模拟鼠标单击、双击、右键或长按拖拽等操作。从而可以方便用户不在计算机旁边的情况下，利用激光发射装置中远程控制计算机的界面，不但操作方便，而且操作指令也可以多样化，即如果想增加一种控制操作指令，只需要在编码库661和信号编码单元802中增加相应的激光编码方式即可。

本发明还可以模拟触摸屏操作的单点触操作、以及利用一个以上激光发射装置模拟触摸屏的多点触操作等。当模拟多点触操作时，需要一个以上激光发射器在投影屏幕上打上一个以上激光点，所述一个以上激光器可以集成在同一个激光发射装置中，并在信号编码单元802中存储多点触操作指令对应的多个激光点相配合的编码方式，例如两个激光点同时按照同一频率闪烁两次，则表示多点触操作中的放大手势操作指令，两个激光点同时按照同一频率闪烁三次，则表示多点触操作中的缩小手势操作指令等等。当用户按下多点触操作键时(例如可以包括放大手势操作指令键和缩小手势操作指令键)，所述激光发射控制器804从所述信号编码单元读取对应的多点激光编码方式，控制所述一个以上激光发射器发出代表相应激光编码信号的激光束，例如。放大手势操作指令对应需要两个激光发射器同时发出按照同一频率闪烁两次的激光束。所述触发控制系统106中的编码库661中也需要进一步存储多个激光点编码方式相配合所代表的多点触操作指令，例如两个激光点同时按照同一频率闪烁两次，则表示多点触操作中的放大手势操作指令，两个激光点同时按照同一频率闪烁三次，则表示多点触操作中的缩小手势操作指令。当检测识别出有两个激光点同时按照同一频率闪烁两次时，则判定触发了放大手势的点触操作指令，从而触发执行放大操作。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (15)

1.一种人机交互操作指令的触发控制方法，其特征在于，包括：

利用摄像装置拍摄图像输出装置输出的显示区域；

确定摄像装置所拍摄的显示区域与图像输出装置输出的原始画面的坐标映射变换关系；

在摄像装置所拍摄的显示区域中检测激光点；确定所检测到的激光点的坐标，根据摄像装置所拍摄的显示区域与图像输出装置输出的原始画面的坐标映射变换关系，将所述检测到的激光点坐标变换为图像输出装置输出的原始画面中的坐标；

识别所述激光点的编码信号，当识别出所述激光点发出与某一人机交互操作指令对应的编码信号时，在由该激光点坐标对应变换出的所述原始画面中的坐标位置触发与所述编码信号对应的人机交互操作指令。

2.根据权利要求1所述的方法，其特征在于，

所述确定摄像装置所拍摄的显示区域与图像输出装置输出的原始画面的坐标映射变换关系的具体包括：

控制所述图像输出装置输出原始的标定画面，该标定画面中包括至少四个参考标定点，确定摄像装置所拍摄到的所述参考标定点在拍摄画面中的坐标；确定所拍摄画面和图像输出装置输出的原始画面的长度比和宽度比；

所述确定所检测到的激光点的坐标具体为：确定所检测到的激光点在所述拍摄画面中的坐标。

3.根据权利要求2所述的方法，其特征在于，所述标定画面的参考标定点的颜色与标定画面背景颜色具有鲜明的区分；

且所述确定摄像装置所拍摄到的所述参考标定点在拍摄画面中的坐标的具体方法为：对所拍摄画面进行图像背景弱化处理，去除与所述参考标定点无关的图像信息而凸显参考标定点；捕获所述参考标定点并计算出所述参考标定点在所述拍摄画面中的坐标。

4.根据权利要求1所述的方法，其特征在于，所述检测激光点的具体方法为：

对所拍摄画面进行图像背景弱化处理，去除与所述激光点无关的图像信息而凸显激光点，捕获所述凸显的激光点。

5.根据权利要求3或4所述的方法，其特征在于，所述对所拍摄画面进行图像背景弱化处理具体包括：降低摄像装置的曝光量，调整拍摄画面的色阶。

6.根据权利要求1所述的方法，其特征在于，所述识别所述激光点的编码信号的具体方法为：

持续检测所拍摄的每一帧画面中的激光点，判断在一预定的检测时间区间中所述连续的帧画面中激光点的闪烁编码，并与预设的由激光点的闪烁编码所代表的人机交互操作指令进行匹配，如果匹配某一人机交互操作指令，则判定识别到了与该人机交互操作指令对应的编码信号。

7.根据权利要求1所述的方法，其特征在于，所述激光点的编码信号对应的人机交互操作指令包括：鼠标操作指令、单点触操作指令、以及多点触操作指令。

8.一种人机交互操作指令的触发控制系统，其特征在于，该系统包括：

图像输出模块，用于提供原始画面供图像输出设备输出；

摄像获取模块，用于获取摄像装置所拍摄的图像输出装置输出的显示区域；

映射关系模块，用于确定摄像装置所拍摄的显示区域与图像输出装置输出的原始画面的坐标映射变换关系；

激光点检测模块，用于在摄像装置所拍摄的显示区域中检测激光点；

定位模块，用于确定所检测到的激光点的坐标，根据摄像装置所拍摄的显示区域与图像输出装置输出的原始画面的坐标映射变换关系，将所述检测到的激光点坐标变换为图像输出装置输出的原始画面中的坐标；

编码识别模块，用于识别所述激光点的编码信号，当识别出所述激光点发出与某一人机交互操作指令对应的编码信号时，在由该激光点坐标对应变换出的所述原始画面中的坐标位置触发与所述编码信号对应的人机交互操作指令。

9.根据权利要求8所述的系统，其特征在于，所述映射关系模块包括：

标定子模块，用于控制所述图像输出模块提供原始的标定画面，该标定画面中包括至少三个参考标定点，并确定摄像装置所拍摄到的所述参考标定点在拍摄画面中的坐标；

比例确定子模块，用于确定摄像装置所拍摄画面和图像输出装置输出的原始画面的长度比和宽度比；

存储子模块，用于存储所述参考标定点在拍摄画面中的坐标、以及所述原始画面和拍摄画面的长度比和宽度比。

10.根据权利要求8所述的系统，其特征在于，所述激光点检测模块具体包括：

图像处理子模块，用于对所拍摄画面进行图像背景弱化处理，去除与所述激光点无关的图像信息而凸显激光点；

捕获子模块，用于从所述经过图像处理子模块处理的拍摄画面中捕获所述凸显的激光点。

11.根据权利要求8所述的系统，其特征在于，所述编码识别模块具体包括：

编码库，用于存储人机交互操作指令对应的激光编码方式；

编码识别子模块，获取激光点检测模块所持续检测的每一帧画面中的激光点，判断在一预定的检测时间区间中所述连续的帧画面中激光点的闪烁编码，并与编码库存储的激光编码方式进行对比，如果匹配某一人机交互操作指令对应的激光编码方式，则判定识别到了与该人机交互操作指令对应的编码信号；

指令触发模块，用于在定位模块所确定出的激光点在原始画面中的坐标位置触发与所述编码识别子模块识别出的编码信号对应的人机交互操作指令。

12.一种与权利要求8至11任一项所述的人机交互操作指令的触发控制系统配套使用的激光发射装置，其特征在于，包括：

人机交互操作指令触发键，用于触发对应的人机交互操作指令；

信号编码单元，用于存储人机交互操作指令对应的激光编码方式；

激光发射器，用于发射激光束；

激光发射控制器，用于根据人机交互操作指令触发键所触发的人机交互操作指令从所述信号编码单元读取对应的激光编码方式，控制所述激光发射器发出代表相应激光编码信号的激光束。

13.根据权利要求12所述的激光发射装置，其特征在于，所述激光发射器发出的激光编码信号为激光闪烁信号。

14.根据权利要求12所述的激光发射装置，其特征在于，所述人机交互操作指令触发键包括鼠标操作键，其中具体包括：用于触发长按操作指令的长按操作键、用于触发单击操作指令的单击操作键、用于触发双击操作指令的双击操作键、以及用于触发右键操作的右键操作键。

15.根据权利要求12所述的激光发射装置，其特征在于，该装置包括一个以上所述激光发射器，并且：

所述人机交互操作指令触发键包括多点触操作键，用于触发多点触操作指令；

所述信号编码单元中存储多点触操作指令对应的多个激光点相配合的编码方式；

所述激光发射控制器在收到多点触操作键的触发指令后，从所述信号编码单元读取对应的多点激光编码方式，控制所述一个以上激光发射器发出代表相应激光编码信号的激光束。

Images