CN102184014A - 基于移动设备指向的智能家电交互控制方法及装置 - Google Patents

基于移动设备指向的智能家电交互控制方法及装置 Download PDF

Info

Publication number
CN102184014A
CN102184014A CN2011101224701A CN201110122470A CN102184014A CN 102184014 A CN102184014 A CN 102184014A CN 2011101224701 A CN2011101224701 A CN 2011101224701A CN 201110122470 A CN201110122470 A CN 201110122470A CN 102184014 A CN102184014 A CN 102184014A
Authority
CN
China
Prior art keywords
dev
intelligent appliance
phone
mobile device
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101224701A
Other languages
English (en)
Other versions
CN102184014B (zh
Inventor
潘纲
郑泽铭
吴嘉慧
李石坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN2011101224701A priority Critical patent/CN102184014B/zh
Publication of CN102184014A publication Critical patent/CN102184014A/zh
Application granted granted Critical
Publication of CN102184014B publication Critical patent/CN102184014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于移动设备指向的智能家电交互控制方法及装置,方法实施步骤如下:1)建立室内的三维空间模型;2)为每一种智能家电建立可识别的交互控制命令以及该命令所对应的手势模型;3)初始移动设备的位置,移动所述移动设备并计算该运动方向所对应的所有智能家电;4)获取用户选择的智能家电;5)识别用户发出的手势模型,通过无线网络向智能家电发出交互控制命令执行交互控制;装置包括移动设备传感器信息采集模块、数据空间位置指向模块、手势信息处理分析模块、多模态交互及展示模块。本发明具有交互简单直观、使用简单方便、适应性好、控制灵活、实施成本低的优点。

Description

基于移动设备指向的智能家电交互控制方法及装置
技术领域
本发明涉及人机交互领域,具体涉及一种用于实现人、移动设备和智能家电之间自然和谐的交互控制方法及装置。
背景技术
随着电子技术和计算机技术的发展,智能家电已经成为人们日常生活的一部分。智能家电的确能促进人们的日常安排和丰富人们的日常生活,但是用户和智能家电之间的交互依然不够便捷。人们期待能通过一种直观的方式和周围的家电进行交互,而人的手势可以说是最为自然、直观和易于学习的交互手段。所以,指向结合手势可以为用户和智能家电的交互过程中提供一个直观而有效的解决方案。
智能移动设备是移动环境中重要的计算终端,能帮助用户实时地与外界保持联系。然而,在已有的将手持设备作为移动环境中交互设备的工作中,如何利用移动设备快速而自然地选择一个智能家电仍然是一个富有挑战性的任务。例如,E.Rukzio和K.Leichtenstern等人提出的基于激光指向器的方案,需要在家电上安装光线传感器。R.Ballagas和J.Borchers等人提出的基于摄像头的手机指向选择方案,需要在环境中部署视像符码(Visual Codes)。R Want和KP Fishkin等人提出的基于RFID的手机指向选择方案在交互时需要将装备有RFID读取器的手机靠近家电。但是,由于智能家电数量较多,这些交互方式都存在交互安装设置麻烦、使用复杂、易用性差、成本较高、控制方式不够灵活的缺点,无法满足智能家电领域的需要。
发明内容
本发明要解决的技术问题是提供一种交互简单直观、使用简单方便、适应性好、控制灵活、实施成本低的基于移动设备指向的智能家电交互控制方法及装置。
为了解决上述技术问题,本发明采用的技术方案为:
一种基于移动设备指向的智能家电交互控制方法,其实施步骤如下:
1)建立带有智能家电模型的室内三维空间模型;
2)为每一种智能家电建立可识别的交互控制命令以及该命令所对应的手势模型;
3)初始移动设备的位置,移动所述移动设备并获取其运动方向信息,遍历列举出所述三维空间模型内该运动方向所对应的所有智能家电;
4)获取用户选择的智能家电信息,向用户列出该智能家电所对应的所有手势模型;
5)识别用户发出的手势模型,根据识别的手势模型通过无线网络向所述智能家电发出交互控制命令执行交互控制。
作为本发明基于移动设备指向的智能家电交互控制方法的进一步改进:
所述步骤1)中建立三维空间模型时,首先在室内选定一个原点和一个初始朝向,然后根据智能家电与所述原点的相对位置设置其三维坐标、相对所述初始朝向的旋转方向设置其三轴旋转方向,并为智能家电建立六面体模型,最后根据三维坐标、三轴旋转方向以及六面体模型的大小建立该智能家电的空间模型。
步骤3)中获取移动设备的运动方向对应的智能家电信息时,首先计算出移动设备运动方向的指向线,获取所述指向线与所述智能家电六面体模型中控制信号接受面之间的交点,然后判断该交点是否位于所述智能家电六面体模型中控制信号接受面内,如果该交点位于智能家电六面体模型中控制信号接受面内,则判定该智能家电为所述移动设备运动方向所对应的智能家电。
此外,也可以根据三维坐标来获取移动设备的运动方向对应的智能家电信息,其详细步骤如下:
a)获取三维空间模型中智能家电的三维坐标Pdev和旋转矩阵Mdev
Pdev=(Xdev,Ydev,Zdev),
Mdev=[sin(Yawdev),-cos(Yawdev),sin(Pitchdev)],
其中,Xdev,Ydev,Zdev为智能家电的三维坐标值,Yawdev和Pitchdev为智能家电的三维旋转值;
b)获取移动设备的三维坐标Pphone和三维旋转值Mphone,Pphone=(Xphone,Yphone,Zphone),
M phone = cos ( Yaw phone + 3 4 π ) g cos ( - Pitch phone ) , sin ( Yaw phone + 3 4 π ) g cos ( - Pitch phone ) , sin ( Pitch dev ) ,
其中,Xphone,Xphone,Zphone为移动设备的三维坐标值,Yawphone和Pitchphone为移动设备的三维旋转值;
c)计算移动设备的指向线与智能家电六面体模型中接受控制信号面的交点InnerPoint,
InnerPoint = X phone + ( - ( M dev g P phone + M dev g P dev ) M dev g M phone ) g cos ( Yaw phone + 3 4 π ) g cos ( - Pitch phone ) , Y phone + ( - ( M dev g P phone + M dev g P dev ) M dev g M phone ) g sin ( Yaw phone + 3 4 π ) g cos ( - Pitch phone ) , Z phone + ( - ( M dev g P phone + M dev g P dev ) M dev g M phone ) g sin ( Pitch dev )
d)根据智能家电的位置和尺寸大小,计算出有效面上原点的对角线点Pbound
P bound = X dev + W idth dev g cos ( Yaw dev ) , Y dev + W idth dev g sin ( Yaw dev ) , Z dev + H eight dev
其中,Widthdev为智能家电六面体模型的宽度,Heightdev为智能家电六面体模型的高度;
e)判断InnerPoint是否分别在Pdev和其斜对面点Pbound之间,如果满足下式:
Pdev.X≤InnerPoint.X≤Pbound.X
Pdev.Y≤InnerPoint.Y≤Pbound.Y
Pdev.Z≤InnerPoint.Z≤Pbound.Z
则判定该智能家电位于移动设备的运动方向上。
所述步骤5)中识别用户发出的手势模型详细包括:
a)预先设置手势模型;
b)采集移动设备的三轴加速度数据序列并进行分帧处理,得到多个三维加速度数据子序列帧;
c)将三维加速度数据子序列帧分别进行帧内三维加速度数据序列的信号特征提取,并将三维空间模型内沿着x轴、y轴、z轴上的多个不同的信号特征连接成一个帧内特征描述子;
d)将一个手势的多个帧的帧内特征描述子连接成一个整体特征描述子;
e)运用多类支持向量机模型对所有整体特征描述子进行建模和参数训练,得到在整体特征描述子张成的向量空间中不同种类手势的分界面,将该分界面与所述步骤a)中设置的手势模型进行比较识别。
本发明还提供一种基于移动设备指向的智能家电交互控制装置,它包括
移动设备传感器信息采集模块,用于采集移动设备的三轴加速度以及旋转方向;
数据空间位置指向模块,用于存储包括智能家电在内的三维空间模型,并根据所述移动设备传感器信息采集模块输出的数据输出移动设备运动方向所对应的所有智能家电信息;
手势信息处理分析模块,用于根据所述移动设备传感器信息采集模块输出的数据识别用户输入的手势信息;
多模态交互及展示模块,用于展示移动设备运动方向所对应的所有智能家电信息并在用户选定智能家电后展示该智能家电所对应的所有手势模型信息,并根据用户输入的手势信息与智能家电执行交互控制;
所述移动设备传感器信息采集模块与数据空间位置指向模块、手势信息处理分析模块相连,所述手势信息处理分析模块与多模态交互及展示模块相连,所述多模态交互及展示模块通过无线网络与智能家电相连。
本发明基于移动设备指向的智能家电交互控制方法具有下述优点:本发明充分利用了指向操作和手势交互的直观性、自然性和便捷性,使用户与智能家电的交互过程更简便、自然和易操作,且采用统一的接口针对不同智能家电采用不同的交互控制命令,具有适应性好、控制灵活、实施成本低的优点。这些优势使得本发明与现有的人机交互系统相比,具有更大的潜力能应用于人们日常生活中的各个方面。
本发明基于移动设备指向的智能家电交互控制装置由于具有与基于移动设备指向的智能家电交互控制方法向对应的功能模块,因此也应当具备上述基于移动设备指向的智能家电交互控制方法所对应的优点。
附图说明
图1为本发明实施例的流程示意图;
图2为本发明实施例获取移动设备的运动方向对应的智能家电的方法示意图;
图3为本实施例应用于文件交互的流程示意图;
图4为本实施例应用于PPT播放控制的交互流程示意图。
具体实施方式
如图1和图2所示,本发明实施例中的基于移动设备指向的智能家电交互控制方法的实施步骤如下:
1)建立带有智能家电模型的室内三维空间模型;
2)为每一种智能家电建立可识别的交互控制命令以及该命令所对应的手势模型;
3)初始移动设备的位置,移动移动设备并获取其运动方向信息,遍历列举出三维空间模型内该运动方向所对应的所有智能家电,并以图标的形式显示;如果运动方向对应没有智能家电,则显示“无智能家电”图标;
4)获取用户选择的智能家电信息,向用户列出该智能家电所对应的所有手势模型;
5)识别用户发出的手势模型,根据识别的手势模型通过无线网络向智能家电发出交互控制命令执行交互控制。
图1中,智能家电端包括所有室内的智能家电,移动设备端则为一个设备,本实施例中,移动设备采用内置三轴加速度传感器和电子罗盘的
Figure BDA0000060804680000061
Magic智能手机,利用其Android 1.6操作系统的应用程序接口,获得用户三轴(X轴,Y轴,Z轴)加速度序列和实时三维旋转方向数据(Pitch,Roll,Yaw)。此外也可以采用内置三轴加速度传感器、电子罗盘以及陀螺仪的移动设备,如
Figure BDA0000060804680000062
iPhone 4,将会得到更为精确的实时三维旋转方向数据,从而使本发明达到更好的效果。用户手持移动设备方便而自然地指向并选取智能家电的交互操作,而无需在移动设备和智能家电上附加其他硬件设备,因此实施成本低。
在手持移动设备指向并选取智能家电后,用户以手指在移动设备的触摸屏幕上选择智能家电。如果智能家电为电视或者数码相框,步骤4)中向用户列出输出多媒体文件的手势模型;如果智能家电为打印机,则步骤4)中向用户列出打印输出文件的手势模型;如果智能家电为个人计算机,则步骤4)中向用户列出PPT演示控制等手势模型;这样的交互方式直观而且便捷,实现了用户和智能家电自然、和谐的人机交互。
智能家电具有无线网络接口,移动终端通过无线网络向智能家电中内置的计算机系统发送交互控制命令。其中,无线网络可以根据需要采用WIFI或者蓝牙实现。
步骤1)中建立三维空间模型时,首先在室内选定一个原点和一个初始朝向,然后根据智能家电与原点的相对位置设置其三维坐标、相对初始朝向的旋转方向设置其三轴旋转方向,并为智能家电建立六面体模型,最后根据三维坐标、三轴旋转方向以及六面体模型的大小建立该智能家电的空间模型。不同的智能家电通过IP地址和端口地址进行区分,每一个智能家电模型都设有三维坐标、三轴旋转方向、六面体模型、IP地址和端口四组向量信息,并以XML文件形式保存于移动设备中。本实施例采用
Figure BDA0000060804680000063
精确实时定位系统(RTSL)作为用于存放三维空间模型的室内定位系统,设置移动设备在应用场景中的三维坐标(X,Y,Z),同时实时接收从移动设备传感器信息采集模块采集所得的移动设备三维旋转方向信息(Pitch,Roll,Yaw)。
本实施例中,步骤3)中获取移动设备的运动方向对应的智能家电信息时,首先计算出移动设备运动方向的指向线,获取指向线与智能家电六面体模型中控制信号接受面之间的交点,然后判断该交点是否位于智能家电六面体模型中控制信号接受面内,如果该交点位于智能家电六面体模型中控制信号接受面内,则判定该智能家电为移动设备运动方向所对应的智能家电。智能家电六面体模型中控制信号接受面通常是六面体模型中靠近室内中心位置的一面,无线网络接口一般安装于控制信号接受面处以增强信号强度。
此外,也可以根据三维坐标来获取移动设备的运动方向对应的智能家电信息,获取移动设备的运动方向对应的智能家电信息时的详细步骤如下:
a)获取三维空间模型中智能家电的三维坐标Pdev和旋转矩阵Mdev
Pdev=(Xdev,Ydev,Zdev),
Mdev=[sin(Yawdev),-cos(Yawdev),sin(Pitchdev)],
其中,Xdev,Xdev,Zdev为智能家电的三维坐标值,Yawdev和Pitchdev为智能家电的三维旋转值;
b)获取移动设备的三维坐标Pphone和三维旋转值Mphone
Pphone=(Xphone,Yphone,Zphone),
M phone = cos ( Yaw phone + 3 4 π ) g cos ( - Pitch phone ) , sin ( Yaw phone + 3 4 π ) g cos ( - Pitch phone ) , sin ( Pitch dev ) ,
其中,Xphone,Yphone,Zphone为移动设备的三维坐标值,Yawphone和Pitchphone为移动设备的三维旋转值;
c)计算移动设备的指向线与智能家电六面体模型中接受控制信号面的交点InnerPoint,
InnerPoint = X phone + ( - ( M dev g P phone + M dev g P dev ) M dev g M phone ) g cos ( Yaw phone + 3 4 π ) g cos ( - Pitch phone ) , Y phone + ( - ( M dev g P phone + M dev g P dev ) M dev g M phone ) g sin ( Yaw phone + 3 4 π ) g cos ( - Pitch phone ) , Z phone + ( - ( M dev g P phone + M dev g P dev ) M dev g M phone ) g sin ( Pitch dev )
d)根据智能家电的位置和尺寸大小,计算出有效面上原点的对角线点Pbound
P bound = X dev + W idth dev g cos ( Yaw dev ) , Y dev + W idth dev g sin ( Yaw dev ) , Z dev + H eight dev
其中,Widthdev为智能家电六面体模型的宽度,Heightdev为智能家电六面体模型的高度;
e)判断InnerPoint是否分别在Pdev和其斜对面点Pbound之间,如果满足下式:
Pdev.X≤InnerPoint.X≤Pbound.X
Pdev.Y≤InnerPoint.Y≤Pbound.Y
Pdev.Z≤InnerPoint.Z≤Pbound.Z
则判定该智能家电位于移动设备的运动方向上。
步骤5)中识别用户发出的手势模型详细包括:
a)预先设置手势模型;
b)采集移动设备的三轴加速度数据序列并进行分帧处理,得到多个三维加速度数据子序列帧;
c)将三维加速度数据子序列帧分别进行帧内三维加速度数据序列的信号特征提取,并将三维空间模型内沿着x轴、y轴、z轴上的多个不同的信号特征连接成一个帧内特征描述子;
d)将一个手势的多个帧的帧内特征描述子连接成一个整体特征描述子;
e)运用多类支持向量机模型对所有整体特征描述子进行建模和参数训练,得到在整体特征描述子张成的向量空间中不同种类手势的分界面,将该分界面与步骤a)中设置的手势模型进行比较识别。
以智能家电为个人计算机、实现手势模型控制PPT播放为例,可首先建立两种手势:向左和向右,向左对应控制PPT播放上一页的交互控制命令,向右则对应控制PPT播放下一页的交互控制命令。该手势同样还可以用于智能家电为数码相框、音视频播放设备等,实现媒体的切换、音量的控制等等。以智能家电为空调,实现手势模型控制空调运行为例,可首先建立三种手势:向上、向下和画圆圈三组手势,分别表示升高温度、降低温度和开启/关闭的控制。
图3为本实施例用于实现文件交互的流程示意图。本实施例中,用户最初选择一个文件然后出发选择智能家电的动作,然后在选择智能家电以后,首先用户选择的智能家电进行类型判定,如果智能家电为打印机,则向打印机输出上述选择文件,如果智能家电为个人计算机、电视或者数码相框,则对选定文件类型进行判断,如果选择文件为WORD或者POWERPOINT选定交互控制方式为调用office程序打开上述文件;如果选择文件为图片或者多媒体类文件,则选定交互控制方式为向智能家电输出图片或者多媒体类文件。如图4所示,以实时控制PPT演示为例,如果智能家电为个人计算机,则选定交互控制方式为实时控制PPT的播放;如果智能家电为其他设备,则显示该设备对应的手势模型提示。
如图1和图2所示,本发明实施例中基于移动设备指向的智能家电交互控制装置包括:
移动设备传感器信息采集模块,用于采集移动设备的三轴加速度以及旋转方向;
数据空间位置指向模块,用于存储包括智能家电在内的三维空间模型,并根据移动设备传感器信息采集模块输出的数据输出移动设备运动方向所对应的所有智能家电信息;
手势信息处理分析模块,用于根据移动设备传感器信息采集模块输出的数据识别用户输入的手势信息;
多模态交互及展示模块,用于展示移动设备运动方向所对应的所有智能家电信息并在用户选定智能家电后展示该智能家电所对应的所有手势模型信息,并根据用户输入的手势信息与智能家电执行交互控制;
移动设备传感器信息采集模块与数据空间位置指向模块、手势信息处理分析模块相连,手势信息处理分析模块与多模态交互及展示模块相连,多模态交互及展示模块通过无线网络与智能家电相连。
本实施例中,空间位置指向模块包括:智能家电空间建模子模块、移动设备位置与指向建模子模块和指向判断子模块。智能家电空间建模子模块首先在应用场景的物理空间中选取一个原点和一个初始朝向,智能家电被抽象成直六面体且其接受控制信号的面(即有效面)为应用场景物理空间初始朝向。然后根据智能家电与原点的相对位置设置其三维坐标,相对初始朝向的旋转方向设置其三轴旋转方向。最后再加上智能家电的体积尺寸,建立由上诉三组向量组成的智能家电空间模型。智能家电空间模型以XML文件形式保存在移动设备中。移动设备位置与指向建模子模块首次使用时,需要用户将移动设备初始朝向定标为上述应用场景的空间初始朝向,然后利用室内定位和预先设定用户交互区域这两种三维精确定位技术,获取并设置移动设备的三维坐标。同时,移动设备位置与指向建模子模块实时接收从移动设备传感器信息采集模块采集所得的移动设备旋转方向信息。
多模态交互及展示模块包括基于指向的文件传输交互子模块以及基于指向和手势的控制交互子模块。
基于指向的文件传输交互子模块针对用户手持移动设备向周围的智能家电发送文件的交互场景,其交互过程如下:(1)用户在移动设备上选取需要传输的文件,并显示在屏幕上。(2)用户手持移动设备,以空间指向交互的方式,利用空间位置指向模块确定移动设备此时指向的智能家电。(3)根据空间位置指向模块的结果,在移动设备屏幕上反馈是否指向某一智能家电的信息;如果并无指向任何智能家电,则返回上一步骤。(4)在指向成功后,用户用手指触摸移动设备屏幕,以触屏手势的交互方式,将屏幕上显示的文件向已指向的智能家电滑动,从而向智能家电传送文件。(5)在文件传送成功后,如果接收文件的智能家电为个人计算机、电视或者数码相框,则立刻在智能家电屏幕上展示该多媒体文件;如果接收文件的智能家电为打印机,则其会将该文件打印出来。
基于指向和手势的控制交互子模块针对用户手持移动设备对周围的智能家电进行控制的交互场景,其交互过程如下:(1)用户手持移动设备,以空间指向交互的方式,利用空间位置指向模块确定移动设备此时指向的智能家电。(2)根据空间位置指向模块的结果,在移动设备屏幕上反馈是否指向某一智能家电的信息;如果并无指向任何智能家电,则返回上一步骤。(3)在指向成功后,用户用手指按住移动设备触屏的指定位置,表明此时已进入控制模式。(4)用户按照移动设备屏幕上该智能家电支持的多组控制手势图标提示,以空间手势的交互方式,手持移动设备做出不同手势,生成对PPT演示和智能家电的控制命令。
无线传输层实现移动设备和智能家电之间的通信,包括文件的传输和控制信号的发送。无线传输层采用符合家用网络接口标准的通用即插即用(UPnP)作为设备发现和设备控制的应用框架,利用无线局域网(WIFI)作为大文件数据传输的技术方案。兼顾实际应用场景和现有技术条件,另可选择蓝牙、红外或者
Figure BDA0000060804680000111
Boujour作为无线设备发现和设备控制命令传输的备选技术方案。
以上所述仅为本发明的优选实施方式,本发明的保护范围并不仅限于上述实施方式,凡是属于本发明原理的技术方案均属于本发明的保护范围。对于本领域的技术人员而言,在不脱离本发明的原理的前提下进行的若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于移动设备指向的智能家电交互控制方法,其特征在于其实施步骤如下:
1)建立带有智能家电模型的室内三维空间模型;
2)为每一种智能家电建立可识别的交互控制命令以及该命令所对应的手势模型;
3)初始移动设备的位置,移动所述移动设备并获取其运动方向信息,遍历列举出所述三维空间模型内该运动方向所对应的所有智能家电;
4)获取用户选择的智能家电信息,向用户列出该智能家电所对应的所有手势模型;
5)识别用户发出的手势模型,根据识别的手势模型通过无线网络向所述智能家电发出交互控制命令执行交互控制。
2.根据权利要求1所述的基于移动设备指向的智能家电交互控制方法,其特征在于:所述步骤1)中建立三维空间模型时,首先在室内选定一个原点和一个初始朝向,然后根据智能家电与所述原点的相对位置设置其三维坐标、相对所述初始朝向的旋转方向设置其三轴旋转方向,并为智能家电建立六面体模型,最后根据三维坐标、三轴旋转方向以及六面体模型的大小建立该智能家电的空间模型。
3.根据权利要求2所述的基于移动设备指向的智能家电交互控制方法,其特征在于:所述步骤3)中获取移动设备的运动方向对应的智能家电信息时,首先计算出移动设备运动方向的指向线,获取所述指向线与所述智能家电六面体模型中控制信号接受面之间的交点,然后判断该交点是否位于所述智能家电六面体模型中控制信号接受面内,如果该交点位于智能家电六面体模型中控制信号接受面内,则判定该智能家电为所述移动设备运动方向所对应的智能家电。
4.根据权利要求2所述的基于移动设备指向的智能家电交互控制方法,其特征在于:所述步骤3)中获取移动设备的运动方向对应的智能家电信息时的详细步骤如下:
a)获取三维空间模型中智能家电的三维坐标Pdev和旋转矩阵Mdev
Pdev=(Xdev,Ydev,Zdev),
Mdev=[sin(Yawdev),-cos(Yawdev),sin(Pitchdev)],
其中,Xdev,Ydev,Zdev为智能家电的三维坐标值,Yawdev和Pitchdev为智能家电的三维旋转值;
b)获取移动设备的三维坐标Pphone和三维旋转值Mphone
Pphone=(Xphone,Yphone,Zphone),
M phone = cos ( Yaw phone + 3 4 π ) g cos ( - Pitch phone ) , sin ( Yaw phone + 3 4 π ) g cos ( - Pitch phone ) , sin ( Pitch dev ) ,
其中,Xphone,Yphone,Zphone为移动设备的三维坐标值,Yawphone和Pitcphone为移动设备的三维旋转值;
c)计算移动设备的指向线与智能家电六面体模型中接受控制信号面的交点InnerPoint,
InnerPoint = X phone + ( - ( M dev g P phone + M dev g P dev ) M dev g M phone ) g cos ( Yaw phone + 3 4 π ) g cos ( - Pitch phone ) , Y phone + ( - ( M dev g P phone + M dev g P dev ) M dev g M phone ) g sin ( Yaw phone + 3 4 π ) g cos ( - Pitch phone ) , Z phone + ( - ( M dev g P phone + M dev g P dev ) M dev g M phone ) g sin ( Pitch dev )
d)根据智能家电的位置和尺寸大小,计算出有效面上原点的对角线点Pbound
P bound = X dev + W idth dev g cos ( Yaw dev ) , Y dev + W idth dev g sin ( Yaw dev ) , Z dev + H eight dev
其中,Widthdev为智能家电六面体模型的宽度,Heightdev为智能家电六面体模型的高度;
e)判断InnerPoint是否分别在Pdev和其斜对面点Pbound之间,如果满足下式:
Pdev.X≤InnerPoint.X≤Pbound.X
Pdev.Y≤InnerPoint.Y≤Pbound.Y
Pdev.Z≤InnerPoint.Z≤Pbound.Z
则判定该智能家电位于移动设备的运动方向上。
5.根据权利要求1或2或3或4所述的基于移动设备指向的智能家电交互控制方法,其特征在于所述步骤5)中识别用户发出的手势模型详细包括:
a)预先设置手势模型;
b)采集移动设备的三轴加速度数据序列并进行分帧处理,得到多个三维加速度数据子序列帧;
c)将三维加速度数据子序列帧分别进行帧内三维加速度数据序列的信号特征提取,并将三维空间模型内沿着x轴、y轴、z轴上的多个不同的信号特征连接成一个帧内特征描述子;
d)将一个手势的多个帧的帧内特征描述子连接成一个整体特征描述子;
e)运用多类支持向量机模型对所有整体特征描述子进行建模和参数训练,得到在整体特征描述子张成的向量空间中不同种类手势的分界面,将该分界面与所述步骤a)中设置的手势模型进行比较识别。
6.一种基于移动设备指向的智能家电交互控制装置,其特征在于:它包括:
移动设备传感器信息采集模块,用于采集移动设备的三轴加速度以及旋转方向;
数据空间位置指向模块,用于存储包括智能家电在内的三维空间模型,并根据所述移动设备传感器信息采集模块输出的数据输出移动设备运动方向所对应的所有智能家电信息;
手势信息处理分析模块,用于根据所述移动设备传感器信息采集模块输出的数据识别用户输入的手势信息;
多模态交互及展示模块,用于展示移动设备运动方向所对应的所有智能家电信息并在用户选定智能家电后展示该智能家电所对应的所有手势模型信息,并根据用户输入的手势信息与智能家电执行交互控制;
所述移动设备传感器信息采集模块与数据空间位置指向模块、手势信息处理分析模块相连,所述手势信息处理分析模块与多模态交互及展示模块相连,所述多模态交互及展示模块通过无线网络与智能家电相连。
CN2011101224701A 2011-05-12 2011-05-12 基于移动设备指向的智能家电交互控制方法及装置 Active CN102184014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011101224701A CN102184014B (zh) 2011-05-12 2011-05-12 基于移动设备指向的智能家电交互控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011101224701A CN102184014B (zh) 2011-05-12 2011-05-12 基于移动设备指向的智能家电交互控制方法及装置

Publications (2)

Publication Number Publication Date
CN102184014A true CN102184014A (zh) 2011-09-14
CN102184014B CN102184014B (zh) 2013-03-20

Family

ID=44570197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101224701A Active CN102184014B (zh) 2011-05-12 2011-05-12 基于移动设备指向的智能家电交互控制方法及装置

Country Status (1)

Country Link
CN (1) CN102184014B (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102621956A (zh) * 2012-03-28 2012-08-01 中山市澳信信息科技有限公司 一种智能家居控制系统
CN102647511A (zh) * 2012-03-07 2012-08-22 山东大学 基于智能手机的三维博物馆交互系统及其交互方法
CN102664988A (zh) * 2012-03-23 2012-09-12 中国科学院软件研究所 一种基于智能手机的三维交互方法及系统
CN103105929A (zh) * 2013-01-05 2013-05-15 北京农业信息技术研究中心 虚拟农业园区交互式设计与体验方法及系统
CN103135791A (zh) * 2011-12-02 2013-06-05 捷达世软件(深圳)有限公司 电子装置控制系统及方法
CN103186358A (zh) * 2011-12-27 2013-07-03 和鑫光电股份有限公司 可无线传送画面的手持式电子设备及其组成的多媒体系统
CN103259827A (zh) * 2012-02-21 2013-08-21 海尔集团公司 应用于多屏共享的近距离方位定位、文件传输方法及系统
CN103412648A (zh) * 2013-08-14 2013-11-27 浙江大学 基于移动设备指向的车内设备交互控制装置及方法
CN103517114A (zh) * 2012-12-06 2014-01-15 Tcl集团股份有限公司 一种传感器数据交互方法及系统
CN103593056A (zh) * 2013-11-26 2014-02-19 青岛海信电器股份有限公司 手势数据识别和处理方法、电视机和手势输入设备
CN104216623A (zh) * 2013-05-29 2014-12-17 鸿富锦精密工业(深圳)有限公司 家庭式人机交互控制系统
CN104422066A (zh) * 2013-08-23 2015-03-18 珠海格力电器股份有限公司 智能空调控制的系统、方法及空调
WO2015039325A1 (zh) * 2013-09-21 2015-03-26 宫鹤 一种手势识别装置
CN104793503A (zh) * 2014-01-21 2015-07-22 上海科斗电子科技有限公司 含有相对位置控制参数的智能交互系统
CN105162971A (zh) * 2015-08-13 2015-12-16 慧锐通智能科技股份有限公司 一种移动智能终端控制智能家居系统的方法及系统
CN105425954A (zh) * 2015-11-04 2016-03-23 哈尔滨工业大学深圳研究生院 应用于智能家居中的人机交互方法及系统
CN105807903A (zh) * 2014-12-30 2016-07-27 Tcl集团股份有限公司 一种智能设备的控制方法及装置
CN106227059A (zh) * 2016-10-08 2016-12-14 三星电子(中国)研发中心 基于室内三维模型的智能家居控制方法和设备
CN106662926A (zh) * 2014-05-27 2017-05-10 厉动公司 普适计算环境中的姿势交互的系统和方法
CN106789461A (zh) * 2016-12-12 2017-05-31 北京小米移动软件有限公司 智能家居设备连接的方法及装置
CN106921541A (zh) * 2015-12-24 2017-07-04 美的集团股份有限公司 家庭网关和智能家居系统、家用电器的控制方法
CN107493495A (zh) * 2017-08-14 2017-12-19 深圳市国华识别科技开发有限公司 交互位置确定方法、系统、存储介质和智能终端
CN107741783A (zh) * 2017-10-01 2018-02-27 上海量科电子科技有限公司 电子转账方法及系统
CN108377212A (zh) * 2017-01-30 2018-08-07 联发科技股份有限公司 家用电器的控制方法及其电子系统
CN109324518A (zh) * 2018-09-29 2019-02-12 闻泰通讯股份有限公司 家用设备控制方法、装置、设备及存储介质
CN109870984A (zh) * 2018-12-26 2019-06-11 浙江大学 一种基于可穿戴设备的多家电控制方法
CN113093911A (zh) * 2021-04-09 2021-07-09 浙江大学 一种面向三维交互输入的智能指环及其交互方法
CN114090140A (zh) * 2020-08-05 2022-02-25 华为技术有限公司 基于指向操作的设备之间的交互方法及电子设备
CN115068945A (zh) * 2022-08-19 2022-09-20 深圳市必凡娱乐科技有限公司 一种游戏过程中的信息交互方法及系统
US11620859B2 (en) 2014-03-13 2023-04-04 Ultrahaptics IP Two Limited Biometric aware object detection and tracking
US11778159B2 (en) 2014-08-08 2023-10-03 Ultrahaptics IP Two Limited Augmented reality with motion sensing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1536466A (zh) * 2003-04-13 2004-10-13 赵玉福 视听装置的多媒体功能
CN2717117Y (zh) * 2004-04-02 2005-08-10 天津市远程计算机有限公司 网络家用电器远程控制系统
CN2783406Y (zh) * 2005-03-22 2006-05-24 联想(北京)有限公司 家电控制器
CN101598973A (zh) * 2009-06-26 2009-12-09 安徽大学 基于眼电信号的人机交互系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1536466A (zh) * 2003-04-13 2004-10-13 赵玉福 视听装置的多媒体功能
CN2717117Y (zh) * 2004-04-02 2005-08-10 天津市远程计算机有限公司 网络家用电器远程控制系统
CN2783406Y (zh) * 2005-03-22 2006-05-24 联想(北京)有限公司 家电控制器
CN101598973A (zh) * 2009-06-26 2009-12-09 安徽大学 基于眼电信号的人机交互系统

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103135791A (zh) * 2011-12-02 2013-06-05 捷达世软件(深圳)有限公司 电子装置控制系统及方法
CN103186358A (zh) * 2011-12-27 2013-07-03 和鑫光电股份有限公司 可无线传送画面的手持式电子设备及其组成的多媒体系统
CN103259827A (zh) * 2012-02-21 2013-08-21 海尔集团公司 应用于多屏共享的近距离方位定位、文件传输方法及系统
WO2013123694A1 (zh) * 2012-02-21 2013-08-29 海尔集团公司 应用于多屏共享的近距离方位定位、文件传输方法及系统
CN102647511A (zh) * 2012-03-07 2012-08-22 山东大学 基于智能手机的三维博物馆交互系统及其交互方法
CN102647511B (zh) * 2012-03-07 2014-05-07 山东大学 基于智能手机的三维博物馆交互系统及其交互方法
CN102664988B (zh) * 2012-03-23 2014-02-19 中国科学院软件研究所 一种基于智能手机的三维交互方法及系统
CN102664988A (zh) * 2012-03-23 2012-09-12 中国科学院软件研究所 一种基于智能手机的三维交互方法及系统
CN102621956A (zh) * 2012-03-28 2012-08-01 中山市澳信信息科技有限公司 一种智能家居控制系统
CN103517114A (zh) * 2012-12-06 2014-01-15 Tcl集团股份有限公司 一种传感器数据交互方法及系统
CN103517114B (zh) * 2012-12-06 2016-11-16 Tcl集团股份有限公司 一种传感器数据交互方法及系统
CN103105929A (zh) * 2013-01-05 2013-05-15 北京农业信息技术研究中心 虚拟农业园区交互式设计与体验方法及系统
CN104216623A (zh) * 2013-05-29 2014-12-17 鸿富锦精密工业(深圳)有限公司 家庭式人机交互控制系统
CN103412648A (zh) * 2013-08-14 2013-11-27 浙江大学 基于移动设备指向的车内设备交互控制装置及方法
CN103412648B (zh) * 2013-08-14 2016-03-02 浙江大学 基于移动设备指向的车内设备交互控制装置及方法
CN104422066B (zh) * 2013-08-23 2017-03-15 珠海格力电器股份有限公司 智能空调控制的系统、方法及空调
CN104422066A (zh) * 2013-08-23 2015-03-18 珠海格力电器股份有限公司 智能空调控制的系统、方法及空调
WO2015039325A1 (zh) * 2013-09-21 2015-03-26 宫鹤 一种手势识别装置
CN103593056A (zh) * 2013-11-26 2014-02-19 青岛海信电器股份有限公司 手势数据识别和处理方法、电视机和手势输入设备
CN103593056B (zh) * 2013-11-26 2016-11-16 青岛海信电器股份有限公司 手势数据识别和处理方法、电视机和手势输入设备
CN104793503A (zh) * 2014-01-21 2015-07-22 上海科斗电子科技有限公司 含有相对位置控制参数的智能交互系统
US11620859B2 (en) 2014-03-13 2023-04-04 Ultrahaptics IP Two Limited Biometric aware object detection and tracking
US11561519B2 (en) 2014-05-27 2023-01-24 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
US10782657B2 (en) 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
CN106662926A (zh) * 2014-05-27 2017-05-10 厉动公司 普适计算环境中的姿势交互的系统和方法
US11778159B2 (en) 2014-08-08 2023-10-03 Ultrahaptics IP Two Limited Augmented reality with motion sensing
US12095969B2 (en) 2014-08-08 2024-09-17 Ultrahaptics IP Two Limited Augmented reality with motion sensing
CN105807903A (zh) * 2014-12-30 2016-07-27 Tcl集团股份有限公司 一种智能设备的控制方法及装置
CN105162971A (zh) * 2015-08-13 2015-12-16 慧锐通智能科技股份有限公司 一种移动智能终端控制智能家居系统的方法及系统
CN105162971B (zh) * 2015-08-13 2016-12-07 慧锐通智能科技股份有限公司 一种移动智能终端控制智能家居系统的方法及系统
CN105425954A (zh) * 2015-11-04 2016-03-23 哈尔滨工业大学深圳研究生院 应用于智能家居中的人机交互方法及系统
CN105425954B (zh) * 2015-11-04 2018-09-18 哈尔滨工业大学深圳研究生院 应用于智能家居中的人机交互方法及系统
CN106921541A (zh) * 2015-12-24 2017-07-04 美的集团股份有限公司 家庭网关和智能家居系统、家用电器的控制方法
CN106227059A (zh) * 2016-10-08 2016-12-14 三星电子(中国)研发中心 基于室内三维模型的智能家居控制方法和设备
CN106789461A (zh) * 2016-12-12 2017-05-31 北京小米移动软件有限公司 智能家居设备连接的方法及装置
CN108377212A (zh) * 2017-01-30 2018-08-07 联发科技股份有限公司 家用电器的控制方法及其电子系统
CN107493495B (zh) * 2017-08-14 2019-12-13 深圳市国华识别科技开发有限公司 交互位置确定方法、系统、存储介质和智能终端
CN107493495A (zh) * 2017-08-14 2017-12-19 深圳市国华识别科技开发有限公司 交互位置确定方法、系统、存储介质和智能终端
US11163426B2 (en) 2017-08-14 2021-11-02 Guohua Liu Interaction position determination method and system, storage medium and smart terminal
CN107741783A (zh) * 2017-10-01 2018-02-27 上海量科电子科技有限公司 电子转账方法及系统
CN109324518A (zh) * 2018-09-29 2019-02-12 闻泰通讯股份有限公司 家用设备控制方法、装置、设备及存储介质
CN109870984A (zh) * 2018-12-26 2019-06-11 浙江大学 一种基于可穿戴设备的多家电控制方法
CN109870984B (zh) * 2018-12-26 2020-09-11 浙江大学 一种基于可穿戴设备的多家电控制方法
CN114090140A (zh) * 2020-08-05 2022-02-25 华为技术有限公司 基于指向操作的设备之间的交互方法及电子设备
CN113093911A (zh) * 2021-04-09 2021-07-09 浙江大学 一种面向三维交互输入的智能指环及其交互方法
CN113093911B (zh) * 2021-04-09 2023-06-30 浙江大学 一种面向三维交互输入的智能指环及其交互方法
CN115068945A (zh) * 2022-08-19 2022-09-20 深圳市必凡娱乐科技有限公司 一种游戏过程中的信息交互方法及系统
CN115068945B (zh) * 2022-08-19 2022-11-11 深圳市必凡娱乐科技有限公司 一种游戏过程中的信息交互方法及系统

Also Published As

Publication number Publication date
CN102184014B (zh) 2013-03-20

Similar Documents

Publication Publication Date Title
CN102184014B (zh) 基于移动设备指向的智能家电交互控制方法及装置
US9247303B2 (en) Display apparatus and user interface screen providing method thereof
JP6522124B2 (ja) ジェスチャ制御方法、デバイス、およびシステム
CN103455270A (zh) 视频文件传输方法及视频文件传输系统
US20140092067A1 (en) Information processing method and device for electronic device with touch screen
CN102306059A (zh) 基于触控输入的手持数字电视通用遥控器
CN102354273A (zh) 遥控方法及用于实现该遥控方法的电子设备
EP2894544A1 (en) Display apparatus and method for controlling display apparatus thereof
CN102750121A (zh) 电子显示装置的智能扩展与精确控制系统及其多用户多任务加密共享方法
KR101512239B1 (ko) 터치 명령 및 특이 터치를 이용한 디바이스 간 컨텐츠 이동 시스템 및 방법
US20150193613A1 (en) Portable apparatus and method of connecting to external apparatus
CN103157282A (zh) 进行触控游戏的方法及相关娱乐系统
CN112328158A (zh) 交互方法、显示装置、发射装置、交互系统及存储介质
CN105094344B (zh) 固定终端控制方法及装置
KR20120061169A (ko) 터치스크린을 갖는 단말기를 이용한 목적물 제어시스템
CN202735987U (zh) 红外定位无线操控的交互式投影系统
CN104914985A (zh) 手势控制方法及系统与视频流处理装置
KR102292619B1 (ko) 색상 생성 방법 및 그에 따른 장치, 그에 따른 시스템
CN110719514A (zh) 设备的控制方法及系统、终端
CN202565359U (zh) 一种微投互动手机
CN102645975A (zh) 手写输入装置、遥控装置、智能交互系统和手写处理方法
CN202600468U (zh) 一种综合无线智能中控系统
JP5396332B2 (ja) ジェスチャを用いた情報入力装置、方法及びプログラム
CN103336587A (zh) 一种九轴惯性定向输入装置的远端悬浮触控设备和方法
JP3211484U (ja) 触感型コントローラー

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant