CN104461318A - 基于增强现实技术的点读方法及系统 - Google Patents

基于增强现实技术的点读方法及系统 Download PDF

Info

Publication number
CN104461318A
CN104461318A CN201310669737.8A CN201310669737A CN104461318A CN 104461318 A CN104461318 A CN 104461318A CN 201310669737 A CN201310669737 A CN 201310669737A CN 104461318 A CN104461318 A CN 104461318A
Authority
CN
China
Prior art keywords
image
augmented reality
reading
visual marker
chosen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310669737.8A
Other languages
English (en)
Other versions
CN104461318B (zh
Inventor
周志颖
梁建强
古鉴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU DREAM MAN SOFTWARE TECHNOLOGY CO LTD
Original Assignee
SUZHOU DREAM MAN SOFTWARE TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU DREAM MAN SOFTWARE TECHNOLOGY CO LTD filed Critical SUZHOU DREAM MAN SOFTWARE TECHNOLOGY CO LTD
Priority to CN201310669737.8A priority Critical patent/CN104461318B/zh
Publication of CN104461318A publication Critical patent/CN104461318A/zh
Application granted granted Critical
Publication of CN104461318B publication Critical patent/CN104461318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于增强现实技术的点读方法及系统,其涉及的主要技术方案包括:以图像采集单元摄入图像,并至少选定被摄入图像中的一帧以上图像,以及,在被选定的图像上加载一个以上可视化标记,使用户能够通过选定和点触其中的一个以上可视化标记,从而输出至少用以获取与被选定可视化标记相应的资源的服务请求和/或至少用以使选定功能单元执行选定动作的控制指令。本发明通过采用基于图像识别的增强现实技术,能够将任意书本、物体或场景结合多种形式的多媒体信息而展示,从而给予用户更为良好且互动的体验。

Description

基于增强现实技术的点读方法及系统
技术领域
本发明涉及一种点读方法及系统,特别涉及一种基于图像识别增强现实技术(AR)的智能点读系统及方法,属于增强现实技术及图像识别技术领域。
背景技术
点读系统(例如,点读机和点读笔等)是现代数码信息技术与最新教学需求完美结合的一种有声互动学习产品,它能够将文字化的书本教材变成能按学习需要任意发声的有声教材。
其中,点读笔是利用在书本上加印二维码的技术,将声音文件植入书本中,使用者在使用过程中选择要点读的某一页,随便点击该页上的图案、文字、数字等内容,点读笔都能通过笔头上装配的高速摄像头识别书本上的二维码而读出对应内容的声音文件。
而点读机使用的原理是在制作发音文件过程中,给发音文件预先设置好对应书本内容的“经纬位置”。使用者将课本置于机器平板上,用专用的笔点书本上的文字、图画、数字等内容,机器就会发出相对应的声音。
但是,现有点读系统的内容和形式均非常单调,且用户只能被动的接受信息,因此无法给予用户(特别是幼儿或某些特殊人群)良好体验。
发明内容
有鉴于此,本发明的一个目的在于提供一种基于增强现实技术的点读方法,其操作简便,能给予用户更具真实感,且互动式的良好体验。
为了实现上述目的,本发明提供的技术方案如下:
一种基于增强现实技术的点读方法,包括:
以图像采集单元摄入图像,并至少选定被摄入图像中的一帧以上图像,
以及,在被选定的图像上加载一个以上可视化标记,使用户能够通过选定和点触其中的一个以上可视化标记,从而输出至少用以获取与被选定可视化标记相应的资源的服务请求和/或至少用以使选定功能单元执行选定动作的控制指令。
进一步的,该方法还可包括:通过选定和点触其中的一个以上可视化标记,从而获取和/或播放与被选定的可视化标记相应的多媒体资源。
进一步的,该方法还可包括:通过选定和点触其中的一个以上可视化标记,从而输出与被选定可视化标记相应的控制指令,使选定设备执行选定动作,和/或,接受选定设备输出的、与被选定可视化标记相应的反馈信号。
进一步的,该方法还可包括:
甄别被摄入图像,且选定其中包含特定标识信息的图像,并在被选定的图像上加载一个以上可视化标记。
作为其中可选的实施方案之一,该方法还可包括:
依据所述特定标识信息,获取与被选定图像相应的多媒体资源,且所述多媒体资源与加载在被选定图像上的可视化标记之间还存在对应关系。
进一步的,该方法可包括:
以图像采集单元拍摄和/或扫描真实或虚拟物体,从而摄入图像;
或者,以图像采集单元接收计算机可读形式的图像数据,从而摄入图像。
作为较为优选的实施方案之一,该方法还包括:在被选定的图像上加载相应的增强现实图景。
进一步的,该方法还可包括:至少将被选定的图像和/或与被选定图像相应的多媒体资源存储于本地和/或云端存储单元中。
作为其中一种典型的实施方案案,该基于增强现实技术的点读方法可包括如下步骤:
S1. 提供一种以上印刷物及一种以上多媒体资源,并在选定印刷物与选定多媒体资源之间建立对应关系;
S2.选择一印刷物,并获取与该印刷物对应的多媒体资源;
S3. 以图像采集单元摄入该印刷物中选定页面的图像,并在该页面的图像上加载一个以上可视化标记;
S4. 选定和点触其中的一个以上可视化标记,从而播放与被选定可视化标记相应的多媒体资源。
本发明的另一目的在于提供一种基于增强现实技术的点读系统,其包括:
图像采集单元,至少用以摄入图像;
点读单元,至少用以甄别和选定被摄入图像中的一帧以上图像,并在被选定图像上加载一个以上可视化标记,使用户能够通过选定和点触其中的一个以上可视化标记,从而输出至少用以获取与被选定可视化标记相应的资源的服务请求和/或至少用以使选定功能单元执行选定动作的控制指令。
此处所述的功能单元,可以选自某些由电力驱动、液压驱动或气流驱动的实体机械等,亦可为某些虚拟设备,且不限于此。
进一步的,所述图像采集单元包括:
能够实时拍摄和/或扫描真实和/或虚拟物体,并获得图像的元件,
或者,能够接受计算可读形式的图像数据,从而获得图像的元件。
进一步的,所述图像采集单元和点读单元集成设置于一终端内,
或者,所述图像采集单元和点读单元分立设置,并经通讯模块连接。
作为可选的实施方案之一,所述点读系统还可包括:
存储单元,至少用以存储被摄入的图像和/或与被选定图像相应的多媒体资源存储于本地和/或云端。
进一步的,所述点读单元包括:
显示单元,至少用以显示被摄入的图像,
数据处理单元,至少用以从被摄入的图像中甄别和选定被摄入图像中的一帧以上图像,并在被选定图像上加载一个以上可视化标记,以及接收和处理用户的点触操作指令,从而实现多媒体的获取和/或播放,
以及,触控操作单元,至少用以使用户能够通过选定和点触一个以上可视化标记而发出点触操作指令。
作为较为优选的实施方案之一,所述显示单元和触控操作单元集成设置于一触控显示单元内。
进一步的,该方法中的点触方式包括手指触碰操作,手势识别操作,鼠标触碰操作,可触碰笔操作或类笔物体触碰操作,但不限于此。
进一步的,所述多媒体资源至少选自字符、文档、图形、音频、视频、虚拟模型或超级链接,但不限于此。
进一步的,所述多媒体资源还可包括增强现实图景。
进一步的,所述图像采集单元包括影像摄录设备(如摄像头、摄像机、照相机等)或扫描仪。
与现有技术相比,本发明至少具有以下有益效果:通过采用基于图像识别的增强现实技术,能够将任意书本、物体或场景结合多种形式的多媒体信息而展示,从而给予用户更为良好且互动的体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一典型实施例中一种基于增强现实技术的点读方法的示意图;
图2为本发明一实施方案中一种基于增强现实技术的点读系统的结构框图;
图3为本发明一实施方案中一种基于增强现实技术的点读方法的流程图;
图4为本发明一具体实施方案中执行触碰事件的具体流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明的一个方面提供了一种基于增强现实技术的点读方法,包括:
以图像采集单元摄入图像,并至少选定被摄入图像中的一帧以上图像,
以及,在被选定的图像上加载一个以上可视化标记,使用户能够通过选定和点触其中的一个以上可视化标记,从而输出至少用以获取与被选定可视化标记相应的资源的服务请求和/或至少用以使选定功能单元执行选定动作的控制指令。
本发明的另一方面提供了一种基于增强现实技术的点读系统,其包括:
图像采集单元,至少用以摄入图像;
点读单元,至少用以甄别和选定被摄入图像中的一帧以上图像,并在被选定图像上加载一个以上可视化标记,使用户能够通过选定和点触其中的一个以上可视化标记,从而输出至少用以获取与被选定可视化标记相应的资源的服务请求和/或至少用以使选定功能单元执行选定动作的控制指令。
其中,作为一种可行的实施方式,本发明可以通过以图像采集单元拍摄和/或扫描真实或虚拟物体,从而摄入图像。
更为具体的讲,其过程可以包括:以具有实体的影像摄录设备或扫描设备拍摄或扫描真实或虚拟物体,例如,图片、书本、模型或某些场景,从而摄入图像;
或者,以虚拟的影像摄录设备或扫描设备拍摄或扫描虚拟物体,从而摄入图像,这种方式可以应用于诸如网络游戏等虚拟环境中。
其中,典型的所述图像采集单元可以包括影像摄录设备(如摄像头、摄像机、照相机等)、扫描仪等,但不限于此。
而作为另一种可行的实施方式,本发明亦可通过以图像采集单元接收计算机可读形式的图像数据,从而摄入图像。
换言之,本发明也可以属于或非属于本发明点读系统的真实或虚拟影像摄入设备或扫描设备获取图像后,再传输给本发明的图像采集单元,从而完成图像的摄入。
这种实施方式尤为适于需要从远端获取图像,而需要在本地完成点读操作的点读系统,例如,在矿井、建筑工地、海上或太空等特殊场合作业时,需要对特定设备、地点进行远程安全监控或操作的情形。
显然的,为达成这样的目的,通常需要在图像采集单元和点读单元之间设置通讯模块,使该两者能够实现数据的交互等。
进一步的,在本发明中可以预先建立特定图片的甄选标准,例如,可以预先规定所要选取的图片中应包含的特定标识信息,例如,特定的文字或代码(如条形码、二维码)、特定的图形结构等,继而,在图像采集单元摄入图像后,可以通过鉴别图像中是否包含前述的特定标识信息,从中选定所需的图像。
进一步的,在甄选出所需的图像后,可以直接在该图像上加载可视化标记,其中,依据图像的不同,可视化标记的数量、形式和在图像上的分布位置可相应变化。
而作为较为优选的实施方案之一,也可以在在甄选出所需的图像后,依据该图像所包含的特定标识信息,首先在图像上加载相应的增强现实图景,例如,三维模型、视频、动画等,而后再加载可视化标记,当然,也可以同时加载所述增强现实途径及可视化标记。
其中,可视化标记可以为文字、图形(如,圆形、矩形、多边形或其它任意不规则形态的图形)、立体模型或者动态标识,且不限于此。
作为其中较为优选的实施方案之一,前述可视化标记亦可以为与选定图像上所载有的图形、标记等相同或相近的图形、标记等。例如,当以摄像头等实时摄入某一真实物品(例如,某一书本)的特定图像(例如,某一页的图像或某一视角的图像,并且在图像中存在一个或多个标记,例如,小喇叭等音频标记、摄像机等视频标记)时,则可在该特定图像上加载与该特定图像上的标记位置相同、形态相同的可视化标记(例如,小喇叭状、摄像机状可视化标记),如此,用户可极为方便的判别、选取和播放可视化标记所对应的多媒体资源等。
进一步的,本发明的方法还可包括:通过选定和点触其中的一个以上可视化标记,从而获取和/或播放与被选定的可视化标记相应的多媒体资源。
进一步的,在本发明中可以依据前述的特定标识信息,预先获取与特定图像相应的多媒体资源,且使所述多媒体资源与加载在被选定图像上的可视化标记之间还存在对应关系。
或者,也可以在可视化标记中加载藉以获取相应多媒体资源的链接信息或请求,并在点触可视化标记时,激活所述链接信息或请求,从而从本地和/或云端存储单元获取与播放多媒体资源。
因此,作为一较为优选的实施方案,本发明的点读系统中还可包括本地和/或云端存储单元,或者亦可为本地服务器和/或云端服务器。
并且,进一步的,在本发明中,还可以至少将被选定的图像和/或与被选定图像相应的多媒体资源存储于本地和/或云端存储单元中。
藉由前述设计,使得本发明的点读系统至少具有两种工作模式,包括:
1、在线工作模式:通过图像采集单元实时摄入图像,并在其中选定的图像上加载可视标记,用户通过点触可视标记,实时获取、播放多媒体资源;
2、离线工作模式:调阅存储于本地的被选定图像,并在选定图像上加载可视标记,用户通过点触可视标记,实时播放存储于本地的多媒体资源。
进一步的,在前述离线工作模式的基础上,还可衍生出睡眠工作模式等,即,使用户在调阅存储于本地的特定图像,且点触加载于该特定图像上的可视标记,即可使点触系统自行播放存储于本地的某一类型或某几种类型的多媒体资源。
作为较为优选的实施方案之一,所述图像采集单元和点读单元可集成设置于一终端内。
作为可选的实施方案之一,所述点读单元可以包括:
显示单元,至少用以显示被摄入的图像,
数据处理单元,至少用以从被摄入的图像中甄别和选定被摄入图像中的一帧以上图像,并在被选定图像上加载一个以上可视化标记,以及接收和处理用户的点触操作指令,从而实现多媒体的获取和/或播放,
以及,触控操作单元,至少用以使用户能够通过选定和点触一个以上可视化标记而发出点触操作指令。
作为较为优选的实施方案之一,所述显示单元和触控操作单元集成设置于一触控显示单元内。
进一步的,在本发明的一个实施方案中,该点读方法还可包括:通过选定和点触其中的一个以上可视化标记,从而输出与被选定可视化标记相应的控制指令,使选定设备执行选定动作,和/或,接受选定设备输出的、与被选定可视化标记相应的反馈信号。
例如,对于某些需要远程控制的机械设备,藉由前述实施方案涉及的设计,则,也可在本地通过某些影像摄录设备实时摄入相应机械设备的影像,而控制人员通过远程控制设备(如,计算机系统)获取相应影像后,由远程控制设备在影像上的特定位置,特别是对应于相应机械设备的操控面板上的特定位置或一个或多个按键的位置加载可视标记,控制人员依据影像中所显示的机械设备的工作状态,可相应选定和点触其中某一个或几个可视标记,从而发出控制指令,并在远端调整机械设备的工作状态。
本发明的点读系统可以在本领域人员悉知的各类终端上实现,例如,可以为通常使用的智能手机、平板电脑,PC,智能电视、Google 眼镜等具有多媒体功能的设备,但不限于此。
进一步的,该方法中的点触方式包括手指触碰操作,手势识别操作,鼠标触碰操作,可触碰笔操作或类笔物体触碰操作,但不限于此。
进一步的,所述多媒体资源至少选自字符、文档、图形、音频、视频、虚拟模型或超级链接,但不限于此。
进一步的,所述多媒体资源还可包括增强现实图景。
以下结合附图及典型实施例对本发明的技术方案作更为具体的解释说明。
参阅图1,在本发明的一典型实施例中,其涉及的点读方法可以包括如下步骤:
(1)用户选取书本,并以影像摄录设备实时摄录书本中的选定页面,使选定页面的影像(可以是单帧图像,也可以是连续显示的多帧图像形成动态图像或视频)实时显示于一显示屏上;
(2)在选定页面的影像上自动浮现一个以上可视化标记(即,触控点);
(3)用户通过依次点触其中的一个以上可视化标记,实现与各可视化标记相应多媒体信息,包括文字、图形、立体模型、视频、音频等的播放。
进一步的,在本发明的另一实施例中,参阅图2所示,其涉及的一种点读系统可以包括:
摄像头10,用于获取图像信息,通过所述智能点读系统摄像头摄入所述教材中任意一处或多处来获取图像信息,该图像信息包括任意一页和/或字符和/或任意一张插图和/或多张插图和/或一维码和/或二维码和/或一个或多个实物;
点读单元,包括:
图像处理单元20,用于处理图像信息,并传输给本地存储单元进行存储,
图像处理单元20具体用于:摄取和分析所述图像信息并进行矩阵化处理,所述矩阵化处理具体为将扭曲或变形的图像信息矫正成标准的图像信息;
多媒体处理单元30,用于处理多媒体资源,处理各种用于学习和/或展览展示和/或互动和/或娱乐的多媒体资源,多媒体资源包括3D模型及资源和/或2D模型及资源和/或图片和/或按钮和/或视频和/或音频和/或字符;
触控处理单元40,用于接受和处理外界对多媒体资源的各项互动操作,互动操作包括手指触碰操作,手势识别操作,鼠标触碰操作,可触碰笔操作,类笔类物体触碰操作等其他外界操作;
本地存储单元50,用于对图像信息、多媒体资源、互动操作进行本地存储;
本地处理单元60,用于对本地存储单元的信息进行逻辑操作,逻辑操作包括本地化逻辑操作和在线逻辑操作,具体为:
本地化逻辑操作,本地处理单元根据图像处理单元处理后的图像信息结合本地处理单元搜索到对应的多媒体资源,并对多媒体资源进行点读逻辑解析,再根据点读逻辑将触控处理单元所对应的互动操作与对应的多媒体资源关联,最终完成点读操作;
在线逻辑操作,本地处理单元根据图像处理单元处理后的图像信息请求服务器处理单元进行对应的多媒体资源的下载操作,并通过本地存储单元进行存储操作,经过本地处理单元对已下载的多媒体资源进行点读逻辑解析,再根据点读逻辑将触控处理单元所对应的互动操作与对应的多媒体资源关联,最终完成点读操作。
本地处理单元60还可用于:
通过图像处理单元对多媒体资源进行增强现实实时追踪叠加操作,并结合触控处理单元对增强现实实时追踪叠加的多媒体资源进行360度触控操作。
服务器处理单元70,用于响应本地处理单元发送的各项服务请求。
服务器存储单元80,用于存储图像信息和多媒体资源。
进一步地,本实施方式中本地处理单元60采样和处理本地存储单元50所存储的数据,并上传所述服务器处理单元70和服务器存储单元80,用于智能点读系统对热门和/或经典和/或有趣和/或有益的等其他有针对性的教材和多媒体资源的推送。
相应地,本实施例提供的一种基于图像识别增强现实技术实现的点读方法可以包括以下步骤:
S1、摄像头获取图像信息,图像处理单元和多媒体处理单元对图像信息进行处理,得到多媒体资源并存储在服务器存储单元中,用户根据需要下载所需点读的多媒体资源至本地存储单元;
S2、本地处理单元扫描多媒体资源中存在智能点读资源的页面,该页面上包括若干用于互动操作的触碰点;
S3、触碰页面上的触碰点位置,本地处理单元进行逻辑解析,在触控处理单元中触发触碰事件,显示对应的多媒体信息。
进一步地,步骤S1包括:
自动刷新请求已有的多媒体资源列表,在系统中全部列出;
用户选择指定的多媒体资源,获取该多媒体资源对应的智能点读资源的下载地址,并自动下载资源;
智能点读资源下载完毕,自动采用内置的基于图像识别增强现实技术的摄像头进行实景扫描。
进一步地,步骤S2包括:
用户将该多媒体资源翻至拥有智能点读功能的页面,将该页面放置于摄像头下;
加载该多媒体资源的制作智能点读资源的页面,实时解析当前实景,判断当前实景是否为制作智能点读资源的页面;
当追踪到该多媒体资源的制作智能点读资源的页面,在摄像头实景中提示该页面已制作的触碰点的位置。
进一步地,步骤S3包括:
检测触碰到触碰点,获取触碰点的识别标识信息;
根据触碰点的识别标识信息检索解析获取到触碰点对应的触碰事件;
根据触碰事件,读取对应的多媒体资源,执行触碰事件。
参阅图3所示为本发明一实施例中点读方法的流程图,包括:
智能点读系统启动完毕,自动刷新向服务器请求已有的书本资源列表,在系统中全部列出;
用户选择指定的书本,系统向服务器请求该书本对应的智能点读资源的下载地址,并自动下载资源;
该书本的智能点读资源下载完毕,自动启动系统内置的基于图像识别增强现实技术的摄像头实景扫描功能;
用户将该书本翻至拥有智能点读功能的页面,将该页面放置于智能点读系统摄像头下;
智能点读系统加载该书本的制作智能点读资源的页面,实时解析当前实景,判断当前实景是否为制作智能点读资源的页面;
当追踪到该书本的制作智能点读资源的页面,软件在摄像头实景中提示该页面已制作的触碰点的位置;
用户根据点读系统关于触碰点的位置的提示,利用手指或者笔等工具触碰书本上的触碰点,触发触碰事件,显示多媒体信息。
参阅图4所示,本实施方式中智能点读系统触碰事件执行流程具体包括:
智能点读系统检测触碰到触碰点,获取触碰点的识别标识信息;
根据触碰点的识别标识信息检索解析获取到触碰点对应的触碰事件;
根据触碰事件,读取对应的多媒体资源,执行触碰事件。
本实施方式中触碰事件包括:播放音频、显示图片、显示文字、播放视频、播放模型动画等。不同的事件,有不同的事件操作,如播放音频,可以设置音频音量、是否循环等,智能点读系统解析触碰事件,根据触碰事件的执行逻辑,在书本页面的指定区域显示指定的多媒体信息,以达到将文字化的书本教材变成按学习需要任意展示多媒体信息的多媒体互动教程的目的。
由以上技术方案可以看出,本发明基于图像识别增强现实技术实现的智能点读系统及方法通过采用基于图像识别的增强现实技术,能实现将任意文字、图形化的书本教材变成按学习需要任意展示多媒体信息的多媒体互动教程。
与现有技术相比,本发明利用增强现实技术可以立刻把任何现有的书籍变成可点读的书籍,不需要特制的书本和点读设备(比如点读书和点读笔),一般通常使用的智能手机、平板电脑、PC、智能电视等即可充当点读设备,使用方便,应用广泛。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。

Claims (20)

1.一种基于增强现实技术的点读方法,其特征在于,包括:
以图像采集单元摄入图像,并至少选定被摄入图像中的一帧以上图像,
以及,在被选定的图像上加载一个以上可视化标记,使用户能够通过选定和点触其中的一个以上可视化标记,从而输出至少用以获取与被选定可视化标记相应的资源的服务请求和/或至少用以使选定功能单元执行选定动作的控制指令。
2.根据权利要求1所述的基于增强现实技术的点读方法,其特征在于,该方法还包括:通过选定和点触其中的一个以上可视化标记,从而获取和/或播放与被选定的可视化标记相应的多媒体资源。
3.根据权利要求1所述的基于增强现实技术的点读方法,其特征在于,该方法还包括:通过选定和点触其中的一个以上可视化标记,从而输出与被选定可视化标记相应的控制指令,使选定设备执行选定动作,和/或,接受选定设备输出的、与被选定可视化标记相应的反馈信号。
4.根据权利要求1所述的基于增强现实技术的点读方法,其特征在于,该方法还包括:甄别被摄入图像,且选定其中包含特定标识信息的图像,并在被选定的图像上加载一个以上可视化标记。
5.根据权利要求4所述的基于增强现实技术的点读方法,其特征在于,该方法还包括:依据所述特定标识信息,获取与被选定图像相应的多媒体资源,且所述多媒体资源与加载在被选定图像上的可视化标记之间还存在对应关系。
6.根据权利要求1所述的基于增强现实技术的点读方法,其特征在于,该方法包括:以图像采集单元拍摄和/或扫描真实或虚拟物体,从而摄入图像;或者,以图像采集单元接收计算机可读形式的图像数据,从而摄入图像。
7.根据权利要求1所述的基于增强现实技术的点读方法,其特征在于,该方法还包括:在被选定的图像上加载相应的增强现实图景。
8.根据权利要求1所述的基于增强现实技术的点读方法,其特征在于,该方法还包括:至少将被选定的图像和/或与被选定图像相应的多媒体资源存储于本地和/或云端存储单元中。
9.根据权利要求1-8中任一项所述的基于增强现实技术的点读方法,其特征在于,该方法中的点触方式包括手指触碰操作,手势识别操作,鼠标触碰操作,可触碰笔操作或类笔物体触碰操作。
10.根据权利要求1-8中任一项所述的基于增强现实技术的点读方法,其特征在于,所述多媒体资源至少选自字符、文档、图形、音频、视频、虚拟模型或超级链接。
11.根据权利要求10所述的基于增强现实技术的点读方法,其特征在于,所述多媒体资源还包括增强现实图景。
12.一种基于增强现实技术的点读方法,其特征在于,包括如下步骤:
S1. 提供一种以上印刷物及一种以上多媒体资源,并在选定印刷物与选定多媒体资源之间建立对应关系;
S2.选择一印刷物,并获取与该印刷物对应的多媒体资源;
S3. 以图像采集单元摄入该印刷物中选定页面的图像,并在该页面的图像上加载一个以上可视化标记;
S4. 选定和点触其中的一个以上可视化标记,从而播放与被选定可视化标记相应的多媒体资源。
13.一种基于增强现实技术的点读系统,其特征在于,包括:
图像采集单元,至少用以摄入图像;
点读单元,至少用以甄别和选定被摄入图像中的一帧以上图像,并在被选定图像上加载一个以上可视化标记,使用户能够通过选定和点触其中的一个以上可视化标记,从而输出至少用以获取与被选定可视化标记相应的资源的服务请求和/或至少用以使选定功能单元执行选定动作的控制指令。
14.根据权利要求13所述的基于增强现实技术的点读系统,其特征在于,所述图像采集单元包括:
能够实时拍摄和/或扫描真实和/或虚拟物体,并获得图像的元件,
或者,能够接受计算可读形式的图像数据,从而获得图像的元件。
15.根据权利要求13所述的基于增强现实技术的点读系统,其特征在于,
所述图像采集单元和点读单元集成设置于一终端内,
或者,所述图像采集单元和点读单元分立设置,并经通讯模块连接。
16.根据权利要求13-15中任一项所述的基于增强现实技术的点读系统,其特征在于,它还包括:
存储单元,至少用以存储被摄入的图像和/或与被选定图像相应的多媒体资源存储于本地和/或云端。
17.根据权利要求13所述的基于增强现实技术的点读系统,其特征在于,所述点读单元包括:
显示单元,至少用以显示被摄入的图像;
数据处理单元,至少用以从被摄入的图像中甄别和选定被摄入图像中的一帧以上图像,并在被选定图像上加载一个以上可视化标记,以及接收和处理用户的点触操作指令,从而实现多媒体的获取和/或播放,
以及,触控操作单元,至少用以使用户能够通过选定和点触一个以上可视化标记而发出点触操作指令。
18.根据权利要求17所述的基于增强现实技术的点读系统,其特征在于,所述显示单元和触控操作单元集成设置于一触控显示单元内。
19.根据权利要求13-15、17-18中任一项所述的基于增强现实技术的点读系统,其特征在于,所述多媒体资源至少选自字符、文档、图形、音频、视频、虚拟模型或超级链接。
20.根据权利要求13-15、17-18中任一项所述的基于增强现实技术的点读系统,其特征在于,所述图像采集单元包括影像摄录设备或扫描仪。
CN201310669737.8A 2013-12-10 2013-12-10 基于增强现实技术的点读方法及系统 Active CN104461318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310669737.8A CN104461318B (zh) 2013-12-10 2013-12-10 基于增强现实技术的点读方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310669737.8A CN104461318B (zh) 2013-12-10 2013-12-10 基于增强现实技术的点读方法及系统

Publications (2)

Publication Number Publication Date
CN104461318A true CN104461318A (zh) 2015-03-25
CN104461318B CN104461318B (zh) 2018-07-20

Family

ID=52907461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310669737.8A Active CN104461318B (zh) 2013-12-10 2013-12-10 基于增强现实技术的点读方法及系统

Country Status (1)

Country Link
CN (1) CN104461318B (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834680A (zh) * 2015-04-13 2015-08-12 西安教育文化数码有限责任公司 一种索引式增强现实方法
CN104850582A (zh) * 2015-04-13 2015-08-19 西安教育文化数码有限责任公司 一种索引式增强现实系统
CN104992205A (zh) * 2015-06-04 2015-10-21 西安教育文化数码有限责任公司 Ar图书及基于ar图书的索引式增强现实系统和方法
CN105022487A (zh) * 2015-07-20 2015-11-04 北京易讯理想科技有限公司 基于增强现实的阅读方法及装置
CN105513444A (zh) * 2015-10-10 2016-04-20 尚学博志(上海)教育科技有限公司 增强电子教材阅读内容的方法及其系统
CN105760106A (zh) * 2016-03-08 2016-07-13 网易(杭州)网络有限公司 一种智能家居设备交互方法和装置
CN106713896A (zh) * 2016-11-30 2017-05-24 世优(北京)科技有限公司 静态图像的多媒体呈现方法、装置和系统
CN106920079A (zh) * 2016-12-13 2017-07-04 阿里巴巴集团控股有限公司 基于增强现实的虚拟对象分配方法及装置
CN107426508A (zh) * 2017-07-14 2017-12-01 福建铁工机智能机器人有限公司 一种利用ar实现远程安保巡查的方法
CN107767355A (zh) * 2016-08-18 2018-03-06 深圳市劲嘉数媒科技有限公司 图像增强现实的方法和装置
CN108136257A (zh) * 2015-08-17 2018-06-08 乐高公司 创建虚拟游戏环境的方法和采用该方法的互动游戏系统
CN108255822A (zh) * 2016-12-28 2018-07-06 深圳市氧橙互动娱乐有限公司 一种交互式图书阅读方法、装置及系统
CN108366084A (zh) * 2016-11-30 2018-08-03 上海仙剑文化传媒股份有限公司 Ar图书下载管理方法及ar图书数据的智能化管控方法
CN108390900A (zh) * 2016-11-30 2018-08-10 上海仙剑文化传媒股份有限公司 Ar图书数据下载管理方法、ar图书数据的智能化管控方法
CN108735014A (zh) * 2018-06-04 2018-11-02 聆课教育科技(上海)有限公司 一种多媒体教学设备、系统以及呈现多媒体内容的方法
TWI640952B (zh) * 2017-05-15 2018-11-11 國立臺灣師範大學 Virtual object collection method and portable electronic device
CN108932088A (zh) * 2017-05-22 2018-12-04 洪荣昭 虚拟物件收集方法及可携式电子装置
CN109215416A (zh) * 2018-10-24 2019-01-15 天津工业大学 一种基于增强现实技术的汉字辅助学习系统及方法
CN110178168A (zh) * 2017-01-17 2019-08-27 惠普发展公司,有限责任合伙企业 模拟增强内容
CN110309933A (zh) * 2018-03-23 2019-10-08 广州极飞科技有限公司 植株种植数据测量方法、作业路线规划方法及装置、系统
CN110688003A (zh) * 2019-09-09 2020-01-14 华南师范大学 基于增强现实的电子绘本系统、显示方法、装置和介质
CN110716685A (zh) * 2018-07-11 2020-01-21 广东虚拟现实科技有限公司 图像显示方法、图像显示装置及其实体对象
CN110830432A (zh) * 2018-08-08 2020-02-21 维拉斯甘有限公司 提供增强现实的方法和系统
CN110865708A (zh) * 2019-11-14 2020-03-06 杭州网易云音乐科技有限公司 虚拟内容载体的交互方法、介质、装置和计算设备
CN111127669A (zh) * 2019-12-30 2020-05-08 北京恒华伟业科技股份有限公司 一种信息处理方法及装置
CN111553357A (zh) * 2019-12-12 2020-08-18 电子科技大学中山学院 包含滑动图案标识的产品功能耐久性测试自学习方法
CN112653933A (zh) * 2020-12-09 2021-04-13 深圳市创维软件有限公司 基于机顶盒的vr数据显示方法、装置、系统及存储介质
CN112905084A (zh) * 2020-12-30 2021-06-04 广州市德晟光电科技股份有限公司 一种书本画面的投影互动方法、设备及存储介质
CN113362662A (zh) * 2021-06-30 2021-09-07 重庆五洲世纪文化传媒有限公司 一种基于ar的幼教系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060241812A1 (en) * 2005-04-25 2006-10-26 Lg Electronics Inc. Robot system capable of specifying moving area
CN101154110A (zh) * 2006-09-29 2008-04-02 三星电子株式会社 基于真实空间的图像来控制移动装置的方法、设备和介质
CN101923791A (zh) * 2010-05-31 2010-12-22 华中师范大学 一种利用增强现实技术与平面读物相结合的汉字学习方法
US20120075341A1 (en) * 2010-09-23 2012-03-29 Nokia Corporation Methods, apparatuses and computer program products for grouping content in augmented reality
CN102455864A (zh) * 2010-10-25 2012-05-16 Lg电子株式会社 信息处理装置及其方法
CN103217910A (zh) * 2012-01-18 2013-07-24 苏州宝时得电动工具有限公司 机器人及其控制系统
CN103310099A (zh) * 2013-05-30 2013-09-18 佛山电视台南海分台 一种利用图像捕获和识别技术实现增强现实的方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060241812A1 (en) * 2005-04-25 2006-10-26 Lg Electronics Inc. Robot system capable of specifying moving area
CN101154110A (zh) * 2006-09-29 2008-04-02 三星电子株式会社 基于真实空间的图像来控制移动装置的方法、设备和介质
CN101923791A (zh) * 2010-05-31 2010-12-22 华中师范大学 一种利用增强现实技术与平面读物相结合的汉字学习方法
US20120075341A1 (en) * 2010-09-23 2012-03-29 Nokia Corporation Methods, apparatuses and computer program products for grouping content in augmented reality
CN102455864A (zh) * 2010-10-25 2012-05-16 Lg电子株式会社 信息处理装置及其方法
CN103217910A (zh) * 2012-01-18 2013-07-24 苏州宝时得电动工具有限公司 机器人及其控制系统
CN103310099A (zh) * 2013-05-30 2013-09-18 佛山电视台南海分台 一种利用图像捕获和识别技术实现增强现实的方法和系统

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850582B (zh) * 2015-04-13 2017-11-07 西安教育文化数码有限责任公司 一种索引式增强现实系统
CN104850582A (zh) * 2015-04-13 2015-08-19 西安教育文化数码有限责任公司 一种索引式增强现实系统
CN104834680A (zh) * 2015-04-13 2015-08-12 西安教育文化数码有限责任公司 一种索引式增强现实方法
CN104992205A (zh) * 2015-06-04 2015-10-21 西安教育文化数码有限责任公司 Ar图书及基于ar图书的索引式增强现实系统和方法
CN105022487A (zh) * 2015-07-20 2015-11-04 北京易讯理想科技有限公司 基于增强现实的阅读方法及装置
CN108136257A (zh) * 2015-08-17 2018-06-08 乐高公司 创建虚拟游戏环境的方法和采用该方法的互动游戏系统
CN105513444A (zh) * 2015-10-10 2016-04-20 尚学博志(上海)教育科技有限公司 增强电子教材阅读内容的方法及其系统
CN105760106B (zh) * 2016-03-08 2019-01-15 网易(杭州)网络有限公司 一种智能家居设备交互方法和装置
CN105760106A (zh) * 2016-03-08 2016-07-13 网易(杭州)网络有限公司 一种智能家居设备交互方法和装置
CN107767355A (zh) * 2016-08-18 2018-03-06 深圳市劲嘉数媒科技有限公司 图像增强现实的方法和装置
CN106713896B (zh) * 2016-11-30 2019-08-20 世优(北京)科技有限公司 静态图像的多媒体呈现方法、装置和系统
CN108390900A (zh) * 2016-11-30 2018-08-10 上海仙剑文化传媒股份有限公司 Ar图书数据下载管理方法、ar图书数据的智能化管控方法
CN106713896A (zh) * 2016-11-30 2017-05-24 世优(北京)科技有限公司 静态图像的多媒体呈现方法、装置和系统
CN108366084A (zh) * 2016-11-30 2018-08-03 上海仙剑文化传媒股份有限公司 Ar图书下载管理方法及ar图书数据的智能化管控方法
CN106920079A (zh) * 2016-12-13 2017-07-04 阿里巴巴集团控股有限公司 基于增强现实的虚拟对象分配方法及装置
CN106920079B (zh) * 2016-12-13 2020-06-30 阿里巴巴集团控股有限公司 基于增强现实的虚拟对象分配方法及装置
US10692297B2 (en) 2016-12-13 2020-06-23 Alibaba Group Holding Limited Allocating virtual objects based on augmented reality
US10896551B2 (en) 2016-12-13 2021-01-19 Advanced New Technologies Co., Ltd. Allocating virtual objects based on augmented reality
CN108255822A (zh) * 2016-12-28 2018-07-06 深圳市氧橙互动娱乐有限公司 一种交互式图书阅读方法、装置及系统
CN110178168A (zh) * 2017-01-17 2019-08-27 惠普发展公司,有限责任合伙企业 模拟增强内容
TWI640952B (zh) * 2017-05-15 2018-11-11 國立臺灣師範大學 Virtual object collection method and portable electronic device
CN108932088A (zh) * 2017-05-22 2018-12-04 洪荣昭 虚拟物件收集方法及可携式电子装置
CN108932088B (zh) * 2017-05-22 2020-07-14 洪荣昭 虚拟物件收集方法及可携式电子装置
CN107426508A (zh) * 2017-07-14 2017-12-01 福建铁工机智能机器人有限公司 一种利用ar实现远程安保巡查的方法
CN110309933A (zh) * 2018-03-23 2019-10-08 广州极飞科技有限公司 植株种植数据测量方法、作业路线规划方法及装置、系统
CN108735014A (zh) * 2018-06-04 2018-11-02 聆课教育科技(上海)有限公司 一种多媒体教学设备、系统以及呈现多媒体内容的方法
CN110716685B (zh) * 2018-07-11 2023-07-18 广东虚拟现实科技有限公司 图像显示方法,图像显示装置、系统及其实体对象
CN110716685A (zh) * 2018-07-11 2020-01-21 广东虚拟现实科技有限公司 图像显示方法、图像显示装置及其实体对象
CN110830432A (zh) * 2018-08-08 2020-02-21 维拉斯甘有限公司 提供增强现实的方法和系统
CN109215416A (zh) * 2018-10-24 2019-01-15 天津工业大学 一种基于增强现实技术的汉字辅助学习系统及方法
CN110688003A (zh) * 2019-09-09 2020-01-14 华南师范大学 基于增强现实的电子绘本系统、显示方法、装置和介质
CN110865708A (zh) * 2019-11-14 2020-03-06 杭州网易云音乐科技有限公司 虚拟内容载体的交互方法、介质、装置和计算设备
CN110865708B (zh) * 2019-11-14 2024-03-15 杭州网易云音乐科技有限公司 虚拟内容载体的交互方法、介质、装置和计算设备
CN111553357A (zh) * 2019-12-12 2020-08-18 电子科技大学中山学院 包含滑动图案标识的产品功能耐久性测试自学习方法
CN111553357B (zh) * 2019-12-12 2020-11-24 电子科技大学中山学院 包含滑动图案标识的产品功能耐久性测试自学习方法
CN111127669A (zh) * 2019-12-30 2020-05-08 北京恒华伟业科技股份有限公司 一种信息处理方法及装置
CN112653933A (zh) * 2020-12-09 2021-04-13 深圳市创维软件有限公司 基于机顶盒的vr数据显示方法、装置、系统及存储介质
CN112905084A (zh) * 2020-12-30 2021-06-04 广州市德晟光电科技股份有限公司 一种书本画面的投影互动方法、设备及存储介质
CN113362662A (zh) * 2021-06-30 2021-09-07 重庆五洲世纪文化传媒有限公司 一种基于ar的幼教系统

Also Published As

Publication number Publication date
CN104461318B (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
CN104461318A (zh) 基于增强现实技术的点读方法及系统
US11810258B2 (en) Marker-based augmented reality authoring tools
US9501140B2 (en) Method and apparatus for developing and playing natural user interface applications
US20160041981A1 (en) Enhanced cascaded object-related content provision system and method
CN106128196A (zh) 基于增强现实和虚拟现实的网络在线教育系统及其实现方法
CN107735746A (zh) 交互式媒体系统和方法
CN103384311B (zh) 互动视频批量自动生成方法
US11175795B2 (en) Method for dynamically displaying digital content, graphical user interface and system thereof
CN112684893A (zh) 信息展示方法、装置、电子设备及存储介质
Chen et al. Research on augmented reality system for childhood education reading
Hsu Interactive e-billboard combined with guide system: Using Kinect
TWM497315U (zh) 一種具感知觸動功能之擴增實境標籤及其裝置
Sinclair Integrating hypermedia techniques with augmented reality environments
Rahman et al. Mobile PointMe-based spatial haptic interaction with annotated media for learning purposes
US20230334792A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20230334790A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20240185546A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
US20230334791A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
Luo et al. Research on the Utilization of Cloud Anchors in 5G Mobile Networks for Interactive Augmented Reality Display and Sculptural Art
Burnett Designing digital and physical interactions for the Digital Public Space
WO2024039887A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2023215637A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2024039885A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
Hornecker et al. Different Interaction Frames
WO2023205145A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant