CN113194329A - 直播互动方法、装置、终端及存储介质 - Google Patents

直播互动方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN113194329A
CN113194329A CN202110507538.1A CN202110507538A CN113194329A CN 113194329 A CN113194329 A CN 113194329A CN 202110507538 A CN202110507538 A CN 202110507538A CN 113194329 A CN113194329 A CN 113194329A
Authority
CN
China
Prior art keywords
interaction
instruction
terminal
live broadcast
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110507538.1A
Other languages
English (en)
Other versions
CN113194329B (zh
Inventor
陈盛福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fanxing Huyu IT Co Ltd
Original Assignee
Guangzhou Fanxing Huyu IT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fanxing Huyu IT Co Ltd filed Critical Guangzhou Fanxing Huyu IT Co Ltd
Priority to CN202110507538.1A priority Critical patent/CN113194329B/zh
Publication of CN113194329A publication Critical patent/CN113194329A/zh
Application granted granted Critical
Publication of CN113194329B publication Critical patent/CN113194329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种直播互动方法、装置、终端及存储介质，涉及直播领域。该方法包括：响应于AR对象设置指令，在直播画面中显示AR对象，直播画面是直播终端通过摄像头采集到的画面；接收AR对象互动指令，AR对象互动指令由直播终端或者观众终端触发；控制AR对象执行AR对象互动指令对应的互动动作。通过本申请提供的直播互动方法，实现了主播终端控制AR对象与观众进行互动，且观众终端也可以控制AR对象进行互动，丰富了在直播过程中的互动方式，提升了直播过程中观众终端的互动参与度。

Description

直播互动方法、装置、终端及存储介质
技术领域
本申请实施例涉及视频直播领域，特别涉及一种直播互动方法、装置、终端及存储介质。
背景技术
直播是通过网络在相同或不同的网络平台观看影片的一种新兴的网络社交方式，网络直播平台也成为了一种崭新的社交媒体，在现场架设独立的信号采集设备(音频+视频)导入直播端(导播设备或平台)，再通过网络上传至服务器，发布至网址供人观看，且直播过程具有独立可控性，能够实现与观看直播的观众进行一定程度的互动等。
相关技术中，当主播通过终端进行直播时，通过直播画面显示的弹幕信息实现与观众终端的互动，或者与观众进行连麦和接收观众赠送的虚拟礼物达到互动的效果。
然而，相关技术中，观众在观看直播过程中与主播的互动方式比较单一，且互动的程度较低。
发明内容
本申请实施例提供了一种直播互动方法、装置、终端及存储介质。所述技术方案如下：
一方面，本申请实施例提供了一种直播互动方法，所述方法包括：
响应于AR对象设置指令，在直播画面中显示AR对象，所述直播画面是直播终端通过摄像头采集到的画面；
接收AR对象互动指令，所述AR对象互动指令由所述直播终端或者观众终端触发；
控制所述AR对象执行所述AR对象互动指令对应的互动动作。
另一方面，本申请实施例提供了一种直播互动装置，所述装置包括：
显示模块，用于响应于AR对象设置指令，在直播画面中显示AR对象，所述直播画面是直播终端通过摄像头采集到的画面；
互动指令接收模块，用于接收AR对象互动指令，所述AR对象互动指令由所述直播终端或者观众终端触发；
互动模块，用于控制所述AR对象执行所述AR对象互动指令对应的互动动作。
另一方面，本申请实施例提供了一种终端，所述终端包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现上述方面所述的直播互动方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如上述方面所述的直播互动方法。
另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的直播互动方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
本申请实施例提供的方法，通过AR对象设置指令在直播端采集的画面中显示AR对象，当接收到直播终端或观众终端发送的AR对象互动指令后，基于AR对象互动指令控制AR对象执行对应的互动动作；采用本申请实施例提供的方案，实现了主播终端控制AR对象与观众进行互动，且观众终端也可以控制AR对象进行互动，丰富了在直播过程中的互动方式，提升了直播过程中观众终端的互动参与度。
附图说明
图1示出了本申请一个示例性实施例提供的直播互动方法实施过程的界面示意图；
图2是本申请一个示例性实施例提供的计算机系统的结构框图；
图3是本申请一个示例性实施例提供的直播互动方法的流程图；
图4是本申请一个示例性实施例提供的显示放置对象的示意图；
图5是本申请一个示例性实施例提供的观众终端赠送虚拟礼物的示意图；
图6是本申请另一个示例性实施例提供的直播互动方法的流程图；
图7是本申请一个示例性实施例提供的基于3D物体的深度信息渲染AR对象的示意图；
图8是本申请另一个示例性实施例提供的直播互动方法的流程图；
图9是本申请一个示例性实施例提供的基于互动动作确定点云移动量的示意图；
图10是本申请一个示例性实施例提供的基于3D物体深度信息和点云移动量执行互动动作的示意图；
图11是本申请另一个示例性实施例提供的直播互动方法的流程图；
图12是本申请另一个示例性实施例提供的直播互动方法的流程图；
图13是本申请一个示例性实施例提供的观众终端选择目标互动动作的示意图；
图14是本申请一个示例性实施例提供的AR对象模仿用户行为执行目标互动动作的示意图；
图15是本申请另一个示例性实施例提供的直播互动方法的流程图；
图16是本申请一个示例性实施例提供的AR对象在互动对象位置执行目标互动动作的示意图；
图17示出了本申请一个示例性实施例提供的直播互动方法的流程图；
图18示出了本申请一个实施例提供的定制AR对象的界面示意图；
图19示出了本申请一个实施例提供的直播互动装置的结构框图；
图20示出了本申请一个示例性实施例提供的终端的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步的详细描述。
为了方便理解，下面对本申请实施例中涉及的名词进行说明：
增强现实(Augmented Reality，AR)：AR技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
3D：3D(three dimensional)就是三维图形，在计算机里显示3D图形就是在平面里显示三维图形。与现实世界不同，真实的三维空间具有真实的距离空间。计算机里显示的图像只是看起来很像真实世界，因此在计算机显示的3D图形，就是让人眼看上就像真实世界一样。由于肉眼观测图像时具有近小远大的特性，因此就会形成立体感。计算机屏幕是平面二维的，而肉眼之所以能欣赏到真如实物般的三维图像，是因为显示在计算机屏幕上时色彩灰度的不同而使肉眼产生视觉上的错觉，而将二维的计算机屏幕感知为三维图像。基于色彩学的有关知识，三维物体边缘的凸出部分一般显高亮度色，而凹下去的部分由于受光线的遮挡而显暗色。这一认识被广泛应用于网页或其他应用中对按钮、3D线条的绘制。比如要绘制的3D文字，即在原始位置显示高亮度颜色，而在左下或右上等位置用低亮度颜色勾勒出其轮廓，这样在视觉上便会产生3D文字的效果。具体实现时，可用完全一样的字体在不同的位置分别绘制两个不同颜色的2D文字，只要使两个文字的坐标合适，就完全可以在视觉上产生出不同效果的3D文字。
相关技术中，当主播使用主播终端进行网络直播时，观众终端只能通过发送弹幕或赠送虚拟礼物的方式实现与主播终端形成互动，其互动方式比较单一，且互动的程度较低，无法充分激发观众和粉丝观看直播的兴趣。
而本申请实施例中，主播终端基于接收到观众终端发送的AR对象互动指令，从而触发AR对象执行相应的互动动作，实现了观众终端与AR对象的互动，提升了观众在直播过程的参与度。
图1示出了本申请一个实施例提供的直播互动方法实施过程的界面示意图。主播终端110中登录有主播帐号，并通过直播应用程序进行网络直播，主播在进行直播过程中，通过摄像头采集直播环境图像，当主播终端110选定AR宠物111后，将AR宠物111放置于在直播画面中显示的物体上，可以是直播画面中的地板、桌子、柜子和床等物体。主播终端110可以随时通过输入指令控制AR宠物111向观众终端120展示互动动作。
观众终端120登录对应的观众帐号并通过直播间观看网络直播，当观众终端120需要与主播终端110放置于直播间的AR宠物进行互动时，通过向主播终端110转移虚拟资源(如向主播赠送虚拟礼物)的方式获得互动的机会，当主播终端110接收到观众终端120发送的AR对象互动指令后，控制AR宠物111执行相应的互动动作，实现观众终端120与AR宠物111之间的互动。
图2示出了本申请一个示例性实施例提供的计算机系统的结构框图。该计算机系统200包括：主播终端210、服务器220和观众终端230。
主播终端210安装和运行有直播应用程序，该直播应用程序具有AR直播功能，即能够在采集到的直播画面中添加AR对象并控制AR对象执行相应的动作。该应用程序可以是游戏类直播应用程序、综合类直播应用程序、聊天类直播应用程序、美食类直播应用程序和购物类直播应用程序中的任意一种。主播终端210是主播使用的终端，且登录相应的直播应用程序在直播间内进行直播，主播通过使用主播终端210进行网络直播，且通过使用AR直播功能在直播间内放置AR对象并做出互动动作实现与观众终端230之间的互动，该互动动作包括但不限于：改变AR对象的身体姿态、行走、奔跑、跳跃、卖萌、模仿动作中的至少一种。示意性的，主播通过输入语音指令控制AR对象在房间散步或跳跃等动作，控制AR对象(可以是AR宠物或AR人物)模仿自身的肢体动作进行互动等。
主播终端210通过无线网络或有线网络与服务器220相连。
服务器220包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。服务器220为主播终端210和观众终端230中的直播应用程序提供后台服务。例如，服务器220可以是上述所说的应用程序的后台服务器。本申请实施例中，服务器220可以接收来自主播终端210发送的视频直播流，并将视频直播流推送至观看直播的观众终端230；可选的，服务器220还用于接收观众终端230发送的弹幕信息及转移的虚拟资源，并将融合的视频直播流推送至主播终端210和观众终端230。此外，服务器220还可以接收观众终端230与主播终端210的连麦请求，实现主播终端210与观众终端230的连麦互动。
观众终端230通过无线网络或有线网络与服务器220相连。
观众终端230安装和运行有直播应用程序，该应用程序可以是游戏类直播应用程序、综合类直播应用程序、聊天类直播应用程序、美食类直播应用程序和购物类直播应用程序中的任意一种。观众终端230是观看直播的观众使用的终端，且安装有相应的直播应用程序，并进入主播直播间内观看直播，观众终端230通过向主播终端210转移虚拟资源(如向主播赠送虚拟礼物)获得与AR对象互动的机会，通过发送AR对象互动指令控制AR对象执行相应的互动动作，该互动动作包括但不限于：改变AR对象身体姿态、行走、奔跑、跳跃、卖萌、模仿动作中的至少一种。示意性的，观众终端230对主播终端210刷礼物后，触发AR对象(可以是AR宠物或AR人物)在房间内转圈，控制AR对象跟随自身的肢体动作出互动动作等。
可选地，主播终端210和观众终端230上安装的直播应用程序是相同的，或两个终端上安装的直播应用程序是不同控制系统平台的同一类型直播应用程序。主播终端210是由主播控制的唯一终端，观众终端230可以泛指多个终端中的一个，本实施例仅以主播终端210和观众终端230来举例说明。主播终端210和观众终端230的设备类型相同或不同，该设备类型包括：智能手机、平板电脑、智能电视、便携计算机和台式计算机中的至少一种。以下实施例以终端包括智能手机来举例说明。
本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量。本申请实施例对终端的数量和设备类型不加以限定。
图3是本申请一个示例性实施例提供的直播互动方法的流程图，本实施例以该方法用于图2所示的主播终端为例进行说明。该方法包括：
步骤301，响应于AR对象设置指令，在直播画面中显示AR对象，直播画面是直播终端通过摄像头采集到的画面。
当主播需要在直播画面显示AR对象时，通过在用户界面调出AR对象选择栏，从AR对象选择列表中选择需要显示的AR对象，AR对象选择列表中至少包含有一个AR对象，可选的，该AR对象可以是虚拟宠物、虚拟人物、虚拟挂件等。本实施例以在直播画面显示虚拟宠物为例进行说明。
AR对象选择列表中的AR对象以缩略图的形式显示，可选的，缩略图可以显示静态图标或动态图标。此外，缩略图可以是普通二维图片显示或3D图片显示，本实施例不对缩略图的具体形式进行限定。
在一种可能的实施方式中，当主播需要在直播画面中显示AR对象时，通过手指滑屏的方式从调出AR对象选择列表，AR对象选择列表中的AR对象以3D缩略图的形式显示，当用手指点击AR对象的3D缩略图时，选中的3D缩略图以动态形式显示，该动态显示内容可以是AR对象可以执行的一个互动动作，便于主播更好地做出选择。
选中的AR对象在直播画面中是以3D图像的形式显示的虚拟物体，为了使选中的AR对象与真实世界的物体进行巧妙融合，需要通过摄像头采集直播图像并获取图像中包含的放置对象，放置对象用于放置选定的AR对象。例如，当主播终端接收到AR对象设置指令时，将选中的AR对象显示在选中的地板上或桌子上并对画面进行渲染和融合，使之在直播画面上呈现的更为真实。
如图4所示，在一种可能的实施方式中，当主播确定AR对象时，主播终端400通过摄像头采集主播终端400所处环境内的环境图像，并基于物体识别算法识别出环境图像中包含的放置对象，并将识别结果以文字的形式显示在放置对象的位置，如，主播终端选择的AR对象是AR宠物410时，提示主播根据显示的文字确定将AR宠物410放在具体的放置对象上，当主播终端接收到AR对象设置指令时，将AR宠物410显示在直播画面中相应的位置。
步骤302，接收AR对象互动指令，AR对象互动指令由直播终端或者观众终端触发。
观众通过使用观众终端观看直播，当观众需要与直播显示画面中显示的AR对象进行互动时，通过向主播终端发送AR对象互动指令触发AR对象执行互动动作，其中，AR对象互动指令中包含有观众终端需要AR对象执行的互动动作。
同样的，主播终端也可以接收自身触发的AR对象互动指令，即主播在进行直播过程中触发AR对象互动指令，控制AR对象执行相应的互动动作。
在一种可能的实施方式中，观众终端可以通过向主播终端赠送虚拟礼物的方式触发AR对象互动指令。如图5所示，观众通过观众终端500观看网络直播，直播画面中显示有AR对象510，当观众终端500需要与AR对象产生互动时，通过向主播终端赠送虚拟礼物，如赠送“火箭”或“宠物粮食”等虚拟礼物，当赠送完虚拟礼物后即可向主播终端发送AR对象互动指令。
步骤303，控制AR对象执行AR对象互动指令对应的互动动作。
当主播终端接收到观众终端或自身触发的AR对象互动对象指令后，获取AR对象互动指令中包含互动动作，并控制AR对象执行相应的互动动作，如主播终端选择的AR对象是AR小狗，接收到的AR对象互动指令中包含的互动动作是“宠物小狗摇尾巴”，则控制直播显示画面中的AR小狗从地板上站立并摇尾巴。
综上所述，本申请实施例中，通过AR对象设置指令在直播端采集的画面中显示AR对象，当接收到直播终端或观众终端发送的AR对象互动指令后，基于AR对象互动指令控制AR对象执行对应的互动动作；采用本申请实施例提供的方案，实现了主播终端控制AR对象与观众进行互动，且观众终端也可以控制AR对象进行互动，丰富了在直播过程中的互动方式，提升了直播过程中观众终端的互动参与度。
图6是本申请另一个示例性实施例提供的直播互动方法的流程图，本实施例以该方法用于图2所示的主播终端为例进行说明。该方法包括以下步骤。
步骤601，响应于AR对象设置指令，在直播画面中显示AR对象，直播画面是直播终端通过摄像头采集到的画面。
本步骤的实施方式可以参考步骤301，本实施例在此不做赘述。
步骤602，接收AR对象互动指令，AR对象互动指令由观众终端或主播终端触发。
本步骤的实施方式可以参考步骤302，本实施例在此不做赘述。
步骤603，识别直播环境中的3D物体。
由于AR对象是根据采集到的环境图像放置在直播画面中的虚拟物体，为了在直播过程中提高AR对象在执行互动动作时渲染图像的真实性，可以通过识别直播画面中包含的3D物体，根据3D物体和AR对象的位置关系渲染出较为真实的直播画面。其中，3D物体是直播过程中通过摄像头采集到直播环境中的物体，如主播在家中开启直播，直播画面中可能包含的3D物体可以是房间内的桌子、床、家具等物体。由于AR对象执行互动动作时可能会与直播画面中的3D物体出现触遮挡的情况。如直播画面中的AR宠物从地板上的一个位置移动到另一个位置，但在AR宠物移动路径的前方有一个桌子或其他物体遮挡住AR宠物的渲染画面，为了AR宠物的显示画面与直播环境的画面更加真实，需要根据桌子的特性渲染出AR宠物经过桌子到身体被桌子遮挡，到身体完全被桌子遮挡，再到AR宠物穿过桌子后方出现的画面。因此，在控制AR对象执行互动动作前，需要根据摄像头采集的直播画面，识别直播环境中的3D物体，并根据3D物体和AR对象的位置信息渲染出更为真实的画面。在一种可能的实施方式中，可以通过3D物体识别算法识别直播画面中包含的3D物体。
步骤604，基于各个3D物体的深度信息，控制AR对象在直播环境中执行AR对象互动指令对应的互动动作。
由于摄像头采集到的直播画面只能显示出直播环境中包含的各种3D物体，但要实现AR宠物通过3D物体执行丰富的互动动作，并将AR对象与3D物体进行渲染时，还需要获取各种3D物体的深度信息，即确定出直播画面中各种3D物体与AR对象的空间位置信息与距离信息等，便于计算出AR对象向3D物体移动或穿过3D物体时的距离和时间。例如，确定出直播画面中AR宠物到桌子之间的距离，通过给AR宠物设置的行走路线和行走速度，计算出AR宠物执行互动动作的时间，并在画面中渲染出AR宠物走向桌子并穿过桌子的动作画面。
如图7所示，AR宠物710是在直播画面中渲染的虚拟图像，桌子720是通过摄像头采集并显示在直播画面中的3D物体，当AR宠物710执行互动动作时的移动路径需要从桌子720后方经过时，由于桌子720是显示在AR宠物的前方物体，因此，在渲染AR宠物710的图像时，显示的是未被桌子720遮挡住的部分(图中AR宠物的头部部分露出，其他部位被桌子遮挡)，并且随着AR宠物710的移动，实时改变直播画面中显示的AR宠物710的身体，当AR宠物710完全从桌子720后方穿过时，重新在直播画面中渲染出AR宠物710的全部身体。
在另一种可能的实施方式中，当AR宠物的移动路径在桌子前方或从桌子下方钻过时，则对应渲染出AR宠物遮挡桌子或在桌子下方移动的显示画面。当AR宠物的移动路径刚好经过桌子时，还可以渲染出AR宠物直接穿过桌子或绕过桌子的显示画面。
在一种可能的实施方式中，可以通过双目立体视觉的方法确定直播画面中3D物体的深度信息，即通过两颗摄像头同时获取同一直播环境中的两幅环境图像，根据立体匹配算法找到两幅图像中对应同一3D物体的像素点，随后根据三角原理计算出时差信息，而视差信息通过转换可用于表征场景中3D物体的深度信息。基于立体匹配算法，还可通过拍摄同一直播环境下不同角度的一组图像来获得该场景的深度图像。除此之外，深度信息还可以通过对采集到图像的光度特征和明暗特征等特征进行分析间接估算得到。
当确定出各种3D物体的深度信息后，即可基于各种3D物体的深度信息，控制AR对象在直播环境中执行AR对象互动指令对应的互动动作。
为了直播画面中显示的AR宠物能够做出更加丰富和真实的互动动作，可以通过点云构建并渲染出AR对象，所谓点云是指目标物体表面特性的海量点集合，即AR对象是由海量的点集合组成的虚拟图像。因此，直播画面中显示的AR对象和直播互动动作是基于大量的点云渲染形成，并通过控制点云的位置变化来改变AR对象的形态和动作等。当主播终端接收到AR对象互动指令后，基于具体的互动动作，确定出需要控制点云的变化路径，进而实现对AR对象的控制。因此，如图8所示，步骤604还包括如下步骤。
步骤604A，确定AR对象执行AR对象互动指令对应的互动动作时点云的点云移动量，点云用于控制AR对象移动。
当主播终端接收到AR对象互动指令后，获取AR对象当前点云的坐标信息和需要执行的互动动作对应的点云的坐标信息，并计算出需要执行互动动作时点云的点云移动量。
示意性的，如图9所示，当主播终端接收到AR对象互动指令后，获取当前时刻直播画面中的AR宠物的点云构成及点云的坐标信息，并根据需要执行的互动动作计算出对应的点云构成及相应坐标信息(为了提高辨识度，图中仅示出了构成AR宠物轮廓的点云)。如图中所示，当前时刻AR宠物的手臂处于展开状态，互动动作所指示AR宠物做出合拢手臂的动作，且AR宠物的表情和形态也发生相应变化。从图中可知，互动动作对应点云的前后位置发生改变，因此，在执行互动动作时，需要通过执行互动动作前后两次点云进行比对，计算出各个点云的点云移动量，进而通过改变点云的坐标位置来控制AR宠物执行相应的互动动作。
步骤604B，基于各个3D物体的深度信息以及点云移动量，控制AR对象在直播环境中执行AR对象互动指令对应的互动动作。
当主播终端计算出AR对象的点云移动量后，即可根据3D物体的深度信息以及点云移动量，控制AR对象在直播环境中执行AR对象互动指令对应的互动动作。当互动动作指示AR对象执行连续的动作时，通过实时计算AR对象的位置信息及点云的坐标信息，并计算3D物体与AR对象之间的距离信息和坐标位置变化信息，不断改变点云的坐标位置，进而实现控制AR对象在直播画面中做出丰富的互动动作，并与主播或观众形成互动。
如图10所示，当主播终端确定出3D物体1010和对应的空间位置坐标后，基于3D物体1010的形状确定出对应的点云构成，并计算出AR宠物1020距离3D物体1010的距离。例如计算出AR宠物1020与3D物体1010之间的距离是2米，则根据互动动作所指示的移动路径控制AD宠物按照移动路径移动，且移动过程中根据点云的点云移动量实时改变AR宠物1020的形态和动作，直至AR宠物1020移动到3D物体1010后方，此时渲染出AR宠物1020被3D物体1010遮挡的画面，直至AR宠物1020完全穿过3D物体1010，并在指定位置做出合拢手臂的动作，向观众或主播展示互动动作。
本申请实施例中，当主播终端进行直播时，通过识别直播画面中的3D物体，并确定出3D物体深度信息及构成AR对象的点云的位置坐标，以便于接收到AR对象互动指令后，基于互动动作确定出执行动作时点云的点云移动量，进而渲染出AR对象在执行互动动作时与3D物体之间的变换显示画面，以使AR对象展示出更加丰富和真实的互动动作。
在一种可能的应用场景下，当主播终端接收到观众终端发送的AR互动指令后，还需要获取AR对象互动指令中包含的互动数据，根据互动数据确定出目标互动动作，进而控制AR对象执行相应的目标互动动作。
图11是本申请另一个示例性实施例提供的直播互动方法的流程图，本实施例以该方法用于图2所示的主播终端为例进行说明。该方法包括以下步骤。
步骤1101，响应于AR对象设置指令，在直播画面中显示AR对象，直播画面是直播终端通过摄像头采集到的画面。
本步骤的实施方式可以参考步骤301，本实施例在此不做赘述。
步骤1102，接收AR对象互动指令，AR对象互动指令由观众终端触发。
本步骤的实施方式可以参考步骤302，本实施例在此不做赘述。
步骤1103，基于AR对象互动指令中包含的互动数据，确定目标互动动作，互动数据是观众终端接收到虚拟资源转移指令时获取到的数据，虚拟资源转移指令用于触发观众帐号向直播帐号转移虚拟资源。
在一种可能的实施方式中，当主播终端接收到观众终端转移的虚拟资源后，根据虚拟资源转移量的多少确定虚拟资源达到的等级，进而根据等级的高低触发AR对象执行相应的互动动作。其中，虚拟资源的等级与AR对象执行的互动动作呈正相关，即转移虚拟资源达到的等级越高，AR对象可以执行的互动动作就越丰富。比如，观众终端向主播终端赠送“火箭”，当主播终端接收到赠送的“火箭”后，根据赠送的数量计算出虚拟金额，基于虚拟金额的数量触发AR对象执行相应的互动动作，如“摇尾巴”动作。因此，如图12所示，步骤1103还可以包括以下步骤。
步骤1103A，获取AR对象互动指令中包含的虚拟资源转移量数据。
当观众需要和AR对象产生互动时，通过向主播终端转移虚拟资源，进而获得与AR对象互动的机会，如图5所示，虚拟资源是观众终端赠送主播终端的虚拟礼物，虚拟礼物可以是一朵鲜花或投喂给虚拟宠物的宠物粮食等，且每个虚拟礼物都具有相应的虚拟金额，当观众终端接收到虚拟资源转移指令时，触发观众帐号向直播帐号转移虚拟资源。
进一步地，主播终端接收到AR对象指令后，获取AR对象指令中包含的虚拟资源转移量数据，且在直播画面中显示虚拟资源对应的动画，如观众终端赠送的虚拟礼物是火箭，则在直播显示画面中显示火箭发射的虚拟动画。
步骤1103B，基于虚拟资源转移量数据确定目标互动动作，其中，不同虚拟资源转移量对应不同互动动作。
当主播终端接收到虚拟资源转移量数据后，确定虚拟资源转移量达到的等级，根据达到的等级确定目标互动动作。即不同的虚拟资源转移量对应有不同互动动作。
在一种可能的实施方式中，主播终端接收虚拟资源转移量的等级与AR对象执行的互动动作呈正相关，即虚拟资源转移量达到的等级越高，触发AR对象执行的目标互动动作就越丰富，或触发AR对象执行的互动动作就越多。
示意性的，虚拟资源转移量的等级与目标互动动作之间的如表一所示。
表一
Figure BDA0003059024660000121
Figure BDA0003059024660000131
如表一所示，主播终端根据接收到观众终端的虚拟资源转移量的等级确定相应的目标互动动作，如接收到观众终端的虚拟资源转移量为30虚拟币时，即确定目标互动动作为“小狗跳到床上”。
可选地，目标互动动作还可由观众自己决定，当观众终端转移虚拟资源后，通过点击用户界面的互动控件显示互动选项列表，根据列表内容触发AR对象做出相应的目标互动动作，如图13所示，在观众终端1300的用户界面的边缘设置有互动控件1310，当观众点击互动控件1310后，在用户界面的边缘显示互动选项列表1220，互动选项列表1320中显示有观众可以触发的互动动作选项，其中，互动动作选项的数量可由虚拟资源转移量决定，即观众帐号向主播帐号转移虚拟资源越多，在互动选项列表1320中显示的互动动作选项也就越多。
在另一种可能的实施方式中，当观众帐号向直播帐号转移虚拟资源后，通过在观众终端的用户界面显示提示信息，提示信息用于提示观众终端侧的用户通过点击屏幕操作与AR对象进行互动，此时，步骤1103还可以包括以下步骤。
步骤1103C，获取AR对象互动指令中包含的互动手势数据，互动手势数据用于表征对AR对象的互动手势操作。
当观众终端向主播终端转移虚拟资源后，即获得与AR对象进行互动的机会，可选的，可以在观众终端显示的直播画面中弹出互动提示，提示观众可以通过点击直播画面中的AR对象并进行互动。进行虚拟资源转移的观众通过点击屏幕或滑动屏幕的方式控制AR对象做出互动动作，例如，观众终端侧的用户点击AR对象实现抚摸AR对象，或手动拖动AR对象并进行移动，实现控制AR对象按照拖动轨迹在直播画面中跑动。
在一种可能的实施方式中，AR对象为虚拟小狗时，通过点击或滑动直播画面中的虚拟小狗的互动手势操作，用于指示抚摸小狗或遛狗的互动动作。
进一步地，当主播终端接收到AR对象互动指令后，获取AR对象互动指令中包含的互动手势数据，手势互动数据用于表征观众控制AR对象的互动手势操作。
步骤1103D，基于互动手势数据所表征的互动手势操作确定目标互动动作，其中，不同互动手势操作对应不同互动动作。
主播终端基于手势互动数据确定观众控制AR对象的互动手势操作，并确定AR对象需要执行的目标互动动作，手势互动操作的具体内容由观众的滑动操作和直播画面显示的内容决定，如观众点击直播画面中的AR对象，指示抚摸AR对象，相应的，目标互动动作即为坐下或躺下等动作。
在另一种可能的实施方式中，为了更好地实现观众终端与AR对象之间的互动，观众终端可以通过摄像头采集观众终端侧的用户面部表情和/或肢体动作控制AR对象进行模仿，以增加观众终端的直播参与感。因此，步骤1103还可以包括以下步骤。
步骤1103E，基于接收到AR对象互动指令，获取AR对象互动指令中包含的互动行为数据，互动行为数据用于表征观众终端侧的用户行为，且用户行为由观众终端通过摄像头采集得到。
当观众终端向主播终端转移虚拟资源后，观众终端自动开启摄像头采集观众终端侧的用户行为，观众通过做出各种动作控制AR对象模仿互动行为，该互动行为可以为肢体行为、表情行为等等。观众终端对摄像头采集来的画面进行人像识别，识别画面中包含的观众的面部表情和/或肢体动作并将相应的互动行为数据发送至主播终端。
进一步地，主播终端基于接收到的AR对象互动指令，获取AR对象互动指令中包含的互动行为数据。
步骤1103F，基于互动行为数据，将AR对象模仿用户行为的动作确定为目标互动动作。
主播终端基于互动行为数据将AR对象模仿用户行为的动作确定为目标互动动作，如观众的互动行为是摇头和眨眼动作，则确定AR对象模仿的目标互动动作即为摇头和眨眼动作。
在一种可能的实施方式中，当目标互动动作是模仿观众终端侧用户的人脸表情时，通过使用人脸识别算法采集并识别出直播画面中的人脸图像，并基于图像灰度值确定人脸的宽度、人脸的位置和坐标等关键数据，当用户的面部表情变化时，将变化的数据发送至主播终端，主播终端根据接收到的互动行为数据确定用户的面部表情变化幅度，进而控制AR对象模仿相应的目标互动动作。
当接收到的互动数据是观众终端侧用户的肢体动作时，可以基于人体姿态识别算法识别出人体的关键节点，并根据关键节点的运动方向和加速度等信息确定用户的肢体动作，进而将肢体动作作为互动数据发送至主播终端，主播终端基于接收到的互动数据确定用户做出的具体肢体工作，进而控制AR对象模仿相应的目标互动动作。
以AR对象模仿用户肢体动作为例，如图14所示，当观众终端1410开启摄像头后，用户在摄像头采集范围内做出抬头和抬手的动作，观众终端1410将采集到的互动数据发送至主播终端，进而控制AR对象1411模仿相应的目标互动动作。
步骤1104，控制AR对象执行AR对象互动指令对应的目标互动动作。
当主播终端确定出AR对象需要执行的目标互动动作后，根据目标互动动作所指示的3D物体的深度信息以及AR对象的点云移动量，控制AR对象执行相对应的目标互动动作，具体内容可以参考步骤604，本实施例在此不做赘述。
本申请实施例中，当观众终端需要与AR对象进行直播互动时，通过向主播终端转移虚拟资源的方式获得与AR对象互动的机会，并向主播终端发送AR对象互动指令，进而主播终端基于接收到的AR对象互动指令中包含的互动数据确定目标互动动作。
其中，主播终端可以基于虚拟资源转移量数据的等级确定目标互动动作，进而控制AR对象执行目标互动动作；或，基于观众终端侧的互动手势数据控制AR对象执行目标互动动作，实现观众终端通过滑动屏幕的方式自主选择AR对象的目标互动动作；此外，还可以将观众终端侧的用户的面部表情和/或肢体动作作为目标互动动作，实现AR对象模仿观众终端侧的用户行为的互动效果，采用本申请实施例提供的方案，实现了观众终端与AR对象的互动，提升了直播过程中观众终端的互动参与度。
在一种可能的应用场景下，当主播需要主动控制AR对象与观众之间形成互动时，可通过语音输入或按键控制AR对象执行目标互动动作。
当AR对象互动指令由语音输入触发时，即主播终端通过语音识别算法识别主播输入的语音指令，并根据识别的语义确定目标互动动作，如从采集到的语音数据中识别出关键词“小狗跳舞”，即确定需要AR对象执行跳舞的目标互动动作，进而控制AR小狗在相应的位置跳舞；当AR对象互动指令由互动选项操作触发时，即主播通过点击用户界面的控件显示互动选项列表，在互动选项列表中确定需要触发的目标互动动作，进而控制AR对象执行目标互动动作。
在一种可能的实施方式中，为了在直播显示画面中更好地展示出AR对象的互动动作，当接收到观众终端或主播终端的AR对象互动指令后，根据互动指令中确定互动对象，进而在互动对象上执行相应的互动动作，使之在直播画面上呈现的更为真实，执行更加丰富的目标互动动作。
图15是本申请另一个示例性实施例提供的直播互动方法的流程图，本实施例以该方法用于图2所示的主播终端为例进行说明。该方法包括：
步骤1501，响应于AR对象设置指令，在直播画面中显示AR对象，直播画面是直播终端通过摄像头采集到的画面。
本步骤的实施方式可以参考步骤301，本实施例在此不做赘述。
步骤1502，接收AR对象互动指令，AR对象互动指令由主播终端或者观众终端触发。
本步骤的实施方式可以参考步骤302，本实施例在此不做赘述。
步骤1503，基于AR对象互动指令中包含的互动数据，确定目标互动动作。
本步骤的实施方式可以参考步骤1103，本实施例在此不做赘述。
步骤1504，响应于AR对象互动指令中包含互动对象，对直播画面进行对象识别，得到对象识别结果。
为了在直播显示画面中更好地展示出AR对象的互动动作，主播终端或观众终端还可以指定AR对象在特定位置执行目标互动动作，即控制AR对象在互动对象处执行目标互动动作，如互动对象可以是直播环境中的床、桌子、椅子和主播等，通过控制AR对象在互动对象上做出互动动作。如观众终端通过语音输入或通过点击互动选项来选择需要执行的目标互动动作，进而控制AR对象跳到桌子上或跳到主播身上。当主播终端确定目标互动动作后，提取目标互动动作中包含的互动对象，并通过对摄像头采集到的直播画面进行图像识别，识别直播画面中的互动对象。
步骤1505，响应于对象识别结果指示直播画面中包含互动对象，控制AR对象移动至互动对象在直播画面中的显示位置。
当主播终端识别出直播画面中包含有对应的互动对象时，即确定AR对象可以执行目标互动动作，进而控制AR对象移动至互动对象在直播画面中的显示位置。
如图16所示，在观众终端1610显示有直播画面，AR对象1611躺在地板上，观众通过点击AR对象1611并通过手指滑动至直播画面中显示床的位置，此手势互动操作表示控制AR对象1611从地板上跑到床上，当主播终端1620获取到互动手势数据时，确定互动对象，进而通过图像识别算法识别并确认画面中床的具体位置，当确定出具体位置后，控制AR对象1611跑到床上。
步骤1506，控制AR对象在互动对象处执行AR对象互动指令对应的目标互动动作。
AR对象移动至互动对象在直播画面中的显示位置后，控制AR对象在互动对象处执行AR对象互动指令对应的目标互动动作。
如图16所示，主播终端1620基于接收到的AR对象互动指令，控制AR对象1611移动到互动对象处并执行相应的互动动作。
本申请实施例中，通过识别直播画面中包含的互动对象，进而控制AR对象移动到互动对象的位置执行相应的互动动作，使之在直播画面上呈现的更为真实，同时也丰富了AR对象的互动动作。
在一种可能的实施方式中，为了进一步丰富直播互动的内容和方式，主播在进行直播过程中还可以接收目标终端定制的AR对象，此时主播终端显示的直播画面中可以至少显示两个AR对象，其中，定制AR对象仅用于目标终端发送AR对象互动指令时才会执行相应互动动作。
如图17所示，其示出了本申请一个示例性实施例提供的直播互动方法的流程图。
步骤1701，响应于接收到目标终端定制的AR对象，在直播画面显示定制AR对象。
当目标终端需要定制AR对象并赠送给主播终端时，通过在直播应用程序中的定制链接进入定制界面，在定制界面中输入需要定制的AR对象的属性特征、图片信息、AR对象的展示时长和定制费用等信息，定制完成后，可将定制的AR对象赠送于主播终端。当主播终端在直播过程中接收到目标终端定制的AR对象时，通过在直播画面显示提示信息，提示主播将定制AR对象放置于直播画面的特定位置。此外，主播也可以通过定制界面为自己定制相应的AR对象。
示意性的，如图18所示，目标终端1800通过定制界面输入需要定制的AR对象的属性特征、图片信息、展示时长和定制费用等信息，当目标终端需要将定制的AR对象赠送给主播终端时，通过输入主播的帐号信息或直播间信息，将定制AR对象赠送给主播终端。
步骤1702，响应于接收到AR对象互动指令，确定需要控制的AR对象或定制AR对象，并获取AR对象指令中包含的互动数据，确定目标互动动作。
当主播终端接收到AR对象互动指令时，获取AR对象互动指令中包含的终端帐号，并基于获取到的终端帐号确定发送AR对象互动指令的终端。当确定AR对象互动指令由目标终端发送时，确定需要控制对应的定制AR对象，当AR对象互动指令不是目标终端发送时，确定需要控制主播终端设置的AR对象，并获取AR对象指令中包含的互动数据，确定目标互动动作。
步骤1703，基于获取到的目标互动动作，控制AR对象或定制AR对象执行目标互动动作。
当确定AR对象由目标终端发送时，基于确定的目标互动数据，控制对应的定制AR对象执行目标互动动作，当确定AR对象由其他终端发送时，基于确定的目标互动数据，控制其他AR对象执行目标互动动作。
本申请实施例中，主播终端通过接收目标终端赠送的定制AR对象并放置于直播间内，当接收到AR对象互动指令后，根据AR对象互动指令确定需要执行目标互动动作的AR对象或定制AR对象，实现了目标终端和其他观众终端分别控制对应的定制AR对象和主播终端设置的AR对象，丰富了直播互动的方式。
此外，在另一种可能的实施方式中，定制AR对象还可以设置为当目标终端对应的目标帐号进入直播间时，在直播画面中显示定制的定制AR对象，当目标帐号没有进入直播间时，在直播画面中不显示定制AR对象。
请参考图19，其示出了本申请一个实施例提供的直播互动装置的结构框图。该装置包括：
显示模块1901，用于响应于增强现实AR对象设置指令，在直播画面中显示AR对象，所述直播画面是直播终端通过摄像头采集到的画面；
互动指令接收模块1902，用于接收AR对象互动指令，所述AR对象互动指令由所述直播终端或者观众终端触发；
互动模块1903，用于控制所述AR对象执行所述AR对象互动指令对应的互动动作。
可选的，所述互动模块1903，包括：
识别单元，用于识别直播环境中的3D物体；
执行单元，用于基于各个3D物体的深度信息，控制所述AR对象在所述直播环境中执行所述AR对象互动指令对应的互动动作。
可选的，执行单元，用于：
确定所述AR对象执行所述AR对象互动指令对应的互动动作时点云的点云移动量，所述点云用于控制所述AR对象移动；
基于各个3D物体的所述深度信息以及所述点云移动量，控制所述AR对象在所述直播环境中执行所述AR对象互动指令对应的互动动作。
可选的，所述AR对象互动指令由所述观众终端触发；所述互动模块1903，还包括：
第一确定单元，用于基于所述AR对象互动指令中包含的互动数据，确定目标互动动作，所述互动数据是所述观众终端接收到虚拟资源转移指令时获取到的数据，所述虚拟资源转移指令用于触发观众帐号向直播帐号转移虚拟资源；
第一互动单元，用于控制所述AR对象执行所述目标互动动作。
可选的，第一确定单元，用于：
获取所述AR对象互动指令中包含的虚拟资源转移量数据；
基于所述虚拟资源转移量数据确定所述目标互动动作，其中，不同虚拟资源转移量对应不同互动动作。
可选的，第一确定单元，用于：
获取所述AR对象互动指令中包含的互动手势数据，所述互动手势数据用于表征对所述AR对象的互动手势操作；
基于所述互动手势数据所表征的所述互动手势操作确定所述目标互动动作，其中，不同互动手势操作对应不同互动动作。
可选的，第一确定单元，用于：
获取所述AR对象互动指令中包含的互动行为数据，所述互动行为数据用于表征所述观众终端侧的用户行为，且所述用户行为由所述观众终端通过摄像头采集得到；
基于所述互动行为数据，将所述AR对象模仿所述用户行为的动作确定为所述目标互动动作。
可选的，所述AR对象互动指令由所述主播终端触发，所述AR对象互动指令由所述主播终端触发；所述互动模块1903，还包括：
第二确定单元，用于响应于所述AR对象互动指令由语音触发，通过语义识别确定目标互动动作；或，响应于所述AR对象互动指令由互动选项选择操作触发，确定选中的互动选项所指示的目标互动动作；
第二互动单元，用于控制所述AR对象执行所述目标互动动作。
可选的，所述装置还包括：
识别模块，用于响应于所述AR对象互动指令中包含互动对象，对所述直播画面进行对象识别，得到对象识别结果；
移动模块，用于响应于所述对象识别结果指示所述直播画面中包含所述互动对象，控制所述AR对象移动至所述互动对象在所述直播画面中的显示位置；
互动模块1903，还用于：
控制所述AR对象在所述互动对象处执行所述AR对象互动指令对应的互动动作。
可选的，显示模块1901，还用于：
在所述直播画面中显示有至少两个AR对象，且所述至少两个AR对象中包含目标观众帐号对应的定制AR对象，所述定制AR对象由所述目标观众帐号定制；
所述互动模块1903，还用于：
响应于所述AR对象互动指令由所述目标观众帐号触发，控制所述定制AR对象执行所述AR对象互动指令对应的互动动作。
可选的，所述显示模块1901，还用于：
响应于所述目标观众帐号位于直播间，在所述直播画面中显示所述定制AR对象。
综上所述，本申请实施例中，通过AR对象设置指令在直播端采集的画面中显示AR对象，当接收到直播终端或观众终端发送的AR对象互动指令后，基于AR对象互动指令控制AR对象执行对应的互动动作；采用本申请实施例提供的方案，实现了主播终端控制AR对象与观众进行互动，且观众终端也可以控制AR对象进行互动，丰富了在直播过程中的互动方式，提升了直播过程中观众终端的互动参与度。
图20示出了本申请一个示例性实施例提供的终端的结构框图。该终端2000可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving Picture Experts GroupAudio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture ExpertsGroup Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端2000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端2000包括有：处理器2001和存储器2002。
处理器2001可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器2001可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器2001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器2001可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器2001还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器2002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器2002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器2002中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器2001所执行以实现本申请中方法实施例提供的直播互动方法。
在一些实施例中，终端2000还可选包括有：外围设备接口2003和至少一个外围设备。处理器2001、存储器2002和外围设备接口2003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口2003相连。具体地，外围设备包括：射频电路2004、显示屏2005、摄像头组件2006、音频电路2007、定位组件2008和电源2009中的至少一种。
外围设备接口2003可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器2001和存储器2002。在一些实施例中，处理器2001、存储器2002和外围设备接口2003被集成在同一芯片或电路板上；在一些其他实施例中，处理器2001、存储器2002和外围设备接口2003中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路2004用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路2004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路2004将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路2004包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路2004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路2004还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏2005用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏2005是触摸显示屏时，显示屏2005还具有采集在显示屏2005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器2001进行处理。此时，显示屏2005还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏2005可以为一个，设置在终端2000的前面板；在另一些实施例中，显示屏2005可以为至少两个，分别设置在终端2000的不同表面或呈折叠设计；在另一些实施例中，显示屏2005可以是柔性显示屏，设置在终端2000的弯曲表面上或折叠面上。甚至，显示屏2005还可以设置成非矩形的不规则图形，也即异形屏。显示屏2005可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode，有机发光二极管)等材质制备。
摄像头组件2006用于采集图像或视频。可选地，摄像头组件2006包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件2006还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路2007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器2001进行处理，或者输入至射频电路2004以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端2000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器2001或射频电路2004的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路2007还可以包括耳机插孔。
定位组件2008用于定位终端2000的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件2008可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源2009用于为终端2000中的各个组件进行供电。电源2009可以是交流电、直流电、一次性电池或可充电电池。当电源2009包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端2000还包括有一个或多个传感器2010。该一个或多个传感器2010包括但不限于：加速度传感器2011、陀螺仪传感器2012、压力传感器2013、指纹传感器2014、光学传感器2015以及接近传感器2016。
加速度传感器2011可以检测以终端2000建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器2011可以用于检测重力加速度在三个坐标轴上的分量。处理器2001可以根据加速度传感器2011采集的重力加速度信号，控制显示屏2005以横向视图或纵向视图进行用户界面的显示。加速度传感器2011还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器2012可以检测终端2000的机体方向及转动角度，陀螺仪传感器2012可以与加速度传感器2011协同采集用户对终端2000的3D动作。处理器2001根据陀螺仪传感器2012采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、界面控制以及惯性导航。
压力传感器2013可以设置在终端2000的侧边框和/或显示屏2005的下层。当压力传感器2013设置在终端2000的侧边框时，可以检测用户对终端2000的握持信号，由处理器2001根据压力传感器2013采集的握持信号进行左右手识别或快捷操作。当压力传感器2013设置在显示屏2005的下层时，由处理器2001根据用户对显示屏2005的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器2014用于采集用户的指纹，由处理器2001根据指纹传感器2014采集到的指纹识别用户的身份，或者，由指纹传感器2014根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器2001授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器2014可以被设置在终端2000的正面、背面或侧面。当终端2000上设置有物理按键或厂商Logo时，指纹传感器2014可以与物理按键或厂商Logo集成在一起。
光学传感器2015用于采集环境光强度。在一个实施例中，处理器2001可以根据光学传感器2015采集的环境光强度，控制显示屏2005的显示亮度。具体地，当环境光强度较高时，调高显示屏2005的显示亮度；当环境光强度较低时，调低显示屏2005的显示亮度。在另一个实施例中，处理器2001还可以根据光学传感器2015采集的环境光强度，动态调整摄像头组件1106的拍摄参数。
接近传感器2016，也称距离传感器，通常设置在终端2000的前面板。接近传感器2016用于采集用户与终端2000的正面之间的距离。在一个实施例中，当接近传感器2016检测到用户与终端2000的正面之间的距离逐渐变小时，由处理器2001控制显示屏2005从亮屏状态切换为息屏状态；当接近传感器2016检测到用户与终端2000的正面之间的距离逐渐变大时，由处理器2001控制显示屏2005从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图20中示出的结构并不构成对终端2000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请提供了一种计算机可读存储介质，存储介质中存储有至少一条指令，至少一条指令由处理器加载并执行以实现上述各个方法实施例提供的直播互动方法。
本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。终端的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该终端执行上述实施例中任一的直播互动方法。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种直播互动方法，其特征在于，所述方法包括：
响应于增强现实AR对象设置指令，在直播画面中显示AR对象，所述直播画面是直播终端通过摄像头采集到的画面；
接收AR对象互动指令，所述AR对象互动指令由所述直播终端或者观众终端触发；
控制所述AR对象执行所述AR对象互动指令对应的互动动作。
2.根据权利要求1所述的方法，其特征在于，所述控制所述AR对象执行所述AR对象互动指令对应的互动动作，包括：
识别直播环境中的3D物体；
基于各个3D物体的深度信息，控制所述AR对象在所述直播环境中执行所述AR对象互动指令对应的互动动作。
3.根据权利要求2所述的方法，其特征在于，所述基于各个3D物体的深度信息，控制所述AR对象在所述直播环境中执行所述AR对象互动指令对应的互动动作，包括：
确定所述AR对象执行所述AR对象互动指令对应的互动动作时点云的点云移动量，所述点云用于控制所述AR对象移动；
基于各个3D物体的所述深度信息以及所述点云移动量，控制所述AR对象在所述直播环境中执行所述AR对象互动指令对应的互动动作。
4.根据权利要求1所述的方法，其特征在于，所述AR对象互动指令由所述观众终端触发；
所述控制所述AR对象执行所述AR对象互动指令对应的互动动作，包括：
基于所述AR对象互动指令中包含的互动数据，确定目标互动动作，所述互动数据是所述观众终端接收到虚拟资源转移指令时获取到的数据，所述虚拟资源转移指令用于触发观众帐号向直播帐号转移虚拟资源；
控制所述AR对象执行所述目标互动动作。
5.根据权利要求4所述的方法，其特征在于，所述基于所述AR对象互动指令中包含的互动数据，确定目标互动动作，包括：
获取所述AR对象互动指令中包含的虚拟资源转移量数据；
基于所述虚拟资源转移量数据确定所述目标互动动作，其中，不同虚拟资源转移量对应不同互动动作。
6.根据权利要求4所述的方法，其特征在于，所述基于所述AR对象互动指令中包含的互动数据，确定目标互动动作，包括：
获取所述AR对象互动指令中包含的互动手势数据，所述互动手势数据用于表征对所述AR对象的互动手势操作；
基于所述互动手势数据所表征的所述互动手势操作确定所述目标互动动作，其中，不同互动手势操作对应不同互动动作。
7.根据权利要求4所述的方法，其特征在于，所述基于所述AR对象互动指令中包含的互动数据，确定目标互动动作，包括：
获取所述AR对象互动指令中包含的互动行为数据，所述互动行为数据用于表征所述观众终端侧的用户行为，且所述用户行为由所述观众终端通过摄像头采集得到；
基于所述互动行为数据，将所述AR对象模仿所述用户行为的动作确定为所述目标互动动作。
8.根据权利要求1所述的方法，其特征在于，所述AR对象互动指令由所述主播终端触发；
所述控制所述AR对象执行所述AR对象互动指令对应的互动动作，还包括：
响应于所述AR对象互动指令由语音触发，通过语义识别确定目标互动动作；或，响应于所述AR对象互动指令由互动选项选择操作触发，确定选中的互动选项所指示的目标互动动作；
控制所述AR对象执行所述目标互动动作。
9.根据权利要求1至8任一所述的方法，其特征在于，所述控制所述AR对象执行所述AR对象互动指令对应的互动动作之前，所述方法还包括：
响应于所述AR对象互动指令中包含互动对象，对所述直播画面进行对象识别，得到对象识别结果；
响应于所述对象识别结果指示所述直播画面中包含所述互动对象，控制所述AR对象移动至所述互动对象在所述直播画面中的显示位置；
所述控制所述AR对象执行所述AR对象互动指令对应的互动动作，包括：
控制所述AR对象在所述互动对象处执行所述AR对象互动指令对应的互动动作。
10.根据权利要求1至8任一所述的方法，其特征在于，所述直播画面中显示有至少两个AR对象，且所述至少两个AR对象中包含目标观众帐号对应的定制AR对象，所述定制AR对象由所述目标观众帐号定制；
所述控制所述AR对象执行所述AR对象互动指令对应的互动动作，还包括：
响应于所述AR对象互动指令由所述目标观众帐号触发，控制所述定制AR对象执行所述AR对象互动指令对应的互动动作。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
响应于所述目标观众帐号位于直播间，在所述直播画面中显示所述定制AR对象。
12.一种直播互动装置，其特征在于，所述装置包括：
显示模块，用于响应于AR对象设置指令，在直播画面中显示AR对象，所述直播画面是直播终端通过摄像头采集到的画面；
互动指令接收模块，用于接收AR对象互动指令，所述AR对象互动指令由所述直播终端或者观众终端触发；
互动模块，用于控制所述AR对象执行所述AR对象互动指令对应的互动动作。
13.一种终端，其特征在于，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至11任一所述的直播互动方法。
14.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至11任一所述的直播互动方法。
CN202110507538.1A 2021-05-10 2021-05-10 直播互动方法、装置、终端及存储介质 Active CN113194329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110507538.1A CN113194329B (zh) 2021-05-10 2021-05-10 直播互动方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110507538.1A CN113194329B (zh) 2021-05-10 2021-05-10 直播互动方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN113194329A true CN113194329A (zh) 2021-07-30
CN113194329B CN113194329B (zh) 2023-04-25

Family

ID=76980931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110507538.1A Active CN113194329B (zh) 2021-05-10 2021-05-10 直播互动方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN113194329B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023103603A1 (zh) * 2021-12-10 2023-06-15 腾讯科技（深圳）有限公司 直播互动方法、装置、设备及存储介质
WO2024221332A1 (zh) * 2023-04-27 2024-10-31 苍凌互联网技术(深圳)有限公司 电子设备、直播互动系统、方法、存储介质和程序产品

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US20170372523A1 (en) * 2015-06-23 2017-12-28 Paofit Holdings Pte. Ltd. Systems and Methods for Generating 360 Degree Mixed Reality Environments
CN107750014A (zh) * 2017-09-25 2018-03-02 迈吉客科技（北京）有限公司 一种连麦直播方法和系统
US20180082117A1 (en) * 2016-09-21 2018-03-22 Verizon Patent And Licensing Inc. Foreground identification for virtual objects in an augmented reality environment
US20190108682A1 (en) * 2017-07-28 2019-04-11 Magical Technologies, Llc Systems, Methods and Apparatuses To Create Real World Value And Demand For Virtual Spaces Via An Alternate Reality Environment
CN110019918A (zh) * 2018-08-30 2019-07-16 腾讯科技（深圳）有限公司 虚拟宠物的信息展示方法、装置、设备及存储介质
CN110519611A (zh) * 2019-08-23 2019-11-29 腾讯科技（深圳）有限公司 直播互动方法、装置、电子设备及存储介质
US20190371071A1 (en) * 2018-06-01 2019-12-05 Merge Labs, Inc. Precise placement of and animation creation for virtual objects in an environment using a trackable three-dimensional object
CN110850983A (zh) * 2019-11-13 2020-02-28 腾讯科技（深圳）有限公司 视频直播中的虚拟对象控制方法、装置和存储介质
US20200360816A1 (en) * 2019-05-16 2020-11-19 Microsoft Technology Licensing, Llc Capturing Subject Representation Within an Augmented Reality Environment
CN112148189A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 一种ar场景下的交互方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US20170372523A1 (en) * 2015-06-23 2017-12-28 Paofit Holdings Pte. Ltd. Systems and Methods for Generating 360 Degree Mixed Reality Environments
US20180082117A1 (en) * 2016-09-21 2018-03-22 Verizon Patent And Licensing Inc. Foreground identification for virtual objects in an augmented reality environment
US20190108682A1 (en) * 2017-07-28 2019-04-11 Magical Technologies, Llc Systems, Methods and Apparatuses To Create Real World Value And Demand For Virtual Spaces Via An Alternate Reality Environment
CN107750014A (zh) * 2017-09-25 2018-03-02 迈吉客科技（北京）有限公司 一种连麦直播方法和系统
US20190371071A1 (en) * 2018-06-01 2019-12-05 Merge Labs, Inc. Precise placement of and animation creation for virtual objects in an environment using a trackable three-dimensional object
CN110019918A (zh) * 2018-08-30 2019-07-16 腾讯科技（深圳）有限公司 虚拟宠物的信息展示方法、装置、设备及存储介质
US20200360816A1 (en) * 2019-05-16 2020-11-19 Microsoft Technology Licensing, Llc Capturing Subject Representation Within an Augmented Reality Environment
CN110519611A (zh) * 2019-08-23 2019-11-29 腾讯科技（深圳）有限公司 直播互动方法、装置、电子设备及存储介质
CN110850983A (zh) * 2019-11-13 2020-02-28 腾讯科技（深圳）有限公司 视频直播中的虚拟对象控制方法、装置和存储介质
CN112148189A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 一种ar场景下的交互方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023103603A1 (zh) * 2021-12-10 2023-06-15 腾讯科技（深圳）有限公司 直播互动方法、装置、设备及存储介质
WO2024221332A1 (zh) * 2023-04-27 2024-10-31 苍凌互联网技术(深圳)有限公司 电子设备、直播互动系统、方法、存储介质和程序产品

Also Published As

Publication number Publication date
CN113194329B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN109167950B (zh) 视频录制方法、视频播放方法、装置、设备及存储介质
CN110147231B (zh) 组合特效生成方法、装置及存储介质
CN112162671B (zh) 直播数据处理方法、装置、电子设备及存储介质
CN112929687B (zh) 基于直播视频的互动方法、装置、设备及存储介质
CN111701238A (zh) 虚拟画卷的显示方法、装置、设备及存储介质
CN109308205B (zh) 应用程序的显示适配方法、装置、设备及存储介质
CN109660855B (zh) 贴纸显示方法、装置、终端及存储介质
CN112181573B (zh) 媒体资源展示方法、装置、终端、服务器以及存储介质
CN111726536A (zh) 视频生成方法、装置、存储介质及计算机设备
CN112533017B (zh) 直播方法、装置、终端及存储介质
CN112118477B (zh) 虚拟礼物展示方法、装置、设备以及存储介质
CN112156464A (zh) 虚拟对象的二维形象展示方法、装置、设备及存储介质
CN112261481B (zh) 互动视频的创建方法、装置、设备及可读存储介质
CN113230655B (zh) 虚拟对象的控制方法、装置、设备、系统及可读存储介质
CN108900925B (zh) 设置直播模板的方法和装置
CN111787407B (zh) 互动视频播放方法、装置、计算机设备及存储介质
CN114415907B (zh) 媒体资源显示方法、装置、设备及存储介质
CN110662105A (zh) 动画文件的生成方法、装置及存储介质
CN114116053A (zh) 资源展示方法、装置、计算机设备及介质
CN111028566A (zh) 直播教学的方法、装置、终端和存储介质
CN113490010A (zh) 基于直播视频的互动方法、装置、设备及存储介质
CN109495616A (zh) 一种拍照方法及终端设备
CN112581571A (zh) 虚拟形象模型的控制方法、装置、电子设备及存储介质
CN113194329B (zh) 直播互动方法、装置、终端及存储介质
CN113613028A (zh) 直播数据处理方法、装置、终端、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant