CN102510508B - 侦测式立体画面调整方法 - Google Patents

侦测式立体画面调整方法 Download PDF

Info

Publication number
CN102510508B
CN102510508B CN201110307290.0A CN201110307290A CN102510508B CN 102510508 B CN102510508 B CN 102510508B CN 201110307290 A CN201110307290 A CN 201110307290A CN 102510508 B CN102510508 B CN 102510508B
Authority
CN
China
Prior art keywords
picture
visual angle
image
angle
look
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110307290.0A
Other languages
English (en)
Other versions
CN102510508A (zh
Inventor
吕昭宏
许勝允
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TPV Display Technology Xiamen Co Ltd
Original Assignee
TPV Display Technology Xiamen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TPV Display Technology Xiamen Co Ltd filed Critical TPV Display Technology Xiamen Co Ltd
Priority to CN201110307290.0A priority Critical patent/CN102510508B/zh
Publication of CN102510508A publication Critical patent/CN102510508A/zh
Priority to US13/587,972 priority patent/US20130088574A1/en
Application granted granted Critical
Publication of CN102510508B publication Critical patent/CN102510508B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了侦测式立体画面调整设备，该设备包括：影像截取装置、图像处理装置、画面内容计算与播放装置及立体显示器。本发明进一步提供了该设备的实现方法，根据人脸位置计算出与中心位置的角度，结合立体画面参数与立体显示器参数进行相关运算，并随用户位置变化而调整播放影片内容，适用于所有两视角与多视角在光栅或透镜材质的裸眼屏上，可创造出连续的立体影像，不会有无三维效果的情况出现。

Description

侦测式立体画面调整方法
技术领域
本发明涉及立体显示技术，特别涉及一种侦测式立体画面调整设备及方法。 
技术背景
近年来，随着立体显示技术的发展，显示内容和观看者之间的互动需求日趋受到重视。日前一般是利用摄影设备抓取图像后，利用样版比对方法找出人脸位置，再跟据此一位置计算像素需要移动多少位置，以达到内容切换效果。 
但模版比对方法误差大，会影响灵敏度，导致反应速度不够，单纯改变像素位置无法适用于目前现有面板技术，此方法只能用在两视角面板，用于多视角面板时就会有不连续的情况出现。 
申请号201010229920.2深圳超多维光电子有限公司的一种立体显示方法、跟踪式立体显示器及图像处理装置所采用的方法仅适用两视角立体屏，观看者从不同角度观看相同画面。 
发明内容
本发明的目的在于提供一种侦测式立体画面调整设备及方法。本发明适用于所有两视角与多视角在光栅或透镜材质的裸眼屏上，可创造出连续的立体影像，不会有无三维效果的情况出现。 
本发明提供一种侦测式立体画面调整设备，其包括以下单元： 
影像截取装置：实时抓取影像；
图像处理装置：用于处理影像截取装置所提供的影像，并根据人脸特征，找出人脸位置；
画面内容计算与播放装置：根据人脸位置夹角参数、立体画面参数及立体显示器参数计算出所要呈现给观看者的画面数据，送给立体显示器；
立体显示器：用于显示立体影像的设备；
影像截取装置通过视频线缆连接到图像处理装置，图像处理装置通过数据线连接到画面内容计算与播放装置，画面内容计算与播放装置的视频输入和输出端分别通过视频线缆连接两视角立体影像及立体显示器。
本发明的侦测式立体画面调整设备中的影像截取装置包括单一摄像装置和两视角摄像装置。 
本发明的侦测式立体画面调整设备中的立体显示器包括光栅和透镜材质的裸眼屏。
本发明提供了一种侦测式立体画面调整设备的实现方法，包括： 
图像处理装置以脸部识别算法为基础，对影像截取装置所提供的影像进行运算，找出人眼位置，再根据人眼位置与立体显示设备中心点的位置，计算两个位置夹角；
画面内容计算与播放装置需设置两个参数，立体画面参数及立体显示器参数，前者决定产生画面的视角数，后者包含立体显示器的视角数及像素视角位置映像表（Pixel Mapping）；
画面内容计算与播放装置对位置夹角参数、立体画面参数及立体显示器参数进行相关运算，随用户位置变化而调整播放影片内容，输出连续的立体影片效果。
本发明提出侦测式立体画面调整设备的实现方法，其图像处理装置脸部识别算法包括adaboost、ANN、 SVM等算法。 
本发明提出侦测式立体画面调整设备的实现方法，其立体显示器的视角数包括2个以上视角数。 
本发明提出侦测式立体画面调整设备的实现方法，其画面内容计算与播放装置不需修改像素视角位置映像表，通过像素点再分配的方式实现画面的交换。 
本发明采用以上技术方案，利用图像处理装置和画面内容计算与播放装置可以根据人脸位置计算出与中心位置的角度，考虑立体画面参数与立体显示器参数决定视角画面，实现了影像视角数为2个以上、立体屏视角数为2个以上的各种组合情况下的连续立体影像显示，使观看者可以在自己位置更清晰地看到画面数据。 
附图说明
下面结合附图，对本发明的具体实施方式作详细说明： 
图1：本发明提出的立体画面调整设备框图。
具体实施方式
请参阅图1所示，本发明包括以下单元： 
影像截取装置1：实时抓取影像；
图像处理装置2：用于处理影像截取装置所提供的影像，并根据人脸特征，找出人脸位置；
画面内容计算与播放装置3：根据人脸位置夹角参数、立体画面参数及立体显示器参数计算出所要呈现给观看者的画面数据，送给立体显示器；
立体显示器4：用于显示立体影像的设备；
影像截取装置1通过视频线缆连接到图像处理装置2，图像处理装置2通过数据线连接到画面内容计算与播放装置3，画面内容计算与播放装置3的视频输入和输出端分别通过视频线缆连接两视角立体影像及立体显示器4。
图像处理装置以adaboost 算法为基础，与影像截取装置所提供之影像数据，找出人眼位置，再根据人眼位置与立体显示设备中心点的位置，计算两个位置的夹角θ1。 
画面内容计算与播放装置需设置两个参数，(1)立体画面参数P1，此一参数是决定产生画面的视角数；(2)立体显示器参数，此一参数需包含立体显示器的基本数据，包含视角数P2，与 Pixel Mapping数据P3 (Pixel Mapping数据需包含 Pixel 对应视角位置的数据)。 
画面内容计算与播放装置需根据立体画面参数与立体显示器参数做出下列计算： 
1、P1 = 2 ，P2 = 2
P1 = 2，表示所产生的影像视角数为2，代表观看者无论是从任何角度观看，所看到的画面是一样的；P2 = 2，表示此一面立体屏为2-View，只有两个视角，分别为左视角与右视角。在此两个参数值的条件下，画面内容计算与播放装置需先根据图像处理装置所提供的θ1值，再乘以一权重值得到其结果A1。若A1为偶数，代表两视角立体影像的左视角影像要跟据P3的Pixel Mapping 数据传给左视角画面位置，右视角影像要跟据P3的Pixel Mapping 数据传给右视角画面位置; 若A1为奇数，代表两视角立体影像的左视角影像要跟据P3的Pixel Mapping 数据传给右视角画面位置，右视角影像要跟据P3的Pixel Mapping 数据传给左视角画面位置。
2、P1 > 2 ，P2 = 2 
P1>2，表示所产生的影像视角数为大于2，代表观看者从不同的角度观看，所看到的画面是不一样的，而所需产生的画面视角数即为P1，每一视角画面在此定义为Nx，1≤X≤P1，且X为整数；P2 = 2，表示此一面立体屏为2-View，只有两个视角，分别为左视角与右视角。在此两个参数值的条件下，画面内容计算与播放装置需先根据图像处理装置所提供的θ1值，再乘以一权重值得到其结果A2。立体屏的可视角度θ2 与（P1-1）相除可得到一角度θ3，θ3所代表的即是在可视角度中，以0度为起始点，每θ3的度数中为一组连续两个的视角画面（NX-1，NX），如（N1，N2），而当跨越θ3度，而达到θ3+1度时，其视角画面需移到下一个角度画面（NX-1+1，NX+1），如（N1，N2）的可视角画面在0度至θ3度，当可视角度达到θ3+1度时，可视角画面需改为（N1+1，N2+1）。以0度为起点，在每一θ3角度中，若A2为偶数，代表两视角立体影像的左视角影像NX-1要根据 
Figure 2011103072900100002DEST_PATH_IMAGE001
的Pixel Mapping 数据传给左视角画面位置，右视角影像NX要跟据P3的Pixel Mapping 数据传给右视角画面位置；若A2为奇数，代表两视角立体影像的左视角影像NX-1要根据P3的Pixel Mapping 数据传给右视角画面位置，右视角影像NX要跟据P3的Pixel Mapping 数据传给左视角画面位置。
3、P1 = 2，P2 >2 
P1 = 2 ，表示所产生的影像视角数为 2，代表观看者无论是从任何角度观看，所看到的画面是一样的； P2>2 代表立体屏的视角个数为P2，且大于2。将所有偶数视角设置为同一画面数据，所有奇数视角设置为同一画面数据。在此两个参数值的条件下，画面内容计算与播放装置需先根据图像处理装置所提供之θ1值，再乘以一权重值得到其结果A3。若A3为偶数，代表两视角立体影像的左视角影像要跟据P3的Pixel Mapping 数据传给奇数视角画面位置，右视角影像要跟据P3的Pixel Mapping 数据传给偶数视角画面位置; 若A3为奇数，代表两视角立体影像的左视角影像要跟据P3的Pixel Mapping 数据传给偶数视角画面位置，右视角影像要跟据P3的Pixel Mapping 数据传给奇数视角画面位置。
4、P1 > 2，P2 >2 
P1 >2，表示所产生的影像视角数为大于2，代表观看者从不同的角度观看，所看到的画面是不一样的，而所需产生的画面视角数即为P1，每一视角画面在此定义为Nx，1≤X≤P1，且X为整数；P2 >2 代表立体屏的视角个数为P2，且大于2; 将所有偶数视角设置为同一画面数据，所有奇数视角设置为同一画面数据。在此两个参数值的条件下，画面内容计算与播放装置需先根据图像处理装置所提供之θ1值，再乘以一权重值得到其结果A4。立体屏的可视角度θ2与（P1-1）相除可得到一角度θ3，θ3所代表的即是在可视角度中，以0度为起始点，每θ3的度数中为一组连续两个的视角画面（NX-1，NX），如（N1，N2），而当跨越θ3度，而达到θ3+1度时，其视角画面需移到下一个角度画面（NX-1+1，NX+1），如（N1，N2）的可视角画面在0度至θ3度，当可视角度达到θ3+1度时，可视角画面需改为（N1+1，N2+1）。以0度为起点，在每一θ3角度中，若
Figure 2011103072900100002DEST_PATH_IMAGE002
为偶数，代表两视角立体影像的左视角影像NX-1要跟据P3的Pixel Mapping 数据传给奇数视角画面位置，右视角影像NX要跟据P3的Pixel Mapping 数据传给偶数视角画面位置；若
Figure 164517DEST_PATH_IMAGE002
为奇数，代表两视角立体影像的左视角影像NX-1要跟据P3的Pixel Mapping 数据传给偶数视角画面位置，右视角影像NX要跟据P3的Pixel Mapping 数据传给奇数视角画面位置。

Claims (2)

1.一种侦测式立体画面调整方法，其特征在于其包括以下单元：
影像截取装置：实时抓取影像；
图像处理装置：用于处理影像截取装置所提供的影像，并根据人脸特征，找出人脸位置；
画面内容计算与播放装置：根据人脸位置夹角参数、立体画面参数及立体显示器参数计算出所要呈现给观看者的画面数据，送给立体显示器；
立体显示器：用于显示立体影像的设备；
影像截取装置通过视频线缆连接到图像处理装置，图像处理装置通过数据线连接到画面内容计算与播放装置，画面内容计算与播放装置的视频输入端输入两视角立体影像，画面内容计算与播放装置的输出端通过视频线缆连接立体显示器；
所述的影像截取装置包括单一摄像装置或两视角摄像装置；
所述的立体显示器包括光栅或透镜材质的裸眼屏；
立体画面调整的实现方法包括：
图像处理装置以脸部识别算法为基础，对影像截取装置所提供的影像进行运算，找出人眼位置，再根据人眼位置与立体显示设备中心点的位置，计算两个位置夹角θ1；
画面内容计算与播放装置需根据立体画面参数与立体显示器参数做出下列计算：
a、P1 = 2 ，P2 = 2
P1 = 2，表示所产生的影像视角数为2，代表观看者无论是从任何角度观看，所看到的画面是一样的；P2 = 2，表示此一面立体屏为2-视图，只有两个视角，分别为左视角与右视角；在此两个参数值的条件下，画面内容计算与播放装置需先根据图像处理装置所提供的θ1值，再乘以一权重值得到其结果A1；若A1为偶数，代表两视角立体影像的左视角影像要根据P3传给左视角画面位置，右视角影像要根据P3传给右视角画面位置，P3表示像素映射数据，包含像素对应视角位置的数据;若A1为奇数，代表两视角立体影像的左视角影像要根据P3传给右视角画面位置，右视角影像要根据P3传给左视角画面位置；
b、P1 > 2 ，P2 = 2
P1>2，表示所产生的影像视角数为大于2，代表观看者从不同的角度观看，所看到的画面是不一样的，而所需产生的画面视角数即为P1，每一视角画面在此定义为Nx，1≤X≤P1，且X为整数；P2 = 2，表示此一面立体屏为2-视图，只有两个视角，分别为左视角与右视角；在此两个参数值的条件下，画面内容计算与播放装置需先根据图像处理装置所提供的θ1值，再乘以一权重值得到其结果A2；立体屏的可视角度θ2 与（P1-1）相除可得到一角度θ3，θ3所代表的即是在可视角度中，以0度为起始点，每θ3的度数中为一组连续两个的视角画面（NX-1，NX），如（N1，N2），而当跨越θ3度，而达到θ3+1度时，其视角画面需移到下一个角度画面（NX-1+1，NX+1），如（N1，N2）的可视角画面在0度至θ3度，当可视角度达到θ3+1度时，可视角画面需改为（N1+1，N2+1）；以0度为起点，在每一θ3角度中，若A2为偶数，代表两视角立体影像的左视角影像NX-1要根据                                                
Figure 2011103072900100001DEST_PATH_IMAGE001
传给左视角画面位置，右视角影像NX要根据P3传给右视角画面位置；若A2为奇数，代表两视角立体影像的左视角影像NX-1要根据P3传给右视角画面位置，右视角影像NX要根据P3传给左视角画面位置；
c、P1 = 2，P2 >2
P1 = 2 ，表示所产生的影像视角数为 2，代表观看者无论是从任何角度观看，所看到的画面是一样的； P2>2 代表立体屏的视角个数为P2，且大于2；将所有偶数视角设置为同一画面数据，所有奇数视角设置为同一画面数据；在此两个参数值的条件下，画面内容计算与播放装置需先根据图像处理装置所提供之θ1值，再乘以一权重值得到其结果A3；若A3为偶数，代表两视角立体影像的左视角影像要根据P3传给奇数视角画面位置，右视角影像要根据P3传给偶数视角画面位置; 若A3为奇数，代表两视角立体影像的左视角影像要根据P3传给偶数视角画面位置，右视角影像要根据P3传给奇数视角画面位置；
d、P1 > 2，P2 >2
P1 >2，表示所产生的影像视角数为大于2，代表观看者从不同的角度观看，所看到的画面是不一样的，而所需产生的画面视角数即为P1，每一视角画面在此定义为Nx，1≤X≤P1，且X为整数；P2 >2 代表立体屏的视角个数为P2，且大于2; 将所有偶数视角设置为同一画面数据，所有奇数视角设置为同一画面数据；在此两个参数值的条件下，画面内容计算与播放装置需先根据图像处理装置所提供之θ1值，再乘以一权重值得到其结果A4；立体屏的可视角度θ2与（P1-1）相除可得到一角度θ3，θ3所代表的即是在可视角度中，以0度为起始点，每θ3的度数中为一组连续两个的视角画面（NX-1，NX），如（N1，N2），而当跨越θ3度，而达到θ3+1度时，其视角画面需移到下一个角度画面（NX-1+1，NX+1），如（N1，N2）的可视角画面在0度至θ3度，当可视角度达到θ3+1度时，可视角画面需改为（N1+1，N2+1）；以0度为起点，在每一θ3角度中，若A4为偶数，代表两视角立体影像的左视角影像NX-1要根据P3传给奇数视角画面位置，右视角影像NX要根据P3传给偶数视角画面位置；若A4为奇数，代表两视角立体影像的左视角影像NX-1要根据P3传给偶数视角画面位置，右视角影像NX要根据P3传给奇数视角画面位置。
2.根据权利要求1所述的侦测式立体画面调整方法，其特征在于：所述的图像处理装置脸部识别算法包括adaboost、ANN、 SVM算法。
CN201110307290.0A 2011-10-11 2011-10-11 侦测式立体画面调整方法 Expired - Fee Related CN102510508B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201110307290.0A CN102510508B (zh) 2011-10-11 2011-10-11 侦测式立体画面调整方法
US13/587,972 US20130088574A1 (en) 2011-10-11 2012-08-17 Detective Adjusting Apparatus for Stereoscopic Image and Related Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110307290.0A CN102510508B (zh) 2011-10-11 2011-10-11 侦测式立体画面调整方法

Publications (2)

Publication Number Publication Date
CN102510508A CN102510508A (zh) 2012-06-20
CN102510508B true CN102510508B (zh) 2014-06-25

Family

ID=46222557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110307290.0A Expired - Fee Related CN102510508B (zh) 2011-10-11 2011-10-11 侦测式立体画面调整方法

Country Status (2)

Country Link
US (1) US20130088574A1 (zh)
CN (1) CN102510508B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802000A (zh) * 2012-08-09 2012-11-28 冠捷显示科技（厦门）有限公司 一种追踪式多视角立体显示器影像质量提升方法
CN102780900B (zh) * 2012-08-09 2014-12-10 冠捷显示科技（厦门）有限公司 一种多人多视角立体显示器影像显示方法
CN103595993A (zh) * 2013-11-08 2014-02-19 深圳市奥拓电子股份有限公司 一种基于智能识别技术的led裸眼3d显示系统及其工作方法
CN103854571B (zh) * 2014-03-26 2016-04-20 冠捷显示科技（厦门）有限公司 一种智能曲面显示设备及调节曲率的方法
CN105225609B (zh) * 2014-06-05 2018-02-02 冠捷投资有限公司 具有曲面显示功能的显示器
CN105812775A (zh) * 2014-12-29 2016-07-27 广东省明医医疗慈善基金会 基于硬镜的立体显示系统及方法
CN105933690A (zh) * 2016-04-20 2016-09-07 乐视控股（北京）有限公司 一种自适应调整3d画面内容大小的方法和装置
CN106792180B (zh) * 2016-12-31 2018-08-24 惠科股份有限公司 可调整曲面显示器曲率的控制方法
CN107343193B (zh) * 2017-07-31 2019-08-06 深圳超多维科技有限公司 一种裸眼立体显示方法、装置及设备
CN108495116B (zh) * 2018-03-29 2020-01-10 京东方科技集团股份有限公司 3d显示装置及其控制方法、计算机设备
CN110933390B (zh) * 2019-12-16 2022-01-07 Oppo广东移动通信有限公司 基于图像投影的显示方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060139447A1 (en) * 2004-12-23 2006-06-29 Unkrich Mark A Eye detection system and method for control of a three-dimensional display
CN101908212A (zh) * 2010-07-09 2010-12-08 深圳超多维光电子有限公司 一种跟踪式立体显示设备及跟踪设备以及方法
CN102098524A (zh) * 2010-12-17 2011-06-15 深圳超多维光电子有限公司 跟踪式立体显示设备及跟踪式立体显示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005058586B4 (de) * 2005-12-04 2009-12-17 Universität Kassel Wiedergabevorrichtung zur autostereoskopen Wiedergabe von dreidimensionalen Darstellungen
US20070276776A1 (en) * 2006-05-24 2007-11-29 Vigilant Technology Ltd. User trainable detection apparatus and method
KR101695819B1 (ko) * 2010-08-16 2017-01-13 엘지전자 주식회사 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법
JP5625979B2 (ja) * 2011-02-10 2014-11-19 ソニー株式会社 表示装置および表示方法ならびに表示制御装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060139447A1 (en) * 2004-12-23 2006-06-29 Unkrich Mark A Eye detection system and method for control of a three-dimensional display
CN101908212A (zh) * 2010-07-09 2010-12-08 深圳超多维光电子有限公司 一种跟踪式立体显示设备及跟踪设备以及方法
CN102098524A (zh) * 2010-12-17 2011-06-15 深圳超多维光电子有限公司 跟踪式立体显示设备及跟踪式立体显示方法

Also Published As

Publication number Publication date
CN102510508A (zh) 2012-06-20
US20130088574A1 (en) 2013-04-11

Similar Documents

Publication Publication Date Title
CN102510508B (zh) 侦测式立体画面调整方法
CN112584080B (zh) 三维遥现终端及方法
US7787009B2 (en) Three dimensional interaction with autostereoscopic displays
US10154244B2 (en) 3D system including a marker mode
CN109495734A (zh) 用于自动立体三维显示器的图像处理方法和设备
US20120002014A1 (en) 3D Graphic Insertion For Live Action Stereoscopic Video
TWI813098B (zh) 用於新穎視圖合成之神經混合
CN107810633A (zh) 立体渲染系统
JP2014504074A (ja) 立体三次元イメージおよびビデオを生成する方法、システム、装置、および、関連する処理論理回路
CN114631127A (zh) 说话头的小样本合成
US9933626B2 (en) Stereoscopic image
CN104159099B (zh) 一种3d立体影视制作中双目立体摄像机的设置方法
JP2023551864A (ja) 自動立体テレプレゼンスシステムのための３次元（３ｄ）顔特徴追跡
US10122987B2 (en) 3D system including additional 2D to 3D conversion
CN102457756A (zh) 一种可裸眼观看视频的3d视频监控系统的结构和方法
US20170142398A1 (en) 3d system including rendering with eye displacement
CN202261659U (zh) 侦测式二维与立体画面切换设备
TW201342308A (zh) 基於結合來自多個照相機之影像之影像增強
CN104796684A (zh) 裸眼3d视频处理方法
Nguyen Hoang et al. A real-time rendering technique for view-dependent stereoscopy based on face tracking
US9875526B1 (en) Display of three-dimensional images using a two-dimensional display
WO2024174050A1 (zh) 视频通信方法和装置
US12143561B2 (en) Image generation system and method
CN113467612B (zh) 一种应用于基于ue4全息沙盘的交互方法及装置
US20220232201A1 (en) Image generation system and method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140625

Termination date: 20171011

CF01 Termination of patent right due to non-payment of annual fee