KR100408518B1 - 컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법 - Google Patents

컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법 Download PDF

Info

Publication number
KR100408518B1
KR100408518B1 KR10-2001-0019570A KR20010019570A KR100408518B1 KR 100408518 B1 KR100408518 B1 KR 100408518B1 KR 20010019570 A KR20010019570 A KR 20010019570A KR 100408518 B1 KR100408518 B1 KR 100408518B1
Authority
KR
South Korea
Prior art keywords
electronic pen
writing surface
tip
computer
pen
Prior art date
Application number
KR10-2001-0019570A
Other languages
English (en)
Other versions
KR20020080171A (ko
Inventor
조용철
이석한
노경식
이재원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2001-0019570A priority Critical patent/KR100408518B1/ko
Priority to US10/102,649 priority patent/US6897854B2/en
Priority to JP2002109737A priority patent/JP3837357B2/ja
Publication of KR20020080171A publication Critical patent/KR20020080171A/ko
Application granted granted Critical
Publication of KR100408518B1 publication Critical patent/KR100408518B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/228—Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Abstract

본 발명은 유무선 컴퓨터용 전자펜 데이타 입력장치 및 그 좌표 측정 방법에 관한 것이다. 전자펜의 단부에 형성된 팁; 전자펜 중심축의 지면에 대한 기울기 및 상기 전자펜의 지면에 대한 높이를 측정하기 위한 광학식 3차원 측정장치; 전자펜의 3차원 운동에 따른 이동량을 측정하기 위한 3축 가속도 센서; 및 상기 처리된 정보를 외부 연산 장치로 송신하기 위한 통신 수단;을 포함하는 컴퓨터용 전자펜 데이타 입력장치를 제공하여 임의의 각도로 일반 평면에 필기 동작을 하거나, 평면으로 부터 떨어져 필기 동작을 하는 경우에도 관성 센서의 누적 오차를 줄이면서 연속적인 전자펜의 운동을 정밀하게 추종할 수 있다.

Description

컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법{Pen input device and Measuring method of coordinate}
본 발명은 컴퓨터용 전자펜 데이타 입력장치 및 그 작동 방법에 관한 것으로 보다 상세하게는 컴퓨터 응용기기에 3축 가속도 센서 및 광학식 3차원 측정 장치를 이용하여 전자펜의 필기 동작에 관한 정보를 유무선으로 송신하는 컴퓨터용 전자펜 데이타 입력 장치 및 좌표 측정 방법에 관한 것이다.
현재, 개인 휴대용 단말기 또는 컴퓨터 응용기기에 펜의 필기 내용을 입력하기 위하여 LCD 테블릿(tablet)이나 디지타이저 테블릿(digitizer tablet) 등과 같은 2차원 센서 배열을 포함하는 입력 장치가 널리 사용되고 있다. 이러한 입력 장치는 비교적 대면적의 2차원 센서 배열을 필요로 하기 때문에 별도의 감지 평면이 필요하다. 따라서, 휴대하기가 불편하고 소정의 공간을 차지하게 되며, 또한 가격면에서도 고가인 단점이 있다. 기술적인 추세로 볼 때, 개인 휴대용 단말기는 점차 소형화되어 손목시계 형태나 지갑 형태의 휴대용 단말기로 변화하는 추세이다. 이러한 소형화 추세에 따라 그 표시화면도 줄어들기 때문에 종래의 테블릿을 이용한 필기 방식은 입력 공간이 줄어들어 자연스러운 필기 동작에 의한 데이타 입력이 더욱 어렵게 된다.
상기 문제점을 해결하기 위하여, 물리적인 테블릿이 없이 일반 평면 상에서 단일 전자펜 만을 이용하여 문서 입력이 가능하다면 종래의 펜 입력 장치(pen input device)에 비해 넓은 입력 공간을 제공하기 때문에 자연스러운 필기 입력이 가능하므로 매우 효과적이다. 이러한 자기 운동 감지 방식의 전자펜을 이용한 문서 또는 그림의 입력을 위해서는 어떤 기준 좌표계에 대한 전자펜의 팁의 위치 좌표를 연속적으로 구할 수 있어야 한다. 그러나, 대부분의 필기 동작은 펜을 지면과 접촉한 다운(down) 상태에서 필기를 하고, 이동할 경우에는 펜을 지면과 비접촉한 업(up) 상태가 된다. 펜의 연속적인 좌표값을 구하기 위해서는 접촉 또는 비접촉 상태에서도 그 위치 값을 정밀하게 측정할 수 있는 수단을 필요로 한다.
종래의 전자펜 형태의 입력 장치들은 크게 2가지로 나누어 볼 수 있는 바, 펜 외부에서 펜 팁의 좌표를 측정하는 방식과 펜 내부에서 펜 팁의 운동을 측정하는 방식으로 나눌 수 있다.
펜 외부에서 펜 팁의 좌표를 측정하는 방식으로 3각 측량방식(미국 특허 제 5,166,668호), 전자파(미국 특허 제 5,977,958호) 또는 초음파(미국 특허 제 4,478,674호)의 비행시간차(time of flights)를 이용하는 방식등이 있다. 그러나, 상기 방식들은 펜에서 발신 신호를 보내고 외부에서 수신하는 형태를 지니기 때문에 휴대용 단말기와 같은 장치에서는 단말기의 본체에 수신부를 장착해야 하므로 휴대가 불편한 단점이 있다.
또한, 펜 내부에서 펜 팁의 좌표를 측정하는 내장 방식은 펜 내부에서 펜 팁의 운동을 감지하는 방식으로, 초기에는 볼의 회전을 이용하는 방식(미국 특허 제 5,027,115호), 펜에 작용하는 힘을 측정하는 방식(미국 특허 제 5,111,004호, 미국 특허 제 5,981,883호)이 있었으나, 펜이 지면에서 떨어지게 되면 펜의 운동을 측정하기 어려운 단점이 있다. 그리고, 펜 내부에 장착된 2축 또는 3축 가속도 센서를 이용하여 이중 적분을 통하여 전자펜의 위치 운동을 구하는 방식(미국 특허 제 5,247,137호, WO 제 94/09,447호, 미국 특허 제 5,587,558호)이 제안되었다. 그러나, 가속도 센서를 펜 팁에 장착하기 어려운 문제점이 있어, 일정한 높이에 장착할경우에는 펜 중심축의 기울기에 대한 영향을 고려하지 않은 관계로 큰 위치 오차를 초래할 수 있는 문제점이 있다. 또한, 가속도 신호를 이중 적분 함으로써 누적 오차가 증가되므로 정확한 운동을 측정하기 어려운 단점이 있다.
이러한 펜의 경사각에 대한 영향을 보정하기 위하여 A.T Cross사(미국 특허 제 5,434,371호)에서 2축 이상의 가속도 센서 소자를 펜 팁으로 이동시키고 신호처리부는 펜의 상부로 이동하는 방법을 제안하고 있으나 센서 소자 및 신호처리부가 분리되어 있어 전기적인 잡음의 영향이 크고, 펜 선단에 잉크를 장착할 수 없는 문제점이 있다. 한편, 세이코사(Seiko)(일본 특허 평6-67,799호)에서는 경사각 보정을 위하여 2축 가속도와 2축 Gyro를 이용하여 가속도는 이중 적분으로 그 위치를 구하고, 펜의 각속도를 단적분하여 펜의 경사각을 측정하는 방식을 제안하고 있다. 또한, 리코사(Richo)(미국 특허 제 5,902,968호, 미국 특허 제 5,981,884호)에서는 펜 내부에 3축 가속도 센서와 3축 Gyro센서를 내장하여 알반적인 3차원 필기 운동을 하는 펜팁의 위치를 구하는 방법을 제시하고 있다. 그러나, 입력하는 평면이 항상 중력 방향에 수직으로 있어야 하기 때문에 사용상의 제약조건이 따르는 문제점이 있으며, 상기 관성 센서(가속도 센서, Gyro)를 이용하는 방식에 있어서 가속도는 이중 적분, 각속도는 단적분을 통하여 펜의 위치 및 각도를 구하는데, 센서 신호의 잡음이나 Drift에 의해 가속도계의 경우는 시간의 제곱누승, Gyro의 경우에는 시간에 비례하는 형태로 누적 오차가 증가하게 되어 정밀한 펜 팁의 운동을 추정하기가 어려운 문제점이 있다.
상기 누적 오차를 줄이기 위해서 최근 인터센스사(Intersense)에서는 3축 가속도 센서 및 3축 Gyro를 사용한 펜 장치에 초음파 센서를 추가하여 관성 센서(가속도, 각속도)로 부터 발생하는 위치 누적 오차를 줄이는 기술을 제시하고 있다. 그러나, 이러한 외부 센서의 추가는 휴대성이 불편한 문제점이 있다.
본 발명에서는 상기 종래 기술의 문제점을 해결하기 위하여, 임의의 각도로 일반 평면에 필기 동작을 하거나, 평면으로 부터 떨어져 필기 동작을 하는 경우에 있어서도 관성 센서의 누적 오차를 줄이면서 연속적인 전자펜의 운동을 정밀하게 추종할 수 있는 컴퓨터용 전자펜 데이타 입력 장치 및 좌표 측정 방법을 제공하는 것을 목적으로 한다.
도 1은 본 발명에 의한 컴퓨터용 전자펜 데이타 입력 장치에 관한 개략도이다.
도 2는 본 발명에 의한 전자펜의 광학식 3차원 측정장치의 일실시예를 나타낸 도면이다.
도 3은 본 발명에 의한 전자펜의 광학식 3차원 측정장치의 또 다른 실시예를 나타낸 도면이다.
도 4a 내지 도 4f는 본 발명에 의한 전자펜의 광학식 3차원 측정장치에 있어서, 전자펜의 경사각 및 축방향의 변화에 따른 빔 스펏의 형태가 달라지는 원리를 나타낸 도면이다.
도 5는 본 발명에서 사용되는 3축 가속도 센서, 광학식 3차원 측정장치 및 전자펜의 팁에서의 각 좌표계를 나타낸 도면이다.
도 6은 본 발명에 의한 전자펜의 운동을 묘사하는데 필요한 전자펜의 지면에 대한 경사각과 높이 측정 변수, 3축 가속도 센서 좌표계 Oa에서의 속도, 각속도, 전자펜 팁의 Os좌표계에서의 펜팁의 속도 및 지면의 법선 벡터 n을 나타낸 도면이다
도 7은 본 발명에 의한 전자펜의 정보처리 과정인 센서 퓨전(sensor fusion)을 위한 perception net의 기본 구조를 나타낸 도면이다.
도 8은 본 발명에 의한 전자펜의 3축 가속도 센서 및 광학식 3차원 측정 장치에 있어서의 데이타 처리에 관한 흐름도를 나타낸 도면이다.
< 도면의 주요 부분에 대한 부호의 설명 >
1... 송신 장치 2... 저장 장치
3... 배터리 4... 3축 가속도 센서
5... 중앙처리장치 6... 광학 신호처리 장치
6-A... 광학식 3차원 측정 장치(6, 7, 8)
7... 빔 발생기 8... 수광부
9... 응력 센서 10... 잉크통
11... 전자펜 팁 12... 필기면
13... 빔 스펏 21... 광원
22... 제 1렌즈 23... 격자
24... 제 2렌즈 25... 방출 빔
26... 스펏 반사광 27... 카메라 렌즈
28... 위치 검출기 29... 하프 미러
상기 목적을 달성하기 위하여 본 발명에서는 펜 형상의 하우징을 갖는 전자펜에 있어서,
상기 전자펜 중심축의 지면에 대한 기울기 및 상기 전자펜의 필기면에 대한 높이를 측정하기 위한 광학식 3차원 측정장치;
상기 전자펜의 3차원 운동에 따른 이동량을 측정하기 위한 3축 가속도 센서; 및
상기 측정된 정보를 외부 연산 장치로 송신하기 위한 통신 수단;을 포함한 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치를 제공한다.
본 발명에 있어서 상기 광학식 3차원 측정 장치는 소정의 필기면에 스펏을 형성시키기 위해 빔을 방출하는 발광부; 및 상기 필기면에 형성된 빔 스펏을 감지하는 감지부;를 포함하며, 상기 발광부는 빔을 방출시키는 광원; 상기 광원에서 발생된 발산빔을 평행하게 하는 제 1 렌즈; 상기 제 1 렌즈를 통한 빔을 분리시키는 격자; 및 상기 제 1 렌즈를 통한 빔을 필기면을 향해 투사시키는 제 2 렌즈;를 포함하며, 상기 감지부는 상기 필기면에서 맺힌 스펏빔을 1차적으로 집광하는 카메라 렌즈; 상기 카메라 렌즈를 통과한 빔을 감지하는 위치 검출기;를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 광학식 3차원 측정장치는 상기 감지부에서 받아들인 스펏빔을 이용하여 빔스펏의 위치를 검출하는 신호처리회로; 및 상기 검출된 빔스펏의 위치를 이용하여 상기 전자펜의 상기 필기면에 대한 높이 및 기울기를 연산하는 연산기;를 더 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 전자펜은 상기 발광부의 광원의 on/off를 조절하는 제어기; 및 상기 외부연산장치에서 연산된 상기 전자펜에 대한 운동정보를 저장하기 위한 저장 수단;을 더 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 통신 수단은 RF 통신 수단;인 것이 바람직하다.
상기 전자펜은 상기 3축 가속도 센서 및 상기 광학식 3차원 측정장치에서 측정된 데이타를 이용하여 상기 전자펜 팁의 위치를 연산하기 위한 중앙처리장치;를 더 포함하며, 상기 전자펜의 지면에 대한 접촉 여부를 검출하기 위한 상기 전자펜의 팁과 연결된 응력센서;를 더 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 전자펜이 지면에 접촉되어 필기를 하는 경우 잉크를 분사하기 위해 상기 전자펜의 팁과 연결된 잉크통;을 더 포함하는 것이 바람직하다.
또한, 본 발명에서는 펜 형상의 하우징을 갖는 전자펜;
상기 전자펜 중심축의 지면에 대한 기울기 및 상기 전자펜의 필기면에 대한 높이를 측정하기 위한 광학식 3차원 측정장치;
상기 전자펜의 3차원 운동에 따른 이동량을 측정하기 위한 3축 가속도 센서;
상기 3축 가속도 센서 및 상기 광학식 3차원 측정장치에서 측정된 데이타를 이용하여 상기 전자펜 팁의 위치 좌표를 연산하기 위한 중앙처리장치; 및
상기 연산된 전자펜 팁의 위치 좌표를 외부 컴퓨터 또는 개인 휴대용 단말기에 송신하기 위한 통신 수단;을 포함하는 컴퓨터용 전자펜 데이타 입력 장치의 좌표 측정 방법에 있어서,
(가) 상기 광학식 3차원 측정 장치에 의하여 상기 전자펜과 필기면이 이루는 기울기 및 필기면에 대한 높이를 측정하고, 상기 3축 가속도 센서에 의하여 상기 전자펜의 운동 정보를 측정하는 단계;
(나) 상기 측정된 필기면에 대한 전자펜의 기울기, 높이 및 운동 정보를 컴퓨터 또는 휴대용 단말기의 중앙처리장치에서 변환하여 전자펜 팁의 좌표를 추출하는 단계; 및
(다) 상기 추출된 전자펜 팁의 좌표를 상기 통신 수단을 이용하여 외부 컴퓨터 또는 휴대용 단말기로 송신하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치의 좌표 측정 방법을 제공한다.
본 발명에 있어서, 상기 광학식 3차원 측정 장치는 필기면에 스펏을 형성시키기 위한 빔을 방출하는 발광부; 및 상기 필기면에 형성된 빔 스펏을 감지하는 감지부;를 포함하는 컴퓨터용 전자펜 데이타 입력 장치의 작동방법에 있어서, 상기 (가)단계의 전자펜과 필기면이 이루는 기울기 및 필기면에 대한 높이를 측정하는 단계는 상기 발광부에서 빔을 방출하는 단계; 상기 방출된 광을 필기면에 투사하여 5개 이상의 빔 스펏을 형성시키는 단계; 상기 빔 스펏의 반사 빔을 집광하는 단계; 및 상기 집광된 빔을 이용하여 전자펜의 필기면과 이루는 각 및 높이에 관한 정보를 위치 검출기를 통하여 검출하는 단계;를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 경사각 및 높이를 검출하는 단계는 상기 집광된 5개 이상의 빔 스펏의 정보를 이용하여 타원방정식에 의해 상기 전자펜의 경사각 및 필기면에 대한 높이를 구하는 단계; 및 상기 구해진 경사각 및 높이 각각을 미분하여 경사각 속도 및 수직 속도를 초기값으로 부터 구하는 단계;를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 (나) 단계는 상기 가속도 신호에서 중력성분을 제거하는 단계; 상기 중력성분이 제거된 가속도 신호를 제 1차 적분하여 전자펜의 이동속도를 구하는 단계; 상기 전자펜의 팁의 속도를 구한 후, 지면에 대한 수직속도를 이용하여 누적오차를 보정하는 단계; 상기 보정된 전자펜의 이동속도를 제 2차 적분하여 상기 전자펜의 변위 이동량을 구하는 단계; 및 상기 전자펜의 변위 이동량의 누적오차를 보정하여 전자펜 팁의 좌표를 구하는 단계;를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 (나) 단계는 상기 3축 가속도 센서에서 나오는 가속도 신호에 대해 로우-패스 필터링을 수행하는 단계;를 더 포함하며, 상기 (다) 단계의 통신 수단은 RF 통신 방법에 의한 것이 바람직하다.
또한, 본 발명에서는 펜 형상의 하후징을 갖는 전자펜;
상기 전자펜 중심축의 지면에 대한 기울기 및 상기 전자펜 팁의 필기면에 대한 높이를 측정하기 위한 광학식 3차원 측정 장치;
상기 전자펜의 3차원 운동에 따른 이동량을 측정하기 위한 3축 가속도 센서; 및
상기 처리된 정보를 컴퓨터 또는 휴대용 단말기로 전송하기 위한 통신 수단;을 포함하는 컴퓨터용 전자펜 데이타 입력 장치의 좌표 측정 방법에 있어서,
(가) 상기 광학식 3차원 측정 장치에 의하여 상기 전자펜과 필기면이 이루는 기울기 및 필기면에 대한 높이를 측정하고, 상기 3축 가속도 센서에 의하여 상기 전자펜의 운동 정보를 측정하는 단계;
(나) 상기 측정된 정보를 상기 통신 수단을 이용하여 컴퓨터 또는 휴대용 단말기로 송신하는 단계; 및
(다) 상기 측정된 필기면에 대한 전자펜의 기울기, 높이 및 운동 정보를 컴퓨터 또는 휴대용 단말기의 중앙처리장치에서 변환하여 전자펜 팁의 좌표를 추출하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치의 작동 방법을 제공한다.
본 발명에 있어서, 상기 광학식 3차원 측정 장치는 상기 광학식 3차원 측정 장치는 필기면에 스펏을 형성시키기 위해 빔을 방출하는 발광부; 및 상기 필기면에형성된 빔 스펏을 감지하는 감지부;를 포함하며, 상기 (가)단계의 전자펜과 필기면이 이루는 기울기 및 필기면에 대한 높이를 측정하는 단계는, 상기 방출된 광을 필기면에 투사하여 빔 스펏을 형성시키는 단계; 상기 빔 스펏의 반사 빔을 집광하는 단계; 및 상기 집광된 빔을 위치 검출기를 통하여 검출하는 단계;를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 (다) 단계는 상기 가속도 신호에서 중력성분을 제거하는 단계; 상기 중력성분이 제거된 가속도 신호를 제 1차 적분하여 전자펜의 이동속도를 구하는 단계; 상기 전자펜의 팁의 속도를 구한 후, 지면에 대한 수직속도를 이용하여 누적오차를 보정하는 단계; 상기 보정된 전자펜의 이동속도를 제 2차 적분하여 상기 전자펜의 변위 이동량을 구하는 단계; 및 상기 전자펜의 변위 이동량의 누적오차를 지면에 대한 높이를 이용하여 보정하여 전자펜 팁의 좌표를 구하는 단계;를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 통신 수단은 RF 통신 방법에 의한 것이 바람직하다.
이하, 도면을 참고하면서 본 발명에 대해 보다 상세하게 설명하고자 한다. 도 1은 본 발명에 의한 전자펜의 구조를 나타낸 개략도이다. 도 1에 나타낸 바와 같이, 본 발명에 의한 전자펜은 펜의 3차원 운동에 따른 이동량을 측정하기 위한 3축 가속도 센서(4) 및 펜의 경사각과 높이를 측정하기 위한 광학식 3차원 측정장치(6-A)를 구비한 것을 특징으로 한다. 또한, 상기 3축 가속도 센서(4)에서 가속도 신호를 받아들이는 중앙처리장치(CPU)(5)가 마련되어 있으며, 이러한 가속도 신호를 적분하여 속도를 구할 수 있으며, 또한 2차 적분에 의해 위치 이동량을구할 수 있다. 광학식 3차원 측정 장치(6-A)는 빔을 발생시키는 발광부 및 이를 감지하기 위한 수광부로 이루어져 있으며, 본 발명에서는 발광부에서 5점 이상의 빔 스펏(13)을 얻기 위해 빔을 필기면(12)에 투사하여 전자펜의 기울어진 정도와 높이에 관한 정보를 얻는 것을 특징으로 한다. 즉, 도 1에 나타낸 바와 같이 원형 링의 형태로 스펏(13)을 얻기 위해 빔을 필기면(12)에 투사하면 필기면(12)에 대한 펜의 각도 및 높이에 따라 맺히는 타원형의 형태 및 크기가 달라지게 되므로 이러한 점(13)들의 좌표값을 측정하여 펜의 경사각 및 높이를 측정하게 되는 것이다. 상기에 서술된 것과 같은 펜의 경사각, 높이 및 이동량에 관한 정보를 받아들여 처리하기 위한 광학 신호 처리 장치(6) 및 중앙처리장치(CPU)(5)를 구비하는 것이 바람직하다. 그러나, 본 발명에 의한 전자펜은 그 내부에 중앙처리장치(5)를 포함할 수 있으나, 상기 3축 가속도 센서(4) 및 광학식 3차원 측정 장치(6-A)에 의해 얻어진 정보를 컴퓨터 또는 개인 휴대용 단말기 등에서 처리하는 경우에는 상기 중앙처리장치(5)는 필요없게 된다. 즉, 상기 중앙처리장치는 선택적이다.
그리고, 전자 펜을 일정시간 이상 용이하게 사용하기 위한 배터리(3)를 포함하며, 상기와 같은 펜의 운동에 관한 정보를 저장하기 위한 저장 장치(2)를 포함하는 것이 바람직하다. 또한, 상기 전자펜에 관한 정보를 컴퓨터 또는 개인 휴대용 단말기에 전송하기 위한 송신 장치(1)가 필요한데, 본 발명에 의한 전자펜은 그 데이타 송신에 있어서 유선 또는 무선 모두가 가능한 것을 특징으로 하며, 무선인 경우 RF 통신 장치를 포함하는 것이 바람직하다. 통상적으로 펜에 의한 필기 동작은 펜-down, 펜-up의 연속동작으로 구성되므로 이러한 동작 정보를 얻기 위해필기면(12)에 대한 접촉 여부를 판별하기 위한 응력 센서(9)를 포함할 수 있다. 또한, 종이 등에 직접 기록할 필요성이 있으므로 이를 위해 펜 내부에 잉크통(10)을 더 포함할 수 있다.
도 2는 본 발명에 의한 전자펜의 광학식 3차원 측정장치(6-A)의 일실시예를 나타낸 도면이다. 상기에서 설명한 바와 같이 광학식 3차원 측정 장치(6)는 전자펜의 필기면(12)에 대한 높이 및 경사각을 측정하기 위한 것으로 여러가지 형태의 구조를 가질 수 있으며, 여기서 한가지 예를 살펴보면 다음과 같다. 도 2에 나타낸 실시예는 펜의 중심축과 3차원 측정장치(6-A)에서 투사 및 입사하는 광경로와 편차를 가지는 구조를 나타낸다.
먼저 그 구조를 살펴보면, 빔을 방출하는 광원(21)과 퍼지는 빔을 평행하게 하는 제 1렌즈(22), 일정한 구조를 지닌 격자(grating)(23), 상기 광원(21)에서 방출된 빔(25)을 필기면(12)을 향해 재차 평행하게 투사하는 제 2렌즈(24), 필기면(12)에서 산란된 빔의 일부를 집광하는 카메라 렌즈(27), 상기 카메라 렌즈(27)에서 집광된 빔을 받아들이는 위치 검출기(28), 상기 위치 검출기(28)의 신호를 이용하여 위치를 감지하는 신호처리부와 필기면(12)에 대한 높이와 기울기를 연산하는 연산기로 구성되어 있다.
이러한 광학식 3차원 측정장치(6-A)에서의 빔의 방출에서 정보의 출력까지의 원리에 대해 보다 상세히 설명하면 다음과 같다. 먼저 광원(21)으로 부터 빔(25), 예를 들어 가시광선 또는 적외선을 방출한다. 이 경우, 상기 광원(21)은 레이저 다이오드(laser diode), LED(light emitting diode)등 통상적인 광원으로 사용되는것이면 제한이 없다. 상기 광원(21)에서 방출된 빔은 예를 들어, 제 1렌즈(22)에 의해 평행한 원통형의 빔이 되고, 격자(23)의 구조에 의해 일정한 반경을 지니는 원주상에 5개 이상의 빔으로 분리가 된다. 상기 격자(23)에서 분리된 빔은 정밀한 평행빔을 위하여 제 2렌즈(24)를 거쳐 필기면(12) 방향으로 투사된다. 필기면(12)에 투사된 빔은 그 투사각에 따른 형태로 부채꼴 형상의 타원형으로 스펏(13)을 형성한다. 여기서, 상기 필기면(12)이 나무 또는 종이등과 같이 산란면인 경우에는 빔이 다양한 각도로 퍼지게 되며, 일부가 카메라 렌즈(27)로 집광이 되며, 위치 검출기(position dector)(28)에 의해 받아들여진다. 이렇게 얻어진 빔에 관한 정보, 즉 빔 스펏(13)의 위치는 신호처리부에서 구할 수 있으며, 연산기를 거쳐 5점의 각각 좌표로 부터 전자펜 필기면(12)에 대한 높이와 경사각을 출력하게 된다. 이들 위치 검출기(28), 신호처리부를 모두 일체형으로 위치 검출기로 구성할 수 있다. 여기서, 상기 광원(21)에서의 전력 소비를 줄이기 위하여 작동을 하지 않는 경우에 전력을 차단할 수 있도록 제어기에 on/off를 제어하는 기능을 가지도록 구성하는 것이 바람직하다.
도 3은 본 발명에 의한 전자펜의 광학식 3차원 측정장치의 또 다른 실시예를 나타낸 도면이다. 도 3에서 나타낸 광학식 3차원 측정장치는 상기 도 2와는 달리 지면에 대한 빔의 중심축을 전자펜의 중심축과 일치시킨 것을 특징으로 하며, 따라서 빔 스펏의 주사 및 반사축이 전자펜의 중심축과 동일하게 구성한 것이다.
도 4a 내지 도 4f는 본 발명에 의한 전자펜의 광학식 3차원 측정장치에 있어서, 전자펜의 경사각 및 축방향의 변화에 따른 빔 스펏의 형태가 달라지는 원리를나타낸 도면이다. 여기서, 빔이 투사되는 면을 X-Y 축으로 나타냈으며, 상기 투사면에 수직인 축을 Z로 정의한다. 3방향 각각의 경사각 변수 Θ1, Θ2, Θ3의 변화에 따라서 지면에 맺히는 빔들의 패턴이 변화한다. Θ1은 필기면(12)에 대한 법선 방향의 축(Zs)과 전자펜의 중심축 사이의 각도를 의미하며, Θ2는 필기면(Xs-Ys)과 전자펜의 중심축이 필기면에 투영시 회전한 각도 의미하고, Θ3는 전자펜의 중심축 자체에 대한 회전각을 의미한다. 또한, δZa는 전자펜의 팁과 필기면과의 거리를 나타낸다. 여기서 이러한 빔들의 패턴은 타원 형태를 나타내게 되며, 필기면(12)에 대한 경사각이 변함에 따라 타원의 장축, 단축 및 그 타원의 기울기가 변화한다. 또한, 지면에 대한 높이 방향의 펜운동에 의해 타원의 크기가 변하게 되는데, 전자펜이 지면에 가까와지면 타원 전체의 크기가 확대되며, 멀어지면 축소되는 경향을 나타낸다. 따라서, 지면에서의 빔 패턴을 읽어들여 해석을 하게되면 전자펜의 필기면에 대한 경사각 및 높이를 구할 수 있다.
도 4b는 Θ1의 변화에 따른 타원의 장축 및 단축의 변화를 나타낸 것으로 각각 왼쪽 형태로 부터 Θ1이 0보다 작은 경우, 같은 경우 및 큰 경우를 나타내고 있다. 도 4c는 Θ2의 변화에 따른 타원의 장축, 단축 및 기울기 변화를 나타낸 도면으로 상기 도 4b와 마찬가지로 Θ2가 0보다 작은 경우, 같은 경우 및 큰 경우를 나타내고 있다. 도 4d는 Θ3의 변화에 따른 원주상에 있는 스펏의 변화를 나타낸 것으로 여기서 Θ3는 전자펜 중심축의 회전각을 나타내므로 Θ3의 변화에 따라 5개 스펏의 위치가 변하는 것을 간략하게 나타내었다. 이러한 스펏의 위치는 변화하지만 타원의 형상은 변화하지 않는다. 그러나 위치 검출기(28)에서 측정된 타원영상은 영상면이 Θ3 만큼 회전한 형태로 나타나므로 그 회전 각도를 측정할 수 있다. 도 4e는 δZa의 변화에 따른 도면형태를 나타낸 것으로 이는 상기에서 서술한 바와 같이 전자펜이 지면에 가까와지면 타원 전체의 크기가 확대되며, 멀어지면 축소되는 경향을 나타낸다.
도 4f는 위치 검출기 영상면 Q와 필기면에 맺힌 스펏(spot)과의 기하학적 관계를 도시한 것이다. 여기서, 좌표 (Xc, Yc, Zc)는 카메라 렌즈의 좌표계이다. 위치검출기의 초점을 fc, 빔의 반경을 r, 위치 검출기의 렌즈 축과 광원의 축이 이루는 사이각을 Φ라고 정의한다. 그러면, 광학식 3차원 측정 장치에서 측정하는 변수는 빔 축에 대한 필기면의 기울기(Θ1, Θ2)와 회전각(Θ3), 카메라 렌즈 좌표계에서 필기면에 맺힌 빔 중심 좌표(Px, Pz)이다.
영상면 Q에 맺히는 5개 이상의 빔 스펏이 이루는 타원의 방정식으로 정의를 하면, 타원 방정식은 다음과 같이 표현할 수 있다.
x2+ ω1y2+ ω2xy + ω3x + ω4y + ω5= 0
ω1, ω2, ω3,ω4,ω5는 렌즈의 초점거리(fc), 투사되는 빔의 반경(r), 카메라 렌즈축과 광원축이 이루는 사이각(Φ), 필기면에 대한 전자펜의 수직거리(Pz) 및 전자펜의 경사각(Θ1, Θ2)의 함수로 이루어진다. 상기 수학식 1에서의 X-Y 평면의 타원 방정식에서 미지수가 5개 이므로 최소한 5점 에 대한 영상점의 좌표가 필요하다. 따라서 본 발명에 의한 전자펜의 광학식 3차원 측정 장치에서는 광원에서 방출된 빔이 영상면에서 5개 이상의 스펏이 형성되도록 구성하는 것이 바람직하다. 이를 하기 수학식 2를 참고하여 보다 상세하게 설명한다.
ω1= b/cos2(Θ1), b = 2sinΦsin(Θ2)cos(Θ1)sin(Θ1)
ω2= c/cos2(Θ1),
c = cos2(Θ1)cos2(Φ) + sin2Φsin2(Θ1) - 2sinΦcosΦcos(Θ1)sin(Θ1)
ω3= -2Px/K, K = fc/(Pz + fc)
ω4= -bPx/(cos2(Θ1)K)
ω5= (g - cos2(Θ1)Px2)/(cos2(Θ1)K2),
g = r2(cosΦcos(Θ1) - sinΦcos(Θ2)sin(Θ1))2
5개 스펏의 좌표를 이용하여 상기 영상면의 타원 방정식이 계산되게 되면 ω1, ω2, ω3, ω4, ω5를 구할 수 있으며, 여기서 렌즈의 초점거리(fc), 투사되는 빔의 반지름(r), 카메라 렌즈축과 광원이 이루는 사이각(Φ)은 본 발명에 의한 전자펜의 제작시 알 수 있는 것이므로 빔축에 대한 지면의 경사각(Θ1, Θ2)을 ω1, ω2로 부터 일차적으로 유일하게 계산할 수 있고, ω3, ω4, ω5로 부터 Px, Pz를 결정할 수 있다. 한편, 빔의 회전각(Θ3)은 도 4d에서 제시된 방법과 같이 영상에서 스펏이 회전한 각도를 계산해서 구할 수 있다. 이 때, 영상면에 있는 타원 방정식을 원의 방정식으로 변환한 후, 회전각(Θ3)을 결정하는 것이 바람직하다. 이는 상기 수학식 2를 통해서 빔축과 카메라 축과의 기하학적 변환 관계를 모두 계산하였으므로 카메라 렌즈 중심축의 이동과 회전을 통하여 광원의 빔축과 일치시키면 카메라 영상면에 맺히는 가상의 원에 대한 영상을 계산할 수 있고, 원의 중심에서 스펏이 회전한 각도를 계산하여 회전각(Θ3)을 결정한다.
이러한 타원 방정식의 매개 변수와 지면의 관계는 공지된 참고문헌(D. Wei, " The use of taper light for object recognitions" : Robot vision, IFS Ltd. p143 ~ 153 및 " 평면 물체 인식을 위한 원통형 레이저 빔 투사형 시각 정보처리 시스템의 개발" : 김종형, 한국과학기술원 기계공학과 석사논문, 1989)에 그 유사 기술이 소개되어 있다.
도 5는 본 발명에서 사용되는 3축 가속도 센서(4), 광학식 3차원 측정장치(6-A) 및 전자펜의 팁(12)에서의 각 좌표계를 나타낸 도면이다. 먼저 전자펜의 팁의 좌표계를 Os, 3축 가속도 센서(4)의 좌표계를 Oa, 그리고 광학식 3차원 측정장치(6-A)의 좌표계를 Oc라고 정의한다. 전자펜의 구조상 상기 3가지 좌표계들은 차이를 나타내게 되므로, 광학식 3차원 측정 장치(6-A)에서 구해진 전자펜의 경사각 및 높이 정보는 전자펜의 팁(11)에서 구해진 경사각 및 높이 정보와 차이를 나타내게 된다. 특히, 도 2의 광학식 3차원 측정 장치(6-A)의 실시예에 있어서는 경사각도 차이를 보인다. 이에 대한 보정을 하기위해 도 5에 나타낸 것과 같이 벡터 E를 사전에 계산해 두는 것이 바람직하다. 또한, Oc 좌표계에서 구한 경사각과 경사각 속도와 3축 가속도 센서(4)의 Oa 좌표계에서 구한 정보의 차이는 벡터 D를 구하면 그들 사이의 기하학적 변환 관계를 구할 수 있다. 3축 가속도 센서(4)의 좌표계 Oa에서 구한 속도 및 위치 이동량은 결국 전자펜 팁의 좌표계 Os로 변환을 하게되며, 이 경우 Oa-Os사이의 변환 관계는 벡터 L로 나타낼 수 있으며, 이는 본 발명에 의한 전자펜의 설계 과정에서 결정할 수 있는 변수이다.
도 6은 본 발명에 의한 전자펜의 운동을 묘사하는데 필요한 전자펜의 지면에 대한 경사각과 높이 측정 변수, 3축 가속도 센서(4) 좌표계 Oa에서의 속도, 각속도, 전자펜 팁(11)의 Os좌표계에서의 펜팁의 속도 및 지면의 법선 벡터 n을 나타낸 것이다.
도 7은 본 발명에 의한 전자펜의 정보처리 과정인 센서 퓨전(sensor fusion)을 위한 perception net의 기본 구조를 나타낸 도면이다. 먼저, 3축 가속도 센서(4)에서 나오는 신호를 이용하여 FTM1(feature transformation module)에 의해 전자펜의 속도 및 위치를 구하고, 다음으로 광학식 3차원 측정장치(6)에서 나오는 신호를 이용하여 FTM2에서 전자펜의 필기면(12)에 대한 경사각, 속도 및 높이를 구한다. 다음 단계로 CSM1(constraint satifaction module)과 CSM2에서 3축 가속도 센서(4) 및 광학식 3차원 측정장치(6)에서 받아들인 정보를 하기 수학식 2에서 주어진 수학적 제한 조건식을 이용하여 상호 융합(fusion)시키게고, 이에 의하여 오차가 감소한 데이타가 FTM1에 피드백(feedback)되면서 새로운 속도 및 가속도 신호를 얻을 수 있게 된다. 수학식 2는 각각 CSM1(위치), CSM2(속도)에 대한 제한 조건식을 나타내고 있다. 상기의 센서 융합 기법의 기본 원리는 공지된 참고 문헌 (Sukhan Lee, "Sensor fusion and planning with preception-action network, 1996, International conference on Multisensor Fusion and Integration for Intelligent Systems)에 소개되어 있다.
δZs = αXa + βYa + γZa + λ--- (1)
Vs/n = ()ㆍn ---(2)
여기서, CSM1의 제한 조건식 (1)은 전자펜 내부에서 구한 위치 성분(Xa, Ya, Za)를 전자펜 팁(11)의 좌표계(Xs, Ys, Zs)로 변환할 때 지면의 높이(δZs)에 대한 제한 조건식을 나타낸 것이다. 위치(Xs, Ys, Zs)는 전자펜 내부에서의 가속도 신호를 적분하여 속도를 구한 다음, 이를 다시 적분하여 위치를 나타낸 것이다. 여기서 α, β, r, λ는 전자펜의 선단까지의 길이 및 전자펜의 지면에 대한 경사각에 의해 각각 구해지는 상수이다. 여기서 상기 제한 조건식에 의한 전자펜 내부에서의 위치 이동량은 각각 전자펜 팁(11)의 높이에 영향을 미칠 수 있기 때문에 각 신호의 성분 오차의 선형 조합에 의해 전자펜 팁(11)의 높이 (δZs)를 만족하는 형태로 나타냄으로써, 각 센서의 위치 신호(Xs, Ys, Zs)에 누적된 오차를 감소시킬 수 있게 된다.
한편, CSM2는 전자펜 내부에서의 가속도 신호를 단적분하여 구한 속도 성분 Va, 전자펜의 각속도 Ω, 전자펜의 선단까지의 길이 L을 벡터로 나타낸 것이며, 전자펜 팁(11)에서의 수직 속도 Vs/n은 펜 팁에서의 선속도 Vs와 평면의 법선 벡터 n과 내적으로 주어진다. 이는 전자펜의 내부에서 구한 속도 성분(Vax, Vay, Vaz)가 지면에 대한 제한 조건식을 만족하는 형태로서 전자펜이 필기면에 접촉하고 있는 상태에서는 Vs/n = 0 인 관계가 됨을 의미한다. 또한, 전자펜이 필기면과 비접촉된 상태에서도 각 속도 성분의 선형조합이 제한 조건식을 만족해야 하므로 속도에 대한 누적오차를 줄일 수 있다. 상기와 같은 구조의 본 발명에 의한 피드백 시스템의 센서 퓨전을 통하여 누적 오차의 증가를 방지하고 정보량을 일정한 오차범위 내로 유지시킬 수 있게 된다.
도 8은 본 발명에 의한 전자펜의 3축 가속도 센서(4) 및 광학식 3차원 측정 장치(6-A)에 있어서의 데이타 처리에 관한 흐름도를 나타낸 도면이다. 먼저 광학식 3차원 측정장치(6-A)에서 필기면(12)에서 산란된 빔으로부터 구한 5개의 빔 스펏(13)의 타원 정보를 이용하면 위치 검출기(28)에서 전자펜의 필기면(12)에 대한 높이 및 경사각을 구한다. 이러한 데이타를 구하는 과정은 상기 도 4에서 설명한 바와 같이 5개 이상의 빔 스펏(13)의 좌표를 이용하여 타원 방정식을 구함으로써 계산된다. 각 경사각과 높이에 대한 정보를 구하면, 이에 대한 미분치인 경사각 속도 수직 속도를 초기값으로 부터 구할 수 있다.
그리고, 3축 가속도 센서(4)에서 전자펜의 가속도에 관한 정보신호를 읽어 들이며, 이때 3축 가속도 센서(4)에서 나오는 정보 신호는 잡음이 많으므로 low-pass filtering을 수행한다. 일반적으로 가속도 신호에는 정적인 중력 성분이 항상 포함되어 있기 때문에, 순수한 필기 동작에 의한 운동신호를 추출하기 위해서는 가속도 신호에서 중력 성분을 제거해야 한다. 중력에 대한 각 신호의 크기는 계산만으로는 구하기 어렵기 때문에 미리 초기에 정지 상태에서 구한 중력값을 이용하여 전자펜의 경사각의 변화에 따라 변하는 가속도 값에서 상기 중력 성분을 제거해야 한다. 그리하여, 순수한 전자펜 운동에 따른 가속도 신호가 구해진다. 다음으로, 이러한 가속도 신호를 1차 적분을 통하여 전자펜의 이동 속도에 관한 정보를 구할 수 있게 된다. 그러나 정보 신호의 잡음으로 인하여 적분에 대한 누적 오차가 발생하게 되므로, 이를 보정하기 위해서 전자펜의 선단에서 구해지는 속도를 이용하여 속도에 대한 제한 조건식인 상기 수학식 3의 (2)를 적용시킨다. 전자펜의 팁(11)에서의 속도를 구하기 위해서는 전자펜의 회전 각속도 및 전자펜의 기하 변수에 대한 고려가 필요하다. 그리하여 속도 신호에서 잡음이 줄어든 수정 속도값이 구해지게 되는데, 이는 상기 도 7에서 나타낸 것과 같이 연속적으로 새로운 속도값으로 갱신한다.
다음으로, 상기 1차 적분시킨 이동 속도를 2차 적분을 수행하여 전자펜의 변위 이동량을 구한다. 이에 대한 누적 위치 오차는 상기 수학식 3의 (1)을 이용하여 계산하고, 상기 도 7에 나타낸 바와 같이 새롭게 수정된 위치신호를 구한다. 상기한 단계를 거쳐 가속도 신호에서 이중 적분에 의해 발생될 수 있는 누적 오차를 단계적으로 상기 수학식 2의 제한 조건식 각각을 이용하여 보정함으로써, 최종적으로 전자펜의 이동량(Xs, Ys, Zs)를 구할 수 있게 된다. 이러한 전자펜의 이동량 데이터를 이용하여 본 발명에 의한 전자펜의 위치 데이터를 구할 수 있다.
도 8에서는 3축 가속도 센서(4) 및 광학식 3차원 측정 장치(6-A)로 부터 전자펜의 경사각, 경사각 속도, 높이 및 수직 속도를 중앙처리장치(8)에 의해 계산하는 실시예를 나타낸다. 이미 서술한 바와 같이, 이러한 데이터 처리는 본 발명에 의한 전자펜 내부에 3축 가속도 센서(4), 광학식 3차원 측정 장치(6-A) 및 중앙처리장치(5)를 구비한 상태로 계산하여 결과값을 컴퓨터 또는 개인 휴대폰 단말기에 유무선으로 송신할 수 있고, 단지 측정치만을 송신하여 컴퓨터나 개인 휴대용 단말기의 중앙처리 장치등에서 계산 할 수도 있다.
본 발명에 따르면 컴퓨터 또는 개인 휴대용 단말기에 지면과 접촉한 상태 및 비접촉한 상태에서의 유무선 전자펜의 동작에 따른 기록정보를 중력가속도 및 정보 신호의 잡음으로 인한 가속도의 적분에 따른 누적 오차를 최소화함으로써 전자펜의 팁의 순수한 위치 좌표를 용이하게 구할 수 있는 장점이 있다.

Claims (24)

  1. 펜 형상의 하우징을 갖는 전자펜에 있어서,
    상기 전자펜 중심축의 지면에 대한 기울기 및 상기 전자펜의 필기면에 대한 높이를 측정하기 위한 광학식 3차원 측정장치;
    상기 전자펜의 3차원 운동에 따른 이동량을 측정하기 위한 3축 가속도 센서; 및
    상기 측정된 정보를 외부 연산 장치로 송신하기 위한 통신 수단;을 포함하고,
    상기 광학식 3차원 측정 장치는
    소정의 필기면에 스펏을 형성시키기 위해 빔을 방출하는 발광부; 및
    상기 필기면에서 반사되는 빔 스펏을 감지하는 감지부;를 포함하는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치.
  2. 삭제
  3. 제 2항에 있어서,
    상기 발광부는 빔을 방출시키는 광원;
    상기 광원에서 발생된 발산빔을 평행하게 하는 제 1 렌즈;
    상기 제 1 렌즈를 통한 빔을 분리시키는 격자; 및
    상기 제 1 렌즈를 통한 빔을 필기면을 향해 투사시키는 제 2 렌즈;를 포함하는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치.
  4. 제 2항에 있어서,
    상기 감지부는 상기 필기면에서 맺힌 스펏빔을 1차적으로 집광하는 카메라 렌즈;
    상기 카메라 렌즈를 통과한 빔을 감지하는 위치 검출기;를 포함하는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치
  5. 제 2항 내지 제 4항중 어느 한 항에 있어서,
    상기 광학식 3차원 측정장치는 상기 감지부에서 받아들인 스펏빔을 이용하여 빔스펏의 위치를 검출하는 신호처리회로; 및
    상기 검출된 빔스펏의 위치를 이용하여 상기 전자펜의 상기 필기면에 대한 높이 및 기울기를 연산하는 연산기;를 더 포함하는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치.
  6. 제 2항 내지 제 4항중 어느 한 항에 있어서,
    상기 전자펜은 상기 발광부의 광원의 on/off를 조절하는 제어기;를 더 포함하는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치.
  7. 제 2항 내지 제 4항중 어느 한 항에 있어서,
    상기 광학식 3차원 측정 장치의 발광부에서 방출하는 빔의 중심축은 상기 전자펜의 중심축과 소정의 편차를 나타내는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치.
  8. 제 1항에 있어서,
    상기 외부연산장치에서 연산된 상기 전자펜에 대한 운동정보를 저장하기 위한 저장 수단;을 더 포함하는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치.
  9. 제 1항에 있어서,
    상기 통신 수단은 RF 통신 장치;인 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치.
  10. 제 1항에 있어서,
    상기 전자펜은 소정 시간의 구동을 위한 베터리를 더 포함하는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치.
  11. 제 1항에 있어서,
    상기 전자펜은 상기 3축 가속도 센서 및 상기 광학식 3차원 측정장치에서 측정된 데이타를 이용하여 상기 전자펜 팁의 위치를 연산하기 위한 중앙처리장치;를 더 포함한 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치.
  12. 제 1항에 있어서,
    상기 전자펜의 지면에 대한 접촉 여부를 검출하기 위한 상기 전자펜의 팁과 연결된 응력센서;를 더 포함하는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치.
  13. 제 1항 또는 제 2항에 있어서,
    상기 전자펜이 지면에 접촉되어 필기를 하는 경우 잉크를 분사하기 위해 상기 전자펜의 팁과 연결된 잉크통;을 더 포함하는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치.
  14. 펜 형상의 하우징을 갖는 전자펜;
    상기 전자펜 중심축의 지면에 대한 기울기 및 상기 전자펜의 필기면에 대한 높이를 측정하기 위해 필기면에 스펏을 형성시키기 위한 빔을 방출하고, 상기 필기면에 형성된 빔 스펏을 감지하는 광학식 3차원 측정장치;
    상기 전자펜의 3차원 운동에 따른 이동량을 측정하기 위한 3축 가속도 센서;
    상기 3축 가속도 센서 및 상기 광학식 3차원 측정장치에서 측정된 데이타를 이용하여 상기 전자펜 팁의 위치 좌표를 연산하기 위한 중앙처리장치; 및
    상기 연산된 전자펜 팁의 위치 좌표를 외부 컴퓨터 또는 개인 휴대용 단말기에 송신하기 위한 통신 수단;을 포함하는 컴퓨터용 전자펜 데이타 입력 장치의 좌표 측정 방법에 있어서,
    (가) 상기 광학식 3차원 측정 장치를 이용하여 빔을 방출하고, 방출된 광을 필기면에 투사하여 복수의 빔 스펏을 형성시키며, 빔 스펏들의 반사 빔을 집광하여 전자펜의 필기면과 이루는 각 및 높이에 관한 정보를 위치 검출기를 통하여 검출하는 단계;
    (나) 상기 3축 가속도 센서에 의하여 상기 전자펜의 운동 정보를 측정하는 단계;
    (다) 상기 측정된 필기면에 대한 전자펜의 기울기, 높이 및 운동 정보를 컴퓨터 또는 휴대용 단말기의 중앙처리장치에서 변환하여 전자펜 팁의 좌표를 추출하는 단계; 및
    (라) 상기 추출된 전자펜 팁의 좌표를 상기 통신 수단을 이용하여 외부 컴퓨터 또는 휴대용 단말기로 송신하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치의 좌표 측정 방법.
  15. 삭제
  16. 제 14항에 있어서,
    상기 (가)단계에서 경사각 및 높이의 검출은 집광된 5개 이상의 빔 스펏의 정보를 이용하여 타원방정식에 의해 상기 전자펜의 경사각 및 필기면에 대한 높이를 구하는 단계; 및
    상기 구해진 경사각 및 높이 각각을 미분하여 경사각 속도 및 수직 속도를 초기값으로 부터 구하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치의 좌표 측정 방법.
  17. 제 14항 또는 제 16항에 있어서,
    상기 (다) 단계는 상기 가속도 신호에서 중력성분을 제거하는 단계;
    상기 중력성분이 제거된 가속도 신호를 제 1차 적분하여 전자펜의 이동속도를 구하는 단계;
    상기 전자펜의 팁의 속도를 구한 후, 지면에 대한 수직 속도를 이용하여 누적오차를 보정하는 단계;
    상기 보정된 전자펜의 이동속도를 제 2차 적분하여 상기 전자펜의 변위 이동량을 구하는 단계; 및
    상기 전자펜의 변위 이동량의 누적오차를 보정하여 전자펜 팁의 좌표를 구하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치의 좌표 측정 방법.
  18. 제 17항에 있어서,
    상기 3축 가속도 센서에서 나오는 가속도 신호에 대해 잡음을 제거하기 위한 로우-패스 필터링을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치의 좌표 측정 방법.
  19. 제 14항에 있어서,
    상기 (라) 단계의 통신 수단은 RF 통신 방법에 의한 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치의 좌표 측정 방법.
  20. 펜 형상의 하우징을 갖는 전자펜;
    상기 전자펜 중심축의 지면에 대한 기울기 및 상기 전자펜의 필기면에 대한 높이를 측정하기 위해 필기면에 스펏을 형성시키기 위한 빔을 방출하고, 상기 필기면에 형성된 빔 스펏을 감지하는 광학식 3차원 측정장치;
    상기 전자펜의 3차원 운동에 따른 이동량을 측정하기 위한 3축 가속도 센서; 및
    상기 처리된 정보를 컴퓨터 또는 휴대용 단말기로 전송하기 위한 통신 수단;을 포함하는 컴퓨터용 전자펜 데이타 입력 장치의 작동 방법에 있어서,
    (가) 상기 광학식 3차원 측정 장치를 이용하여 빔을 방출하고, 방출된 광을 필기면에 투사하여 복수의 빔 스펏을 형성시키며, 빔 스펏들의 반사 빔을 집광하여 전자펜의 필기면과 이루는 각 및 높이에 관한 정보를 위치 검출기를 통하여 검출하는 단계;
    (나) 상기 3축 가속도 센서에 의하여 상기 전자펜의 운동 정보를 측정하는 단계;
    (다) 상기 측정된 정보를 상기 통신 수단을 이용하여 컴퓨터 또는 휴대용 단말기로 송신하는 단계; 및
    (라) 상기 측정된 필기면에 대한 전자펜의 기울기, 높이 및 운동 정보를 컴퓨터 또는 휴대용 단말기의 중앙처리장치에서 변환하여 전자펜 팁의 좌표를 추출하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치의 좌표 측정 방법.
  21. 삭제
  22. 제 20항에 있어서,
    상기 (라) 단계는 상기 운동 정보에 포함되는 가속도 신호에서 중력성분을 제거하는 단계;
    상기 중력성분이 제거된 가속도 신호를 제 1차 적분하여 전자펜의 이동속도를 구하는 단계;
    상기 전자펜의 팁의 속도를 구한 후, 지면에 대한 수직속도를 이용하여 누적오차를 보정하는 단계;
    상기 보정된 전자펜의 이동속도를 제 2차 적분하여 상기 전자펜의 변위 이동량을 구하는 단계; 및
    상기 전자펜의 변위 이동량의 누적오차를 지면에 대한 높이를 이용하여 보정하여 전자펜 팁의 좌표를 구하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치의 좌표 측정 방법.
  23. 제 22항에 있어서,
    상기 3축 가속도 센서에서 나오는 가속도 신호에 대해 잡음을 제거하기 위한 로우-패스 필터링을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치의 좌표 측정 방법.
  24. 제 20항에 있어서,
    상기 (다) 단계의 통신 수단은 RF 통신 방법에 의한 것을 특징으로 하는 컴퓨터용 전자펜 데이타 입력 장치의 좌표 측정 방법.
KR10-2001-0019570A 2001-04-12 2001-04-12 컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법 KR100408518B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR10-2001-0019570A KR100408518B1 (ko) 2001-04-12 2001-04-12 컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법
US10/102,649 US6897854B2 (en) 2001-04-12 2002-03-22 Electronic pen input device and coordinate detecting method therefor
JP2002109737A JP3837357B2 (ja) 2001-04-12 2002-04-11 コンピュータ用電子ペンデータ入力装置及び座標測定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0019570A KR100408518B1 (ko) 2001-04-12 2001-04-12 컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법

Publications (2)

Publication Number Publication Date
KR20020080171A KR20020080171A (ko) 2002-10-23
KR100408518B1 true KR100408518B1 (ko) 2003-12-06

Family

ID=19708155

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0019570A KR100408518B1 (ko) 2001-04-12 2001-04-12 컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법

Country Status (3)

Country Link
US (1) US6897854B2 (ko)
JP (1) JP3837357B2 (ko)
KR (1) KR100408518B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040020262A (ko) * 2002-08-30 2004-03-09 윤용상 펜 타입의 다기능 마우스 입력장치
KR102429967B1 (ko) 2022-06-02 2022-08-05 주식회사 보나 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템 및 방법
KR102446916B1 (ko) 2022-06-03 2022-09-23 주식회사 보나 광융착 광파이버를 이용한 광 산란 기반의 광학식 전자펜
KR102472784B1 (ko) 2022-05-27 2022-12-01 주식회사 보나 자이로 센서 기반의 광학식 전자펜의 호버링 처리 방법
KR102476025B1 (ko) 2022-10-13 2022-12-09 주식회사 보나 광학식 전자펜을 위한 그래픽 인디케이터 장치 및 그 이미지 처리 방법
KR102478738B1 (ko) 2022-05-24 2022-12-19 주식회사 보나 광 산란 기반의 광학식 전자펜
KR102486202B1 (ko) 2022-09-15 2023-01-10 주식회사 보나 광 산란제 펜팁을 구비한 광학식 전자펜
KR102587998B1 (ko) 2023-03-06 2023-10-12 주식회사 보나 틸트 각 기반의 광학식 전자펜의 압력센서 보정 방법
KR102665950B1 (ko) 2023-12-28 2024-05-14 주식회사 보나 계면 반사에 의한 틸트 개선형 다중 광경로 광학식 전자펜 펜팁
KR20240134434A (ko) 2023-03-02 2024-09-10 주식회사 보나 스팟 제거 기반의 광학식 전자펜의 이미지 처리 방법
KR20240135906A (ko) 2023-03-06 2024-09-13 주식회사 보나 틸트 각 기반의 광학식 전자펜의 이미지 보정 방법
KR20240143020A (ko) 2023-03-23 2024-10-02 주식회사 보나 이미지 처리 기반의 광학식 전자펜의 틸트 각 산출 방법

Families Citing this family (183)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100008551A9 (en) * 1998-08-18 2010-01-14 Ilya Schiller Using handwritten information
US7268774B2 (en) * 1998-08-18 2007-09-11 Candledragon, Inc. Tracking motion of a writing instrument
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US6761637B2 (en) 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
US6831632B2 (en) 2001-04-09 2004-12-14 I. C. + Technologies Ltd. Apparatus and methods for hand motion tracking and handwriting recognition
US7257255B2 (en) * 2001-11-21 2007-08-14 Candledragon, Inc. Capturing hand motion
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
US20030231189A1 (en) * 2002-05-31 2003-12-18 Microsoft Corporation Altering a display on a viewing device based upon a user controlled orientation of the viewing device
US7952570B2 (en) 2002-06-08 2011-05-31 Power2B, Inc. Computer navigation
US6952046B2 (en) * 2002-06-19 2005-10-04 Foster-Miller, Inc. Electronic and optoelectronic component packaging technique
SG112844A1 (en) * 2002-07-04 2005-07-28 Sony Electronics Singapore Pte Improved data input method and device
US7674184B2 (en) 2002-08-01 2010-03-09 Creative Kingdoms, Llc Interactive water attraction and quest game
US7133563B2 (en) * 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
US7036938B2 (en) * 2002-10-31 2006-05-02 Microsoft Corporation Pen projection display
US7116840B2 (en) * 2002-10-31 2006-10-03 Microsoft Corporation Decoding and error correction in 2-D arrays
US7133031B2 (en) * 2002-10-31 2006-11-07 Microsoft Corporation Optical system design for a universal computing device
US7009594B2 (en) * 2002-10-31 2006-03-07 Microsoft Corporation Universal computing device
US7502507B2 (en) * 2002-10-31 2009-03-10 Microsoft Corporation Active embedded interaction code
US7430497B2 (en) * 2002-10-31 2008-09-30 Microsoft Corporation Statistical model for global localization
US20040140962A1 (en) * 2003-01-21 2004-07-22 Microsoft Corporation Inertial sensors integration
US7203384B2 (en) * 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
KR100533839B1 (ko) * 2003-03-14 2005-12-07 삼성전자주식회사 동작기반 전자기기 제어장치 및 그 제어방법
KR100501721B1 (ko) * 2003-03-19 2005-07-18 삼성전자주식회사 자계센서를 이용한 펜형 입력시스템 및 그 궤적 복원 방법
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US7257702B2 (en) 2003-04-17 2007-08-14 Matsushita Electric Industrial Co., Ltd. Boot time reducing device including boot preparation instructing unit
US7199791B2 (en) * 2003-10-23 2007-04-03 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Pen mouse
US7110100B2 (en) * 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
SE0401802D0 (sv) * 2004-07-08 2004-07-08 Anoto Ab Mounting of imaging arrangements in optical systems
ATE532146T1 (de) * 2003-12-15 2011-11-15 Anoto Ab Sensor-bohrlochsichteinheit und modulare einheit
US7088440B2 (en) * 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7023536B2 (en) * 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
TWI376520B (en) 2004-04-30 2012-11-11 Hillcrest Lab Inc Free space pointing devices and methods
US8629836B2 (en) 2004-04-30 2014-01-14 Hillcrest Laboratories, Inc. 3D pointing devices with orientation compensation and improved usability
US7113270B2 (en) * 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
GB0417075D0 (en) 2004-07-30 2004-09-01 Hewlett Packard Development Co Calibrating digital pens
US7733326B1 (en) 2004-08-02 2010-06-08 Prakash Adiseshan Combination mouse, pen-input and pen-computer device
US8137195B2 (en) 2004-11-23 2012-03-20 Hillcrest Laboratories, Inc. Semantic gaming and application transformation
RO121497B1 (ro) * 2005-02-09 2007-06-29 Softwin S.R.L. Sistem informatic şi metodă pentru achiziţia, analiza şi autentificarea semnăturii olografe
US7826074B1 (en) 2005-02-25 2010-11-02 Microsoft Corporation Fast embedded interaction code printing with custom postscript commands
JP4244040B2 (ja) * 2005-03-10 2009-03-25 任天堂株式会社 入力処理プログラムおよび入力処理装置
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
US8610675B2 (en) 2007-03-14 2013-12-17 Power2B, Inc. Interactive devices
US10452207B2 (en) 2005-05-18 2019-10-22 Power2B, Inc. Displays and information input devices
US7400777B2 (en) 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
US7729539B2 (en) 2005-05-31 2010-06-01 Microsoft Corporation Fast error-correcting of embedded interaction codes
US7337671B2 (en) 2005-06-03 2008-03-04 Georgia Tech Research Corp. Capacitive microaccelerometers and fabrication methods
US7817816B2 (en) 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
JP4805633B2 (ja) 2005-08-22 2011-11-02 任天堂株式会社 ゲーム用操作装置
US8313379B2 (en) 2005-08-22 2012-11-20 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US8870655B2 (en) 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
JP4262726B2 (ja) 2005-08-24 2009-05-13 任天堂株式会社 ゲームコントローラおよびゲームシステム
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US7672504B2 (en) * 2005-09-01 2010-03-02 Childers Edwin M C Method and system for obtaining high resolution 3-D images of moving objects by use of sensor fusion
KR20140133858A (ko) * 2005-09-08 2014-11-20 파워2비, 인크. 디스플레이들 및 정보입력장치들
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
KR100777107B1 (ko) * 2005-12-09 2007-11-19 한국전자통신연구원 가속도 센서를 이용한 문자인식 장치 및 방법
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
US7755026B2 (en) * 2006-05-04 2010-07-13 CandleDragon Inc. Generating signals representative of sensed light that is associated with writing being done by a user
US7578189B1 (en) 2006-05-10 2009-08-25 Qualtre, Inc. Three-axis accelerometers
TWI319539B (en) * 2006-11-29 2010-01-11 Ind Tech Res Inst Pointing device
US20080166175A1 (en) * 2007-01-05 2008-07-10 Candledragon, Inc. Holding and Using an Electronic Pen and Paper
JP5127242B2 (ja) 2007-01-19 2013-01-23 任天堂株式会社 加速度データ処理プログラムおよびゲームプログラム
CN101689244B (zh) * 2007-05-04 2015-07-22 高通股份有限公司 用于紧凑设备的基于相机的用户输入
EP2184581A4 (en) * 2007-07-06 2012-02-29 Sony Corp INPUT DEVICE, CONTROLLER, CONTROL SYSTEM AND METHOD, AND PORTABLE DEVICE
KR101472842B1 (ko) 2007-09-11 2014-12-16 삼성전자 주식회사 움직임을 인식하는 장치 및 방법
US20090115744A1 (en) * 2007-11-06 2009-05-07 Innovative Material Solutions, Inc. Electronic freeboard writing system
US20090167702A1 (en) * 2008-01-02 2009-07-02 Nokia Corporation Pointing device detection
KR100953861B1 (ko) * 2008-01-29 2010-04-20 한국과학기술원 끝점 검출 방법, 이를 적용한 마우스 장치와 그 작동 방법
KR100906758B1 (ko) * 2008-03-31 2009-07-09 한국과학기술원 수식 인식을 이용한 계산 기능을 구비하는 필기구 및 수식인식을 이용한 계산 시스템
US20090309854A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Input devices with multiple operating modes
US20100006350A1 (en) * 2008-07-11 2010-01-14 Elias John G Stylus Adapted For Low Resolution Touch Sensor Panels
TWM350750U (en) * 2008-10-03 2009-02-11 Inventec Appliances Corp Electric pen
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
RO126248B1 (ro) 2009-10-26 2012-04-30 Softwin S.R.L. Sistem şi metodă pentru aprecierea autenticităţii semnăturii olografe dinamice
CN101782964B (zh) * 2010-02-02 2012-07-18 华南理工大学 一种基于加速度传感器的失重特征提取方法
JP5442479B2 (ja) * 2010-02-05 2014-03-12 株式会社ワコム 指示体、位置検出装置及び位置検出方法
CN101794492B (zh) * 2010-03-16 2012-07-25 江苏中讯数码电子有限公司 一种报警触发装置及其自动节能方法
FR2969319A1 (fr) * 2010-12-20 2012-06-22 Optinnova Dispositif de video-projection interactif autocalibre
KR101231891B1 (ko) * 2011-02-09 2013-02-08 한국과학기술원 기울기 센서를 구비한 터치스크린 입력장치, 시스템 및 이를 이용한 터치스크린 입력방법
US8619065B2 (en) * 2011-02-11 2013-12-31 Microsoft Corporation Universal stylus device
US9007302B1 (en) 2011-11-11 2015-04-14 Benjamin D. Bandt-Horn Device and user interface for visualizing, navigating, and manipulating hierarchically structured information on host electronic devices
US9183482B2 (en) 2012-01-13 2015-11-10 Sharp Laboratories Of America, Inc. Method and system for determining an association of a set of radio-frequency identification tags
KR101999119B1 (ko) 2012-07-11 2019-07-12 삼성전자 주식회사 펜 입력 장치를 이용하는 입력 방법 및 그 단말
JP5949261B2 (ja) 2012-07-20 2016-07-06 セイコーエプソン株式会社 ラベル作成システム、ラベル作成方法、印刷装置およびプログラム
US9176604B2 (en) 2012-07-27 2015-11-03 Apple Inc. Stylus device
US20140204038A1 (en) * 2013-01-21 2014-07-24 Kabushiki Kaisha Toshiba Information apparatus and information processing method
KR102206373B1 (ko) * 2013-02-22 2021-01-22 삼성전자주식회사 터치스크린에서 필기 입력을 통한 컨텐츠 작성 방법 및 장치
WO2014142271A1 (ja) * 2013-03-14 2014-09-18 シナノケンシ株式会社 測量装置
WO2014153725A1 (en) * 2013-03-26 2014-10-02 Google Inc. Signal processing to extract a pedestrian's moving direction
KR20150040886A (ko) * 2013-06-15 2015-04-15 주식회사 와이드벤티지 교류 자기장을 이용한 사용자 입력 장치 및 이를 구비하는 전기 장치
DE102013214020A1 (de) * 2013-07-17 2015-02-19 Stabilo International Gmbh Digitaler Stift
KR20150026424A (ko) * 2013-09-03 2015-03-11 삼성전자주식회사 디스플레이 제어 방법 및 그 전자 장치
US9232409B2 (en) 2013-12-12 2016-01-05 Microsoft Technology Licensing, Llc Binding of an apparatus to a computing device
US9330309B2 (en) 2013-12-20 2016-05-03 Google Technology Holdings LLC Correcting writing data generated by an electronic writing device
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9939934B2 (en) * 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9523856B2 (en) 2014-01-21 2016-12-20 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US12093453B2 (en) 2014-01-21 2024-09-17 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9615742B2 (en) 2014-01-21 2017-04-11 Osterhout Group, Inc. Eye imaging in head worn computing
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US20150241964A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
KR102191345B1 (ko) * 2014-04-03 2020-12-15 삼성전자 주식회사 전자 기기의 입력 장치, 방법 및 시스템
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
DE102014106838B4 (de) * 2014-05-15 2022-10-13 Stabilo International Gmbh Driftkompensation / optische Absolutreferenzierung
DE102014106839B4 (de) * 2014-05-15 2019-02-07 Stabilo International Gmbh Driftkompensation für einen elektronischen Schreibstift
DE102014106837B4 (de) 2014-05-15 2018-12-27 Stabilo International Gmbh Driftkompensation / Parallelminimierung
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
CN104199587B (zh) * 2014-07-22 2018-09-07 上海天马微电子有限公司 电感触摸屏及其驱动检测方法、坐标输入装置
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
CN111399668A (zh) * 2015-01-20 2020-07-10 Otm技术有限公司 用于生成输入的设备和方法
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10754442B2 (en) * 2015-07-09 2020-08-25 YewSavin, Inc. Films or surfaces including positional tracking marks
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
WO2017195029A1 (en) * 2016-05-11 2017-11-16 Otm Technologies Ltd. Devices and methods for determining relative motion
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
US10134158B2 (en) 2017-02-23 2018-11-20 Microsoft Technology Licensing, Llc Directional stamping
US10152141B1 (en) 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
TWI658379B (zh) * 2017-08-24 2019-05-01 宏碁股份有限公司 主動式觸控筆及其偵測方法
CN109508102B (zh) * 2017-09-14 2021-04-06 宏碁股份有限公司 主动式触控笔及其检测方法
KR102436435B1 (ko) 2018-03-13 2022-08-26 삼성전자주식회사 전자 펜으로부터 수신한 신호에 기초하여 다양한 기능을 실행시키기 위한 전자 장치
US10564734B1 (en) * 2018-08-23 2020-02-18 Pixart Imaging Inc. Pen mouse with a tracing compensation function
US10649551B1 (en) * 2018-12-27 2020-05-12 Pixart Imaging Inc. Pen mouse with an inclining compensation function
US11903734B2 (en) 2019-01-02 2024-02-20 International Business Machines Corporation Wearable multiplatform sensor
US10928946B2 (en) * 2019-02-15 2021-02-23 Dell Products L.P. Touchscreen stylus and display module interface
US11644906B2 (en) 2019-06-03 2023-05-09 Lg Electronics Inc. Handwriting input device
US10884522B1 (en) * 2019-06-19 2021-01-05 Microsoft Technology Licensing, Llc Adaptive hover operation of touch instruments
US11334174B2 (en) 2019-07-18 2022-05-17 Eyal Shlomot Universal pointing and interacting device
WO2021167118A1 (ko) * 2020-02-18 2021-08-26 엘지전자 주식회사 전자펜 및 이를 구비하는 전자펜 시스템
US20240004483A1 (en) * 2022-06-29 2024-01-04 Apple Inc. Input device with optical sensors

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04242817A (ja) * 1990-08-30 1992-08-31 Sagawa Insatsu Kk 情報入力装置およびその応用
JPH0644005A (ja) * 1992-01-24 1994-02-18 Seiko Instr Inc 座標入力装置
JPH0916322A (ja) * 1995-06-27 1997-01-17 Nippon Telegr & Teleph Corp <Ntt> ペン型入力装置
KR970028974A (ko) * 1995-11-11 1997-06-26 김광호 무선 전자 펜
JPH1185387A (ja) * 1997-09-12 1999-03-30 Ricoh Co Ltd 姿勢入力装置、姿勢入力機能を備えるペン型入力装置及びそのペン型入力装置を有するペン型入力システム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US511004A (en) * 1893-12-19 Appaeatus foe use with goal dust
US4478674A (en) * 1982-09-27 1984-10-23 Concept Design, Inc. Apparatus for supporting and aligning splicing tape on a splicing wheel
US5115230A (en) * 1989-07-19 1992-05-19 Bell Communications Research, Inc. Light-pen system for projected images
JPH0748174B2 (ja) * 1989-09-04 1995-05-24 松下電器産業株式会社 ペン型のコンピュータ入力装置
US5165013A (en) * 1990-09-26 1992-11-17 Faris Sadeg M 3-D stereo pen plotter
DE4111710C2 (de) * 1991-04-10 1995-01-12 Data Stream Corp Drahtlose Eingabevorrichtung für Computer
US5111004A (en) 1991-05-23 1992-05-05 Kumahira Safe Co., Inc. Stylus for handwriting identification
US5247137A (en) * 1991-10-25 1993-09-21 Mark Epperson Autonomous computer input device and marking instrument
US5981883A (en) * 1992-07-08 1999-11-09 Lci Technology Group, N.V. Systems for imaging written information
JPH0667799A (ja) 1992-08-19 1994-03-11 Seiko Instr Inc ペン型のコンピュータ入力装置
AU2795992A (en) 1992-10-13 1994-05-09 Baron Technologies, Ltd. Apparatus for reading handwriting
US5434371A (en) * 1994-02-01 1995-07-18 A.T. Cross Company Hand-held electronic writing tool
JPH0816137A (ja) * 1994-06-29 1996-01-19 Nec Corp ３次元座標入力装置及びカーソル表示制御方式
JPH0876915A (ja) * 1994-09-08 1996-03-22 Oki Electric Ind Co Ltd 筆記ペン
JPH08166843A (ja) * 1994-12-14 1996-06-25 Nippon Telegr & Teleph Corp <Ntt> ワイヤレスペンとそれを用いたワイヤレスペンシステム
US5748110A (en) * 1995-04-13 1998-05-05 Wacom Co., Ltd. Angular input information system relative to a tablet for determining an incline angle of a pointer or stylus
US5502514A (en) * 1995-06-07 1996-03-26 Nview Corporation Stylus position sensing and digital camera with a digital micromirror device
JP3606969B2 (ja) * 1995-10-18 2005-01-05 株式会社リコー ペン型入力装置
JP3426073B2 (ja) * 1996-02-05 2003-07-14 シャープ株式会社 データ入力装置
US5902968A (en) * 1996-02-20 1999-05-11 Ricoh Company, Ltd. Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement
JP3895406B2 (ja) * 1996-03-12 2007-03-22 株式会社東邦ビジネス管理センター データ処理装置およびデータ処理方法
DE19625767A1 (de) * 1996-06-27 1998-01-08 Mm Lesestift Manager Memory Lesegerät für die optische Erfassung und Speicherung von visuell markierten und projizierten alphanumerischen Zeichen, Graphiken und fotografischen Bildern
JP3655021B2 (ja) * 1996-08-06 2005-06-02 株式会社リコー ペン型入力装置
JPH10240442A (ja) * 1997-02-21 1998-09-11 Sharp Corp 情報処理装置
EP0865078A1 (en) * 1997-03-13 1998-09-16 Hitachi Europe Limited Method of depositing nanometre scale particles
US6046733A (en) * 1997-12-23 2000-04-04 International Business Machines Corporation Computer input stylus and thickness control system
CA2331075A1 (en) * 1998-04-30 1999-11-25 C Technologies Ab Control device and method of controlling an object
US6422775B1 (en) * 2001-03-23 2002-07-23 Intel Corporation Digital messaging pen

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04242817A (ja) * 1990-08-30 1992-08-31 Sagawa Insatsu Kk 情報入力装置およびその応用
JPH0644005A (ja) * 1992-01-24 1994-02-18 Seiko Instr Inc 座標入力装置
JPH0916322A (ja) * 1995-06-27 1997-01-17 Nippon Telegr & Teleph Corp <Ntt> ペン型入力装置
KR970028974A (ko) * 1995-11-11 1997-06-26 김광호 무선 전자 펜
JPH1185387A (ja) * 1997-09-12 1999-03-30 Ricoh Co Ltd 姿勢入力装置、姿勢入力機能を備えるペン型入力装置及びそのペン型入力装置を有するペン型入力システム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040020262A (ko) * 2002-08-30 2004-03-09 윤용상 펜 타입의 다기능 마우스 입력장치
US12026323B2 (en) 2022-05-24 2024-07-02 Bona Inc. Optical digital pen by use of light scattering
KR102478738B1 (ko) 2022-05-24 2022-12-19 주식회사 보나 광 산란 기반의 광학식 전자펜
KR102472784B1 (ko) 2022-05-27 2022-12-01 주식회사 보나 자이로 센서 기반의 광학식 전자펜의 호버링 처리 방법
KR102429967B1 (ko) 2022-06-02 2022-08-05 주식회사 보나 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템 및 방법
KR102446916B1 (ko) 2022-06-03 2022-09-23 주식회사 보나 광융착 광파이버를 이용한 광 산란 기반의 광학식 전자펜
KR102486202B1 (ko) 2022-09-15 2023-01-10 주식회사 보나 광 산란제 펜팁을 구비한 광학식 전자펜
KR102476025B1 (ko) 2022-10-13 2022-12-09 주식회사 보나 광학식 전자펜을 위한 그래픽 인디케이터 장치 및 그 이미지 처리 방법
KR20240134434A (ko) 2023-03-02 2024-09-10 주식회사 보나 스팟 제거 기반의 광학식 전자펜의 이미지 처리 방법
KR102587998B1 (ko) 2023-03-06 2023-10-12 주식회사 보나 틸트 각 기반의 광학식 전자펜의 압력센서 보정 방법
KR20240135906A (ko) 2023-03-06 2024-09-13 주식회사 보나 틸트 각 기반의 광학식 전자펜의 이미지 보정 방법
KR20240143020A (ko) 2023-03-23 2024-10-02 주식회사 보나 이미지 처리 기반의 광학식 전자펜의 틸트 각 산출 방법
KR102665950B1 (ko) 2023-12-28 2024-05-14 주식회사 보나 계면 반사에 의한 틸트 개선형 다중 광경로 광학식 전자펜 펜팁

Also Published As

Publication number Publication date
JP2003029915A (ja) 2003-01-31
US6897854B2 (en) 2005-05-24
KR20020080171A (ko) 2002-10-23
US20020148655A1 (en) 2002-10-17
JP3837357B2 (ja) 2006-10-25

Similar Documents

Publication Publication Date Title
KR100408518B1 (ko) 컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법
US8542219B2 (en) Processing pose data derived from the pose of an elongate object
US8971565B2 (en) Human interface electronic device
KR100465241B1 (ko) 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법
KR101026611B1 (ko) 긴 물체의 방향변수를 결정하는 장치 및 방법
KR100811015B1 (ko) 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치
EP1591880B1 (en) Data input devices and methods for detecting movement of a tracking surface by a speckle pattern
EP3343242B1 (en) Tracking system, tracking device and tracking method
CN110785729B (zh) 用于产生模拟笔画且用于模拟笔画的数字存储的电子装置和用于使模拟记录数字化的输入系统及方法
US10095269B2 (en) Motion control assembly with battery pack
JPH09319510A (ja) ペン型入力装置
US7199791B2 (en) Pen mouse
CN116057500A (zh) 用于光学位置确定装置的光学触笔
JP4644800B2 (ja) ３次元位置入力装置
WO2009114821A2 (en) Apparatus and method of finger-motion based navigation using optical sensing
JP3710603B2 (ja) ペン型入力装置
JP3678386B2 (ja) ペン型入力装置
KR100446610B1 (ko) 펜형 컴퓨터 입력 장치
JP2006323454A (ja) 三次元指示入力システム、三次元指示入力装置、三次元指示入力方法およびプログラム
US20240345251A1 (en) Device and method for hand gesture detection
JPH11212709A (ja) 表面特性検出装置
JPH09244799A (ja) ペン型入力装置
JP2021026333A (ja) 位置指示装置、表示システム、位置指示方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121030

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20131030

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20141030

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20151029

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20161028

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee