KR20210137710A - 빠른 터치 반응성을 가지는 터치 및 디스플레이 제어 장치, 이를 포함하는 디스플레이 장치 및 이의 구동 방법 - Google Patents

빠른 터치 반응성을 가지는 터치 및 디스플레이 제어 장치, 이를 포함하는 디스플레이 장치 및 이의 구동 방법 Download PDF

Info

Publication number
KR20210137710A
KR20210137710A KR1020200055916A KR20200055916A KR20210137710A KR 20210137710 A KR20210137710 A KR 20210137710A KR 1020200055916 A KR1020200055916 A KR 1020200055916A KR 20200055916 A KR20200055916 A KR 20200055916A KR 20210137710 A KR20210137710 A KR 20210137710A
Authority
KR
South Korea
Prior art keywords
touch
image
information
display
generating
Prior art date
Application number
KR1020200055916A
Other languages
English (en)
Inventor
이창주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200055916A priority Critical patent/KR20210137710A/ko
Priority to US17/189,503 priority patent/US11422653B2/en
Priority to CN202110421425.XA priority patent/CN113641290A/zh
Publication of KR20210137710A publication Critical patent/KR20210137710A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3275—Details of drivers for data electrodes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

터치 및 디스플레이 제어 장치는 터치 스크린 컨트롤러 및 디스플레이 드라이버를 포함한다. 터치 스크린 컨트롤러는 터치 스크린 패널로부터 터치 센싱 신호를 수신하고, 터치 센싱 신호에 기초하여 터치 원시(raw) 데이터를 생성하며, 터치 원시 데이터에 기초하여 터치 좌표 정보 및 제1 터치 속성 정보를 추출한다. 디스플레이 드라이버는 외부의 호스트 프로세서로부터 원본 영상을 수신하고, 터치 스크린 컨트롤러로부터 터치 좌표 정보 및 제1 터치 속성 정보를 직접 수신하고, 터치 좌표 정보 및 제1 터치 속성 정보를 누적하여 생성된 터치 궤적 정보를 저장하는 메모리를 포함하고, 터치 궤적 정보에 기초하여 원본 영상과 함께 표시될 터치 영상을 내부적으로 생성하고, 원본 영상과 터치 영상을 합성하여 합성 영상을 생성하며, 합성 영상을 표시하도록 디스플레이 패널을 제어한다.

Description

빠른 터치 반응성을 가지는 터치 및 디스플레이 제어 장치, 이를 포함하는 디스플레이 장치 및 이의 구동 방법{TOUCH AND DISPLAY CONTROL DEVICE WITH FAST TOUCH RESPONSIVENESS, DISPLAY DEVICE INCLUDING THE SAME AND METHOD OF OPERATING THE SAME}
본 발명은 반도체 집적 회로에 관한 것으로서, 더욱 상세하게는 빠른 터치 반응성을 가지는 터치 및 디스플레이 제어 장치, 상기 터치 및 디스플레이 제어 장치를 포함하는 디스플레이 장치 및 상기 디스플레이 장치의 구동 방법에 관한 것이다.
데이터 처리 장치(예를 들어, 모바일 단말기)에 포함되는 디스플레이 장치는 통신 속도의 발달과 기능의 다양성(예를 들어, 웹 브라우징(web browsing) 등)에 대한 요구로 인해 대형화가 지속되고 있다. 특히 정해진 크기 내에서 디스플레이 면적을 키우기 위해서는 키패드나 방향키 등을 디스플레이에 내장시키는 방법이 있는데 이를 위해서는 터치 스크린 패널(touch screen panel)이 필요할 수 있다. 즉, 사용자에 의한 입력 행위 또는 이벤트를 인식하기 위한 장치의 하나로서 터치 스크린 패널이 널리 이용되고 있다. 특히 최근에는 폴더블 폰과 같이 모바일 단말기의 디스플레이 면적이 커지면서, 스타일러스 펜을 이용한 글쓰기 기능이 강하게 요구되고 있으며, 우수한 필기감을 제공하기 위해서는 터치에서 디스플레이까지의 빠른 반응성이 보장되어야 한다.
본 발명의 일 목적은 빠른 터치 반응성을 가지는 터치 및 디스플레이 제어 장치를 제공하는 것이다.
본 발명의 다른 목적은 상기 터치 및 디스플레이 제어 장치를 포함하는 디스플레이 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 상기 디스플레이 장치의 구동 방법을 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 터치 및 디스플레이 제어 장치는 터치 스크린 컨트롤러 및 디스플레이 드라이버를 포함한다. 상기 터치 스크린 컨트롤러는 터치 스크린 패널로부터 터치 센싱 신호를 수신하고, 상기 터치 센싱 신호에 기초하여 터치 원시(raw) 데이터를 생성하며, 상기 터치 원시 데이터에 기초하여 터치 좌표 정보 및 제1 터치 속성 정보를 추출한다. 상기 디스플레이 드라이버는 외부의 호스트 프로세서로부터 원본 영상을 수신하고, 상기 터치 스크린 컨트롤러로부터 상기 터치 좌표 정보 및 상기 제1 터치 속성 정보를 직접 수신하고, 상기 터치 좌표 정보 및 상기 제1 터치 속성 정보를 누적하여 생성된 터치 궤적 정보를 저장하는 메모리를 포함하고, 상기 터치 궤적 정보에 기초하여 상기 원본 영상과 함께 표시될 터치 영상을 내부적으로 생성하고, 상기 원본 영상과 상기 터치 영상을 합성하여 합성 영상을 생성하며, 상기 합성 영상을 표시하도록 디스플레이 패널을 제어한다.
상기 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 디스플레이 장치는 터치 스크린 패널, 디스플레이 패널, 및 터치 및 디스플레이 제어 장치를 포함한다. 상기 터치 스크린 패널은 터치 이벤트를 검출한다. 상기 디스플레이 패널은 원본 영상 및 상기 터치 이벤트에 대응하는 터치 영상을 함께 표시한다. 상기 터치 및 디스플레이 제어 장치는 상기 터치 스크린 패널 및 상기 디스플레이 패널의 동작을 제어한다. 상기 터치 및 디스플레이 제어 장치는 터치 스크린 컨트롤러 및 디스플레이 드라이버를 포함한다. 상기 터치 스크린 컨트롤러는 상기 터치 스크린 패널로부터 상기 터치 이벤트에 대응하는 터치 센싱 신호를 수신하고, 상기 터치 센싱 신호에 기초하여 터치 원시(raw) 데이터를 생성하며, 상기 터치 원시 데이터에 기초하여 터치 좌표 정보 및 제1 터치 속성 정보를 추출한다. 상기 디스플레이 드라이버는 외부의 호스트 프로세서로부터 상기 원본 영상을 수신하고, 상기 터치 스크린 컨트롤러로부터 상기 터치 좌표 정보 및 상기 제1 터치 속성 정보를 직접 수신하고, 상기 터치 좌표 정보 및 상기 제1 터치 속성 정보를 누적하여 생성된 터치 궤적 정보를 저장하는 메모리를 포함하고, 상기 터치 궤적 정보에 기초하여 상기 원본 영상과 함께 표시될 상기 터치 영상을 내부적으로 생성하고, 상기 원본 영상과 상기 터치 영상을 합성하여 합성 영상을 생성하며, 상기 합성 영상을 표시하도록 상기 디스플레이 패널을 제어한다.
상기 또 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 디스플레이 장치의 구동 방법에서, 터치 스크린 컨트롤러가 터치 스크린 패널 상의 터치 이벤트를 검출하여 터치 좌표 정보 및 제1 터치 속성 정보를 추출한다. 디스플레이 드라이버가 외부의 호스트 프로세서를 거치지 않고 상기 터치 스크린 컨트롤러로부터 상기 터치 좌표 정보 및 상기 제1 터치 속성 정보를 직접 수신한다. 상기 디스플레이 드라이버가 상기 호스트 프로세서로부터 원본 영상을 수신한다. 상기 디스플레이 드라이버가 상기 터치 좌표 정보 및 상기 제1 터치 속성 정보를 누적하여 터치 궤적 정보를 생성한다. 상기 디스플레이 드라이버가 상기 터치 궤적 정보를 내부 메모리에 저장한다. 상기 디스플레이 드라이버가 상기 터치 궤적 정보에 기초하여 상기 원본 영상과 함께 표시될 터치 영상을 내부적으로 생성한다. 상기 디스플레이 드라이버가 상기 원본 영상과 상기 터치 영상을 합성하여 합성 영상을 생성한다. 상기 디스플레이 드라이버가 상기 합성 영상을 표시하도록 디스플레이 패널을 제어한다.
상기와 같은 본 발명의 실시예들에 따른 터치 및 디스플레이 제어 장치, 디스플레이 장치 및 디스플레이 장치의 구동 방법에서는, 터치 궤적 정보를 생성 및 저장하는 디스플레이 컨트롤러 및 메모리를 포함하며, 터치 영상 및 합성 영상을 생성하는 영상 합성부를 포함하여 구현될 수 있다. 터치 좌표 정보는 호스트 프로세서를 거치지 않고 디스플레이 컨트롤러에 직접 제공되고, 터치 좌표 정보 및 터치 속성 정보들을 포함하는 터치 궤적 정보를 이용하여 터치 영상 및 합성 영상을 내부적/자체적으로 생성하며, 따라서 호스트 프로세서에 의해 영상이 처리 및 생성되는 시간을 제거하여 터치 반응성이 획기적으로 개선될 수 있다. 또한, 노트에 글을 쓰는 동작과 같이 원본 영상의 변화 없이 터치 영상만 반영하는 경우에, 영상 처리는 디스플레이 드라이버에 의해서만 수행하면 되며, 따라서 호스트 프로세서의 디스플레이 제어 경로의 동작과 관련하여 영상 처리, 생성, 합성 등을 위해 소비하는 상당히 큰 전력을 추가로 줄일 수 있다.
도 1은 본 발명의 실시예들에 따른 터치 및 디스플레이 제어 장치와 이를 포함하는 디스플레이 장치 및 전자 시스템을 나타내는 블록도이다.
도 2는 도 1의 터치 및 디스플레이 제어 장치와 이를 포함하는 디스플레이 장치 및 전자 시스템의 구체적인 일 예를 나타내는 블록도이다.
도 3a, 3b, 3c 및 3d는 도 2의 터치 및 디스플레이 제어 장치, 디스플레이 장치 및 전자 시스템의 동작을 설명하기 위한 도면들이다.
도 4a 및 4b는 본 발명의 실시예들에 따른 터치 및 디스플레이 제어 장치에서 터치 궤적 정보를 생성 및 저장하는 동작을 설명하기 위한 도면들이다.
도 5a, 5b, 5c, 6, 7a, 7b, 7c 및 8은 본 발명의 실시예들에 따른 터치 및 디스플레이 제어 장치에서 터치 영상을 생성하는 동작 및 합성 영상을 생성하는 동작을 설명하기 위한 도면들이다.
도 9a 및 9b는 본 발명의 실시예들에 따른 터치 및 디스플레이 제어 장치에서 터치 궤적 정보를 생성 및 저장하는 동작을 설명하기 위한 도면들이다.
도 10, 11 및 12는 도 1의 터치 및 디스플레이 제어 장치와 이를 포함하는 디스플레이 장치 및 전자 시스템의 구체적인 다른 예들을 나타내는 블록도들이다.
도 13은 본 발명의 실시예들에 따른 디스플레이 장치의 구동 방법을 나타내는 순서도이다.
도 14는 도 13의 터치 좌표 정보 및 터치 속성 정보를 추출하는 단계의 일 예를 나타내는 순서도이다.
도 15는 도 13의 합성 영상을 생성 및 표시하는 단계의 일 예를 나타내는 순서도이다.
도 16은 도 15의 터치 영상을 생성하는 단계의 일 예를 나타내는 순서도이다.
도 17은 도 15의 터치 영상을 생성하는 단계 및 합성 영상을 생성하는 단계의 일 예를 나타내는 순서도이다.
도 18은 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 터치 및 디스플레이 제어 장치와 이를 포함하는 디스플레이 장치 및 전자 시스템을 나타내는 블록도이다.
도 1을 참조하면, 전자 시스템(100)은 호스트 프로세서(200) 및 디스플레이 장치(300)를 포함한다. 전자 시스템(100)은 메모리(600)를 더 포함할 수 있다.
디스플레이 장치(300)는 호스트 프로세서(200)의 제어에 기초하여 영상을 표시한다. 디스플레이 장치(300)는 사용자와 인터페이싱하기 위한 패널(400), 및 패널(400)을 제어하기 위한 터치 및 디스플레이 제어 장치(500)를 포함한다.
패널(400)은 사용자의 터치 입력을 감지하기 위한 터치 스크린 패널(410), 및 사용자에게 시각 정보를 출력하기 위한 디스플레이 패널(450)을 포함한다. 사용자는 패널(400)을 통해 전자 시스템(100)으로부터 출력되는 정보를 볼 수 있고, 패널(400)을 통해 전자 시스템(100)으로 신호를 입력할 수 있다. 터치 스크린 패널(410)은 터치 센서 패널이라고 부를 수도 있다.
터치 스크린 패널(410)은 객체(예를 들어, 사용자의 손가락 또는 스타일러스 펜)의 접촉 또는 근접을 감지할 수 있다. 터치 스크린 패널(410)은 객체의 접촉 또는 근접에 응답하여 감지 신호를 생성할 수 있다. 예를 들어, 터치 스크린 패널(410)은 커패시티브(capacitive) 방식으로 구현되며, 행(row)들 및 열(column)들을 따라 형성되는 복수의 감지 커패시터들(CS)을 포함할 수 있다. 각 감지 커패시터의 커패시턴스 값은 객체의 접촉 또는 근접에 응답하여 가변(vary)할 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 터치 스크린 패널(410)은 저항막 방식, 광 방식, 인덕티브 방식, IR(InfraRed) 방식, SAW(Surface Acoustic Wave) 방식 등 다양한 방식으로 구현될 수 있다.
디스플레이 패널(450)은 사용자를 위해 시각 정보를 출력한다. 디스플레이 패널(450)은 영상을 표시하기 위해, 열들 및 행들을 따라 배열되는 복수의 픽셀들(PX)을 포함할 수 있다. 각 픽셀은 영상을 형성하는 특정 색상의 빛을 방출(emit)할 수 있다. 복수의 픽셀들(PX)이 함께 빛을 방출함에 따라, 디스플레이 패널(450)은 의도된 이미지를 표시할 수 있다.
일 실시예에서, 디스플레이 패널(450)은 전계발광 디스플레이 패널일 수 있다. 전계발광 디스플레이 패널은 전자와 정공의 재결합에 의하여 빛을 발생하는 발광 다이오드(Light Emitting Diode; LED) 또는 유기 발광 다이오드(Organic Light Emitting Diode; OLED)를 이용하여 빠른 응답 속도와 낮은 소비전력으로 구동될 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 디스플레이 패널(450)은 다양한 방식으로 구현되는 임의의 디스플레이 패널일 수 있다.
터치 스크린 패널(410) 상의 각 좌표는 디스플레이 패널(450) 상의 각 좌표와 매칭될 수 있다. 예를 들어, 디스플레이 패널(450)은 특정 영역(P) 상에 인터페이스 정보를 표시할 수 있다. 사용자는 표시된 인터페이스 정보를 통해 명령을 입력하기 위해, 터치 스크린 패널(410) 상의 특정 영역(Q)으로 접촉 또는 근접할 수 있다. 여기서, 특정 영역(Q)의 좌표는 특정 영역(P)의 좌표와 매칭될 수 있다. 따라서, 특정 영역(Q)으로의 접촉 또는 근접은 특정 영역(P)에 표시된 인터페이스 정보와 관련하여 처리될 수 있다.
일 실시예에서, 터치 스크린 패널(410)은 디스플레이 패널(450)과 별개로 구현될 수 있다. 예를 들어, 도 1에 도시된 것처럼 터치 스크린 패널(410)은 디스플레이 패널(450)의 위에 놓일 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 실시예에 따라서 디스플레이 패널(450)이 터치 스크린 패널(410)의 위에 놓일 수도 있고, 터치 스크린 패널(410) 및 디스플레이 패널(450)은 하나의 패널로 구현될 수도 있다.
터치 및 디스플레이 제어 장치(500)는 터치 스크린 패널(410)을 제어하는 터치 스크린 컨트롤러(510), 및 디스플레이 패널(450)을 제어하는 디스플레이 드라이버(550)를 포함한다.
터치 스크린 컨트롤러(510)는 터치 스크린 패널(410)의 동작을 제어할 수 있다. 터치 스크린 컨트롤러(510)는 터치 스크린 패널(410)로부터 출력되는 감지 신호에 기초하여, 객체의 접촉 또는 근접에 관한 동작을 처리할 수 있다. 예를 들어, 터치 스크린 컨트롤러(510)는 복수의 감지 커패시터들(CS)의 커패시턴스 값의 가변에 기초하여, 객체의 접촉 또는 근접을 인식할 수 있다. 예를 들어, 감지 신호가 특정 어플리케이션의 실행 또는 동작과 관련되는 경우, 터치 스크린 컨트롤러(510)는 특정 어플리케이션이 실행되거나 동작하도록 호스트 프로세서(200)로 터치 정보(또는 명령)를 출력할 수 있다.
디스플레이 드라이버(550)는 디스플레이 패널(450)의 동작을 제어하고 디스플레이 패널(450)을 구동할 수 있다. 예를 들어, 디스플레이 드라이버(550)는 호스트 프로세서(200)의 명령에 응답하여, 의도된 이미지가 표시되도록 디스플레이 패널(450)의 각 픽셀을 적절하게 구동할 수 있다.
본 발명의 실시예들에 따른 터치 및 디스플레이 제어 장치(500)의 구체적인 구성 및 동작, 즉 터치 스크린 컨트롤러(510) 및 디스플레이 드라이버(550)의 구체적인 구성 및 동작에 대해서는 도 2 등을 참조하여 후술하도록 한다.
실시예에 따라서, 터치 및 디스플레이 제어 장치(500)는 하나의 칩으로 구현되거나 2개 이상의 분리된 칩들로 구현될 수 있다. 터치 및 디스플레이 제어 장치(500)의 칩 구성에 대해서는 도 2, 11 및 12를 참조하여 후술하도록 한다.
호스트 프로세서(200)는 전자 시스템(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 호스트 프로세서(200)는 전자 시스템(100)의 기능들을 제공하기 위해 다양한 산술/논리 연산을 수행/처리할 수 있다.
호스트 프로세서(200)는 터치 스크린 컨트롤러(510), 디스플레이 드라이버(550) 및 메모리(600)와 통신하고 동작을 제어하며 동작들과 관련되는 명령, 요청, 응답 등을 처리할 수 있다. 예를 들어, 호스트 프로세서(200)는 터치 스크린 패널(410)을 통해 입력되는 사용자 명령을 이해하기 위해 터치 스크린 컨트롤러(510)로부터 수신되는 터치 정보를 처리하고, 디스플레이 패널(450) 상에 의도된 이미지를 표시하기 위해 디스플레이 드라이버(550)로 다양한 정보를 제공하고, 관련 데이터를 메모리(600)에 저장하거나 메모리(600)로부터 로딩할 수 있다.
일 실시예에서, 호스트 프로세서(200)는 다양한 연산을 수행하기 위해 하나 이상의 전용 회로(Special-purpose Circuit)들(예를 들어, FPGA(Field Programmable Gate Array), ASICs(Application Specific Integrated Circuits) 등)을 포함할 수 있다. 예를 들어, 호스트 프로세서(200)는 다양한 연산을 수행할 수 있는 하나 이상의 프로세서 코어들을 포함할 수 있다. 예를 들어, 호스트 프로세서(200)는 범용 프로세서(예를 들어, 중앙 처리 장치(Central Processing Unit; CPU)), 전용 프로세서 또는 어플리케이션 프로세서(Application Processor; AP)로 구현될 수 있다.
메모리(600)는 전자 시스템(100)의 동작과 관련된 데이터를 저장할 수 있다. 일 실시예에서, 메모리(600)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 임의의 휘발성 메모리를 포함할 수 있다. 다른 실시예에서, 메모리(600)는 플래시 메모리(flash memory), PRAM(phase change random access memory), RRAM(resistance random access memory), NFGM(nano floating gate memory), PoRAM(polymer random access memory), MRAM(magnetic random access memory), FRAM(ferroelectric random access memory) 등과 같은 임의의 비휘발성 메모리를 포함할 수 있다.
실시예에 따라서, 터치 스크린 컨트롤러(510), 디스플레이 드라이버(550), 호스트 프로세서(200) 및 메모리(600) 각각은 별개의 회로들/모듈들/칩들로 구현될 수도 있고, 터치 스크린 컨트롤러(510), 디스플레이 드라이버(550), 호스트 프로세서(200) 및 메모리(600) 중 몇몇은 기능에 따라 하나의 회로/모듈/칩으로 결합되거나 여러 회로/모듈/칩들로 더 분리될 수 있다.
일 실시예에서, 전자 시스템(100)은 휴대폰(mobile phone), 스마트 폰(smart phone), 태블릿(tablet) PC(Personal Computer), 노트북(laptop computer), PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 디지털 카메라(digital camera), 캠코더(camcorder), 휴대용 게임 콘솔(portable game console), 음악 재생기(music player), 동영상 재생기(video player), 네비게이션(navigation) 기기, 웨어러블(wearable) 기기, IoT(Internet of Things) 기기, e-북(e-book), VR(Virtual Reality) 기기, AR(Augmented Reality) 기기, 드론(drone) 등의 임의의 모바일 시스템일 수 있다.
도 2는 도 1의 터치 및 디스플레이 제어 장치와 이를 포함하는 디스플레이 장치 및 전자 시스템의 구체적인 일 예를 나타내는 블록도이다. 이하 도 1과 중복되는 설명은 생략한다.
도 2를 참조하면, 전자 시스템(100a)은 호스트 프로세서(200), 디스플레이 장치 및 메모리(600)를 포함한다. 상기 디스플레이 장치는 터치 스크린 패널(410) 및 디스플레이 패널(450)을 포함하는 패널과, 터치 스크린 컨트롤러(510a) 및 디스플레이 드라이버(550a)를 포함하는 터치 및 디스플레이 제어 장치를 포함한다.
터치 스크린 컨트롤러(510a) 및 디스플레이 드라이버(550a)를 포함하는 상기 터치 및 디스플레이 제어 장치의 구성 및 동작을 중심으로 도 2의 실시예를 설명하도록 한다. 도 2는 터치 스크린 컨트롤러(510a) 및 디스플레이 드라이버(550a)가 하나의 칩으로 형성되는 실시예를 나타내고 있다. 호스트 프로세서(200), 터치 스크린 패널(410), 디스플레이 패널(450) 및 메모리(600)는 도 1을 참조하여 상술한 것과 실질적으로 동일할 수 있다.
터치 스크린 컨트롤러(510a)는 터치 스크린 패널(410)로부터 터치 센싱 신호(TSEN)를 수신하고, 터치 센싱 신호(TSEN)에 기초하여 터치 원시(raw) 데이터(TRDAT)를 생성하며, 터치 원시 데이터(TRDAT)에 기초하여 터치 좌표 정보(TCOOR) 및 제1 터치 속성 정보(TA1)를 추출한다.
터치 스크린 컨트롤러(510a)는 독출 회로(520) 및 터치 좌표 계산기(530)를 포함할 수 있다.
독출 회로(520)는 아날로그 형태의 터치 센싱 신호(TSEN)를 수신하고, 아날로그 형태의 터치 센싱 신호(TSEN)에 기초하여 디지털 형태의 터치 원시 데이터(TRDAT)를 생성할 수 있다. 예를 들어, 터치 스크린 패널(410) 상에 터치 이벤트(TE)가 발생하는 경우에, 독출 회로(520)는 터치 스크린 패널(410)로부터 터치 센싱 신호(TSEN)를 수신할 수 있다. 예를 들어, 터치 이벤트(TE)는 스타일러스 펜(110)을 이용하여 "Here is Heaven!"이라는 문구를 작성하는 글쓰기 기능을 포함할 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 터치 이벤트(TE)는 임의의 객체를 이용한 임의의 터치 이벤트를 포함할 수 있다.
터치 좌표 계산기(530)는 터치 원시 데이터(TRDAT)에 기초하여 터치 좌표 정보(TCOOR) 및 제1 터치 속성 정보(TA1)를 추출할 수 있다. 예를 들어, 터치 좌표 정보(TCOOR)는 터치 이벤트(TE)에 대응하는 터치 스크린 패널(410) 상의 좌표 정보(즉, 위치 정보)를 나타낼 수 있다. 예를 들어, 제1 터치 속성 정보(TA1)는 터치 이벤트(TE)에 대한 모양, 크기, 방향 및 필기 압력 중 적어도 하나를 포함할 수 있다.
디스플레이 드라이버(550a)는 호스트 프로세서(200)로부터 원본 영상(OIMG)을 수신하고, 터치 스크린 컨트롤러(510a)로부터 터치 좌표 정보(TCOOR) 및 제1 터치 속성 정보(TA1)를 직접 수신하고, 터치 좌표 정보(TCOOR) 및 제1 터치 속성 정보(TA1)를 누적하여 생성된 터치 궤적 정보(TTRAJ)를 저장하고, 터치 궤적 정보(TTRAJ)에 기초하여 원본 영상(OIMG)과 함께 표시될 터치 영상(TIMG)을 내부적으로 생성하고, 원본 영상(OIMG)과 터치 영상(TIMG)을 합성하여 합성 영상(CIMG)을 생성하며, 합성 영상(CIMG)을 표시하도록 디스플레이 패널(450)을 제어한다.
디스플레이 드라이버(550a)는 호스트 프로세서(200)로부터 제1 터치 속성 정보(TA1)와 다른 제2 터치 속성 정보(TA2)를 더 수신할 수 있고, 터치 궤적 정보(TTRAJ)를 호스트 프로세서(200)로 더 출력할 수 있다.
디스플레이 드라이버(550a)는 메모리(560), 디스플레이 컨트롤러(570), 영상 프로세서(580) 및 소스 드라이버(590)를 포함할 수 있다. 디스플레이 드라이버(550a)는 영상 버퍼(562) 및 인터페이스(또는 디스플레이 인터페이스)(572)를 더 포함할 수 있다.
인터페이스(572)는 호스트 프로세서(200)와의 통신을 위한 인터페이스일 수 있다. 예를 들어, 인터페이스(572)는 MIPI(Mobile Industry Processor Interface)에 포함되는 DSI(Display Serial Interface)일 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 인터페이스(572)는 다양한 방식으로 구현되는 임의의 인터페이스일 수 있다.
인터페이스(572)를 통해 호스트 프로세서(200)로부터 원본 영상(OIMG)을 수신하며, 제2 터치 속성 정보(TA2)를 수신할 수 있다. 또한, 주기적으로 또는 호스트 프로세서(200)의 요청에 기초하여 인터페이스(572)를 통해 호스트 프로세서(200)로 터치 궤적 정보(TTRAJ)를 제공할 수 있다. 또는 메모리(560) 상태에 따라 인터페이스(572)를 통해 호스트 프로세서(200)로 터치 궤적 정보(TTRAJ)를 제공할 수 있다. 예를 들어, 메모리(560)가 가득 차게 되면(full), 터치 궤적 정보(TTRAJ)를 호스트 프로세서(200)에 전송하여 현재까지의 터치 궤적을 반영한 합성 영상을 호스트 프로세서(200)에서 생성하여, 이를 디스플레이 드라이버(550a)에 제2 원본 영상으로 전송하고, 상기 제2 원본 영상과 그 이후로 형성된 추가 터치 궤적 정보를 합성하여 필기의 연속성에 문제가 발생되지 않도록 구현될 수 있다(예를 들어, 매우 많은 필기 내용이 모드 변경 없이 전 화면에서 계속 쓰여지고 있는 경우).
디스플레이 컨트롤러(570)는 디스플레이 드라이버(550a)의 전반적인 동작을 제어할 수 있다. 디스플레이 컨트롤러(570)는 터치 스크린 컨트롤러(510a)로부터 터치 좌표 정보(TCOOR) 및 제1 터치 속성 정보(TA1)를 직접 수신하고, 터치 좌표 정보(TCOOR) 및 제1 터치 속성 정보(TA1)를 누적하여 터치 궤적 정보(TTRAJ)를 생성하며, 터치 궤적 정보(TTRAJ)를 메모리(560)에 제공할 수 있다. 실시예에 따라서, 제2 터치 속성 정보(TA2)를 더 수신하는 경우에, 터치 좌표 정보(TCOOR), 제1 터치 속성 정보(TA1) 및 제2 터치 속성 정보(TA2)를 누적하여 터치 궤적 정보(TTRAJ)를 생성할 수 있다. 예를 들어, 제2 터치 속성 정보(TA2)는 터치 이벤트(TE)에 대해 정의된 도구 및 색상 중 적어도 하나를 포함할 수 있다.
메모리(560)는 디스플레이 컨트롤러(570)로부터 수신되는 터치 궤적 정보(TTRAJ)를 저장할 수 있다. 예를 들어, 터치 궤적 정보(TTRAJ)는 테이블의 형태로 제공 및 저장될 수 있다. 메모리(560)는 터치 궤적 저장용 메모리(memory for storing touch trajectory)라고 부를 수 있다. 터치 궤적 정보(TTRAJ)의 구성에 대해서는 도 4 및 9를 참조하여 상세하게 후술하도록 한다.
일 실시예에서, 메모리(560)는 DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory) 등과 같은 휘발성 메모리 및/또는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시 메모리(flash memory), PRAM(Phase Change Random Access Memory), RRAM(Resistance Random Access Memory), NFGM(Nano Floating Gate Memory), PoRAM(Polymer Random Access Memory), MRAM(Magnetic Random Access Memory), FRAM(Ferroelectric Random Access Memory) 등과 같은 비휘발성 메모리를 포함할 수 있다. 또는, 메모리(560)는 임의의 레지스터, 버퍼 등을 포함할 수도 있다.
영상 버퍼(562)는 호스트 프로세서(200)로부터 수신되는 원본 영상(OIMG)을 저장할 수 있다. 예를 들어, 영상 버퍼(562)는 디스플레이 되는 전체 이미지 혹은 부분 이미지를 압축, 비압축 상태로 저장할 수 있다. 예를 들어, 영상 버퍼(562)는 적어도 하나의 프레임 버퍼(frame buffer) 및/또는 라인 버퍼(line buffer)를 포함하거나, SRAM 또는 레지스터를 포함할 수 있다. 영상 버퍼(562)는 디스플레이용 영상 버퍼(image buffer for display)라고 부를 수 있다. 실시예에 따라서, 영상 버퍼(562)는 생략될 수도 있다.
영상 프로세서(580)는 터치 궤적 정보(TTRAJ)에 기초하여 터치 영상(TIMG)을 내부적으로 생성하고, 원본 영상(OIMG)과 터치 영상(TIMG)을 합성하여 합성 영상(CIMG)을 생성할 수 있다.
영상 프로세서(580)는 제1 프로세싱부(582), 영상 합성부(584) 및 제2 프로세싱부(586)를 포함할 수 있다.
제1 프로세싱부(582)는 영상 합성부(584)의 전단에 배치되고, 원본 영상(OIMG)에 대한 전처리(pre-processing)를 수행하며, 전처리부라고 부를 수 있다. 예를 들어, 제1 프로세싱부(582)는 수신된 원본 영상(OIMG)이 압축된 영상인 경우에 압축 이미지를 해제하는(예를 들어, decompression) 동작을 수행하거나, 수신된 원본 영상(OIMG)이 디스플레이 패널(450)의 해상도와 맞지 않은 경우에 원본 영상(OIMG)의 해상도를 조절하는(예를 들어, up/down scaling) 동작을 수행할 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 제1 프로세싱부(582)는 그 밖에 다양한 전처리 동작들을 수행할 수 있다.
영상 합성부(584)는 터치 궤적 정보(TTRAJ)에 기초하여 터치 영상(TIMG)을 내부적으로 생성하고, 원본 영상(OIMG)과 터치 영상(TIMG)을 합성하여 합성 영상(CIMG)을 생성할 수 있다. 실시예에 따라서, 터치 영상(TIMG)을 생성하는 동작이 먼저 수행되고 이후에 합성 영상(CIMG)을 생성하는 동작이 수행될 수도 있고, 터치 영상(TIMG)을 생성하는 동작 및 합성 영상(CIMG)을 생성하는 동작이 실질적으로 동시에(또는 한 번에) 수행될 수도 있다. 영상 합성 동작은 도 5 내지 8을 참조하여 상세하게 후술하도록 한다.
제2 프로세싱부(586)는 영상 합성부(584)의 후단에 배치되고, 합성 영상(CIMG)에 대한 후처리(post-processing)를 수행하며, 후처리부라고 부를 수 있다. 예를 들어, 제2 프로세싱부(586)는 주로 디스플레이 패널(450)의 아날로그 특성을 보완하는 기능들을 수행하며, 디스플레이 패널(450)의 IR drop을 보상하거나, Demura 보상하거나, 픽셀의 구동 트랜지스터의 문턱전압(Vth)을 보상하는 기능 등을 수행할 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 제2 프로세싱부(586)는 그 밖에 다양한 후처리 동작들을 수행할 수 있다.
도 2에서는 영상 프로세서(580)가 영상 합성부(584)의 전단 및 후단에 배치되는 2개의 프로세싱부들(582, 586)을 포함하는 것으로 도시하였으나, 본 발명은 이에 한정되지 않으며, 영상 프로세서(580)에 포함되는 프로세싱부들의 개수, 배치 등은 실시예에 따라서 다양하게 변경될 수 있다.
소스 드라이버(590)는 합성 영상(CIMG)에 기초하여 디스플레이 패널(450)에 제공되는 복수의 데이터 전압들(VD)을 생성할 수 있다. 복수의 데이터 전압들(VD)에 기초하여 합성 영상(CIMG)이 디스플레이 패널(450)에 표시될 수 있다.
한편, 도시하지는 않았으나, 디스플레이 드라이버(550a)는 스캔 드라이버(또는 게이트 드라이버), 감마 회로 등을 더 포함할 수 있다.
도 3a, 3b, 3c 및 3d는 도 2의 터치 및 디스플레이 제어 장치, 디스플레이 장치 및 전자 시스템의 동작을 설명하기 위한 도면들이다. 이하 도 2와 중복되는 설명은 생략한다.
도 3a를 참조하면, 원본 영상(OIMG)을 표시하고자 하는 경우에, 터치 및 디스플레이 제어 장치는 호스트 프로세서(200)로부터 원본 영상(OIMG)을 수신할 수 있다. 디스플레이 컨트롤러(570)는 원본 영상(OIMG)을 표시하도록 디스플레이 드라이버(550a)에 포함되는 구성요소들의 타이밍을 관리하고 명령들을 제어할 수 있다.
원본 영상(OIMG)을 표시하는 도중에 터치 이벤트(TE)가 발생하는 경우에, 디스플레이 컨트롤러(570)는 터치 스크린 컨트롤러(510a)로부터 터치 좌표 정보(TCOOR) 및 제1 터치 속성 정보(TA1)를 직접 수신하고 호스트 프로세서(200)로부터 수신한 제2 터치 속성 정보(TA2)를 수신하며, 이에 기초하여 터치 궤적 정보(TTRAJ)를 생성하여 메모리(560)에 저장할 수 있다. 영상 합성부(584)는 터치 영상(TIMG)을 생성하고 원본 영상(OIMG)과 터치 영상(TIMG)을 합성하여 합성 영상(CIMG)을 생성할 수 있다. 디스플레이 컨트롤러(570)는 합성 영상(CIMG)을 표시하도록 디스플레이 드라이버(550a)에 포함되는 구성요소들의 타이밍을 관리하고 명령들을 제어할 수 있다.
본 발명의 실시예들에서 터치 이벤트(TE)가 발생하는 경우에, 터치 좌표 정보(TCOOR) 및 제1 터치 속성 정보(TA1)는 터치 스크린 컨트롤러(510a)로부터 호스트 프로세서(200)로 전송되지 않으며, 이에 따라 터치 영상(TIMG)은 호스트 프로세서(200)에 의해 생성되지 않고 디스플레이 드라이버(550a)에 의해 내부적/자체적으로 생성될 수 있다. 다만 본 발명은 이에 한정되지 않으며, 본 발명의 실시예들과 관련성이 적은 일반적인 동작 모드에서는 터치 스크린 컨트롤러에서 호스트 프로세서로 터치 좌표 및 터치 속성이 전달될 수 있고, 터치 영상을 생성하는 것도 호스트 프로세서에서 생성하는 것과 병행할 수 있다.
도 3b를 참조하면, 원본 영상(OIMG)이 정지 영상인 경우에, 호스트 프로세서(200)는 디스플레이 드라이버(550a)에 원본 영상(OIMG)을 계속 전송할 필요가 없을 수 있다. 이에 따라, 호스트 프로세서(200)는 동작 초기에 디스플레이 드라이버(550a)에 원본 영상(OIMG)을 전송한 이후에 파워 다운(power down) 모드로 진입할 수 있다. 또한, 호스트 프로세서(200)와 데이터를 주고받는 메모리(600) 또한 상기 파워 다운 모드로 진입할 수 있다.
상기 파워 다운 모드는 유휴(idle) 모드, 슬립(sleep) 모드, 절전(power saving) 모드 등으로 부를 수 있고, 호스트 프로세서(200) 및 메모리(600)의 동작을 완전히 또는 간헐적으로 정지시킴으로써 호스트 프로세서(200) 및 메모리(600)의 소비 전력을 감소시키는 동작 모드를 나타낼 수 있다. 디스플레이 드라이버(550a)는 상기 파워 다운 모드에서 내부의 영상 버퍼(562)에 저장된 원본 영상(OIMG)을 이용하여 영상을 표시할 수 있다. 다시 말하면, 상기 파워 다운 모드에서, 디스플레이 드라이버(550a)만을 이용하여 영상 처리를 수행하며, 호스트 프로세서(200) 및 메모리(600)는 영상 처리와 관련된 동작을 수행하지 않을 수 있다.
본 명세서에서, 상기 파워 다운 모드는 영상 처리와 관련된 동작에 대해서만 소비 전력을 감소시키는 동작 모드를 나타낼 수 있다. 즉, 전자 시스템(100a)이 영상 처리 이외의 동작을 수행하고자 하는 경우에, 호스트 프로세서(200) 및 메모리(600)는 활성화되어 해당 동작을 수행할 수 있다.
도 3c 및 3d를 참조하면, 디스플레이 드라이버(550a)는 메모리(560)에 저장된 터치 궤적 정보(TTRAJ)를 호스트 프로세서(200)로 전송할 수 있다. 호스트 프로세서(200)로 전송된 터치 궤적 정보(TTRAJ)는 다시 메모리(600)로 전송되어 저장될 수 있다. 현재 디스플레이 패널(450)에 표시되고 있는 영상을 호스트 프로세서(200)에 알려줌으로써, 현재 표시되고 있는 영상과 이후에 호스트 프로세서(200)가 터치 궤적 정보(TTRAJ)를 기반으로 복잡한 그래픽 특성들(graphical features)을 반영하여 생성하는 영상이 서로 모순이 되지 않도록 적절한 영상 처리를 수행할 수 있다.
일 실시예에서, 도 3c에 도시된 것처럼 디스플레이 드라이버(550a)는 호스트 프로세서(200)로부터의 요청 없이 터치 궤적 정보(TTRAJ)를 호스트 프로세서(200)로 전송할 수 있다. 예를 들어, 디스플레이 드라이버(550a)는 터치 궤적 정보(TTRAJ)를 주기적으로 또는 메모리(560) 상태에 따라 또는 정기적으로 호스트 프로세서(200)로 전송할 수 있다. 예를 들어, 도시하지는 않았으나 디스플레이 드라이버(550a)는 터치 궤적 정보(TTRAJ)의 전송 주기를 설정하기 위한 타이머 또는 카운터를 포함할 수 있다.
다른 실시예에서, 도 3d에 도시된 것처럼 디스플레이 드라이버(550a)는 호스트 프로세서(200)로부터의 요청(REQ)이 수신되는 경우에 터치 궤적 정보(TTRAJ)를 호스트 프로세서(200)로 전송할 수 있다. 예를 들어, 전자 시스템(100a)의 동작 모드가 변경되는 경우 또는 전자 시스템(100a)에 의해 실행되는 어플리케이션의 모드가 변경되는 경우에 호스트 프로세서(200)는 요청(REQ)을 생성하고, 이에 따라 터치 궤적 정보(TTRAJ)가 메모리(560)에서 호스트 프로세서(200)로 전송될 수 있다.
본 발명의 실시예들에 따른 터치 및 디스플레이 제어 장치는, 터치 궤적 정보(TTRAJ)를 생성 및 저장하는 디스플레이 컨트롤러(570) 및 메모리(560)를 포함하며, 터치 영상(TIMG) 및 합성 영상(CIMG)을 생성하는 영상 합성부(584)를 포함할 수 있다. 터치 좌표 정보(TCOOR)는 호스트 프로세서(200)를 거치지 않고 디스플레이 컨트롤러(570)에 직접 제공되고, 터치 좌표 정보(TCOOR) 및 터치 속성 정보들(TA1, TA2)을 포함하는 터치 궤적 정보(TTRAJ)를 이용하여 터치 영상(TIMG) 및 합성 영상(CIMG)을 내부적/자체적으로 생성하며, 따라서 호스트 프로세서(200)에 의해 영상이 처리 및 생성되는 시간을 제거하여 터치 반응성이 획기적으로 개선될 수 있다. 또한, 노트(note)에 글을 쓰는 동작과 같이 원본 영상(IMG)의 변화 없이 터치 영상(TIMG)만 반영하는 경우에, 영상 처리는 디스플레이 드라이버(550a)에 의해서만 수행하면 되며, 따라서 호스트 프로세서(200)의 디스플레이 제어 경로(path)의 동작과 관련하여 영상 처리, 생성, 합성 등을 위해 소비하는 상당히 큰 전력을 추가로 줄일 수 있다.
도 4a 및 4b는 본 발명의 실시예들에 따른 터치 및 디스플레이 제어 장치에서 터치 궤적 정보를 생성 및 저장하는 동작을 설명하기 위한 도면들이다.
도 4a를 참조하면, 터치 스크린 패널(410) 상에 제1 터치 이벤트(TE1)가 발생하는 경우를 예시하고 있다. 제1 터치 이벤트(TE1)는 제1 객체가 우측으로 이동하는 것을 나타낼 수 있다.
터치 스크린 패널(410)의 위치는 각각 좌표를 가질 수 있다. 예를 들어, 터치 스크린 패널(410)의 좌측 하단의 좌표는 (0,0)이고 우측 상단의 좌표는 (1000,1500)일 수 있다.
도 4b를 참조하면, 도 4a의 제1 터치 이벤트(TE1)에 대응하여 메모리(560)에 저장된 터치 궤적 정보(TTRAJ)를 예시하고 있다. 터치 좌표 계산기(530)로부터 추출된 터치 좌표 정보(TCOOR) 및 제1 터치 속성 정보(TA1)와, 호스트 프로세서(200)로부터 수신된 제2 터치 속성 정보(TA2)를 시간적으로(즉, 시간 순서에 따라) 누적하여 저장함으로써, 터치 궤적 정보(TTRAJ)가 생성될 수 있다. 예를 들어, 시간 순서는 영상 프레임의 순서를 나타낼 수 있다. 터치 좌표 정보(TCOOR)는 X, Y, Z축에 대한 좌표를 나타낼 수 있다.
일 실시예에서, 제1 터치 속성 정보(TA1)는 제1 터치 이벤트(TE1)에 대한 모양, 크기, 방향(또는 각도) 및 필기 압력을 포함할 수 있고, 제2 터치 속성 정보(TA2)는 제1 터치 이벤트(TE1)에 대해 정의된 도구 및 색상을 포함할 수 있다. 예를 들어, 제1 터치 이벤트(TE1)는 4*4 크기의 원형 포인터를 이용하여 연필로 검정색으로 선을 그리는 동작을 나타낼 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 터치 속성 정보들(TA1, TA2)은 색상에 대한 그라데이션(gradation) 효과, 그림자 효과 등과 같은 보다 복잡하고 다양한 기능들을 더 포함할 수 있다.
도 5a, 5b, 5c, 6, 7a, 7b, 7c 및 8은 본 발명의 실시예들에 따른 터치 및 디스플레이 제어 장치에서 터치 영상을 생성하는 동작 및 합성 영상을 생성하는 동작을 설명하기 위한 도면들이다.
도 5a, 5b 및 5c를 참조하면, 도 4a 및 4b의 제1 터치 이벤트(TE1)에 대한 제1 터치 영상(TIMG1)을 생성하는 일 예를 예시하고 있으며, 제1 터치 영상(TIMG1)을 먼저 생성하고 이후에 제1 터치 영상(TIMG1)과 제1 원본 영상을 합성하는 경우를 예시하고 있다.
먼저 도 5a에 도시된 것처럼, 터치 궤적 정보(TTRAJ)에 포함된 터치 좌표 정보(TCOOR)에 기초하여 제1 픽셀들(PX_T)을 설정할 수 있다. 예를 들어, 비어 있는(empty) 영상에서 도 4b의 좌표들에 대응하는 제1 픽셀들(PX_T)을 선택할 수 있다.
다음에 도 5b에 도시된 것처럼, 터치 궤적 정보(TTRAJ)에 포함된 터치 좌표 정보(TCOOR) 및 제1 터치 속성 정보(TA1)에 기초하여 제1 터치 영상(TIMG1)과 관련된 제1 대상 픽셀들(PX_TGT)을 설정할 수 있다. 도 5a에 도시된 제1 픽셀들(PX_T)은 각각 하나의 터치 좌표에 대응하는 하나의 픽셀을 나타내며, 실제로는 제1 터치 이벤트(TE1)에 대한 모양, 크기, 방향 및 필기 압력을 고려하여 제1 터치 영상(TIMG1)을 생성하여야 하므로, 도 4b의 좌표들에 대응하는 제1 터치 속성 정보(TA1)를 반영하여 제1 대상 픽셀들(PX_TGT)을 선택할 수 있다.
다음에 도 5c에 도시된 것처럼, 터치 궤적 정보(TTRAJ)에 포함된 제2 터치 속성 정보(TA2)를 기초로 제1 대상 픽셀들(PX_TGT)의 픽셀 데이터를 설정하여 제1 터치 영상(TIMG1)을 생성할 수 있다. 예를 들어, 제1 터치 이벤트(TE1)는 연필로 검정색으로 선을 그리는 동작을 나타내므로, 도 4b의 좌표들에 대응하는 제2 터치 속성 정보(TA2)를 반영하여 제1 터치 영상(TIMG1)을 획득할 수 있다.
다시 말하면, 제1 터치 영상(TIMG1)을 생성하는데 있어서, 먼저 터치 좌표에 의해서 변환해야 하는 픽셀의 범위를 설정하며, 이 때 어플리케이션에 의해 부여된 필체의 두께, 형상 등을 반영하여 터치 좌표로부터 좌우상하로 어느 정도 범위의 픽셀들이 변경되어야 하는지 판단할 수 있다. 이후에, 해당 픽셀을 어떠한 데이터로 변경할 것인지 판단하여 데이터를 수정하며, 이 때 가장 두드러진 특성은 색상에 대한 속성일 수 있으며, 해당 색상에 대한 계조(grayscale) 정보를 수신하여 이 값들을 해당 픽셀의 데이터로 변경할 수 있다.
상술한 것처럼 제1 터치 영상(TIMG1)을 생성한 이후에, 영상 합성부(584)는 제1 터치 영상(TIMG1)과 상기 제1 원본 영상을 합성하여 제1 합성 영상을 생성할 수 있다. 이 때, 제1 터치 영상(TIMG1)은 영상 버퍼(562)와 다른 별도의 메모리에 일시적으로 저장되었다가 영상 합성부(584)에 의해 상기 제1 원본 영상과 합성될 수 있다.
도 6을 참조하면, 도 2의 합성 영상(CIMG)을 생성하는 일 예를 예시하고 있으며, 도 5a, 5b 및 5c를 참조하여 상술한 것과 유사하게, 터치 이벤트(TE)에 대응하는 터치 영상(TIMG)을 생성하고, 이후에 터치 영상(TIMG)과 원본 영상(OIMG)을 합성하여 합성 영상(CIMG)을 생성하는 경우를 나타내고 있다. 다시 말하면, 도 6은 터치 영상을 생성하고 난 뒤 이를 별도의 메모리에 저장하고 이후에 원본 영상과 합성하는 방식을 나타내고 있다.
도 7a, 7b 및 7c를 참조하면, 도 4a 및 4b의 제1 터치 이벤트(TE1)에 대한 제1 터치 영상(TIMG1)을 생성하는 다른 예를 예시하고 있으며, 제1 터치 영상(TIMG1)을 생성하는 동작 및 제1 터치 영상(TIMG1)과 제1 원본 영상(OIMG1)을 합성하여 제1 합성 영상(CIMG1)을 생성하는 동작이 실질적으로 동시에 수행되는 경우를 예시하고 있다.
먼저 도 7a에 도시된 것처럼, 터치 궤적 정보(TTRAJ)에 포함된 터치 좌표 정보(TCOOR)에 기초하여 제1 원본 영상(OIMG1) 내에서 제1 픽셀들(PX_T)을 설정할 수 있다. 다음에 도 7b에 도시된 것처럼, 터치 궤적 정보(TTRAJ)에 포함된 터치 좌표 정보(TCOOR) 및 제1 터치 속성 정보(TA1)에 기초하여 제1 원본 영상(OIMG1) 내에서 제1 터치 영상(TIMG1)과 관련된 제1 대상 픽셀들(PX_TGT)을 설정할 수 있다. 다음에 도 7c에 도시된 것처럼, 터치 궤적 정보(TTRAJ)에 포함된 제2 터치 속성 정보(TA2)를 기초로 제1 원본 영상(OIMG1) 내에서 제1 대상 픽셀들(PX_TGT)의 픽셀 데이터를 설정하여 제1 합성 영상(CIMG1)을 생성할 수 있다.
제1 터치 영상(TIMG1)을 먼저 생성하고 이후에 영상 합성부(584)가 제1 터치 영상(TIMG1)과 상기 제1 원본 영상을 합성하는 도 5a, 5b 및 5c의 실시예와 다르게, 도 7a, 7b 및 7c의 실시예에서는 영상 합성부(584)가 영상 버퍼(562) 및 제1 프로세싱부(582)를 통과한 제1 원본 영상(OIMG1)의 픽셀 데이터를 변경함으로써, 터치 영상 생성 동작 및 영상 합성 동작을 한 번에 수행할 수 있다.
도 8을 참조하면, 도 2의 합성 영상(CIMG)을 생성하는 다른 예를 예시하고 있으며, 도 7a, 7b 및 7c를 참조하여 상술한 것과 유사하게, 영상 합성부(584)가 원본 영상(OIMG) 내에서 터치 이벤트(TE)에 대응하는 픽셀 데이터를 변경하여 합성 영상(CIMG)을 생성하는 경우를 나타내고 있다. 다시 말하면, 도 8은 터치 영상 생성 동작과 영상 버퍼(562) 및 제1 프로세싱부(582)를 통과한 원본 영상의 픽셀 데이터 변경이 동시에 이루어져 소스 드라이버(590)로 신호를 출력하는 방식을 나타내고 있다.
일 실시예에서, 도 5a, 5b, 5c, 6, 7a, 7b, 7c 및 8을 참조하여 상술한 터치 영상을 생성하는 동작 및 합성 영상을 생성하는 동작은 영상 합성부(584)에 의해 수행될 수 있다. 예를 들어, 영상 합성부(584)는 기본 영상(또는 원본 영상)에 터치 궤적 및 그 속성을 반영하여 각 픽셀의 계조 정보를 변환할 수 있다. 합성할 이미지의 속성(예를 들어, 붓, 펜, 연필, 지우개 등과 같은 쓰는 도구의 느낌, 이미지 크기, 색상, 그림자 효과 등)은 미리 부여 받아 저장할 수 있고, 어플리케이션에서 해당 기능의 속성 변경이 발생할 때 재수신할 수 있다. 또한, 영상 합성부(584)는 다양한 영상 특성을 생성할 수 있는 별도의 기능을 가지고 있을 수 있다. 예를 들어, 터치 좌표 주위로 약 2~3 픽셀 정도의 필체의 굵기를 형성하고, 그라데이션을 넣는 기능 등을 가질 수 있으며, 그 밖에 더욱 복잡한 기능도 구현 가능할 수 있다.
한편, 합성 영상(CIMG)을 생성하는 방식은 상술한 실시예에 한정되지 않으며, 실시예에 따라서 다양하게 변경될 수 있다. 예를 들어, 영상 버퍼(562)가 압축되지 않은 영상 데이터(non-compressed data)를 가지고 있는 경우에는 터치 영상을 직접 영상 버퍼(562)에 기입하는 방식으로 구현될 수도 있고, 제2 프로세싱부(586)의 후단에 제2 영상 버퍼를 추가로 배치하여 합성 영상을 저장하고 이를 기반으로 소스 드라이버(590)로 신호를 출력하는 방식으로 구현될 수도 있다.
도 9a 및 9b는 본 발명의 실시예들에 따른 터치 및 디스플레이 제어 장치에서 터치 궤적 정보를 생성 및 저장하는 동작을 설명하기 위한 도면들이다. 이하 도 4a 및 4b와 중복되는 설명은 생략한다.
도 9a를 참조하면, 터치 스크린 패널(410) 상에 복수의 터치 이벤트들(TE1, TE2, TE3)이 발생하는 멀티 터치 상황(또는 환경)의 경우를 예시하고 있다. 제1 터치 이벤트(TE1)는 도 4a의 제1 터치 이벤트(TE1)와 실질적으로 동일할 수 있다. 제2 터치 이벤트(TE2)는 제2 객체가 우측 상단으로의 대각선 방향으로 이동하는 것을 나타낼 수 있다. 제3 터치 이벤트(TE3)는 제3 객체가 좌측으로 이동하는 것을 나타낼 수 있다.
도 9b를 참조하면, 도 9a의 복수의 터치 이벤트들(TE1, TE2, TE3)에 대응하여 메모리(560)에 저장된 복수의 터치 궤적 정보(TTRAJ)들을 예시하고 있다. 도 9b에 도시된 것처럼, 복수의 터치 이벤트들(TE1, TE2, TE3) 각각에 대해 터치 좌표 정보(TCOOR), 제1 터치 속성 정보(TA1) 및 제2 터치 속성 정보(TA2)를 누적하여 터치 궤적 정보(TTRAJ)를 복수 개 포함하는 터치 궤적 테이블을 생성할 수 있다. 상기 터치 궤적 테이블에서, 터치 ID(identification)는 터치 이벤트의 순서에 따라 부여될 수 있다. 예를 들어, 가장 먼저 발생된 제1 터치 이벤트(TE1)에 대해 1번의 터치 ID가 부여될 수 있다.
예를 들어, 제2 터치 이벤트(TE2)는 4*6 크기의 타원형 포인터를 이용하여 붓으로 빨간색으로 선을 그리는 동작을 나타낼 수 있다. 예를 들어, 제3 터치 이벤트(TE3)는 15*15 크기의 원형 포인터를 이용하여 지우개로 선을 지우는 동작을 나타낼 수 있다.
도 10, 11 및 12는 도 1의 터치 및 디스플레이 제어 장치와 이를 포함하는 디스플레이 장치 및 전자 시스템의 구체적인 다른 예들을 나타내는 블록도들이다. 이하 도 2와 중복되는 설명은 생략한다.
도 10을 참조하면, 전자 시스템(100b)은 호스트 프로세서(200), 디스플레이 장치 및 메모리(600)를 포함한다. 상기 디스플레이 장치는 터치 스크린 패널(410) 및 디스플레이 패널(450)을 포함하는 패널과, 터치 스크린 컨트롤러(510a) 및 디스플레이 드라이버(550b)를 포함하는 터치 및 디스플레이 제어 장치를 포함한다.
디스플레이 드라이버(550b)는 메모리(560), 디스플레이 컨트롤러(570), 영상 프로세서(580) 및 소스 드라이버(590)를 포함하며, 영상 버퍼(562), 영상 생성기(564), 픽셀 기반 궤적 테이블(566) 및 인터페이스(572)를 더 포함할 수 있다.
디스플레이 드라이버(550b)의 구성이 일부 변경되는 것을 제외하면, 도 10의 전자 시스템(100b)은 도 2의 전자 시스템(100a)과 실질적으로 동일할 수 있다. 영상 생성기(564) 및 픽셀 기반 궤적 테이블(566)을 더 포함하는 것을 제외하면, 도 10의 디스플레이 드라이버(550b)는 도 2의 디스플레이 드라이버(550a)와 실질적으로 동일할 수 있다.
픽셀 기반 궤적 테이블(566)은 궤적 좌표를 기반으로 표시되어야 할 터치 영역을 픽셀 기반으로 계조 정보를 저장하는 형태로 구현될 수 있으며, 예를 들어 도 9b에 도시된 것처럼 구현될 수 있다. 영상 생성기(564)는 영상 프로세서(580)에 의해 수행되는 영상 생성 기능의 적어도 일부를 수행할 수 있다. 다시 말하면, 도 10의 실시예는 영상 프로세서(580)의 일부 기능을 수행하는 블록 또는 IP(Intellectual Property)를 영상 프로세서(580)의 외부에 배치하는 경우를 나타낼 수 있다.
도 11을 참조하면, 전자 시스템(100c)은 호스트 프로세서(200), 디스플레이 장치 및 메모리(600)를 포함한다. 상기 디스플레이 장치는 터치 스크린 패널(410) 및 디스플레이 패널(450)을 포함하는 패널과, 터치 스크린 컨트롤러(510c) 및 디스플레이 드라이버(550c)를 포함하는 터치 및 디스플레이 제어 장치를 포함한다.
도 11은 터치 스크린 컨트롤러(510c) 및 디스플레이 드라이버(550c)가 분리된 별개의 칩으로 형성되는 실시예를 나타내고 있다. 즉, 터치 스크린 컨트롤러(510c) 및 디스플레이 드라이버(550c)가 별개의 칩으로 분리되는 것을 제외하면, 도 11의 전자 시스템(100c)은 도 2의 전자 시스템(100a)과 실질적으로 동일할 수 있다.
일 실시예에서, 터치 스크린 컨트롤러(510c)에서 디스플레이 드라이버(550c)로 터치 좌표 정보(TCOOR) 및 제1 터치 속성 정보(TA1)를 전송하는데 사용되는 인터페이스는 상대적으로 저속의 인터페이스일 수 있다. 예를 들어, 상기 인터페이스는 I2C(Inter-Integrated Circuit) 또는 SPI(Serial Peripheral Interface)일 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 상기 인터페이스는 다양한 방식으로 구현되는 임의의 인터페이스일 수 있다.
도 12를 참조하면, 전자 시스템(100d)은 호스트 프로세서(200), 디스플레이 장치 및 메모리(600)를 포함한다. 상기 디스플레이 장치는 터치 스크린 패널(410) 및 디스플레이 패널(450)을 포함하는 패널과, 터치 스크린 컨트롤러(510d) 및 디스플레이 드라이버(550d)를 포함하는 터치 및 디스플레이 제어 장치를 포함한다.
도 12는 터치 스크린 컨트롤러(510d)의 일부 및 디스플레이 드라이버(550d)의 일부가 하나의 칩으로 형성되고 터치 스크린 컨트롤러(510d)의 다른 일부 및 디스플레이 드라이버(550d)의 다른 일부가 다른 하나의 칩으로 형성되는 실시예를 나타내고 있다. 즉, 터치 스크린 컨트롤러(510d) 및 디스플레이 드라이버(550d)를 2개의 칩으로 구현하는 것을 제외하면, 도 12의 전자 시스템(100d)은 도 2의 전자 시스템(100a)과 실질적으로 동일할 수 있다.
일 실시예에서, 독출 회로(520) 및 소스 드라이버(590)는 하나의 칩으로 형성되고, 독출 회로(520) 및 소스 드라이버(590)를 제외한 나머지 구성들인 터치 좌표 계산기(530), 메모리(560), 영상 버퍼(562), 디스플레이 컨트롤러(570), 인터페이스(572) 및 영상 프로세서(580)는 다른 하나의 칩으로 형성될 수 있다. 독출 회로(520) 및 소스 드라이버(590)는 아날로그 회로들에 대응하고, 터치 좌표 계산기(530), 메모리(560), 영상 버퍼(562), 디스플레이 컨트롤러(570), 인터페이스(572) 및 영상 프로세서(580)는 디지털 회로들에 대응하며, 따라서 아날로그 회로들을 하나의 칩으로 구현하고 디지털 회로들을 다른 하나의 칩으로 구현할 수 있다. 실시예에 따라서, 독출 회로(520) 및 소스 드라이버(590)는 분리되어 제조되며 분리된 별개의 칩으로 형성될 수도 있다.
도 11 및 12의 실시예에서, 호스트 프로세서(200)는 터치 궤적 정보(TTRAJ)를 디스플레이 드라이버(550c, 550d)로부터 제공받는 것과 별개로 터치 관련 정보를 필요 시에 터치 스크린 컨트롤러(510c, 510d)로부터 직접 제공받을 수도 있다. 예를 들어, 도 11에 도시된 것처럼, 호스트 프로세서(200)는 좌표 요청 신호(REQC)를 생성하며, 터치 스크린 컨트롤러(510c)는 좌표 요청 신호(REQC)에 기초하여 터치 좌표 정보(TCOOR) 및 제1 터치 속성 정보(TA1)를 호스트 프로세서(200)에 전송할 수 있다. 다른 예에서, 도 12에 도시된 것처럼, 호스트 프로세서(200)는 원시 데이터 요청 신호(REQR)를 생성하며, 터치 스크린 컨트롤러(510d)는 원시 데이터 요청 신호(REQR)에 기초하여 터치 원시 데이터(TRDAT)를 호스트 프로세서(200)에 전송할 수 있다. 다만 이 경우에도 본 발명의 실시예들에 따라서 터치 영상(TIMG) 및 합성 영상(CIMG)은 내부적/자체적으로 생성 및 처리될 수 있다.
한편, 도시하지는 않았으나, 도 11 및 12의 디스플레이 드라이버(550c, 550d)는 도 10을 참조하여 상술한 것처럼 영상 생성기(564) 및 픽셀 기반 궤적 테이블(566)을 더 포함할 수도 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
도 13은 본 발명의 실시예들에 따른 디스플레이 장치의 구동 방법을 나타내는 순서도이다.
도 13을 참조하면, 본 발명의 실시예들에 따른 디스플레이 장치는 터치 스크린 패널, 디스플레이 패널, 및 터치 및 디스플레이 제어 장치를 포함한다. 상기 터치 및 디스플레이 제어 장치는 터치 스크린 컨트롤러 및 디스플레이 드라이버를 포함한다. 디스플레이 장치의 구성 및 동작은 도 1 내지 12를 참조하여 상술한 것과 실질적으로 동일할 수 있다.
본 발명의 실시예들에 따른 디스플레이 장치의 구동 방법에서, 상기 터치 스크린 컨트롤러가 상기 터치 스크린 패널 상의 터치 이벤트를 검출하여 터치 좌표 정보 및 터치 속성 정보를 추출한다(단계 S100). 단계 S100은 도 14를 참조하여 후술하도록 한다.
상기 디스플레이 드라이버가 호스트 프로세서를 거치지 않고 수신된 상기 터치 좌표 정보 및 상기 터치 속성 정보를 누적하여 터치 궤적 정보를 생성 및 저장하고, 상기 터치 궤적 정보에 기초하여 원본 영상과 함께 표시될 터치 영상을 내부적으로 생성하며, 상기 원본 영상과 상기 터치 영상이 합성된 합성 영상을 생성 및 표시한다(단계 S200). 단계 S200은 도 15 내지 17을 참조하여 후술하도록 한다.
도 14는 도 13의 터치 좌표 정보 및 터치 속성 정보를 추출하는 단계의 일 예를 나타내는 순서도이다.
도 13 및 14를 참조하면, 상기 터치 스크린 컨트롤러가 상기 터치 좌표 정보 및 상기 터치 속성 정보를 추출하는데 있어서(단계 S100), 상기 터치 스크린 패널로부터 터치 센싱 신호를 수신하고(단계 S110), 상기 터치 센싱 신호에 기초하여 터치 원시 데이터를 생성할 수 있다(단계 S120). 예를 들어, 단계 S110 및 S120은 상기 터치 스크린 컨트롤러에 포함되는 독출 회로(예를 들어, 도 2의 520)에 의해 수행될 수 있다.
상기 터치 원시 데이터에 기초하여 상기 터치 좌표 정보 및 제1 터치 속성 정보를 추출할 수 있다(단계 S130). 예를 들어, 단계 S130은 상기 터치 스크린 컨트롤러에 포함되는 터치 좌표 계산기(예를 들어, 도 2의 530)에 의해 수행될 수 있다.
도 15는 도 13의 합성 영상을 생성 및 표시하는 단계의 일 예를 나타내는 순서도이다.
도 13 및 15를 참조하면, 상기 디스플레이 드라이버가 상기 터치 궤적 정보를 생성 및 저장하고, 상기 터치 영상을 내부적으로 생성하며, 상기 합성 영상을 생성 및 표시하는데 있어서(단계 S200), 상기 호스트 프로세서를 거치지 않고 상기 터치 스크린 컨트롤러로부터 상기 터치 좌표 정보 및 상기 제1 터치 속성 정보를 직접 수신하고(단계 S210), 상기 호스트 프로세서로부터 상기 원본 영상을 수신하며(단계 S220), 상기 터치 좌표 정보 및 상기 제1 터치 속성 정보를 누적하여 상기 터치 궤적 정보를 생성할 수 있다(단계 S230). 예를 들어, 단계 S210, S220 및 S230은 상기 디스플레이 드라이버에 포함되는 디스플레이 컨트롤러(예를 들어, 도 2의 570)에 의해 수행될 수 있다.
일 실시예에서, 단계 S220에서 상기 호스트 프로세서로부터 제2 터치 속성 정보를 더 수신할 수 있고, 단계 S230에서 상기 터치 좌표 정보, 상기 제1 터치 속성 정보 및 상기 제2 터치 속성 정보를 누적하여 상기 터치 궤적 정보를 생성할 수 있다
상기 터치 궤적 정보를 내부 메모리에 저장할 수 있다(단계 S240). 예를 들어, 단계 S240은 상기 디스플레이 드라이버에 포함되는 메모리(예를 들어, 도 2의 560)에 의해 수행될 수 있다.
상기 터치 궤적 정보에 기초하여 상기 원본 영상과 함께 표시될 상기 터치 영상을 내부적으로 생성하고(단계 S250), 상기 원본 영상과 상기 터치 영상을 합성하여 상기 합성 영상을 생성하며(단계 S260), 상기 합성 영상을 표시하도록 상기 디스플레이 패널을 제어할 수 있다(단계 S270). 예를 들어, 단계 S250 및 S260은 상기 디스플레이 드라이버에 포함되는 영상 합성부(예를 들어, 도 2의 584)에 의해 수행되고, 단계 S270은 상기 디스플레이 드라이버에 포함되는 소스 드라이버(예를 들어, 도 2의 590)에 의해 수행될 수 있다.
도 16은 도 15의 터치 영상을 생성하는 단계의 일 예를 나타내는 순서도이다. 도 16의 실시예는 상기 터치 영상을 내부적으로 생성하는 단계가 수행된 이후에 상기 합성 영상을 생성하는 단계가 수행되는 경우를 나타내고 있다.
도 15 및 16을 참조하면, 상기 터치 영상을 내부적으로 생성하는데 있어서(단계 S250), 상기 터치 영상과 관련된 대상 픽셀들을 설정하고(단계 S252), 상기 대상 픽셀들의 픽셀 데이터를 설정하여 상기 터치 영상을 생성할 수 있다(단계 S254). 이후에 상기 원본 영상과 상기 터치 영상을 합성하여 상기 합성 영상을 생성할 수 있다. 도 16의 실시예는 도 5a, 5b, 5c 및 6을 참조하여 상술한 동작에 대응할 수 있다.
도 17은 도 15의 터치 영상을 생성하는 단계 및 합성 영상을 생성하는 단계의 일 예를 나타내는 순서도이다. 도 17의 실시예는 상기 터치 영상을 내부적으로 생성하는 단계 및 상기 합성 영상을 생성하는 단계가 실질적으로 동시에 수행되는 경우를 나타내고 있다.
도 15 및 17을 참조하면, 상기 터치 영상을 내부적으로 생성하는데 있어서(단계 S250), 상기 원본 영상 내에서 상기 터치 영상과 관련된 대상 픽셀들을 설정할 수 있다. 상기 합성 영상을 생성하는데 있어서(단계 S260), 상기 원본 영상 내에서 상기 대상 픽셀들의 픽셀 데이터를 변경하여 상기 합성 영상을 생성할 수 있다(단계 S262). 도 17의 실시예는 도 7a, 7b, 7c 및 8을 참조하여 상술한 동작에 대응할 수 있다.
한편, 본 발명의 실시예들은 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터로 판독 가능한 프로그램 코드를 포함하는 제품 등의 형태로 구현될 수도 있다. 상기 컴퓨터로 판독 가능한 프로그램 코드는 다양한 컴퓨터 또는 다른 데이터 처리 장치의 프로세서로 제공될 수 있다. 상기 컴퓨터로 판독 가능한 매체는 컴퓨터로 판독 가능한 신호 매체 또는 컴퓨터로 판독 가능한 기록 매체일 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 명령어 실행 시스템, 장비 또는 장치 내에 또는 이들과 접속되어 프로그램을 저장하거나 포함할 수 있는 임의의 유형적인 매체일 수 있다. 예를 들어, 상기 컴퓨터로 판독 가능한 매체는 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, 비일시적은 저장 매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장 매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
도 18은 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도이다.
도 18을 참조하면, 전자 시스템(1000)은 프로세서(1010), 메모리 장치(1020), 통신부(1030), 입출력 장치(1040), 파워 서플라이(1050) 및 디스플레이 장치(1060)를 포함할 수 있다. 전자 시스템(1000)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 시스템들과 통신할 수 있는 여러 포트(port)들을 더 포함할 수 있다.
프로세서(1010)는 전자 시스템(1000)의 전반적인 동작을 제어하고, 운영 체제, 어플리케이션 등을 실행할 수 있다. 메모리 장치(1020)는 전자 시스템(1000)의 동작에 필요한 데이터들을 저장할 수 있다. 통신부(1030)는 외부 시스템과 유/무선으로 통신할 수 있다. 입출력 장치(1040)는 키보드, 키패드, 터치패드, 터치스크린, 마우스, 리모트 컨트롤러 등과 같은 입력 수단, 및 스피커, 프린터 등과 같은 출력 수단을 포함할 수 있다. 파워 서플라이(1050)는 전자 시스템(1000)의 동작에 필요한 파워를 공급할 수 있다.
디스플레이 장치(1060)는 본 발명의 실시예들에 따른 디스플레이 장치이며, 터치 스크린 패널, 디스플레이 패널, 및 본 발명의 실시예들에 따른 터치 및 디스플레이 제어 장치를 포함한다. 프로세서(1010), 디스플레이 장치(1060) 및 메모리 장치(1020)는 각각 도 1 등의 호스트 프로세서(200), 디스플레이 장치(300) 및 메모리(600)에 대응할 수 있다.
본 발명의 실시예들은 터치 스크린 패널을 구비하는 디스플레이 장치를 포함하는 임의의 전자 장치 및 시스템에 유용하게 이용될 수 있다. 예를 들어, 본 발명의 실시예들은 PC(Personal Computer), 서버 컴퓨터(server computer), 데이터 센터(data center), 워크스테이션(workstation), 노트북(laptop), 핸드폰(cellular), 스마트 폰(smart phone), MP3 플레이어, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 디지털 TV, 디지털 카메라, 포터블 게임 콘솔(portable game console), 네비게이션(navigation) 기기, 웨어러블(wearable) 기기, IoT(Internet of Things) 기기, IoE(Internet of Everything) 기기, e-북(e-book), VR(Virtual Reality) 기기, AR(Augmented Reality) 기기, 드론(drone) 등과 같은 전자 시스템에 더욱 유용하게 적용될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (20)

  1. 터치 스크린 패널로부터 터치 센싱 신호를 수신하고, 상기 터치 센싱 신호에 기초하여 터치 원시(raw) 데이터를 생성하며, 상기 터치 원시 데이터에 기초하여 터치 좌표 정보 및 제1 터치 속성 정보를 추출하는 터치 스크린 컨트롤러; 및
    외부의 호스트 프로세서로부터 원본 영상을 수신하고, 상기 터치 스크린 컨트롤러로부터 상기 터치 좌표 정보 및 상기 제1 터치 속성 정보를 직접 수신하고, 상기 터치 좌표 정보 및 상기 제1 터치 속성 정보를 누적하여 생성된 터치 궤적 정보를 저장하는 메모리를 포함하고, 상기 터치 궤적 정보에 기초하여 상기 원본 영상과 함께 표시될 터치 영상을 내부적으로 생성하고, 상기 원본 영상과 상기 터치 영상을 합성하여 합성 영상을 생성하며, 상기 합성 영상을 표시하도록 디스플레이 패널을 제어하는 디스플레이 드라이버를 포함하는 터치 및 디스플레이 제어 장치.
  2. 제 1 항에 있어서,
    상기 터치 좌표 정보 및 상기 제1 터치 속성 정보는 상기 터치 스크린 컨트롤러로부터 상기 호스트 프로세서로 전송되지 않으며,
    상기 터치 영상은 상기 호스트 프로세서에 의해 생성되지 않고 상기 디스플레이 드라이버에 의해 자체적으로 생성되는 것을 특징으로 하는 터치 및 디스플레이 제어 장치.
  3. 제 1 항에 있어서,
    상기 원본 영상이 정지 영상인 경우에, 상기 호스트 프로세서는 상기 디스플레이 드라이버에 상기 원본 영상을 전송한 이후에 파워 다운(power down) 모드로 진입하는 것을 특징으로 하는 터치 및 디스플레이 제어 장치.
  4. 제 3 항에 있어서, 상기 디스플레이 드라이버는,
    상기 원본 영상을 저장하는 영상 버퍼를 더 포함하는 것을 특징으로 하는 터치 및 디스플레이 제어 장치.
  5. 제 1 항에 있어서,
    상기 디스플레이 드라이버는 상기 메모리에 저장된 상기 터치 궤적 정보를 주기적으로 상기 호스트 프로세서로 전송하는 것을 특징으로 하는 터치 및 디스플레이 제어 장치.
  6. 제 1 항에 있어서,
    상기 디스플레이 드라이버는 상기 호스트 프로세서로부터 요청이 수신되는 경우에 또는 상기 메모리의 상태에 따라 상기 메모리에 저장된 상기 터치 궤적 정보를 상기 호스트 프로세서로 전송하는 것을 특징으로 하는 터치 및 디스플레이 제어 장치.
  7. 제 1 항에 있어서, 상기 디스플레이 드라이버는,
    상기 호스트 프로세서로부터 상기 제1 터치 속성 정보와 다른 제2 터치 속성 정보를 더 수신하고,
    상기 터치 좌표 정보, 상기 제1 터치 속성 정보 및 상기 제2 터치 속성 정보를 누적하여 상기 터치 궤적 정보를 생성하는 것을 특징으로 하는 터치 및 디스플레이 제어 장치.
  8. 제 7 항에 있어서,
    상기 제1 터치 속성 정보는 상기 터치 센싱 신호에 대응하는 터치 이벤트에 대한 모양, 크기, 방향 및 필기 압력 중 적어도 하나를 포함하고,
    상기 제2 터치 속성 정보는 상기 터치 이벤트에 대해 정의된 도구 및 색상 중 적어도 하나를 포함하는 것을 특징으로 하는 터치 및 디스플레이 제어 장치.
  9. 제 7 항에 있어서, 상기 디스플레이 드라이버는,
    상기 터치 궤적 정보에 포함된 상기 터치 좌표 정보 및 상기 제1 터치 속성 정보에 기초하여 상기 터치 영상과 관련된 대상 픽셀들을 설정하고,
    상기 제2 터치 속성 정보를 기초로 상기 대상 픽셀들의 픽셀 데이터를 설정하여 상기 터치 영상을 생성하는 것을 특징으로 하는 터치 및 디스플레이 제어 장치.
  10. 제 7 항에 있어서, 상기 디스플레이 드라이버는,
    상기 터치 궤적 정보에 포함된 상기 터치 좌표 정보 및 상기 제1 터치 속성 정보에 기초하여 상기 원본 영상 내에서 상기 터치 영상과 관련된 대상 픽셀들을 설정하고,
    상기 제2 터치 속성 정보를 기초로 상기 원본 영상 내에서 상기 대상 픽셀들의 픽셀 데이터를 변경하여 상기 합성 영상을 생성하며,
    상기 터치 영상을 내부적으로 생성하는 동작 및 상기 합성 영상을 생성하는 동작은 동시에 수행되는 것을 특징으로 하는 터치 및 디스플레이 제어 장치.
  11. 제 7 항에 있어서, 상기 디스플레이 드라이버는,
    상기 터치 스크린 패널 상에 복수의 터치 이벤트들이 동시에 발생하는 멀티 터치 상황에서, 상기 복수의 터치 이벤트들 각각에 대해 상기 터치 좌표 정보, 상기 제1 터치 속성 정보 및 상기 제2 터치 속성 정보를 누적하여 상기 터치 궤적 정보를 복수 개 포함하는 터치 궤적 테이블을 생성하는 것을 특징으로 하는 터치 및 디스플레이 제어 장치.
  12. 제 1 항에 있어서, 상기 터치 스크린 컨트롤러는,
    상기 터치 센싱 신호에 기초하여 상기 터치 원시 데이터를 생성하는 독출 회로; 및
    상기 터치 원시 데이터에 기초하여 상기 터치 좌표 정보 및 상기 제1 터치 속성 정보를 추출하는 터치 좌표 계산기를 포함하는 것을 특징으로 하는 터치 및 디스플레이 제어 장치.
  13. 제 12 항에 있어서, 상기 디스플레이 드라이버는,
    상기 터치 좌표 정보 및 상기 제1 터치 속성 정보를 누적하여 상기 터치 궤적 정보를 생성하고, 상기 터치 궤적 정보를 상기 메모리에 제공하는 디스플레이 컨트롤러;
    상기 터치 궤적 정보에 기초하여 상기 터치 영상을 내부적으로 생성하고, 상기 원본 영상과 상기 터치 영상을 합성하여 상기 합성 영상을 생성하는 영상 프로세서; 및
    상기 합성 영상에 기초하여 상기 디스플레이 패널에 제공되는 복수의 데이터 전압들을 생성하는 소스 드라이버를 포함하는 것을 특징으로 하는 터치 및 디스플레이 제어 장치.
  14. 제 13 항에 있어서,
    상기 독출 회로 및 상기 소스 드라이버는 하나의 칩으로 형성되고,
    상기 터치 좌표 계산기, 상기 디스플레이 컨트롤러 및 상기 영상 프로세서는 다른 하나의 칩으로 형성되는 것을 특징으로 하는 터치 및 디스플레이 제어 장치.
  15. 제 1 항에 있어서,
    상기 터치 스크린 컨트롤러 및 상기 디스플레이 드라이버는 하나의 칩으로 형성되는 것을 특징으로 하는 터치 및 디스플레이 제어 장치.
  16. 제 1 항에 있어서,
    상기 터치 스크린 컨트롤러 및 상기 디스플레이 드라이버는 분리된 별개의 칩으로 형성되는 것을 특징으로 하는 터치 및 디스플레이 제어 장치.
  17. 터치 이벤트를 검출하는 터치 스크린 패널;
    원본 영상 및 상기 터치 이벤트에 대응하는 터치 영상을 함께 표시하는 디스플레이 패널; 및
    상기 터치 스크린 패널 및 상기 디스플레이 패널의 동작을 제어하는 터치 및 디스플레이 제어 장치를 포함하고,
    상기 터치 및 디스플레이 제어 장치는,
    상기 터치 스크린 패널로부터 상기 터치 이벤트에 대응하는 터치 센싱 신호를 수신하고, 상기 터치 센싱 신호에 기초하여 터치 원시(raw) 데이터를 생성하며, 상기 터치 원시 데이터에 기초하여 터치 좌표 정보 및 제1 터치 속성 정보를 추출하는 터치 스크린 컨트롤러; 및
    외부의 호스트 프로세서로부터 상기 원본 영상을 수신하고, 상기 터치 스크린 컨트롤러로부터 상기 터치 좌표 정보 및 상기 제1 터치 속성 정보를 직접 수신하고, 상기 터치 좌표 정보 및 상기 제1 터치 속성 정보를 누적하여 생성된 터치 궤적 정보를 저장하는 메모리를 포함하고, 상기 터치 궤적 정보에 기초하여 상기 원본 영상과 함께 표시될 상기 터치 영상을 내부적으로 생성하고, 상기 원본 영상과 상기 터치 영상을 합성하여 합성 영상을 생성하며, 상기 합성 영상을 표시하도록 상기 디스플레이 패널을 제어하는 디스플레이 드라이버를 포함하는 디스플레이 장치.
  18. 터치 스크린 컨트롤러가 터치 스크린 패널 상의 터치 이벤트를 검출하여 터치 좌표 정보 및 제1 터치 속성 정보를 추출하는 단계;
    디스플레이 드라이버가 외부의 호스트 프로세서를 거치지 않고 상기 터치 스크린 컨트롤러로부터 상기 터치 좌표 정보 및 상기 제1 터치 속성 정보를 직접 수신하는 단계;
    상기 디스플레이 드라이버가 상기 호스트 프로세서로부터 원본 영상을 수신하는 단계;
    상기 디스플레이 드라이버가 상기 터치 좌표 정보 및 상기 제1 터치 속성 정보를 누적하여 터치 궤적 정보를 생성하는 단계;
    상기 디스플레이 드라이버가 상기 터치 궤적 정보를 내부 메모리에 저장하는 단계;
    상기 디스플레이 드라이버가 상기 터치 궤적 정보에 기초하여 상기 원본 영상과 함께 표시될 터치 영상을 내부적으로 생성하는 단계;
    상기 디스플레이 드라이버가 상기 원본 영상과 상기 터치 영상을 합성하여 합성 영상을 생성하는 단계; 및
    상기 디스플레이 드라이버가 상기 합성 영상을 표시하도록 디스플레이 패널을 제어하는 단계를 포함하는 디스플레이 장치의 구동 방법.
  19. 제 18 항에 있어서,
    상기 터치 영상을 내부적으로 생성하는 단계가 수행된 이후에 상기 합성 영상을 생성하는 단계가 수행되며,
    상기 터치 영상을 내부적으로 생성하는 단계는,
    상기 터치 영상과 관련된 대상 픽셀들을 설정하는 단계; 및
    상기 대상 픽셀들의 픽셀 데이터를 설정하여 상기 터치 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 디스플레이 장치의 구동 방법.
  20. 제 18 항에 있어서,
    상기 터치 영상을 내부적으로 생성하는 단계 및 상기 합성 영상을 생성하는 단계는 동시에 수행되며,
    상기 터치 영상을 내부적으로 생성하는 단계 및 상기 합성 영상을 생성하는 단계는,
    상기 원본 영상 내에서 상기 터치 영상과 관련된 대상 픽셀들을 설정하는 단계; 및
    상기 원본 영상 내에서 상기 대상 픽셀들의 픽셀 데이터를 변경하여 상기 합성 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 디스플레이 장치의 구동 방법.

KR1020200055916A 2020-05-11 2020-05-11 빠른 터치 반응성을 가지는 터치 및 디스플레이 제어 장치, 이를 포함하는 디스플레이 장치 및 이의 구동 방법 KR20210137710A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200055916A KR20210137710A (ko) 2020-05-11 2020-05-11 빠른 터치 반응성을 가지는 터치 및 디스플레이 제어 장치, 이를 포함하는 디스플레이 장치 및 이의 구동 방법
US17/189,503 US11422653B2 (en) 2020-05-11 2021-03-02 Touch and display control device with fast touch responsiveness, display device including the same, method of operating the same and electronic system including the same
CN202110421425.XA CN113641290A (zh) 2020-05-11 2021-04-19 触摸和显示控制设备、显示设备及其操作方法、电子系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200055916A KR20210137710A (ko) 2020-05-11 2020-05-11 빠른 터치 반응성을 가지는 터치 및 디스플레이 제어 장치, 이를 포함하는 디스플레이 장치 및 이의 구동 방법

Publications (1)

Publication Number Publication Date
KR20210137710A true KR20210137710A (ko) 2021-11-18

Family

ID=78412637

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200055916A KR20210137710A (ko) 2020-05-11 2020-05-11 빠른 터치 반응성을 가지는 터치 및 디스플레이 제어 장치, 이를 포함하는 디스플레이 장치 및 이의 구동 방법

Country Status (3)

Country Link
US (1) US11422653B2 (ko)
KR (1) KR20210137710A (ko)
CN (1) CN113641290A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115016666B (zh) * 2021-11-18 2023-08-25 荣耀终端有限公司 触控处理方法、终端设备以及存储介质
CN114510159A (zh) * 2021-12-30 2022-05-17 锐捷网络股份有限公司 书写轨迹显示方法、装置及存储介质
TWI822154B (zh) * 2022-06-29 2023-11-11 華碩電腦股份有限公司 電子裝置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416197B2 (en) 2007-06-15 2013-04-09 Ricoh Co., Ltd Pen tracking and low latency display updates on electronic paper displays
JP4442683B2 (ja) 2007-11-27 2010-03-31 セイコーエプソン株式会社 表示システム、表示装置及びプログラム
KR20100104804A (ko) * 2009-03-19 2010-09-29 삼성전자주식회사 Ｄｄｉ, ｄｄｉ 제공방법 및 상기 ｄｄｉ를 포함하는 데이터 처리 장치
JP6106983B2 (ja) 2011-11-30 2017-04-05 株式会社リコー 画像表示装置、画像表示システム、方法及びプログラム
US9383840B2 (en) 2013-04-22 2016-07-05 Samsung Display Co., Ltd. Method and apparatus to reduce display lag using image overlay
US10156976B2 (en) 2014-01-30 2018-12-18 Samsung Display Co., Ltd. System and method in managing low-latency direct control feedback
US9710098B2 (en) * 2014-03-31 2017-07-18 Samsung Display Co., Ltd. Method and apparatus to reduce latency of touch events
US9666108B2 (en) * 2014-12-24 2017-05-30 Synaptics Incorporated Opportunistic compression for display self refresh
US9804709B2 (en) 2015-04-28 2017-10-31 Samsung Display Co., Ltd. Vector fill segment method and apparatus to reduce display latency of touch events
WO2018003841A1 (ja) * 2016-06-28 2018-01-04 株式会社ワコム シリアル通信方法及びセンサコントローラ
TWI641987B (zh) * 2017-07-10 2018-11-21 宏碁股份有限公司 電子裝置以及顯示圖像產生方法

Also Published As

Publication number Publication date
CN113641290A (zh) 2021-11-12
US20210349562A1 (en) 2021-11-11
US11422653B2 (en) 2022-08-23

Similar Documents

Publication Publication Date Title
US11335764B2 (en) Display including plurality of wirings bypassing hole area encompassed by display area, and electronic device including same
US10614279B2 (en) Apparatus and method for driving fingerprint sensing array provided in touchscreen, and driver integrated circuit for driving the touchscreen including the fingerprint sensing array
US11182001B2 (en) Touch display driving integrated circuit, operation method of the same, and touch display device including the same
US11422653B2 (en) Touch and display control device with fast touch responsiveness, display device including the same, method of operating the same and electronic system including the same
US10429993B2 (en) Touch display driving integrated circuit and operation method thereof
US11353991B2 (en) Method for driving touch-and-display device, driving circuit, and touch-and-display device
US10235120B2 (en) Display apparatus, display system, and controlling method thereof
US9811873B2 (en) Scaler circuit for generating various resolution images from single image and devices including the same
US9804709B2 (en) Vector fill segment method and apparatus to reduce display latency of touch events
US9697803B2 (en) Method and apparatus to reduce display latency of touch events using image replications
US10110832B2 (en) Method and apparatus to reduce display lag using scaling
US20150301678A1 (en) Image display system
JP2016212867A (ja) タッチスクリーン表示装置及びその駆動方法
CN109388264B (zh) 触摸显示器驱动集成电路、其操作方法和触摸显示装置
US10088953B2 (en) Touch screen display device and driving method for correcting touch position based on image shifting
US10152766B2 (en) Image processor, method, and chipset for increasing intergration and performance of image processing
CN111868681B (zh) 在系统休眠期间显示墨水笔画绘制
US10168823B2 (en) Data driver circuit and display device using the same
US20240071286A1 (en) Display device
CN118737080A (zh) 显示面板
KR20240146181A (ko) 픽셀 회로 및 이를 포함하는 표시 장치
CN115909953A (zh) 显示装置和电子装置