以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
<電子機器100の概略構成>
まず、図1を参照して、タッチパネルを有する表示装置の一例としての、本実施の形態に係る光センサ内蔵液晶パネル140(以下、タッチパネル140ともいう)を有する電子機器100の概略構成について説明する。なお、電子機器100は、PDA(Personal Digital Assistant)、パーソナルコンピュータ、携帯型電話機、電子辞書などの情報機器によって実現される。
図1は、本実施の形態に係る電子機器100の動作概要を示す第1のイメージ図である。より詳細には、図1(A)は、スタイラスペン99によってタッチパネル140に第1の手書き画像が入力されたときのイメージ図である。図1(B)は、スタイラスペン99によってタッチパネル140に第2の手書き画像が入力されたときのイメージ図である。図1(C)は、タッチパネル140への入力が完了したときの第1のイメージ図である。図1(D)は、指900がタッチパネル140の第1の手書き画像にタッチしたときイメージ図である。図1(E)は、タッチパネル140への入力が完了したときの第2のイメージ図である。
電子機器100は、タッチパネル140と、操作キー177とを含む。タッチパネル140は、ユーザから手書き入力命令を受け付けるともともに、当該手書き入力命令に対応する手書き画像を表示する。本実施の形態に係るタッチパネル140は、外部の物体とタッチパネル140との接触領域を検知することができる。タッチパネルは、本実施の形態に係る光センサ内臓液晶パネル140であってもよいし、多数の接触位置が検知できる静電容量方式や赤外線方式のタッチパネルであっても良い。操作キー177も、操作命令を受け付ける。
<電子機器100の動作概要>
次に、本実施の形態に係る電子機器100の動作概要について説明する。まず、図1(A)を参照して、ユーザがスタイラスペン99をタッチパネル140上でスライドさせる。電子機器100は、スタイラスペン99のスライド操作(第1の手書き入力命令)を検知して、当該スライド操作に対応する第1の手書き画像(第1の線画像)をタッチパネル140に表示する。
図1(B)を参照して、再度、ユーザがスタイラスペン99をタッチパネル140上でスライドさせる。電子機器100は、スタイラスペン99のスライド操作(第2の手書き入力命令)を検知して、当該スライド操作に対応する第2の手書き画像(第2の線画像)をタッチパネル140に表示する。
その結果、図1(C)を参照して、電子機器100は、タッチパネル140に第1の手書き画像と第2の手書き画像とを表示する。
一方、図1(D)を参照して、電子機器100がタッチパネル140に第1の手書き画像を表示している状態において、ユーザが指900で第1の手書き画像にタッチする。図1(E)を参照して、電子機器100は、第1の手書き画像のうち、ユーザの指900がタッチした領域(接触領域)に対応する部分(線画像の一部)を消去する。すなわち、電子機器100は、ユーザの指900がタッチした領域以外の第1の手書き画像をタッチパネル140に表示させる。
このように、本実施の形態に係る電子機器100は、スタイラスペン99がタッチパネル140にタッチした領域(第1の接触領域)に基づいて手書き画像を描画する。そして、電子機器100は、指900がタッチパネル140にタッチした領域(第2の接触領域)に基づいて、既に描画されている画像のうち第2の接触領域内に位置する部分を削除する。
その結果、ユーザは、手書き画像を消去するためのアイコン(消しゴムのアイコンなど)を選んだり、手書き画像を描画するためのアイコン(ペンのアイコンなど)を再度選んだりする必要がなくなる。換言すれば、ユーザは、アイコンを選びなおすことなく、描画命令および消去命令を電子機器100に入力することができる。すなわち、ユーザによるタッチパネル140を介しての入力操作をより簡略化することができる。
さらに、本実施の形態に係る電子機器100は、以下のような機能も有する。図2は、本実施の形態に係る電子機器100の動作概要を示す第2のイメージ図である。より詳細には、図2(A)は、スタイラスペン99によってタッチパネル140に第1の手書き画像が入力されたときのイメージ図である。図2(B)は、第1の手書き画像の入力後所定時間以内に指900がタッチパネル140の第1の手書き画像にタッチしたときイメージ図である。図1(C)は、タッチパネル140への入力が完了したときの第1のイメージ図である。図1(D)は、第1の手書き画像の入力後所定時間経過後に指900がタッチパネル140の第1の手書き画像にタッチしたときイメージ図である。図1(E)は、タッチパネル140への入力が完了したときの第2のイメージ図である。
まず、図2(A)を参照して、ユーザがスタイラスペン99をタッチパネル140上でスライドさせる。電子機器100は、スタイラスペン99のスライド操作(第1の手書き入力命令)を検知して、当該スライド操作に対応する第1の手書き画像(第1の線画像)をタッチパネル140に表示する。
図1(B)を参照して、ユーザが、スタイラスペン99をタッチパネル140から持ち上げた直後に、指900で第1の手書き画像にタッチする。すなわち、スタイラスペン99がタッチパネル140から持ち上げられたことが検知されてから所定時間(たとえば1秒間)が経過する前に、ユーザが指900を第1の手書き画像にタッチさせる。図1(C)を参照して、電子機器100は第1の手書き画像を消去する。
一方、図1(D)を参照して、ユーザが、スタイラスペン99をタッチパネル140から持ち上げてから所定時間経過後に、指900で第1の手書き画像にタッチする。すなわち、スタイラスペン99がタッチパネル140から持ち上げられたことが検知されてから所定時間経過後に、ユーザが指900を第1の手書き画像にタッチさせる。図1(E)を参照して、電子機器100は、第1の手書き画像のうち、指900とタッチパネル140との接触領域(第2の領域)内に位置する部分を消去する。
このように、本実施の形態に係る電子機器100は、第1の手書き画像が入力された直後に指900が当該第1の手書き画像にタッチすると当該第1の手書き画像全体を消去する。一方、電子機器100は、第1の手書き画像が入力されてから所定時間が経過してから指900が当該第1の手書き画像にタッチすると指900の接触領域内の画像のみを消去する。
これによって、ユーザは、第1の手書き画像の全部に指900でタッチしなくても、第1の手書き画像の全部を削除することができる。すなわち、ユーザによるタッチパネルを介しての入力操作を簡略化することができる。
以下、このような機能を実現するための構成について詳述する。
<電子機器100のハードウェア構成>
次に、本実施の形態に係る電子機器100の具体的構成の一態様について説明する。図3は、本実施の形態に係る電子機器100のハードウェア構成を表わすブロック図である。図3を参照して、電子機器100は、主たる構成要素として、本体装置101と、表示装置102とを含む。
本体装置101は、CPU(Central Processing Unit)110と、RAM(Random Access Memory)171と、ROM(Read-Only Memory)172と、メモリカードリーダライタ173と、通信部174と、マイク175と、スピーカ176と、操作キー177とを含む。各構成要素は、相互にデータバスDB1によって接続されている。メモリカードリーダライタ173には、メモリカード1731が装着される。
CPU110は、プログラムを実行する。操作キー177は、電子機器100の使用者による指示の入力を受ける。RAM171は、CPU110によるプログラムの実行により生成されたデータ、または操作キー177を介して入力されたデータを揮発的に格納する。ROM172は、データを不揮発的に格納する。また、ROM172は、EPROM(Erasable Programmable Read-Only Memory)やフラッシュメモリなどの書き込みおよび消去が可能なROMである。通信部174は、図示しない他の電子機器との間で無線通信を行なう。なお、図3には図示していないが、電子機器100が、他の電子機器に有線により接続するためのインターフェイス(IF)を含む構成としてもよい。
表示装置102は、ドライバ130と、光センサ内蔵液晶パネル140(タッチパネル140)と、内部IF178と、バックライト179と、画像処理エンジン180とを含む。
ドライバ130は、タッチパネル140およびバックライト179を駆動するための駆動回路である。ドライバ130に含まれる各種の駆動回路については、後述する。
タッチパネル140は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、タッチパネル140は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行なうことができる。タッチパネル140の詳細については、後述する。
内部IF(Interface)178は、本体装置101と表示装置102との間で、データの遣り取りを仲介する。
バックライト179は、タッチパネル140の裏面に配置された光源である。バックライト179は、当該裏面に対して均一な光を照射する。
画像処理エンジン180は、ドライバ130を介してタッチパネル140の動作を制御する。ここで、当該制御は、内部IF178を介して本体装置101から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン180は、タッチパネル140から出力されるデータを処理し、処理したデータを内部IF178を介して本体装置101に送る。さらに、画像処理エンジン180は、ドライバ制御部181と、タイマ182と、信号処理部183とを含む。
ドライバ制御部181は、ドライバ130に対して制御信号を送ることによりドライバ130の動作を制御する。また、ドライバ制御部181は、本体装置101から送られてくるコマンドを解析する。そして、ドライバ制御部181は、当該解析の結果に基づいた制御信号をドライバ130に送る。ドライバ130の動作の詳細については、後述する。
タイマ182は、時刻情報を生成し、信号処理部183に対して時刻情報を送る。
信号処理部183は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部183は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部183は、当該デジタルデータに対して、本体装置101から送られてくるコマンドの内容に応じたデータ処理を行なう。そして、信号処理部183は、上記データ処理を行った後のデータと、タイマ182から取得した時刻情報とを含んだデータ(以下、応答データと称する)を本体装置101に送る。また、信号処理部183は、後述するスキャンデータを連続して複数格納できるRAM(図示せず)を備えている。
上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する(図8〜図10)。
なお、タイマ182は、必ずしも画像処理エンジン180に備えられている必要はない。たとえば、タイマ182は、表示装置102内における、画像処理エンジン180の外部に備えられていてもよい。あるいは、タイマ182は、本体装置101に備えられていてもよい。また、マイク175およびスピーカ176は、電子機器100が常に含む構成ではなく、電子機器100の実施例によっては、マイク175およびスピーカ176のいずれかあるいは両方を有さない構成であってもよい。
ここで、表示装置102は、システム液晶を含んでいる。なお、システム液晶とは、タッチパネル140の周辺機器を当該タッチパネル140のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、タッチパネル140のガラス基板上に一体形成されている。なお、表示装置102が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、上記ガラス基板以外の基板に構成されていてもよい。
ところで、電子機器100における処理は、各ハードウェアおよびCPU110により実行されるソフトウェアによって実現される。このようなソフトウェアは、ROM172に予め記憶されている場合がある。また、ソフトウェアは、メモリカード1731その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ173その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部174または通信IF(図示せず)を介してダウンロードされた後、ROM172に一旦格納される。そのソフトウェアは、CPU110によってROM172から読み出され、RAM171に実行可能なプログラムの形式で格納される。CPU110は、そのプログラムを実行する。
図3に示される電子機器100の本体装置101を構成する各構成要素は、一般的なものである。したがって、本実施の形態の本質的な部分は、RAM171、ROM172、メモリカード1731その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器100の本体装置101のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、記憶媒体としては、メモリカードに限られず、CD−ROM、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを除く)、光カード、マスクROM、EPROM、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
<タッチパネル140の構成および駆動について>
次に、タッチパネル140の構成と、当該タッチパネル140の周辺回路の構成とについて説明する。図4は、タッチパネル140の構成と、当該タッチパネル140の周辺回路とを示した図である。
図4を参照して、タッチパネル140は、画素回路141と、光センサ回路144と、走査信号線Giと、データ信号線SRjと、データ信号線SGjと、データ信号線SBjと、センサ信号線SSjと、センサ信号線SDjと、読出信号線RWiと、リセット信号線RSiとを含む。なお、iは、1≦i≦mを満たす自然数であり、jは1≦j≦nを満たす自然数である。
また、図3に示した表示装置102のドライバ130は、タッチパネル140の周辺回路として、走査信号線駆動回路131と、データ信号線駆動回路132と、光センサ駆動回路133と、スイッチ134と、アンプ135とを含む。
走査信号線駆動回路131は、図3に示すドライバ制御部181から制御信号TC1を受ける。そして、走査信号線駆動回路131は、制御信号TC1に基づき、各走査信号線(G1〜Gm)に対して、走査信号線G1から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路131は、単位時間毎に走査信号線(G1〜Gm)の中から1つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するTFT(Thin Film Transistor)142のゲートをターンオンできるだけの電圧(以下、ハイレベル電圧)を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
データ信号線駆動回路132は、図3に示すドライバ制御部181から画像データ(DR,DG,DB)を受ける。そして、データ信号線駆動回路132は、3n個のデータ信号線(SR1〜SRn,SG1〜SGn,SB1〜SBn)に対して、上記単位時間毎に、1行分の画像データに対応する電圧を順次印加する。
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
画素回路141は、1つの画素の輝度(透過率)を設定するための回路である。また、画素回路141は、マトリクス状にm×n個配されている。より詳しくは、画素回路141は、図4の縦方向にm個、横方向にn個配されている。
画素回路141は、Rサブピクセル回路141rと、Gサブピクセル回路141gと、Bサブピクセル回路141bとからなる。これら3つの回路(141r,141g,141b)は、それぞれ、TFT142と、画素電極と対向電極とからなる1組の電極対143と、図示しないコンデンサとを含む。
なお、n型のトランジスタとp型のトランジスタとを作れるCMOS(Complementary Metal Oxide Semiconductor)を実現できること、キャリア(電子または正孔)の移動速度がアモルファスシリコン薄膜トランジスタ(a-Si TFT)に比べて数百倍早いことなどから、表示装置102では、TFT142として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、TFT142は、n型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT142がp型チャネルの電界効果トランジスタであってもよい。
Rサブピクセル回路141r内のTFT142のソースはデータ信号線SRjに接続されている。また、当該TFT142のゲートは走査信号線Giに接続されている。さらに、当該TFT142のドレインは、電極対143の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Gサブピクセル回路141gおよびBサブピクセル回路141bについても、各TFT142のソースが接続されるデータ信号線が異なる以外は、Rサブピクセル回路141rと同じ構成である。このため、これら2つの回路(141g,141b)についての説明は、繰り返さない。
ここで、画素回路141における輝度の設定について説明する。まず、走査信号線Giに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、TFT142のゲートがターンオンする。このようにTFT142のゲートがターンオンした状態で、各データ信号線(SRj,SGj,SBj)に対して、それぞれ指定された電圧(1画素分の画像データに対応する電圧)を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ(補助容量)によって、次のフレーム期間において走査信号線Giが選択されるまで保持される。
光センサ駆動回路133は、図3に示すドライバ制御部181から制御信号TC2を受ける。
そして、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎にリセット信号線(RS1〜RSm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDRを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧VSSRを印加したままとする。たとえば、電圧VDDRを0Vに、電圧VSSRを−5Vに設定すればよい。
また、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎に読出信号線(RW1〜RWm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDを印加する。なお、選択されていない読出信号線に対しては、上記電圧VSSRを印加したままとする。たとえば、VDDの値を8Vに設定すればよい。
なお、電圧VDDRを印加するタイミング、および電圧VDDを印加するタイミングについては、後述する。
光センサ回路144は、フォトダイオード145と、コンデンサ146と、TFT147とを含む。なお、以下では、TFT147がn型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT147がp型チャネルの電界効果トランジスタであってもよい。
フォトダイオード145のアノードは、リセット信号線RSiに接続されている。一方、フォトダイオード145のカソードは、コンデンサ146の一方の電極に接続されている。また、コンデンサ146の他方の電極は、読出信号線RWiに接続されている。なお、以下では、フォトダイオード145とコンデンサ146との接続点をノードNと称する。
TFT147のゲートは、ノードNに接続されている。また、TFT147のドレインは、センサ信号線SDjに接続されている。さらに、TFT147のソースは、センサ信号線SSjに接続されている。光センサ回路144を用いたセンシングの詳細については、後述する。
スイッチ134は、センサ信号線(SD1〜SDn)に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ134の切り換え動作は、光センサ駆動回路133により行われる。なお、スイッチ134が導通状態となった場合にセンサ信号線(SD1〜SDn)に印加される電圧については、後述する。
アンプ135は、各センサ信号線(SS1〜SSn)から出力された電圧を増幅する。なお、増幅された電圧は、図3に示した信号処理部183に送られる。
なお、画素回路141を用いて画像をタッチパネル140に表示させるタイミングと、光センサ回路144を用いてセンシングするタイミングとについては、画像処理エンジン180が制御する。
図5は、タッチパネル140とバックライト179との断面図である。図5を参照して、タッチパネル140は、アクティブマトリクス基板151Aと、対向基板151Bと、液晶層152とを含む。対向基板151Bは、アクティブマトリクス基板151Aに対向して配されている。液晶層152は、アクティブマトリクス基板151Aと対向基板151Bとに挟まれている。バックライト179は、アクティブマトリクス基板151Aに関し液晶層152と反対側に配されている。
アクティブマトリクス基板151Aは、偏光フィルタ161と、ガラス基板162と、電極対143を構成する画素電極143aと、フォトダイオード145と、データ信号線157と、配向膜164とを含む。さらに、図5には示していないが、アクティブマトリクス基板151Aは、図4に示した、コンデンサ146と、TFT147と、TFT142と、走査信号線Giとを含む。
また、アクティブマトリクス基板151Aにおいては、バックライト179側から、偏光フィルタ161、ガラス基板162、画素電極143a、および配向膜164が、この順に配されている。フォトダイオード145とデータ信号線157とは、ガラス基板162の液晶層152側に形成されている。
対向基板151Bは、偏光フィルタ161と、ガラス基板162と、遮光膜163と、カラーフィルタ(153r,153g,153b)と、電極対143を構成する対向電極143bと、配向膜164とを含む。
また、対向基板151Bにおいては、液晶層152側から、配向膜164、対向電極143b、カラーフィルタ(153r,153g,153b)、ガラス基板162、および偏光フィルタ161が、この順に配されている。遮光膜163は、カラーフィルタ(153r,153g,153b)と同一の層に形成されている。
カラーフィルタ153rは、赤色の波長の光を透過させるフィルタである。カラーフィルタ153gは、緑色の波長の光を透過させるフィルタである。カラーフィルタ153bは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード145は、カラーフィルタ153bに対向する位置に配されている。
タッチパネル140は、外光やバックライト179などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、タッチパネル140は、画素電極143aと対向電極143bとの間に電圧を印加することにより液晶層152の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ161を配置している。
なお、フォトダイオード145の位置は、上記の位置に限定されるものではなく、カラーフィルタ153rに対向する位置やカラーフィルタ153gに対向する位置に設けることも可能である。
ここで、光センサ回路144の動作について説明する。図6は、光センサ回路144を動作させる際のタイミングチャートを示した図である。図6において、電圧VINTは、光センサ回路144内のノードNにおける電位を示している。また、電圧VPIXは、図4に示したセンサ信号線SSjからの出力電圧であって、アンプ135によって増幅される前の電圧を示している。
以下では、光センサ回路144をリセットするためのリセット期間と、光センサ回路144を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
まず、リセット期間について説明する。リセット期間においては、リセット信号線RSiに印加する電圧を、ローレベル(電圧VSSR)からハイレベル(電圧VDDR)へと瞬間的に切り換える。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。このように、リセット信号線RSiに上記ハイレベルの電圧を印加することにより、フォトダイオード145の順方向(アノード側からカソード側)に電流が流れ始める。その結果、ノードNの電位である電圧VINTは、以下の式(1)で示す値となる。なお、式(1)では、フォトダイオード145における順方向の電圧降下量をVfとしている。
VINT=VSSR+|VDDR−VSSR|−Vf … (1)
それゆえ、ノードNの電位は、図6に示すとおり、電圧VDDRよりもVfだけ小さな値となる。
ここで、電圧VINTは、TFT147のゲートをターンオンさせる閾値以下であるため、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。また、コンデンサ146の電極間には、上記電圧VINT分の差が生じる。このため、コンデンサ146には、当該差に応じた電荷が蓄積される。
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線RSiに印加する電圧は、ハイレベル(電圧VDDR)からローレベル(電圧VSSR)へと瞬間的に切り換わる。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。
このように、リセット信号線RSiに印加する電圧をローレベルに変化させることにより、ノードNの電位は、リセット信号線RSiの電圧および読出信号線RWiの電圧よりも高くなる。このため、フォトダイオード145においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード145は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード145が受光すると、フォトダイオード145のカソード側からアノード側へと電流が流れ始める。その結果、図6に示すとおり、ノードNの電位(つまり、電圧VINT)は時間の経過とともに低くなる。
なお、このように電圧VINTが低下し続けるため、TFT147のゲートはターンオンした状態にはならない。それゆえ、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線RSiに印加する電圧をローレベル(電圧VSSR)のままとする。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)からハイレベル(電圧VDD)へと瞬間的に切り換わる。ここで、電圧VDDは、電圧VDDRよりも高い値である。
このように、読出信号線RWiにハイレベルの電圧を瞬間的に印加することにより、図6に示すとおり、コンデンサ146を介してノードNの電位が引き上げられる。なお、ノードNの電位の上昇幅は、読出信号線RWiに印加する電圧に応じた値となる。ここで、ノードNの電位(つまり、電圧VINT)が、TFT147のゲートをターンオンさせる閾値以上まで引き上げられるため、TFT147のゲートがターンオンする。
この際、TFT147のドレイン側に接続されたセンサ信号線SDj(図4参照)に予め一定電圧を印加しておけば、TFT147のソース側に接続されたセンサ信号線SSjからは、図6のVPIXのグラフに示すとおり、ノードNの電位に応じた電圧が出力される。
ここで、フォトダイオード145が受光する光の量(以下、受光量と称する)が少ないと、図6のVINTのグラフに示す直線の傾きが緩やかになる。その結果、電圧VPIXは、受光量が多い場合に比べて高くなる。このように、光センサ回路144は、フォトダイオード145の受光量に応じて、センサ信号線SSjに出力する電圧の値を変化させる。
ところで、上記においては、m×n個存在する光センサ回路のうち、1つの光センサ回路144に着目して、その動作を説明した。以下では、タッチパネル140における各光センサ回路の動作について説明する。
まず、光センサ駆動回路133は、n個のセンサ信号線(SD1〜SDn)の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路133は、リセット信号線RS1に対して、通常よりもハイレベルな電圧VDDRを印加する。なお、他のリセット信号線(RS2〜RSm)および読出信号線(RW1〜RWm)については、ローレベルの電圧を印加したままの状態とする。これにより、図4における1行目のn個の光センサ回路が、上述したリセット期間に入る。その後、1行目のn個の光センサ回路は、センシング期間に入る。さらに、その後、1行目のn個の光センサ回路は、読出期間に入る。
なお、n個のセンサ信号線(SD1〜SDn)の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
1行目のn個の光センサ回路の読出期間が終了すると、光センサ駆動回路133は、リセット信号線RS2に対して、通常よりもハイレベルな電圧VDDRを印加する。つまり、2行目のn個の光センサ回路のリセット期間に入る。リセット期間が終了すると、2行目のn個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
以降は、上述した処理が、順に、3行目のn個の光センサ回路、4行目のn個の光センサ回路、…m行目のn個の光センサ回路に対して行われる。その結果、センサ信号線(SS1〜SSn)からは、1行目のセンシング結果、2行目のセンシング結果、…、m行目のセンシング結果が、この順に出力される。
なお、表示装置102においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果がタッチパネル140から出力される。このため、以下では、タッチパネル140から出力される1行目からm行目までのm行分の電圧に関するデータに対して、信号処理部183が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物(たとえば、ユーザの指)をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。
また、上記においては、m×n個の光センサ回路全てを用いてスキャンを行なう構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、タッチパネル140の表面の一部の領域に関してスキャンを行なうことも構成としてもよい。
以下では、電子機器100が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー177を介した入力などに基づく本体装置101から送られてくるコマンドにより行われるものとする。なお、タッチパネル140の表面の一部の領域に関してスキャンを行なう場合、画像処理エンジン180が、スキャン対象領域の設定を行なう。なお、当該領域の設定を、操作キー177を介してユーザが指定できる構成としてもよい。
このように、タッチパネル140の表面の一部の領域に関してスキャンを行なう場合には、画像の表示に関し、以下のような利用の態様がある。1つ目は、上記一部の領域(以下、スキャン領域と称する)以外の表面の領域において、画像を表示させる態様である。2つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置101から画像処理エンジン180に送られてくるコマンドに基づく。
図7は、タッチパネル140とバックライト179との断面図であって、スキャンの際にフォトダイオード145がバックライト179からの光を受光する構成を示した図である。
図7を参照して、ユーザの指900がタッチパネル140の表面に接触している場合、バックライト179から発せられた光の一部は、当該接触している領域ではユーザの指900(略平面)にて反射される。そして、フォトダイオード145は、当該反射された光を受光する。
また、指900が接触していない領域においても、バックライト179から発せられた光の一部は、ユーザの指900にて反射される。この場合においても、フォトダイオード145は、当該反射された光を受光する。ただし、当該領域においてはタッチパネル140の表面に指900が接触していないため、指900が接触している領域よりも、フォトダイオード145の受光量は少なくなる。なお、バックライト179から発せられた光のうち、ユーザの指900に到達しない光のほとんどについては、フォトダイオード145は受光できない。
ここで、バックライト179を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路144は、ユーザの指900により反射した光の光量に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179の点灯と消灯とを制御することにより、タッチパネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、タッチパネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
以上により、表示装置102は、指900によって光が反射されることにより得られる像(以下、反射像とも称する)をスキャンすることができる。なお、指900以外のスキャン対象物としては、スタイラスペン99などが挙げられる。
ところで、本実施の形態においては、電子機器100の表示装置としてタッチパネルを例に挙げて説明しているが、タッチパネルの代わりに有機EL(Electro-Luminescence)パネルなどの他のパネルを用いてもよい。
<データについて>
次に、センシングコマンドについて説明する。なお、表示装置102においては、画像処理エンジン180は、センシングコマンドの内容を解析し、当該解析の結果に従ったデータ(つまり、応答データ)を本体装置101に送り返す。
図8は、センシングコマンドの概略構成を示した図である。図8を参照して、センシングコマンドは、ヘッダのデータ領域DA01と、タイミングを示すデータ領域DA02と、データ種別を示すデータ領域DA03と、読取方式を示すデータ領域DA04と、画像階調を示すデータ領域DA05と、解像度を示すデータ領域DA06と、予備のデータ領域DA07とを含む。
図9は、センシングコマンドの各領域におけるデータの値と、当該値が示す意味内容とを示した図である。
図9を参照して、タイミングを示すデータ領域に「00」が設定されたセンシングコマンドは、画像処理エンジン180に対して、そのときのスキャンデータの送信を要求する。つまり、センシングコマンドは、当該センシングコマンドを画像処理エンジン180が受信した後に、光センサ回路144を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、タイミングを示すデータ領域に「01」が設定されたセンシングコマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、タイミングを示すデータ領域に「10」が設定されたセンシングコマンドは、一定周期毎にスキャンデータの送信を要求する。
データ種別を示すデータ領域に「001」が設定されたセンシングコマンドは、部分画像における中心座標の座標値の送信を要求する。また、データ種別を示すデータ領域に「010」が設定されたセンシングコマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、データ種別を示すデータ領域に「100」が設定されたセンシングコマンドは、全体画像の送信を要求する。
ここで、「全体画像」とは、m×n個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン180により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。
なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、タッチパネル140の表面の一部の領域に関してスキャンを行なう構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。
読取方式を示すデータ領域に「00」が設定されたセンシングコマンドは、バックライト179を点灯してスキャンすることを要求する。また、読取方式を示すデータ領域に「01」が設定されたセンシングコマンドは、バックライト179を消灯してスキャンすることを要求する。なお、バックライト179を消灯してスキャンする構成については後述する(図13)。さらに、読取方式を示すデータ領域に「10」が設定されたセンシングコマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト179を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行なうことを指す。
画像階調を示すデータ領域に「00」が設定されたセンシングコマンドは、白黒の2値の画像データを要求する。たとえば、CPU110が、接触領域を示すデータとして2値画像データを画像処理エンジン180に要求してもよい。画像処理エンジン180が、後述する取得部111を実現してもよい。また、画像階調を示すデータ領域に「01」が設定されたセンシングコマンドは、多階調の画像データを要求する。さらに、画像階調を示すデータ領域に「10」が設定されたセンシングコマンドは、RGBのカラーの画像データを要求する。
解像度を示すデータ領域に「0」が設定されたセンシングコマンドは、解像度の高い画像データを要求する。また、解像度を示すデータ領域に「1」が設定されたセンシングコマンドは、解像度の低い画像データを要求する。
また、センシングコマンドには、図8および図9に示したデータ以外に、スキャンを行なう領域(光センサ回路144を駆動する画素の領域)の指定、スキャンを行なうタイミング、バックライト179の点灯のタイミングなどが記述されている。
図10は、応答データの概略構成を示した図である。応答データは、センシングコマンドの内容に応じたデータであって、表示装置102の画像処理エンジン180が本体装置101に対して送信するデータである。
図10を参照して、応答データは、ヘッダのデータ領域DA11と、座標を示すデータ領域DA12と、時刻を示すデータ領域DA13と、画像を示すデータ領域DA14とを含む。ここで、座標を示すデータ領域DA12には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン180のタイマ182から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン180により処理がされた後の画像データ(つまり、スキャンデータ)が書き込まれる。
図11は、指900をスキャンすることにより得られた画像(つまり、スキャン画像)を示した図である。図11を参照して、太実線で囲まれた領域W1の画像が全体画像であり、破線で囲まれた領域P1の画像が部分画像である。また、太線で示した十字の中心点C1が、中心座標となる。
本実施の形態では、矩形の領域であって、かつセンサ信号線SSjからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素(つまり、予め定められた階調または予め定められた輝度以上の画素)全てを含む領域を、部分画像の領域としている。
また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点(つまり図心)との距離とに基づき、重み付け処理を行なうことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。
ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。
センシングコマンドのデータ種別を示すデータ領域に「001」が設定されている場合には、画像処理エンジン180は、座標を示すデータ領域DA12に上記中心座標の値を書き込む。この場合、画像処理エンジン180は、画像を示すデータ領域DA14には画像データを書き込まない。画像処理エンジン180は、上記中心座標の値の書き込みを行なった後、当該中心座標の値を含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「001」が設定されている場合には、センシングコマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。
また、センシングコマンドのデータ種別を示すデータ領域に「010」が設定されている場合には、画像処理エンジン180は、画像を示すデータ領域DA14に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン180は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン180は、上記スキャン結果が変化した部分画像の画像データの書き込みを行なった後、当該部分画像の画像データを含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「010」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。
なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指900などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。
また、センシングコマンドのデータ種別を示すデータ領域に「011」が設定されている場合には、画像処理エンジン180は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン180は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「011」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。
また、センシングコマンドのデータ種別を示すデータ領域に「100」が設定されている場合には、画像処理エンジン180は、図10に示した応答データの画像を示すデータ領域DA14に、全体画像の画像データを書き込む。この場合、画像処理エンジン180は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン180は、上記全体画像の画像データの書き込みを行なった後、当該全体画像の画像データを含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「100」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。
また、センシングコマンドのデータ種別を示すデータ領域に「101」が設定されている場合には、画像処理エンジン180は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14に全体画像の画像データを書き込む。その後、画像処理エンジン180は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「101」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。
<変形例について>
ところで、タッチパネル140の構成は、図4に示した構成に限定されるものではない。以下では、図4とは異なる態様のタッチパネルについて説明する。
図12は、上記異なる態様である光センサ内蔵液晶パネル140Aの回路図である。図12を参照して、光センサ内蔵液晶パネル140A(タッチパネル140A)は、1画素内に3つの光センサ回路(144r,144g,144b)を含んでいる。このようにタッチパネル140Aが1画素内に3つの光センサ回路(144r,144g,144b)を含む点において、タッチパネル140Aは、1画素内に1つの光センサ回路を含むタッチパネル140と異なる。なお、光センサ回路144の構成と、3つの各光センサ回路(144r,144g,144b)との構成は同じである。
また、1画素内における3つのフォトダイオード(145r,145g,145b)は、それぞれ、カラーフィルタ153r、カラーフィルタ153g、カラーフィルタ153bに対向する位置に配されている。それゆえ、フォトダイオード145rは赤色の光を受光し、フォトダイオード145gは緑色の光を受光し、フォトダイオード145bは青色の光を受光する。
また、タッチパネル140は1画素内において1つの光センサ回路144しか含まないため、1画素内に配設されるTFT147用のデータ信号線は、センサ信号線SSjとセンサ信号線SDjとの2本であった。しかしながら、タッチパネル140Aは1画素内において3つの光センサ回路(144r,144g,144b)を含むため、1画素内に配設されるTFT(147r,147g,147b)用のデータ信号線は6本となる。
具体的には、カラーフィルタ153rに対向する位置に配されたフォトダイオード145rのカソードに接続されたTFT147rに対応して、センサ信号線SSRjとセンサ信号線SDRjとが配設される。また、カラーフィルタ153gに対向する位置に配されたフォトダイオード145gのカソードに接続されたTFT147gに対応して、センサ信号線SSGjとセンサ信号線SDGjとが配設される。さらに、カラーフィルタ153bに対向する位置に配されたフォトダイオード145bのカソードに接続されたTFT147bに対応して、センサ信号線SSBjとセンサ信号線SDBjとが配設される。
このようなタッチパネル140Aにおいては、バックライト179から照射された白色光は、3つのカラーフィルタ(153r,153g,153b)を透過し、タッチパネル140Aの表面では、赤、緑、および青とが混ざり白色光となる。ここで、スキャン対象物により白色光が反射されると、スキャン対象物の表面の色素に白色光の一部が吸収され、また一部が反射される。そして、反射された光は、再度、3つのカラーフィルタ(153r,153g,153b)を透過する。
この際、カラーフィルタ153rは赤色の波長の光を透過し、フォトダイオード145rは、当該赤色の波長の光を受光する。また、カラーフィルタ153gは緑色の波長の光を透過し、フォトダイオード145gは、当該緑色の波長の光を受光する。また、カラーフィルタ153bは青色の波長の光を透過し、フォトダイオード145bは、当該青色の波長の光を受光する。つまり、スキャン対象物によって反射された光は3つのカラーフィルタ(153r,153g,153b)によって3原色(R,G,B)に色分解され、各フォトダイオード(145r,145g,145b)は、それぞれに対応した色の光を受光する。
スキャン対象物の表面の色素に白色光の一部が吸収されると、各フォトダイオード(145r,145g,145b)の受光量が各フォトダイオード(145r,145g,145b)で異なることになる。このため、センサ信号線SSRjとセンサ信号線SSGjとセンサ信号線SSBjとの出力電圧は互いに異なる。
それゆえ、各出力電圧に応じて、Rの階調とGの階調とBの階調とを画像処理エンジン180が決定することにより、画像処理エンジン180はRGBのカラー画像を本体装置101へ送ることができる。
以上述べたように、電子機器100がタッチパネル140Aを備えた構成とすることにより、スキャン対象物をカラーでスキャンできることになる。
次に、図7を参照して説明したスキャンの方法(つまり、反射像をスキャンする方法)とは異なるスキャンの方法について、図13を参照して説明する。
図13は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。図13を参照して、外光の一部は、指900によって遮られる。それゆえ、指900と接触しているタッチパネル140の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指900の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
ここで、バックライト179を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路144は、タッチパネル140の表面に対する指900の位置に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179を点灯と消灯とを制御することにより、タッチパネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、タッチパネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
以上により、表示装置102は、指900によって外光が遮られることにより得られる像(以下、影像とも称する)をスキャンすることができる。
さらに、表示装置102を、バックライト179を点灯させてスキャンを行った後に、バックライト179を消灯させて再度スキャンを行なう構成としてもよい。あるいは、表示装置102を、バックライト179を消灯させてスキャンを行った後に、バックライト179を点灯させて再度スキャンを行なう構成としてもよい。
この場合には、2つのスキャン方式を併用することになるため、2つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
<電子機器100の機能構成>
次に、本実施の形態に係る電子機器100の機能構成について説明する。図14は、本実施の形態に係る電子機器100の機能構成を示すブロック図である。
図14を参照して、電子機器100は、取得部111と、面積判断部112と、時間判断部113と、表示制御部114とを含む。また、電子機器100は、図3にも示したように、RAM171と、タッチパネル140とを含む。
まず、複数の光センサ回路144のそれぞれは、入射光を受光して、当該入射光に応じた電気信号を生成する。複数の光センサ回路144は全体として、画像処理エンジン180(図3)などを介して、タッチパネル140に入力される景色に対応する画像データを取得部111に入力する。
複数の画素回路141のそれぞれは、画像処理エンジン180を介して、表示制御部114からの画像データに基づき、外部に可視光を発する。より詳細には、複数の画素回路141は全体として、画像処理エンジン180(図3)などを介して、表示制御部114からの画像データ(電気信号)に基づいて、バックライト179からの光を利用しながら手書き画像やテキストなどを表示する。
RAM171は、画像処理エンジン180からの画像データ171Aや、当該画像データ171Aが取得された取得時間171Bを記憶する。たとえば、RAM171は、画像処理エンジン180からの各センサタイミングにおける接触領域を示す画像データや、一連の当該接触領域に対応する手書き画像を示す第2の画像データを記憶する。RAM171は、一連の接触領域の入力が終了した(途切れた)時刻、すなわちCPU110が接触領域の存在しない画像データを取得した時刻を記憶する。
以下では、一連の当該接触領域に対応する手書き画像を、ストロークともいう。なお、本実施の形態においては、一連の当該接触領域に対応する手書き画像(ストローク)は、1本の線画像である。より詳細には、ストロークとは、スタイラスペン99や指900がタッチパネル140に接触してから、スタイラスペン99や指900がタッチパネル140から持ち上げられるまでの間における、スタイラスペン99や指900のタッチパネル140表面上での軌跡をいう。
取得部111と、面積判断部112と、時間判断部113と、表示制御部114とは、CPU110あるいは画像処理エンジン180などによって実現される機能である。より詳細には、CPU110が有する各機能は、CPU110がRAM171などに記憶される制御プログラムを実行して、図3に示される各ハードウェアを制御することによって実現される機能である。
取得部111は、たとえば、CPU110によって実現される。取得部111は、画像処理エンジン180を介して複数の光センサ回路144から入力される電気信号に基づいて「2値画像データ」を生成する。たとえば、取得部111は、画像処理エンジンからのカラー画像データあるいは多値画像データに基づいて、「2値画像データ」を生成する。あるいは、取得部111は、画像処理エンジン180から、直接、「2値画像データ」を取得する。
「2値画像データ」は、接触領域を示す。本実施の形態においては、「2値画像データ」は、外部の物体(スタイラスペン99あるいは指900など)のタッチパネル140に対する接触領域を「黒画素」として、非接触領域を「白画素」として示す。
あるいは、取得部111は、画像処理エンジン180からの画像データに基づいて、2値画像データの代わりに、接触領域と非接触領域との境界を示すデータを接触領域として取得してもよい。
取得部111は、たとえば、図3に示す画像処理エンジン180によって実現されてもよい。すなわち、画像処理エンジン180によって実現される取得部111が、光センサ回路144からの電気信号に基づいて2値画像データを生成し、当該2値画像データをCPU110によって実現される面積判断部112や時間判断部113や表示制御部114などに受け渡してもよい。
前述したように、取得部111は、2値画像データ(接触領域)を一時的にRAM171に記憶する。たとえば、取得部111は、画像処理エンジン180からの画像データに基づいて、RAM171の2値画像データを最新の2値画像データに更新する。あるいは、取得部111は、接触領域が検知されている期間だけ、当該接触領域を示す2値画像データを順次RAM171に蓄積してもよい。
面積判断部112は、取得部111からの接触領域を示すデータに基づいて、接触領域の形状が所定の条件を満たすか否かを判断する。本実施の形態に係る面積判断部112は、取得部111からの2値画像データに基づいて、黒画素(あるいは白画素)の画素数を計算する。面積判断部112は、当該画素数を接触領域の面積として取得する。面積判断部112は、RAM171から第1の所定の値(第1のしきい値)を読み出す。面積判断部112は、接触領域の面積が第1の所定の値以上であるか否かを判断する。
面積判断部112は、接触領域の面積が第1の所定の値以上である場合に、指900がタッチパネル140に接触したと判断する。面積判断部112は、接触領域の面積が第1の所定の値以上である場合に、2値画像データ毎に「指画像データ」を時間判断部113に受け渡す。「指画像データ」の各々は、接触領域の中心座標と、接触領域および非接触領域の境界とを示す。
なお、電子機器100が後述する時間判断部113の機能を有さない場合、面積判断部112は、指画像データを後述するエリア消去命令として表示制御部114に直接受け渡してもよい。
一方、面積判断部112は、接触領域の面積が第1の所定の値未満である場合に、スタイラスペン99がタッチパネル140に接触したと判断する。面積判断部112は、接触領域の面積が第1の所定の値未満である場合に、2値画像データ毎に「手書き画像データ」を時間判断部113と表示制御部114とに受け渡す。「手書き画像データ」の各々は、接触領域の中心座標を示す。
なお、面積判断部112は、RAM171から第2の所定の値(第2のしきい値)を読み出して、2値画像データと第2の所定の値とに基づいて、接触領域の面積が第2の所定の値以上であるか否かを判断してもよい。そして、面積判断部112は、接触領域の面積が第2の所定の値以上である場合には、当該接触領域を無視してもよい。すなわち、タッチパネル140に対する接触操作がなかったものとみなしてもよい。接触領域の面積が第2の所定の値以上である場合には、「手のひら」などがタッチパネル140に接触した可能性が高いからである。
また、面積判断部112は、他の判断基準に基づいて、接触領域の形状が所定の条件を満たすか否かを判断してもよい。たとえば、RAM171が所定の形状を示す画像データを記憶してもよい。そして、面積判断部112が、接触領域の形状と所定の形状とに関してパターンマッチングを行なってもよい。すなわち、面積判断部112は、接触領域の形状と所定の形状とがマッチした場合に、接触領域の形状が所定の条件を満たすと判断し、接触領域の形状と所定の形状とがマッチしない場合に、接触領域の形状が所定の条件を満たさないと判断してもよい。
時間判断部113は、面積判断部112から順次入力される手書き画像データに基づいて、最新の接触操作が終了した時刻(第1の取得時刻)をRAM171に格納する。たとえば、時間判断部113は、面積判断部112から手書き画像データを受け付けなくなったときに、最後の手書き画像を受け付けた時刻をRAM171に格納する。
本実施の形態においては、画像処理エンジン180が、タイマ182やクロックなどを使用して取得時刻を計測する。そして、画像処理エンジン180が、取得時刻を2値画像データとともにCPU110へと受け渡す。
時間判断部113は、面積判断部112から指画像データを受け取って、当該指画像データが取得された時刻(第2の取得時刻)をRAM171に格納する。時間判断部113は、第1の取得時刻から第2の取得時刻までの時間が、所定の時間未満であるか否かを判断する。
時間判断部113は、第1の取得時刻から第2の取得時刻までの時間が所定の時間以上である場合、指画像データをエリア消去命令として表示制御部114に受け渡す。一方、時間判断部113は、第1の取得時刻から第2の取得時刻までの時間が所定の時間以上である場合、ストローク消去命令を表示制御部114に受け渡す。
表示制御部114は、CPU110あるいは画像処理エンジン180によって実現される。表示制御部114は、面積判断部112からの手書き画像データに基づいて、タッチパネル140に手書き画像を表示させる。
より詳細には、表示制御部114は、手書き画像データ毎に、接触領域の中心座標を取得する。表示制御部114は、面積判断部112からの手書き画像データの各々に基づいて接触領域の中心座標を計算してもよいし、画像処理エンジン180から取得部111あるいは面積判断部112を介して中心座標を取得してもよい。
表示制御部114は、各センサタイミングに係る接触領域の中心座標に基づいて、タッチパネル140とスタイラスペン99(あるいは指900)との接触領域の軌跡を取得する。表示制御部114は、接触領域の軌跡を線画像(1つのストローク)としてRAM171に記憶するとともに、当該線画像をタッチパネル140に表示させる。
表示制御部114は、時間判断部113からの指画像データ(エリア消去命令)に基づいて、タッチパネル140に、接触領域内の画像が消去された画面を表示させる。すなわち、表示制御部114は、時間判断部113から順次渡される指画像データに基づいて、タッチパネル140に描画されていた手書き画像(線画像)のうち、接触領域内に位置する部分(線画像の一部)を消去する。
たとえば、表示制御部114は、時間判断部113からの接触領域と非接触領域との境界を示すデータとに基づいて、接触領域内の線分を消去する。あるいは、表示制御部114は、時間判断部113からの接触領域の中心座標に基づいて、当該接触領域の中心から所定の半径以内に位置する線分を消去する。具体的には、表示制御部114は、時間判断部113から順次渡される指画像データに基づいて、RAM171の画像データ171Aを更新するとともに、更新後の線画像をタッチパネル140に表示させる。
表示制御部114は、時間判断部113からのストローク消去命令に基づいて、タッチパネル140に最新の線画像を消去した画像を表示させる。すなわち、表示制御部114は、時間判断部113から渡されるストローク消去命令に基づいて、タッチパネル140に最後に描画された線画像を消去する。換言すれば、表示制御部114は、時間判断部113から渡されるストローク消去命令に基づいて、RAM171の画像データ171Aを更新する。
このように、本実施の形態に係る電子機器100は、接触領域の形状に応じて描画命令や消去命令を切り替えるため、ユーザによるタッチパネルを介した画像の編集操作が簡略化される。たとえば、電子機器100は、タッチパネル140を利用することにより、人差し指(接触領域が狭い)による接触操作に応じて線画像を描画し、親指(接触領域が広い)による接触操作に応じて当該線画像の一部あるいは全部を消去するものであってもよい。逆に、電子機器100は、親指(接触領域が広い)による接触操作に応じて線画像を描画し、人差し指(接触領域が狭い)による接触操作に応じて当該線画像の一部あるいは全部を消去するものであってもよい。
なお、本実施の形態に係る面積判断部112は、タッチパネル140および取得部111にて2つ以上の接触領域が検知された場合、すなわちスタイラスペン99(あるいは指900)と「手のひら」(手901)とがタッチパネル140に接触した場合、以下のように機能する。すなわち、面積判断部112は、画像データ内の面積が最も小さい接触領域の面積と第1の所定の値とに基づいて、接触領域が所定の条件を満たすか否かを判断する。そして、時間判断部113が、当該判断結果に基づいて、手書き画像データあるいは指画像データ(エリア消去命令)あるいはストローク消去命令を生成する。
図15は、タッチパネル140および取得部111にて2つ以上の接触箇所が検知された場合の電子機器100と生成された画像データとを示すイメージ図である。より詳細には、図15(A)は、スタイラスペン99と手のひらとがタッチパネル140に接触したときの電子機器100のイメージ図である。図15(B)は、スタイラスペン99と手のひらとがタッチパネル140に接触したときに取得される画像データのイメージ図である。図15(C)は、指900と手のひらとがタッチパネル140に接触したときの電子機器100のイメージ図である。図15(D)は、指900と手のひらとがタッチパネル140に接触したときに取得される画像データのイメージ図である。
図15(A)に示すように、スタイラスペン99と手のひらとがタッチパネル140に接触したとき、タッチパネル140と取得部111とは図15(B)に示す画像データを取得する。このとき、図15(B)に示すように、画像データは、スタイラスペン99とタッチパネル140との接触領域T1と、手のひらとタッチパネル140との接触領域T2とを示す。本実施の形態に係る面積判断部112は、接触領域T2よりも接触領域T1の方が面積が小さいので、接触領域T1に関して手書き画像データを生成する。
図15(C)に示すように、指900と手のひらとがタッチパネル140に接触したとき、タッチパネル140と取得部111とは図15(D)に示す画像データを取得する。このとき、図15(D)に示すように、画像データは、スタイラスペン99とタッチパネル140との接触領域T3と、手のひらとタッチパネル140との接触領域T4,T5とを示す。本実施の形態に係る面積判断部112は、接触領域T4,T5よりも接触領域T3の方が面積が小さいので、接触領域T3に関して指画像データを生成する。
<表示処理>
次に、図3、図14、図16を参照して、本実施の形態に係る電子機器100における表示処理について説明する。なお、図16は、本実施の形態に係る電子機器100における表示処理の処理手順を示すイメージ図である。
本実施の形態においては、タッチパネル140に含まれる複数の光センサ回路144は、常時、入射光に応じて電気信号を生成する。複数の光センサ回路144は、画像処理エンジン180を介して、入射光に対応する電気信号(画像データ)をCPU110に入力する。すなわち、取得部111として機能するCPU110は、複数の光センサ回路144からの電気信号(画像データ)を、画像処理エンジン180を介して取得する。
CPU110は、画像処理エンジン180からの画像データに基づいて接触領域を検知したか否かを判断する(ステップS102)。CPU110は、接触領域を検知しない場合(ステップS102においてNOである場合)、ステップS102からの処理を繰り返す。
面積判断部112として機能するCPU110は、接触領域を検知した場合(ステップS102においてYESである場合)、当該接触領域が指900とタッチパネル140との接触を示すか否かを判断する(ステップS104)。表示制御部114として機能するCPU110は、当該接触領域が指900とタッチパネル140との接触を示さない場合、すなわち当該接触領域がスタイラスペン99とタッチパネル140との接触を示す場合(ステップS104においてYESである場合)、当該接触領域(第1の接触領域)に基づいてタッチパネル140に手書き画像を表示させる。
CPU110は、スタイラスペン99のタッチパネル140に対する接触が終了したか否かを判断する(ステップS108)。CPU110は、スタイラスペン99のタッチパネル140に対する接触が終了しない場合(ステップS108においてNOである場合)、ステップS106からの処理を繰り返す。CPU110は、スタイラスペン99のタッチパネル140に対する接触が終了した場合(ステップS108においてYESである場合)、接触が終了した時刻をRAM171に記憶する(ステップS110)。
すなわち、CPU110は、接触領域の面積が所定の値未満である場合、スタイラスペン99のタッチパネル140に対する接触が終了するまで、画像処理エンジン180から順次入力される画像データに基づいてタッチパネル140によって表示される線画像を更新させる。CPU110は、ステップS110の後、ステップS102からの処理を繰り返す。
一方、CPU110は、当該接触領域が指900とタッチパネル140との接触を示す場合(ステップS104においてYESである場合)、今回の接触操作が前回の接触操作が終了した時刻から所定の時間内に行われたか否かを判断する(ステップS112)。CPU110は、今回の接触操作が前回の接触操作が終了した時刻から所定の時間経過後に行われた場合(ステップS112においてYESである場合)、タッチパネル140に当該接触領域内の画像(線画像の一部)を消去させる(ステップS114)。すなわち、CPU110は、接触領域内の画像を消去した画像をタッチパネル140に表示させる。
CPU110は、指900のタッチパネル140に対する接触が終了したか否かを判断する(ステップS116)。CPU110は、指900のタッチパネル140に対する接触が終了しない場合(ステップS116においてNOである場合)、ステップS114からの処理を繰り返す。CPU110は、指900のタッチパネル140に対する接触が終了した場合(ステップS116においてYESである場合)、CPU110は、ステップS102からの処理を繰り返す。
すなわち、CPU110は、接触領域の面積が所定の値以上である場合、指900のタッチパネル140に対する接触が終了するまで、画像処理エンジン180から順次入力される画像データに基づいて、タッチパネル140上の線画像のうちの接触領域内の画像を消去し続ける。
CPU110は、今回の接触操作が前回の接触操作が終了した時刻から所定の時間内に行われた場合(ステップS112においてNOである場合)、タッチパネル140に最後に描画された一連の手書き画像(線画像)を消去させる(ステップS118)。すなわち、CPU110は、最新の線画像が消去された画面をタッチパネル140に表示させる。CPU110は、ステップS102からの処理を繰り返す。
<その他の実施の形態>
本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード(ICメモリカード)、ROM(マスクROM、フラッシュEEPROMなど)などを用いることができる。
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。