JP5470051B2 - ノート捕捉装置 - Google Patents

Description

ここで開示される典型的な実施形態は、情報を捕捉するために使用されるデジタル電子装置に関する。より詳しくは、ここで開示される典型的な実施形態は、手書き及び関係するメタデータを捕捉するために使用する装置に関する。

手書きのノートは、情報を記録するための簡便な方法として、記録された歴史において使用されてきた。紙を製造する技術及びペンや鉛筆のような筆記用具は、長年にわたって幾分変わったが、実際の手書きノートを書くための方法は、数千年の間、実質上変化していなかった。この事実は、情報を記録するこの形式の簡便さ及び有効性についての証拠である。

電子コンピュータの到来とともに、手書きノートを改良するための様々な試みが実行された。とりわけ、「パーソナルデジタルアシスタント（ＰＤＡ）」及び「ペンコンピュータ」は、手書きを捕捉し、様々な組織的なサービスを提供するために開発された。

手書き認識は、情報を検索し、編集することが可能になる利益を得るために、しばしばＰＤＡ及びペンコンピュータに備えられる。

手書き認識は、分かりやすい手書き入力を受け取るためのコンピュータの能力である。記載されたテキストのイメージは、光学スキャニング（光学式文字認識）によって紙から「オフライン」で感知され得る。代わりに、例えば、ペンコンピュータのスクリーン面によって、ペン先の動きが「オンライン」で感知され得る。

手書き認識の初期の試みは、認識精度の問題に苦しめられた。一般に、認識アルゴリズムが人の読み手の文脈上の知覚を有さず、そしてそれ故、手書きの情報を捕捉する困難性を有する。人でさえ、時々、手書きを解釈する困難性を有する。

Ｐａｌｍは、Ｇｒａｆｆｉｔｉ（登録商標）認識システムに基づくＰＤＡのシリーズを発売した。Ｇｒａｆｆｉｔｉ（登録商標）は、それぞれのノートのためのペンのストロークのセットを定めることによってその利便性を改良した。これは、ストロークパターンの記憶が、ユーザのための学習曲線を増加させたとはいえ、間違った入力についての可能性を狭くした。

近年、人が紙に書くことができ、結果として生じるテキストをデジタルで保存されるように、いくつかの試みが、テキストデジタル要素を含むインクペンを製造するために行われた。これらの製品の成功は、未だ定かではない。

ユーザがノートをとるとき、ユーザのノートの主題に長時間集中しているとき、ユーザが認識エラーを正す必要で邪魔され、又は、Ｇｒａｆｆｉｔｉ（登録商標）のような手書きの新たな形式をうまく処理するために、リアルタイム手書き認識が、ユーザにとって不当な負担になることが明らかとなった。

紙に書くことの触感はまた、典型的なＰＤＡまたはペンコンピュータを使用するときに、減少する。より身近な紙のパッドのパッド表面及び筆記具を安定させる身近なドラッグ以外に、硬く、劇的に少ない摩擦を有する面に表示されるものがある。ユーザは、ペンをそれ自体安定させることによって補わなければならない。このなじみのない手書きモードはまた、特別なノートの主題について書くときに、ユーザの考えのプロセスを邪魔する。

３Ｍによって発明され製造されたポストイットノートは、裏面の接着剤のある再付着ストリップを伴う１つの筆記用具であり、書類、コンピュータディスプレイその他に、ノートを一時的に取り付けるために設計されている。広範囲の色、形状、サイズが現在利用可能である一方、最も共通するポストイットノートのサイズは、３平方インチで、色においてはトレードマークのカナリア色である。

ポストイットノートは、リマインダ、電話番号、電話メッセージ等を記録するための情報ノートに関する便利な媒体として出現した。それらは、各ノートが容易に取り付けられ、そしてマークや残渣を残すことなく取り除かれるようにする低タック接着ストリップを特色とする。ポストイットノートの用法は、ユビキタスである。この種のノート取りは、ノート取りのときに高い標準の利便性を示す。ユーザは、ノートパッドに簡単に書き、ノートを取り除き、そして、その後にリマインダとして目立つ場所に置き、または、注釈等として書類上に置く。

従来技術の電子装置は、ポストイットノートを書くときに達成されるノート取りの利便性のレベルを達成するのに失敗している。必要なのは、ポストイットノートの利便を、伝達性、検索、及び編集に関する電子捕捉の利益に結合する手段である。不幸にも、従来技術は、そのようないかなる解決をも提供しないという理由で制限される。

これらの及び他の従来技術の制限は、以下の記載を読み、いくつかの図表を研究することで、当業者にとって明白となるであろう。

本出願は、アメリカ合衆国の仮特許出願６０／８９０，１８０「ノート捕捉装置」の利益を求め、これにより参照によって組み込まれる。

特定の限定されない例示的な実施形態は、筆記面、筆記面を見るためのカメラ、及び前記筆記面又は例えばビジネスカードの面を含む他の様々な代わりの面のイメージを捕捉するための電子回路を含むノート捕捉装置を提供する。例えば、その面に関する傾斜カメラ角度を矯正し得る様々なイメージ変形が考えられる。イメージの可読性を高め、又は、印、ロゴ等を加えるための他の変形もまた考えられる。

特定の例示的な実施形態は、ノートを書くことの完了の自動検出を提供し、そして、検出において、完了したノートの捕捉を促す。特定の実施形態は、ノート取りの完了を検出するための様々なセンサを採用する。他の実施形態は、ボタンクリックの使用を通じてこの検出を実行する。さらに、他の実施形態は、イメージ分析を通じてこの検出を実行する。これらの実施形態の様々な組み合わせが考えられる。

特に例示的な実施形態及び組み合わせにおいて、捕捉されたイメージは、内部に保存され、パーソナルコンピュータ、携帯電話、サーバ等の外部装置に電子的に送信される。ノート捕捉装置と外部装置との間の通信のモードは、装置に直接又は間接に接続されるケーブル、又は、装置を直接又は間接に接続するワイヤレス接続を含み得る。通信が、磁気メディア、フラッシュメモリ装置、及び他の不揮発性記憶装置及び媒体のような取り外し可能な媒体の使用を通じて生じ得るということがさらに考えられる。１つの装置から他の１つの装置へとデータを送信する、他の共通に使用される通信の方法もまた考えられる。

特定の実施形態において、様々な送り先に捕捉されたノートをルーティングする目的のためのノート捕捉装置と相互に通信すること、及び、例えば、限定されることなく、ＳＭＴＰ、ＦＴＰ、ＳＦＴＰ、ＨＴＴＰ、ＨＴＴＰＳ、Ｗｉｎｄｏｗｓ、ＭａｃＯＳ、Ｌｉｎｕｘ、ＣＥ Ｍｏｂｉｌｅ、Ｐａｌｍ ＯＳ、Ｓｙｍｂｉａｎ、ＯＳｅｓに基づくＪａｖａ、といったものを含む様々な商業的に利用可能なオペレーティングシステム、を含む様々なプロトコルのような様々な通信モードに導くこと、をユーザに許容するために、スクリーンが提供される。

様々なオペレーションのモードにおいて、手書き認識ソフトウェアが、全体又は部分における捕捉されたノートを表示するテキストをつくるために使用される。そのような認識されたテキストは、ノートに関連するイメージ情報を添付でき、又は、前記イメージ情報の代わりに使用され得る。

ノートに関連するイメージ情報は、ストローク情報、圧縮される等に変形されることを含む様々な方法において変形され得る。

特定の他の例示的な実施形態は、ベースイメージ平面を定めるレスト面及び、前記ベースイメージ平面に対して傾斜する光学軸を定める固体カメラ装置を含む平面イメージ捕捉装置を含み得る。ここで使用されるように、固体カメラは、一般に、半導体処理技術から作られるカメラを参照し、そしてそれ故、１以上のレンズを必然的に含むものではない。しかしながら、様々のタイプの他のカメラが、おそらく要求される実施形態とともに使用され得る。

もう１つの例示的な実施形態は、平面イメージ捕捉装置を有する平面イメージ捕捉システムを含み得る。平面イメージ捕捉装置は、ベースイメージ平面を定めるレスト面と、前記イメージ平面に対して傾斜する光学軸を定める固定カメラ装置とを有し、前記カメラ装置は、前記固体カメラ装置から少なくとも約２．５インチ以上約７．５インチ以下で広がる被写界深度を伴う固定された光学焦点を有する。加えて、システムは、少なくとも捕捉装置からイメージ情報を受信することが可能な平面イメージ捕捉装置に接続される計算装置を含み得る。

さらにもう１つの例示的な実施形態は、イメージ情報を与える方法を提供し得る。その方法は、ベースイメージ平面に対して傾斜する光学軸、および前記固定カメラから少なくとも約２．５インチ以上約７．５インチ以下で広がる被写界深度を伴う固定焦点を有する固体カメラ装置を向けることを含む。その方法はまた、前記固体カメラ装置でイメージデータを捕捉すること、及び、少なくとも部分的にイメージデータをデジタルメモリに保存することを含み得る。

もう１つの例示的な実施形態は、方法を実行するためのプロセッサによって実行のためにそこに保存されるコンピュータ可読インストラクションを有するコンピュータ使用可能媒体を提供する。その方法は、ベースイメージ平面に対して傾斜する光学軸、及び、少なくとも約２．５インチから約７．５インチの間で広がる被写界深度を伴う固定焦点を有する固体カメラ装置を向けること、固体カメラでイメージデータを捕捉すること、及びイメージデータを、デジタルメモリ内に少なくとも部分的に保存すること、を含む。

さらに他の例示的な実施形態は、ネットワーク及び平面イメージ捕捉装置を含むイメージ捕捉及び送信システムを提供する。平面イメージ捕捉装置は、ベースイメージ平面を定めるレスト面、ベースイメージ平面に対して傾斜する光学軸を定める固体カメラ装置を含み、前記カメラ装置は、少なくとも約２．５インチ以上約７．５インチ以下で広がる被写界深度を伴う固定光学焦点を有する。平面イメージ捕捉装置は、ネットワークに接続され、前記イメージ情報を、ネットワークを通じてもう１つの装置に送信するように操作可能である。

ここで開示される、これらの及び他の実施形態及び有利性及び他の特徴は、以下の記載を読むこと、及びいくつかの図表を研究することで、当業者に明白になるであろう。

様々な例示的な実施形態の特定の特徴は、捕捉されたノート、それらに関係するメタデータ、認識結果等を、ビュー、ブラウズ、共有、検索及び編集するアプリケーションソフトウェアを提供する。様々な例示的な実施形態は、ユーザの「デスクトップ」又は様々なアプリケーションウィンドウに関連し得るヒューマンインターフェイスソフトウェアを含む。

図１は、ノート捕捉装置２及びそれが通信する様々な他の装置を示すハイレベル図である。 図２は、図１のノート捕捉装置のより顕著な詳細を示す。 図３Ａ−３Ｂは、図１及び２のノート捕捉装置２のより顕著な詳細を示す。 図４は、図２及び３のカメラヘッドのより顕著な詳細を示す。 図５は、操作の様々なモードを検出するためのさらなるセンサ機器を伴うノート捕捉装置２を示す。 図６は、カメラヘッド３２の領域のより顕著な詳細を示す。 図７は、コピーボタン２４のより顕著な詳細を示す。 図８は、ワイヤレス通信サブシステム１２を含む例示的な実施形態におけるノート捕捉装置２を示す。 図９は、手書き面の特定の辞退された領域が、ノートの配置に関する特定の手段を有するノート捕捉装置２の例示的な実施形態を示す。 図１０は、きれいなイメージが得られることを保証する手助けとなる捕捉処理に関して使用され得るＬＣＤディスプレイスクリーン６０を含むノート捕捉装置２の例示的な実施形態を示す。 図１１は、図３，５，６及び７のプリント回路基板３８上で具体化される回路のブロック図である。 図１２は、ノート捕捉装置２上で作動する捕捉処理を示すフローチャートである。 図１３は、図１２の操作の特定の実施形態のある特徴を記述するタイムラインの部分を示す。 図１４は、図１２の操作の特定の実施形態のある特徴を記述するタイムラインの部分を示す。 図１５は、図１２の操作の特定の実施形態のある特徴を記述するタイムラインの部分を示す。 図１６は、ハイレベル「イメージタイムライン」を達成するために、カメラセンサからのデータを処理するための「データ抽象化」技術を採用するための代替の実施形態を示す図である。 図１７は、ノート捕捉装置２によって捕捉されたノートに関して使用されるアプリケーションソフトウェアの操作を示すフローチャートである。 図１８は、図１７のイベントループ操作２９０の望ましい操作のより顕著な詳細を示すフローチャートである。 図１９は、図１８のイベント操作２９８を操作し、示すフローチャートのより顕著な詳細である。 図２０は、アプリケーションソフトウェアのためのグラフィカルユーザインターフェース（ＧＵＩ）の例示的な実施形態を示す図である。 図２１は、アプリケーションソフトウェアの望ましいイメージ＆特定の特徴を示す図である。 図２２は、メタデータ表示／編集ＧＵＩを示す図である。 図２３は、代替のビジネスカードスキャニングの例示的な実施形態を示す図である。

いくつかの例示的な実施形態は、今、図面を参照して記載され、同様な要素は、同様な参照番号とともに与えられる。例示的な実施形態は、例示を意図し、発明を限定するものではない。

図１は、ノート捕捉装置２と、このノート捕捉装置２が通信を行う他の装置とを示すハイレベル図である。例えば、ノート捕捉装置２は、例示的な実施形態において、ＵＳＢケーブル６を経由してパーソナルコンピュータ４と通信し得る。ノート捕捉装置２が他の手段を経由してパーソナルコンピュータ４と通信し得るということもまた考えられる。捕捉装置２は、例示的な実施形態におけるバッテリ８又は、例えば１１０ボルトで運転する交流ウォールソケットを電源として駆動する電源アダプタ１０（図示せず）のような他の手段によって駆動され得る。ワイヤレス通信サブシステム１２が、様々な実施形態において、パーソナルコンピュータ４、ワイヤレスインターネットルータ１４、ラップトップコンピュータ１６、及び携帯電話１７のような様々なワイヤレス装置と通信するためのノート捕捉装置２によって使用される。ノート捕捉装置２が通信するこれらの様々な装置は、インターネット１８に選択的に接続される。ノート捕捉装置２の目的は、ポストイットノートに含まれるような手書きの情報を捕捉するための直感的な方法を提供することである。捕捉された手書き情報は、その後、パーソナルコンピュータ４、ワイヤレスインターネットルータ１４、ラップトップコンピュータ１６、又は携帯電話１７を含む、ノート捕捉装置２が通信し得る様々な装置の１つに送信される。特定の例示的な実施形態において、捕捉された情報は、前記装置に保存され、又はインターネット１８を経由して、インターネット１８に接続される、サーバ２０（図示せず）又は他のパーソナルコンピュータ４等のような様々な電子装置に転送される。

図２は、図１のノート捕捉装置２のより顕著な詳細を示す。ノート捕捉装置２に含まれるのは、パームレスト２２（レスト面としても参照される）、コピーボタン２４、トップページが、除去可能な筆記面となり得るノートパッド２６、ファンクションランプ２８、カメラポスト３０、及びカメラヘッド３２、である。手のひらがパームレスト２２に接触するそれぞれの領域が実質的にパームレスト２２の全体の面積よりも小さいことから、パームレスト２２は、実質的に連続である。他の要素が内部に存在する一方、これらの要素は、様々なサブセット、スーパーセット、及びコンビネーションにおいて、特定の例示的な実施形態におけるノート捕捉装置２のためのヒューマンインターフェイスとしての役割を果たす。 図示されない様々なセンサ及び電子機器が、ノート捕捉装置２の機能性を与えるために必要とされ、そして、より顕著な詳細において次に議論されるであろう。ノート捕捉装置２を使用しているとき、ユーザは、ペンや鉛筆のような筆記用具を簡単にとり、ノートパッドに書き留める。例示的な実施形態において、ノートパッド２６への手書きの完了は、ユーザがコピーボタン２４を押すこと、または、前記手書きの完了を示す他の手動若しくは自動のトリガメカニズムによって信号化される。ノートパッド２６の一番上の記載におけるイメージは、ＵＳＢ６、ワイヤレス通信サブシステム１２、又は他の手段を経由して外部装置に送信される。このとき送信されるそのイメージが、コピーボタン２４の押圧に先んじて捕捉されることに留意すべきである。換言すれば、コピーボタン２４の押圧は、イメージが送信され、そして、カメラヘッド３２が作動し、イメージを得るということを示す合図として使用されても良いかどうかということを示す。カメラヘッド３２は、連続モード又は、コピーボタン２４の近傍の作動モードのクリックにおいて、作動可能である。加えて、参照番号２３は、一般に、細長くされたベースアセンブリを示す。

パッド２６は、いくつかの実施形態において、紙の各シートが、弱い、再使用可能な接着成分によってもう１つのシートに保持されるタイプのものであり得る。

限定されないある実施形態において、平面イメージ捕捉装置は、ベースイメージ平面を定めるレスト面、及びベースイメージ平面に対して傾斜する光学軸を定める固定カメラ装置を含む。固体カメラはまた、少なくとも約２．５インチ以上約７．５インチ以下で広がる被写界深度を有する。一般的に言えば、被写界深度は、面のイメージが、カメラ装置から見えるものとしてかなり明らかである距離である。また一般的に言えば、被写界深度は、平面イメージ捕捉装置が組み付けられたときに、固定範囲に換算される。

図３は、図１及び図２のノート捕捉装置２のより顕著な詳細を示す。ノートパッド２６は、ノートパッドレスト３４に残り、ユーザの手書き面を提供する。コピーボタン２４は、ユーザに、ノートが完了したことを示すことを許容するために備えられる。コピーボタン２４下のコピーボタンマイクロスイッチ３６は、コピーボタン２４の動きを、ノートの完了を示すために使用される電気的な信号に変換されるように使用される。ある実施形態において、コピーボタンマイクロスイッチ３６は、プリント回路基板３８に取り付けられる。パームレスト２２は、ある実施形態において、プリント回路基板３８に取り付けられるパームレストマイクロスイッチ３６に接触している。プロセッサ４２は、プリント回路基板３８に取り付けられ、ノート捕捉装置２の様々な機能を実行するための計算能力を与える。カメラヘッド３２は、構造支持要素３０に取り付けられ、カメラケーブル４４を経由してプリント回路基板３８に接続される。構造支持要素３０は、ポスト又はディスプレイとして定められ得る。ページ除去検出器４６は、ある限定されない実施形態において、ノートの除去の検出を補助するために備えられる。この種の検出はまた、カメラヘッド３２によって得られるイメージの解析を通じて、受動的な手段によって達成され得る。ノート捕捉装置２の様々な実施形態において、センサの数と種類は、非常に多くなり得る。ページ除去検出器４６は、ある例示的な実施形態において、ノートパッド２６の一番上のノートに対する継続的な物理的接触を維持するために設けられるスプリングである。ページ除去検出器４６が、ノートの除去を示す動きを検出するとき、電気的信号が発生し、プリント回路基板３８に伝達される。この信号は、パームレストマイクロスイッチ３６、コピーボタンマイクロスイッチ４０、ページ除去検出器４６、様々なセンサからの様々な信号と同様に、カメラヘッド３２によって得られるイメージと同様に、いつノートが完了し、捕捉されるべきかの決定を補助するために、全て一緒に使用される。ノートが捕捉されるとき、ノートのイメージを含む信号は、パーソナルコンピュータ４、ワイヤレスインターネットルータ１４、ラップトップコンピュータ１６、又は携帯電話１７のような外部装置に送信される。イメージの通信は、ワイヤレス通信サブシステム１２（図示せず）を含む様々な方法において、又は、ＵＳＢコネクタ４８を経由してプリント回路基板３８に接続されるＵＳＢケーブル６のような物理的に接続される手段によって、生じうる。ＵＳＢケーブル６はしかし、多くの可能な物理的接続である。イーサネットケーブル等を代わりに含む。

図２及び他の図はまた、実質的に平坦な面を含むベースイメージ平面２７を示す。ベースイメージ平面２７は、一般的に、ノートパッド２６の四角形以外の様々な形状のものが可能で、そして、連続的である必要がないことについて留意されるべきである。加えて、図３Ｂに示されるような垂直軸２９が、ベースイメージ平面２７によって定められる。ここで使用される、「垂直な被写界深度」は、例えば、認識及び／又はシステムの他の目的のために、イメージが十分な焦点及び／又は解像度である、カメラヘッド３２によって検出されるイメージがシステムによって使用のために十分に分析される垂直軸２９に対して実質的に平行な被写界深度で定義される。

図４は、図２及び図３のカメラヘッド３２のより顕著な詳細を示す。カメラヘッド３２は、ある例示的な実施形態において、カメラプリント回路基板５０、カメラアセンブリ５２、及びＬＥＤ５４を含む。カメラアセンブリ５２は、レンズ、及び、カメラセンサからカメラケーブル４４を越えて、他の要素、特に、プリント回路基板３８に取り付けられるプロセッサ４２に一連のイメージを送信することができるカメラセンサ装置を含む。ＬＥＤ５４は、ノート捕捉装置２及び、より詳細には、ノートパッド２６の手書き面が、様々な光の照明条件で照らされるように、光を与える。図４において示されるカメラヘッド３２の構成は、ある例示的な実施形態において、限定されない方法において解釈される。

図５は、操作の様々なモードを検出するためのさらなるセンサ機器を伴う捕捉装置２を示す。特に、この実施形態において、ノートパッドレスト３４は、ノートパッド２６に対する圧力の適用が、手書き動作が生じていることを示すプロセッサ４２に、プリント回路基板３８を経由して伝搬され、電気的信号を生ずるように、圧力感知式である。接近センサ５４はまた、ノートパッド２６上に物理的に現れることを示す信号を与えるために含まれる。接近センサ５４は、同様に、プリント回路基板３８を経由して、電気的信号をプロセッサ４２に伝搬する。既述のように、パームレスト２２は、手書き操作が、プロセッサ４２に対して生じる信号を与えるために、圧力感知式である。ここで記述される様々なセンサの出力は、ノートパッド２６によって与えられる手書き面を変換するビューの領域を有するカメラヘッド３２から得られるイメージ情報に結合される。ノートパッド２６を直接覆っているものではないことから、カメラヘッド３２のビューが傾斜しているということが留意されるべきである。構造支持要素３０の高さは、得られたイメージデータがノートの適したイメージに矯正され得るように、ノートパッド２６の適切なビューを与えるのに十分な高さである必要がある。

図６は、カメラヘッド３２のビューの領域のより顕著な詳細を示す。ここで示されるように、望ましい限定されない実施形態において、カメラヘッド３２は、ノートパッド２６の手書き面の中心に向けられる。パームレスト２２に近いノートパッド２６の部分は、大きな距離で見え、それ故、ノートパッド２６の中心に関係するイメージの部分よりも、結果のイメージにおいて、より低い解像度を使用する。同様に、カメラヘッドに最も近いイメージの部分は、ノートパッド２６の中心に関係するイメージの部分よりも、より高い解像度を使用する。

図７は、コピーボタン２４のより顕著な詳細を示す。コピーボタン２４の表面における凹みは、例示的な実施形態において、ペン、鉛筆又は他の筆記具が、プリント回路基板３８に取り付けられるコピーボタンマイクロスイッチ３６に直接物理的に接触するコピーボタン２４から滑り落ちることなしに、容易にボタンを押すことができるように備えられる。

図８は、例示的な実施形態において、ワイヤレス通信サブシステム１２を含むノート捕捉装置２を示す。ワイヤレス通信サブシステム１２は、プリント回路基板３８に取り付けられる回路（図示せず）に結合されるノート捕捉装置２に対して内部的又は外部的になり得るアンテナとして部分的に設けられる。様々な通信プロトコルがワイヤレス通信サブシステム１２とともに使用され得る。Ｂｌｕｅ Ｔｏｏｔｈ、ワイヤレスＬＡＮプロトコル、携帯電話プロトコル等のようなプロトコルは、当業者によく知られている。様々な代替の実施形態は、ＩＲ等を含む。加えて、ＧＰＳ信号を受信する機器もまた備えられ得る。ＧＰＳ機器は、ノート捕捉装置２の位置を決定するために使用され、そしてそれ故、イメージに関連するメタデータとしてのイメージ情報とともに位置情報が保存され得る。これは、特定のノートを位置づけることを試みているユーザを後で助け得る。ユーザは、本能的に、努力なしに日付の大体の概算と同様にノートを書くときに、彼らがどこにいるかを覚えようとする。ここで開示されるノート捕捉装置は、特許請求の範囲内において、ここで開示される技術の小さな及び大きなアプリケーションに適応する範囲で、大きく変化し得るということに留意すべきである。

図９は、ノート捕捉装置２の例示的な実施形態を示し、手書き面の特別に示された領域は、ノートの配置に関する特定の意味を有する。特定の領域５６及び５８は、この例において、ユーザがこの領域を、ペンや鉛筆等のような筆記具で押したときに、ユーザの定められた機能を実行するために与えられる。特定の領域５６又は５８における、ペンダウンの検出は、カメラヘッド３２によって得られたイメージのイメージ解析によって、又は、特定の領域５６及び５８の下のマイクロスイッチのような様々なセンサを備えることによって、実行され得ることに留意すべきである。これらの実施形態に加えて、遮られる光線のような、様々な他のセンシング技術が使用され得る。特定の領域５６及び５８の配置は、例示的のみであり、多くの他の構成が可能である。特定の領域５６及び５８に関連する意味は、ユーザがプログラムでき、特定の、所定のユーザに対して捕捉されたノートをメールすること、ノートを、例えばサーバ２０に組み込まれたウェブサイト（図示せず）上のアルバムに配置すること、所定のＦＡＸ番号にＦＡＸを送ること等のような、様々な機能を含み得る。

図１０は、きれいなイメージが得られるということを保証する助けとなる捕捉処理に関して使用され得るＬＣＤディスプレイスクリーン６０を含むノート捕捉装置２の例示的な実施形態を示す。ＬＣＤディスプレイスクリーン６０は、コピーボタン２４を押して捕捉されるノートをユーザが見ることができるように、ユーザに対するフィードバックを提供するために使用され得る。また、ＬＣＤディスプレイスクリーン６０は、ノート捕捉装置２のためのヒューマンインターフェイスとして使用され、そして、ペンや指が、ノート捕捉装置２の操作に影響する様々なソフトキー及び捕捉されたノートの配置と影響し合うように使用されるために、タッチスクリーン能力を付加的に含み得る。この例示的な実施形態において、構造支持要素３０は、ＬＣＤディスプレイスクリーン６０を収容するように広げられ、そして、カメラヘッド３２は、広げられた支持要素３０の一番上に取り付けられる。この実施形態において、ワイヤレス通信サブシステム１２の部分は、他の実施形態としての構造支持要素３０内に収容され得る。構造支持要素３０はまた、いくつかの実施形態において、イメージを投影できる、要素３０に支持される光要素を含み得る。さらにもう１つの実施形態において、イメージを処理することが、ノート捕捉装置２内で生じ得る。

図３，５，６及び７を参照し、図１１は、図３，５，６，及び７のプリント回路基板３８に具体化される回路のブロック図である。プリント回路基板３８の様々な要素は、バス６２、プロセッサ４２、揮発性記憶装置６４、不揮発性記憶装置６６、リードオンリーメモリ６８、カメラＩＯ７０、及び他のＩＯである。デジタルメモリもまた、図１１の構成に含まれる。他のＩ／Ｏ７２は、デジタルメモリ、及び他のメモリ及び保存装置からのデータを、外部の装置又はネットワークに転送可能な通信ポートを含み得る。通信ポートは、配線され又は無配線であり得る。これらの様々なプリント回路基板３８の電気要素は、ノート捕捉装置２内の埋め込まれたコンピュータとして、ノート捕捉、ユーザインターフェイス、及び通信の様々な機能を提供するように作動する。プロセッサ４２は、バス６２に接続され、ノート捕捉装置２の様々な機能のための主な計算能力を提供する。揮発性記憶装置６４は、プロセッサ４２内に具体化される様々な処理のための一時的な保存を含み得る。不揮発性記憶装置６６は、フラッシュメモリ、又はハードディスクのような様々な保存サブシステムを含み得る。代わりの実施形態は、ＣＤ−ＲＯＭ、フラッシュカード等のような様々なリムーバブルメディアを含み得る。換言すれば、当業者に知られる様々な不揮発性記憶サブシステムが、不揮発性記憶装置６６を補い、またはそれに置き換えられるために使用され得る。特定の限定されない実施形態において、ノート捕捉装置２によって捕捉される１以上のノートが不揮発性記憶装置６６に保存され、そして、その後、接続されている様々な装置にアップロードされる。リードオンリーメモリ６８は、起動におけるプロセッサ４２のためのＯＳレベルインストラクションを含むように備えられ、そしてまた、ユーザインターフェイス、捕捉、及び通信を実行するノート捕捉装置２上で動く処理の全体又は部分を含むプロセッサ４２のための様々なライブラリ機能を与える。リードオンリーメモリ６８は、プログラム可能であることに留意すべきである。カメラＩＯ７０は、ある例示的な実施形態において、携帯電話内に備えられるようなカメラに関連する電気要素を含み得る。様々な代替の実施形態は、光出力に関するカメラヘッド内にＬＥＤを制御し、又は、ＬＥＤを作動、停止させる能力を含み得る。付加的な実施形態は、例えば、セキュリティ機能等を実行するための部屋又は他の環境をパンすることができるように、カメラの角度を変えるサーボ機構を含み得る。それ故、カメラＩＯ７０は、カメラヘッド３２からイメージを得るだけでなく、様々なその操作の特徴を制御するために使用される。イメージ解像度等と同様に、ズーム及びフォーカスは、全てカメラＩＯ７０によって潜在的に制御される。他のＩＯ７２は、ノート捕捉装置２に関連する様々なセンサ及びマイクロスイッチに対するＩＯを与える。加えて、他のＩＯ７２は、例えば、キーボード、又はポインティング装置、又は、ＬＣＤディスプレイスクリーン６０のような出力装置に対するＩＯを与え得る。付加的な例示的な実施形態は、そのタッチスクリーンの実施形態において、ＬＣＤディスプレイスクリーン６０に関連するＩＯを与える。他のＩＯ７２はまた、例えば、ノート捕捉装置２の操作状況、通信状況、捕捉状況を表示するように使用され得るファンクションランプ２８のような様々なＬＥＤを制御するために使用され得る。他のＩＯ７２は、マイクロホン又はＧＰＳ機器を伴うインターフェイスに対して使用され得る。同様に、他のＩＯ７２の例示的な実施形態は、ワイヤレス通信サブシステム１２、ＵＳＢコネクタ４８、及び他の通信モードを経由して通信を提供する。

ある実施例において、得られたイメージのアンチキーストーンイメージ処理が実行され、ＲＯＭ６８のようなメモリによって支援される。

図１２は、ノート捕捉装置２上、より詳細には、プリント回路基板３８の様々な要素、特にプロセッサ４２や関連するメモリ上を動く捕捉処理を示すフローチャートである。これは、ある操作モードの例に過ぎず、限定されない例によって与えられる。図１２の操作のためのコードは、リードオンリーメモリ６８や不揮発性記憶装置６６内で具体化され、又は、パーソナルコンピュータ４、ラップトップコンピュータ１６、あるいはノート捕捉装置２が携帯電話や、サーバ２０のようなインターネット１８上のサーバと通信し得る他の装置のような外部ソースからダウンロードされ得る。オペレーションは、オペレーション７４において始まり、プロセスが初期化されるオペレーション７６に続く。ノート捕捉装置２の様々なセンサと同様に、カメラヘッド３２から得られるイメージをモニタするために必要とされる様々なバッファが、このときに初期化される。この点で、制御は、様々な入力が読まれるオペレーション７８に移る。特定の実施形態において、イメージは、カメラヘッド３２から継続的に得られ、そして、他の実施形態において、カメラヘッド３２からのデータは、現在のプロセスによって特別に要求されるまで得られない。イメージが継続的に得られた場合、それは、どのイメージのフレームが捕捉されるべきかを決定するのを助けるために使用され得る。ある実施形態において、イメージが得られ、他のセンサは、どのイメージがノートとして捕捉されるべきかを決定するために必要とされない。このポイントで、オペレーション８０は、イメージが捕捉されるべきか否かを決定する。これは、例えば、他の様々なセンサ及びカメラヘッド３２によって得られるイメージに加えて、コピーボタンマイクロスイッチ３６によって得られる信号のような様々なセンサ入力を試験することによって実行される。ある低コストの実施形態において、イメージを捕捉するタイミングを決定するために分析され得るカメラ入力以外、いかなるセンサも必要とされない。イメージが捕捉されるべきことがオペレーション８０において決定された場合、制御は、オペレーション８２に移り、ここでシングルイメージが捕捉される。捕捉の方式は、カメラヘッド３２から又は、以前に保存されたイメージバッファから、シングルイメージを得ることである。いずれにしても、捕捉されるイメージは、ノート捕捉装置２と通信する既述の装置の１つを経由して、パーソナルコンピュータ４、ラップトップコンピュータ１６、形態電話、又はサーバ２０のような外部装置に送信される。ワイヤレスインターネットルータ１４もまた、イメージを捕捉するために、サーバ２０のようなインターネット上の様々な装置と通信するために使用され得る。オペレーション８２の完了で、制御は、図１２のオペレーションが完了されたかどうかを決定するオペレーション８４に通じる。もし、オペレーション８０において、イメージを捕捉すべきでないということが決定された場合、制御は、同様に、図１２のオペレーションが完了されたか否かを決定するオペレーション８４に移る。もし、図１２のオペレーションが完了されたことがオペレーション８４で決定された場合、制御はその後、オペレーションを終了するオペレーション８６に移る。ノート捕捉装置２内での図１２のオペレーションの実行に対する代替が、単に、イメージやセンサ入力のようなテレメトリをパーソナルコンピュータ４のような外部装置に送信し、その後、前記外部装置内で図１２のオペレーションを実行すること、であることに留意すべきである。さらに、外部装置からノート捕捉装置２にメッセージを送信することによって様々なハードウェア要素を制御することも可能である。換言すれば、ここで記述される様々なプロセスは、様々な装置で具体化され得る。ある例示的な実施形態において、ノート捕捉装置は、内蔵の又は取り付けられるカメラを伴う携帯電話内で具体化され又は併合され得る。

図１３，１４及び１５は、図１２のオペレーションの特定の実施形態のある特徴を、より詳細に記述するタイムラインの部分を示す。特定の例示的な実施形態において、捕捉するか否かの決定は、ユーザがコピーボタン２４を押したことを検出することと同じくらい簡単であり、付加的な例示的な実施形態は、図１２に記載される様々なセンサのモニタリングを含む。図１３は、時間内に４つのモーメントを、そして、様々なセンサ入力を、それらの入力から得られる特定の情報と同様に表示する。タイムラインの第１のフレームは、ブランクイメージを示す。このとき、パームレストセンサは、何も検出せず、しかも、接近センサ、ページ除去センサも何も検出しない。このイメージが第１のイメージであり、比較することがないので、そのイメージマッチはネガティブである。同様に、イメージ一致はネガティブである。イメージがブランクであることが容易に検出されるので、イメージブランクは、ポジティブであり、インクがなく、そして、ユーザの手及びペンは、ビューの領域内にはない。ペンダウンセンサはまた、現在の手書き動作がないことを示す。フレーム２は、フレーム１と同じようにブランクイメージを示す。再び、ユーザの動作がなく、そして、それ故、パームレスト、接近、及びページ除去のようなセンサが全てネガティブである。しかしながら、このイメージが前のイメージと同一であるので、イメージマッチ及びイメージ一致が両方ともポジティブである。イメージブランクは、フレーム２のイメージがブランクであることを示すポジティブであり、そして、ペンダウンは、ユーザがノートパッド２６上の記載に現在関係していないということを示すネガティブである。フレーム３において、ユーザは、ペンや鉛筆のような筆記具でノートパッド２６上に書くことを始めた。完了された手書きの部分は、筆記具それ自体であるものとしてフレーム３において見ることができる。パームレスト２２に関するパームレストセンサは、パームレストマイクロスイッチ４０がパームレスト２２上の圧力を検出することを示すように作動する。接近センサ５４は、手や筆記具のような対象の接近を検出し、そしてそれ故、接近の表示もまたポジティブである。ページ除去センサは、ページの除去を検出しない。現在のイメージフレーム３がフレーム２における前のイメージとマッチしないことから、イメージマッチ決定はネガティブである。いくつかの手書きが現れるので、イメージは、もはやネガティブではない。ペンダウン表示は、ペンの圧力がペンダウンセンサを作動させるポジティブ表示である。今、タイムラインのフレーム４において、ユーザがこの手書き操作を実行し続けたことを、より多くの手書きが表す。パームレスト２２及びパームレストマイクロスイッチ４０に関連するパームレストセンサは、ユーザの手のひらがパームレスト２２上で残っていることを示すポジティブである。同様に、接近センサ５４は、ユーザの手又は筆記具の出現を検出する。ページ除去センサは、ページの除去を検出しない。イメージマッチ及びイメージ一致は、このイメージが前のイメージと異なることを示すネガティブである。イメージブランクは、ビューにおいて手書き及び筆記具の部分を有するので、このイメージがブランクでないことを示すネガティブである。ペンダウン表示は、圧力がノートパッド２６、そしてそれ故、この実施形態において圧力センサを含むノートパッドレスト３４に作用することを示すポジティブである。

今、図１４に変わって、フレーム５は、手書きを含み、筆記具又はユーザの手の部分を含まないノートを示す。パームレスト表示は、圧力が現在、パームレスト２２に作用しておらず、そしてそれ故、パームレストマイクロスイッチ４０が休止していることを示すネガティブである。接近センサは、ユーザの手がノートパッドに接触していない一方、接近センサがそれを検出し続けることを生じさせるために、それが十分に近いことを示す。ページ除去センサ４６は、ユーザがノートパッド２６からノートを取り除くことを試みていないことを示すネガティブである。イメージマッチは、このイメージが、所定の許容範囲内の前のイメージと同じでないということを示すネガティブである。特定の許容範囲内で、微妙な変化についてイメージを比較し、マッチを示すために十分同じであるイメージを認証するための方法は、当業者によく知られている。イメージ一致表示は、このイメージがどのような前のイメージとも一致してないこと示すネガティブである。イメージブランク表示は、このイメージが、ブランクでないこと、およびその上に手書きを有することから、ネガティブである。ペンダウン表示は、圧力が現在ノートパッド２６に作用しておらず、そしてそれ故、この実施形態において、圧力センサを含むノートパッドレスト３４上で検出されないことを示すネガティブである。フレーム６は、実質的に前のイメージと同一であるイメージを示す。照明状態、及びカメラヘッド３２内で具体化されるようなカメラセンサ内において、光子を収集することに固有な不完全さのために、ある微妙な変化が現れ得ることに留意すべきである。フレーム６において、パームレスト表示が、ユーザの手が現在パームレストセンサ２２上で休息しておらず、そしてそれ故、パームレストマイクロスイッチ４０が圧力を検出していないことを示すネガティブであるのに対し、接近表示は、ユーザの手がノート捕捉装置２に接近していることを示すポジティブである。ページ除去表示は、この場合ネガティブである。イメージマッチは、このイメージがマッチを示すための前のイメージに十分近いものであることを示すポジティブである。イメージ一致は、前のイメージ５が現れた手書きの全ての部分が、イメージ６内に現れることを示すポジティブである。もし、付加的なインクがイメージ６で見えたとき、イメージ一致は、未だポジティブである。それ故、イメージマッチとイメージ一致との間の相違は、イメージ一致が後のイメージにおいて付加的なインクにイメージマッチが寛容であるものである一方、イメージマッチが後のイメージにおける付加的なインクに寛容でないものであるということである。イメージブランクは、この例において、イメージがブランクでなく、手書きを含むことを示すネガティブである。ペンダウン表示は、現在ノートパッド２６に作用する圧力がなく、そしてそれ故、この実施形態において、圧力センサを含むノートパッドレスト３４に対する圧力がないことを示すネガティブである。

フレーム７は、付加的な手書きが生じ、そして、筆記具が再びイメージ内に部分的に見えることを示す。パームレスト表示は、ユーザのパームが現在パームレストセンサ２２に圧力を作用させ、そしてそれ故、パームレストマイクロスイッチ４０が作動されることを示すポジティブである。接近センサ５４は、ノート捕捉装置２に接近するユーザの手の出現を検出する。ページ除去検出器４６は、ユーザがページを除去することを試みていないことを表示する休止である。前のイメージが見えないのに対して、イメージマッチ表示器は、この場合において、付加的な手書きが生じ、そして、筆記具が現在イメージ内に見えるという事実によってネガティブである。イメージ一致は、同様に、筆記具がイメージ内に出現するために、ネガティブである。イメージブランクは、この場合、筆記具とある手書きが両方イメージ内に出現するために、ネガティブである。ペンダウン表示は、ユーザが現在、筆記具で圧力をノートパッド２６に及ぼし、そしてそれ故、圧力が、この実施形態において、圧力センサを含むノートパッドレスト３４に対して作用することを示すポジティブである。フレーム８は、筆記具がイメージから除去され、加えられた手書きを示す。パームレスト表示は、圧力が現在パームレスト２２に作用しておらず、そしてそれ故、パームレストマイクロスイッチ４０が休止していることから、ネガティブである。接近センサ４６は、同様にユーザの手の出現を検出しない。ページ除去センサ４６は、休止しており、そしてページ除去表示はネガティブである。イメージマッチは、現在のイメージにおいて休止であるのに対し、この例において、筆記具が前のイメージにおいて現れているので、ネガティブである。イメージ一致は、この例において、このイメージが、ある付加的なインクと同様に、フレーム５及び６において現れるインクの全てを含むため、ポジティブである。イメージブランク表示は、このイメージがあるインクを含むことから、ネガティブである。ペンダウンは、この例において、ユーザがノートパッド２６に圧力を及ぼしていないことを示すネガティブである。

図１５は、フレーム８の完了した手書きが見え、筆記具が現れていないフレーム９を示す。パームレスト表示は、ユーザの手がパームレスト２２に圧力を及ぼしておらず、そしてそれ故、パームレストマイクロスイッチ４０が休止であることを示すネガティブである。近接表示は、接近センサ５４によって示されるように、ユーザの手がノート捕捉装置２に近くにあるということを示すポジティブである。ページ除去センサは、ユーザがノートパッド２６からノートを取り除くことを試みておらず、そしてそれ故、ページ除去表示がネガティブであるということを示す。イメージマッチ表示は、許容範囲内で、このイメージが前のイメージにマッチすることを示すポジティブである。また、イメージ一致は、フレーム９のイメージが前のフレーム５，６及び８のイメージに一致することを示すポジティブである。イメージブランク表示は、イメージ９があるインクを含むので、ネガティブである。ペンダウン表示は、ユーザが現在ノートパッド２６に書いておらず、そしてそれ故、ノートパッドレスト３４への圧力を生じていることを示すネガティブである。フレーム１０は、手書きに従うイメージに現れるユーザの親指を示す。パームレスト表示は、ユーザの手が現在パームレスト２２に圧力を及ぼしており、そしてそれ故、パームレストマイクロスイッチ４０を作動したことを示すポジティブである。近接表示は、ユーザの手が、ユーザの手を感知できるように、接近センサ５４に十分近いことを示すポジティブである。ページ除去表示は、ユーザが未だノートパッド２６からノートを取り除いていないことから、ネガティブである。イメージマッチは、ユーザの親指がフレームに入っていることから、ネガティブであり、そして、同様に、イメージ一致は、このイメージに前のイメージが一致するものがないことから、ネガティブである。イメージブランクは、フレームが手書き及びユーザの親指の部分を含むことから、ネガティブである。ペンダウンは、現在ノートパッド２６に及ぼす圧力がないことから、ネガティブである。フレーム１１は、ノートパッド２６からノートを剥がすユーザを示す。パームレスト表示は、現在パームレスト２２に圧力が作用していないことを示すネガティブである。接近センサ５４は、ユーザの手の出現を検知し、そしてそれ故、近接表示はポジティブである。ページ除去センサは、ユーザがノートパッド２６からノートを現在除去していることを示すポジティブである。ユーザがノート上に手書き操作を完了したことを示すことから、ページ除去表示の出現は、重要である。このフレームにおいて、ユーザの親指がイメージ内に見え、そして、ノートが剥がされることから、イメージマッチ表示はネガティブである。同様に、イメージ一致表示は、ネガティブである。イメージブランクは、ユーザの手及びノートのエッジが見えることから、ネガティブである。ペンダウンは、圧力が現在ノートパッド２６に作用していないことを示すネガティブである。フレーム１２は、ブランクイメージを含む。パームレスト表示は、ユーザが現在、彼の手でパームレスト２２に圧力を及ぼしていないことを示すネガティブである。近接表示は、接近センサ５４が現在ユーザの手の出現を検出していないことを示すネガティブである。ページ除去センサは、ユーザが現在ノートを除去していないことを示すネガティブである。イメージマッチは、このイメージが、ページが除去されてからとられた前のイメージと一致しないことを示すネガティブである。イメージブランクは、このイメージがブランクであることを示すポジティブである。ペンダウンは、圧力がノートパッド２６に作用していないことを示すネガティブである。

図１２，１３，１４及び１５を参照し、図１２のオペレーションは、ここで例として記述される様々な実施形態の形式をとり得る。これらの例は、限定されない方法において解釈される。例えば、図１３，１４および１５の様々なフレーム１から１２は、図１２のオペレーション７８が様々な入力をサンプリングする、時間内に考えられる例であり得る。様々な入力は、その後、オペレーション８０で分析され、そして、さらにオペレーション８２で処理されるように、バッファされる。イメージが捕捉されるものであることを決定するオペレーション８０は、例えば、ページ除去センサについてのポジティブ表示によってトリガされる。これは、捕捉するタイミングを決定する１つの方法にすぎないことが強調されるべきである。他の例示的な実施形態は、捕捉ボタン２４が押圧されることの検出、そして、その代わりとして、イメージそれ自体以外に、センサやボタンを必要としない実施形態、を含む。様々なセンサ及びボタン及びイメージの組み合わせもまた使用され得る。図１２のオペレーション８０が捕捉するときを決定したとき、制御は、イメージの捕捉を、例えば、パーソナルコンピュータ４、ラップトップコンピュータ１６、携帯電話１７、又はサーバ２０のような外部装置に誘導する図１２のオペレーション８２に移る。代わりに、外部装置又は外部装置に物理的にロードされるリムーバブルメディアの使用を通じてアンロードされるために、捕捉されたイメージは、フラッシュメモリ、のような不揮発性記憶媒体にバッファされる。図１２のオペレーション８２は、外部装置又はカメラヘッド３２に対してイメージの捕捉を実行するが、捕捉されるイメージは、カメラヘッド３２によってとられた最も新しいイメージである必要はなく、むしろ、最も新しい安定したイメージであるということに留意すべきである。特定の実施形態において、イメージが安定し、そして、ペンダウンのような様々なセンサが筆記具の出現を検出しないということが要求される。これは、例えば、安定し、かつ、動作が発生していない、筆記具又は他の外来のオフジェクトの部分を含むイメージの不測の捕捉を防止するであろう。特定の実施形態において、最も新しい安定したイメージは、時間帯全体にわたって、様々な前のイメージと一致する。代わりの実施形態において、図１２のオペレーション８２は、カメラヘッド３２から、単に最も新しい利用可能なイメージをとる。この種の捕捉は、ユーザが例えば、コピーボタン２４をクリックしたときに、適している。特定の実施形態において、ノートデータ及び関連するメタデータを保護するために暗号化が使用され得る。ある実施形態において、権限を有するサーバ又は適切なプライベートキーを有する他の受け手によって操作されない限り、データが使用できないようにすべく、非対称暗号化アルゴリズムが、データを暗号化するために使用されるであろう。このアプローチは、特注で製造されることなしに、各ノート捕捉装置に対してパブリックキーがつくられることから、容易な製造の有利性を有する。これは、プライベートキーを使用して復号化する、サーバや他の装置に届くまで、データ送信中に、データが理解できなくなることから、データがコンテンツの分配を制御するために集中的に制御されるサービスを可能にする。特定の実施形態において、パブリックキーは、ノート捕捉装置２に対して定期的にアップデートされる。他の暗号化技術が、ノート捕捉装置ごとの独自のキーを可能にする。対称暗号化アルゴリズムもまた考えられる。特定の実施形態において、暗号化は集中的に制御されず、むしろ、ユーザが、個別基準においてユーザのノートのセキュリティを保護するために必要とされるキーをつくり、又は得るということを容易にする。ユーザは、例えば、複数のキーを有し、そして、暗号化及び復号化を手動で又は自動的に実行するためのキーから選択することができる。

図１６は、図１２の処理に関連するどのイメージが捕捉されるかを決定するためのハイレベルソフトウェアによって使用され得るハイレベル「イメージタイムライン」を達成するために、カメラセンサからのデータを処理する「データ抽象化」技術を採用するための代わりの実施形態を示す図である。当業者によく知られるものとして、データ抽象化は、データセットの変形された「ビュー」を発展させること（カメラヘッドからのイメージストリームのような）を含む。次の変形は、低レベルの機能性を提供するための、より低いレベルの「ビュー」より高いレベルの「ビュー」として発達され得る。

イメージストリームは、特定の実施形態において、より新しい部分の余地をつくるために捨てられる不必要な部分とともに、ページングバッファを循環的に消費する。

多くの組み合わせが当業者に明白になる一方、そのようなデータ抽象化技術の例が図１６に示される。最も低いレベルのイメージシーケンス２００は、センサから得られる生のイメージを示す。特定の実施形態において、イメージは、カメラ角度がカメラヘッドや手書き面の並置に応じて変化し得ることから、ビューワに対して傾いて現れ得る。変形されたイメージシーケンス２２０は、イメージシーケンス２２０が今、直交イメージのシリーズとして見られ得るように、幾何補正を実行する、変形されたイメージシーケンスを提供する。フィルタ処理されたイメージシーケンス２４０は、例えば、変形されたイメージシーケンス２２０によって提供され、捨てられるための材料を得る同じ直交イメージを提供し得る。望まれない材料を含むように、イメージを分類するための基準は、特定のアプリケーションに応じて大きく変化するであろう。特定の限定されない例示的な実施形態において、背景色及びインク色以外の色を含むイメージは、望まれないイメージを含むものとして分類されるであろう。インク色の決定は、背景色でない色に対して安定させるピクセルから得られ得る。フレッシュトーンを含むイメージの検出及び排除のような他の方法が、移動中のオブジェクト等の認識を含む多くの方法として可能である。これらの実施形態は例によって与えられ、限定される方法において解釈されるべきではない。イメージタイムライン２６０は、この例において、タイムインデックスによってアクセス可能なフィルタされたイメージシーケンスのビューを提供する。これは、多くの可能な例にすぎない。イメージタイムラインを使用することで、最も新しい安定したブランクのないイメージが、例えば、ブランクイメージを見分ける上で選択され得る。最も新しい安定したブランクのないイメージは、この限定されない例示的な実施形態において、捕捉するためのイメージとして選択され得る。

図１７は、ノート捕捉装置２によって捕捉されたノートと連動して使用されるアプリケーションソフトウェアのオペレーションを示すフローチャートである。このアプリケーションソフトウェアが、例えば、ノート捕捉装置２それ自体と同様に、パーソナルコンピュータ、携帯電話、サーバ、ラップトップを含む様々な装置上で、様々な形式に具体化され得るということに留意すべきである。

オペレーションは、オペレーション２８０で始まり、オペレーション２８２に続き、バッファが割り当てられ、そして初期化され、そして、アプリケーション、ユーザインタフェ−ス要素、及び捕捉されたノートを含むデータベース等を表示する、オブジェクトのインスタンスが作成される。その後、オペレーション２８４において、データベースが、表示されるべきノートについて問い合わせられる。オペレーション２８６は、その表示に備えてノートの幾何的なレイアウトを行う。その後、オペレーション２８８において、ノートがユーザに表示される。イベントループオペレーション２９０は、その後、ユーザの動作に関係するイベント、および図１２のオペレーションのような他のオペレーションとの通信を処理するためにイベントループに入る。イベントループ２９０の完了で、オペレーション２９２においてオペレーションが終結する。

図１８は、図１７のイベントループ２９０の望ましいオペレーションのより顕著な詳細を示すフローチャートである。オペレーションは、オペレーション２９４において始まり、イベント列内に利用可能なイベントがあるかどうかを決定するオペレーション２９６に続く。この決定オペレーションは、イベントが利用可能になるまで、実行のカレントスレッドをブロックする割り込み駆動のオペレーションを実行する、条件文としてここに示される。多くの変化した実行は、当業者に明白である。もし、イベントが利用可能であると決定された場合、ハンドルイベントオペレーション２９８は、イベントを処理する。一旦、イベントが処理されると、制御は、その後、決定オペレーション３００に移る。もし、利用可能なイベントがないと決定された場合、制御は、オペレーション３００に移る。オペレーション３００は、イベントループオペレーション２９０が完了したかどうかを決定する。例えば、それは、以前に処理されたユーザイベントによって、パワーダウンオペレーションが初期化されたかどうか、又はアプリケーション終了オペレーションが初期化されたかどうか、を決定する。オペレーション３００において、イベントループオペレーション２９０が完了したことが決定された場合、制御は、オペレーションを終結するオペレーション３０２に移る。もし、他方、決定オペレーション３００が、イベントループオペレーション２９０が完了していないと決定した場合、制御はオペレーションを継続するオペレーション２９６に移る。

図１９は、図１８の望ましいハンドルイベントオペレーション２９８のより顕著な詳細を示すフローチャートである。オペレーションは、オペレーション３０４で始まり、イベント列からイベントを得るオペレーション３０６に続く。

その後、決定オペレーション３０８において、イベントがマウスイベントかどうかの決定がなされる。もし、イベントがマウスイベントであると決定された場合、制御は、現在受信が示されているオブジェクトインスタンスに対してさらにディスパッチすることによってマウスイベントを処理するオペレーション３１０に移る。これは、一般に、マウスイベントの座標を決定し、それをその座標に位置するＧＵＩオブジェクトに対してディスパッチすることによってなされる。この種のディスパッチは、当業者によく知られている。このイベントの処理において、オブジェクトは、インスタンス変数、バッファ等、及びこのイベントの処理に関係する様々なタスクを実行する他のオブジェクトに対する信号を修正し得る。オペレーション３１０の完了で、制御は、オペレーション２９８を終結するオペレーション３２４に移る。もし、他方で、オペレーション３０８において、イベントがマウスイベントでないことが決定された場合、制御はその後、オペレーション３１２に移る。

その後、決定オペレーション３１２において、イベントが通信イベントであるかどうかに関する決定がなされる。もし、イベントが通信イベントであると決定された場合、制御は、現在受信を示しているオブジェクトインスタンスに対してさらにディスパッチすることによってマウスイベントを処理するオペレーション３１４に移る。これは、一般に、通信イベントを試験すること、及び、イベントに含まれ、又は通信バッファに関連するアドレス指定情報と同様に、通信の種類に基づいてディスパッチすることによってなされる。この種のディスパッチは、当業者によく知られている。通信イベントの１つの例は、ノート捕捉装置２によって捕捉されたノートを受け取ることである。そのようなイベントを処理するために、ノートが受け取られ、不揮発性記憶装置に集められ、そしてその後、ある例示的な実施形態において、データベースインサートオペレーションが実行される。多くのノートのデータベースの中にそのノートを配置するための手段として、後でテキストが調べられるようにすべく、ノートイメージからテキストが得られるように認証ソフトウェアが選択的に使用され得る。

通信イベントの処理において、オブジェクトは、インスタンス変数、バッファ等、及びこのイベントの処理に関係する様々なサブタスクを実行するための他のオブジェクトに対する信号を修正し得る。加えて、通信イベントの処理は、しばしば、存在している実行のスレッド、特に、手書き認識のような時間を消費するタスクに関して、起動し、通信することを含む。オペレーション３１４の完了で、制御は、オペレーション２９８を終結するオペレーション３２４に移る。もし、他方で、イベントが通信イベントでないと決定された場合、制御は、その後オペレーション３１６に移される。

その後、決定オペレーション３１６において、イベントがキーイベントであるかどうかについての決定がなされる。もし、イベントがキーイベントであると決定された場合、制御は、現在、受け取りを辞退しているオブジェクトインスタンスに対してさらにディスパッチすることによってマウスイベントを処理するオペレーション３１８に移る。これは一般に、ＧＵＩオブジェクトが「フォーカス」、最も新しく「クリック」されたオブジェクトに関連する表示、を現在有する決定によってなされる。この種のディスパッチは、当業者によく知られている。このイベントの処理において、オブジェクトは、インスタンス変数、バッファ等、及び、このイベントの処理に関係する様々なタスクを実行するための他のオブジェクトに対する信号を修正し得る。オペレーション３１８の完了で、制御は、オペレーション２９８を終結するオペレーション３２４に移る。もし、他方で、イベントがキーイベントでないと決定された場合には、制御は、その後オペレーション３２０に移される。

その後、決定オペレーション３２０において、イベントがもう１つの他のイベントであるかどうかについての決定がなされる。もし、イベントがもう１つのイベントであると決定された場合、制御は、現在、受け取りを示しているオブジェクトインスタンスに対してさらにディスパッチすることによってマウスイベントを処理するオペレーション３２２に移る。例えば、イベントは、回収されるべきノートを含む周辺の装置への１つのメディアの挿入を含む。様々な組み合わせが当業者に明白である。このイベントの処理において、オブジェクトは、インスタンス変数、バッファ等、及びこのイベントの処理に関係する様々なタスクを実行するための他のオブジェクトに対する信号を修正し得る。オペレーション３２２の完了で、制御は、オペレーション２９８を終結するオペレーション３２４に移る。もし、他方で、イベントがもう１つのイベントでないと決定された場合、制御はその後、オペレーション３２４に移される。

特定の限定されない例示的な実施形態は、手書き面、手書き面を見るように取り付けられるカメラ、及び前記手書き面のイメージを捕捉する電気回路、又は、例えば、ビジネスカードの面、を含む様々な代わりの面を含むノート捕捉装置を提供する。例えば、その面に関連する傾斜カメラ角度を矯正し得る様々なイメージ変形が考えられる。イメージの画質を高め、又は印、ロゴ等を加えるための他の変形もまた考えられる。他の情報もまた、特定のユーザを特定するようなデータを証明するためのデジタル署名等のようなイメージデータに関連し得る。

図２０は、アプリケーションソフトウェアのためのＧＵＩの例示的な実施形態を示す図である。多くの変形された実施形態が可能であり、特定の例示的な実施形態は、アプリケーションソフトウェアに関連する、捕捉されたノートを含むデータベースから得られるサムネイルイメージのリストをスクロールすることを提供する。ノート全体を捕捉すること、又はノートをクリックすることは、例えば、それを「選択」し、そしてそれ故、ユーザに大きく現れ、そして、メタデータの編集を見ることを含む、さらなる相互交流を提供する。様々なメニューの機能が、ノートを他のユーザ又は、オンラインアルバムに送信すること、ノートを調べること、捕捉の時間、位置等に基づいて表示されるノートを仕分けすること、のような特徴を提供する。

図２２は、アプリケーションソフトウェアのイメージ＆特性の特徴を示す図である。このビューは、手書き認識の結果の特定の実施形態を含む、メタデータを見ること、及び編集することのような、特定のノートを伴う詳細な交流を可能にする。この方式における編集は、限定されない問い合わせ操作、挿入操作、削除操作、及びアップデート操作を含む適切なデータベース交流の結果となる。代わりの実施形態において、データベースの代わりに階層型ファイルシステムが使用されるであろう。

特定の例示的な実施形態は、ノートを書くことの完了の自動検出を提供し、及び検出において、完了されたノートの捕捉を誘導する。特定の実施形態は、ノートを書くことの完了を検出するための様々なセンサを採用する。他の実施形態は、ボタンクリックの使用を通じて、この検出を実行する。さらに他の実施形態は、イメージ解析を通じてこの検出を実行する。これらの実施形態の様々な組み合わせが考えられる。

特定の例示的な実施形態及び組み合わせにおいて、捕捉されたイメージは、内部に保存され、パーソナルコンピュータ、携帯電話、サーバ等の外部装置に電気的に送信される。ノート捕捉装置と外部装置との間の通信のモードは、装置を直接的又は間接的に接続するケーブル、又は、装置を直接的又は間接的に接続するワイヤレス接続を含み得る。通信は、リムーバブルメディアの使用を通じて生じ得る。１つの装置からもう１つの装置にデータを送信する他の一般的に使用される方法もまた考えられる。

特定の実施形態において、様々な送り先に捕捉されたノートを送り、限定されない例によって、ＳＭＴＰ、ＦＴＰ、ＳＦＴＰ、ＨＴＴＰ、ＨＴＴＰＳ、Ｗｉｎｄｏｗｓ、ＭａｃＯＳ、Ｌｉｎａｘ等を含む商業的に利用可能な様々なオペレーティングシステムによって提供されるような、ファイル共有プロトコルを含む様々なプロトコルのような様々な通信モードを導くための、ノート捕捉装置と交流することをユーザに許容するスクリーンが提供される。

様々な操作のモードにおいて、手書き認識ソフトウェアは、全体的に又は部分的に、捕捉されたノートを表示するテキストを作るために使用され得る。そのような認識されたテキストは、ノートに関連するイメージ情報に同行し、又は、前記イメージ情報の代わりに使用され得る。

ノートに関連するイメージ情報は、ストローク情報、圧縮される等に変形されることを含む、様々な方式に変形され得る。

図２３は、名刺（ビジネスカード）が捕捉され得る代わりの例示的な実施形態を示す。マウント４０２がユーザによって手動で返されたときに、景色に対する適切な適合がソフトウェア内でなされる。マウント４０２は、最終的にこの代わりの捕捉モードを作動させるプロセッサ４２によって検出可能な電気信号を含むプリント回路基板３８に接続される電気スイッチを含む。このモードにおいて、カードが捕捉され、そして、関連するイメージが変化した景色に従って処理される。

ここで開示される、これらの及び他の実施形態、及び有利性及び他の特徴は、以下の記載の読み込み、及びいくつかの図面の研究で、当業者に明白となるであろう。

様々な例示的な実施形態の特定の特徴は、捕捉されたノート、それらの関係するメタデータ、認識結果等を、ビュー、ブラウズ、シェア、サーチ、及びエディットするアプリケーションソフトウェアを提供する。様々な例示的な実施形態は、ユーザの「デスクトップ」又は様々なアプリケーションウィンドウに関係し得るヒューマンインターフェイスソフトウェアを含む。さらに、アプリケーションソフトウェアが、パーソナルコンピュータ、サーバ、携帯電話、ラップトップコンピュータ、ＰＤＡ、又はノート捕捉装置それ自体を含む様々な代替の装置上で具体化され得るということが考えられる。

様々な実施形態が、特殊な条件及び装置を用いて記載されたが、そのような記載は、例示的な目的にすぎない。使用される用語は、限定されない記載の用語である。変形及び変化が、特許請求の範囲に記載される本発明の範囲を離れることなく、当業者によってなされ得るということが理解されるべきである。加えて、様々な他の実施形態の特徴が、全体又は部分のどちらかにおいて交換され得るということが理解されるべきである。それ故、特許請求の範囲は、限定あるいは禁反言なしで、本発明の真の精神及び範囲にしたがって解釈されることが意図される。

Claims (17)

1. 手書き面を支持する細長いベースアセンブリと、
   下部及び上部を有するとともに前記下部が前記ベースアセンブリの第１の端部に近接して当該ベースアセンブリに取り付けられるポストと、
   前記上部に近接し、前記ポストに支持され、かつ前記手書き面をカバーするビューの領域を有する固体カメラ装置であって、前記手書き面に向かって傾斜しかつ固定された光学軸を決めることにより、前記手書き面に所定の角度で向けられて、キーストーンイメージ情報が発達させられることになる固体カメラ装置と、
   前記手書き面上での手書きの完了を示すためのトリガメカニズムと、
   ディスプレイスクリーンと、
   前記トリガメカニズム、前記ディスプレイスクリーン、及び前記固体カメラ装置に接続されるデジタルプロセッサであって、前記カメラ装置から前記キーストーンイメージ情報を受信し、かつ、前記キーストーンイメージ情報におけるアンチキーストーンイメージ処理を実行するように構成されるデジタルプロセッサと、
   前記デジタルプロセッサに接続される有線通信ポート及び無線通信ポートの少なくとも１つと、を備え、
   前記ベースアセンブリには、ページ除去検出器がさらに備えられる、平面イメージ捕捉装置。
2. 前記固体カメラは、２．５インチから７．５インチまでの間の被写界深度を有する請求項１に記載の平面イメージ捕捉装置。
3. 前記ベースアセンブリの少なくとも一部が圧力感知式である請求項１に記載の平面イメージ捕捉装置。
4. 前記ベースアセンブリは、前記第１の端部から間隔をおいた第２の端部に近接するパームレストを含む請求項１に記載の平面イメージ捕捉装置。
5. 前記ベースアセンブリには、少なくとも１つの接近センサがさらに備えられる請求項１に記載の平面イメージ捕捉装置。
6. 前記ポストによって支持される、イメージを投影可能な少なくとも１つの光要素をさらに備える請求項１に記載の平面イメージ捕捉装置。
7. 前記パームレスト上で圧力を検出するように構成される少なくとも１つのパームレスト検出器をさらに備える請求項４に記載の平面イメージ捕捉装置。
8. 前記手書き面は、前記ベースアセンブリから除去可能である請求項７に記載の平面イメージ捕捉装置。
9. 前記除去可能な手書き面は、前記ベースアセンブリに係合するパッドのトップページである請求項８に記載の平面イメージ捕捉装置。
10. 前記パッドは、弱い、再利用可能な接着成分を含むタイプである請求項９に記載の平面イメージ捕捉装置。
11. 前記手書き面を照らすことが可能な少なくとも１つのＬＥＤをさらに備える請求項１に記載の平面イメージ捕捉装置。
12. 前記手書き面は、特定の意味を伴う少なくとも１つの特定の領域を有する請求項１に記載の平面イメージ捕捉装置。
13. 前記ディスプレイスクリーンは、タッチスクリーン能力を含む請求項１に記載の平面イメージ捕捉装置。
14. 前記ディスプレイスクリーンは、前記カメラ装置から得られる少なくとも部分的なイメージを、少なくとも部分的に表示するように構成される請求項１に記載の平面イメージ捕捉装置。
15. 前記ディスプレイスクリーンは、前記ポストによって支持される請求項１に記載の平面イメージ捕捉装置。
16. 前記ディスプレイスクリーンのための構造支持要素が、前記ポストを備える請求項１に記載の平面イメージ捕捉装置。
17. 前記カメラ装置に近接するビジネスカードを保持するように構成されるビジネスカードホルダをさらに備える請求項１に記載の平面イメージ捕捉装置。

Images