JP2004504676A - ユーザが例えば円で囲んでコマンドをマークするディジタル画像内のコマンドを識別し処理する方法と装置 - Google Patents
ユーザが例えば円で囲んでコマンドをマークするディジタル画像内のコマンドを識別し処理する方法と装置 Download PDFInfo
- Publication number
- JP2004504676A JP2004504676A JP2002512909A JP2002512909A JP2004504676A JP 2004504676 A JP2004504676 A JP 2004504676A JP 2002512909 A JP2002512909 A JP 2002512909A JP 2002512909 A JP2002512909 A JP 2002512909A JP 2004504676 A JP2004504676 A JP 2004504676A
- Authority
- JP
- Japan
- Prior art keywords
- command
- processing
- digital image
- identifying
- rules
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32037—Automation of particular transmitter jobs, e.g. multi-address calling, auto-dialing
- H04N1/32042—Automation of particular transmitter jobs, e.g. multi-address calling, auto-dialing with reading of job-marks on a page
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
- H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/02—Details of telephonic subscriber devices including a Bluetooth interface
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
- Information Transfer Between Computers (AREA)
Abstract
ユーザは、ユーザが紙にペンで１つまたは複数のオブジェクトやコマンドにマークしたディジタル画像を捕らえる。マーキングはマーキング規則の所定の集合に従って行われ、これにより、後でオブジェクトとコマンドを容易に分離することができる。オブジェクトやコマンドをマークする規則は、円で囲む、下線を引く、強調表示する、などである。ディジタル画像内に埋め込まれたコマンドはディジタル画像内の１つまたは複数のオブジェクトに関連付けることができる。この関連付けは関連付け規則の所定の集合に従って行われる。次に、処理のために画像を計算装置に送信する。送信には、ケーブルや、ブルートゥースなどのＩＲまたはＦＲ技術や、携帯電話を用いる。計算装置は「コマンド・サーバ」と呼ばれる。これは、マーキング規則の所定の集合を用いてディジタル画像を解析することにより、オブジェクトやコマンドを識別して分離する。またコマンド・サーバは、マーキング規則と関連付け規則の所定の集合に従ってディジタル画像を解析することにより、コマンドを識別し、解釈し、オブジェクトと関連付ける。最後に、コマンド・サーバはコマンドに関係するサービスをオブジェクトに開始する。
Description
【０００１】
（発明の分野）
本発明はディジタル画像内の情報を処理する方法に関する。より正確に述べると、本発明はユーザがディジタル画像上で実行してほしいサービスに関する埋込みコマンドを含むディジタル画像を処理することに関する。
【０００２】
（背景）
ディジタル画像を捕らえることのできるディジタル・カメラが世界中で広く用いられている。かかる画像はコンピュータに転送され、将来検索できるように記憶されるか、または電子メールの添付ファイルとして送られる。電子メールの受信者はこの添付ファイルを開き、専用のアプリケーション・プログラムを用いて画像を見ることができる。かかる電子メールは、モデムを含むまたはモデムに接続する移動電話を介して送ることもできる。
【０００３】
問題は、ディジタル画像の受信者がディジタル画像の任意の必要な処理を手動で行わなければならないことである。ディジタル画像がピクチャを表す場合は、受信者はピクチャを印刷または記憶することのできるソフトウエア・アプリケーションでこのピクチャを開かなければならない。ディジタル画像が手書きのテキストを表す場合は、受信者は画像をディジタル文字に変換する手書き認識ソフトウエア・アプリケーションで画像を開き、次にその文字を或るソフトウエア・ワード処理アプリケーションに適合するファイル・フォーマットに変換したいと思うであろう。
【０００４】
もう１つの問題は、ディジタル画像が、ユーザが種々の操作を行いたいと思う複数のオブジェクトを含む場合があることである。ディジタル文字に変換するソフトウエアで解釈する必要のある、活字または手書きのテキストを含むオブジェクトもある。または、圧縮したり、別のピクチャ・ファイル・フォーマットに変換したりする必要のある、ディジタル・ピクチャを表すオブジェクトもある。公知のソフトウエア・アプリケーションはディジタル画像をテキストやピクチャやスケッチなどのオブジェクトに分離できるほど正確ではないので、ディジタル画像に含まれる種々のオブジェクトに関する種々のサービスを自動的に実行するのに適していない。
【０００５】
更に別の問題は、ディジタル画像の送信者が、基本的に性質の異なる多くのステップを行う必要があることである。例えば、ディジタル・カメラで画像を捕らえ、移動電話またはコンピュータにこれを送り、電子メールのアプリケーション・プログラムを起動し、ディジタル画像を電子メールに挿入し、受信者の電子メール・アドレスを入力しまたは探し、そして電子メールを送ることなどである。
【０００６】
（発明の概要）
以上の点から、本発明の目的は、従来の方法の欠点を克服してディジタル画像を知的に解釈し処理する全く新しい型の方法を提供することである。
この目的は、ディジタル画像を解析してオブジェクトとそのオブジェクトに関連するコマンドとに分離する方法と装置により達成することができる。更にオブジェクトに対して、関連するコマンドに関する種々の処理を行う。
【０００７】
本発明の１つの形態では、ユーザはディジタル・カメラを用いて、ユーザが紙に書きつけたコマンドやオブジェクトのディジタル画像を捕らえる。１つまたは複数のコマンドやオブジェクトはペンでマークされている。マーキングはマーキング規則の所定の集合に従って行われ、これにより、後で個々のオブジェクトとコマンドを容易に分離することができる。オブジェクトやコマンドをマークする規則は、例えば、円で囲む、下線を引く、強調表示する、などである。ディジタル画像内に埋め込まれたコマンドはディジタル画像内の１つまたは複数のオブジェクトに関連付けることができる。この関連付けは関連付け規則の所定の集合に従って行われる。関連付け規則により、画像内の種々のコマンドと種々のオブジェクトとを関連付けることができる。次に、処理のために画像を計算装置に送信する。送信には、ケーブルや、ブルートゥースなどのＩＲまたはＲＦ技術や、携帯電話を用いる。計算装置は「コマンド・サーバ」と呼ばれる。これは、マーキング規則の所定の集合を用いてディジタル画像を解析することにより、オブジェクトやコマンドを識別して分離する。またコマンド・サーバは、マーキング規則と関連付け規則の所定の集合に従ってディジタル画像を解析することにより、コマンドを識別し、解釈し、オブジェクトと関連付ける。コマンド・サーバは、例えば広告やパンフレットの印刷されたテキストや図形やユーザが書き込んだ手書きのテキストから成る、ディジタル画像を解釈することができる。最後に、コマンド・サーバはコマンドに関するサービスをオブジェクトに開始する。
ディジタル画像が１オブジェクトだけを含む場合は、コマンド・サーバで別のオブジェクトから分離する必要がないので、オブジェクトのマーキングは省略してよい。
【０００８】
本発明の利点は、ピクチャに含まれる情報を迅速に、簡単に、直感的に、自動的に処理する方法を提供することである。通常のコンピュータの場合のような本格的なマン・マシン・インターフェースを必要とせずに、ユーザは高度な電子的メッセージ伝達やその他のサービスを行うことができる。かかるサービスの例を以下に示す。
・ 少なくとも１つの手書きのオブジェクトを認識する
・ 少なくとも１つのオブジェクトを、選択されたファイル・フォーマットに変換する
・ 文字を印刷して送る
・ 将来検索できるように少なくとも１つのオブジェクトを記憶する
・ 少なくとも１つのオブジェクトを、予定表データベースや、住所録データベースや、「実施事項（ｔｏ−ｄｏ）」リスト・データベースに入力しまたは同期させる
・ 金融取引を行う
・ 電話番号をダイヤルする
・ 電話番号を記憶する
・ サービスを開始する前に、コマンドまたはオブジェクトの解釈を確認するようにユーザに要求を送る
・ 更に処理するために、１つまたは複数のディジタル画像をディジタル画像の大容量記憶装置から取り出す。
ユーザは自分用のユーザ・プロフィールを編集することにより、自分だけのサービスや関連付け規則やマーキング規則を自分で作ることができる。
【０００９】
理解されるように、ここに開示する発明は上に述べた目的を達成してその利点を提供するものであるが、ここに述べる本発明の特徴は好ましい実施の形態の単なる例である。従って、本発明の範囲はここに説明する実施の形態の詳細に限定されるものではない。この説明から推測される本発明と同等の、適合する、変更された形態は請求の範囲で規定される本発明の範囲に含まれるものである。
【００１０】
（実施の形態の詳細な説明）
図１は、組込みディジタル・カメラ（１０３）を有する移動電話（１０１）を示す。移動電話は、セルラ網と通信するためのアンテナ（１０２）と、スピーカ（１０４）と、ディスプレイ（１０５）と、キーパッド（１０６）と、マイクロホン（１０７）とを有する。システム・コネクタやＩＲポートや短距離ＲＦリンクを介して画像を移動電話に転送する別個のディジタル・カメラを用いることも可能である。更に別の選択肢は、画像をディジタル・カメラまたはスキャナで捕らえて、コマンド・サーバを有するローカル・コンピュータに送り、またはコマンド・サーバを有する別のコンピュータに網を通して画像を送ることである。このコマンド・サーバは、ディジタル画像を処理してコマンドに関係するサービスを開始する機能を有する。
【００１１】
図２は、ペンで紙片に書かれた情報を表すディジタル画像の例を表す。この画像は、マーキング規則の所定の集合に従ってペンを用いて円（２０１，２０５）で囲んだ１つのテキスト・オブジェクト（２０４）と１つのピクチャ・オブジェクト（２０７）とを含む。ユーザは、関連付け規則の所定の集合に従って円とコマンド（２０６，２０３）とを書き込んでいる。コマンド（２０３）は「Ｔ，Ｅ（Ｍａｘ）」で表されている。これは、円で囲んだオブジェクトをテキスト（「Ｔ」はテキスト）として扱って電子メール（「Ｅ」は電子メール）でＭａｘに送るようコマンド・サーバに指示する。円コマンド（２０６）は「Ｐ」で表されている。これは、この円がピクチャを含むことをコマンド・サーバに知らせる。この情報は、テキストを含むことを示した外側の円の情報を無効にする。円とその関連するコマンドとの間の線（２０２）は関連付け規則の所定の集合に従う関係を明示する。コマンドは、円内に含まれるオブジェクトに実行することをユーザが希望するサービスの種類を示す。この例の場合ユーザは、サーバが電子メールを作成してＭａｘに送ることを希望する。「Ｍａｘ」は、コマンド・サーバのデータベース内にユーザが予め規定しているもので、Ｍａｘの完全な電子メール・アドレスのニックネームを表す。電子メールの本体は、コマンド・サーバが手書きのテキスト（２０４）をディジタル文字に変換した結果である１つのテキスト部と、オブジェクト（２０７）のビット・マップ表現を含む１つのピクチャ部とを含む。
【００１２】
図３は、予め印刷された情報と手書きの円とコマンドとの組合わせを表すディジタル画像の別の例を示す。この画像は、マーキング規則の所定の集合に従ってペンを用いて円（３０１）で囲んだろうそくの広告（３０４）を含む。ユーザは、円（３０１）と、関連するパラメータ（Ｃ，＄５）を持つコマンド（３０３）とを書き込んでいる。円（３０１）とその関連するコマンド（３０３）との間の線（３０２）は関連付け規則の所定の集合に従う関係を明示する。コマンド（３０３）は、円内に含まれるオブジェクト（３０４）にユーザがどのようなサービスを行ってほしいかを記述する。この場合ユーザは、コマンド・サーバが、関連するオブジェクト（３０４）内のテキスト（「Ｔ」はテキスト）を解析して注文する（「Ｂ」は購入）ことを希望する。注文はクレジット・カード（「Ｃ」はクレジット・カード）で支払われる。注文の総額は＄５である。この例では、コマンド・サーバは広告内のテキストを解釈し、注文を送る先の住所を探す。次に、広告のコピーと、ユーザの住所、クレジット・カード番号、クレジット・カードから引き出すことをユーザが承諾する金額とを含む電子メールを作成する。ユーザの個人データはコマンド・サーバのデータベース内に予め入力されている。
【００１３】
ユーザは所定のマーキング規則を用いて、ディジタル画像内のオブジェクトとコマンドの識別と分離を容易に行うことができる。オブジェクトまたはコマンドをマークする方法の例を次に示す。
・ 円で囲む
・ 周囲に四角を描く
・ 下線を引く
・ 特殊な「マーカ・ペン」で強調表示する。
【００１４】
所定のマーキング規則として円で囲む場合は、円は完全な円または楕円でなくてよい。情報を囲む任意の適当な図形曲線を用いてよい。円と解釈するために囲む曲線を閉じる必要があるかどうかは、画像処理に決定を任せてよい。
【００１５】
ユーザは、所定の関連付け規則を用いてコマンドとオブジェクトとを関連付ける。コマンドとオブジェクトとを関連付ける方法の例を次に示す。
・ コマンドとオブジェクトとを共に円で囲む
・ コマンドとオブジェクトとの間に線を引く
・ コマンドと、オブジェクトを含む円または四角との間に線を引く。
【００１６】
ディジタル画像が１オブジェクトだけを含む場合は関連付けを省略してよい。
マーキング規則の所定の集合も関連付け規則の所定の集合も、種々の方法で指定してよい。各ユーザは自分の好みに従って規則を個別化してよい。かかる個別化された規則は各ユーザのプロフィール内に記憶してよい。
【００１７】
紙、チラシ、写真などの任意の種類の印刷された材料にペンで書くことができる。ユーザは、手書きのテキストや予め印刷されたテキストまたはピクチャやこれらの組合わせを含むオブジェクトにマークを付け、関連付け規則の所定の集合を用いて、オブジェクトに関連するコマンドを書いてよい。
コマンドの一般的なフォーマットは次のように定義される。
＜コマンド１（パラメータ１，パラメータ２，．．．），コマンド２（パラメータ１，パラメータ２，．．．），．．．＞
【００１８】
コマンドとこれに関連するパラメータのいくつかの例を以下に示す。
１． Ｐ，Ｅ（ｍａｇ，ｍａｒ）
これは、ディジタル画像がピクチャ（Ｐ）を含むことと、電子メール（Ｅ）により受信者「ｍａｇ」と「ｍａｒ」（ユーザが友達のＭａｇｎｕｓとＭｒｉａの実際のインターネット・アドレスに関連付けたニックネーム）に送ることとを意味する。
２． Ｔ，Ｅ（ｍａｇ，ｍａｒ）
これはディジタル画像がテキスト（Ｔ）を含むことと、これを手書き認識ソフトウエアで解釈してディジタル文字に変換した後で電子メール（Ｅ）により「ｍａｇ」と「ｍａｒ」の電子メール・アドレスに送ることとを意味する。
３． Ｄ
これは、関連するオブジェクトを棄てる（Ｄ）ことを意味する。これはユーザが何か書いたことを後悔したときに用いる。
４． Ｍ
これは関連するオブジェクトが約束（Ｍは「会合」）を含むことと、後で検索するためにまたは任意のユーザの計算装置と同期させるためにコマンド・サーバがユーザの電子予定表に入力することとを意味する。
５． ＴＤ
これは関連するオブジェクトが「実施事項」項目（ＴＤ）を含むことと、後で検索するためにまたは任意のユーザの計算装置と同期させるためにコマンド・サーバがユーザの電子「実施事項リスト」に入力することとを意味する。
【００１９】
６． Ａ
これは関連するオブジェクトがアドレス項目（Ａ）を含むことと、後で検索するためにまたは任意のユーザの計算装置と同期させるために円サーバがユーザの電子住所録に入力することとを意味する。
７． Ｐ
これは、関連するオブジェクトが金融取引（Ｐは「支払い」）に関する情報を含むことと、コマンド・サーバがユーザのためにこれを実行することとを意味する。
８． Ｅ（Ｐｉｃ３，６，１２，ｍａｒ）
これは、ディジタル・カメラまたはディジタル画像の記憶手段を含む移動電話からピクチャ（Ｐｉｃ）番号３，６，１２を取り出して、電子メールの一部として「ｍａｒ」のアドレスに送ることを意味する。このコマンドは、普通のはがきのメッセージと同様な手書きのまたは印刷されたテキスト・メッセージを含むオブジェクトに関連してよい。ここでは、ディジタル画像を記憶する装置はピクチャを取り出すためにコマンドをコマンド・サーバから受けることができると仮定する。
９． Ｃ，Ｓ
これは、関連するオブジェクト内で見つかった番号を移動電話がダイヤルすることを意味する。これは、やはり関連するオブジェクト内で見つかった番号と名前を移動電話の電話帳に記憶することも意味する。ここでは、コマンド・サーバが移動電話内にあるかまたは通信する相手の外部計算装置内にあるかにかかわらず、移動電話はダイヤルと記憶のためにコマンドをコマンド・サーバから受けることができると仮定する。
【００２０】
利用可能なコマンドの集合はそれぞれの必要に応じて個人化してよい。これは、コマンド・サーバを用いるためにユーザが支払う加入料の基礎の１つでもある。
コマンド・サーバは自分自身を認証することをユーザに要求した後、ユーザから任意のデータまたはディジタル画像を受け、またはユーザが要求する任意の活動を行う。認証は、ＧＳＭ型の移動電話で行うのと同じ方法で、すなわちＳＩＭカード（加入者識別モジュール）で、行うことができる。機密保護を更に強化するため、サーバはピン・コードを要求してよいし、また送信されるデータを全て暗号化することを要求してよい。認証の別の方法は、電子署名を用いて行っても、ピクチャに含まれるユーザの手書きの署名で行ってもよい。
【００２１】
図４は、或る例示の実施の形態を示す。これは、埋込みディジタル・カメラを含む移動電話（４０１）と、セルラ基地局（４０２）と、セルラ網（４０３）と、インターネット（４０５）と、コマンド・サーバ（４０４）と、標準のコンピュータ（４０６）とで構成する。ディジタル画像は移動電話から基地局を介してセルラ網に送られ、セルラ網は選択されたコマンド・サーバにこれを転送する。コマンド・サーバのインターネット・アドレスはユーザが予め定義して移動電話内に記憶する。これにより、ユーザは使う度にコマンド・サーバのアドレスを入力する必要がなくなる。コマンド・サーバは、個人化されたユーザ・プロフィールを含むユーザの個人的な記憶された情報を含む。この情報は、インターネットに接続された一般のコンピュータ（４０６）からアクセスして修正することができる。またユーザ・プロフィールは、マーキング規則と関連付け規則の個人的な集合と利用可能なサービスの集合とで構成してよい。
【００２２】
図５は、コマンド・サーバ（５０１）の或る例示の実施の形態を示す。これは、インターネットへの通信リンク（５０９）と、ＣＰＵ（５０８）と、ユーザ・プロフィールを保持するデータベース（５０４）と、ユーザ・ファイル用の記憶領域（５０７）とで構成する。或るユーザからディジタル画像を含むファイルを受けると、コマンド・サーバは画像の解析を開始する。まず、画像解析ＳＷ（５０２）によりオブジェクトとコマンドとを検出して分離する。ＳＷはマーキング規則の所定の集合を用いる。また、関連付け規則の所定の集合を用いてコマンドとオブジェクトとを関連付ける。次に、識別したコマンドをコマンド・インタープリタＳＷ（５０３）により解釈し、最後に、オブジェクトに種々のサービス（５０５，５０６）を開始する。サービスはコマンドに従って選択される。
【００２３】
ユーザのユーザ・プロフィール（５０４）を保持するデータベースはユーザに関する情報を含む。例えば、
・ クレジット・カード番号
・ 次の内容を含む電子名刺
名前
肩書き
住所
電子メール・アドレス
ファクス番号
家庭の電話番号
事務所の電話番号
携帯電話番号
・ 個人やグループのニックネームと、電子メール・アドレスなどの完全なデータとを含む住所録。円サーバ内の住所録は、インターネットにより任意のコンピュータからユーザが更新して保持することができる。
・ 約束などを含む予定表
・「実施事項」リスト
・ マーキング規則の個人的な集合
・ 関連付け規則の個人的な集合
・ アクセス可能なコマンドとサービスの個人的な集合
【００２４】
ユーザ記憶領域は処理済みの全ての画像のコピーを記憶するのに用いられ、または見つかったコマンドにより開始されたサービスと送り出された任意のメッセージの全ての記録を保持する。
コマンド・サーバは、ユーザへの種々の通知や状況報告（受けたディジタル画像を処理したことにより開始された活動を記述する）をユーザの要求に応じて送ることができる。またコマンド・サーバはディジタル画像内のコマンドを解釈した結果をユーザに通知し、ユーザからの確認を待って所望のサービスを開始する。
【００２５】
コマンド・サーバのサービスは単一のユーザに限定されるわけではない。ユーザ毎に別個のユーザ・プロフィールと記憶領域を保持することができる。
ユーザはいつでも、インターネットにアクセスする任意のコンピュータから自分のプロフィールを更新しまたデータ記憶装置と対話することができる。アクセスはパスワードにより保護することができる。
【００２６】
ディジタル画像を記録し、ディジタル画像を送信し、画像を処理するために、種々の装置を用いて実現されるものとして本発明を開示したが、必要なほとんど全てのハードウエアとソフトウエアを単一ユニットで実現することができる。かかるユニットは、強力なディジタル・プロセッサと十分な記憶手段とを有する移動体ユーザ端末（移動電話など）でよい。別の選択肢は、ディジタル・カメラに、またはディジタル・カメラと移動電話との結合体に、コマンド・サーバを有することである。一般的に言うと、ディジタル・カメラと、移動電話（使えるならば）と、コマンド・サーバとは、結合してもよいし、直接または間接に互いに通信することが可能な任意の数の物理的な装置に分散してもよい。
【００２７】
図６は、手書きのメッセージ（６０３）が書かれている紙片（６０１）を表すディジタル画像の一例である。ユーザは下線が引かれたコマンド（６０２）も書き込んでいる。紙の物理的な境界（６０１）を単一オブジェクト（６０３）の囲みとしてよい。従ってオブジェクトの回りの手書きの円は省略されている。
【図面の簡単な説明】
【図１】組込みディジタル・カメラを備える移動電話の略図。
【図２】関連するコマンドを持つ円で囲んだオブジェクトを含む紙のディジタル画像の一例。
【図３】関連するコマンドを持つ円で囲んだオブジェクトを含む紙のディジタル画像の別の例。
【図４】全システムの或る例示の実施の形態の略図。
【図５】含まれる任意のコマンドに従ってディジタル画像を解析して処理することが可能なコマンド・サーバのブロックの略図。
【図６】手書きのメッセージとこれに関連するコマンドを含む紙片のピクチャを表すディジタル画像の一例。
（発明の分野）
本発明はディジタル画像内の情報を処理する方法に関する。より正確に述べると、本発明はユーザがディジタル画像上で実行してほしいサービスに関する埋込みコマンドを含むディジタル画像を処理することに関する。
【０００２】
（背景）
ディジタル画像を捕らえることのできるディジタル・カメラが世界中で広く用いられている。かかる画像はコンピュータに転送され、将来検索できるように記憶されるか、または電子メールの添付ファイルとして送られる。電子メールの受信者はこの添付ファイルを開き、専用のアプリケーション・プログラムを用いて画像を見ることができる。かかる電子メールは、モデムを含むまたはモデムに接続する移動電話を介して送ることもできる。
【０００３】
問題は、ディジタル画像の受信者がディジタル画像の任意の必要な処理を手動で行わなければならないことである。ディジタル画像がピクチャを表す場合は、受信者はピクチャを印刷または記憶することのできるソフトウエア・アプリケーションでこのピクチャを開かなければならない。ディジタル画像が手書きのテキストを表す場合は、受信者は画像をディジタル文字に変換する手書き認識ソフトウエア・アプリケーションで画像を開き、次にその文字を或るソフトウエア・ワード処理アプリケーションに適合するファイル・フォーマットに変換したいと思うであろう。
【０００４】
もう１つの問題は、ディジタル画像が、ユーザが種々の操作を行いたいと思う複数のオブジェクトを含む場合があることである。ディジタル文字に変換するソフトウエアで解釈する必要のある、活字または手書きのテキストを含むオブジェクトもある。または、圧縮したり、別のピクチャ・ファイル・フォーマットに変換したりする必要のある、ディジタル・ピクチャを表すオブジェクトもある。公知のソフトウエア・アプリケーションはディジタル画像をテキストやピクチャやスケッチなどのオブジェクトに分離できるほど正確ではないので、ディジタル画像に含まれる種々のオブジェクトに関する種々のサービスを自動的に実行するのに適していない。
【０００５】
更に別の問題は、ディジタル画像の送信者が、基本的に性質の異なる多くのステップを行う必要があることである。例えば、ディジタル・カメラで画像を捕らえ、移動電話またはコンピュータにこれを送り、電子メールのアプリケーション・プログラムを起動し、ディジタル画像を電子メールに挿入し、受信者の電子メール・アドレスを入力しまたは探し、そして電子メールを送ることなどである。
【０００６】
（発明の概要）
以上の点から、本発明の目的は、従来の方法の欠点を克服してディジタル画像を知的に解釈し処理する全く新しい型の方法を提供することである。
この目的は、ディジタル画像を解析してオブジェクトとそのオブジェクトに関連するコマンドとに分離する方法と装置により達成することができる。更にオブジェクトに対して、関連するコマンドに関する種々の処理を行う。
【０００７】
本発明の１つの形態では、ユーザはディジタル・カメラを用いて、ユーザが紙に書きつけたコマンドやオブジェクトのディジタル画像を捕らえる。１つまたは複数のコマンドやオブジェクトはペンでマークされている。マーキングはマーキング規則の所定の集合に従って行われ、これにより、後で個々のオブジェクトとコマンドを容易に分離することができる。オブジェクトやコマンドをマークする規則は、例えば、円で囲む、下線を引く、強調表示する、などである。ディジタル画像内に埋め込まれたコマンドはディジタル画像内の１つまたは複数のオブジェクトに関連付けることができる。この関連付けは関連付け規則の所定の集合に従って行われる。関連付け規則により、画像内の種々のコマンドと種々のオブジェクトとを関連付けることができる。次に、処理のために画像を計算装置に送信する。送信には、ケーブルや、ブルートゥースなどのＩＲまたはＲＦ技術や、携帯電話を用いる。計算装置は「コマンド・サーバ」と呼ばれる。これは、マーキング規則の所定の集合を用いてディジタル画像を解析することにより、オブジェクトやコマンドを識別して分離する。またコマンド・サーバは、マーキング規則と関連付け規則の所定の集合に従ってディジタル画像を解析することにより、コマンドを識別し、解釈し、オブジェクトと関連付ける。コマンド・サーバは、例えば広告やパンフレットの印刷されたテキストや図形やユーザが書き込んだ手書きのテキストから成る、ディジタル画像を解釈することができる。最後に、コマンド・サーバはコマンドに関するサービスをオブジェクトに開始する。
ディジタル画像が１オブジェクトだけを含む場合は、コマンド・サーバで別のオブジェクトから分離する必要がないので、オブジェクトのマーキングは省略してよい。
【０００８】
本発明の利点は、ピクチャに含まれる情報を迅速に、簡単に、直感的に、自動的に処理する方法を提供することである。通常のコンピュータの場合のような本格的なマン・マシン・インターフェースを必要とせずに、ユーザは高度な電子的メッセージ伝達やその他のサービスを行うことができる。かかるサービスの例を以下に示す。
・ 少なくとも１つの手書きのオブジェクトを認識する
・ 少なくとも１つのオブジェクトを、選択されたファイル・フォーマットに変換する
・ 文字を印刷して送る
・ 将来検索できるように少なくとも１つのオブジェクトを記憶する
・ 少なくとも１つのオブジェクトを、予定表データベースや、住所録データベースや、「実施事項（ｔｏ−ｄｏ）」リスト・データベースに入力しまたは同期させる
・ 金融取引を行う
・ 電話番号をダイヤルする
・ 電話番号を記憶する
・ サービスを開始する前に、コマンドまたはオブジェクトの解釈を確認するようにユーザに要求を送る
・ 更に処理するために、１つまたは複数のディジタル画像をディジタル画像の大容量記憶装置から取り出す。
ユーザは自分用のユーザ・プロフィールを編集することにより、自分だけのサービスや関連付け規則やマーキング規則を自分で作ることができる。
【０００９】
理解されるように、ここに開示する発明は上に述べた目的を達成してその利点を提供するものであるが、ここに述べる本発明の特徴は好ましい実施の形態の単なる例である。従って、本発明の範囲はここに説明する実施の形態の詳細に限定されるものではない。この説明から推測される本発明と同等の、適合する、変更された形態は請求の範囲で規定される本発明の範囲に含まれるものである。
【００１０】
（実施の形態の詳細な説明）
図１は、組込みディジタル・カメラ（１０３）を有する移動電話（１０１）を示す。移動電話は、セルラ網と通信するためのアンテナ（１０２）と、スピーカ（１０４）と、ディスプレイ（１０５）と、キーパッド（１０６）と、マイクロホン（１０７）とを有する。システム・コネクタやＩＲポートや短距離ＲＦリンクを介して画像を移動電話に転送する別個のディジタル・カメラを用いることも可能である。更に別の選択肢は、画像をディジタル・カメラまたはスキャナで捕らえて、コマンド・サーバを有するローカル・コンピュータに送り、またはコマンド・サーバを有する別のコンピュータに網を通して画像を送ることである。このコマンド・サーバは、ディジタル画像を処理してコマンドに関係するサービスを開始する機能を有する。
【００１１】
図２は、ペンで紙片に書かれた情報を表すディジタル画像の例を表す。この画像は、マーキング規則の所定の集合に従ってペンを用いて円（２０１，２０５）で囲んだ１つのテキスト・オブジェクト（２０４）と１つのピクチャ・オブジェクト（２０７）とを含む。ユーザは、関連付け規則の所定の集合に従って円とコマンド（２０６，２０３）とを書き込んでいる。コマンド（２０３）は「Ｔ，Ｅ（Ｍａｘ）」で表されている。これは、円で囲んだオブジェクトをテキスト（「Ｔ」はテキスト）として扱って電子メール（「Ｅ」は電子メール）でＭａｘに送るようコマンド・サーバに指示する。円コマンド（２０６）は「Ｐ」で表されている。これは、この円がピクチャを含むことをコマンド・サーバに知らせる。この情報は、テキストを含むことを示した外側の円の情報を無効にする。円とその関連するコマンドとの間の線（２０２）は関連付け規則の所定の集合に従う関係を明示する。コマンドは、円内に含まれるオブジェクトに実行することをユーザが希望するサービスの種類を示す。この例の場合ユーザは、サーバが電子メールを作成してＭａｘに送ることを希望する。「Ｍａｘ」は、コマンド・サーバのデータベース内にユーザが予め規定しているもので、Ｍａｘの完全な電子メール・アドレスのニックネームを表す。電子メールの本体は、コマンド・サーバが手書きのテキスト（２０４）をディジタル文字に変換した結果である１つのテキスト部と、オブジェクト（２０７）のビット・マップ表現を含む１つのピクチャ部とを含む。
【００１２】
図３は、予め印刷された情報と手書きの円とコマンドとの組合わせを表すディジタル画像の別の例を示す。この画像は、マーキング規則の所定の集合に従ってペンを用いて円（３０１）で囲んだろうそくの広告（３０４）を含む。ユーザは、円（３０１）と、関連するパラメータ（Ｃ，＄５）を持つコマンド（３０３）とを書き込んでいる。円（３０１）とその関連するコマンド（３０３）との間の線（３０２）は関連付け規則の所定の集合に従う関係を明示する。コマンド（３０３）は、円内に含まれるオブジェクト（３０４）にユーザがどのようなサービスを行ってほしいかを記述する。この場合ユーザは、コマンド・サーバが、関連するオブジェクト（３０４）内のテキスト（「Ｔ」はテキスト）を解析して注文する（「Ｂ」は購入）ことを希望する。注文はクレジット・カード（「Ｃ」はクレジット・カード）で支払われる。注文の総額は＄５である。この例では、コマンド・サーバは広告内のテキストを解釈し、注文を送る先の住所を探す。次に、広告のコピーと、ユーザの住所、クレジット・カード番号、クレジット・カードから引き出すことをユーザが承諾する金額とを含む電子メールを作成する。ユーザの個人データはコマンド・サーバのデータベース内に予め入力されている。
【００１３】
ユーザは所定のマーキング規則を用いて、ディジタル画像内のオブジェクトとコマンドの識別と分離を容易に行うことができる。オブジェクトまたはコマンドをマークする方法の例を次に示す。
・ 円で囲む
・ 周囲に四角を描く
・ 下線を引く
・ 特殊な「マーカ・ペン」で強調表示する。
【００１４】
所定のマーキング規則として円で囲む場合は、円は完全な円または楕円でなくてよい。情報を囲む任意の適当な図形曲線を用いてよい。円と解釈するために囲む曲線を閉じる必要があるかどうかは、画像処理に決定を任せてよい。
【００１５】
ユーザは、所定の関連付け規則を用いてコマンドとオブジェクトとを関連付ける。コマンドとオブジェクトとを関連付ける方法の例を次に示す。
・ コマンドとオブジェクトとを共に円で囲む
・ コマンドとオブジェクトとの間に線を引く
・ コマンドと、オブジェクトを含む円または四角との間に線を引く。
【００１６】
ディジタル画像が１オブジェクトだけを含む場合は関連付けを省略してよい。
マーキング規則の所定の集合も関連付け規則の所定の集合も、種々の方法で指定してよい。各ユーザは自分の好みに従って規則を個別化してよい。かかる個別化された規則は各ユーザのプロフィール内に記憶してよい。
【００１７】
紙、チラシ、写真などの任意の種類の印刷された材料にペンで書くことができる。ユーザは、手書きのテキストや予め印刷されたテキストまたはピクチャやこれらの組合わせを含むオブジェクトにマークを付け、関連付け規則の所定の集合を用いて、オブジェクトに関連するコマンドを書いてよい。
コマンドの一般的なフォーマットは次のように定義される。
＜コマンド１（パラメータ１，パラメータ２，．．．），コマンド２（パラメータ１，パラメータ２，．．．），．．．＞
【００１８】
コマンドとこれに関連するパラメータのいくつかの例を以下に示す。
１． Ｐ，Ｅ（ｍａｇ，ｍａｒ）
これは、ディジタル画像がピクチャ（Ｐ）を含むことと、電子メール（Ｅ）により受信者「ｍａｇ」と「ｍａｒ」（ユーザが友達のＭａｇｎｕｓとＭｒｉａの実際のインターネット・アドレスに関連付けたニックネーム）に送ることとを意味する。
２． Ｔ，Ｅ（ｍａｇ，ｍａｒ）
これはディジタル画像がテキスト（Ｔ）を含むことと、これを手書き認識ソフトウエアで解釈してディジタル文字に変換した後で電子メール（Ｅ）により「ｍａｇ」と「ｍａｒ」の電子メール・アドレスに送ることとを意味する。
３． Ｄ
これは、関連するオブジェクトを棄てる（Ｄ）ことを意味する。これはユーザが何か書いたことを後悔したときに用いる。
４． Ｍ
これは関連するオブジェクトが約束（Ｍは「会合」）を含むことと、後で検索するためにまたは任意のユーザの計算装置と同期させるためにコマンド・サーバがユーザの電子予定表に入力することとを意味する。
５． ＴＤ
これは関連するオブジェクトが「実施事項」項目（ＴＤ）を含むことと、後で検索するためにまたは任意のユーザの計算装置と同期させるためにコマンド・サーバがユーザの電子「実施事項リスト」に入力することとを意味する。
【００１９】
６． Ａ
これは関連するオブジェクトがアドレス項目（Ａ）を含むことと、後で検索するためにまたは任意のユーザの計算装置と同期させるために円サーバがユーザの電子住所録に入力することとを意味する。
７． Ｐ
これは、関連するオブジェクトが金融取引（Ｐは「支払い」）に関する情報を含むことと、コマンド・サーバがユーザのためにこれを実行することとを意味する。
８． Ｅ（Ｐｉｃ３，６，１２，ｍａｒ）
これは、ディジタル・カメラまたはディジタル画像の記憶手段を含む移動電話からピクチャ（Ｐｉｃ）番号３，６，１２を取り出して、電子メールの一部として「ｍａｒ」のアドレスに送ることを意味する。このコマンドは、普通のはがきのメッセージと同様な手書きのまたは印刷されたテキスト・メッセージを含むオブジェクトに関連してよい。ここでは、ディジタル画像を記憶する装置はピクチャを取り出すためにコマンドをコマンド・サーバから受けることができると仮定する。
９． Ｃ，Ｓ
これは、関連するオブジェクト内で見つかった番号を移動電話がダイヤルすることを意味する。これは、やはり関連するオブジェクト内で見つかった番号と名前を移動電話の電話帳に記憶することも意味する。ここでは、コマンド・サーバが移動電話内にあるかまたは通信する相手の外部計算装置内にあるかにかかわらず、移動電話はダイヤルと記憶のためにコマンドをコマンド・サーバから受けることができると仮定する。
【００２０】
利用可能なコマンドの集合はそれぞれの必要に応じて個人化してよい。これは、コマンド・サーバを用いるためにユーザが支払う加入料の基礎の１つでもある。
コマンド・サーバは自分自身を認証することをユーザに要求した後、ユーザから任意のデータまたはディジタル画像を受け、またはユーザが要求する任意の活動を行う。認証は、ＧＳＭ型の移動電話で行うのと同じ方法で、すなわちＳＩＭカード（加入者識別モジュール）で、行うことができる。機密保護を更に強化するため、サーバはピン・コードを要求してよいし、また送信されるデータを全て暗号化することを要求してよい。認証の別の方法は、電子署名を用いて行っても、ピクチャに含まれるユーザの手書きの署名で行ってもよい。
【００２１】
図４は、或る例示の実施の形態を示す。これは、埋込みディジタル・カメラを含む移動電話（４０１）と、セルラ基地局（４０２）と、セルラ網（４０３）と、インターネット（４０５）と、コマンド・サーバ（４０４）と、標準のコンピュータ（４０６）とで構成する。ディジタル画像は移動電話から基地局を介してセルラ網に送られ、セルラ網は選択されたコマンド・サーバにこれを転送する。コマンド・サーバのインターネット・アドレスはユーザが予め定義して移動電話内に記憶する。これにより、ユーザは使う度にコマンド・サーバのアドレスを入力する必要がなくなる。コマンド・サーバは、個人化されたユーザ・プロフィールを含むユーザの個人的な記憶された情報を含む。この情報は、インターネットに接続された一般のコンピュータ（４０６）からアクセスして修正することができる。またユーザ・プロフィールは、マーキング規則と関連付け規則の個人的な集合と利用可能なサービスの集合とで構成してよい。
【００２２】
図５は、コマンド・サーバ（５０１）の或る例示の実施の形態を示す。これは、インターネットへの通信リンク（５０９）と、ＣＰＵ（５０８）と、ユーザ・プロフィールを保持するデータベース（５０４）と、ユーザ・ファイル用の記憶領域（５０７）とで構成する。或るユーザからディジタル画像を含むファイルを受けると、コマンド・サーバは画像の解析を開始する。まず、画像解析ＳＷ（５０２）によりオブジェクトとコマンドとを検出して分離する。ＳＷはマーキング規則の所定の集合を用いる。また、関連付け規則の所定の集合を用いてコマンドとオブジェクトとを関連付ける。次に、識別したコマンドをコマンド・インタープリタＳＷ（５０３）により解釈し、最後に、オブジェクトに種々のサービス（５０５，５０６）を開始する。サービスはコマンドに従って選択される。
【００２３】
ユーザのユーザ・プロフィール（５０４）を保持するデータベースはユーザに関する情報を含む。例えば、
・ クレジット・カード番号
・ 次の内容を含む電子名刺
名前
肩書き
住所
電子メール・アドレス
ファクス番号
家庭の電話番号
事務所の電話番号
携帯電話番号
・ 個人やグループのニックネームと、電子メール・アドレスなどの完全なデータとを含む住所録。円サーバ内の住所録は、インターネットにより任意のコンピュータからユーザが更新して保持することができる。
・ 約束などを含む予定表
・「実施事項」リスト
・ マーキング規則の個人的な集合
・ 関連付け規則の個人的な集合
・ アクセス可能なコマンドとサービスの個人的な集合
【００２４】
ユーザ記憶領域は処理済みの全ての画像のコピーを記憶するのに用いられ、または見つかったコマンドにより開始されたサービスと送り出された任意のメッセージの全ての記録を保持する。
コマンド・サーバは、ユーザへの種々の通知や状況報告（受けたディジタル画像を処理したことにより開始された活動を記述する）をユーザの要求に応じて送ることができる。またコマンド・サーバはディジタル画像内のコマンドを解釈した結果をユーザに通知し、ユーザからの確認を待って所望のサービスを開始する。
【００２５】
コマンド・サーバのサービスは単一のユーザに限定されるわけではない。ユーザ毎に別個のユーザ・プロフィールと記憶領域を保持することができる。
ユーザはいつでも、インターネットにアクセスする任意のコンピュータから自分のプロフィールを更新しまたデータ記憶装置と対話することができる。アクセスはパスワードにより保護することができる。
【００２６】
ディジタル画像を記録し、ディジタル画像を送信し、画像を処理するために、種々の装置を用いて実現されるものとして本発明を開示したが、必要なほとんど全てのハードウエアとソフトウエアを単一ユニットで実現することができる。かかるユニットは、強力なディジタル・プロセッサと十分な記憶手段とを有する移動体ユーザ端末（移動電話など）でよい。別の選択肢は、ディジタル・カメラに、またはディジタル・カメラと移動電話との結合体に、コマンド・サーバを有することである。一般的に言うと、ディジタル・カメラと、移動電話（使えるならば）と、コマンド・サーバとは、結合してもよいし、直接または間接に互いに通信することが可能な任意の数の物理的な装置に分散してもよい。
【００２７】
図６は、手書きのメッセージ（６０３）が書かれている紙片（６０１）を表すディジタル画像の一例である。ユーザは下線が引かれたコマンド（６０２）も書き込んでいる。紙の物理的な境界（６０１）を単一オブジェクト（６０３）の囲みとしてよい。従ってオブジェクトの回りの手書きの円は省略されている。
【図面の簡単な説明】
【図１】組込みディジタル・カメラを備える移動電話の略図。
【図２】関連するコマンドを持つ円で囲んだオブジェクトを含む紙のディジタル画像の一例。
【図３】関連するコマンドを持つ円で囲んだオブジェクトを含む紙のディジタル画像の別の例。
【図４】全システムの或る例示の実施の形態の略図。
【図５】含まれる任意のコマンドに従ってディジタル画像を解析して処理することが可能なコマンド・サーバのブロックの略図。
【図６】手書きのメッセージとこれに関連するコマンドを含む紙片のピクチャを表すディジタル画像の一例。
Claims (19)
- 少なくとも１つの処理コマンドがマークされている原始ピクチャのディジタル画像内に存在する情報を処理する方法であって、
・ 前記ディジタル画像内の少なくとも１つの処理コマンドを識別するステップと、
・ 前記少なくとも１つの処理コマンドに従って前記ディジタル画像に関する処理を行うステップと、
を含む情報の処理方法。 - 前記画像内の少なくとも１つの図形オブジェクトを識別するステップを更に含み、また前記少なくとも１つのオブジェクトの識別と前記少なくとも１つの処理コマンドの識別はマーキング規則の所定の集合を用いて行う、請求項１記載の情報の処理方法。
- 前記マーキング規則の所定の集合は少なくとも１つの以下のマーキング規則、すなわち、
・ オブジェクトまたはコマンドを円で囲む
・ オブジェクトまたはコマンドの周囲に四角を描く
・ オブジェクトまたはコマンドに下線を引く
・ オブジェクトまたはコマンドを特殊な「マーカ・ペン」で強調表示する
ことを含む請求項２記載の情報の処理方法。 - 少なくとも１つの処理コマンドと少なくとも１つの図形オブジェクトとの関係を識別するステップを更に含み、前記識別は関連付け規則の所定の集合を用いて行う、請求項２記載の情報の処理方法。
- 前記関連付け規則の所定の集合は少なくとも１つの以下の関連付け規則、すなわち、
・ コマンドとオブジェクトとを共に円で囲む
・ コマンドとオブジェクトまたはそれらのマーキング図形の間に線を引く
・ コマンドと、オブジェクトを含む円または四角との間に線を引く
ことを含む請求項４記載の情報の処理方法。 - 前記処理は少なくとも１つの以下のサービス、すなわち、
・ 少なくとも１つの手書きのオブジェクトを認識する
・ 少なくとも１つのオブジェクトを、選択されたファイル・フォーマットに変換する
・ 電子メールを送る
・ ファックスを送る
・ 文字を印刷して送る
・ 将来検索できるように少なくとも１つのオブジェクトを記憶する
・ 少なくとも１つのオブジェクトを、予定表データベースや、住所録データベースや、「実施事項」リスト・データベースに入力しまたは同期させる
・ 金融取引を行う
・ 電話番号をダイヤルする
・ 電話番号を記憶する
・ サービスを開始する前にコマンドまたはオブジェクトの解釈を確認するようにユーザに要求を送る
・ 更に処理するために１つまたは複数のディジタル画像をディジタル画像の大容量記憶装置から取り出す
ことを開始することを含む請求項１−５のどれか記載の情報の処理方法。 - 少なくとも１つの処理コマンドがマークされている原始ピクチャのディジタル画像内に存在する情報を処理する装置であって、
・ 前記ディジタル画像内の少なくとも１つの処理コマンドを識別する手段と、
・ 前記少なくとも１つの処理コマンドに従って前記ディジタル画像に関する処理を行う手段と、
を含む情報の処理装置。 - 前記画像内の少なくとも１つの図形オブジェクトを識別する手段を更に含み、また前記少なくとも１つのオブジェクトの識別手段または前記少なくとも１つの処理コマンドの識別手段はマーキング規則の所定の集合を用いる手段を用いる、請求項７記載の情報の処理装置。
- 前記マーキング規則の所定の集合は少なくとも１つの以下のマーキング規則、すなわち、
・ オブジェクトまたはコマンドを円で囲む
・ オブジェクトまたはコマンドの周囲に四角を描く
・ オブジェクトまたはコマンドに下線を引く
・ オブジェクトまたはコマンドを特殊な「マーカ・ペン」で強調表示する
ことを含む請求項８記載の情報の処理装置。 - 少なくとも１つの処理コマンドと少なくとも１つの図形オブジェクトとの関係を識別する手段を更に含み、前記識別は関連付け規則の所定の集合を用いて行う、請求項８記載の情報の処理装置。
- 前記関連付け規則の所定の集合は少なくとも１つの以下の関連付け規則、すなわち、
・ コマンドとオブジェクトとを共に円で囲む
・ コマンドとオブジェクトまたはそれらのマーキング図形の間に線を引く
・ コマンドと、オブジェクトを含む円または四角との間に線を引く
ことを含む請求項１０記載の情報の処理装置。 - 前記オブジェクトを処理する手段は少なくとも１つの以下のサービス、すなわち、
・ 少なくとも１つの手書きのオブジェクトを認識する
・ 少なくとも１つのオブジェクトを、選択されたファイル・フォーマットに変換する
・ 電子メールを送る
・ ファックスを送る
・ 文字を印刷して送る
・ 将来検索できるように少なくとも１つのオブジェクトを記憶する
・ 少なくとも１つのオブジェクトを、予定表データベースや、住所録データベースや、「実施事項」リスト・データベースに入力しまたは同期させる
・ 金融取引を行う
・ 電話番号をダイヤルする
・ 電話番号を記憶する
・ サービスを開始する前にコマンドまたはオブジェクトの解釈を確認するようにユーザに要求を送る
・ 更に処理するために１つまたは複数のディジタル画像をディジタル画像の大容量記憶装置から取り出す
ことを開始する手段を含む請求項７−１１のどれか記載の情報の処理装置。 - 少なくとも１つの処理コマンドがマークされている原始ピクチャのディジタル画像内に存在する情報を処理することが可能な移動体通信端末であって、
・ 前記ピクチャのディジタル画像を得る手段と、
・ 前記ディジタル画像内の少なくとも１つの処理コマンドを識別する手段と、
・ 前記少なくとも１つの処理コマンドに従って前記ディジタル画像に関する処理を行う手段と、
を含む移動体通信端末。 - 前記画像内の少なくとも１つの図形オブジェクトを識別する手段を更に含み、また前記少なくとも１つのオブジェクトの識別手段または前記少なくとも１つの処理コマンドの識別手段はマーキング規則の所定の集合を用いる手段を用いる、請求項１３記載の移動体通信端末。
- 前記マーキング規則の所定の集合は少なくとも１つの以下のマーキング規則、すなわち、
・ オブジェクトまたはコマンドを円で囲む
・ オブジェクトまたはコマンドの周囲に四角を描く
・ オブジェクトまたはコマンドに下線を引く
・ オブジェクトまたはコマンドを特殊な「マーカ・ペン」で強調表示する
ことを含む請求項１４記載の移動体通信端末。 - 少なくとも１つの処理コマンドと少なくとも１つの図形オブジェクトとの関係を識別する手段を更に含み、前記識別は関連付け規則の所定の集合を用いて行う、請求項１４記載の移動体通信端末。
- 前記関連付け規則の所定の集合は少なくとも１つの以下の関連付け規則、すなわち、
・ コマンドとオブジェクトとを共に円で囲む
・ コマンドとオブジェクトまたはそれらのマーキング図形の間に線を引く
・ コマンドと、オブジェクトを含む円または四角との間に線を引く
ことを含む請求項１６記載の移動体通信端末。 - 前記オブジェクトを処理する手段は少なくとも１つの以下のサービス、すなわち、
・ 少なくとも１つの手書きのオブジェクトを認識する
・ 少なくとも１つのオブジェクトを、選択されたファイル・フォーマットに変換する
・ 電子メールを送る
・ ファックスを送る
・ 文字を印刷して送る
・ 将来検索できるように少なくとも１つのオブジェクトを記憶する
・ 少なくとも１つのオブジェクトを、予定表データベースや、住所録データベースや、「実施事項」リスト・データベースに入力しまたは同期させる
・ 金融取引を行う
・ 電話番号をダイヤルする
・ 電話番号を記憶する
・ サービスを開始する前にコマンドまたはオブジェクトの解釈を確認するようにユーザに要求を送る
・ 更に処理するために１つまたは複数のディジタル画像をディジタル画像の大容量記憶装置から取り出す
ことを開始する手段を含む請求項１３−１７のどれか記載の移動体通信端末。 - 請求項１−６のどれか記載の方法を実行するソフトウエア命令を含むコンピュータ・プログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SE0002691A SE0002691D0 (sv) | 2000-07-17 | 2000-07-17 | Embedded commands in digital images |
| PCT/SE2001/001638 WO2002007074A1 (en) | 2000-07-17 | 2001-07-16 | Method and arrangement for identifying and processing commands in digital images, where the user marks the command, for example by encircling it |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004504676A true JP2004504676A (ja) | 2004-02-12 |
Family
ID=20280525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002512909A Pending JP2004504676A (ja) | 2000-07-17 | 2001-07-16 | ユーザが例えば円で囲んでコマンドをマークするディジタル画像内のコマンドを識別し処理する方法と装置 |
Country Status (5)
| Country | Link |
|---|---|
| JP (1) | JP2004504676A (ja) |
| CN (1) | CN1459073A (ja) |
| AU (1) | AU2001271218A1 (ja) |
| SE (1) | SE0002691D0 (ja) |
| WO (1) | WO2002007074A1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008519344A (ja) * | 2004-11-05 | 2008-06-05 | ノキア コーポレイション | 情報の処理 |
| JP2009211157A (ja) * | 2008-02-29 | 2009-09-17 | Takuo Tanaka | 医用診断支援システム |
| JP2010503609A (ja) * | 2006-05-05 | 2010-02-04 | オムニカ ゲーエムベーハー | キーウィ抽出物 |
| JP2012009032A (ja) * | 2011-07-12 | 2012-01-12 | Takuo Tanaka | 医用診断支援システム |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE410190T1 (de) * | 2001-05-31 | 2008-10-15 | Univ Utah Res Found | Population von hoxb8-mutanten und deren verwendung zur identifizierung von mitteln zur behandlung von repetitivem verhalten |
| US7562045B2 (en) * | 2003-11-18 | 2009-07-14 | Bgc Partners, Inc. | System and method for managing relationships between brokers and traders |
| JP2005346415A (ja) * | 2004-06-03 | 2005-12-15 | Hitachi Ltd | 電子ペンを用いた編集システム、編集方法およびそのプログラム |
| CN101378456B (zh) * | 2007-08-28 | 2010-06-02 | 鸿富锦精密工业（深圳）有限公司 | 电子影像感测装置及其遥控控制方法 |
| CN104137026B (zh) * | 2011-12-30 | 2017-05-10 | 英特尔公司 | 用于制图识别的方法、装置和系统 |
| CN102799367B (zh) * | 2012-06-29 | 2015-05-13 | 鸿富锦精密工业（深圳）有限公司 | 电子设备及其触摸控制方法 |
| US9285984B2 (en) * | 2012-07-24 | 2016-03-15 | Casio Computer Co., Ltd | Information processing apparatus and computer readable medium |
| US9911361B2 (en) * | 2013-03-10 | 2018-03-06 | OrCam Technologies, Ltd. | Apparatus and method for analyzing images |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5539427A (en) * | 1992-02-10 | 1996-07-23 | Compaq Computer Corporation | Graphic indexing system |
| US5652412A (en) * | 1994-07-11 | 1997-07-29 | Sia Technology Corp. | Pen and paper information recording system |
| US6081261A (en) * | 1995-11-01 | 2000-06-27 | Ricoh Corporation | Manual entry interactive paper and electronic document handling and processing system |
| US6366698B1 (en) * | 1997-03-11 | 2002-04-02 | Casio Computer Co., Ltd. | Portable terminal device for transmitting image data via network and image processing device for performing an image processing based on recognition result of received image data |
-
2000
- 2000-07-17 SE SE0002691A patent/SE0002691D0/xx unknown
-
2001
- 2001-07-16 CN CN01815749A patent/CN1459073A/zh active Pending
- 2001-07-16 JP JP2002512909A patent/JP2004504676A/ja active Pending
- 2001-07-16 WO PCT/SE2001/001638 patent/WO2002007074A1/en active Application Filing
- 2001-07-16 AU AU2001271218A patent/AU2001271218A1/en not_active Abandoned
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008519344A (ja) * | 2004-11-05 | 2008-06-05 | ノキア コーポレイション | 情報の処理 |
| JP2010503609A (ja) * | 2006-05-05 | 2010-02-04 | オムニカ ゲーエムベーハー | キーウィ抽出物 |
| JP2009211157A (ja) * | 2008-02-29 | 2009-09-17 | Takuo Tanaka | 医用診断支援システム |
| JP2012009032A (ja) * | 2011-07-12 | 2012-01-12 | Takuo Tanaka | 医用診断支援システム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1459073A (zh) | 2003-11-26 |
| WO2002007074A1 (en) | 2002-01-24 |
| SE0002691D0 (sv) | 2000-07-17 |
| AU2001271218A1 (en) | 2002-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7289110B2 (en) | Method and arrangement for identifying and processing commands in digital images, where the user marks the command, for example by encircling it | |
| US7245765B2 (en) | Method and apparatus for capturing paper-based information on a mobile computing device | |
| US7308479B2 (en) | Mail server, program and mobile terminal synthesizing animation images of selected animation character and feeling expression information | |
| US9652704B2 (en) | Method of providing content transmission service by using printed matter | |
| US8165609B2 (en) | Storage and access of digital content | |
| JP6089991B2 (ja) | ドキュメントに対してワークフローを起動するプログラム、サーバ及び画像形成装置 | |
| JP5522976B2 (ja) | 携帯端末機の画像情報活用方法 | |
| KR101038222B1 (ko) | 휴대형 정보단말기를 이용한 명함정보 제작, 교환 및 관리 방법 | |
| JP2004504676A (ja) | ユーザが例えば円で囲んでコマンドをマークするディジタル画像内のコマンドを識別し処理する方法と装置 | |
| JP2001125846A (ja) | 電子装置及び記憶媒体 | |
| US20050143126A1 (en) | Electronic device | |
| US20100141749A1 (en) | Method and apparatus for information processing | |
| US20030115250A1 (en) | Method and system for generating a permanent record of a service at a remote printer | |
| JP2010009322A (ja) | 電子名刺システム | |
| EP2618545A1 (en) | Mobile terminal device | |
| JP2007081652A (ja) | 送信機能付き共有情報処理装置、画像形成装置 | |
| JP2001117883A (ja) | 電子化した名刺情報を無線方式により情報交換し、収集した名刺情報の管理及び活用を行う携帯電話端末 | |
| JP2005004397A (ja) | 名刺情報管理サーバ、名刺情報管理システム | |
| WO2011105191A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム | |
| KR20170120756A (ko) | 전자명함 생성장치 | |
| JP2021184601A (ja) | 情報処理装置 | |
| CN115086587A (zh) | 5g远程双录方法及相关装置 | |
| TW201112136A (en) | Application operation methods and systems for images, and computer program products thereof | |
| JP2002366563A (ja) | アドレス帳作成・利用システムおよびアドレス帳作成・利用方法並びにアドレス帳作成・利用に供するウェブサーバ | |
| JP2011170546A (ja) | 文書生成装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060529 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060605 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061117 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070219 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070226 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070608 |