JP2009174981A - ミシン - Google Patents

Abstract

【課題】撮像手段の設置状態が変化しても、撮像手段で撮像された画像から正確な位置情報を取得することができるミシンを提供する。
【解決手段】ミシンに対して、イメージセンサのパラメータ補正指示がされると、イメージセンサで画像を撮像する（Ｓ１）。撮像画像から直線を抽出し、抽出した直線の交点の座標を算出する。交点のうち、特徴点に該当する点の座標を特徴点番号に対応させる（Ｓ２）。算出した二次元座標を特徴点番号に対応させ、特徴点三次元座標記憶エリアに特徴点番号に対応して記憶されている三次元座標と対応を取る。次いで、周知の方法でパラメータを算出する（Ｓ３）。次いで、Ｓ３で算出された比較パラメータと、使用中の内部パラメータとが夫々比較され、一致しないパラメータがあれば（Ｓ４：ＮＯ）、比較パラメータを新たなパラメータとする（Ｓ５）。
【選択図】図１０

Description

本発明は、ミシンに関するものであり、詳細には、撮像手段の設けられたミシンに関するものである。

従来、種々の目的のために撮像手段の設けられたミシンが提案されている。例えば、特許文献１に記載の刺繍データ修正装置では、刺繍データに基づいて縫製を行うミシンに電子カメラが設けられている。そして、この電子カメラで撮影された画像は、縫目の針落ち位置を実際の縫製結果に合わせて修正するために利用されている。また、一般的に、空中写真を用いた測量など、カメラで撮影された画像を利用して撮影対象物の位置（座標）を取得して利用するような場合には、画像から撮影対象物の正確な位置を把握するためにカメラキャリブレーションが行われる。カメラキャリブレーションとは、焦点距離や主点座標などカメラ自身の構成により決定される内部パラメータと、カメラの撮影方向などカメラの設置状態により決定される外部パラメータとを算出することである。このカメラキャリブレーションにより算出されたパラメータを用いることにより、三次元座標上の点（現実の撮影対象物）が二次元座標（撮影画像）上に投影されるべき位置を知ることができる。よって、パラメータを用いることにより、撮影された画像のある点が正確に投影された場合にはどの位置（座標）となるかを知ることができる。したがって、撮像された画像における、カメラ自身の特性やカメラの設置状態による歪みを補正することができる。このカメラキャリブレーション（パラメータの算出）の方法については、様々な研究が行われており、例えば特許文献２に記載の視覚センサの自動キャリブレーション装置が提案されている。
特開平４−３６４８８４号公報 特許第３１３８０８０号公報

特許文献１に記載の刺繍データ修正装置のように、電子カメラで撮像された画像をそのまま使用したのでは、画像から取得した座標にずれが発生する可能性が高いという問題点がある。そこで、ミシンに設置された電子カメラで撮像された画像に対しても、キャリブレーションにより算出されたパラメータを用いて画像を補正する必要がある。しかしながら、ミシンに設置された電子カメラは、ミシン本体の振動により設置位置がわずかなりともずれる虞がある。また、利用者が誤って電子カメラに触れてしまい、設置位置がずれてしまう虞もある。そこで、ミシン出荷時に算出されたパラメータは、実際に撮像された画像にふさわしいパラメータとならないという問題点がある。よって、電子カメラで撮像された画像を使用して縫製のデータを修正したり、加工したりする場合に、撮像画像を正確に補正できず、美しい縫製結果を得られないという問題点がある。

本発明は、上述の問題点を解決するためになされたものであり、撮像手段がミシンに設けられており、撮像手段の設置状態が変化しても、撮像手段で撮像された画像から正確な位置情報を取得することができるミシンを提供することを目的とする。

上記課題を解決するため、請求項１に係る発明のミシンでは、ミシンベッド上を撮像可能な位置に配置された撮像手段と、前記撮像手段により撮像可能な範囲に設けられた複数の特徴点を前記撮像手段により撮像された画像から抽出し、抽出された前記特徴点の二次元座標を特徴点座標として算出する特徴点座標算出手段と、予め計測された前記特徴点の三次元座標である基準座標を記憶する基準座標記憶手段と、前記基準座標記憶手段に記憶されている前記基準座標と、前記特徴点座標抽出手段により算出された前記特徴点座標とを対応付ける対応付け手段と、前記対応付け手段による対応付けの結果に基づいて、前記撮像手段のパラメータを算出するパラメータ算出手段と、前記パラメータ算出手段により算出されたパラメータを記憶するパラメータ記憶手段と、前記撮像手段により撮像された画像を比較画像として取得する比較画像取得手段と、前記比較画像取得手段により取得された前記比較画像に基づく情報である比較情報と前記パラメータ記憶手段に記憶されているパラメータを算出する際に使用された画像である基本画像に基づく情報であるパラメータ情報とが等しいか否かを判断する第一判断手段と、前記第一判断手段により前記比較情報と前記パラメータ情報とが等しいと判断されなかった場合には、パラメータを再算出する必要がある旨を報知する第一報知手段とを備え、前記一判断手段により等しいか否かを判断する前記比較情報と前記パラメータ情報は、前記比較画像と前記基本画像、前記比較画像から算出された前記特徴点の座標と前記基本画像から算出された前記特徴点の座標、又は、前記比較画像に基づいて算出されたパラメータと前記パラメータ記憶手段に記憶されているパラメータであることを特徴とする。

また、請求項２に係る発明のミシンでは、ミシンベッド上を撮像可能な位置に配置された撮像手段と、前記撮像手段により撮像可能な範囲に設けられた複数の特徴点を前記撮像手段により撮像された画像から抽出し、抽出された前記特徴点の二次元座標を特徴点座標として算出する特徴点座標算出手段と、予め計測された前記特徴点の三次元座標である基準座標を記憶する基準座標記憶手段と、前記基準座標記憶手段に記憶されている前記基準座標と、前記特徴点座標抽出手段により算出された前記特徴点座標とを対応付ける対応付け手段と、前記対応付け手段による対応付けの結果に基づいて、前記撮像手段のパラメータを算出するパラメータ算出手段と、前記パラメータ算出手段により算出されたパラメータを記憶するパラメータ記憶手段と、前記撮像手段により撮像された画像を比較画像として取得する比較画像取得手段と、前記比較画像取得手段により取得された前記比較画像に基づく情報である比較情報と前記パラメータ記憶手段に記憶されているパラメータを算出する際に使用された画像である基本画像に基づく情報であるパラメータ情報とが等しいか否かを判断する第一判断手段と、前記比較画像に対して前記特徴点座標算出手段により前記特徴点座標を算出し、前記対応付け手段により算出された前記特徴点座標を前記基準座標に対応付け、前記パラメータ算出手段により対応付けの結果に基づいて前記パラメータを算出するパラメータ再算出手段と、前記第一判断手段により前記比較情報と前記パラメータ情報とが等しいと判断されなかった場合には、前記パラメータ再算出手段により算出されたパラメータを前記パラメータ記憶手段に記憶する第一パラメータ補正手段とを備え、前記一判断手段により等しいか否かを判断する前記比較情報と前記パラメータ情報は、前記比較画像と前記基本画像、前記比較画像から算出された前記特徴点の座標と前記基本画像から算出された前記特徴点の座標、又は、前記比較画像に基づいて算出されたパラメータと前記パラメータ記憶手段に記憶されているパラメータであることを特徴とする。

また、請求項３に係る発明のミシンでは、加工布を保持する刺繍枠を駆動する刺繍装置と、ミシンベッド上を撮像可能な位置に配置された撮像手段と、前記撮像手段により撮像可能な範囲に設けられた複数の特徴点を前記撮像手段により撮像された画像から抽出し、抽出された前記特徴点の二次元座標を特徴点座標として算出する特徴点座標算出手段と、予め計測された前記特徴点の三次元座標である基準座標を記憶する基準座標記憶手段と、前記基準座標記憶手段に記憶されている前記基準座標と、前記特徴点座標抽出手段により算出された前記特徴点座標とを対応付ける対応付け手段と、前記対応付け手段による対応付けの結果に基づいて、前記撮像手段のパラメータを算出するパラメータ算出手段と、前記パラメータ算出手段により算出されたパラメータを記憶するパラメータ記憶手段と、刺繍縫製を行うために少なくとも縫目の座標を示した刺繍データを取得する刺繍データ取得手段と、前記刺繍データ取得手段により取得された刺繍データに基づいて前記刺繍枠が駆動される際の所定の移動に関する予定情報を算出する予定情報算出手段と、前記刺繍データ取得手段により取得された刺繍データに基づいて前記刺繍枠が駆動された際に、前記予定情報算出手段により前記予定情報が算出された前記所定の移動の前後に前記撮像手段により前記ミシンベッド上に配置された前記刺繍枠を撮像し、撮像された画像に基づいて、前記刺繍枠、前記加工布又は前記加工布に縫い付けられた縫目の移動に関する情報である移動情報を取得する移動情報取得手段と、前記移動情報取得手段により取得された前記移動情報と前記予定情報記憶手段に記憶されている前記予定情報とが等しいか否かを判断する第二判断手段と、前記第二判断手段により前記移動情報と前記予定情報とが等しいと判断されなかった場合には、パラメータを再算出する必要がある旨を報知する第二報知手段とを備えている。

また、請求項４に係る発明のミシンでは、加工布を保持する刺繍枠を駆動する刺繍装置と、ミシンベッド上を撮像可能な位置に配置された撮像手段と、前記撮像手段により撮像可能な範囲に設けられた複数の特徴点を前記撮像手段により撮像された画像から抽出し、抽出された前記特徴点の二次元座標を特徴点座標として算出する特徴点座標算出手段と、予め計測された前記特徴点の三次元座標である基準座標を記憶する基準座標記憶手段と、前記基準座標記憶手段に記憶されている前記基準座標と、前記特徴点座標抽出手段により算出された前記特徴点座標とを対応付ける対応付け手段と、前記対応付け手段による対応付けの結果に基づいて、前記撮像手段のパラメータを算出するパラメータ算出手段と、前記パラメータ算出手段により算出されたパラメータを記憶するパラメータ記憶手段と、刺繍縫製を行うために少なくとも縫目の座標を示した刺繍データを取得する刺繍データ取得手段と、前記刺繍データ取得手段により取得された刺繍データに基づいて前記刺繍枠が駆動される際の所定の移動に関する予定情報を算出する予定情報算出手段と、前記刺繍データ取得手段により取得された刺繍データに基づいて前記刺繍枠が駆動された際に、前記予定情報算出手段により前記予定情報が算出された前記所定の移動の前後に前記撮像手段により前記ミシンベッド上に配置された前記刺繍枠を撮像し、撮像された画像に基づいて、前記刺繍枠、前記加工布又は前記加工布に縫い付けられた縫目の移動に関する情報である移動情報を取得する移動情報取得手段と、前記移動情報取得手段により取得された前記移動情報と前記予定情報記憶手段に記憶されている前記予定情報とが等しいか否かを判断する第二判断手段と、前記第二判断手段により前記移動情報と前記予定情報とが等しいと判断されなかった場合には、前記撮像手段により画像を撮像し、前記特徴点座標算出手段により前記特徴点座標を算出して、前記対応付け手段により前記特徴点座標と前記基準座標とを対応付け、前記パラメータ算出手段によりパラメータを算出し、前記パラメータ算出手段により算出されたパラメータを前記パラメータ記憶手段に記憶する第二パラメータ補正手段とを備えている。

また、請求項５に係る発明のミシンでは、請求項１乃至４のいずれかに記載の発明の構成に加えて、前記特徴点は、前記ミシンベッド上に設置される針板に設けられている四角形の穴の頂点、又は、円形の穴の中心点であることを特徴とする。

また、請求項６に係る発明のミシンでは、請求項１乃至５のいずれかに記載の発明の構成に加えて、前記特徴点は、前記針板の表面に設けられている刻印上の点であることを特徴とする。

また、請求項７に係る発明のミシンでは、請求項１乃至６のいずれかに記載の発明の構成に加えて、加工布を保持する刺繍枠を前記ミシンベッド上に配置して駆動する刺繍装置を備え、前記特徴点は、前記刺繍枠上に設けられている刻印上の点、又は、前記刺繍枠に載置されるテンプレート上に設けられている刻印上の点であることを特徴とする。

また、請求項８に係る発明のミシンでは、請求項１乃至７のいずれかに記載の発明の構成に加えて、加工布を保持する刺繍枠を前記ミシンベッド上に配置して駆動する刺繍装置を備え、前記刺繍枠上又は前記刺繍枠に載置されるテンプレート上に少なくとも１つの点が設けられており、前記基準座標記憶手段は、前記刺繍装置により前記刺繍枠を駆動して前記ミシンベッド上の所定位置に配置した状態での前記点を前記特徴点とし、複数の所定位置におけるそれぞれの前記特徴点の基準座標を記憶しており、前記特徴点座標算出手段は、前記刺繍装置により前記刺繍枠を駆動して複数の所定の位置に移動させ、前記撮像手段により前記ミシンベッド上を撮像し、前記特徴点を抽出して、当該特徴点の二次元座標を算出することを特徴とする。

また、請求項９に係る発明のミシンでは、請求項１乃至８のいずれかに記載の発明の構成に加えて、前記パラメータ記憶手段に記憶されているパラメータを用いて、前記撮像手段により撮像された画像を加工する画像加工手段を備えている。

また、請求項１０に係る発明のミシンでは、請求項１乃至９のいずれかに記載の発明の構成に加えて、前記パラメータ記憶手段に記憶されているパラメータを用いて、前記撮像手段により撮像された画像上の点の三次元座標を算出する三次元座標算出手段を備えている。

また、請求項１１に係る発明のミシンでは、請求項１乃至１０のいずれかに記載の発明の構成に加えて、前記パラメータ記憶手段に記憶されているパラメータを用いて、三次元座標で示された所定の点の座標を二次元座標系に投影した点の座標を算出する二次元座標算出手段を備えている。

また、請求項１２に係る発明のミシンでは、請求項１乃至１１のいずれかに記載の発明の構成に加えて、前記撮像手段はＣＭＯＳイメージセンサであることを特徴とする。

請求項１に係る発明のミシンでは、ミシンベッド上を撮像して、ミシンに備えられた撮像手段の内部パラメータ及び外部パラメータの少なくとも一方のパラメータを求めることができる。よって、他の装置でパラメータを算出することなく、ミシン自身でパラメータを算出することができる。また、パラメータ記憶手段に記憶され、使用中であるパラメータを算出した際の画像（基本画像）と現在の画像（比較画像）を比較する、又は、使用中のパラメータを算出した際の特徴点の座標と現在の画像（比較画像）における特徴点の座標とを比較する、又は、使用中のパラメータと現在の画像（比較画像）から算出したパラメータとを比較し、等しいか否かを判断することにより、使用中のパラメータの算出時の設置位置から撮像手段がずれたか否か、つまり、使用中のパラメータを補正する必要があるか否かを判断することができる。そして、ずれていた場合には、パラメータを再算出する必要がある旨を報知することができる。よって、撮像手段の設置位置がパラメータを算出した時と異なっており、ユーザが使用中のパラメータが適切でないことを知らずに撮像手段を使用し続けてしまうことがない。また、パラメータの補正をユーザに促すことができる。よって、ユーザがパラメータの補正を行えば、撮像手段により取得された画像から正確な位置情報を取得することができる。そして、画像から取得された位置情報を用いる処理を正確に行うことができる。

請求項２に係る発明のミシンでは、ミシンベッド上を撮像して、ミシンに備えられた撮像手段の内部パラメータ及び外部パラメータの少なくとも一方のパラメータを求めることができる。よって、他の装置でパラメータを算出することなく、ミシン自身でパラメータを算出することができる。また、パラメータ記憶手段に記憶され、使用中であるパラメータを算出した際の画像（基本画像）と現在の画像（比較画像）を比較する、又は、使用中のパラメータを算出した際の特徴点の座標と現在の画像（比較画像）における特徴点の座標とを比較する、又は、使用中のパラメータと現在の画像（比較画像）から算出したパラメータとを比較し、等しいか否かを判断することにより、使用中のパラメータの算出時の設置位置から撮像手段がずれたか否か、つまり、使用中のパラメータを補正する必要があるか否かを判断することができる。そして、ずれていた場合には、現在の撮像手段の設置位置でのパラメータを再算出しパラメータ記憶手段に記憶することができる。よって、ミシンの縫製動作による振動や使用者の撮像手段への接触により撮像手段の設置位置がずれてしまっても、ミシン自身で現在の撮像手段の設置位置に適合したパラメータを再算出して、補正することができる。したがって、撮像手段により取得された画像から正確な位置情報を取得することができる。そして、画像から取得された位置情報を用いる処理を正確に行うことができる。

また、請求項３に係る発明のミシンでは、縫製を行いながら、前記移動情報と前記予定情報とが等しいか否かにより、パラメータを再算出して、補正する必要があるか否かを判断することができる。そして、等しくなくパラメータを再算出して、補正する必要がある場合には、ユーザにそれを報知することができる。よって、ミシンの縫製動作による振動や使用者の撮像手段への接触により撮像手段の設置位置がずれてしまっても、ユーザが使用中のパラメータが適切でないことを知らずに撮像手段を使用し続けてしまうことがない。また、パラメータの補正をユーザに促すことができる。よって、ユーザがパラメータの補正を行えば、撮像手段により取得された画像から正確な位置情報を取得することができる。そして、画像から取得された位置情報を用いる処理を正確に行うことができる。

また、請求項４に係る発明のミシンでは、縫製を行いながら、前記移動情報と前記予定情報とが等しいか否かにより、パラメータを再算出する必要があるか否かを判断することができる。そして、等しくなくパラメータを再算出する必要がある場合には、パラメータを再算出して、補正することができる。よって、ミシンの縫製動作による振動や使用者の撮像手段への接触により撮像手段の設置位置がずれてしまっても、現在の撮像手段の設置位置に適合したパラメータをミシン自身で再算出することができる。たがって、撮像手段により取得された画像から正確な位置情報を取得することができる。そして、画像から取得された位置情報を用いる処理を正確に行うことができる。

また、請求項５に係る発明のミシンでは、請求項１乃至４のいずれかに記載の発明の効果に加えて、ミシンにもともと設けられている針板によりパラメータを算出できるので、パラメータを算出するための特徴点を別途設ける必要がない。したがって、ミシンの製造者においても、ミシンの使用者においても同様に手軽にパラメータを算出したり、撮像手段の設置位置のずれを検出したりすることができる。よって、ミシンの使用者がミシンを使用してゆく中においても、撮像手段により取得された画像から正確な位置情報を取得することができ、画像から取得された位置情報を用いる処理を正確に行うことができる。

また、請求項６に係る発明のミシンでは、請求項１乃至５のいずれかに記載の発明の効果に加えて、ミシンにもともと設けられている針板によりパラメータを算出できるので、パラメータを算出するための特徴点を別途設ける必要がない。したがって、ミシンの製造者においても、ミシンの使用者においても同様に手軽にパラメータを算出したり、撮像手段の設置位置のずれを検出したりすることができる。よって、ミシンの使用者がミシンを使用してゆく中においても、撮像手段により取得された画像から正確な位置情報を取得することができ、画像から取得された位置情報を用いる処理を正確に行うことができる。

また、請求項７に係る発明のミシンでは、請求項１乃至６のいずれかに記載の発明の効果に加えて、刺繍縫製を行うミシンにおいてもともと設けられている刺繍枠又はテンプレートを用いてパラメータを算出できる。よって、パラメータを算出するための特徴点を別途設ける必要がない。したがって、ミシンの製造者においても、ミシンの使用者においても同様に手軽にパラメータを算出したり、撮像手段の設置位置のずれを検出したりすることができる。よって、ミシンの使用者がミシンを使用してゆく中においても、撮像手段により取得された画像から正確な位置情報を取得することができ、画像から取得された位置情報を用いる処理を正確に行うことができる。

また、請求項８に係る発明のミシンでは、請求項１乃至７のいずれかに記載の発明の効果に加えて、刺繍縫製を行うミシンにおいてもともと設けられている刺繍枠又はテンプレートを用いてパラメータを算出できる。よって、パラメータを算出するための特徴点を別途設ける必要がない。したがって、ミシンの製造者においても、ミシンの使用者においても、同様に手軽にパラメータを算出したり、撮像手段の設置位置のずれを検出したりすることができる。よって、ミシンの使用者がミシンを使用してゆく中においても、撮像手段により取得された画像から正確な位置情報を取得することができ、画像から取得された位置情報を用いる処理を正確に行うことができる。また、刺繍枠を移動させ、所定の位置に刺繍枠が配置された状態における、刺繍枠上又はテンプレート上の点を特徴点とすることができる。よって、例えば、刺繍枠上又はテンプレート上の点が１つであっても、所定の位置が５箇所あれば５つの特徴点として捉えることができる。

また、請求項９に係る発明のミシンでは、請求項１乃至８のいずれかに記載の発明の効果に加えて、パラメータ記憶手段に記憶されているパラメータを用いて、撮像手段により撮像された画像を加工することができる。したがって、撮像された画像から撮像手段に固有の特性や撮像手段の設置状態の影響を排除し、現実の三次元座標系の点を正確に二次元座標に投影させた画像を得ることができる。

また、請求項１０に係る発明のミシンでは、請求項１乃至９のいずれかに記載の発明の効果に加えて、パラメータ記憶手段に記憶されているパラメータを用いて、撮像手段により撮像された画像上の点の三次元座標を算出することができる。したがって、撮像手段に固有の特性や撮像手段の設置状態の影響を排除して、撮像された画像上の点を現実の三次元座標系の点として捉えることができる。よって、現実の三次元座標系での点の位置関係を把握したり、２点間の距離を取得したりすることに利用することができる。

また、請求項１１に係る発明のミシンでは、請求項１乃至１０のいずれかに記載の発明の効果に加えて、パラメータ記憶手段に記憶されているパラメータを用いて、三次元座標で示された所定の点の座標を二次元座標系に投影した点の座標を算出することができる。したがって、撮像手段に固有の特性や撮像手段の設置状態の影響を考慮して、三次元座標で示された点の二次元座標系での座標を取得することができる。

また、請求項１２に係る発明のミシンでは、請求項１乃至１１のいずれかに記載の発明の効果に加えて、撮像手段をＣＭＯＳイメージセンサとすることができる。したがって、撮像手段として小型且つ安価なＣＭＯＳセンサを使用することにより、撮像手段をミシンに設置するスペースが小さくて済むと共に、撮影手段のコストを低く抑えることが可能となる。

以下、本発明の実施の形態を図面を参照して説明する。図１乃至図３を参照して、ミシン１の物理的構成及び電気的構成について説明する。図１はミシン１の上側からの斜視図であり、図２は、イメージセンサ５０を示す模式図であり、図３は、ミシン１の電気的構成を示す模式図である。

まず、図１を参照して、本実施の形態におけるミシン１の物理的構成について説明する。図１に示すようにミシン１は、左右方向に長いミシンベッド２と、ミシンベッド２の右端部から上方へ立設された脚柱部３と、脚柱部３の上端から左方へ延びるアーム部４と、アーム部４の左先端部に設けられた頭部５とを有する。脚柱部３の正面部には、表面にタッチパネル１６を備えた液晶ディスプレイ１０が設けられている。液晶ディスプレイ１０には、縫製模様や縫製条件の入力キー等が表示され、タッチパネル１６においてこれらの入力キー等に対応した位置に触れることにより縫製模様や縫製条件等を選択可能になっている。ミシン１の内部には、ミシンモータ７９（図３参照）、主軸（図示せず）、下端部に縫針７を装着した針棒６（図２参照）、この針棒６を上下動させる針棒上下動機構（図示せず）、針棒６を左右方向に針振りさせる針振り機構（図示せず）等が収納されている。尚、図１において、矢印Ｘの方向を右方向、その反対方向を左方向、矢印Ｙの方向を前方向、その反対方向を後方向と言う。

また、ミシンベッド２の上部には針板８０（図８参照）が配設されている。ミシンベッド２の内部には、送り歯（図示せず）を駆動する送り歯前後動機構（図示せず）並びに送り歯上下動機構（図示せず）、送り歯による加工布の送り量を調整する送り量調整用パルスモータ７８（図３参照）、及び下糸を巻回したボビン（図示せず）を格納した釜（図示せず）等が収納されている。また、ミシンベッド２の左端には補助テーブル８が嵌め込まれている。この補助テーブル８は取り外しが可能であり、補助テーブル８が取り外されたミシンベッド２には、刺繍装置３０を装着することができる（図１１参照）。

また、ミシン１の右側面には、手動で主軸を回転させ、前記針棒６を上下動させるプーリ（図示せず）が設けられている。また、頭部５及びアーム部４の正面に設けられている正面カバー５９には、ミシン１の運転を開始及び停止する、即ち、縫製開始及び停止を指示する縫製開始・停止スイッチ４１、加工布を通常とは逆方向である後方から前方へ送るための返し縫いスイッチ４２、及びその他の操作スイッチが設けられている。さらに、主軸の回転速度を調整する速度調整摘み４３が設けられている。さらに、正面カバー５９の内部、縫針７から右斜め上方の位置には、イメージセンサ５０（図２参照）が設置されており、針板８０近傍を撮像することができる。ここで、縫製開始・停止スイッチ４１は、ミシン１の停止中に押圧操作されると運転が開始され、ミシン１の運転中に押圧操作されると運転が停止するようになっている。

次に、図２を参照して、イメージセンサ５０について説明する。図２は、イメージセンサ５０を示す模式図である。イメージセンサ５０は周知のＣＭＯＳイメージセンサであり、画像を撮像する。実施の形態では、図２に示すように、ミシン１の図示しないフレームに支持フレーム５１が取り付けられている。そして、その支持フレーム５１にイメージセンサ５０が、針板８０の全体を撮像できるように取り付けられている。以下、イメージセンサ５０により撮像された画像を「撮像画像」という。なお、針落ち点とは、縫針７が針棒上下動機構により下方に移動され、加工布に刺さった点を指している。ここで、加工布を押さえる押え足４７は、押え棒４５の下端部に固定される押えホルダ４６に装着されている。なお、ＣＭＯＳイメージセンサはＣＣＤカメラであってもよいし、他の撮像素子であってもよい。

次に、図３を参照して、ミシン１の主な電気的構成について説明する。図３に示すように、ミシン１は、ＣＰＵ６１，ＲＯＭ６２，ＲＡＭ６３，ＥＥＰＲＯＭ６４，カードスロット１７，外部アクセスＲＡＭ６８，入力インターフェイス６５，出力インターフェイス６６等を有し、これらはバス６７により相互に接続されている。そして、入力インターフェイス６５には、縫製開始・停止スイッチ４１，返し縫いスイッチ４２，速度調整摘み４３，タッチパネル１６，イメージセンサ５０等が接続されている。一方、出力インターフェイス６６には、送り量調整用パルスモータ７８を駆動させる駆動回路７１，主軸を回転駆動させるためのミシンモータ７９を駆動させる駆動回路７２，液晶ディスプレイ１０を駆動させる駆動回路７５が電気的に接続されている。カードスロット１７には、メモリカード１８を接続することができる。メモリカード１８には、ミシン１で刺繍縫製を行うための刺繍データを記憶する刺繍データ記憶エリア１８１が設けられている。なお、刺繍データには、縫針７の針落ち位置を示す座標が示されている。この座標は後述するワールド座標系の三次元座標で記述されている。

ＣＰＵ６１は、ミシン１の主制御を司り、読み出し専用の記憶素子であるＲＯＭ６２の制御プログラム記憶領域に記憶された制御プログラムに従って、各種演算及び処理を実行する。ＲＡＭ６３は、任意に読み書き可能な記憶素子であり、ＣＰＵ６１が演算処理した演算結果を収容する各種記憶領域が必要に応じて設けられている。

次に、図４乃至図７を参照して、ＲＡＭ６３及びＥＥＰＲＯＭ６４に設けられている記憶エリアについて説明する。図４は、ＲＡＭ６３に設けられている記憶エリアの構成を示す模式図である。図５は、ＲＡＭ６３に設けられている特徴点二次元座標記憶エリア６３２の構成を示す模式図である。図６は、ＥＥＰＲＯＭ６４に設けられている記憶エリアの構成を示す模式図である。図７は、ＥＥＰＲＯＭ６４に設けられている特徴点三次元座標記憶エリア６４１の模式図である。

まず、図４を参照して、ＲＡＭ６３に設けられている記憶エリアについて説明する。図４に示すように、ＲＡＭ６３には撮像画像記憶エリア６３１、特徴点二次元座標記憶エリア６３２、比較内部パラメータ記憶エリア６３３及び比較外部パラメータ記憶エリア６３４が設けられている。撮像画像記憶エリア６３１には、イメージセンサ５０で撮像された画像が記憶される。特徴点二次元座標記憶エリア６３２には、イメージセンサ５０で撮像された画像から抽出された特徴点の二次元座標が記憶される。そして、比較内部パラメータ記憶エリア６３３には、ＥＥＰＲＯＭ６４の内部パラメータ記憶エリア６４２に記憶されている使用中の内部パラメータと比較するための内部パラメータが記憶される。比較外部パラメータ記憶エリア６３４には、ＥＥＰＲＯＭ６４の外部パラメータ記憶エリア６４３に記憶されている使用中の外部パラメータと比較するための外部パラメータが記憶される。なお、図示しないが、ＲＡＭ６３にはその他の記憶エリアも設けられている。

ここで、図５を参照して、ＲＡＭ６３に設けられている特徴点二次元座標記憶エリア６３２について説明する。図５に示すように、特徴点二次元座標記憶エリア６３２には、特徴点番号に対応して、二次元座標（Ｘ座標，Ｙ座標）が記憶されている。本実施の形態では、特徴点番号「０」〜「２７」までの２８個の特徴点が用いられる。なお、特徴点とは針板８０に設けられた穴の角や刻印の端点などに定められた点である。詳細については、図８及び図９を参照して後述する。

次に、図６を参照して、ＥＥＰＲＯＭ６４に設けられている記憶エリアについて説明する。ＥＥＰＲＯＭ６４には、特徴点三次元座標記憶エリア６４１，内部パラメータ記憶エリア６４２及び外部パラメータ記憶エリア６４３が設けられている。特徴点三次元座標記憶エリア６４１には、予め算出されている特徴点のワールド座標系における三次元座標が記憶されている。ワールド座標系とは、主に三次元グラフィックスの分野で用いられる三次元の座標系であり、空間全体を示す座標系である。対象物の重心等の影響を受けることのない座標系である。よって、空間内での物体の位置を示したり、異なる物体に対する座標を比較したりする際に用いられる。特徴点三次元座標記憶エリア６４１には、ワールド座標系での特徴点の三次元座標が記憶されている。本実施の形態では、図１に示すように、ミシンベッド２の上面をＸＹ平面とし、特徴点番号「０」の点（図９に示す特徴点１００）を原点（０，０，０）としてワールド座標系が設定されている。そして、ミシン１の上下方向にＺ軸、左右方向にＸ軸、前後方向にＹ軸を取っている。

そして、内部パラメータ記憶エリア６４２及び外部パラメータ記憶エリア６４３には、撮像された画像及び特徴点の三次元座標から算出された内部パラメータ及び外部パラメータが記憶される。内部パラメータ記憶エリア６４２には、Ｘ軸焦点距離記憶エリア６４２１，Ｙ軸焦点距離記憶エリア６４２２，Ｘ軸主点座標記憶エリア６４２３，Ｙ軸主点座標記憶エリア６４２４，第一歪み係数記憶エリア６４２５，第二歪み係数記憶エリア６４２６が設けられている。外部パラメータ記憶エリア６４３には、Ｘ軸回転ベクトル記憶エリア６４３１，Ｙ軸回転ベクトル記憶エリア６４３２，Ｚ軸回転ベクトル記憶エリア６４３３，Ｘ軸並進ベクトル記憶エリア６４３４，Ｙ軸並進ベクトル記憶エリア６４３５，Ｚ軸並進ベクトル記憶エリア６４３６が設けられている。これらのパラメータは、イメージセンサ５０で撮像された画像を加工したり、三次元座標を二次元座標に変換したり、二次元座標を三次元座標に変換したりするのに用いられる。

次に、図７を参照して、ＥＥＰＲＯＭ６４に設けられている特徴点三次元座標記憶エリア６４１について説明する。図７に示すように、特徴点三次元座標記憶エリア６４１には、特徴点番号に対応して、ワールド座標系の三次元座標（Ｘ座標，Ｙ座標，Ｚ座標）が記憶されている。

次に、図８及び図９を参照して、針板８０上に定められている特徴点について説明する。図８は、針板８０の平面図であり、図９は、針板８０の平面図上に特徴点を記した模式図である。図８に示すように、針板８０は略長方形の形状をしている。そして、図１に示すように、ミシンベッド２の上面、押え足４７や縫針７の直下に嵌め込まれる。図８に示すように、針板８０には、送り歯穴９０が設けられている。この送り歯穴９０は、ミシンベッド２内に設けられている送り歯（図示せず）が出没するための穴である。そして、縫製時には、送り歯が前後方向及び上下方向に動作して、加工布を縫製方向へ送り出す。なお、図８における上下方向が送り歯の移動方向であり、加工布の縫製方向である。送り歯穴９０は、送り歯の移動方向を長手方向とした略長方形の送り歯穴９１〜９６で構成されている。また、これらの送り歯穴９１〜９６に囲まれた位置に縫針７が挿通可能な針穴９７が設けられている。そして、送り歯穴９０の他にも穴８１〜８５が諸所に設けられている。これらの穴は、針板８０に、送り歯穴９１〜９６を覆う針板カバー、加工布の布端を案内する案内定規、加工布を切断しながら縫製するサイドカッター、円形状の模様を縫製する円縫い装置等々の縫製補助アタッチメント（いずれも図示せず）を取り付けたり、針板８０をミシンベッド２へ固定したりするための皿ネジ用の穴である。また、針板８０には、加工布の端から針落ち位置までの距離を測る目安としたり、加工布をまっすぐに送るための目安としたりする基線８７及び目盛り８６が刻印されている。

次に、本実施の形態における特徴点の位置について説明する。図９では、黒色の点で特徴点を示している。図９に示すように、送り歯穴９１〜９６の頂点（四隅）及び針板８０の頂点（四隅）に特徴点１００〜１２７が配置されている。送り歯穴９１の頂点に対して、左上、右上、左下、右下の順に特徴点１０７，１０６，１２３，１２２が配置されている。送り歯穴９２の頂点に対して、左上、右上、左下、右下の順に特徴点１０５，１０４，１１１，１１０が配置されている。送り歯穴９３の頂点に対して、左上、右上、左下、右下の順に特徴点１１４，１１５，１２１，１２０が配置されている。送り歯穴９４の頂点に対して、左上、右上、左下、右下の順に特徴点１１３，１１２，１１９，１１８が配置されている。送り歯穴９５の頂点に対して、左上、右上、左下、右下の順に特徴点１０３，１０２，１０９，１０８が配置されている。送り歯穴９６の頂点に対して、左上、右上、左下、右下の順に特徴点１０１，１００，１１７，１１６が配置されている。そして、針板８０の頂点に対して、左上、右上、左下、右下の順に特徴点１２４，１２６，１２５，１２７が配置されている。なお、特徴点１００〜１２７がそれぞれ特徴点番号「０」〜「２７」に対応している。

次に、図１０のフローチャートを参照して、パラメータ補正処理について説明する。このパラメータ補正処理は、ユーザにより「パラメータ補正」の指示がされた際に、ＲＯＭ６２に記憶されているパラメータ補正プログラムをＣＰＵ６１が実行することにより、実施されるものである。パラメータ補正の指示は、液晶ディスプレイ１０に指示ボタンを表示させ、タッチパネル１６において指示ボタンに対応した位置をタッチすることにより受け付ければよい。また、専用のボタンを設けてもよい。また、定期的にミシン１が自動で実行させるようにしてもよい。例えば、ミシン１に電源が投入された際に実行させたり、縫製が終了した後の所定時間後に実行させたりしてもよい。または、針棒６が上下動する回数（即ち、針数）をカウントするようにして、その累積回数が所定の回数に到達する毎に実行させたりしてもよい。

まず、パラメータ算出に使用する画像が取得される（Ｓ１）。具体的には、イメージセンサ５０により画像が撮像され、ＲＡＭ６３の撮像画像記憶エリア６３１に記憶される。次いで、特徴点が抽出され、その座標がＲＡＭ６３の特徴点二次元座標記憶エリア６３２に記憶される（Ｓ２）。具体的には、まず、撮像画像記憶エリア６３１に記憶されている撮像画像から直線が抽出される。直線の抽出には、例えば、周知のハフ変換という手法が用いられる。撮像画像に対してゾーベルフィルタ処理を施し、エッジ強度画像（画像の濃度値が急激に変化する箇所を強調した画像）が作成される。さらに、エッジ強度画像を二値化してエッジ点列画像が作成される。このエッジ点列画像に対してハフ変換を施し、ハフ変換画像が作成される。そして、ハフ変換画像に対して非極大抑制処理が行われ、ハフ変換画像の局所的に（マスク内で）明るい点が抽出される。さらに、抽出された明るい点のうち、所定の閾値よりも明るい点のみを抽出する閾値処理が行われる。そして、逆ハフ変換処理が行われ、直線が抽出される。なお、直線が抽出できない場合には、「針板に物を載せないで下さい」等のアラームを液晶ディスプレイ１０に出力する。

次いで、抽出された直線の交点の座標が算出される。そして、算出された交点のうち、特徴点に該当する点の座標が特徴点番号に対応させて特徴点二次元座標記憶エリア６３２に記憶される。なお、算出交点のうち、どの点がどの特徴点に該当するのかの判断は、例えば以下のように行う。特徴点は予め定められているので、ある段階（例えば、ミシンメーカにおいて出荷前）でイメージセンサ５０で撮像した画像における特徴点の座標が特徴点番号に対応されてＲＯＭ６２，ＥＥＰＲＯＭ６４に記憶されている。又は、パラメータ算出プログラム中に特徴点の座標が比較値として記載されているものとする。そして、各特徴点の座標からもっとも近い点が撮像画像における特徴点の座標とされる。ここで、算出された二次元座標を特徴点番号に対応させることにより、特徴点三次元座標記憶エリア６４１において特徴点番号に対応して記憶されている三次元座標とも対応が取れる。なお、すべての特徴点番号に対して交点が割り当てられない場合には、「針板に物を載せないで下さい」等のアラームを液晶ディスプレイ１０に出力する。

次いで、パラメータが算出され、ＲＡＭ６３の比較内部パラメータ記憶エリア６３３及び比較外部パラメータ記憶エリア６３４に記憶される（Ｓ３）。パラメータは、Ｓ２で算出された特徴点の二次元座標（図５参照）と、ＥＥＰＲＯＭ６４の特徴点三次元座標記憶エリア６４１に記憶されている特徴点の三次元座標（図７参照）との組み合わせに基づいて、周知のカメラキャリブレーションのパラメータの算出方法により算出される。パラメータの算出方法は、三次元座標が既知である点（特徴点）を含む対象物をカメラで撮像し、撮像された画像における特徴点の二次元座標を算出して、既知の三次元座標と算出された二次元座標とに基づいて射影行列を求め、射影行列からパラメータを求めるものである。この算出方法については、種々の研究がなされており、算出方法が提案されている（例えば、背景技術の特許文献２特許第３１３８０８０号公報参照）。本実施の形態では、いずれの算出方法を用いてもよいが、三次元座標が既知である点を含む対象物として針板８０が用いられる。

内部パラメータは、イメージセンサ５０の特性により生じる焦点距離のずれ，主点座標のずれ、撮像した画像の歪みを補正するためのパラメータである。本実施の形態では、Ｘ軸焦点距離，Ｙ軸焦点距離，Ｘ軸主点座標，Ｙ軸主点座標，第一歪み係数，第二歪み係数の６つの内部パラメータを算出する。ここで、イメージセンサ５０により撮像された撮像画像を考える場合、次のような問題点がある。画像の中心がどこにあるか不明である。また、イメージセンサ５０の画素が正方形でない場合、画像の２つの座標軸のスケールが異なる。画像の２つの座標軸は必ずしも直交しない。そこで、２つの座標軸のスケールが同じであり、かつ、２つの座標軸が直交しており、かつ、焦点から単位長の所に画像が撮像される「正規化カメラ」の概念を導入する。そして、イメージセンサ５０で撮像された画像を、この正規化カメラで撮像した画像（正規化画像）に変換する。この正規化画像に変換する際に内部パラメータが用いられる。

Ｘ軸焦点距離は、イメージセンサ５０のｘ軸方向の焦点距離のずれを示す内部パラメータであり、Ｙ軸焦点距離は、ｙ軸方向の焦点距離のずれを示す内部パラメータである。Ｘ軸主点座標は、イメージセンサ５０のｘ軸方向の主点のずれを示す内部パラメータであり、Ｙ軸主点座標は、ｙ軸方向の主点のずれを示す内部パラメータである。第一歪み係数，第二歪み係数は、イメージセンサ５０のレンズの傾きによる歪みを示す内部パラメータである。

また、外部パラメータは、ワールド座標系に対するイメージセンサ５０の設置状態（位置や向き）を示すパラメータである。つまり、イメージセンサ５０における３次元座標系（以下、「カメラ座標系」という）と、ワールド座標系とのずれを示すパラメータである。本実施の形態では、Ｘ軸回転ベクトル，Ｙ軸回転ベクトル，Ｚ軸回転ベクトル，Ｘ軸並進ベクトル，Ｙ軸並進ベクトル，Ｚ軸並進ベクトルの６つの外部パラメータを算出する。これらの外部パラメータを用いることにより、イメージセンサ５０のカメラ座標系をワールド座標系に変換することができる。Ｘ軸回転ベクトルは、カメラ座標系のワールド座標系に対するｘ軸周りの回転を示し、Ｙ軸回転ベクトルは、ｙ軸周りの回転を示し、Ｚ軸回転ベクトルは、ｚ軸周りの回転を示している。そして、ワールド座標系からカメラ座標系へ変換する転換行列や、カメラ座標系からワールド座標系へ変換する転換行列を決定する際に使用される。Ｘ軸並進ベクトルはワールド座標系に対するカメラ座標系のｘ軸方向のずれを示し、Ｙ軸並進ベクトルはｙ軸方向のずれを示し，Ｚ軸並進ベクトルはｚ軸方向のずれを示している。そして、Ｘ軸並進ベクトル，Ｙ軸並進ベクトル，Ｚ軸並進ベクトルは、ワールド座標系からカメラ座標系へ変換する並進ベクトルや、カメラ座標系からワールド座標系へ変換する並進ベクトルを決定する際に使用される。

例えば、図５及び図７に示す例の特徴点の二次元座標及び三次元座標の組み合わせからは、次のようなパラメータが算出される。内部パラメータとしては、Ｘ軸焦点距離＝７２４．９９４１８、Ｙ軸焦点距離＝７２５．１８３３１、Ｘ軸主点座標＝３２６．５１２３４、Ｙ軸主点座標＝２４６．６９４、第一歪み係数＝０．２０６３８８２、第二歪み係数＝−０．６７３０７７１である。そして、外部パラメータとしては、Ｘ軸回転ベクトル＝２．８９７４８７３、Ｙ軸回転ベクトル＝０．０２３４４２９、Ｚ軸回転ベクトル＝０．０１６５４９０、Ｘ軸並進ベクトル＝−１．５０３１７６０、Ｙ軸並進ベクトル＝−２．３１３８８１６、Ｚ軸並進ベクトル＝１０２．９８９９９８９である。

次いで、比較内部パラメータ記憶エリア６３３に記憶されている内部パラメータと、内部パラメータ記憶エリア６４２に記憶されている内部パラメータとがそれぞれ一致するか比較され、さらに、比較外部パラメータ記憶エリア６３４に記憶されている外部パラメータと、外部パラメータ記憶エリア６４３に記憶されている外部パラメータとがそれぞれ一致するか比較される（Ｓ４）。そして、すべてのパラメータが一致した場合には（Ｓ４：ＹＥＳ）、イメージセンサ５０の位置ずれはなく、パラメータに変更はないということなので、このまま処理は終了する。また、１つでも一致しないパラメータがあった場合には（Ｓ４：ＮＯ）、イメージセンサ５０の位置ずれが起こっている可能性がある。そこで、比較内部パラメータ記憶エリア６３３に記憶されている内部パラメータが内部パラメータ記憶エリア６４２に記憶され、比較外部パラメータ記憶エリア６３４に記憶されている外部パラメータが外部パラメータ記憶エリア６４３に記憶されて、パラメータが新しいパラメータに補正される（Ｓ５）。

以上のようにして、イメージセンサ５０で針板８０を撮像した撮像画像を用いて、針板８０上の特徴点のカメラ座標系の二次元座標を抽出し、ＥＥＰＲＯＭ６４の特徴点三次元座標記憶エリア６４１に記憶されている特徴点のワールド座標系の三次元座標と対応させて、ミシン１自身でパラメータを算出することができる。よって、針板８０というミシン１にもともと使用されている部材を用いて、パラメータを算出することができる。したがって、ミシン１では、特別な部材を用いることなく、簡単にパラメータを算出することができる。そして、パラメータに変化があった場合には、新しいパラメータに更新して、パラメータを補正することができる。したがって、イメージセンサ５０が移動してしまった場合でも、その位置でのパラメータを算出して、現在のイメージセンサ５０の位置に合ったパラメータに変更し、正しいパラメータを使用することができる。

次に、パラメータの使用例について説明する。パラメータは、ワールド座標系の点の三次元座標をカメラ座標系の撮像画像平面上の点の二次元座標に変換したり、カメラ座標系の撮像画像平面上の点の二次元座標をワールド座標系の点の三次元座標に変換したり、イメージセンサ５０で撮像された画像を加工したりする際に使用される。

ここで、カメラ座標系の撮像画像上の点ｐの二次元座標を（ｕ，ｖ）とし、カメラ座標系の点ｐの三次元座標をＭ_１（Ｘ_１，Ｙ_１，Ｚ_１）とする。そして、点ｐをワールド座標系に変換した点Ｐのワールド座標系の三次元座標をＭ_ｗ（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）とする。そして、内部パラメータのＸ軸焦点距離をｆｘ，Ｙ軸焦点距離をｆｙ，Ｘ軸主点座標をｃｘ，Ｙ軸主点座標をｃｙ，第一歪み係数をｋ_１，第二歪み係数をｋ_２とする。そして、外部パラメータのＸ軸回転ベクトルをｒ_１，Ｙ軸回転ベクトルをｒ_２，Ｚ軸回転ベクトルをｒ_３，Ｘ軸並進ベクトルをｔ_１，Ｙ軸並進ベクトルをｔ_２，Ｚ軸並進ベクトルをｔ_３とする。さらに、「Ｒ_ｗ」を外部パラメータ（Ｘ軸回転ベクトルｒ_１，Ｙ軸回転ベクトルｒ_２，Ｚ軸回転ベクトルｒ_３）に基づいて決定される３×３の回転行列とし、「ｔ_ｗ」を外部パラメータ（Ｘ軸並進ベクトルｔ_１，Ｙ軸並進ベクトルｔ_２，Ｚ軸並進ベクトルｔ_３）に基づいて決定される３×１の並進ベクトルとする。

まず、ワールド座標系の点の座標Ｍ_ｗ（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）をカメラ座標系の撮像画像平面上に投影した点の座標（ｕ，ｖ）を算出する処理について説明する。まず、ワールド座標系の点の座標Ｍ_ｗ（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）がカメラ座標系の点の三次元座標Ｍ_１（Ｘ_１，Ｙ_１，Ｚ_１）に変換される。これは、「Ｍ_１＝Ｒ_ｗ×Ｍ_ｗ＋ｔ_ｗ」により算出される。次いで、算出されたカメラ座標系の点ｐの三次元座標がカメラ座標系の正規化画像上の座標（ｘ'，ｙ'）に変換される。この座標は、「ｘ'＝Ｘ_１／Ｚ_１」，「ｙ'＝Ｙ_１／Ｚ_１」により算出される。さらに、内部パラメータである第一歪み係数ｋ_１及び第二歪み係数ｋ_２を用いて、正規化カメラに対してイメージセンサ５０のレンズの歪みを加味した座標（ｘ"，ｙ"）が算出される。この座標は、「ｘ"＝ｘ'×（１＋ｋ_１×ｒ^２＋ｋ_２×ｒ^４）」，「ｙ"＝ｙ'×（１＋ｋ_１×ｒ^２＋ｋ_２×ｒ^４）」により算出される。なお、「ｒ^２＝ｘ'^２＋ｙ'^２」である。次いで、正規化画像上の点にレンズの歪みを加味した座標（ｘ"，ｙ"）に、内部パラメータであるＸ軸焦点距離ｆｘ，Ｙ軸焦点距離ｆｙ，Ｘ軸主点座標ｃｘ及びＹ軸主点座標ｃｙを加味して、カメラ座標系の撮像画像上の座標（ｕ，ｖ）に変換される。この座標は「ｕ＝ｆｘ×ｘ"＋ｃｘ」，「ｖ＝ｆｙ×ｙ"＋ｃｙ」で算出される。なお、これらの処理を行うＣＰＵ６１が「二次元座標算出手段」に相当する。

次に、イメージセンサ５０により撮像された撮像画像上の点ｐの座標（ｕ，ｖ）から、その点ｐをワールド座標系の点に変換した点Ｐの三次元座標Ｍ_ｗ（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）を算出する処理について説明する。まず、内部パラメータであるＸ軸焦点距離ｆｘ，Ｙ軸焦点距離ｆｙ，Ｘ軸主点座標ｃｘ及びＹ軸主点座標ｃｙを加味して、カメラ座標系の撮像画像上の点の座標（ｕ，ｖ）から、カメラ座標系の正規化画像上の座標（ｘ"，ｙ"）に変換される。この座標は、「ｘ"＝（ｕ−ｃｘ）／ｆｘ」，「ｙ"＝（ｖ−ｃｙ）／ｆｙ」により算出される。次いで、内部パラメータである第一歪み係数ｋ_１及び第二歪み係数ｋ_２を用いて、座標（ｘ"，ｙ"）からレンズの歪みを取り除いた正規化画像上の座標（ｘ'，ｙ'）に変換される。この座標は、「ｘ'＝ｘ"−ｘ"×（１＋ｋ_１×ｒ^２＋ｋ_２×ｒ^４）」，「ｙ'＝ｙ"−ｙ"×（１＋ｋ_１×ｒ^２＋ｋ_２×ｒ^４）」で算出される。そして、カメラ座標系の正規化画像上の座標がカメラ座標系の点の三次元座標Ｍ_１（Ｘ_１，Ｙ_１，Ｚ_１）へ変換される。ここで、Ｘ_１，Ｙ_１は、「Ｘ_１＝ｘ'×Ｚ_１」，「Ｙ_１＝ｙ'×Ｚ_１」の関係が成り立つ。また、カメラ座標系の三次元座標Ｍ_１（Ｘ_１，Ｙ_１，Ｚ_１）と、ワールド座標系の三次元座標Ｍ_ｗ（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）との間には、「Ｍ_ｗ＝Ｒ_ｗ ^Ｔ（Ｍ_１−ｔ_ｗ）」の関係が成り立つ。なお、Ｒ_ｗ ^ＴはＲ_ｗの転置行列である。そこで、ワールド座標系のＸＹ平面はミシンベッド２の上面に設定されているので、Ｚ＝０とし、「Ｘ_１＝ｘ'×Ｚ_１」，「Ｙ_１＝ｙ'×Ｚ_１」，「Ｍ_ｗ＝Ｒ_ｗ ^Ｔ（Ｍ_１−ｔ_ｗ）」を連立で解く。これにより、Ｚ_１が算出され、Ｘ_１，Ｙ_１が算出され、Ｍ_ｗ（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）が算出される。なお、これらの処理を行うＣＰＵ６１が「三次元座標算出手段」に相当する。

次に、イメージセンサ５０により撮像された撮像画像を加工する処理について説明する。ここでは、撮像画像を別の視点（別のカメラ位置）から撮像した画像（視点変更画像）に加工する処理について説明する。イメージセンサ５０は針板８０を上部から撮像する位置に取り付けられている（図２参照）。つまり、針板８０に対して、上（Ｚ軸のプラス方向）に視点がある。この視点を、例えば針板８０の右斜め上に変更し、右斜め上から針板８０を撮像した視点変更画像に撮像画像を加工する。

ここで、ワールド座標系上の点の三次元座標をＭ_ｗ（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）、イメージセンサ５０のカメラ座標系上の点の三次元座標をＭ_１（Ｘ_１，Ｙ_１，Ｚ_１）、移動させた視点の座標系（移動視点座標系）上の点の三次元座標をＭ_２（Ｘ_２，Ｙ_２，Ｚ_２）とする。そして、カメラ座標系の撮像画像平面上の点の二次元座標を（ｕ_１，ｖ_１）、移動視点座標系の視点変更画像平面上の点の二次元座標を（ｕ_２，ｖ_２）とする。そして、さらに、「Ｒ_ｗ」は外部パラメータであるＸ軸回転ベクトルｒ_１，Ｙ軸回転ベクトルｒ_２，及びＺ軸回転ベクトルｒ_３に基づいて決定される３×３の回転行列、「ｔ_ｗ」は、外部パラメータであるＸ軸並進ベクトルｔ_１，Ｙ軸並進ベクトルｔ_２及びＺ軸並進ベクトルｔ_３に基づいて決定される３×１の並進ベクトルである。つまり、Ｒ_ｗ，ｔ_ｗは、ワールド座標系の三次元座標Ｍ_ｗ（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）をカメラ座標系の三次元座標Ｍ_１（Ｘ_１，Ｙ_１，Ｚ_１）に変換する際に利用される。そして、ワールド座標系の三次元座標Ｍ_ｗ（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）を移動視点座標系の三次元座標Ｍ_２（Ｘ_２，Ｙ_２，Ｚ_２）に変換する際には、Ｒ_ｗ２（３×３の回転行列），ｔ_ｗ２（３×１の並進ベクトル）が用いられる。これらの行列式は、移動先の視点がワールド座標系のどの点に該当するかにより決定される。そして、移動視点座標系の三次元座標Ｍ_２（Ｘ_２，Ｙ_２，Ｚ_２）を、カメラ座標系の三次元座標Ｍ_１（Ｘ_１，Ｙ_１，Ｚ_１）に変換する行列式を、Ｒ_２１（３×３の回転行列），ｔ_２１（３×１の並進ベクトル）とする。

まず、移動視点座標系の三次元座標Ｍ_２（Ｘ_２，Ｙ_２，Ｚ_２）を、カメラ座標系の三次元座標Ｍ_１（Ｘ_１，Ｙ_１，Ｚ_１）に変換する行列式Ｒ_２１，ｔ_２１を算出する。Ｒ_ｗ，Ｒ_ｗ２，Ｒ_２１，ｔ_ｗ，ｔ_ｗ２，ｔ_２１には、次のような関係が成り立つ。「Ｍ_１＝Ｒ_ｗ×Ｍ_ｗ＋ｔ_ｗ（ワールド座標系からカメラ座標系へ）」，「Ｍ_２＝Ｒ_ｗ２×Ｍ_ｗ＋ｔ_ｗ２（ワールド座標系から移動視点座標系へ）」，「Ｍ_１＝Ｒ_２１×Ｍ_２＋ｔ_２１（移動視点座標系からカメラ座標系へ）」である。これらをＲ_２１，ｔ_２１について解くと、「Ｒ_２１＝Ｒ_ｗ×Ｒ_ｗ２ ^Ｔ」，「ｔ_２１＝−Ｒ_ｗ×Ｒ_ｗ２ ^Ｔ×ｔ_ｗ２＋ｔ_ｗ」となる。Ｒ_ｗ，Ｒ_ｗ２，ｔ_ｗ，ｔ_ｗ２はすでに算出された固定値であるので、Ｒ_２１，ｔ_２１は一意的に決定される。

次に、視点変更画像上の点の二次元座標（ｕ_２，ｖ_２）が、撮像画像上のどの二次元座標（ｕ_１，ｖ_１）となるかが算出される。そのために、視点変更画像上の二次元座標（ｕ_２，ｖ_２）が、視点変更座標系の正規化画像上の二次元座標（ｘ_２"，ｙ_２"）へ変換される。「ｘ_２"＝（ｕ_２−ｃｘ）／ｆｘ」，「ｙ_２"＝（ｖ_２−ｃｙ）／ｆｙ」である。ここで、内部パラメータであるＸ軸焦点距離ｆｘ，Ｙ軸焦点距離ｆｙ，Ｘ軸主点座標ｃｘ及びＹ軸主点座標ｃｙが用いられる。次いで、正規化画像上の二次元座標（ｘ_２"，ｙ_２"）にレンズの歪みを加味した座標（ｘ_２'，ｙ_２'）が算出される。「ｘ_２'＝ｘ_２"−ｘ_２"×（１＋ｋ_１×ｒ^２＋ｋ_２×ｒ^４）」，「ｙ_２'＝ｙ_２"−ｙ_２"×（１＋ｋ_１×ｒ^２＋ｋ_２×ｒ^４）」である。なお、「ｒ^２＝ｘ_２'^２＋ｙ_２'^２」である。ここで、内部パラメータである第一歪み係数ｋ_１及び第二歪み係数ｋ_２が用いられる。

次いで、視点変更座標系の正規化画像上の二次元座標（ｘ_２'，ｙ_２'）から視点変更座標系の三次元座標Ｍ_２（Ｘ_２，Ｙ_２，Ｚ_２）が算出される。ここで、「Ｘ_２＝ｘ_２'×Ｚ_２」，「Ｙ_２＝ｙ_２'×Ｚ_２」である。さらに、ミシンベッド２の上面をワールド座標系のＸＹ平面としているので、「Ｍ_２＝Ｒ_ｗ２×Ｍ_ｗ＋ｔ_ｗ２」においてＺ＝０とする。そして、連立方程式を解くことにより、視点変更座標系の三次元座標Ｍ_２（Ｘ_２，Ｙ_２，Ｚ_２）が算出される。

そして、移動視点座標系の三次元座標Ｍ_２（Ｘ_２，Ｙ_２，Ｚ_２）を、カメラ座標系の三次元座標Ｍ_１（Ｘ_１，Ｙ_１，Ｚ_１）に変換する。ここでは、式「Ｍ_１＝Ｒ_２１×Ｍ_２＋ｔ_２１」にＭ_２（Ｘ_２，Ｙ_２，Ｚ_２）が代入され、Ｍ_１（Ｘ_１，Ｙ_１，Ｚ_１）が算出される。次いで、カメラ座標系の三次元座標Ｍ_１（Ｘ_１，Ｙ_１，Ｚ_１）からカメラ座標系の正規化画像上の二次元座標（ｘ_１'，ｙ_１'）へ変換される。ここで、「ｘ_１'＝ｘ_１／ｚ_１」，「ｙ_１'＝ｙ_１／ｚ_１」である。さらに、レンズの歪みが加味された二次元座標（ｘ_１"，ｙ_１"）が算出される。「ｘ_１"＝ｘ_１'×（１＋ｋ_１×ｒ^２＋ｋ_２×ｒ^４）」，「ｙ_１"＝ｙ_１'×（１＋ｋ_１×ｒ^２＋ｋ_２×ｒ^４）」により算出される。なお、「ｒ^２＝ｘ_１'^２＋ｙ_１'^２」である。次いで、正規化画像上の二次元座標（ｘ_１"，ｙ_１"）から画像座標上の二次元座標（ｕ_１，ｖ_１）へ変換される。この座標は「ｕ_１＝ｆｘ×ｘ_１"＋ｃｘ」，「ｖ_１＝ｆｙ×ｙ_１"＋ｃｙ」で算出される。

このような処理を、視点変更画像のすべての画素について実施すれば、撮像画像のどの画素（ｕ_１，ｖ_１）が視点変更画像のどの画素（ｕ_２，ｖ_２）に対応するかがわかるので、撮像画像から視点変更画像を作成することができる。なお、これらの処理を行うＣＰＵ６１が「画像加工手段」に相当する。

以上のようにして、ミシン１において算出されたパラメータを用いて、ワールド座標系の点の三次元座標をカメラ座標系の撮像画像平面上の点の二次元座標に変換したり、カメラ座標系の撮像画像平面上の点の二次元座標をワールド座標系の点の三次元座標に変換したり、イメージセンサ５０で撮像された画像を加工したりできる。

なお、上記実施の形態におけるイメージセンサ５０が「撮像手段」に該当する。ＥＥＰＲＯＭ６４の特徴点三次元座標記憶エリア６４１に記憶されている三次元座標が「基準座標」に該当し、特徴点三次元座標記憶エリア６４１が「基準座標記憶手段」に該当する。そして、ＲＡＭ６３の特徴点二次元座標記憶エリア６３２に記憶されている画像二次元座標が「特徴点座標」に該当する。図９に示すパラメータ補正処理のＳ２において特徴点の二次元座標を算出する処理を行うＣＰＵ６１が「特徴点座標算出手段」に相当する。図９に示すパラメータ補正処理のＳ２において、算出された交点のうち、特徴点に該当する点の座標を特徴点番号に対応させて特徴点二次元座標記憶エリア６３２に記憶する処理を行うＣＰＵ６１が「対応付け手段」に相当する。図９に示すパラメータ算出手段のＳ３でパラメータを算出する処理を行うＣＰＵ６１が「パラメータ算出手段」に相当する。

そして、図９に示すパラメータ補正処理のＳ１において、イメージセンサ５０により撮像された画像を取得する処理を行うＣＰＵ６１が「比較画像取得手段」に相当し、ここで取得された画像が「比較画像」に該当する。そして、Ｓ４において、比較内部パラメータ記憶エリア６３３に記憶されている内部パラメータと、内部パラメータ記憶エリア６４２に記憶されている内部パラメータとがそれぞれ一致するかを比較し、比較外部パラメータ記憶エリア６３４に記憶されている外部パラメータと、外部パラメータ記憶エリア６４３に記憶されている外部パラメータとがそれぞれ一致するかを比較する処理を行うＣＰＵ６１が「第一判断手段」に相当する。そして、内部パラメータ記憶エリア６４２に記憶されている内部パラメータ及び外部パラメータ記憶エリア６４３に記憶されている外部パラメータが「パラメータ情報」に該当し、比較内部パラメータ記憶エリア６３３に記憶されている内部パラメータ及び比較外部パラメータ記憶エリア６３４に記憶されている外部パラメータが「比較情報」に該当する。そして、Ｓ１〜Ｓ３において、比較画像のパラメータを算出する処理を行うＣＰＵ６１が「パラメータ再算出手段」に相当する。そして、Ｓ５において、パラメータを補正する処理を行うＣＰＵ６１が「第一パラメータ補正手段」に相当する。

なお、本発明のミシンは、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。上記実施の形態では、針板８０に特徴点１００〜１２７を設定してパラメータを算出したが、特徴点の位置及び数はこれに限らない。上記実施の形態では直線の交点のみを特徴点としたが、ハフ変換を用いて円の中心の座標を算出し、円の中心に特徴点を設定してもよい。円とは、例えば、穴８１〜８５である。また、直線の交点を用いる場合であっても、穴の形状は長方形に限らず、五角形や六角形の頂点としてもよい。また、特徴点は針板８０上に設定されていなくともよい。例えば、図１１に示すように刺繍装置３０を備えられるミシンであれば、刺繍枠３２上に特徴点を設定してもよい。

ここで、図１１乃至図１３を参照して、刺繍枠３２上に特徴点を設定した場合について説明する。図１１は、刺繍装置３０が取り付けられたミシン１の上側からの斜視図であり、図１２は、図１１に示した刺繍枠３２よりも小さいサイズの刺繍枠２５０の平面図である。図１３は、刺繍枠３２に載置されるテンプレート３５０の平面図であり、図１４は、図１３に示したテンプレート３５０の平面図に特徴点３００〜３１２を配置した模式図である。

まず、刺繍装置３０について説明する。図１１に示すように、ミシン１のミシンベッド２の補助テーブル８を取り外して、刺繍装置３０が装着される。このとき、刺繍装置３０はミシン１に電気的に接続された状態となる。この刺繍装置３０の上部には、前後方向に伸長するキャリッジカバー３３が設けられる。このキャリッジカバー３３の内部には、刺繍枠３２を着脱可能に装着するキャリッジ（図示せず）を前後方向に移動する前後移動機構（図示せず）が設けられている。前記キャリッジの右方には、刺繍枠３２を装着する装着部（図示せず）が設けられ、この装着部は、キャリッジカバー３３の右側面よりも右方に突出するように配設されている。この装着部に、刺繍枠３２の左側に設けられるガイド２５１（図１２参照）が装着される。また、キャリッジ、前後移動機構、及びキャリッジカバー３３は、刺繍装置３０の本体内に設けられる左右移動機構（図示せず）により、左右方向に移動するように駆動される。これにより、刺繍枠３２が、左右方向に移動するように駆動される。そして、前記前後移動機構と左右移動機構は、夫々、Ｙ軸モータ（図示せず）及びＸ軸モータ（図示せず）により駆動される。そして、ミシン１のＣＰＵ６１がＹ軸モータ及びＸ軸モータに駆動指令を出力することにより、刺繍枠３２を前後方向及び左右方向に移動させることができる。なお、刺繍枠３２は図１１に示すサイズだけでなく、図１２に示すように刺繍枠３２よりも小さい刺繍枠２５０など様々なサイズの刺繍枠が備えられている。

ここで、図１２を参照して、刺繍枠２５０について説明する。平面視略長方形のガイド２５１から平面視略楕円形の外枠２５５を支える支持棒２５２〜２５４が延設されている。ガイド２５１の下面の略中央には長手方向に沿って伸長する突出部（図示せず）が設けられている。この突出部が、刺繍装置３０のキャリッジに設けられた前後方向に伸長するように設けられた嵌合溝（図示せず）と嵌合されて、刺繍枠２５０はキャリッジに装着される。また、このとき、キャリッジに設けられた弾性付勢バネ（図示せず）により、突出部が嵌合溝に押圧する方向に付勢されるので、刺繍枠２５０はキャリッジとガタ無く確実に嵌合した状態となり、一体的に移動する。また、外枠２５５の内側には、外周形状が外枠２５５の内周形状と略同形状に形成された内枠２５６が嵌め込まれる。そして、外枠２５５と内枠２５６との間に加工布を挟み、外枠２５５に設けられた調整機構２５７の調整ネジ２５８を締めて加工布を刺繍枠に保持する。また、内枠２５６の内周の下端部の４ヵ所には補強リブ２５６１が設けられている。この補強リブ２５６１の高さは内枠２５６の高さの約４分の１である。そして、この補強リブ２５６１の上には、内枠２５６の内周形状よりも僅かに小さい形状に形成されたテンプレート３５０（図１３参照）が載置される。また、この補強リブ２５６１の略中央位置には、テンプレート３５０の位置決め用の切欠部３５１と係合する係合突起部２５６２が設けられている。この係合突起部２５６２と切欠部３５１が係合することにより、内枠２５６に対してテンプレート３５０が載置される位置が決まる。また、テンプレート３５０は透明樹脂のシート材であり、図１３に示すように、その表面には格子状の複数の基線３９２が印刷されている。そして、ユーザが、外枠２５５と内枠２５６との間に加工布を挟む際に、基線３９２の特定の個所と加工布上に予めチャコペン（図示せず）等で付けた印を合わせるようにして加工布を刺繍枠２５０に取り付ける。このようにして、加工布上の所望の位置に所望の刺繍模様が縫製できるように準備をすることができる。

ここで、刺繍枠を用いた特徴点についての一例を説明する。図１４に示すように、テンプレート３５０上に特徴点３００〜３１２を配置する。そして、刺繍枠３２を所定の位置へ移動させた際の特徴点３００〜３１２の三次元座標を、予めＥＥＰＲＯＭ６４の特徴点三次元座標記憶エリア６４１に記憶しておく。また、刺繍枠３２を所定の位置へ移動させるためのＸ軸モータ及びＹ軸モータへの指令（移動量）もＥＥＰＲＯＭ６４に記憶されている。そして、パラメータ算出プログラムでは、Ｓ１において画像を取得する際に、刺繍枠３２を所定の位置へ移動させて、イメージセンサ５０で画像を撮像する。その後の特徴点抽出（Ｓ２）やパラメータの算出（Ｓ３）は上記実施の形態と同様である。なお、テンプレート３５０上に特徴点を配置するのではなく、刺繍枠３２上に特徴点を配置してもよい。

次に、刺繍枠を用いた特徴点についての別の一例を説明する。刺繍枠２５０に１つの特徴点を配置する。図１２に示す例では、内枠２５６の上面に設けられている三角形の印の１つの頂点に特徴点２００を配置する。この三角形の印は、外枠２５５との位置合わせの目安とするための印である。この印の三角形の辺が直線として抽出されるので、三角形の頂点の座標を算出可能である。そして、刺繍枠３２を複数の所定の位置に移動させた際の特徴点２００の三次元座標を、予めＥＥＰＲＯＭ６４の特徴点三次元座標記憶エリア６４１に記憶しておく。この変形例の場合の特徴点三次元座標記憶エリア６４１には、図１５に示すように、刺繍枠３２を所定の位置へ移動させるためのＸ軸モータ及びＹ軸モータへの指令（移動量）も、三次元座標に対応させて記憶されている。つまり、特徴点２００は１つしか配置されないが、刺繍枠２５０を移動させることにより、特徴点２００の位置も移動される。よって、刺繍枠２５０の移動先が１０個あれば、特徴点２００の位置も１０種類存在するので、１０個の特徴点が配置されているのと同様になる。

そこで、パラメータ算出プログラムでは、刺繍枠３２を１つ目の所定の位置へ移動させて、イメージセンサ５０で画像を撮像し、特徴点２００が抽出される。そして、２つ目の所定の位置へ刺繍枠３２を移動させて、イメージセンサ５０で画像を撮像し、特徴点２００が抽出される。そして、このような画像の撮像，特徴点２００の抽出の処理を繰り返し、すべての所定の位置における特徴点２００の二次元座標が算出される。その後、すべての所定の位置における特徴点２００の二次元座標と特徴点三次元座標記憶エリア６４１に記憶されている三次元座標とに基づいて、パラメータが算出される。

このように、刺繍枠３２を移動させて特徴点を得る場合、刺繍枠上に設ける特徴は１つに限らない。例えば、最終的に３０個の特徴点を得る場合、３つの特徴点を配置し、１０箇所で画像を取得してもよい。

また、上記実施の形態では、内部パラメータ及び外部パラメータを算出しているが、内部パラメータは、ミシン１の出荷前にミシンメーカにおいて算出し、ＲＯＭ６２やＥＥＰＲＯＭ６４に記憶させておき、外部パラメータのみをミシン１で算出させるようにしてもよい。

また、上記実施の形態では、「比較情報」としてＳ３で算出された比較画像のパラメータを用い、「パラメータ情報」として現在使用中のパラメータを用いた。つまり、パラメータ同士を比較した。しかしながら、「比較情報」及び「パラメータ情報」はパラメータに限らない。例えば、特徴点の二次元座標や画像でもよい。つまり、「比較情報」として、Ｓ１で撮像した画像（比較画像）から抽出された特徴点の二次元座標を用い、「パラメータ情報」として現在使用中のパラメータを算出する際に用いた特徴点の二次元座標を用いてもよい。この場合、現在使用中のパラメータを算出した際に特徴点の二次元座標をＥＥＰＲＯＭ６４に記憶しておく。また、「比較情報」として比較画像を用い、「パラメータ情報」として現在使用中のパラメータを算出する際に用いた画像を用いて、画像を比較してもよい。この場合、現在使用中のパラメータを算出した際に用いた画像をＥＥＰＲＯＭ６４に記憶しておく。なお、画像を比較する際には、例えば、周知のブロックマッチングと呼ばれる手法を用いればよい。この手法では、２つの画像の違い（ずれ）をベクトルとして検出することができる。算出されたずれ（ベクトル）が長さを持っていれば、２つの画像が異なっている。そして、特徴点の二次元座標を用いる場合には、比較情報とパラメータ情報とが異なると判断された場合に、特徴点の二次元座標を用いて新たなパラメータが算出される。また、画像を用いる場合には、比較情報とパラメータ情報とが異なると判断された場合に、比較画像から特徴点を抽出し、新たなパラメータが算出される。

また、上記実施の形態では、イメージセンサ５０の位置ずれがあるか否かの判断を、ユーザが指示したタイミングや所定のタイミング（例えば、電源投入時、縫製終了時、針数の累積値に応じて）で行い、変更がある場合には（Ｓ４：ＹＥＳ）、その場でパラメータの補正を行っている。しかしながら、パラメータの補正まで行わずに、イメージセンサ５０の位置ずれがある場合にはその旨を報知するのみでもよい。この場合、図１０に示すフローチャートのＳ５において、パラメータの補正を行うのではなく、液晶ディスプレイ１０にメッセージを表示させたり、アラーム音やメッセージを出力させたりしてもよい。この報知処理を行うＣＰＵ６１が「第一報知手段」に相当する。また、報知を行った後に、ユーザにパラメータを補正するか否かの選択をさせてもよい。

また、縫製中に随時、イメージセンサ５０の位置ずれがあるか否かの判断を行い、ずれがある場合には報知を行うようにしてもよい。ここで、図１６を参照して、縫製中にイメージセンサ５０の位置ずれの判断を行う場合の処理について説明する。図１６は、縫製中にイメージセンサ５０の位置ずれの判断を行う場合の処理のフローチャートである。この処理は、縫製開始・停止スイッチ４１が押下され、縫製が開始された際に開始される。つまり、縫製中にＣＰＵ６１で実行されている。本変形例では、刺繍枠３１を移動させる毎に画像を取得する。ここでは、先に取得された画像を「第一画像」、後から取得された画像を「第二画像」というものとする。ＲＡＭ６３には、第一画像記憶エリア（図示外）及び第二画像記憶エリア（図示外）が設けられており、第一画像記憶エリアには第一画像が記憶され、第二画像記憶エリアには第二画像が記憶される。そして、第一画像と第二画像とを比較して、刺繍枠３１の移動量を算出する。そして、刺繍データからも刺繍枠３１の移動量を算出する。そして、画像から算出された移動量（以下、「画像の移動量」という）と、刺繍データから算出された移動量（以下、「刺繍データの移動量」という）とを比較し、異なっていれば、イメージセンサ５０の位置ずれが発生しているとして、液晶ディスプレイ１０にアラームを出力する。

まず、縫製開始・停止スイッチ４１が押下され、縫製終了の指示がされたか否かの判断が行われる（Ｓ１１）。縫製終了の指示がされていなければ（Ｓ１１：ＮＯ）、刺繍枠３１の移動が完了したか否かの判断が行われる（Ｓ１２）。移動が完了したら（Ｓ１２：ＹＥＳ）、イメージセンサ５０により画像が取得される（Ｓ１３）。そして、第二画像記憶エリアに画像が記憶されておらず（Ｓ１４：ＮＯ）、第一画像記憶エリアにも画像が記憶されていなければ（Ｓ１５：ＮＯ）、１枚目の画像であるので、Ｓ１３で撮像された画像が第一画像として第一画像記憶エリアに記憶される（Ｓ１６）。そして、Ｓ１１へ戻る。

そして、縫製終了指示がなされていなければ（Ｓ１１：ＮＯ）、刺繍枠３１の次の移動の完了が待機される（Ｓ１２：ＮＯ、Ｓ１１：ＮＯ）。そして、次の刺繍枠３１の次の移動が完了したら（Ｓ１２：ＹＥＳ）、イメージセンサ５０により画像が取得される（Ｓ１３）。ここでは、第二画像は記憶されてないが（Ｓ１４：ＮＯ）、第一画像がＳ１６で記憶されている（Ｓ１５：ＹＥＳ）。そこで、Ｓ１３で取得された画像が第二画像として第二画像記憶エリアに記憶される（Ｓ１７）。そして、Ｓ１１へ戻り、縫製終了指示がなされていなければ（Ｓ１１：ＮＯ）、刺繍枠３１の次の移動の完了が待機される（Ｓ１２：ＮＯ、Ｓ１１；ＮＯ）。そして、次の刺繍枠３１の次の移動が完了したら（Ｓ１２：ＹＥＳ）、イメージセンサ５０により画像が取得される（Ｓ１３）。

ここでは、第二画像はＳ１６で記憶されているので（Ｓ１４：ＹＥＳ）、第二画像記憶エリアに記憶されている画像が第一画像として第一画像記憶エリアに記憶され（Ｓ１８）、Ｓ１３で取得された画像が第二画像として第二画像記憶エリアに記憶される（Ｓ１９）。そして、第一画像と第二画像との移動量が算出される（Ｓ２０）。これには、例えば、周知のブロックマッチングと呼ばれる手法を用いればよい。この手法では、２つの画像の違いをベクトルとして検出することができる。ここでは、イメージセンサ５０のカメラ座標系が用いられており、算出されたベクトルはカメラ座標系の画像平面上の二次元画像である。そして、算出された移動量（ベクトル）がワールド座標系の三次元座標に変換される（Ｓ２１）。ここでは、移動方向を示す座標を（ｕ_ｍ，ｖ_ｍ）とし、そのワールド座標系に変換した三次元座標をＭ_ｗｍ（Ｘ_ｗｍ，Ｙ_ｗｍ，Ｚ_ｗｍ）とする。まず、内部パラメータであるＸ軸焦点距離ｆｘ，Ｙ軸焦点距離ｆｙ，Ｘ軸主点座標ｃｘ及びＹ軸主点座標ｃｙを加味して、カメラ座標系の撮像画像上の点の座標（ｕ_ｍ，ｖ_ｍ）から、カメラ座標系の正規化画像上の座標（ｘ"，ｙ"）に変換される。この座標は、「ｘ"＝（ｕ_ｍ−ｃｘ）／ｆｘ」，「ｙ"＝（ｖ_ｍ−ｃｙ）／ｆｙ」により算出される。次いで、内部パラメータである第一歪み係数ｋ_１及び第二歪み係数ｋ_２を用いて、座標（ｘ"，ｙ"）からレンズの歪みを取り除いた正規化画像上の座標（ｘ'，ｙ'）に変換される。この座標は、「ｘ'＝ｘ"−ｘ"×（１＋ｋ_１×ｒ^２＋ｋ_２×ｒ^４）」，「ｙ'＝ｙ"−ｙ"×（１＋ｋ_１×ｒ^２＋ｋ_２×ｒ^４）」で算出される。そして、カメラ座標系の正規化画像上の座標がカメラ座標系の点の三次元座標Ｍ_ｍ（Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍ）へ変換される。ここで、Ｘ_ｍ，Ｙ_ｍは、「Ｘ_ｍ＝ｘ'×Ｚ_ｍ」，「Ｙ_ｍ＝ｙ'×Ｚ_ｍ」の関係が成り立つ。また、カメラ座標系の三次元座標Ｍ_ｍ（Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍ）と、ワールド座標系の三次元座標Ｍ_ｗｍ（Ｘ_ｗｍ，Ｙ_ｗｍ，Ｚ_ｗｍ）との間には、「Ｍ_ｗｍ＝Ｒ_ｗｍ ^Ｔ（Ｍ_１−ｔ_ｗｍ）」の関係が成り立つ。なお、Ｒ_ｗｍ ^ＴはＲ_ｗｍの転置行列である。そこで、ワールド座標系のＸＹ平面はミシンベッド２の上面に設定されているので、Ｚ＝０とし、「Ｘ_ｍ＝ｘ'×Ｚ_ｍ」，「Ｙ_ｍ＝ｙ'×Ｚ_ｍ」，「Ｍ_ｗｍ＝Ｒ_ｗｍ ^Ｔ（Ｍ_ｍ−ｔ_ｗｍ）」を連立で解く。これにより、Ｚ_ｍが算出され、Ｘ_ｍ，Ｙ_ｍが算出され、Ｍ_ｗｍ（Ｘ_ｗｍ，Ｙ_ｗｍ，Ｚ_ｗｍ）が算出される。

次いで、メモリカード１８の刺繍データ記憶エリア１８１から、第一画像を撮像してから、第二画像を撮像する間に動かされた刺繍枠３１の移動量（刺繍データの移動量）が算出される（Ｓ２２）。前述したように、刺繍枠３１は、ワールド座標系の三次元座標で針落ち点の座標が記述されている。そこで、先の針落ち位置からみた次の針落ち位置の三次元座標が刺繍データの移動量とされる。そして、Ｓ２１で算出された画像の移動量とＳ２２で算出された刺繍データの移動量とが一致するか否かの判断が行われる（Ｓ２３）。移動量が一致していれば（Ｓ２３：ＹＥＳ）、イメージセンサ５０の位置ずれはないと判断され、Ｓ１１へ戻り、縫製終了の指示を受け付けるまで、Ｓ１２〜Ｓ２３の処理が繰り返し実施される。なお、移動量の比較は、全く同一でなく、差が画像（又は、刺繍枠３１）の移動量の所定割合（例えば５％）以内であれば一致すると判断させてもよい。一方、一致していないと判断された場合には（Ｓ２３：ＮＯ）、液晶ディスプレイ１０にアラームのメッセージが表示される（Ｓ２４）。メッセージは、例えば「イメージセンサがずれています。パラメータの再算出を行って下さい。パラメータの再算出を行う場合には、刺繍枠を外してイメージセンサで針板が撮影できるようにして下さい。」という、パラメータの再算出をユーザに促すものである。なお、ミシン１にスピーカが付いている場合には、アラーム音を出力したり、メッセージを音声で出力したりしてもよい。また、アラームランプを設けて、点灯させたり、点滅させたりしてもよい。そして、Ｓ１１へ戻り、縫製終了の指示を受け付けるまで（Ｓ１１：ＹＥＳ）、Ｓ１２〜Ｓ２４の処理が繰り返し実施される。

このようにして、縫製中に随時、イメージセンサ５０の位置ずれがあるか否かの判断を行うようにしてもよい。なお、上記変形例では、一針毎に画像の移動量と刺繍データの移動量とを比較したが、比較のタイミングは一針毎とでなくともよい。例えば、５針毎、１１０針毎であってもよいし、１秒毎等の所定時間毎であってもよい。ただし、第一画像に撮像された部分が第二画像にも撮像されている必要があるので、イメージセンサ５０の撮像領域、縫製速度、縫目の長さとから適切なタイミングを用いる必要がある

また、上記実施の形態では、画像の移動量をワールド座標系の三次元座標に変換したが、画像の移動量を刺繍データの移動量に合わせるのではなく、刺繍データの移動量をカメラ座標系の二次元座標に変換してもよい。この場合には、刺繍データの移動量を示す三次元座標をＭ_ｗｓ（Ｘ_ｗｓ，Ｙ_ｗｓ，Ｚ_ｗｓ）、カメラ座標系の撮像画像平面上に変換した二次元座標（ｕ_ｓ，ｖ_ｓ）とする。まず、ワールド座標系の点の座標Ｍ_ｗｓ（Ｘ_ｗｓ，Ｙ_ｗｓ，Ｚ_ｗｓ）がカメラ座標系の点の三次元座標Ｍ_１ｓ（Ｘ_１ｓ，Ｙ_１ｓ，Ｚ_１ｓ）に変換される。これは、「Ｍ_１ｓ＝Ｒ_ｗｓ×Ｍ_ｗｓ＋ｔ」により算出される。次いで、算出されたカメラ座標系の三次元座標がカメラ座標系の正規化画像上の座標（ｘ'，ｙ'）に変換される。この座標は、「ｘ'＝Ｘ_１ｓ／Ｚ_１ｓ」，「ｙ'＝Ｙ_１ｓ／Ｚ_１ｓ」により算出される。さらに、内部パラメータである第一歪み係数ｋ_１及び第二歪み係数ｋ_２を用いて、正規化カメラに対してイメージセンサ５０のレンズの歪みを加味した座標（ｘ"，ｙ"）が算出される。この座標は、「ｘ"＝ｘ'×（１＋ｋ_１×ｒ^２＋ｋ_２×ｒ^４）」，「ｙ"＝ｙ'×（１＋ｋ_１×ｒ^２＋ｋ_２×ｒ^４）」により算出される。なお、「ｒ^２＝ｘ'^２＋ｙ'^２」である。次いで、正規化画像上の点にレンズの歪みを加味した座標（ｘ"，ｙ"）に、内部パラメータであるＸ軸焦点距離ｆｘ，Ｙ軸焦点距離ｆｙ，Ｘ軸主点座標ｃｘ及びＹ軸主点座標ｃｙを加味して、カメラ座標系の撮像画像上の座標（ｕ_ｓ，ｖ_ｓ）に変換される。この座標は「ｕ_ｓ＝ｆｘ×ｘ"＋ｃｘ」，「ｖ_ｓ＝ｆｙ×ｙ"＋ｃｙ」で算出される。

なお、本変形例の刺繍データの移動量が「予定情報」に該当し、画像の移動量が「移動情報」に該当する。Ｓ２２において、刺繍データ記憶エリア１８１から刺繍データを読み出す処理を行うＣＰＵ６１が「刺繍データ取得手段」に該当し、刺繍データの移動量を算出する処理を行うＣＰＵ６１が「予定情報算出手段」に相当する。そして、Ｓ２０及びＳ２１で画像の移動量を算出して、ワールド座標系の三次元座標に変換する処理を行うＣＰＵ６１が「移動情報取得手段」に相当する。Ｓ２３で予定情報と移動情報とが一致するか否かの判断を行うＣＰＵ６１が「第二判断手段」に相当する。Ｓ２４でアラームのメッセージを液晶ディスプレイ１０に出力するＣＰＵ６１が「第二報知手段」に相当する。

また、図１６のフローチャートを参照して説明した変形例のように、イメージセンサ５０のずれを報知するだけでなく、所定のタイミングでパラメータを自動で補正するようにしてもよい。例えば、イメージセンサ５０のずれが発生していた場合には、刺繍縫製中の色換えのために糸駒（図示せず）を交換する際にパラメータを補正したり（図１８参照）、縫製中に下糸がなくなって、ボビンを交換する際にパラメータを補正したり（図１９参照）、縫製終了時にパラメータを補正したり、縫製開始時にパラメータを補正してもよい。

図１７は、パラメータチェック処理の変形例のフローチャートである。図１８は、糸色交換時にパラメータを補正する際に行われる糸交換処理のフローチャートであり、図１９は、ボビンを交換する際にパラメータを補正する際に行われるボビン交換処理のフローチャートである。なお、図１７に示すフローチャートにおいて、図１６に示すフローチャートと同じ処理を行うステップには図１６と同じステップ番号を付与している。つまり、図１６と異なるステップ番号が付与されているステップが、これらの変形例特有の部分である。図１７に示すフローチャートでは、Ｓ３１が図１６と異なるステップである。また、図１９に示すフローチャートにおいては、図１８に示すフローチャートと同じ処理を行うステップには図１８と同じステップ番号を付与している。図１９に示すフローチャートでは、Ｓ５１が図１７と異なるステップである。

図１７に示すように、パラメータを自動で補正する場合には、ずれフラグが用いられる。パラメータチェック処理において、移動情報と予定情報とが一致しない場合には（Ｓ２３：ＮＯ）、ずれフラグがＯＮとされる（Ｓ３２）。このずれフラグは、ＲＡＭ６３に記憶エリアが設けられており、例えば「１」が記憶されるとＯＮ，「０」が記憶されるとＯＦＦと示す。

ここで、図１８のフローチャートを参照して、刺繍データにおいて糸交換（糸駒交換）の指示が行われている場合について説明する。ミシン１では、図示外の縫製処理において、刺繍データに基づいて刺繍縫製が行われている。そこで、刺繍データに糸交換の指示があった場合に糸交換処理が呼び出されて実施される。図１８に示すように、まず、駆動回路７２に対してミシンモータ７９の回転を停止させる指示が行われ、縫製が停止される（Ｓ４１）。そこで、ずれフラグがＯＮであり、パラメータを補正する必要があるか否かの判断が行われる（Ｓ４２）。ずれフラグがＯＮでなければ（Ｓ４２：ＮＯ）、パラメータを補正する必要はないので、Ｓ４９へ進み、糸交換を指示するメッセージが液晶ディスプレイ１０に表示される（Ｓ４９）。そして、縫製開始の指示が待機される（Ｓ５０：ＮＯ、Ｓ５０）。縫製開始・停止スイッチ４１が押下され、縫製開始の指示がなされたら（Ｓ５０：ＹＥＳ）、糸交換処理は終了して、縫製処理へ戻る。

また、ずれフラグがＯＮであれば（Ｓ４２：ＹＥＳ）、パラメータを補正する必要がある。そこで、刺繍枠３１がパラメータを再算出するためにイメージセンサ５０で撮像するための所定の位置へ移動される（Ｓ４３）。そして、イメージセンサ５０により画像が撮像され、パラメータ算出に使用する画像が取得される（Ｓ４４）。次いで、撮像画像から特徴点が抽出され、その座標がＲＡＭ６３の特徴点二次元座標記憶エリア６３２に記憶される（Ｓ４５）。特徴点の二次元座標（図６参照）と、ＥＥＰＲＯＭ６４の特徴点三次元座標記憶エリア６４１に記憶されている特徴点の三次元座標（図７参照）との組み合わせに基づいて、周知のカメラキャリブレーションのパラメータの算出方法によりパラメータが算出される（Ｓ４６）。そして、Ｓ４６で算出されたパラメータがＥＥＰＲＯＭ６４の内部パラメータ記憶エリア６４２及び外部パラメータ記憶エリア６４３に記憶され、パラメータが補正される（Ｓ４７）。そして、ずれフラグがＯＦＦとされる（Ｓ４８）。そして、糸交換を指示するメッセージが液晶ディスプレイ１０に表示される（Ｓ４９）。そして、縫製開始の指示が待機される（Ｓ５０：ＮＯ、Ｓ５０）。縫製開始・停止スイッチ４１が押下され、縫製開始の指示がなされたら（Ｓ５０：ＹＥＳ）、糸交換処理は終了して、縫製処理へ戻る。

次に、図１９のフローチャートを参照して、ボビンを交換する必要が生じた場合について説明する。ミシン１において、図示外の縫製処理において、刺繍データに基づいて刺繍縫製が行われている中で下糸がなくなった場合に、ボビンを交換する必要が生じる。そこで、ボビン交換処理が呼び出されて実施される。ここでは、糸交換処理と同様に、ずれフラグがＯＮである場合に（Ｓ４２：ＹＥＳ）、パラメータの補正が行われる（Ｓ４３〜Ｓ４７）。そして、ずれフラグがＯＦＦとされる（Ｓ４８）。そして、ボビン交換を指示するメッセージが液晶ディスプレイ１０に表示される（Ｓ５１）。そして、縫製開始の指示が待機される（Ｓ５０：ＮＯ、Ｓ５０）。縫製開始・停止スイッチ４１が押下され、縫製開始の指示がなされたら（Ｓ５０：ＹＥＳ）、糸交換処理は終了して、縫製処理へ戻る。

また、縫製が開始される際や、縫製が終了した際に、ずれフラグがＯＮであるか否かを判断し、パラメータを補正してもよい。つまり、図１９に示したＳ４２〜Ｓ４７の処理を行えばよい。これらの場合、ずれフラグがＯＮである場合にパラメータを算出して、内部パラメータ記憶エリア６４２及び外部パラメータ記憶エリア６４３に記憶する処理（Ｓ４２〜Ｓ４８）を行うＣＰＵ６１が「第二パラメータ補正手段」に相当する。このようにして、ミシン１自身でイメージセンサ５０の位置ずれを検出して、パラメータを補正することができるので、イメージセンサ５０で撮像された画像から正確な位置情報（座標）を取得することができる。よって、画像から取得された位置情報を用いる処理（例えば、画像の加工、針落ち位置の座標取得、縫目長の計測）を正確に行うことができる。

ミシン１の上側からの斜視図である。 イメージセンサ５０を示す模式図である。 ミシン１の電気的構成を示す模式図である。 ＲＡＭ６３に設けられている記憶エリアの構成を示す模式図である。 ＲＡＭ６３に設けられている特徴点二次元座標記憶エリア６３２の構成を示す模式図である。 ＥＥＰＲＯＭ６４に設けられている記憶エリアの構成を示す模式図である。 ＥＥＰＲＯＭ６４に設けられている特徴点三次元座標記憶エリア６４１の模式図である。 針板８０の平面図である。 針板８０の平面図上に特徴点を記した模式図である。 パラメータ補正処理のフローチャートである。 刺繍装置３０が取り付けられたミシン１の上側からの斜視図である。 図１１に示した刺繍枠３２よりも小さいサイズの刺繍枠２５０の平面図である。 刺繍枠３２に載置されるテンプレート３５０の平面図である。 図１３に示したテンプレート３５０の平面図である。 変形例の特徴点三次元座標記憶エリア６４１の構成を示す模式図である。 縫製中にイメージセンサ５０の位置ずれの判断を行う場合の処理のフローチャートである。 パラメータチェック処理の変形例のフローチャートである。 糸色交換時にパラメータを補正する際に行われる糸交換処理のフローチャートである。 ボビンを交換する際にパラメータを補正する際に行われるボビン交換処理のフローチャートである。

符号の説明

１ ミシン
２ ミシンベッド
３０ 刺繍装置
３２ 刺繍枠
５０ イメージセンサ
６１ ＣＰＵ
６２ ＲＯＭ
６３ ＲＡＭ
６４ ＥＥＰＲＯＭ
８０ 針板
８１〜８５ 穴
８６ 目盛り
８７ 基線
９１〜９７ 歯穴
１００〜１２７ 特徴点
２００ 特徴点
２５０ 刺繍枠
２５５ 外枠
２５６ 内枠
３００〜３１２ 特徴点
３５０ テンプレート
３９２ 基線
６３１ 撮像画像記憶エリア
６３２ 特徴点二次元座標記憶エリア
６４１ 特徴点三次元座標記憶エリア
６４２ 内部パラメータ記憶エリア
６４３ 外部パラメータ記憶エリア
６４２１ Ｘ軸焦点距離記憶エリア
６４２２ Ｙ軸焦点距離記憶エリア
６４２３ Ｘ軸主点座標記憶エリア
６４２４ Ｙ軸主点座標記憶エリア
６４２５ 第一歪み計数記憶エリア
６４２６ 第二歪み係数記憶エリア
６４３１ Ｘ軸回転ベクトル記憶エリア
６４３２ Ｙ軸回転ベクトル記憶エリア
６４３３ Ｚ軸回転ベクトル記憶エリア
６４３４ Ｘ軸並進ベクトル記憶エリア
６４３５ Ｙ軸並進ベクトル記憶エリア
６４３６ Ｚ軸並進ベクトル記憶エリア
ｃｘ 主点座標
ｃｙ 主点座標
ｆｘ 焦点距離
ｆｙ 焦点距離
ｋ_１ 歪み係数
ｋ_２ 歪み係数
ｒ_１ 回転ベクトル
ｒ_２ 回転ベクトル
ｒ_３ 回転ベクトル
ｔ_１ 並進ベクトル
ｔ_２ 並進ベクトル
ｔ_３ 並進ベクトル

Claims (12)

1. ミシンベッド上を撮像可能な位置に配置された撮像手段と、
   前記撮像手段により撮像可能な範囲に設けられた複数の特徴点を前記撮像手段により撮像された画像から抽出し、抽出された前記特徴点の二次元座標を特徴点座標として算出する特徴点座標算出手段と、
   予め計測された前記特徴点の三次元座標である基準座標を記憶する基準座標記憶手段と、
   前記基準座標記憶手段に記憶されている前記基準座標と、前記特徴点座標抽出手段により算出された前記特徴点座標とを対応付ける対応付け手段と、
   前記対応付け手段による対応付けの結果に基づいて、前記撮像手段のパラメータを算出するパラメータ算出手段と、
   前記パラメータ算出手段により算出されたパラメータを記憶するパラメータ記憶手段と、
   前記撮像手段により撮像された画像を比較画像として取得する比較画像取得手段と、
   前記比較画像取得手段により取得された前記比較画像に基づく情報である比較情報と前記パラメータ記憶手段に記憶されているパラメータを算出する際に使用された画像である基本画像に基づく情報であるパラメータ情報とが等しいか否かを判断する第一判断手段と、
   前記第一判断手段により前記比較情報と前記パラメータ情報とが等しいと判断されなかった場合には、パラメータを再算出する必要がある旨を報知する第一報知手段とを備え、
   前記第一判断手段により等しいか否かを判断する前記比較情報と前記パラメータ情報は、前記比較画像と前記基本画像、前記比較画像から算出された前記特徴点の座標と前記基本画像から算出された前記特徴点の座標、又は、前記比較画像に基づいて算出されたパラメータと前記パラメータ記憶手段に記憶されているパラメータであることを特徴とするミシン。
2. ミシンベッド上を撮像可能な位置に配置された撮像手段と、
   前記撮像手段により撮像可能な範囲に設けられた複数の特徴点を前記撮像手段により撮像された画像から抽出し、抽出された前記特徴点の二次元座標を特徴点座標として算出する特徴点座標算出手段と、
   予め計測された前記特徴点の三次元座標である基準座標を記憶する基準座標記憶手段と、
   前記基準座標記憶手段に記憶されている前記基準座標と、前記特徴点座標抽出手段により算出された前記特徴点座標とを対応付ける対応付け手段と、
   前記対応付け手段による対応付けの結果に基づいて、前記撮像手段のパラメータを算出するパラメータ算出手段と、
   前記パラメータ算出手段により算出されたパラメータを記憶するパラメータ記憶手段と、
   前記撮像手段により撮像された画像を比較画像として取得する比較画像取得手段と、
   前記比較画像取得手段により取得された前記比較画像に基づく情報である比較情報と前記パラメータ記憶手段に記憶されているパラメータを算出する際に使用された画像である基本画像に基づく情報であるパラメータ情報とが等しいか否かを判断する第一判断手段と、
   前記比較画像に対して前記特徴点座標算出手段により前記特徴点座標を算出し、前記対応付け手段により算出された前記特徴点座標を前記基準座標に対応付け、前記パラメータ算出手段により対応付けの結果に基づいて前記パラメータを算出するパラメータ再算出手段と、
   前記第一判断手段により前記比較情報と前記パラメータ情報とが等しいと判断されなかった場合には、前記パラメータ再算出手段により算出されたパラメータを前記パラメータ記憶手段に記憶する第一パラメータ補正手段とを備え、
   前記一判断手段により等しいか否かを判断する前記比較情報と前記パラメータ情報は、前記比較画像と前記基本画像、前記比較画像から算出された前記特徴点の座標と前記基本画像から算出された前記特徴点の座標、又は、前記比較画像に基づいて算出されたパラメータと前記パラメータ記憶手段に記憶されているパラメータであることを特徴とするミシン。
3. 加工布を保持する刺繍枠を駆動する刺繍装置と、
   ミシンベッド上を撮像可能な位置に配置された撮像手段と、
   前記撮像手段により撮像可能な範囲に設けられた複数の特徴点を前記撮像手段により撮像された画像から抽出し、抽出された前記特徴点の二次元座標を特徴点座標として算出する特徴点座標算出手段と、
   予め計測された前記特徴点の三次元座標である基準座標を記憶する基準座標記憶手段と、
   前記基準座標記憶手段に記憶されている前記基準座標と、前記特徴点座標抽出手段により算出された前記特徴点座標とを対応付ける対応付け手段と、
   前記対応付け手段による対応付けの結果に基づいて、前記撮像手段のパラメータを算出するパラメータ算出手段と、
   前記パラメータ算出手段により算出されたパラメータを記憶するパラメータ記憶手段と、
   刺繍縫製を行うために少なくとも縫目の座標を示した刺繍データを取得する刺繍データ取得手段と、
   前記刺繍データ取得手段により取得された刺繍データに基づいて前記刺繍枠が駆動される際の所定の移動に関する予定情報を算出する予定情報算出手段と、
   前記刺繍データ取得手段により取得された刺繍データに基づいて前記刺繍枠が駆動された際に、前記予定情報算出手段により前記予定情報が算出された前記所定の移動の前後に前記撮像手段により前記ミシンベッド上に配置された前記刺繍枠を撮像し、撮像された画像に基づいて、前記刺繍枠、前記加工布又は前記加工布に縫い付けられた縫目の移動に関する情報である移動情報を取得する移動情報取得手段と、
   前記移動情報取得手段により取得された前記移動情報と前記予定情報記憶手段に記憶されている前記予定情報とが等しいか否かを判断する第二判断手段と、
   前記第二判断手段により前記移動情報と前記予定情報とが等しいと判断されなかった場合には、パラメータを再算出する必要がある旨を報知する第二報知手段とを備えたことを特徴とするミシン。
4. 加工布を保持する刺繍枠を駆動する刺繍装置と、
   ミシンベッド上を撮像可能な位置に配置された撮像手段と、
   前記撮像手段により撮像可能な範囲に設けられた複数の特徴点を前記撮像手段により撮像された画像から抽出し、抽出された前記特徴点の二次元座標を特徴点座標として算出する特徴点座標算出手段と、
   予め計測された前記特徴点の三次元座標である基準座標を記憶する基準座標記憶手段と、
   前記基準座標記憶手段に記憶されている前記基準座標と、前記特徴点座標抽出手段により算出された前記特徴点座標とを対応付ける対応付け手段と、
   前記対応付け手段による対応付けの結果に基づいて、前記撮像手段のパラメータを算出するパラメータ算出手段と、
   前記パラメータ算出手段により算出されたパラメータを記憶するパラメータ記憶手段と、
   刺繍縫製を行うために少なくとも縫目の座標を示した刺繍データを取得する刺繍データ取得手段と、
   前記刺繍データ取得手段により取得された刺繍データに基づいて前記刺繍枠が駆動される際の所定の移動に関する予定情報を算出する予定情報算出手段と、
   前記刺繍データ取得手段により取得された刺繍データに基づいて前記刺繍枠が駆動された際に、前記予定情報算出手段により前記予定情報が算出された前記所定の移動の前後に前記撮像手段により前記ミシンベッド上に配置された前記刺繍枠を撮像し、撮像された画像に基づいて、前記刺繍枠、前記加工布又は前記加工布に縫い付けられた縫目の移動に関する情報である移動情報を取得する移動情報取得手段と、
   前記移動情報取得手段により取得された前記移動情報と前記予定情報記憶手段に記憶されている前記予定情報とが等しいか否かを判断する第二判断手段と、
   前記第二判断手段により前記移動情報と前記予定情報とが等しいと判断されなかった場合には、前記撮像手段により画像を撮像し、前記特徴点座標算出手段により前記特徴点座標を算出して、前記対応付け手段により前記特徴点座標と前記基準座標とを対応付け、前記パラメータ算出手段によりパラメータを算出し、前記パラメータ算出手段により算出されたパラメータを前記パラメータ記憶手段に記憶する第二パラメータ補正手段とを備えたことを特徴とするミシン。
5. 前記特徴点は、前記ミシンベッド上に設置される針板に設けられている四角形の穴の頂点、又は、円形の穴の中心点であることを特徴とする請求項１乃至４のいずれかに記載のミシン。
6. 前記特徴点は、前記針板の表面に設けられている刻印上の点であることを特徴とする請求項１乃至５のいずれかに記載のミシン。
7. 加工布を保持する刺繍枠を前記ミシンベッド上に配置して駆動する刺繍装置を備え、
   前記特徴点は、前記刺繍枠上に設けられている刻印上の点、又は、前記刺繍枠に載置されるテンプレート上に設けられている刻印上の点であることを特徴とする請求項１乃至６のいずれかに記載のミシン。
8. 加工布を保持する刺繍枠を前記ミシンベッド上に配置して駆動する刺繍装置を備え、
   前記刺繍枠上又は前記刺繍枠に載置されるテンプレート上に少なくとも１つの点が設けられており、
   前記基準座標記憶手段は、
   前記刺繍装置により前記刺繍枠を駆動して前記ミシンベッド上の所定位置に配置した状態での前記点を前記特徴点とし、複数の所定位置におけるそれぞれの前記特徴点の基準座標を記憶しており、
   前記特徴点座標算出手段は、
   前記刺繍装置により前記刺繍枠を駆動して複数の所定の位置に移動させ、前記撮像手段により前記ミシンベッド上を撮像し、前記特徴点を抽出して、当該特徴点の二次元座標を算出することを特徴とする請求項１乃至７のいずれかに記載のミシン。
9. 前記パラメータ記憶手段に記憶されているパラメータを用いて、前記撮像手段により撮像された画像を加工する画像加工手段を備えたことを特徴とする請求項１乃至８のいずれかに記載のミシン。
10. 前記パラメータ記憶手段に記憶されているパラメータを用いて、前記撮像手段により撮像された画像上の点の三次元座標を算出する三次元座標算出手段を備えたことを特徴とする請求項１乃至９のいずれかに記載のミシン。
11. 前記パラメータ記憶手段に記憶されているパラメータを用いて、三次元座標で示された所定の点の座標を二次元座標系に投影した点の座標を算出する二次元座標算出手段を備えたことを特徴とする請求項１乃至１０のいずれかに記載のミシン。
12. 前記撮像手段はＣＭＯＳイメージセンサであることを特徴とする請求項１乃至１１のいずれかに記載のミシン。

Images