JP3919825B2 - 動物の部位の位置を認識して決定するための装置と方法 - Google Patents
動物の部位の位置を認識して決定するための装置と方法 Download PDFInfo
- Publication number
- JP3919825B2 JP3919825B2 JP54265398A JP54265398A JP3919825B2 JP 3919825 B2 JP3919825 B2 JP 3919825B2 JP 54265398 A JP54265398 A JP 54265398A JP 54265398 A JP54265398 A JP 54265398A JP 3919825 B2 JP3919825 B2 JP 3919825B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- lines
- light
- image signal
- light emitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 83
- 241001465754 Metazoa Species 0.000 title claims description 57
- 210000002445 nipple Anatomy 0.000 claims description 116
- 238000000926 separation method Methods 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 239000008267 milk Substances 0.000 claims description 6
- 235000013336 milk Nutrition 0.000 claims description 6
- 210000004080 milk Anatomy 0.000 claims description 6
- 210000001217 buttock Anatomy 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 3
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 18
- 241000283690 Bos taurus Species 0.000 description 8
- 210000000481 breast Anatomy 0.000 description 7
- 101100441413 Caenorhabditis elegans cup-15 gene Proteins 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000010304 firing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000007921 spray Substances 0.000 description 2
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 1
- 206010052428 Wound Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000013365 dairy product Nutrition 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 229910052740 iodine Inorganic materials 0.000 description 1
- 239000011630 iodine Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01J—MANUFACTURE OF DAIRY PRODUCTS
- A01J5/00—Milking machines or devices
- A01J5/017—Automatic attaching or detaching of clusters
- A01J5/0175—Attaching of clusters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
- G01S7/4813—Housing arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
- G01S17/875—Combinations of systems using electromagnetic waves other than radio waves for determining attitude
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Husbandry (AREA)
- Environmental Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、動物の部位の位置を認識して決定するための装置に関する。本発明はまた、動物の部位の位置を認識して決定するための方法に関する。
関連技術の説明
約20から30年間に渡り、搾乳器に接続された乳頭カップと、乳頭クリーニング装置と、乳頭検査装置とを含む構成の搾乳装置を、牛等の乳汁を分泌する動物の乳頭に自動的に装着することが可能であって、動物の搾乳手順を通じて作業者による介在の必要性をなくするような技術に関して多くの提案がなされてきた。
その他の搾乳手順に関してはかなり長い間自動技術が利用可能となっていることから、人による常時介在が不要であって、いわゆる「オンデマンド式搾乳」体制を可能にする乳頭カップの装着段階の自動化が搾乳手順の完全自動化の開発における主たる障害となっている。
動物側の安全性及び快適さ、乳汁の衛生状態及び経済効果といった多くの理由から、装着段階は極めて高信頼性でなければならない。即ち、動物が搾乳のために存在するあらゆる状況において、乳頭カップは乳頭に迅速かつ正確に装着されなければならない。また、装着段階を実行する器具は、困難な状況においても作動しなければならず、頑丈であることが要求され、同時にあまり高価でないものでなければならない。
欧州特許公開第306579号公報は、全体センサと局部センサとの組み合わせによって乳頭カップを乳頭に案内することを開示している。全体センサは畜舎に沿って取り付けられ、レーザからの光のシートを畜舎内の搾乳用の動物の乳房及び乳頭が存在していると思われる区域に向けて投射する。光のシートは乳房及び乳頭が存在すればその上に投じ、乳房及び乳頭上に光の線を生成する。光のシートは、その区域を通って任意の位置にまで至ることが可能である。センサにはその一部としてカメラが取り付けられており、光線による画像を形成する。画像は、光シートに照射された乳頭の不連続線を含んでいる。こうした線は制御装置において解析され、(1つ又は複数の)乳頭の位置が発見されて、三角法により縦軸及び横軸の座標が算出される。制御装置に記憶されている座標の基準値は、探索及び計算時間を制限して解析を支援する。算出された座標は、局部センサを乳頭の区域へ持っていくために使用される。基準座標の認識を使用すれば、画像解析を画像において乳頭の発見が予測される部分に限定することが可能であるため、計算時間が短縮される。
欧州特許公開第647393号公報は、牛等の動物を搾乳するための器具を開示している。本器具は、乳頭カップを運搬可能なロボットアームと、レーザ送信機要素と受信機要素とを含んでいる。受信機要素はダイオード検出器を含み、ダイオード検出器は、3つのパラメータ、即ちセンサ手段から対象物までの距離d、各々対象物に沿って移動するレーザビームの初期角度と最終角度を示す角度α1及びα2によって決定される信号を供給する。この器具は、従来型の動物認識データソースを使用して搾乳場に到達した動物を識別する。動物が認識されれば、各動物に関してその動物の固定点に対する乳房の乳頭の位置が分かるため、本器具にとって動物の認識は重要である。
第1の開示(欧州特許公開第306579号公報)は、2つのセンサが必要である、またそのうちの1つは畜舎に沿った露呈された位置に取り付けられなければならない、という欠点を有している。
上述の開示は全て、動物に関するいわゆる経歴データ、即ち前回の搾乳時には乳頭が乳房のどこに位置していたかに関するデータを使用しなければならない。これらはまた、動物が入る畜舎を使用しなければならない。
発明の要約
本発明の目的は、自動搾乳手順のための改善された乳頭配置技術を提供することにある。
本発明によれば、動物の少なくとも1つの部位の位置を認識して決定するための装置が提供される。本装置は構造化された光のソースを含み、前記光によって同時に或いは別々に照射される対象が少なくとも2つの照射領域に分割され、照射される2つの領域が各々非照射領域によって分離されるような方法で前記少なくとも1つの部位を含むことが予測される区域を照射する。本装置はまた、前記光によって形成される少なくとも1つの画像を捕捉して画像信号を供給するように配置された画像捕捉手段と、前記捕捉された画像信号に応答する画像信号処理手段と、照射された対象の画像を異なる対象を定義した参照基準と比較して照射された対象が前記部位であるかどうかを決定し、前記照射された対象が動物の前記部位であることが確定されればその位置を確定する制御手段とを備えている。本装置はさらに、動物関連装置と、前記動物関連装置を決定された前記部位の位置へと案内する手段とを備えている。本発明による装置の主たる利点は、それが動物に関するいわゆる経歴データの使用を必要としないことにある。動物は特別の畜舎に入る必要がなく、勝手に歩き回ることができる。他の利点としては、動物の異なる部位の識別が容易であることがある。
構造化された光のソースは発光装置であり、前記少なくとも2つの照射された領域の各々は線又は点の形式であり、線又は点の数は制御手段が照射された対象を識別できるようなものとするのが有利である。これにより、照射された対象の容易な識別が達成される。
本発明の装置の他の実施形態によれば、構造化された光のソースは少なくとも2つの発光装置であって、各発光装置は発光ビームを発生させ、2つの連続する発光ビームはそれぞれ角度αによって分離され、また前記少なくとも2つの照射された領域の各々は線又は点の形式であり、線又は点の数は制御手段が照射された対象を識別できるようなものである。
本発明の装置のさらに他の実施形態によれば、構造化された光のソースは少なくとも2つの発光装置であって、各発光装置は発光面を発生させ、垂直面における2つの連続する発光面はそれぞれ角度αによって分離され、また前記少なくとも2つの照射された領域の各々は線の形式であり、線の数は制御手段が照射された対象を識別できるようなものである。
好適には、垂直面において、最下位の発光ビーム又は発光面は支持された乳頭カップの口部の中心より僅かに距離dだけ上を通るように配置される。
発光ビーム又は発光面の数は2つであり、前記角度αは好適には8°であり、また前記距離dは好適には8.5mmであるのが有利である。
本装置はまた発光ビームの走査動作のために供給された支持手段を備えていれば好適である。
本発明の装置の第1の実施形態によれば、発光ビームは、前記支持手段によって実質的な水平面において走査動作を実行する。
本発明の装置の第2の実施形態によれば、発光ビームは、前記支持手段によって実質的な垂直面において走査動作を実行する。
本発明の装置の第3の実施形態によれば、発光ビームは、前記支持手段によって実質的な傾斜面において走査動作を実行する。
本発明の装置の第4の実施形態によれば、支持手段は主としてジグザグ式に動作する。
1つ又は複数の走査面又は発光面は、連続する2つの走査面又は発光面間の距離が発光ビームの幅よりも大きくなるような方法で順次移動する。これにより、線の供給が達成される。
好適には、対象の照射時に異なる走査面又は発光面から取得される画像信号は、完成画像内に平行線を発生させる。
対象の照射時に異なる走査面又は発光面から取得される画像信号は、完成画像内に発散する線を発生させるのが有利である。
本発明の第3の実施形態によれば、上記装置はまた、発光装置の前に配置されたスリット又はラスターを有するスクリーンを備えている。このため、可動部品なしに、即ち走査動作なしに線が供給される。
好適には、対象の照射時にスリットを有するスクリーン又はラスターから取得される画像信号は、画像に複数の線又は発散する線もしくは複数の傾斜線を発生させる。
本発明の装置の他の実施形態では、効果的には、本装置はまた、予め決められたパターンで配置された複数の貫通穴を有する、発光装置の前に配置されたスクリーンを備えている。これにより、点の供給が達成される。
好適には、対象の照射時に予め決められたパターンで配置された貫通穴を有するスクリーンから取得される画像信号は、画像内に配置される複数の点を発生させる。
好適には、画像処理手段は異なる画像信号を処理して関係のある線又は点と関係のない線又は点とを区別し、これにより関係のある線は2cm〜7cmの長さを有する線として限定され、関係のある点は2cm〜7cmの長さを有する虚線上に配置された点として限定されて照射された対象の完成画像が供給され、完成画像は制御手段によって完成画像と異なる対象を定義する参照基準との比較に使用される。本装置はまた、画像信号を濾波して関係のない線又は点を除去するためのフィルタ手段を備えている。これにより、動物の部位の位置の認識及び決定におけるより高い品質が達成される。
制御手段は、前記線又は点を各線又は点の平面における位置、及び前記平面における各線又は点の前記平面における長さに依存して異なるグループに纏めるのが有利である。
好適には、制御手段は各グループの位置を計算するが、この位置は前記グループ内の各線又は点の位置の平均値であり、各グループは1つの対象を表している。これにより、動物が移動している場合であっても、動物の探索されている部位の位置の認識及び決定がより高い品質で達成される。
好適には、支持手段は前記グループの位置動作に対応して動かされる。
動物関連装置は乳頭搾乳カップ、乳頭クリーニング装置及び乳頭検査装置のうちの1つであり、部位は乳汁を分泌する動物の乳頭であるのが有利である。
部位はまた、乳汁を分泌する動物の臀部である場合もある。
構造化された光のソースは支持された乳頭カップの口部より上を通るように配置されており、画像捕捉手段は構造化された光を通じてカップの口部を見渡すように配置されたビデオカメラである。
好適には、ビデオカメラはCCD(電荷結合素子)タイプのカメラである。
画像処理手段は、捕捉された画像信号から乳頭画像信号である可能性のあるものを含む部分を選択し、選択された部分のみを処理する手段を含むのが有利であり、これにより乳頭画像信号の連続処理間の時間が短縮される。
好適には、画像信号処理手段は、選択された乳頭の乳頭カップ入口点の位置を前記捕捉された画像信号に供給する。
画像信号処理手段は、乳頭画像である可能性のある信号及び乳頭カップ入口点信号を含む選択された部分によって表される空間離隔距離を定量化し、前記ガイド手段に適正な制御情報を提供する手段を含んでいれば有利である。
好適には、前記空間離隔距離が大きいほど、制御情報はガイド手段をより高速で動作させる。これにより、本発明の装置によるより高速の作動が達成される。
支持手段は、ロボットアームと、ロボットアーム上に配置された少なくとも1つの発光装置とを備えているのが有利である。
他の実施形態によれば、支持手段は、ロボットアームと、ロボットアーム上に配置された少なくとも1つの発光装置と、(1つ又は複数の)発光ビームに走査動作を行わせるピボット手段とを備えている。
好適には、線の数は2つである。
発光装置はレーザ発射装置であるのが有利である。
他の実施形態によれば、発光装置は赤外線発射装置である。
さらなる実施形態によれば、発光装置は電球であり、本発明装置はまた電球からの光を分散させる1つ又は複数のレンズを備えている。
さらに他の実施形態によれば、各発光装置はレーザ発射装置であり、本発明装置はまたレーザ発射ビームを各レーザ発射装置からレーザ発射面へと分散させる1つ又は複数のレンズを備えており、最下位のレーザ発射面を使用して前記部位の先端の位置が決定される。
本発明の他の目的は、動物の少なくとも1つの部位の位置を認識して決定するための方法を提供することにある。本方法は、以下のような段階を含んでいる。即ち、
− 前記光によって同時に或いは別々に照射される対象が少なくとも2つの照射領域に分割され、2つの照射領域が各々非照射領域によって分離されるような方法で、前記少なくとも1つの部位を含むことが予測される区域を構造化された光によって照射する段階と、
− 前記光によって形成される少なくとも1つの画像を捕捉して画像信号を供給する段階と、
− 前記画像信号を処理し、照射された対象の画像を異なる対象を定義した参照基準と比較することによって照射された対象が前記部位であるかどうかを決定し、前記照射された対象が動物の前記部位であることが確定されればその位置を確定する段階と、
− 動物関連装置を前記部位の決定された位置へと案内するための情報を提供する段階とを含んでいる。本発明による方法の主たる優位点は、それが動物に関するいわゆる経歴データの使用を必要としないことにある。動物は特別の畜舎に入る必要がなく、勝手に歩き回ることができる。他の優位点としては、動物の異なる部位の識別が容易であることがある。
上記方法は、
− 前記対象を発光ビームによって照射する段階を含み、前記少なくとも2つの照射領域はそれぞれ線又は点の形式であり、また、
− 線又は点の数は、それが照射される対象の識別を可能にするようなものであればさらに有利である。これにより、照射された対象の容易な識別が達成される。
本発明の他の実施形態によれば、上記方法は、
− 前記対象を少なくとも2つの発光ビームによって照射する段階を含み、垂直面における2つの連続する発光ビームはそれぞれ角度αによって分離され、前記少なくとも2つの照射された領域の各々は線又は点の形式であり、また、
− 線又は点の数は照射された対象の識別を可能にするようなものである。
本発明のさらに他の実施形態によれば、上記方法は、
− 前記対象を少なくとも2つの発光面によって照射する段階を含み、垂直面における2つの連続する発光面はそれぞれ角度αによって分離され、前記少なくとも2つの照射された領域の各々は線の形式であり、また、
− 線の数は照射された対象の識別を可能にするようなものである。
好適には、
上記方法はまた、
− 垂直面において、支持された乳頭カップの口部の中心より僅かに距離dだけ上を最下位として発光ビーム又は発光面を通す段階を含んでいる。
発光ビーム又は発光面の数は2つであるのが有利である。
好適には、上記方法はまた、
− 発光ビームを主としてジグザク式の動作を行うように動かす段階を含んでいる。
上記方法はまた、
− 実質的な水平面において走査動作を行うように発光ビームを旋回させる段階と、
− 走査中、走査面を部位より下の位置から部位の位置として決定可能な位置へと上向きに移動させる段階とを含んでいると有利である。
本発明の他の実施形態によれば、上記方法は、
− 実質的な垂直面において走査動作を行うように発光ビームを旋回させる段階を含んでいる。上記方法はまた、
− 1つ又は複数の走査面又は発光面を、連続する走査面又は発光面間の距離が発光ビームの幅より大きくなるように順次移動させる段階を含んでいる。これにより、線の供給が達成される。
好適には、上記方法は、
− 対象の照射時に異なる走査面又は発光面から完成画像内に平行線又は発散する線を発生させる画像信号を取得する段階を含んでいる。
本発明の有利な第2の実施形態では、上記方法はまた、
− 発光ビームの前にスリットを有するスクリーン又はラスターを配置する段階と、
− 対象の照射時に画像内に複数の線又は発散する線もしくは複数の傾斜線を発生させる画像信号を取得する段階とを含んでいる。これにより、線を供給する他の方法が達成される。
好適には、上記方法は、
− 予め決められたパターンで配置された複数の貫通穴を有するスクリーンを発光ビームの前に配置する段階と、
− 対象の照射時に画像内に配置される複数の点を発生させる画像信号を取得する段階とを含んでいる。これにより、点の供給が達成される。
好適には、上記方法はまた、
− 異なる画像信号を処理して関係のある線又は点と関係のない線又は点とを区別し、これにより関係のある線は2cm〜7cmの長さを有する線として限定され、関係のある点は2cm〜7cmの長さを有する虚線上に配置された点として限定されて照射された対象の完成画像が供給される段階と、また、
− 画像信号を濾波して関係のない線又は点を除去し、完成画像は異なる対象を定義する参照基準と完成画像との比較に使用される段階とを含んでいる。これにより、動物の部位の位置の認識及び決定におけるより高い品質が達成される。上記方法はまた、
− 前記線又は点を、各線又は点の平面における位置、及び前記平面における各線又は点の前記平面における長さに依存して異なるグループに纏める段階を含んでいるの有利である。
好適には、上記方法はまた、
− 各グループの位置を計算する段階を含み、この位置は前記グループ内の各線又は点の位置の平均値であり、各グループは1つの対象を表している。これにより、動物が移動している場合であっても、動物の探索されている部位の位置の認識及び決定がより高い品質で達成される。
好適には、上記方法はまた、
− 1グループの前記位置の動きに依存して発光ビーム又は発光面を移動させる段階を含んでいる。
本方法はまた、
− 捕捉された画像信号から部位である可能性のある画像信号を含む部分を選択する段階と、
− 選択された部分のみを処理する段階と、
− 選択された乳頭の乳頭カップ入口点の位置を前記捕捉された画像信号に供給する段階とを含み、前記部位は乳頭であり、
− 乳頭である可能性のある画像信号及び乳頭カップ入口点信号を含む選択された部位によって表される空間離隔距離を定量化する段階と、
− 前記離隔距離の量を基礎として前記ガイド情報を供給する段階と、
− 離隔距離が大きいほど、より高速で動作させるためのガイド情報を供給する段階とを含んでいるのが有利である。これにより、本発明の方法によるより高速の作動が達成される。
好適には、上記方法は、
− ビデオカメラで区域を見ることによって画像を捕捉する段階を含んでいる。有利には、上記方法はまた、
− ビデオカメラを観察軸に沿って下から構造化された光へと方向付ける段階を含んでいる。
好適には、線の数は2つである。
有利には、上記方法は、
− 前記対象をレーザ発射ビームで照射する段階を含んでいる。
他の実施形態によれば、上記方法は、
− 前記対象を赤外線ビームで照射する段階を含んでいる。
さらなる実施形態によれば、本発明は、
− 前記対象を電球で照射する段階を含み、電球からの光は1つ又は複数のレンズによって回折される。
他の実施形態によれば、上記方法は、
− 前記対象を少なくとも2つのレーザ発射ビームで照射する段階を含み、各レーザ発射ビームは1つ又は複数のレンズによってレーザ発射面へと回折され、また、
− 垂直面における最下位のレーザ発射面を使用して前記部位の先端の位置を決定する段階を含んでいる。
本発明の基本は、対象を一瞬或いはしばらくの間照射して対象上に数本の水平のレーザ線等をつけるように、レーザビーム等を使って異なる対象を「仮想塗装」することにある。この技術を使用すれば、異なる対象の輪郭を容易に識別することができる。こうして識別された対象の輪郭と乳頭等を定義する参照基準とを使用して、照射された対象が乳頭であるかどうかが決定される。次いで、確定された乳頭の位置が決定される。
次に、添付の図面を参照しながら本発明について説明する。
【図面の簡単な説明】
図1は、乳頭識別画像を形成する装置の略図である。
図2は、走査動作を実行する第1の方法の略図である。
図3は、走査動作を実行する第2の方法の略図である。
図4は、画像処理ハードウェアのブロック図である。
図5a、b、cは、本発明の装置に接続して使用される異なる動物関連装置を示している。
図6aは、カメラによって捉えられた画像の第1の例である。
図6bは、カメラによって捉えられた画像の一例であり、線の数は2つである。
図7は、カメラによって捉えられた画像の第2の例である。
図8aは、カメラによって捉えられた画像の第3の例である。
図8bは、カメラによって捉えられた画像の一例であり、線の数は2つである。
図9は、本発明の方法のフローチャートである。
図10は、キャリアを有するロボットアームの動作の線図である。
図11は、照射される対象とカメラによって捉えられる画像との関係を示す線図である。
図12は、牛の識別された乳頭の位置を示す図である。
図13は、乳頭識別画像を形成する装置の第2の実施形態の一部を示す斜視図である。
図14は、図13に開示された装置の側面図である。
図15は、照射される対象と乳頭カップの口部との関係を示す線図である。
図16は、対象が傾斜している場合の照射される対象と乳頭カップの口部との関係を示す線図である。
図17は、図13及び14に開示された装置を使用している場合の照射される対象と乳頭カップの口部との関係を示す線図である。
実施形態の詳細な説明
図1は、乳頭識別画像を形成する装置の略図である。本装置は、開光角度が約60°〜80°で照度が均一な光のシート12を供給する、本例ではレンズ11の付いたイギリスのベクトルテクノロジー社製の5ミリワット装置等の小型レーザ10である構造化された光12のソース10を備えている。この種のレーザは極めて薄い接続ケーブルを有する直径約12ミリメートル、長さ75ミリメートルの管であるため、ロボットアーム13の外端に取り付けられたとしても乳頭カップキャリアのロボットアーム13にとってさほど苛酷な追加負荷とはならない。レーザ10は、ロボットアーム13のキャリア16内にある場合の乳頭カップ15の口部14より少し上に光のシート12を当てるように配置されている。ロボットアーム13のキャリア16はまた、図5a、b及びcのような他の異なる動物関連装置を載せることができる。
動物関連装置キャリア16上には、小型のソリッドステートカメラ17等の画像捕捉手段17もまた取り付けられている。このカメラ17は、レンズ18の付いた1/2インチ(12mm)の電荷結合素子カメラ(CCDカメラ)であり、垂直面において100°の画角を供給する。カメラ17は、画角の一方の最端が例えば乳頭カップ15の口部14の上又はその下、従って光のシート12よりも下となり、もう一方の最端が光のシート12の面の垂線よりも後側にくるように、光のシート12に対して一定角度を成して配置されている。カメラの画角のこうした配置は、カメラ17から異なる距離にある対象間の識別を促進する。
本装置はまた支持手段を備えており、(レーザ発射ビームの形式である)光のシート12はこの支持手段によって実質的な水平面において走査動作を実行する。本発明の装置の他の実施形態によれば、本装置はまた支持手段を備えており、(レーザ発射ビームの形式である)光のシート12はこの支持手段によって実質的な垂直面において走査動作を実行する。図2及び3は、走査動作の異なる実行方法を示している。図2には、構造化された光12は1つ又は複数の線の形式であり、走査動作はロボットアーム13の昇降によって、つまり結果的にはレーザ発射装置等である構造化された光12のソース10の昇降によって実行されるような状況が開示されている。図3には、構造化された光12が点形状のビームの形式であるような状況が開示されている。走査動作は、2つの段階によって実行される。まず第1に、レーザ発射装置10が軸Aの回りを回転され、レーザ発射装置10の回転が十分に高速で実行されれば直線が発生する。第2に、ロボットアーム13、延てはレーザ発射装置10を昇降させてこの直線に走査動作を実行させる。
図1にはまた、レーザ発射装置10の前に配置されたスクリーン6又はラスター6が点線によって示されている。スクリーン6には、スリット又は複数の貫通穴を供給することができる(図6及び7参照)。
レーザ10を生かすための接続は20で示され、カメラ17の信号接続及び加圧接続は21で、また乳頭カップ15用の真空ラインは22で示されている。ロボットアーム13は、英国特許第2,226,941号又は英国特許第2,258,382号に示されているタイプ又は他の適正タイプのものとすることができる。ロボットアームの制御指示は、ビデオカメラ情報からもたらされる。
図4は、画像捕捉ユニット及び処理装置ユニットのブロック図である。図4では、レーザストライプ発生器が31で指示され、レーザストライプによって生成される画像を見るカメラが32で指示されている。これらは共に、一部が36で示されているロボットアーム上に存在している。電源ユニット33は、電子回路ユニット34及び35、及び必要であればカメラ32を加圧する。ユニット35は、カメラ32からの画像情報を処理して画像位置情報をユニット34に供給し、ユニット34は、制御情報をロボット(全体は示されていない)への出力37に供給する。電力ケーブルと信号ケーブルは、ロボットアーム上の38に纏めて保持されている。
図4にはまた、乳頭等を定義した参照基準を使用して照射された対象が例えば乳頭であるかどうかを決定するように配置された制御手段39が開示されており、ここでは、照射された対象の画像が前記動物の異なる部位を定義した参照基準と比較される。
図5a、b、cは、本発明の装置に接続して使用される異なる動物関連装置を示している。図5aは、乳房及び/又は乳頭上の傷の検査に使用可能なビデオカメラ40を示している。図5bは、クリーニング等のために乳房及び乳頭にスプレーするスプレー装置42を示している。図5cが示すカップ44にはある程度までヨウ素が充填されており、搾乳が終了するとこの中に乳頭が浸される。
動物の部位の位置を認識して決定するための本発明の装置はまた、異なる画像信号を記憶するためのメモリ装置(図示されていない)を備えることができる。メモリ装置は例えば画像信号処理ユニット35内に包含されることが可能であり、画像信号処理ユニット35は、異なる画像信号を処理して関係のある線又は点と関係のない線又は点とを区別し、これにより関係のある線は2cm〜7cmの長さを有する線として限定され、関係のある点は2cm〜7cmの長さを有する虚線上に配置された点として限定されて照射された対象の完成画像が供給される。本装置はさらに、画像信号を濾波して関係のない線又は点を除去するフィルタ手段(図示されていない)を備えている。フィルタ手段もまた、例えば画像信号処理ユニット35内にメモリ装置より前に接続配置して包含されることが可能である。本装置にはまたピボット手段が供給されることが可能であり、レーザ発射ビームはこのピボット手段によって実質的な水平面又は実質的な垂直面において走査動作を実行する。ピボット手段は、例えば双方向制御式のステッパモータによって構成することができる。本装置はまた、走査中に走査面を乳頭より下の位置から乳頭の位置を決定可能な位置まで上向きに移動させる手段を備えることができる。走査面は、連続する2つの走査面間の距離がレーザ発射ビームの幅よりも大きくなるように順次移動される。
図6aは、カメラ17、32によって捉えられた画像の第1の例である。図6aは、照射された対象が乳頭50である場合の一例を示している。図6aは、画像信号処理手段35における処理の後の完成画像を示している。この場合、本発明による装置はピボット手段と走査面を移動させる手段とを備えており、レーザ発射ビームは実質的な水平面において走査動作を実行する。第1の走査面では、レーザ発射装置10、31は第1の線521で乳頭50を照射する。この線521の画像信号はカメラ17、32によって捕捉され、メモリ装置に記憶される。次いで走査面は上へと移動され、レーザ発射装置10、31が第2の線522で乳頭50を照射する。この第2の線522の画像信号もカメラ17、32によって捕捉され、メモリ装置に記憶される。この工程は、対象が例えば乳頭として識別可能になるまで継続される。この場合、乳頭50はn本の線によって照射される。但し、n≧2である。異なる線521,...,52nの画像信号はメモリ装置に記憶され、画像信号処理手段35において完成画像へと「バッファ」される。異なる画像信号はまた、外乱による関係のない線541,...,54nも含んでいる。こうした関係のない線541,...,54nはフィルタ手段によって除去されるため、実際には完成画像から除去されている。これらは、図4において単に工程の説明上示されているだけである。完成画像においては、異なる線521,...,52nは照射されていない領域561,...,56n-1によって隔絶されている。完成画像は明白なコントラストを有しており、異なる対象は制御手段39によって容易に識別が可能である。制御手段39は、例えば乳頭を定義する参照基準を使用して対象が乳頭であるかどうかを決定する。次いで、画像信号処理手段35が確定された乳頭の位置を決定する。
図6aでは、乳頭50が、この場合は少なくとも6本であるn本の線によって照射されている。しかしながら、僅か2本であっても、十分な結果を達成可能であること、即ち対象の乳頭等としての識別が可能であることが経験によって証明されている。図6bには、こうした状況及び好適な実施形態が開示されている。
図6a又は6bの完成画像はまた、ピボット手段の代わりにレーザ発射装置の前に配置されたスリット付きのスクリーン6又はラスター6を備えた装置を使用して達成することができる。こうした場合、レーザ発射ビームは走査動作を実行しない。
図6a又は6bに開示されている線521,...,52nは、発散する線(図示されていない)ともすることができる。これは、スリット付きのスクリーン又はラスター、もしくはピボット手段の双方によって達成することができる。
図7は、カメラ17、32によって捉えられた画像の第2の例である。図7は、照射された対象が乳頭60である場合の一例を示している。図7は、画像信号処理手段35における処理の後の完成画像を示している。この場合、本発明による装置は、予め決められたパターンで配置された複数の貫通穴を有する、レーザ発射装置10、31の前に配置されたスクリーンを備えている。レーザ発射ビーム12によって乳頭60が照射されると、複数の点621,...,62nが画像内に配置されて発生する。
以後の工程は、図6a及び6bに関連して記述したものと同様である。
図8aは、カメラ17、32によって捉えられた画像の第3の例である。図8aは、照射された対象が牛の臀部51である場合の一例を示している。図8aは、画像処理手段35における処理の後の完成画像を示している。この場合、牛の臀部51はn本の線によって照射される。但し、n≧2である。異なる線521,...,52nの画像信号はメモリ装置に記憶され、画像信号処理手段35において完成画像へと「バッファ」される。この場合の参照基準は、図6a及び6bによる場合よりも線が長い。以後の工程は、図6a及び6bに関連して記述したものと同様である。
図8bには、線が2本である場合の好適な実施形態が開示されている。経験上、僅か2本であっても十分な結果を達成可能であること、即ち対象を臀部51として識別可能であることが証明されている。
図9は、本発明の方法のフローチャートである。本方法は、ブロック70で開始される。続くブロック72で、本方法は、構造化された光によって少なくとも1つの乳頭を含むことが予測される区域を、前記光によって同時に或いは別々に照射される対象が少なくとも2つの照射領域に分割され、2つの照射領域の各々が非照射領域によって隔絶されるような方法で照射する。レーザを使用する文脈における「領域」という表現は、ここでは極めて明確な輪郭を有する十分に限定された区域を意味するものとして使用されている。レーザによって供給される点及び線は極めて明確であり、十分に限定されている。続いて本方法は、ブロック74で、前記光によって形成された少なくとも1つの画像を捕捉し、画像信号を供給する。次の段階であるブロック76は、前記画像信号を処理し、乳頭等を定義した参照基準を使用することにより照射された対象が前記部位であるかどうかを決定することで構成される。照射された対象の画像は制御手段39によって異なる対象を定義した参照基準と比較され、前記照射された対象が動物の部位であればその位置が確定される。参照基準は、画像信号処理装置35に記憶されることが可能である。続くブロック78で、本方法は確定された部位の位置を決定する。次のブロック80は、動物関連装置を前記部位の決定された位置へと案内するための情報を提供することで構成される。本方法は、ブロック82で完了する。
図10は、キャリアを有するロボットアームの動作の線図である。図10には、一頭の牛の4つの乳頭90、92、94、96が示されている。キャリア16を有するロボットアーム13(図1参照)及び延てはレーザ発射装置10及びカメラ17は、矢印Cが示すように図の向かって右から左へと、実質的にジグザクであるパターン98を描いて移動している。ロボットアーム13によるこのジグザグ動作と同時に、レーザ発射装置10は走査動作等を実行する。
図11は、照射される対象とカメラによって捉えられる画像との関係を示す線図である。100は、カメラ及びレーザ発射装置を示している。この場合、レーザ発射装置100は2つの乳頭A、Bを照射している。光は乳頭A、Bからカメラ100へと反射されて戻り、これによって線A’、B’(図11の右側)の位置及び線A’、B’の幅を測定することができる。図11から明らかなように、カメラ100によって捉えられた画像102では線A’が線B’より上に位置している。これは、乳頭Aの方が乳頭Bよりカメラ100に近いことを意味している。カメラ100が画像を捉える場合、画像は多くの線を包含する。その各線がx、y位置及び長さdを有している。これらの線は全て、制御手段により、面における各線の位置及び前記面における各線の長さに依存して異なるグループに纏められる。既存のグループに近い線はそのグループに加えられ、当該グループの新規位置は、加えられた線の位置と当該グループの旧位置との平均値位置に移動される。制御手段は、各グループのこの平均値位置の計算を実行する。但し、各グループは1つの対象を表す。各グループのこの平均値位置の計算は、牛等が動けば各グループの位置が移動することを意味している。各グループは、探索される部位に依存して許容範囲を有している。この許容範囲の中にある線は全てそのグループに加えられ、この許容範囲の外にある線は新規グループを限定する。線が複数のグループに帰属可能である場合、その線は最近のグループに加えられる。
図12は、識別された牛の乳頭の位置を示す図である。この図には、異なる数の線を含む4つの異なるグループ104、106、108、110が示されている。この場合、各グループが1つの乳頭を表している。
図13は、乳頭識別画像を形成する装置の第2の実施形態の一部を示す斜視図である。本装置は、開光角度が約60°〜80°で照度が均一な光のシート又は光の面(図示されていない)を供給する、本例では各々1つ又は複数のレンズの付いた2つの小型レーザ101、102である構造化された光のソース10を備えている。本装置はまた、構造化された光のソース10を運ぶためのロボットアーム13と、口部14の付いた乳頭カップ15を運ぶロボットアーム13のキャリア16とを備えている。キャリア16上には、小型のソリッドステートカメラ17等である画像捕捉手段17も、この場合は2つのレーザ101、102と同じハウジング内に入って取り付けられている。2つのレーザ101、102は、光の面を僅かに異なる方向に当てる(図14参照)。
図14には、図13に開示された装置の側面図が示されている。この図では、第1のレーザ101が第1の光の面121を供給し、第2のレーザ102が第2の光の面122を供給していることが分かる。垂直面では、こうした2つの光の面121、122は角度αだけずれている。第2のレーザ102は、第2の光の面122が乳頭カップ15の口部14より僅か距離dだけ上を通るように配置されている。α及びdの値は、装置の形状によって決定される。αの一例は8°であり、dの一例は8.5mmである。この第2の光の面122を使用する本実施形態は、かえって乳頭上への口部14の配置をより迅速かつ安全にする。但し、本実施形態は単に2つのレーザには限定されない。垂直面において最下位の光の面12Nが口部14の中心より僅か距離dだけ上を通るように配置される限り、本装置はN個、但しN≧2、のレーザを備えることができる。各レーザに1つ又は複数のレンズを供給する必要はない。この場合、121及び122はレーザビームを示しており、本装置は支持手段を備え、レーザビームはこの支持手段によって実質的な水平面において走査動作を実行する。以下、図15−17に関連してさらに説明を行う。
図15は、照射される対象と乳頭カップの口部との関係を示す線図である。向かって左の状況では、乳頭50は第1の光の面121によって照射されているのみであり、線501が発生している。本装置は、既に乳頭カップの口部14を明示された位置まで案内している。これについては図1−12に関して説明されており、説明は繰り返さない。右側の状況では、ソース10(図13及び14参照)が既に上に移動し、乳頭50は第2の光の面122によっても照射されて線502が発生している。この第2の線502は、乳頭50の先端の正確な位置の決定をより容易にする。
図16は、対象が傾斜している場合の照射される対象と乳頭カップの口部との関係を示した線図である。この図から明白なように、乳頭50はかなり傾斜している。乳頭50が線501を発生させる第1の光の面121によって照射されるだけであれば、状況は左側の口部14のようなものであって、口部14は乳頭50の先端から離れるように案内される。反対に乳頭50が第2の線502を発生させる第2の光の面122によっても照射されれば、右側の口部の位置から明らかなように、口部14は乳頭50の先端の方に案内される。
図17は、図13及び14に開示された装置を使用している場合の照射される対象と乳頭カップの口部との関係を示した線図である。この図では、第1の光の面121は上側に移動していて第1の線501が乳頭50ではなく乳房に配置されて発生している。第1の線501は、乳頭50の先端から既に移動している。乳頭50上に配置された第2の線502のために、口部14は図が示すように案内されて配置される。
説明で言及されている構造化された光は、これまでのところ図中ではレーザ光としてしか開示されていないが、構造化された光は、線又は点等の任意の形状を有する赤外線又は操作された光の形式でもあり得る。操作は、光が例えばレンズとスクリーンとの組合せを通過するということを包含することができる。
本発明は、これまでに記述した実施形態に限定されるものではなく、添付の請求項の範囲内で多くの異なる修正が可能であることは明白である。さらに、説明された装置及び方法が動物の経歴データの使用を必要としない場合でも、前記装置及び方法の性能を強化する可能性があるため、こうした使用は除外されていないことに留意しなければならない。
Claims (71)
- 動物の少なくとも1つの部位の位置を認識して決定するための装置であって、前記装置は、前記少なくとも1つの部位を含むことが予測される区域を照射するための構造化された光(12)のソース(10;31)を備え、前記光(12)によって同時に或いは別々に照射される対象は少なくとも2つの照射領域(521,522;621,622)に分割され、2つの照射領域(521,522;621,622)は各々非照射領域(561)によって分離され、画像捕捉手段(17;32)は少なくとも1つの画像を捕捉して画像信号を供給するように配置され、本装置はさらに、前記捕捉された画像信号に応答する画像信号処理手段(35)と、照射された対象の画像を異なる対象を定義した参照基準と比較して照射された対象が前記部位であるかどうかを決定し、前記照射された対象が動物の前記部位であることが確定されればその位置を確定する制御手段(39)と、動物関連装置(15;40;42,44)と、前記動物関連装置(15;40;42,44)を前記部位の決定された位置に向かって案内する手段とを備えることを特徴とする装置。
- 前記画像捕捉手段(17;32)によって捕捉される前記少なくとも1つの画像は、前記光(12)によって形成されることを特徴とする請求項1に記載の装置。
- 構造化された光(12)のソース(10;31)は発光装置(10;31)であることと、前記少なくとも2つの照射領域(521,522;621,622)の各領域は線又は点の形式であり、線又は点の数は制御手段による照射された対象の識別を可能にするようなものであることを特徴とする請求項2に記載の装置。
- 構造化された光(12)のソース(10)は少なくとも2つの発光装置(10 1 ,10 2 )であって、各発光装置は発光ビームを発生させ、2つの連続する発光ビームは各々垂直面において所定角度(α)で分離されることと、前記少なくとも2つの照射領域(521,522;621,622)は各々線又は点の形式であり、線又は点の数は制御手段による照射された対象の識別を可能にするようなものであることを特徴とする請求項2に記載の装置。
- 構造化された光(12)のソース(10)は少なくとも2つの発光装置(10 1 ,10 2 )であって、各発光装置は発光面(12 1 ,12 2 )を発生させ、2つの連続する発光面は各々垂直面において所定角度(α)で分離されることと、前記少なくとも2つの照射領域(521,522)は線の形式であり、線の数は制御手段による照射された対象の識別を可能にするようなものであることを特徴とする請求項2に記載の装置。
- 垂直面において、最下位の発光ビーム又は発光面は支持された乳頭カップ(15)の口部(14)の中心より所定距離(d)だけ上を通るように配置されることを特徴とする請求項4又は5に記載の装置。
- 発光ビーム又は発光面の数は2であることと、前記角度(α)は好適には8°であり、前記距離(d)は好適には8.5mmであることを特徴とする請求項6に記載の装置。
- 前記装置はまた、少なくとも1つの発光ビームの走査動作のために供給された支持手段を備えることを特徴とする請求項3又は4記載の装置。
- 発光ビームは前記支持手段によって水平方向に走査動作を行うことを特徴とする請求項8に記載の装置。
- 発光ビームは前記支持手段によって垂直方向に走査動作を行うことを特徴とする請求項7に記載の装置。
- 発光ビームは前記支持手段によって斜めの走査動作を行うことを特徴とする請求項7に記載の装置。
- 支持手段は主としてジグザグ形に動作することを特徴とする請求項8に記載の装置。
- 1つ又は複数の走査面又は発光面は、2つの連続する走査面又は発光面間の距離が発光ビームの幅より大きくなるように順次移動されることを特徴とする請求項5〜12の何れか1つに記載の装置。
- 対象の照射時に異なる走査面から取得される画像信号は、完成画像内に平行線(521,...,522)を発生させることを特徴とする請求項13に記載の装置。
- 対象の照射時に異なる走査面又は発光面から取得される画像信号は、完成画像内に発散する線を発生させることを特徴とする請求項13に記載の装置。
- 前記装置はまた、発光装置(10;31)の前に配置されたスリットを有するスクリーン(6)又はラスターを備えることを特徴とする請求項3に記載の装置。
- 対象の照射時にスリットを有するスクリーン(6)又はラスター(6)から取得される画像信号は、画像内に複数の線(521,...,52n)を発生させることを特徴とする請求項16に記載の装置。
- 対象の照射時にスリットを有するスクリーン又はラスター(6)から取得される画像信号は、画像内に発散する線を発生させることを特徴とする請求項16に記載の装置。
- 対象の照射時にスリットを有するスクリーン(6)又はラスター(6)から取得される画像信号は、画像内に複数の傾斜線を発生させることを特徴とする請求項16に記載の装置。
- 前記装置はまた、予め決められたパターンで配置された複数の貫通穴を有する、発光装置(10;31)の前に配置されたスクリーン(6)を備えることを特徴とする請求項3に記載の装置。
- 対象の照射時に予め決められたパターンで配置された貫通穴を有するスクリーン(6)から取得される画像信号は、画像内に配置される複数の点(621,...,62n)を発生させることを特徴とする請求項20に記載の装置。
- 画像信号処理手段(35)は異なる画像信号を処理して関係のある線又は点と関係のない線又は点とを区別し、これにより関係のある線は2cm〜7cmの長さを有する線として限定され、関係のある点は2cm〜7cmの長さを有する虚線上に配置された点として限定されて照射された対象の完成画像が供給され、完成画像は、制御手段(39)によって完成画像と異なる対象を定義した参照基準との比較に使用されることを特徴とする請求項3〜21の何れか1つに記載の装置。
- 前記装置はまた、画像信号を濾波して関係のない線又は点を除去するフィルタ手段を備えることを特徴とする請求項22に記載の装置。
- 制御手段(39)は、各線又は点の平面における位置、及び前記平面における各線又は点の前記平面における長さに依存して、前記線又は点を異なるグループに纏めることを特徴とする請求項1〜23の何れか1つに記載の装置。
- 制御手段(39)は各グループの位置を計算し、前記位置は前記グループにおける各線又は点の位置の平均値であり、各グループは1つの対象を表すことを特徴とする請求項24に記載の装置。
- グループの前記位置が移動すると、これに対応して前記支持手段が移動することを特徴とする請求項25に記載の装置。
- 部位は乳汁を分泌する動物の乳頭であることと、動物関連装置(15;40;42,42)は乳頭搾乳カップ(15)、乳頭クリーニング装置(42)及び乳頭検査装置(40)のうちの1つであることを特徴とする請求項1〜26の何れか1つに記載の装置。
- 部位は乳汁を分泌する動物の臀部であることを特徴とする請求項1〜26の何れか1つに記載の装置。
- 構造化された光(12)のソース(10;31)は支持された乳頭カップ(15)の口部(14)より上を通るように配置され、画像捕捉手段(17;32)は構造化された光(12)を通してカップ(15)の口部全体を観るように配置されたビデオカメラ(17;32)であることを特徴とする請求項1〜28の何れか1つに記載の装置。
- ビデオカメラ(16;32)はCCD(電荷結合素子)タイプのカメラであることを特徴とする請求項1〜29の何れか1つに記載の装置。
- 画像信号処理手段(35)は捕捉された画像信号から乳頭である可能性のある画像信号を含む部位を選択し、その選択された部位のみを処理する手段を含み、これにより乳頭画像信号の後続処理間の時間が短縮されることを特徴とする請求項27〜30の何れか1つに記載の装置。
- 画像信号処理手段(35)は前記捕捉された画像信号内に選択された乳頭の乳頭カップ(15)の入口点の位置を供給することを特徴とする請求項31に記載の装置。
- 画像信号処理手段(35)は、乳頭である可能性のある画像信号及び乳頭カップ入口点信号を含む選択された部位によって表された空間離隔距離を定量化して前記ガイド手段に適切な制御情報を供給する手段を含むことを特徴とする請求項31又は32に記載の装置。
- 制御情報は、前記離隔距離が大きいほどガイド手段をより迅速に動作させることを特徴とする請求項33に記載の装置。
- 前記支持手段は、ロボットアーム(13)と、ロボットアーム(13)上に配置された発光装置(10;31)とを備えることを特徴とする請求項8〜34の何れか1つに記載の装置。
- 前記支持手段は、ロボットアーム(13)と、ロボットアーム(13)上に配置された発光装置(10;31)と、レーザ発射ビームが走査動作を行う際の手段であるピボット手段とを備えることを特徴とする請求項8〜34の何れか1つに記載の装置。
- 線の数は2であることを特徴とする請求項3〜36の何れか1つに記載の装置。
- 発光装置(10;31)はレーザ発射装置(10;31)であることを特徴とする請求項3〜37の何れか1つに記載の装置。
- 発光装置(10;31)は赤外線発射装置であることを特徴とする請求項3〜37の何れか1つに記載の装置。
- 発光装置(10;31)は電球であることと、前記装置はまた電球からの光を回折させる1つ又は複数のレンズを備えることを特徴とする請求項3〜37の何れか1つに記載の装置。
- 各発光装置はレーザ発射装置であることと、前記装置はまた、レーザ発射ビームを各レーザ発射装置からレーザ発射面へと回折させる1つ又は複数のレンズを備え、最下位のレーザ発射面は前記部位の先端の位置を決定するために使用されることを特徴とする請求項5〜7、13〜15、22〜35の何れか1つに記載の装置。
- 動物の少なくとも1つの部位の位置を認識して決定するための方法であって、
前記光によって同時に或いは別々に照射される対象が少なくとも2つの照射領域に分割され、2つの照射領域が各々非照射領域によって分離されるような方法で、前記少なくとも1つの部位を含むことが予測される区域を構造化された光によって照射するステップと、
少なくとも1つの画像を捕捉して画像信号を供給するステップと、
前記画像信号を処理し、照射された対象の画像を異なる対象を定義した参照基準と比較することによって照射された対象が前記部位であるかどうかを決定し、前記照射された対象が動物の前記部位であることが確定されればその位置を確定するステップと、
動物関連装置を前記部位の決定された位置へと案内するための情報を提供するステップとを特徴とする方法。 - 前記光によって形成された少なくとも1つの画像を捕捉することを特徴とする請求項42に記載の方法。
- 前記対象を少なくとも1つの発光ビームによって照射し、前記少なくとも2つの照射領域は各々線又は点の形式であり、また、
線又は点の数は、照射された対象の識別を可能にするようなものであることを特徴とする請求項43に記載の方法。 - 前記対象を少なくとも1つの発光ビームによって照射し、連続する2つの発光ビームは各々垂直面において所定角度(α)で分離され、前記少なくとも2つの照射領域は各々線又は点の形式であり、
線又は点の数は、照射された対象の識別を可能にするようなものであることを特徴とする請求項43に記載の方法。 - 前記対象を少なくとも1つの発光面によって照射し、連続する2つの発光面は各々垂直面において角度αで分離され、前記少なくとも2つの照射領域は各々線の形式であり、
線の数は、照射された対象の識別を可能にするようなものであることを特徴とする請求項43に記載の方法。 - 乳頭カップ(15)の口部(14)の中心より僅かに距離dだけ上を垂直面における最下位として発光ビーム又は発光面を通すことを特徴とする請求項45又は46に記載の方法。
- 発光ビームは発光面の数は2であることを特徴とする請求項47に記載の方法。
- 発光ビームを主としてジグザグ式の動作を行うように移動させることを特徴とする請求項44又は45に記載の方法。
- 実質的な水平面において走査動作を行うように発光ビームを旋回させることと、
走査中、走査面を部位より下の位置から部位の位置として決定可能な位置へと上向きに移動させること、を特徴とする請求項49に記載の方法。 - 発光ビームを実質的な垂直面において走査動作を行うように旋回させることを特徴とする請求項49に記載の方法。
- 1つ又は複数の走査面又は発光面を、連続する2つの走査面又は発光面間の距離が発光ビームの幅より大きくなるように順次移動させることを特徴とする請求項46、50又は51に記載の装置。
- 対象の照射時に異なる走査面又は発光面から完成画像内に平行線を発生させる画像信号を取得することを特徴とする請求項52に記載の装置。
- 対象の照射時に異なる走査面又は発光面から完成画像内に発散する線を発生させる画像信号を取得することを特徴とする請求項52に記載の装置。
- 発光ビームの前にスリットを有するスクリーン又はラスターを配置することと、
対象の照射時に画像内に複数の線を発生させる画像信号を取得することと、
対象の照射時に画像内に発散する線を発生させる画像信号を取得することと、
対象の照射時に画像内に複数の線である傾斜線を発生させる画像信号を取得することを特徴とする請求項44に記載の方法。 - 予め決められたパターンで配置された複数の貫通穴を有するスクリーンを発光ビームの前に配置することと、
対象の照射時に画像内に配置される複数の点を発生させる画像信号を取得することを特徴とする請求項44に記載の方法。 - 異なる画像信号を処理して関係のある線又は点と関係のない線又は点とを区別し、これにより関係のある線は2cm〜7cmの長さを有する線として限定され、関係のある点は2cm〜7cmの長さを有する虚線上に配置された点として限定されて照射された対象の完成画像が供給されることと、
画像信号を濾波して関係のない線又は点を除去し、完成画像は異なる対象を定義した参照基準と完成画像との比較に使用されることを特徴とする請求項43〜56の何れか1つに記載の方法。 - 前記線又は点を、各線又は点の平面における位置、及び前記平面における各線又は点の前記平面における長さに依存して異なるグループに纏めることを特徴とする請求項43〜57の何れか1つに記載の方法。
- 各グループの位置を計算することを特徴とし、前記位置は前記グループ内の各線又は点の位置の平均値であり、各グループは1つの対象を表す請求項58に記載の方法。
- 1グループの前記位置の動きに依存して発光ビーム又は発光面を移動させることを特徴とする請求項59に記載の方法。
- 捕捉された画像信号から部位である可能性のある画像信号を含む部分を選択することと、
選択された部位のみを処理することを特徴とする請求項43〜60の何れか1つに記載の方法。 - 選択された乳頭の乳頭カップ入口点の位置を前記捕捉された画像信号に供給することを特徴とし、当該部位は乳頭である請求項61に記載の方法。
- 乳頭である可能性のある画像信号及び乳頭カップ入口点信号を含む選択された部位によって表される空間離隔距離を定量化することと、
前記離隔距離の量を基礎として前記ガイド情報を供給することを特徴とする請求項62に記載の方法。 - 離隔距離が大きいほど、より高速で移動させるためのガイド情報を供給することを特徴とする請求項63に記載の方法。
- ビデオカメラで区域を観ることによって画像を捕捉することを特徴とする請求項43〜64の何れか1つに記載の方法。
- ビデオカメラを観察軸に沿って下から構造化された光へと方向付けることを特徴とする請求項43〜65の何れか1つに記載の方法。
- 線の数は2であることを特徴とする請求項44〜66の何れか1つに記載の方法。
- 前記対象を発光ビームで照射することを特徴とする請求項44〜67の何れか1つに記載の方法。
- 前記対象を赤外線ビームで照射することを特徴とする請求項44〜67の何れか1つに記載の方法。
- 前記対象を電球で照射することを特徴とし、電球からの光は1つ又は複数のレンズによって回折される請求項44〜67の何れか1つに記載の方法。
- 前記対象を少なくとも2つのレーザ発射ビームで照射し、各レーザ発射ビームは1つ又は複数のレンズによってレーザ発射面へと回折されること、
垂直面における最下位のレーザ発射面を使用して前記部位の先端の位置を決定することを特徴とする請求項45〜48、52〜54、57〜66の何れか1つに記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE9701231A SE9701231D0 (sv) | 1997-04-04 | 1997-04-04 | Apparatus and method for recognising and determining the position of part of an animal |
SE9701231-4 | 1997-04-04 | ||
PCT/SE1997/002194 WO1998044782A1 (en) | 1997-04-04 | 1997-12-19 | Apparatus and method for recognising and determining the position of a part of an animal |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001519661A JP2001519661A (ja) | 2001-10-23 |
JP3919825B2 true JP3919825B2 (ja) | 2007-05-30 |
Family
ID=20406431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP54265398A Expired - Fee Related JP3919825B2 (ja) | 1997-04-04 | 1997-12-19 | 動物の部位の位置を認識して決定するための装置と方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US6227142B1 (ja) |
EP (1) | EP0975211B2 (ja) |
JP (1) | JP3919825B2 (ja) |
AU (1) | AU5506298A (ja) |
DE (1) | DE69720798T3 (ja) |
IL (1) | IL132194A (ja) |
SE (1) | SE9701231D0 (ja) |
WO (1) | WO1998044782A1 (ja) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE9704779D0 (sv) * | 1997-12-19 | 1997-12-19 | Alfa Laval Agri Ab | A device for gripping an animal related means |
SE517179C2 (sv) * | 1998-07-24 | 2002-04-23 | Alfa Laval Agri Ab | Anordning och förfarande för att fastställa en plats för ett djurrelaterat organ |
SE517285C2 (sv) * | 1998-07-24 | 2002-05-21 | Delaval Holding Ab | Anordning för automatisk mjölkning av ett djur |
NL1010829C2 (nl) * | 1998-12-16 | 2000-06-19 | Prolion Bv | Inrichting en werkwijze voor het melken van dieren en een vervuilingsmeter. |
SE517052C2 (sv) * | 1999-09-15 | 2002-04-09 | Alfa Laval Agri Ab | Apparat och metod för spenkoppsapplicering med hjälp av två alternerande ljuskällor och en kamera |
DE29919989U1 (de) * | 1999-11-15 | 2000-02-17 | Leuze Electronic Gmbh + Co, 73277 Owen | Optoelektronische Vorrichtung |
SE0002720D0 (sv) * | 2000-07-19 | 2000-07-19 | Delaval Holding Ab | A method and an apparatus for examination of milking animals |
EP1520468B1 (en) * | 2003-09-30 | 2006-04-26 | Lely Enterprises AG | A device for and a method of milking a dairy animal |
NL1024522C2 (nl) * | 2003-10-13 | 2005-04-14 | Lely Entpr Ag | Melkbekerdrager. |
CA3034793C (en) | 2006-03-15 | 2023-01-03 | Gea Farm Technologies Gmbh | Time of flight teat location system |
SE530339C2 (sv) | 2006-07-13 | 2008-05-06 | Delaval Holding Ab | En apparat och förfarande för att igenkänna och bestämma en position |
NL1034502C2 (nl) * | 2007-10-12 | 2009-04-15 | Lely Patent Nv | Melkinrichting. |
US9161511B2 (en) | 2010-07-06 | 2015-10-20 | Technologies Holdings Corp. | Automated rotary milking system |
US8707905B2 (en) | 2010-08-31 | 2014-04-29 | Technologies Holdings Corp. | Automated system for applying disinfectant to the teats of dairy livestock |
US9149018B2 (en) | 2010-08-31 | 2015-10-06 | Technologies Holdings Corp. | System and method for determining whether to operate a robot in conjunction with a rotary milking platform based on detection of a milking claw |
US8800487B2 (en) | 2010-08-31 | 2014-08-12 | Technologies Holdings Corp. | System and method for controlling the position of a robot carriage based on the position of a milking stall of an adjacent rotary milking platform |
US10111401B2 (en) | 2010-08-31 | 2018-10-30 | Technologies Holdings Corp. | System and method for determining whether to operate a robot in conjunction with a rotary parlor |
WO2012123948A1 (en) * | 2011-03-17 | 2012-09-20 | Mirobot Ltd. | System and method for three dimensional teat modeling for use with a milking system |
US9848575B2 (en) | 2011-03-17 | 2017-12-26 | Mirobot Ltd. | Human assisted milking robot and method |
US8885891B2 (en) | 2011-04-28 | 2014-11-11 | Technologies Holdings Corp. | System and method for analyzing data captured by a three-dimensional camera |
US9215861B2 (en) | 2011-04-28 | 2015-12-22 | Technologies Holdings Corp. | Milking box with robotic attacher and backplane for tracking movements of a dairy animal |
US8683946B2 (en) | 2011-04-28 | 2014-04-01 | Technologies Holdings Corp. | System and method of attaching cups to a dairy animal |
US9107378B2 (en) | 2011-04-28 | 2015-08-18 | Technologies Holdings Corp. | Milking box with robotic attacher |
US8746176B2 (en) | 2011-04-28 | 2014-06-10 | Technologies Holdings Corp. | System and method of attaching a cup to a dairy animal according to a sequence |
US10127446B2 (en) | 2011-04-28 | 2018-11-13 | Technologies Holdings Corp. | System and method for filtering data captured by a 2D camera |
US9265227B2 (en) * | 2011-04-28 | 2016-02-23 | Technologies Holdings Corp. | System and method for improved attachment of a cup to a dairy animal |
US8903129B2 (en) | 2011-04-28 | 2014-12-02 | Technologies Holdings Corp. | System and method for filtering data captured by a 2D camera |
US9049843B2 (en) | 2011-04-28 | 2015-06-09 | Technologies Holdings Corp. | Milking box with a robotic attacher having a three-dimensional range of motion |
US10357015B2 (en) | 2011-04-28 | 2019-07-23 | Technologies Holdings Corp. | Robotic arm with double grabber and method of operation |
US9107379B2 (en) | 2011-04-28 | 2015-08-18 | Technologies Holdings Corp. | Arrangement of milking box stalls |
US8671885B2 (en) | 2011-04-28 | 2014-03-18 | Technologies Holdings Corp. | Vision system for robotic attacher |
EP3202257B1 (en) * | 2011-04-28 | 2020-04-15 | Technologies Holdings Corp. | Milking box with multiple holders for teat or cleaning cups |
US9058657B2 (en) | 2011-04-28 | 2015-06-16 | Technologies Holdings Corp. | System and method for filtering data captured by a 3D camera |
US9681634B2 (en) | 2011-04-28 | 2017-06-20 | Technologies Holdings Corp. | System and method to determine a teat position using edge detection in rear images of a livestock from two cameras |
US9357744B2 (en) | 2011-04-28 | 2016-06-07 | Technologies Holdings Corp. | Cleaning system for a milking box stall |
US9258975B2 (en) | 2011-04-28 | 2016-02-16 | Technologies Holdings Corp. | Milking box with robotic attacher and vision system |
US9043988B2 (en) | 2011-04-28 | 2015-06-02 | Technologies Holdings Corp. | Milking box with storage area for teat cups |
US9161512B2 (en) | 2011-04-28 | 2015-10-20 | Technologies Holdings Corp. | Milking box with robotic attacher comprising an arm that pivots, rotates, and grips |
US10349614B2 (en) * | 2016-08-17 | 2019-07-16 | Technologies Holdings Corp. | Vision system for teat detection |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2408300A1 (fr) * | 1977-11-12 | 1979-06-08 | Akermann David | Procede et appareil pour la traite des vaches |
NL8600076A (nl) * | 1986-01-16 | 1987-08-17 | Lely Nv C Van Der | Werkwijze en inrichting voor het melken van een dier. |
EP0306579B1 (fr) † | 1987-09-08 | 1992-01-02 | Centre National Du Machinisme Agricole, Du Genie Rural, Des Eaux Et Des Forets (Cemagref) | Installation de traite automatique |
FR2595197B1 (fr) * | 1986-03-07 | 1988-11-18 | Cemagref | Installation de traite automatique |
DE3702465A1 (de) | 1987-01-28 | 1988-08-11 | Duevelsdorf & Sohn Gmbh & Co K | Verfahren und vorrichtung zum melken und ggfs. fuettern von freilaufenden, identifizierungsmittel tragenden kuehen |
EP0440313B1 (en) * | 1988-01-08 | 1997-12-10 | Prolion B.V. | Element for positioning an animal, terminal apparatus for an automatic milking system, and method for automatically milking an animal |
NL8802332A (nl) * | 1988-09-21 | 1990-04-17 | Lely Nv C Van Der | Inrichting voor het melken van een dier. |
US5046353A (en) † | 1989-01-26 | 1991-09-10 | Tracer Research Corporation | Underground pipe leak detection system |
DE4113700A1 (de) | 1991-04-26 | 1992-10-29 | Dieter Dipl Ing Schillingmann | Verfahren zum automatischen melken von in melkboxen stehenden milchkuehen, sowie melkbox, roboter und melkmodul zur durchfuehrung dieses verfahrens |
IT1247949B (it) * | 1991-05-20 | 1995-01-05 | Felice Farina | Apparecchiatura per il lavaggio automatico di capezzoli di bovini o altri animali da latte |
US5412420A (en) † | 1992-10-26 | 1995-05-02 | Pheno Imaging, Inc. | Three-dimensional phenotypic measuring system for animals |
NL9401113A (nl) * | 1994-07-04 | 1996-02-01 | Maasland Nv | Constructie met een inrichting voor het automatisch melken van dieren. |
NL9401681A (nl) * | 1994-10-12 | 1996-05-01 | Maasland Nv | Werkwijze en inrichting voor het automatisch melken van dieren, zoals koeien. |
US5615003A (en) † | 1994-11-29 | 1997-03-25 | Hermary; Alexander T. | Electromagnetic profile scanner |
NL9500006A (nl) † | 1995-01-02 | 1996-08-01 | Gascoigne Melotte Bv | Werkwijze en inrichting voor het positioneren van speenbekers. |
SE9503792D0 (sv) * | 1995-10-27 | 1995-10-27 | Tetra Laval Holdings & Finance | Teat location for milking |
DE19548347A1 (de) * | 1995-12-22 | 1997-07-03 | Westfalia Separator Ag | Verfahren zum maschinellen Ansetzen von Melkbechern |
-
1997
- 1997-04-04 SE SE9701231A patent/SE9701231D0/xx unknown
- 1997-12-19 DE DE69720798T patent/DE69720798T3/de not_active Expired - Lifetime
- 1997-12-19 IL IL13219497A patent/IL132194A/en not_active IP Right Cessation
- 1997-12-19 AU AU55062/98A patent/AU5506298A/en not_active Abandoned
- 1997-12-19 EP EP97951413A patent/EP0975211B2/en not_active Expired - Lifetime
- 1997-12-19 WO PCT/SE1997/002194 patent/WO1998044782A1/en active IP Right Grant
- 1997-12-19 US US09/402,216 patent/US6227142B1/en not_active Expired - Lifetime
- 1997-12-19 JP JP54265398A patent/JP3919825B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP0975211A1 (en) | 2000-02-02 |
SE9701231D0 (sv) | 1997-04-04 |
US6227142B1 (en) | 2001-05-08 |
IL132194A (en) | 2002-09-12 |
EP0975211B2 (en) | 2010-01-27 |
DE69720798T3 (de) | 2010-07-08 |
EP0975211B1 (en) | 2003-04-09 |
IL132194A0 (en) | 2001-03-19 |
AU5506298A (en) | 1998-10-30 |
JP2001519661A (ja) | 2001-10-23 |
WO1998044782A1 (en) | 1998-10-15 |
DE69720798D1 (de) | 2003-05-15 |
DE69720798T2 (de) | 2004-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3919825B2 (ja) | 動物の部位の位置を認識して決定するための装置と方法 | |
US6234109B1 (en) | Apparatus and method for recognizing and determining the position of a part of an animal | |
JP3916255B2 (ja) | 搾乳装置支持体を案内する方法及び装置 | |
EP2685811B1 (en) | System and method for three dimensional teat modeling for use with a milking system | |
US6532892B1 (en) | Method and apparatus for recognizing and determining a position and robot including such an apparatus | |
EP1211928B1 (en) | An apparatus and a method for improving teatcup attachment, by using illuminating and image capturing means | |
US6363883B1 (en) | Animal related apparatus | |
EP1996010B1 (en) | Time of flight teat location system | |
CA2711388C (en) | Arrangement and method for determining the position of an animal | |
WO2000011935A1 (en) | A method and an apparatus for locating the teats of an animal | |
WO2000011940A1 (en) | An apparatus and a method for monitoring an animal related area | |
CN105806252A (zh) | 一种补光可调且可自动上下料的视觉成像测量系统 | |
WO2010023122A2 (en) | Arrangement and method for determining positions of the teats of a milking animal | |
JPH07250538A (ja) | 収穫対象物の測定処理装置および方法 | |
JPH0366587A (ja) | ロボットの視覚装置 | |
WO2024195021A1 (ja) | 画像処理装置、画像処理方法、及び、記録媒体 | |
US20240074729A1 (en) | Robotic system for performing an ultrasound scan | |
JP2001134317A (ja) | 検出対象体情報認識装置及び管内移動装置 | |
JPH09273931A (ja) | 測量方法 | |
SE516384C2 (en) | Apparatus for locating the teats of a milk animal using light sources to illuminate two areas on a teat at different angles and an image capture device to supply information to a processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060807 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070214 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |