JP7345776B2 - 農産物の選別装置 - Google Patents

Description

本発明は、農産物の選別装置に関する。

従来より、農産物の集出荷施設では、生産者によって搬入された農産物が選別装置によって等階級別に選別され、箱詰されて出荷される。当該選別装置は、農産物を搬送する搬送装置と、搬送過程に設けられたカメラと、カメラによって生成された画像を解析して農産物の外観に関する等級を判定するコンピュータと、を備えている。

ここで、特許文献１には農産物の選別装置における外観等級の判定技術が記載されている。当該判定技術では、農産物の外観をカメラで撮像し、カメラによって生成された外観画像を予めメモリに記憶しておいた選定基準データと比較することで農産物の外観品質に関する等級を判定することとしている。

特許第６１２２６５５号公報

上記の選定基準データは、農産物の外観画像から当該農産物の特徴を検出し、検出した特徴に基づいて更新することとしている。

ここで、精度の高い選定基準データを得るためには、多くの農産物の外観画像を準備する必要があるが、多くの外観画像を準備するためには多大な労力を要することとなる。

本発明は、労力を極力抑えつつ、多くの農産物から効率的に機械学習用の情報を蓄積することができる農産物の選別装置を提供することを目的とする。

上記目的を達成するため、本発明の農産物の選別装置は、農産物を搬送する搬送部と、前記搬送部の搬送経路に設けられた撮像部と、前記撮像部により生成された画像を取得し、学習済みモデルに基づいて当該画像中の農産物の外観品質を判定する判定部と、前記判定された外観品質毎に前記農産物を排出する排出部と、
を備え、前記学習済みモデルは、前記搬送部における前記農産物の投入位置または投入タイミングに基づいて特定された前記農産物の外観品質と前記撮像部によって生成された農産物の画像に基づいて生成可能である、ことを特徴とする。

本発明によれば、労力を抑えつつ、多くの農産物から機械学習用の情報を蓄積することができる。

（ａ）本発明の第１実施形態に係る選別装置の概略を示す平面図、（ｂ）当該選別装置の概略を示す側面図 上記選別装置のハードウェア構成図 上記選別装置のブロック図 椎茸の傘の開き具合を示す図 （ａ）本発明の第２実施形態に係る選別装置の一部概略図、（ｂ）本発明の第３実施形態に係る選別装置のハードウェア構成図

椎茸の選別装置を例にして、本発明の実施形態を図に基づいて説明する。

＜第１実施形態＞

図１に示すように、農産物である椎茸Ｗの選別装置１は、荷受した椎茸Ｗを外観品質に関する等級別に選別する装置であって、荷受した椎茸Ｗを機械学習によって選別する選別モードと、当該機械学習のために実施される学習モードを切り替えて実行するものである。以下、選別モードにおいて動作する選別装置１の全体構成を説明した後に、学習モードにおいて動作する選別装置１の構成を説明する。

選別装置１は、椎茸Ｗの等級別に設けられた等級別コンベア３ａ，３ｂ，３ｃに対して椎茸Ｗを選別して排出する装置であって、搬送部１０の搬送経路に検査部２０と排出部３０が設けられている。なお、外観品質がＡ等級と判定された椎茸Ｗは等級別コンベア３ａに排出され、Ｂ等級と判定された椎茸Ｗは等級別コンベア３ｂに排出され、Ｃ等級と判定された椎茸Ｗは等級別コンベア３ｃに排出される。

搬送部１０は、例えばカップ式コンベアであって、複数のカップ１２がループ状に一列に連結された構成となっている。当該カップ１２には、椎茸Ｗが倒立状態（傘を下側にし、柄を上側にした状態）で載置され、図中の矢印Ｘ１方向に移動する一対の搬送レーン１４間に支持される。カップ１２の中央部分には椎茸Ｗを倒立状態で収容する丸い凹みが形成されている。カップ１２の各々にはＲＦタグ（不図示）が貼付されており、各ＲＦタグにはそれぞれのカップ１２に一意に付与されたシリアル番号が記録されている。なお、搬送部１０の搬送経路は上流から順に投入領域、検査領域、排出領域となっており、投入領域では作業員によって椎茸Ｗがカップ１２へと投入され、検査領域では椎茸Ｗが検査され、排出領域では椎茸Ｗが等級別に排出される。

検査部２０は、椎茸Ｗの外観に関する品質を検査するものであって、搬送経路の中程の検査領域に設けられたＲＦＩＤリーダ２２とカメラ２４、及びＲＦＩＤリーダ２２とカメラ２４に通信可能に接続された２つのコンピュータ（第１コンピュータ２６及び第２コンピュータ２８（図２））により構成されている。

ＲＦＩＤリーダ２２は、搬送経路の側方に配置され、通過するカップ１２に貼付されたＲＦタグからシリアル番号を読み取り、読み取ったシリアル番号を第１コンピュータ２６へと送信する。このように、ＲＦＩＤリーダ２２は搬送されてきたカップ１２のシリアル番号を読み取る読取部２０４（図３）として機能する。

カメラ２４は、搬送経路の上方に配置されており、その下方を通過するカップ１２内の椎茸Ｗを撮像し、生成した画像を第１コンピュータ２６へと送信する。このように、カメラ２４は搬送されてきた椎茸Ｗを撮像して画像を生成する撮像部２０２（図３）として機能する。

第１コンピュータ２６はカメラ２４から取得した画像を第２コンピュータ２８へと送信する。第２コンピュータ２８のＣＰＵ２８１は受信した画像を解析して当該画像に含まれる椎茸Ｗの等級を判定し、判定した等級を第１コンピュータ２６へと送信する。第１コンピュータ２６のＣＰＵ２６１は、ＲＦＩＤリーダ２２から受信したシリアル番号と判定された等級を対応づけてメモリ２６２に記憶する。このように、第１コンピュータ２６および第２コンピュータ２８は、取得した画像に含まれる椎茸Ｗの等級を判定する判定部２００（図３）として機能する。

図１に戻り、搬送経路下流の排出領域には排出部３０が設けられている。排出部３０は、椎茸Ｗを等級別コンベア３ａ，３ｂ，３ｃに排出するものであって、ＲＦＩＤリーダ３２ａ，３２ｂ，３２ｃと排出機構３４（図２）、及び第１コンピュータ２６により構成されている。ＲＦＩＤリーダ３２ａ，３２ｂ，３２ｃは、各等級別コンベア３ａ，３ｂ，３ｃに対する椎茸Ｗの排出位置の上流側近傍に配置されており、その前を通過するカップ１２のＲＦタグからシリアル番号を読み取り、読み取ったシリアル番号を第１コンピュータ２６へと送信する。第１コンピュータ２６のＣＰＵ２６１は、各ＲＦＩＤリーダ３２ａ，３２ｂ，３２ｃからシリアル番号を受信する度に受信したシリアル番号に対応する等級をメモリ２６２から抽出する。抽出した等級とＲＦＩＤリーダ３２ａ，３２ｂ，３２ｃの位置する等級別コンベア３ａ，３ｂ，３ｃの等級とが一致する場合には、当該等級別コンベア３ａ，３ｂ，３ｃ上を通過する際に排出機構３４を制御する。排出機構３４は、カップ１２に収容された椎茸Ｗを排出する機構であって、例えばカップ１２の前端側を支点として後端側を下方へと傾動させる駆動手段である。

ここで、椎茸Ｗの外観品質に関する等級を判定する要素の一つとして傘の開き具合が用いられている。図４（ａ）に示すように、傘の開きがほぼ無い椎茸Ｗは最も高い品質であるＡ等級として判定される。図４（ｂ）に示すように、傘の開きが２～３分程度の椎茸Ｗは２番目に高い品質であるＢ等級として判定される。図４（ｃ）に示すように、その他の椎茸Ｗは最も低い品質であるＣ等級として判定される。このような等級の判定は、機械学習による判定処理を上記第２コンピュータ２８が実行することで実現されている。この機械学習による判定処理は、カメラ２４によって生成された画像が未知データとして第２コンピュータ２８に入力され、第２コンピュータ２８は予め生成された学習済みモデルに基づいて画像に含まれる椎茸Ｗの等級を判定する。

上記の学習済みモデルは、選別装置１の学習モードにおいて生成される。当該学習モードでは、椎茸画像と椎茸Ｗの等級情報を含むデータセットが複数準備され、複数のデータセットが学習データとして用いられ、学習処理によって学習済みモデルが生成される。以下、学習モードを実行する選別装置１の構成を説明する。

学習モードを実行する選別装置１は、図３に示すように、等級特定部４００、生成部４０２、及び学習部４０４を備えており、学習データの試料となる椎茸Ｗを搬送部１０によって搬送しながら学習データを生成する。

等級特定部４００は、試料となる椎茸Ｗの等級を特定するものであって、図１および図２に示すように光電センサ４２ａ，４２ｂ，４２ｃと、ＲＦＩＤリーダ４４ａ，４４ｂ，４４ｃと、第１コンピュータ２６と、により構成されている。光電センサ４２ａ，４２ｂ，４２ｃとＲＦＩＤリーダ４４ａ，４４ｂ，４４ｃは、ペアになるように、搬送部１０の投入領域が等級別に区分けされた等級別領域の各々に設けられている。当該等級別領域に対して、作業員の目視によって等級が判断された椎茸Ｗが投入される。具体的には、搬送部１０の上流側から順にＡ等級投入領域、Ｂ等級投入領域、Ｃ等級投入領域が定められており、Ａ等級投入領域の終端部には、光電センサ４２ａとＲＦＩＤリーダ４４ａがペアで設けられており、同様にＢ等級投入領域には光電センサ４２ｂとＲＦＩＤリーダ４４ｂが、Ｃ等級投入領域には光電センサ４２ｃとＲＦＩＤリーダ４４ｃが設けられている。各光電センサ４２ａ，４２ｂ，４２ｃの投光器および受光器は搬送部１０を挟んで対向配置されており、その間を通過するカップ１２中の椎茸Ｗによって信号光が遮られるように構成されている。当該光電センサ４２ａ，４２ｂ，４２ｃによって椎茸Ｗが検出されると検出信号が第１コンピュータ２６へと入力され、ＲＦＩＤリーダ４４ａ，４４ｂ，４４ｃによって読み取られたカップ１２のシリアル番号が第１コンピュータ２６へと入力される。

第１コンピュータ２６は、光電センサ４２ａ，４２ｂ，４２ｃからの検出信号及びＲＦＩＤリーダ４４ａ，４４ｂ，４４ｃからのシリアル番号に基づいて、椎茸Ｗの等級を特定する。具体的には、第１コンピュータ２６のＣＰＵ２６１が、ＲＦＩＤリーダ４４ａ，４４ｂ，４４ｃからシリアル番号を受信する度に、当該ＲＦＩＤリーダ４４ａ，４４ｂ，４４ｃに対応する光電センサ４２ａ，４２ｂ，４２ｃの検出信号を確認し、その結果、椎茸Ｗが検出された場合には当該等級別投入領域に対応する等級をシリアル番号に対応づけてメモリ２６２に記憶する。例えば、ＲＦＩＤリーダ４４ａからシリアル番号を受信し、かつ光電センサ４２ａから検出信号を受信した場合には、Ａ等級投入領域において椎茸Ｗが投入されたものであるから、当該シリアル番号に対応づけてＡ等級を記憶する。一方、検出信号を受信しなかった場合には対応づけを行わない。また、ＲＦＩＤリーダ４４ｂからシリアル番号を受信し、かつ光電センサ４２ｂから検出信号を受信した場合において、当該シリアル番号に対応づけて等級が記憶されていない場合には、Ｂ等級投入領域において椎茸Ｗが投入されたものであるから、当該シリアル番号に対応づけてＢ等級を記憶する。一方、ＲＦＩＤリーダ４４ｂから受信したシリアル番号が既にＡ等級として記憶済みである場合や、光電センサ４２ｂから検出信号を受信しなかった場合には対応づけは行わない。また、ＲＦＩＤリーダ４４ｃからシリアル番号を受信し、かつ光電センサ４４ｃから検出信号を受信した場合において、当該シリアル番号に対応づけて等級が記憶されていない場合には、Ｃ等級投入領域において椎茸Ｗが投入されたものであるから、当該シリアル番号に対応づけてＣ等級を記憶する。一方、ＲＦＩＤリーダ４４ｃから受信したシリアル番号が既にＡ等級やＢ等級として記憶済みである場合には、対応づけは行わない。

生成部４０２は、撮像部２０２から取得した当該椎茸Ｗの画像と、読取部２０４から取得した当該椎茸Ｗのシリアル番号と、に基づいて学習データを生成するものであって、第１コンピュータ２６により構成されている。すなわち、第１コンピュータ２６は、カメラ２４およびＲＦＩＤリーダ２２から画像とシリアル番号を受信すると、受信したシリアル番号に対応する等級をメモリ２６２から抽出し、当該等級と画像を対応づけた学習データを生成する。このように生成された学習データは第２コンピュータ２８のメモリ２８２に蓄積される。

学習部４０４は、蓄積された学習データに基づいて学習を実行して学習済みモデルを生成するものであって、第２コンピュータにより構成される。具体的には、第２コンピュータ２８のＣＰＵ２８１は、メモリ２８２に記憶された学習データを読み出して、ディプラーニングに代表される学習処理が実行されて学習済みモデルが生成される。

このように、本実施形態によれば、目視で等級判定した椎茸Ｗを所定の等級別領域で投入すれば、当該椎茸Ｗが搬送される過程で学習データが生成されるので、便利かつ効率的である。

また、学習データとして用いられた椎茸Ｗは、その後、搬送部１０によって排出領域に搬送される。排出領域では、ＲＦＩＤリーダ３２ａ，３２ｂ，３２ｃによって読み取られたシリアル番号に基づいて第１コンピュータ２６がメモリ２６２に記憶された等級を抽出し、該当する等級別コンベア３ａ，３ｂ，３ｃに対して椎茸Ｗを排出する処理を行う。このように、学習用データとして用いられた椎茸Ｗは、すでに作業員による目視判定を行われたものであるから、検査部２０を用いずとも排出部３０を用いて、そのまま仕分を行うことができるので効率的である。

＜第２実施形態＞

第２実施形態に係る選別装置は、第１実施形態と同様の構成を用いて選別モードを実行している。しかしながら、学習モードを実行する構成において、第１実施形態では、等級特定部４００が投入領域の長手方向（搬送方向）における椎茸Ｗの投入位置に基づいて当該椎茸Ｗの等級を特定しているのに対して、第２実施形態では、等級特定部が投入領域の幅方向における椎茸Ｗの投入位置に基づいて当該椎茸Ｗの等級を特定している点で異なっている。以下、第１実施形態と同様の構成については説明を省略しつつ、異なる構成を中心に本実施形態の選別装置を説明することとする。

本実施形態の選別装置は、図５に示すように搬送部として機能するベルトコンベア４６を備えている。ベルトコンベア４６は、椎茸Ｗを載せたフリートレイ４８を搬送するコンベアであり、その幅はフリートレイ４８の幅より広く設けられている。なお、本実施形態ではフリートレイ４８の直径の２倍程度の幅となっている。フリートレイ４８は、椎茸Ｗが倒立状態で載置される凹状の載置部と、各フリートレイ４８を識別する識別情報が記憶されたＲＦタグと、を備えている。

また、ベルトコンベア４６の搬送経路において、ＲＦＩＤリーダ２２とカメラ２４の間には距離センサ５０がベルトコンベア４６に対向配置されている。距離センサ５０は、例えば、正面を通過するフリートレイ４８に向かって照射した光線の反射時間に基づいて、当該フリートレイ４８との距離（間隔）を計測するセンサである。当該距離センサ５０によって計測された距離情報は第１コンピュータ２６へと送信される。

第１コンピュータ２６は、受信した距離情報に基づいてベルトコンベア４６におけるフリートレイ４８の載置位置を検出する。具体的には、フリートレイ４８がベルトコンベア４６の中央にあるか、一端側（計測センサから見て奥側）にあるか、他端側（計測センサから見て手前側）にあるかを検出するための閾値Ａおよび閾値Ｂが第１コンピュータ２６のメモリ２６２に格納されている。第１コンピュータ２６のＣＰＵ２６１は、受信した距離情報を各閾値と比較することで、フリートレイ４８の載置位置を判定する。例えば、距離情報が閾値Ａよりも小さい場合には、フリートレイ４８がベルトコンベア４６の他端側にあると判定する。距離情報が閾値Ｂよりも大きい場合にはフリートレイ４８がベルトコンベア４６の一端側にあると判定する。距離情報が閾値Ａよりも大きく閾値Ｂよりも小さい場合にはベルトコンベア４６の中央にあると判定する。

第１コンピュータ２６は、検出したフリートレイ４８の載置位置に基づいて当該フリートレイ４８に入れられている椎茸Ｗの等級を特定する。すなわち、フリートレイ４８がベルトコンベア４６の一端側にあると判定された場合には、当該フリートレイ４８内の椎茸ＷはＡ等級であると特定する。また、フリートレイ４８がベルトコンベア４６の中央にあると判定された場合にはＢ等級であり、他端側にある場合にはＣ等級であると特定する。当該特定された等級情報はＲＦＩＤリーダ２２によって読み取られた識別情報とともに第１コンピュータ２６のメモリ２６２に記憶される。

本実施形態は、第１実施形態と同様に、撮像部２０２として機能するカメラ２４を備えており、当該カメラ２４で生成された画像が第１コンピュータ２６へと送信される。なお、カメラ２４の直上流にはガイドレール５４が設けられており、ＲＦＩＤリーダ２２および距離センサ５０を通過した全てのフリートレイ４８はガイドレール５４によってカメラ２４の直下を通過することとなる。

第１コンピュータ２６は当該画像を取得すると、メモリ２６２に記憶していた等級情報と共に当該画像を第２コンピュータ２８へと送信する。このようにして等級情報と画像を取得した第２コンピュータ２８は第１実施形態と同様に学習済みモデルを生成する。

本実施形態の学習モードでは、第１実施形態と同様に、作業員が目視にて椎茸Ｗの等級を判定し、判定した椎茸Ｗをフリートレイ４８に投入するが、椎茸Ｗが投入されたフリートレイ４８の位置が当該作業員によって調整される。すなわち、Ａ等級の椎茸Ｗが投入されたフリートレイ４８はベルトコンベア４６の他端側に移動され、Ｂ等級の椎茸Ｗが投入されたフリートレイ４８はベルトコンベア４６の中央に移動され、Ｃ等級の椎茸Ｗが投入されたフリートレイ４８はベルトコンベア４６の一端側に移動される。

上記のように本実施形態によれば、第１実施形態と同様に、目視で等級判定した椎茸Ｗを所定の等級別位置に投入すれば、当該椎茸Ｗが搬送される過程で学習データが生成されるので、便利かつ効率的である。

なお、本実施形態の選別モードでは、フリートレイ４８に載置された椎茸Ｗをベルトコンベア４６から等級別コンベア３ａ，３ｂ，３ｃに排出するために、各等級別コンベア３ａ，３ｂ，３ｃに対応して設けられたプッシャー（不図示）を備えている。当該プッシャーは第１コンピュータ２６と電気的に接続されており、第１コンピュータ２６から受信した排出信号に基づいてフリートレイ４８を対応する等級別コンベア３ａ，３ｂ，３ｃへと排出する。

＜第３実施形態＞

第３実施形態に係る選別装置は、第１実施形態と同様の構成を用いて選別モードを実行している。しかしながら、学習モードを実行する構成において、第１実施形態や第２実施形態では、等級特定部が投入領域の長手方向（搬送方向）又は幅方向における椎茸Ｗの投入位置に基づいて当該椎茸Ｗの等級を特定しているのに対して、第３実施形態では、等級特定部が投入領域における椎茸Ｗの投入タイミングに基づいて当該椎茸Ｗの等級を特定している点で異なっている。以下、第１実施形態と同様の構成については説明を省略しつつ、異なる構成を中心に本実施形態の選別装置を説明することとする。

本実施形態の等級特定部は、光電センサ４２ａ，４２ｂ，４２ｃやＲＦＩＤリーダ４４ａ，４４ｂ，４４ｃを備えておらず、図５（ｂ）に示すように複数の等級スイッチ５２ａ，５２ｂ，５２ｃを備えている。等級スイッチ５２ａ，５２ｂ，５２ｃは、搬送部１０によって搬送されている椎茸Ｗの等級を第１コンピュータ２６に入力するためのスイッチであって、本実施形態では、Ａ等級スイッチ５２ａ、Ｂ等級スイッチ５２ｂ、及びＣ等級スイッチ５２ｃが設けられている。

第１コンピュータ２６のＣＰＵ２６１は、ＲＦＩＤリーダ２２からシリアル情報を取得する度に等級スイッチ５２ａ，５２ｂ，５２ｃからの入力を確認し、当該入力に基づいて椎茸Ｗの等級を特定する。具体的には、ＲＦＩＤリーダ２２からシリアル情報を受信した時に等級スイッチ５２ａ，５２ｂ，５２ｃの入力を確認し、当該入力がＡ等級スイッチ５２ａである場合には、搬送中の椎茸Ｗの等級がＡ等級であると特定する。一方、等級スイッチの入力がＢ等級スイッチ５２ｂである場合には、搬送中の椎茸Ｗの等級がＢ等級であると特定し、同様に、等級スイッチの入力がＣ等級スイッチ５２ｃである場合には、搬送中の椎茸Ｗの等級がＣ等級であると特定する。第１コンピュータ２６のＣＰＵ２６１は、椎茸Ｗの等級を特定すると、当該等級情報と取得したシリアル情報をメモリ２６２に記憶すると共に、カメラ２４から受信した画像と等級情報を学習データとして第２コンピュータ２８へと送信する。

本実施形態の学習モードでは、作業員が目視にて椎茸Ｗを等級ごとに分別した後に、等級ごとに椎茸Ｗをカップ１２に投入する。この際、等級スイッチ５２ａ，５２ｂ，５２ｃはカップ１２に投入される椎茸Ｗの等級に切り替える。例えば、Ａ等級の椎茸Ｗ群をカップに投入するに先立ってＡ等級スイッチを選択する。これにより、搬送されている椎茸ＷがＡ等級であることを第１コンピュータ２６へ入力することができる。

本実施形態によれば、目視で等級判定した椎茸Ｗを所定の投入タイミングで投入すれば、当該椎茸Ｗが搬送される過程で学習データが生成されるので、便利かつ効率的である。

＜変形例１＞
上記の実施形態では、椎茸Ｗの傘の開き具合によって、椎茸Ｗの外観等級を学習し判定したが、傘の形状（真円度）や、傘の傷や汚れなど、椎茸Ｗの外部品質に基づいて外観等級を学習し判定するものであっても構わない。

＜変形例２＞
また、上記の実施形態では、複数のＲＦＩＤリーダおよびＲＦタグを用いて椎茸Ｗの等級などを管理していたが、ＲＦＩＤリーダやＲＦタグは必須の構成ではない。例えば、搬送部１０を駆動制御する第１コンピュータ２６が各カップ１２の位置情報を把握して当該位置情報と当該カップ１２内の椎茸Ｗの等級を関連づけて管理しても構わない。

＜変形例３＞
上記の実施形態では、椎茸Ｗを例にして本発明の農産物の選別装置１を説明したが、椎茸Ｗに限定されることなく、外観等級を判定する必要がある農産物全般に用いることができる。

本願発明は、その趣旨を逸脱しない範囲で当業者の知識に基づいて種々なる改良、修正、又は変形を加えた態様でも実施できる。また、同一の作用又は効果が生じる範囲内で、何れかの発明特定事項を他の技術に置換した形態で実施しても良い。

１ … 選別装置
１２ … トレイ
１０ … 搬送部（コンベア）
２００ … 判定部
２０２ … 撮像部
３００ … 排出部
４００ … 等級特定部
４０２ … 生成部
４０４ … 学習部

Claims (1)

1. 農産物を搬送する搬送部と、
   前記搬送部の搬送経路に設けられた撮像部と、
   前記撮像部により生成された画像を取得し、学習済みモデルに基づいて当該画像中の農産物の外観品質を判定する判定部と、
   前記判定された外観品質毎に前記農産物を排出する排出部と、
   を備え、
   前記学習済みモデルは、前記搬送部における前記農産物の投入位置に基づいて特定された前記農産物の外観品質と前記撮像部によって生成された農産物の画像に基づいて生成可能である、
   ことを特徴とする農産物の選別装置。