CN111630519B - 检查装置 - Google Patents

Abstract

本发明的目的是提供能够抑制包含有时相互重合的多个物品的商品的检查精度降低的检查装置。X射线检查装置(10)对容纳有规定形状的多个物品(A)的商品(G)照射光，基于根据透射过商品(G)的光或者被商品(G)反射的光而得到的检查图像来检查商品(G)。X射线检查装置(10)具备存储部(51)、学习部(52c)以及检查部(52d)。存储部(51)将多个物品(A)重合的状态的商品(G)的检查图像至少存储为指导训练图像。学习部(52c)通过使用存储部(51)中存储的指导训练图像的机械学习来获取关于多个物品(A)重合的状态的商品(G)的特征。检查部(52d)使用学习部(52c)所获取的特征来检查商品(G)。

Description

检查装置

技术领域

本发明涉及对食品等商品照射X射线等光来进行商品的检查的检查装置。

背景技术

以往，如在专利文献1(日本特开2002-228761号公报)中公开的，使用对食品等商品照射X射线等光来进行商品的检查的检查装置。检查装置基于根据透射过作为检查对象的商品的光而得到的透射图像进行商品的检查。检查装置例如检查是否有混入到商品中的异物、以及商品所包含的物品的个数。

发明内容

发明要解决的问题

作为检查对象的商品例如是容纳有多个物品的袋，在袋的内部物品有时相互重合的情况下，使用根据物品的重叠程度来设定透射图像的亮度的阈值并判定物品的重叠程度的方法。但是，在这种情况下，物品的重叠程度越大，基于透射图像的商品的检查精度有可能越降低。

本发明的目的在于提供能够抑制包含有时相互重合的多个物品的商品的检查精度降低的检查装置。

用于解决问题的方案

本发明的检查装置对容纳有规定形状的多个物品的商品照射光，基于根据透射过商品的光或者被商品反射的光而得到的检查图像来检查商品。检查装置具备存储部、学习部以及检查部。存储部将多个物品重合的状态的商品的检查图像至少存储为指导训练图像。学习部通过使用在存储部中存储的指导训练图像的机器学习，获取关于多个物品重合的状态的商品的特征。检查部使用学习部所获取的特征来检查商品。

本发明的检查装置执行将多个物品重合的状态的商品的检查图像用作指导训练图像的机器学习，从而能够抑制包含有时相互重合的多个物品的商品的检查精度降低。

另外，优选检查部检查商品是否包含异物。

另外，优选存储部将包含异物的商品的检查图像至少存储为指导训练图像，学习部通过使用指导训练图像和在指导训练图像中存在商品所包含的异物的区域的机器学习来获取关于商品的特征。

另外，优选存储部将在不包含异物的商品的检查图像中加入虚拟的异物的图像而得到的图像至少存储为指导训练图像，学习部通过使用指导训练图像和在指导训练图像中存在虚拟的异物的区域的机器学习来获取关于商品的特征。

在这种情况下，检查装置能够以不将包含实际的异物的商品的检查图像用作指导训练图像的方式获取关于多个物品重合的状态的商品的特征。

另外，优选检查部检查商品所容纳的物品的数量。

另外，优选学习部通过使用指导训练图像和在指导训练图像中商品所容纳的物品的数量的机器学习来获取关于商品的特征。

另外，优选检查部进一步不使用关于商品的特征而基于检查图像来检查商品。

在这种情况下，检查装置例如将使用机器学习的图像处理技术与不使用机器学习的图像处理技术组合来检查商品，从而能够提高检查的可靠性。

另外，优选检查部基于使用了关于商品的特征时的商品的检查结果、以及不使用关于商品的特征时的商品的检查结果来检查商品。

在这种情况下，检查装置例如基于包括使用了机器学习时的检查结果、以及不使用机器学习时的检查结果的多个检查结果来获取商品的最终的检查结果，从而能够提高检查的可靠性。

发明效果

本发明的检查装置能够抑制包含有时相互重合的多个物品的商品的检查精度降低。

附图说明

图1是示出作为本发明的一实施方式的X射线检查装置10的外观的立体图。

图2是组装有X射线检查装置10的检查线100的概略图。

图3是商品G的示意性俯视图的一个例子。

图4是X射线检查装置10的屏蔽箱11的内部的概略图。

图5是示出由线传感器30检测的透射X射线的强度的例子的坐标图。

图6是控制装置50的框图。

图7是示出商品G的透射图像的一个例子的图。

图8是示出包含异物C的商品G的透射图像的一个例子的图。

图9是控制装置50检查商品G的处理的流程图。

图10是变形例D的商品G的透射图像的一个例子。

具体实施方式

参照附图说明本发明的实施方式。以下说明的实施方式是本发明的一个具体例，并不限定本发明的技术范围。

(1)X射线检查装置的整体构成

图1是示出作为本发明的检查装置的一实施方式的X射线检查装置10的外观的立体图。图2是组装有X射线检查装置10的检查线100的概略图。检查线100进行商品G的检查。在检查线100中，商品G由前段输送机60搬运到X射线检查装置10。在图2中，商品G的搬运方向由箭头示出。

X射线检查装置10通过对前段输送机60连续地搬运来的商品G照射X射线来进行商品G的优劣判断。具体而言，X射线检查装置10进行商品G的异物混入检查，基于检查结果将商品G分为合格品或不合格品。X射线检查装置10的检查结果被送至配置于X射线检查装置10的下游侧的分拣机构70。分拣机构70将X射线检查装置10中被判断为合格品的商品G向排出合格品的后级输送机80输送。分拣机构70将X射线检查装置10中判断为不合格品的商品G向不合格品排出方向90、91分拣并从检查线100排出。

本实施方式中，商品G容纳有规定形状的多个物品A。例如，商品G是包装有实质上具有相同形状的多个食品(物品A)的袋。在一个商品G中，多个物品A有时相互重合。图3是商品G的示意性俯视图的一个例子。在图3中，商品G是放入有多个物品A(香肠等)的袋B。在这种情况下，如图3所示，在从上观看商品G的情况下，在袋B中物品A有时相互重合。以下，根据需要在从上观看一个商品G的情况下，将多个物品A相互重合的区域称为重叠区域RO。在图3中，示出了若干重叠区域RO。由X射线检查装置10检查的商品G的大部分在从上观看的情况下具有重叠区域RO。

(2)X射线检查装置的详细说明

X射线检查装置10主要由屏蔽箱11、搬运单元12、X射线照射器20、线传感器30、监视器40以及控制装置50构成。

(2-1)屏蔽箱

图4是X射线检查装置10的屏蔽箱11的内部的概略图。屏蔽箱11是X射线检查装置10的壳体。如图1所示，在屏蔽箱11的两侧面形成有用于搬入搬出商品G的开口11a。开口11a用于从屏蔽箱11的外部向内部搬入商品G、或者用于从屏蔽箱11的内部向外部搬出商品G。开口11a被屏蔽帘19封闭。屏蔽帘19抑制从屏蔽箱11的内部向外部泄漏X射线。屏蔽帘19由钨板成形。屏蔽帘19在商品G搬入搬出时被商品G推动。

在屏蔽箱11的内部容纳有搬运单元12、X射线照射器20、线传感器30以及控制装置50等。在屏蔽箱11的正面上部配置有监视器40、输入用的键、以及电源开关等。

(2-2)搬运单元

搬运单元12是用于搬运商品G以使其通过屏蔽箱11的内部的带式输送机。如图1所示，搬运单元12被配置为贯通形成于屏蔽箱11的两侧面的开口11a。

搬运单元12主要由输送机电机12a、编码器12b、输送辊12c、环状的带12d构成。输送辊12c被输送机电机12a驱动。通过输送辊12c的驱动，带12d进行旋转，搬运带12d上的商品G。在图4中，商品G的搬运方向用箭头示出。

搬运单元12的商品G的搬运速度根据X射线检查装置10的操作者所输入的设定速度而变动。控制装置50基于设定速度对输送机电机12a进行变频控制，对商品G的搬运速度进行细致地控制。搬运单元12的编码器12b通过检测输送机电机12a的旋转速度来计算出商品G的搬运速度并将其发送至控制装置50。

此外，搬运单元12使用了带式输送机作为输送机构，但也可以取代带式输送机而使用顶链输送机及旋转台等作为输送机构。

(2-3)X射线照射器

X射线照射器20是对由搬运单元12搬运至屏蔽箱11内部的规定的位置的商品G照射X射线的X射线源。从X射线照射器20照射的X射线包含各种能量的X射线。

如图4所示，X射线照射器20配置于搬运单元12的上方。X射线照射器20向配置于搬运单元12的下方的线传感器30照射扇状的X射线(放射光)。X射线的照射范围X如图4所示垂直于搬运单元12的搬运面，并且在与搬运单元12的商品G的搬运方向正交的方向上扩展。即，从X射线照射器20照射的X射线在带12d的宽度方向上扩展。

(2-4)线传感器

线传感器30是检测从X射线照射器20照射的X射线的传感器。具体而言，线传感器30检测透射过搬运单元12所搬运的商品G的X射线、即透射X射线。

如图4所示，线传感器30配置于搬运单元12的带12d的下方。线传感器30由多个X射线检测元件构成。多个X射线检测元件沿着与搬运单元12的商品G的搬运方向正交的方向(带12d的宽度方向)被水平地配置为一条直线。

线传感器30检测透射X射线，输出示出与所检测的透射X射线的强度对应的电压的X射线透射信号。如后所述，X射线透射信号用于商品G的透射图像(检查图像)的生成。图5是示出线传感器30所检测的透射X射线的强度的例子的坐标图。坐标图的横轴表示线传感器30上的位置。坐标图的纵轴表示线传感器30检测出的透射X射线的强度。在商品G的透射图像中，明亮(亮度高)地显示透射X射线的检测量多的部分，灰暗(亮度低)地显示透射X射线的检测量少的部分。即，商品G的透射图像的明暗(亮度)依赖于透射X射线的检测量。如图5所示，透射过商品G的X射线的检测量比未透射过商品G的X射线的检测量低。

另外，线传感器30也作为用于探测商品G通过X射线的扇状的照射范围X(参照图4和图5)的定时的传感器而发挥功能。即，线传感器30在搬运单元12所搬运的商品G来到线传感器30的上方的位置(与照射范围X重叠的位置)时，输出示出规定的阈值以下的电压的X射线透射信号(第一信号)。另一方面，线传感器30在商品G通过照射范围X时，输出示出超过规定的阈值的电压的X射线透射信号(第二信号)。通过第一信号和第二信号的输出的定时来检测商品G通过照射范围X的定时。

(2-5)监视器

监视器40是带触摸面板功能的液晶显示器。监视器40作为X射线检查装置10的显示部和输入部而发挥功能。在监视器40上显示商品G的检查结果等。另外，在监视器40上显示用于输入初始设定、以及关于商品G的优劣判断的参数的画面等。

X射线检查装置10的操作者能够操作监视器40，输入检查参数和动作设定信息等。检查参数是为了判定商品G的优劣所需的参数。具体而言，检查参数是用于判定商品G是否包含异物的透射X射线的强度的阈值等。动作设定信息是商品G的检查速度、以及搬运单元12的搬运方向等信息。

监视器40连接于制装置50，与控制装置50进行信号的发送接收。通过监视器40所输入的检查参数和动作设定信息存储于控制装置50的存储部51。

(2-6)控制装置

控制装置50主要由CPU、ROM、RAM以及HDD(硬盘驱动器)等构成。此外，也可以取代HDD而使用SSD(固态硬盘)。控制装置50还具备未图示的显示控制电路、输入电路以及通信端口等。显示控制电路是控制监视器40的显示的电路。输入电路是取入由操作者经由监视器40的触摸面板及输入键而输入的输入数据的电路。通信端口是能够进行与打印机等外部设备、以及LAN等网络的连接的端口。

图6是控制装置50的框图。控制装置50主要具有存储部51和控制部52。控制装置50与输送机电机12a、编码器12b、X射线照射器20、线传感器30以及监视器40等电连接。控制装置50从编码器12b获取关于输送机电机12a的转速的数据，基于该数据算出商品G的移动距离。控制装置50接收从线传感器30输出的X射线透射信号，检测搬运单元12的带12d上的商品G到达X射线的照射范围X的定时。控制装置50基于透射X射线的强度来判定商品G是否包含异物，判定商品G的优劣。

(2-6-1)存储部

存储部51存储检查参数、动作设定信息以及控制部52所执行的各种程序。检查参数和动作设定信息是由操作者使用监视器40的触摸面板功能输入的。

存储部51主要具有透射图像存储部51a、指导训练数据存储部51b以及特征量存储部51c。

(2-6-1-1)透射图像存储部

透射图像存储部51a存储关于由后述的透射图像生成部52a生成的透射图像的数据。透射图像是基于由线传感器30检测出的透射X射线量生成的商品G的X射线图像。

图7是示出商品G的透射图像的一个例子的图。商品G如图3所示是放有多个物品A的袋B。物品A是食品。袋B是包装用的膜。如图7所示，商品G有时会混入有异物C。异物C例如是塑料片和金属片。图7所示的透射图像由多个像素构成。透射图像的各像素具有多个浓度等级中的一个等级。透射图像的各像素的浓度等级与X射线的检测量对应。具体而言，像素的浓度等级越高，该像素中的X射线的检测量越低。在图7中，透射图像的浓度等级用影线的间隔表示。具体而言，某区域的影线的间隔越窄，构成该区域的像素的浓度等级越高。

图7所示的商品G的透射图像包含分别相当于物品A、袋B以及异物C的像素。物品A与袋B相比厚度较大，X射线难以透射过。因此，透射过物品A的X射线的检测量比透射过袋B的X射线的检测量少。另外，异物C通常与物品A相比，X射线更难以透射过。因此，透射过异物C的X射线的检测量比透射过物品A的X射线的检测量少。因而，在图7所示的商品G的透射图像中，相当于物品A的像素比相当于袋B的像素灰暗(浓烈)地显示，并且相当于异物C的像素比相当于物品A的像素灰暗(浓烈)地显示。

(2-6-1-2)指导训练数据存储部

指导训练数据存储部51b存储后述的学习部52c用于获取关于商品G的特征的指导训练数据。指导训练数据主要是从透射图像存储部51a中存储的透射图像提取的图像数据、以及其它数据。其它数据例如是在商品G的透射图像中关于多个物品A相互重合的区域(重叠区域RO)的数据、以及关于存在商品G所包含的异物C的区域的数据。指导训练数据的详细和使用方法将在后面描述。

(2-6-1-3)特征量存储部

特征量存储部51c存储用于后述的检查部52d检查商品G的、商品G的透射图像的特征量。特征量是指从指导训练数据提取的数据，是将指导训练数据所包含的特征数值化或者向量化而得到的数据。关于特征量的详细和使用方法将在后面描述。

(2-6-2)控制部

控制部52主要具有透射图像生成部52a、指导训练数据获取部52b、学习部52c以及检查部52d。它们是通过执行存储部51中存储的程序而实现的功能。

(2-6-2-1)透射图像生成部

透射图像生成部52a基于由线传感器30检测出的透射X射线量生成商品G的X射线图像(透射图像)。具体而言，透射图像生成部52a按照规定的短的时间间隔获取从线传感器30的各X射线检测元件输出的X射线透射信号，基于获取的X射线透射信号生成透射图像。即，透射图像生成部52a基于商品G通过扇状的X射线的照射范围X(参照图5)时从各X射线检测元件输出的X射线透射信号来生成商品G的透射图像。照射范围X中的商品G的有无通过线传感器30所输出的信号的输出定时来判断。

透射图像生成部52a将关于从线传感器30的各X射线检测元件得到的透射X射线的强度(亮度)的规定的每时间间隔的数据按矩阵状以时间序列相连，生成商品G的透射图像。由透射图像生成部52a生成的透射图像存储到透射图像存储部51a。

(2-6-2-2)指导训练数据获取部

指导训练数据获取部52b获取学习部52c所使用的指导训练数据。透射图像存储部51a预先存储有作为包含异物C的商品G的透射图像的数据的有异物图像数据、以及作为不包含异物C的商品G的透射图像的数据的无异物图像数据。有异物图像数据和无异物图像数据中的至少一部分是具有重叠区域R的商品G的透射图像的数据。指导训练数据获取部52b获取透射图像存储部51a中存储的有异物图像数据和无异物图像数据。此外，指导训练数据获取部52b只要至少获取有异物图像数据即可，在这种情况下，可以不获取无异物图像数据。以下，指导训练数据获取部52b获取有异物图像数据和无异物图像数据这两者。指导训练数据获取部52b所获取的有异物图像数据和无异物图像数据的数量越多越好。例如，指导训练数据获取部52b分别获取几百个或几千个在透射图像存储部51a中预先存储的有异物图像数据和无异物图像数据。

指导训练数据获取部52b在商品G的透射图像中还获取作为关于多个物品A相互重合的区域(重叠区域RO)的数据的重叠区域数据。重叠区域数据是指在商品G的透射图像中关于重叠区域RO的位置和尺寸的数据。图8是示出包含异物C的商品G的透射图像的一个例子的图。在图8中，示出一个重叠区域RO和作为包含该重叠区域RO的最小的矩形区域的重叠矩形RP。在这种情况下，重叠区域数据例如包括重叠矩形RP的左上的像素的坐标和重叠矩形RP的右下的像素的坐标。此外，重叠区域数据的格式没有特别限定。例如，重叠区域数据既可以包括包含重叠区域RO的最小的圆区域的中心和半径，也可以是与重叠区域RO的形状接近的多边形的各顶点的坐标的集合，也可以是以手动任意指定的区域的坐标的集合。

指导训练数据获取部52b在包含异物C的商品G的透射图像中还获取作为关于异物C所存在的区域的数据的异物区域数据。异物区域数据是指在包含异物C的商品G的透射图像中关于具有相当于异物C的像素的区域的位置和尺寸的数据。在图8中，示出作为包含具有相当于异物C的像素的区域的最小的矩形区域的异物区域RC。在这种情况下，异物区域数据包括异物区域RC的左上的像素的坐标和异物区域RC的右下的像素的坐标。此外，异物区域数据的格式没有特别限定。例如，异物区域数据既可以包括包含具有相当于异物C的像素的区域的最小的圆区域的中心和半径，也可以是与具有相当于异物C的像素的区域的形状接近的多边形的各顶点的坐标的集合，也可以是以手动任意指定的区域的坐标的集合。

商品G的透射图像、以及各透射图像的重叠区域数据及异物区域数据经由监视器40的触摸面板功能等输入，或者经由通信端口从外部存储装置输入。在不存在重叠区域RO时的重叠区域数据、以及无异物图像数据的异物区域数据中，设定示出不存在值的NULL值等。指导训练数据获取部52b将商品G的透射图像的数据与该透射图像的重叠区域数据及异物区域数据相关联，作为指导训练数据存储到指导训练数据存储部51b。如后所述，指导训练数据获取部52b所获取的指导训练数据是所谓的用于有指导训练的学习的带标记的训练数据。在这种情况下，标记是重叠区域数据和异物区域数据，是需要预先输入的数据。

(2-6-2-3)学习部

学习部52c通过使用在指导训练数据存储部51b中存储的指导训练数据的机器学习来获取关于多个物品A重合的状态的商品G的特征。学习部52c所执行的机器学习是所谓的使用带标记的训练数据的有指导训练的学习。有指导训练的学习是分析多个带标记的训练数据来学习关于标记的特征的方法。在有指导训练的学习中，能够使用各种神经网络模型。

学习部52c分析商品G的透射图像的数据与该透射图像的重叠区域数据及异物区域数据相关联的多个指导训练数据。由此，学习部52c获取指导训练数据所包含的有异物图像数据和无异物图像数据的特征量。学习部52c所获取的特征量是与关于多个物品A重合的状态的商品G的特征相关的数据。通过手动预先设计特征量的格式。学习部52在进行商品G的异物混入检查之前分析指导训练数据来获取特征量，将所获取的特征量存储到特征量存储部51c。

(2-6-2-4)检查部

检查部52d使用学习部52c所获取的特征量来检查商品G。具体而言，检查部52d使用在特征量存储部51c中存储的特征量将成为异物混入检查的对象的未检查的商品G的透射图像的数据分为有异物图像数据和无异物图像数据。

检查部52d基于商品G的检查结果进行关于商品G的合格品/不合格品的判定。检查部52d在判断为未检查的商品G的透射图像的数据是无异物图像数据、商品G不包含异物C的情况下，将商品G判定为合格品。另一方面，检查部52d在判断为未检查的商品G的透射图像的数据是有异物图像数据、商品G包含异物C的情况下，将商品G判定为不合格品。

检查部52d若判定商品G的合格品/不合格品，则输出关于商品G是合格品/不合格品中的哪一种的信号。由检查部52d输出的信号被发送到分拣机构70。分拣机构70基于检查部52d的判定结果，将作为合格品的商品G向后级输送机80输送，将作为不合格品的商品G向不合格品排出方向90、91分配。

(3)X射线检查装置的动作

关于X射线检查装置10的控制装置50使用通过利用指导训练数据的机器学习获取的特征量来检查商品G的处理进行说明。图9是控制装置50检查商品G的处理的流程图。

在步骤S1中，进行指导训练数据的获取。具体而言，有异物图像数据及无异物图像数据与重叠区域数据及异物区域数据相关联并输入到控制装置50。指导训练数据获取部52b根据被输入的数据获取能够用作指导训练数据的数据，使该数据存储到指导训练数据存储部51b。此外，作为有异物图像数据和无异物图像数据，也可以使用在透射图像存储部51a中已经存储的商品G的透射图像的数据。在这种情况下，重叠区域数据和异物区域数据与商品G的透射图像的数据相关联并被输入。

在步骤S2中，进行使用指导训练数据的机器学习的执行。具体而言，控制装置50的学习部52c分析作为在步骤S1中获取的指导训练数据的带标记的训练数据，获取与关于多个物品A重合的状态的商品G的特征关于的数据即商品G的透射图像的特征量。商品G的透射图像的特征量存储到特征量存储部51c。步骤S1和步骤S2是准备阶段，在执行未检查的商品G的检查之前进行步骤S1和步骤S2。

在步骤S3中，进行商品G的检查。具体而言，控制装置50的检查部52d基于关于由透射图像生成部52a生成的未检查的商品G的透射图像的数据、以及在步骤S2中获取的特征量，从关于未检查的商品G的透射图像的数据提取关于多个物品A重合的状态的商品G的特征，分为有异物图像数据和无异物图像数据。之后，检查部52d基于商品G的检查结果进行关于商品G的合格品/不合格品的判定。

(4)特征

本实施方式的X射线检查装置10执行使用指导训练数据的机器学习，获取关于多个物品A重合的状态的商品G的特征的数据，基于该特征进行商品G的检查。指导训练数据包含关于在商品G的透射图像中多个物品A相互重合的区域(重叠区域RO)的数据、以及关于存在商品G所包含的异物C的区域的数据。由此，X射线检查装置10能够以高精度从成为异物混入检查的对象的未检查的商品G的透射图像的数据获取重叠区域RO。因此，X射线检查装置10在分析未检查的商品G的透射图像时，能够抑制将商品G的透射图像所包含的重叠区域RO与存在商品G的透射图像所包含的异物C的区域混淆而获取错误的检查结果。

在对商品G照射X射线的情况下，多个物品A重合的部分与未重合的部分相比，X射线更难以透射过。因此，在商品G的透射图像中，重叠区域RO的像素比相当于重叠区域RO以外的物品A的像素灰暗地显示。因此，根据物品A的重叠程度的不同，重叠区域RO的像素有时按与相当于商品G所包含的异物C的像素相同的程度灰暗地显示。在根据物品A的重叠程度来设定透射图像的亮度的阈值并判定物品A的重叠程度的情况下，有时难以仅基于亮度来区分重叠区域RO的像素和相当于异物C的像素。因此，由于错误判定重叠区域RO和存在异物C的区域，所以商品G的检查精度有时会降低。特别是，有物品A的重叠程度越大，商品G的检查精度越降低的倾向。

如上所述，本实施方式的X射线检查装置10基于执行使用指导训练数据的机器学习而获取的特征来检查商品G，从而在检查商品G时，能够抑制混淆商品G的透射图像所包含的重叠区域RO和存在异物C的区域。由此，X射线检查装置10能够抑制将不包含异物C的商品G错误判定为不合格品。因而，X射线检查装置10能够抑制包含有时相互重合的多个物品A的商品G的检查精度降低。

(5)变形例

以上，说明了本发明的一实施方式，但本发明不限于上述实施方式，能够在不脱离发明的宗旨的范围内进行各种变更。

(5-1)变形例A

在实施方式中，指导训练数据获取部52b将作为包含异物C的商品G的透射图像的数据的有异物图像数据、以及作为不包含异物C的商品G的透射图像的数据的无异物图像数据与重叠区域数据及异物区域数据相关联而作为指导训练数据获取。但是，指导训练数据获取部52b也可以代替有异物图像数据而获取作为在不包含异物C的商品G的透射图像中加入虚拟的异物VC的图像而得到的图像的数据的有虚拟异物图像数据。有虚拟异物图像数据例如可以在不包含异物C的商品G的透射图像的任意的场所通过手动追加虚拟的异物VC的图像而生成，另外，也可以执行在不包含异物C的商品G的透射图像中自动追加虚拟的异物VC的图像的程序而生成。虚拟的异物VC的图像例如是具有与实际的异物C的透射图像相同程度的亮度的像素的集合。

在本变形例中，有虚拟异物图像数据与有异物图像数据同样地被使用。即，指导训练数据获取部52b将有虚拟异物图像数据与重叠区域数据和异物区域数据相关联而作为指导训练数据获取。在自动生成有虚拟异物图像数据的情况下，能够自动获取关于存在虚拟的异物VC的区域的位置和尺寸的异物区域数据，因此无需输入异物区域数据。学习部52c使用包含有虚拟异物图像数据的指导训练数据来获取关于多个物品A重合的状态的商品G的特征。由此，学习部52c获取有虚拟异物图像数据和无异物图像数据的特征量。检查部52d基于学习部52c所获取的特征量，将未检查的商品G的透射图像分为有异物图像数据和无异物图像数据。

在本变形例中，使用有虚拟异物图像数据，因此无需准备关于有异物图像数据的指导训练数据。因此，无需为了指导训练数据的准备而准备包含实际的异物C的商品G，因此能够缩短指导训练数据的准备所需要的时间。特别是，在自动生成有虚拟异物图像数据的情况下，能够进一步缩短指导训练数据的准备所需要的时间。因而，X射线检查装置10能够高效地进行使用机器学习的商品G的检查。

此外，在本变形例中也可以是，指导训练数据获取部52b与有异物图像数据一起获取有虚拟异物图像数据。即，指导训练数据获取部52b也可以获取实施方式的包含有异物图像数据的指导训练数据、以及包含有虚拟异物图像数据的指导训练数据这两者。

另外，在本变形例中也可以是，指导训练数据获取部52b获取无虚拟异物图像数据作为无异物图像数据。无虚拟异物图像数据能够基于有异物图像数据的异物以外的区域的特征来创建。另外，也可以使用自动生成无虚拟异物图像数据的程序来创建无虚拟异物图像数据。自动生成无虚拟异物图像数据的程序例如是指将物品A的多个图像随机地组合而生成与商品G的图像同样的图像数据(无虚拟异物图像数据)的程序、以及通过对多个商品G的图像进行合成处理而自动生成无虚拟异物图像数据的程序。指导训练数据获取部52b获取无虚拟异物图像数据，从而能够节省输入指导训练数据的工时。

(5-2)变形例B

在实施方式中，X射线检查装置10进行商品G的异物混入检查，基于检查结果将商品G分为合格品或不合格品。但是，X射线检查装置10也可以取代商品G的异物混入检查或者与商品G的异物混入检查一起进行检查商品G所容纳的物品A的数量的个数检查。

在本变形例中，指导训练数据存储部51b将关于商品G的透射图像的数据与作为关于商品G所包含的商品A的数量的数据的个数数据相关联而作为指导训练数据进行存储。个数数据经由监视器40的触摸面板功能和通信端口等预先输入到控制装置50。学习部52c使用包含个数数据的指导训练数据来获取关于多个物品A重合的状态的商品G的特征，获取关于商品G的透射图像的数据的特征量。检查部52d基于学习部52c所获取的特征量从未检查的商品G的透射图像获取商品G所包含的物品A的数量。然后，检查部52d基于商品G的检查结果进行关于商品G的合格品/不合格品的判定。具体而言，检查部52d在商品G所包含的物品A的数量与规定的值相等的情况下，将商品G判定为合格品，在不相等的情况下，将商品G判定为不合格品。

(5-3)变形例C

在实施方式中，X射线检查装置10基于通过使用指导训练数据的机器学习而获取的、关于多个物品A重合的状态的商品G的特征来进行商品G的检查。但是，X射线检查装置10不仅可以进行使用机器学习的检查，而且还可以进行不使用机器学习的检查。在这种情况下，X射线检查装置10通过使用指导训练数据的机器学习来判定商品G所包含的异物C的有无，并且不使用机器学习而仅基于商品G的透射图像来判定商品G所包含的异物C的有无。

在仅基于商品G的透射图像的商品G的异物判定处理中，能够使用现有的图像处理算法。例如，检查部52d在判断为表示异物C的像素区域包含于商品G的透射图像的情况下，判断为商品G包含有异物C。表示异物C的像素区域例如是由具有规定范围的亮度的像素构成并且具有规定的像素数量的像素区域。在这种情况下，检查部52d即使在使用机器学习的商品G的检查中将商品G判定为合格品，若在不使用机器学习的商品G的检查中将商品G判定为不合格品，则也可以将商品G判定为不合格品。

在实施方式的使用机器学习的商品G的检查中，例如，当检查部52d检查商品G时，有可能将商品G的透射图像所包含的重叠区域RO与存在异物C的区域混淆而对关于商品G的合格品/不合格品的判定精度带来影响。在本变形例中，X射线检查装置10将使用机器学习的图像处理技术和不使用机器学习的图像处理技术组合来检查商品G，从而能够提高商品G的检查可靠性。此外，也可以在不使用机器学习的商品G的检查中，进行将不使用机器学习的图像处理技术彼此组合后的判定。由此，能够进一步提高商品G的检查可靠性。

(5-4)变形例D

在实施方式中，X射线检查装置10基于通过使用指导训练数据的机器学习获取的、关于多个物品A重合的状态的商品G的特征来进行商品G的检查。但是，X射线检查装置10也可以基于使用机器学习获取的多个检查结果来获取商品G的最终的检查结果。在这种情况下，多个检查结果通过使用了相互不同的多个神经网络模型的有指导训练的学习来获取。检查部52d例如使用多个机器学习算法来进行商品G的检查，基于多个检查结果来获取商品G的最终的检查结果。

接着，说明本变形例的商品G的最终的检查结果的获取方法的具体例。图10是本变形例的商品G的透射图像的一个例子。检查部52d使用两种机器学习算法来获取两个商品G的检查结果。以下，将获取的两个检查结果称为第一检查结果和第二检查结果。在图10中，假设根据第一检查结果判定为在用实线包围的检查区域R1、R2中存在异物C，根据第二检查结果判定为在用虚线包围的检查区域R3中存在异物C。实际上，在检查区域R1和检查区域R3中存在异物C，在检查区域R2中不存在异物C。

在使用多个机器学习算法的商品G的检查中，针对各检查区域R1～R3设定确信度的参数。确信度是表示在各检查区域R1～R3中存在异物C的可能性的参数。确信度的最小值是0，最大值是1。某检查区域的确信度越大，在该检查区域中存在异物C的可能性越高。在图10中，设为第一检查结果的检查区域R1的确信度是0.9，第一检查结果的检查区域R2的确信度是0.8，第二检查结果的检查区域R3的确信度是0.7。在这种情况下，检查部52d根据第一检查结果和第二检查结果并通过以下说明的方法获取商品G的最终的检查结果。

在不同的检查结果的检查区域相互重合的情况下，对相互重合的检查区域的确信度的平均值乘以与检查区域的重叠程度相应的1以上的系数而获取最终的确信度。在图10的情况下，检查区域R1与检查区域R3重合，因此对检查区域R1的确信度0.9与检查区域R3的确信度0.7的平均值0.8乘以系数1.2而得到的0.96成为检查区域R1和检查区域R3的最终的确信度。这种情况下的系数是检查区域的重叠程度、即相互重合的检查区域的数量越大则越高。例如，在两个检查区域重合的情况下，系数是1.2，在三个检查区域重合的情况下，系数是1.5。

另一方面，在某检查结果的检查区域与其它检查结果的检查区域不重合的情况下，对该检查区域的确信度乘以不到1的系数而获取最终的确信度。在图10的情况下，检查区域R2与其它检查结果的检查区域不重合，因此对检查区域R2的确信度0.8乘以系数0.9而得到的0.72成为检查区域R2的最终的确信度。设定这种情况下的系数是不到1的任意值。

然后，检查部52d判定为异物C存在于具有规定的阈值以上的最终的确信度的检查区域。在图10的情况下，若设为规定的阈值是0.95，则检查部52d判定为异物C存在于具有阈值为0.95以上的最终的确信度0.96的检查区域R1和检查区域R3。这样，检查部52d通过基于多个检查结果的多数表决获取商品G的最终的检查结果，从而能够提高商品G的检查可靠性。

此外，在本变形例中也可以是，检查部52基于包括使用了关于通过使用指导训练数据的机器学习获取的商品G的特征时的商品G的检查结果、以及不使用关于商品G的特征时的商品G的检查结果的多个检查结果，获取商品G的最终的检查结果。在这种情况下，检查部52使用参照图10说明的上述的方法并通过基于多个检查结果的多数表决来获取商品G的最终的检查结果。

(5-5)变形例E

在实施方式和其它变形例中，X射线检查装置10基于通过使用指导训练数据的机器学习获取的、关于多个物品A重合的状态的商品G的特征来进行商品G的检查。学习部52c所执行的机器学习是有指导训练的学习。有指导训练的学习是分析多个带标记的训练数据并学习规定的特征量的方法。在有指导训练的学习中，需要以手动预先设计特征量的格式。

但是，学习部52c所执行的机器学习也可以是不使用带标记的训练数据的学习。例如，学习部52c也可以使用深层学习的算法并根据多个商品G的透射图像自动提取有异物图像数据和无异物图像数据的特征量。在这种情况下，无需预先以手动来设计特征量的格式。因此，无需准备将有异物图像数据和异物区域数据相关联的指导训练数据，能够缩短指导训练数据的准备所需要的时间。因而，X射线检查装置10能够通过使用根据关于商品G的透射图像的数据而自动提取特征量的算法来高效地进行使用机器学习的商品G的检查。

(5-6)变形例F

在实施方式中，本发明的检查装置是使用X射线来进行商品G的异物混入检查的X射线检查装置10。但是，本发明的检查装置不限于X射线检查装置10。例如，检查装置若是在食品制造工序中普遍使用的由光进行的异物检查装置，则也可以是使用红外线、紫外线以及可视光等来进行商品G的异物混入检查的装置。

(5-7)变形例G

在实施方式和其它变形例中，X射线检查装置10对商品G照射光(X射线)，基于根据透射过商品G的光而得到的透射图像(检查图像)来检查商品G。但是，X射线检查装置10也可以对商品G照射光(X射线)并基于根据由商品G反射的光而得到的检查图像来检查商品G。在这种情况下，线传感器30检测由搬运单元12搬运的商品G所反射的X射线。

工业上的可利用性

本发明的检查装置例如能够用作对食品等商品照射X射线等的光来进行商品的检查的X射线检查装置。

附图标记说明

10…X射线检查装置(检查装置)；51…存储部；52c…学习部；52d…检查部；G…商品；A…物品；C…异物；VC…虚拟的异物。

现有技术文献

专利文献

专利文献1：日本特开2002-228761号公报

Claims (9)

1.一种检查装置，对容纳有规定形状的多个物品的商品照射光，基于根据透射过所述商品的光或者被所述商品反射的光而得到的检查图像来检查所述商品，其中，所述检查装置具备：

存储部，存储指导训练数据，所述指导训练数据是将多个所述物品重合的状态的所述商品的所述检查图像与所述检查图像的重叠区域数据以及异物区域数据相关联的数据；

学习部，通过使用所述存储部中存储的所述指导训练数据的机器学习，获取关于多个所述物品重合的状态的所述商品的特征；以及

检查部，使用所述学习部所获取的所述特征来检查所述商品，

所述重叠区域数据是关于在所述检查图像中多个所述物品相互重合的区域的数据，

所述异物区域数据是关于在所述检查图像中异物所存在的区域的数据。

2.根据权利要求1所述的检查装置，其中，

所述检查部检查所述商品是否包含异物。

3.根据权利要求2所述的检查装置，其中，

所述存储部将包含异物的所述商品的所述检查图像至少存储为所述指导训练数据，

所述学习部通过使用所述指导训练数据和在所述指导训练数据中存在所述商品所包含的异物的区域的机器学习来获取所述特征。

4.根据权利要求2或3所述的检查装置，其中，

所述存储部将在不包含异物的所述商品的所述检查图像中加入虚拟的异物的图像而得到的图像至少存储为所述指导训练数据，

所述学习部通过使用所述指导训练数据和在所述指导训练数据中存在所述虚拟的异物的区域的机器学习来获取所述特征。

5.根据权利要求1至3中任一项所述的检查装置，其中，

所述检查部检查所述商品中容纳的所述物品的数量。

6.根据权利要求5所述的检查装置，其中，

所述学习部通过使用所述指导训练数据和在所述指导训练数据中所述商品所容纳的所述物品的数量的机器学习来获取所述特征。

7.根据权利要求1至3中任一项所述的检查装置，其中，

所述检查部进一步不使用所述特征而基于所述检查图像来检查所述商品。

8.根据权利要求7所述的检查装置，其中，

所述检查部基于使用了所述特征时的所述商品的检查结果以及不使用所述特征时的所述商品的检查结果来检查所述商品。

9.一种检查装置，对容纳有规定形状的多个物品的商品照射光，基于根据透射过所述商品的光或者被所述商品反射的光而得到的检查图像来检查所述商品，其中，所述检查装置具备：

学习部，使用所述检查图像的重叠区域数据以及异物区域数据，获取关于所述商品的特征；以及

检查部，使用所述学习部所获取的所述特征来检查所述商品，所述检查部基于使用了所述特征时的所述商品的检查结果以及不使用所述特征时的所述商品的检查结果来获取所述商品的最终的检查结果，

所述重叠区域数据是关于在所述检查图像中多个所述物品相互重合的区域的数据，

所述异物区域数据是关于在所述检查图像中异物所存在的区域的数据。