CZ308783B6 - Equipment for assessing impurities in fibrous material - Google Patents
Equipment for assessing impurities in fibrous material Download PDFInfo
- Publication number
- CZ308783B6 CZ308783B6 CZ2020443A CZ2020443A CZ308783B6 CZ 308783 B6 CZ308783 B6 CZ 308783B6 CZ 2020443 A CZ2020443 A CZ 2020443A CZ 2020443 A CZ2020443 A CZ 2020443A CZ 308783 B6 CZ308783 B6 CZ 308783B6
- Authority
- CZ
- Czechia
- Prior art keywords
- radiation
- image
- vis
- cotton
- fibrous material
- Prior art date
Links
- 239000012535 impurity Substances 0.000 title claims abstract description 63
- 239000002657 fibrous material Substances 0.000 title claims abstract description 62
- 230000005855 radiation Effects 0.000 claims abstract description 95
- 229920000742 Cotton Polymers 0.000 claims abstract description 65
- 230000003287 optical effect Effects 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 5
- 239000000835 fiber Substances 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 30
- 238000001228 spectrum Methods 0.000 claims description 28
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 11
- 239000012634 fragment Substances 0.000 claims description 8
- 210000004209 hair Anatomy 0.000 claims description 8
- 239000004744 fabric Substances 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 5
- 230000001678 irradiating effect Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 239000010903 husk Substances 0.000 claims description 4
- 239000002245 particle Substances 0.000 claims description 4
- 239000002689 soil Substances 0.000 claims description 4
- 238000004040 coloring Methods 0.000 claims description 3
- 239000005022 packaging material Substances 0.000 claims description 3
- 239000003973 paint Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 229920002994 synthetic fiber Polymers 0.000 claims description 2
- 238000002211 ultraviolet spectrum Methods 0.000 claims description 2
- 238000001429 visible spectrum Methods 0.000 claims description 2
- 238000010191 image analysis Methods 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 241000219146 Gossypium Species 0.000 description 48
- 238000013528 artificial neural network Methods 0.000 description 21
- 239000000463 material Substances 0.000 description 12
- 239000004753 textile Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000004140 cleaning Methods 0.000 description 6
- 238000011109 contamination Methods 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 239000004417 polycarbonate Substances 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 235000012055 fruits and vegetables Nutrition 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 240000002024 Gossypium herbaceum Species 0.000 description 1
- 235000004341 Gossypium herbaceum Nutrition 0.000 description 1
- 240000006240 Linum usitatissimum Species 0.000 description 1
- 235000004431 Linum usitatissimum Nutrition 0.000 description 1
- 239000004952 Polyamide Substances 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 125000002015 acyclic group Chemical group 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 239000003599 detergent Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 229920001903 high density polyethylene Polymers 0.000 description 1
- 239000004700 high-density polyethylene Substances 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 229920002647 polyamide Polymers 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 239000004810 polytetrafluoroethylene Substances 0.000 description 1
- 229920001343 polytetrafluoroethylene Polymers 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 229910052594 sapphire Inorganic materials 0.000 description 1
- 239000010980 sapphire Substances 0.000 description 1
- 239000003923 scrap metal Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 239000012209 synthetic fiber Substances 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 238000001392 ultraviolet--visible--near infrared spectroscopy Methods 0.000 description 1
- 210000002268 wool Anatomy 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/344—Sorting according to other particular properties according to electric or electromagnetic properties
-
- D—TEXTILES; PAPER
- D01—NATURAL OR MAN-MADE THREADS OR FIBRES; SPINNING
- D01H—SPINNING OR TWISTING
- D01H13/00—Other common constructional features, details or accessories
- D01H13/14—Warning or safety devices, e.g. automatic fault detectors, stop motions ; Monitoring the entanglement of slivers in drafting arrangements
-
- D—TEXTILES; PAPER
- D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
- D06H—MARKING, INSPECTING, SEAMING OR SEVERING TEXTILE MATERIALS
- D06H3/00—Inspecting textile materials
- D06H3/08—Inspecting textile materials by photo-electric or television means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/36—Textiles
- G01N33/362—Material before processing, e.g. bulk cotton or wool
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Textile Engineering (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Materials Engineering (AREA)
- Mechanical Engineering (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
Zařízení pro hodnocení nečistot ve vlákenném materiáluEquipment for the assessment of impurities in fibrous material
Oblast technikyField of technology
Vynález se týká zařízení pro hodnocení nečistot ve vlákenném materiálu, které obsahuje snímkovací zařízení vlákenného materiálu ve snímané ploše, jemuž je přiřazeno alespoň jedno osvětlovací zařízení vlákenného materiálu ve snímané ploše, přičemž snímkovací zařízení je napojeno na výpočetní zařízení uzpůsobené pro zpracování snímků ze snímkovacího zařízení a pro vyhodnocení nečistot ve vlákenném materiálu, přičemž snímkovací zařízení obsahuje maticový pixelový optický snímač typu CMOS nebo CCD a osvětlovací zařízení obsahuje alespoň jeden zdroj viditelného záření, alespoň jeden zdroj UV záření a alespoň jeden zdroj NIR záření a osvětlovací zařízení je spřaženo s řídicí elektronikou uzpůsobenou pro synchronizaci činnosti osvětlovacího zařízení a maticového pixelového optického snímače typu CMOS nebo CCD.The invention relates to a device for evaluating impurities in a fibrous material, comprising a scanning device for fibrous material in a scanning area, to which at least one lighting device for fibrous material is assigned in the scanning area, the scanning device being connected to a computing device adapted to process images from the scanning device; for evaluating impurities in the fibrous material, the imaging device comprising a CMOS or CCD matrix pixel optical sensor and the lighting device comprising at least one visible radiation source, at least one UV radiation source and at least one NIR radiation source, and the lighting device is coupled to control electronics adapted for synchronization of the operation of the lighting device and the matrix pixel optical sensor of the CMOS or CCD type.
Dosavadní stav technikyPrior art
Vlákenný materiál často obsahuje celou řadu cizích příměsí a nečistot, které při dalším zpracování vlákenného materiálu způsobují problémy a komplikace. Vlákenný materiál přitom může zaujímat celou řadu prostorových útvarů a forem, např. jako vrstva vláken na ploše, vlákenné vločky a chuchvalce, pramen vláken, balík vláken, hromada vláken atd.The fibrous material often contains a number of foreign impurities and impurities, which cause problems and complications during further processing of the fibrous material. The fibrous material can take on a number of spatial shapes and forms, for example as a layer of fibers on a surface, fiber flakes and tufts, a fiber strand, a bundle of fibers, a pile of fibers, etc.
Typickým příkladem je bavlna, která obsahuje celou řadu cizích příměsí a nečistot, kde cizí příměsi organického charakteru nejčastěji pocházejí z rostlin bavlny a bývají to části stonků, listy nebo jejich fragmenty, kůra, slupky semen či jejich části. Za organickou nečistotu lze považovat i nezralou bavlnu nebo znečištění mízou rostliny. Ostatní cizí příměsi lze jen obtížně vyjmenovat, ale nej častěji se jedná o kusy obalových materiálů, znečištění půdou, cizí vlákna, ať už přírodní nebo syntetická, fragmenty látek, chlupů nebo vlasů. Výjimečně může být bavlna znečištěná i metalickými nečistotami, nebo může být obarvena otiskem barevných listů nebo barvou nepřírodního původu.A typical example is cotton, which contains a wide range of foreign impurities and impurities, where foreign impurities of an organic nature most often come from cotton plants and are usually parts of stems, leaves or fragments thereof, bark, seed husks or parts thereof. Immature cotton or sap contamination of the plant can also be considered as organic impurities. Other foreign matter is difficult to name, but most often they are pieces of packaging materials, soil contamination, foreign fibers, whether natural or synthetic, fragments of fabrics, hair or hair. Exceptionally, cotton may be contaminated with metallic impurities, or it may be dyed with colored leaves or a color of non-natural origin.
Většinu cizích příměsí je žádoucí při zpracování bavlny odstranit. Míra čištění bavlny ovlivňuje kvalitu výsledného produktu - příliš intenzivní čištění poškozuje vlákna a nedostatečné čištění zanechává nečistoty do dalšího zpracování. Standardní způsob řízení kvality procesu zpracování bavlny spočívá v průběžném sledování charakteristik odpadu a ve zpětnovazebním nastavení strojů, které je kontrolováno zpravidla provozním technologem. Druhou možností je odebírání statistických vzorků materiálu a jeho zpracování za pomocí laboratorních přístrojů. Vzorek je možné buď destruktivně vyčistit a porovnat hmotnostní poměr nečistot s hmotností čisté bavlny, nebo pomocí algoritmů strojového vidění na nepohyblivém vzorku lze v laboratoři odhadnout míru znečistění vzorku, typicky pomocí sejmutí monochromatického širokospektrálního snímku a jeho následné binarizace pomocí prahování. Taková metoda však umožňuje pouze detekci a odhad míry znečistění, ne však klasifikaci nečistot, která je důležitá pro stanovení kvality bavlny.It is desirable to remove most foreign matter during cotton processing. The degree of cleaning of the cotton affects the quality of the final product - too intensive cleaning damages the fibers and insufficient cleaning leaves impurities until further processing. The standard way of quality control of the cotton processing process consists in continuous monitoring of waste characteristics and in the feedback setting of the machines, which is usually checked by an operational technologist. The second option is to take statistical samples of the material and process it using laboratory instruments. The sample can be either destructively cleaned and the weight ratio of impurities to the weight of pure cotton, or machine vision algorithms on a stationary sample can be used to estimate sample contamination in the laboratory, typically by taking a monochromatic broad spectrum image and then binarizing it by thresholding. However, such a method only allows the detection and estimation of the degree of contamination, but not the classification of impurities, which is important for determining the quality of cotton.
Většina nežádoucích příměsí v bavlně je viditelná ve viditelném spektru elektromagnetického záření-světla - (vlnová délka 450 až 650 nm, v textu označováno jako VIS). Spektrální charakteristika určitých nečistot (např. PET, HDPE, PVC, 1DPE, PP, PS, PC, Akryl, Polyamid, PTFE, aj.) však obsahuje vrcholy (spektra), které se nacházejí i v jiné oblasti spektra el. mag záření, než je oblast VIS, např. ve světle ultrafialovém (10 až 400 nm, v textu označováno UV) nebo blízkém infračerveném (650 až IlOOnm, v textu NIR). Přítomnost těchto nečistot je možné zachytit pomocí přístrojů snímajících dané vlnové délky spektra a následně je i vyhodnotit. Jsou známé metody detekce a odstranění cizích příměsí, které pracují pouze s jednou konkrétní vlnovou délkou, případně s kaskádou jednotlivých stupňů detekce s navzájem odlišným spektrem snímání.Most of the undesirable impurities in cotton are visible in the visible spectrum of electromagnetic radiation-light - (wavelength 450 to 650 nm, in the text referred to as VIS). However, the spectral characteristics of certain impurities (eg PET, HDPE, PVC, 1DPE, PP, PS, PC, Acrylic, Polyamide, PTFE, etc.) contain peaks (spectra), which are also found in another region of the el. mag radiation than the VIS region, e.g. in ultraviolet light (10 to 400 nm, referred to as UV in the text) or near infrared (650 to 100 nm, in the text NIR). The presence of these impurities can be detected by means of instruments sensing the given wavelengths of the spectrum and subsequently evaluated. There are known methods for the detection and removal of foreign matter, which work with only one specific wavelength, or with a cascade of individual detection stages with a different scanning spectrum.
-1 CZ 308783 B6-1 CZ 308783 B6
V posledních letech se nedílnou součástí většiny moderních systémů v oblasti zpracování obrazu stalo strojové vidění a s ním spojená umělá inteligence s umělou neuronovou sítí. Na neuronové sítě lze nahlížet jako na parametrizovatelné univerzální funkční aproximátory-funkční bloky, jež mohou modelovat libovolnou závislost.In recent years, machine vision and its associated artificial intelligence with an artificial neural network have become an integral part of most modern image processing systems. Neural networks can be seen as parameterizable universal function approximators-function blocks that can model any dependence.
Z CN 101739570 je znám online klasifikační způsob a systém hodnocení cizích vláken v bavlně, přičemž tento způsob zahrnuje kroky sběru barevných obrázků cizích vláken v reálném čase; segmentování barevných obrazů cizích vláken metodou segmentace obrazu založenou na třísložkové střední hodnotě a rozptylu pixelů R, G a B pro získání objektivního obrazu vytvořeného objektivním pixelem v barevných obrazech cizích vláken; odstranění malých objektů produkovaných šumem a falešnými cizími vlákny v obrazu metodou prahové hodnoty plochy pro získání předmětů z cizích vláken; extrakci barevných prvků, tvarových prvků a textumích znaků každého objektu cizích vláken za účelem generování vektorů fúnkcí pro popis objektů cizích vláken; klasifikaci předmětů z cizích vláken pomocí fúnkčních vektorů a vektorového stroje pro podporu klasifikace typu jeden-na-jednoho založeného na řízeném acyklickém grafů. Vynález realizuje online klasifikaci cizích vláken v reálném čase a je prospěšný pro následné provedení online výpočtu podílu cizích vláken. Vynález se tak dotýká oblasti strojového vidění a rozpoznávání vzorů, zejména pro online klasifikaci cizích vláken v bavlně.CN 101739570 discloses an online classification method and system for evaluating foreign fibers in cotton, the method comprising the steps of collecting real-time color images of the foreign fibers; segmenting the color images of the foreign fibers by an image segmentation method based on the three-component mean and the scatter of the pixels R, G, and B to obtain an objective image formed by the objective pixel in the color images of the foreign fibers; removing small objects produced by noise and false foreign fibers in the image by the area threshold method for obtaining foreign fiber objects; extracting color elements, shape elements, and textual features of each foreign fiber object to generate function vectors for describing the foreign fiber objects; classification of foreign fiber objects using function vectors and a vector machine to support one-to-one classification based on controlled acyclic graphs. The invention implements a real-time online classification of foreign fibers and is useful for the subsequent online calculation of the proportion of foreign fibers. The invention thus relates to the field of machine vision and pattern recognition, in particular for the online classification of foreign fibers in cotton.
Nevýhodou tohoto řešení je zaměření a použitelnost spíše v laboratorních a kontrolních podmínkách než přímo v textilním provozu, ve kterém se projevuje celá řada negativních vlivů.The disadvantage of this solution is the focus and applicability in laboratory and control conditions rather than directly in the textile operation, in which a number of negative effects are manifested.
Z CN 107219188 je znám způsob analýzy obsahu bavlny v textilu na základě vylepšeného DBN (deep brief network) v blízkém infračerveném spektru. Způsob popsaný vynálezem může rychle stanovit obsah bavlny ve vzorku bez ztráty a aplikuje hlubokou neuronovou síť do pole detekce obsahu bavlny v textilii v blízkém infračerveném spektru, takže se zlepší přesnost a spolehlivost detekce.CN 107219188 discloses a method for analyzing the cotton content of textiles on the basis of an improved DBN (deep brief network) in the near-infrared spectrum. The method described by the invention can quickly determine the cotton content of a sample without loss and applies a deep neural network to the field of detecting the cotton content in the fabric in the near-infrared spectrum, thus improving the accuracy and reliability of the detection.
Nevýhodou tohoto řešení je jeho optimalizace na hledání bavlny v ostatních materiálech, přičemž prostá inverze řešení, tj. pro hledání ostatních materiálů v bavlně není jednoduše možná. Další nevýhodou je zaměření a použitelnost spíše v laboratorních a kontrolních podmínkách než přímo v textilním provozu.The disadvantage of this solution is its optimization for the search for cotton in other materials, while a simple inversion of the solution, ie for the search for other materials in cotton, is simply not possible. Another disadvantage is the focus and applicability in laboratory and control conditions rather than directly in textile operation.
US 2020/0116627 popisuje metodu a zařízení pro rozpoznání znečištění oděvu nebo strukturálních vad textilie. Podstatou metody je, že se znečištěný nebo strukturně poškozený oděv postupně osvítí jednotlivými kanály RGB světla, případně i blízkými okolními kanály, a pro každý obrazový bod, tedy každý snímací pixel v případě použití vícepixelového snímače, se pro každé světlo vytvoří obrazová informační položka, která obsahuje i reflexní spektrum světla odraženého od nečistoty na oděvu a zaznamenané každým obrazovým pixelem. Toto reflexní spektrum každého obrazového pixelu je zde multispektrálním snímkem, který se pro každý typ osvětlení vytvoří a zaznamená. Následně se porovná s databází známých spekter známých nečistot za účelem stanovení chemického složení té nečistoty, která je na aktuálně sledovaném oděvu. Podle výsledku této analýzy se řídí následný proces čištění oděvu, např. se nastaví režim chodu pračky, použitý detergent, doba praní atd. a případně se po dokončení procesu odstranění nečistoty provádí výstupní kontrola. Při hledání složení nečistoty na oděvu je možno využít i umělou inteligenci, prostorové snímání oděvu atd. US 2020/0116627 automatizuje proces hodnocení znečištění a poškození oděvů, kde nečistoty a poškození oděvů jsou viditelné ve viditelné části spektra. US 2020/0116627 nevytváří celkový obraz sledované scény při různých osvětleních sledované scény, nevytváří z těchto celkových obrazů jeden snímek, a nehodnotí tento složený snímek metodami obrazové analýzy. US 2020/0116627 nemůže být použito pro hodnocení četnosti výskytu nečistot v základních textilních materiálech jako je surová bavlna apod. US 2020/0116627 nepopisuje vytvoření multispektrálního snímku celkového obrazu sledované oblasti složením jednotlivých snímků celkového obrazu sledované oblasti při jednotlivých osvětleních.US 2020/0116627 discloses a method and apparatus for detecting garment contamination or structural fabric defects. The essence of the method is that the soiled or structurally damaged clothing is gradually illuminated by individual channels of RGB light, or even nearby surrounding channels, and for each pixel, ie each scanning pixel in case of using a multi-pixel sensor, an image information item is created for each light. it also contains the reflective spectrum of light reflected from dirt on clothing and recorded by each image pixel. This reflection spectrum of each image pixel is here a multispectral image that is created and recorded for each type of illumination. It is then compared with a database of known spectra of known impurities in order to determine the chemical composition of the impurity that is on the currently monitored garment. According to the result of this analysis, the subsequent process of cleaning the garment is controlled, eg the operating mode of the washing machine, the detergent used, the washing time, etc. are set and, if necessary, an output check is performed after the dirt removal process is completed. Artificial intelligence, spatial sensing of clothing, etc. can also be used to find the composition of dirt on clothing. US 2020/0116627 automates the process of evaluating soiling and damage to clothing, where dirt and damage to clothing are visible in the visible part of the spectrum. US 2020/0116627 does not produce an overall image of the scene under view under different illuminations of the scene, does not form a single image from these total images, and does not evaluate this composite image by image analysis methods. US 2020/0116627 cannot be used to evaluate the frequency of impurities in basic textile materials such as raw cotton, etc. US 2020/0116627 does not disclose creating a multispectral image of the overall image of the view area by composing individual images of the total image of the area under individual lighting.
- 2 CZ 308783 B6- 2 CZ 308783 B6
US 2017/0353712 popisuje způsob a zařízení pro pořizování 3D snímků za pomoci infračerveného pásmového filtru a globální závěrky. IR světlo je zde využito k rekonstrukci hloubky obrazu, nikoli pro pořízení obrazu jako takového. US 2017/0353712 se netýká problematiky detekce znečistění základních textilních materiálů, jako je surová bavlna apod.US 2017/0353712 describes a method and apparatus for capturing 3D images using an infrared bandpass filter and a global shutter. IR light is used here to reconstruct the depth of the image, not to capture the image as such. US 2017/0353712 does not address the issue of contamination detection of basic textile materials such as raw cotton and the like.
CN 109331990 je určeno pro rychlé automatické třídění použitého skla pro rozdělení a odlišení využitelného skla od odpadu, který se z materiálu odstraňuje. CN 109331990 představuje rychlý a automatický proces recyklace a třídění odpadního skla, kde struktura světelného zdroje třídicího modulu obsahuje červenou LED, modrou LED, zelenou LED, Near IR LED a UV LED 5, které jsou kombinovány pomocí multiplexování s časovým dělením pro řízení zdroje světla, zatímco jednotlivá spektra odraženého světla od sledované zóny jsou zachycována lineární CCD kamerou pro sběr obrazů odpovídajícího spektra pro získání multispektrálních dat. Shromážděná multispektrální data se odešlou do modulu pro zpracování vloženého obrazu pro analýzu a zpracování v reálném čase, aby se určilo, zda jsou položky v obraze skleněné tabule nebo kovové látky, a výsledek posouzení se použije jako řídicí signál pro třídič, čímž se získá surové terciární sklo materiály a kovový šrot s minimem nečistot. CN 109331990 nepopisuje použití plošného snímače a vytvoření jednoho snímku, teprve který je předmětem obrazové analýzy.CN 109331990 is intended for fast automatic sorting of used glass to separate and distinguish usable glass from waste that is removed from the material. CN 109331990 represents a fast and automatic process for recycling and sorting waste glass, where the light source structure of the sorting module comprises a red LED, a blue LED, a green LED, a Near IR LED and a UV LED 5, which are combined by time division multiplexing to control the light source, while the individual spectra of the reflected light from the monitored zone are captured by a linear CCD camera to collect images of the corresponding spectrum to obtain multispectral data. The collected multispectral data is sent to an embedded image processing module for real-time analysis and processing to determine if the items are in a glass sheet or metal fabric image, and the result of the assessment is used as a control signal for the sorter to obtain raw tertiary glass materials and scrap metal with a minimum of impurities. CN 109331990 does not describe the use of a surface sensor and the creation of a single image, which is only the subject of image analysis.
US 2018/0252691 popisuje zařízení a způsob pro optick20ou kontrolu a selekci ovoce a zeleniny, který je založen na osvětlování ovoce a zeleniny různými spektry světla a snímání jednotlivých obrazů jednou barevnou kamerou (kamerou s maticí RGB filtrů a bez IR filtru nebo kamerou s trojicí snímačů pro každý kanál RGB spektra a bez IR filtru), kdy alespoň jeden pořízený snímek je při ozáření sledované scény IR světlem, přičemž sekvence ozáření je předem určena a také záleží na směru, ze kterého je záření vysíláno, protože US 2018/0252691 rozlišuje mezi reflexními snímky a difuzními snímky pořízenými při osvícení z různých stran a pod různými úhly osvětlení. Kamera pořídí sekvenci snímků při různých osvíceních a jednotlivé snímky jsou následně analyzovány k detekci hledaných parametrů ovoce a zeleniny. Žádné složení pořízených snímků do jednoho snímku, který se poté podrobuje obrazové analýze není předmětem US 2018/0252691.US 2018/0252691 discloses an apparatus and method for optical inspection and selection of fruits and vegetables, which is based on illuminating fruits and vegetables with different light spectra and capturing individual images with one color camera (camera with RGB filter matrix and without IR filter or camera with three sensors for each channel of the RGB spectrum and without an IR filter), where at least one captured image is irradiated with IR light when the scene is irradiated, the irradiation sequence being predetermined and also depending on the direction from which the radiation is emitted, since US 2018/0252691 distinguishes between reflective images and diffuse images taken under different lighting conditions and at different lighting angles. The camera takes a sequence of images at different lighting conditions and the individual images are then analyzed to detect the required parameters of fruit and vegetables. No composition of the captured images into a single image, which is then subjected to image analysis, is the subject of US 2018/0252691.
Cílem vynálezu je snížit nebo odstranit nevýhody dosavadního stavu techniky, zejména pak vytvořit optimalizované zařízení pro hodnocení nečistot ve vlákenném materiálu pomocí neuronové sítě schopné spolehlivě, přesně a rychle pracovat i v provozních podmínkách textilního provozu.The object of the invention is to reduce or eliminate the disadvantages of the prior art, in particular to create an optimized device for the evaluation of impurities in fibrous material by means of a neural network capable of reliable, accurate and fast operation even in textile operating conditions.
Podstata vynálezuThe essence of the invention
Cíle vynález je dosaženo zařízením pro hodnocení nečistot ve vlákenném materiálu, zejména při procesu čištění bavlny pro další zpracování, jehož podstata spočívá v tom, že zařízení je uzpůsobeno pro přiřazení sledované ploše surové bavlny ve formě vrstvy vláken na ploše a/nebo ve formě vlákenných vloček a chuchvalců, případně i ve formě pramene vláken, balíku vláken nebo hromady vláken v procesu zpracování surové bavlny (B) před dalšími technologickými kroky, maticový pixelový optický snímač typu CMOS nebo CCD je tvořen monochromatickým širokospektrálním maticovým pixelovým optickým snímačem, který je uzpůsoben pro příjem viditelné části spektra záření, ultrafialového záření a blízkého infračerveného spektra záření, přičemž snímač je opatřen globální závěrkou pro synchronizované zachycení všech plošně snímaných obrazových bodů v jeden stejný daný okamžik a výpočetní zařízení je uzpůsobeno pro softwarové vytvoření celoplošného multispektrálního obrazového snímku surové bavlny ve sledované ploše složením jednotlivých celoplošných monochromatických obrazových snímků surové bavlny ve sledované ploše a pořízených při různých vlnových délkách ozařujícího záření, přičemž výpočetní zařízení je dále opatřeno prostředky pro obrazovou analýzu vytvořeného celoplošného multispektrálního obrazového snímku surové bavlny ve sledované ploše a pro rozpoznání a vyhodnocení cizích příměsí v surové bavlně, zejména částí stonků, listů nebo jejich fragmentů, kůry, slupek semen či jejich částí, nezralých vláken bavlny, mízy bavlny, umělých vláken, kusů obalových materiálů, částice půdy, cizích vláken přírodních i syntetických, fragmentůThe object of the invention is achieved by a device for evaluating impurities in a fibrous material, in particular in a cotton cleaning process for further processing, the essence of which is that the device is adapted to assign a monitored area of raw cotton in the form of a layer of fibers to the surface and / or and tufts, optionally in the form of a fiber sliver, fiber bundle or pile of fibers in the process of processing raw cotton (B) before further technological steps, the matrix pixel optical sensor type CMOS or CCD consists of a monochromatic broad spectrum matrix pixel optical sensor which is adapted to receive visible parts of the radiation spectrum, ultraviolet radiation and near-infrared radiation spectrum, the sensor being equipped with a global shutter for synchronized capture of all area-scanned pixels at the same time and the computing device adapted for software creation of a full-area multispectral image of raw cotton in composition of individual full-area monochromatic images of raw cotton in the monitored area and taken at different wavelengths of irradiating radiation, the computing device is further provided with means for image analysis of the created full-area multispectral image of raw cotton in the monitored area and for recognition and evaluation of foreign impurities in raw cotton, in particular parts of stems, leaves or fragments thereof, bark, seed husks or parts thereof, immature cotton fibers, cotton sap, man-made fibers, pieces of packing materials, soil particles, foreign natural and synthetic fibers, fragments
-3CZ 308783 B6 látek, chlupů, vlasů, metalických nečistot, obarvení otiskem barevných listů nebo barvou nepřírodního původu.-3GB 308783 B6 fabrics, hair, hair, metallic impurities, coloring with colored leaves or paint of non-natural origin.
Výhodou tohoto řešení je, že umožňuje rychle, přesně a i v běžných provozních podmínkách textilního provozu detekovat a klasifikovat široké spektrum možných cizích příměsí ve zpracovávané surové bavlně, protože vhodným a optimalizovaným způsobem kombinuje použití multispektrálního snímání znečištěného vlákenného materiálu za využití počítačového zpracování získaných specifických obrazových dat optimalizovanou obrazovou analýzou založenou na využití natrénované neuronové sítě, zejména vícevrstvé konvoluční neuronové sítě.The advantage of this solution is that it enables fast, accurate and even under normal operating conditions of textile operation to detect and classify a wide range of possible foreign matter in processed raw cotton, because it combines in a suitable and optimized way multispectral scanning of contaminated fibrous material using computer processing of acquired specific image data. image analysis based on the use of a trained neural network, especially a multilayer convolutional neural network.
Objasnění výkresůExplanation of drawings
Vynález je schematicky znázorněn na výkresech, kde ukazuje obr. 1 příklad uskutečnění zařízení pro snímání nečistot ve vlákenném materiálu, obr. la boční pohled na příklad zařízení pro snímání nečistot ve vlákenném materiálu s ochranou proti parazitnímu okolnímu světlu, obr. 2 příklad uskutečnění osvětlovací jednotky pro snímání nečistot ve vlákenném materiálu, obr. 3 příklad uskutečnění konvoluční neuronové sítě (CNN) optimalizované pro účely tohoto vynálezu, obr. 4 postupové schéma kroků způsobu pro pořízení a analýzu snímku nebo multispektrálního snímku vlákenného materiálu ve sledované ploše podle tohoto vynálezu, obr. 5 postupové schéma kroků způsobu pro pořízení a analýzu snímku nebo multispektrálního snímku vlákenného materiálu ve sledované ploše podle tohoto vynálezu s korekcí posunutí, rotace a deformace obrazu mezi kroky 6 a 7 a obr. 6 postupové schéma kroků způsobu pro pořízení a analýzu snímku nebo multispektrálního snímku vlákenného materiálu ve sledované ploše podle tohoto vynálezu s korekcí posunutí, rotace a deformace obrazu mezi kroky 7 a 8.The invention is schematically illustrated in the drawings, where Fig. 1 shows an example of an embodiment of a device for sensing impurities in fibrous material, Fig. 1a shows a side view of an example of a device for sensing impurities in fibrous material with protection against parasitic ambient light, Fig. 2 shows an example of an embodiment of a lighting unit. for sensing impurities in fibrous material, FIG. 3 shows an example of an embodiment of a convolutional neural network (CNN) optimized for the purposes of the present invention; FIG. 4 shows a flow chart of method steps for capturing and analyzing an image or multispectral image of fibrous material in a monitored area according to the present invention; 5 is a flowchart of a method step for acquiring and analyzing an image or multispectral image of fibrous material in a monitored area according to the present invention with image shift, rotation and distortion correction between steps 6 and 7; and FIG. fibrous material in the monitored area according to this of the invention with image shift, rotation and distortion correction between steps 7 and 8.
Příklady uskutečnění vynálezuExamples of embodiments of the invention
Vynález bude popsán na příkladech uskutečnění zařízení pro hodnocení nečistot N ve vlákenném materiálu M neuronovou sítí. Příkladem vlákenného materiálu pro použití s tímto vynálezem je bavlna B, vlna, len či jiná přírodní vlákna, stejně jako uměle vytvořená (chemická) vlákna.The invention will be described on the basis of exemplary embodiments of a device for evaluating impurities N in fibrous material M by a neural network. Examples of fibrous material for use with the present invention are cotton B, wool, flax or other natural fibers, as well as man-made (chemical) fibers.
Zařízení pro hodnocení nečistot ve vlákenném materiálu obsahuje snímkovací zařízení vlákenného materiálu M ve snímané ploše 2, např. snímkovací zařízení bavlny B. Snímkovací zařízení obsahuje monochromatický optický snímač 10 uzpůsobeným pro příjem alespoň dvou odlišných záření s vlnovou délkou ze skupiny viditelná část spektra záření (VIS), ultrafialové záření (10 až 400 nm, Ultra Violet - UV) a blízké infračervené spektrum záření (65 až 1100 nm, Near Infra RedNIR). Monochromatický optický snímač 10 je tak ve své podstatě VIS+UV+NIR monochromatickým optickým snímačem 10.The device for evaluating impurities in fibrous material comprises a scanning device for fibrous material M in the sensing area 2, e.g. a cotton scanning device B. The scanning device comprises a monochromatic optical sensor 10 adapted to receive at least two different rays of the visible wavelength group ), ultraviolet radiation (10 to 400 nm, Ultra Violet - UV) and near infrared radiation (65 to 1100 nm, Near Infra RedNIR). The monochrome optical sensor 10 is thus essentially a VIS + UV + NIR monochrome optical sensor 10.
Monochromatický optický snímač 10 je ideálně tvořen širokospektrálním maticovým pixelovým optickým snímačem typu CMOS nebo CCD uzpůsobeným pro příjem viditelné části spektra záření (VIS), ultrafialového záření (10 až 400 nm, Ultra Violet - UV) a blízkého infračerveného spektra záření (650 až 1100 nm, Near Infra Red-NIR). Aby byl monochromatický optický snímač 10 takto širokospektrální, není opatřen vrstvou zabraňující pronikání ultrafialového záření (10 až 400 nm, Ultra Violet - UV) a blízkého infračerveného záření (650 až 1100 nm, Near Infra Red-NIR) na jednotlivé pixely snímače 10. tj. snímač 10 je proveden bez této blokační vrstvy.The monochrome optical sensor 10 is ideally formed by a broad-spectrum matrix pixel optical sensor of the CMOS or CCD type adapted to receive the visible part of the radiation spectrum (VIS), ultraviolet radiation (10 to 400 nm, Ultra Violet - UV) and near infrared radiation spectrum (650 to 1100 nm , Near Infra Red-NIR). In order for the monochromatic optical sensor 10 to be thus broad-spectrum, it is not provided with a layer preventing the penetration of ultraviolet radiation (10 to 400 nm, Ultra Violet - UV) and near infrared radiation (650 to 1100 nm, Near Infra Red-NIR) onto the individual pixels of the sensor 10. the sensor 10 is made without this blocking layer.
Monochromatický optický snímač 10 je uzpůsoben pro synchronizované zachycení všech svých snímaných obrazových bodů (pixelů) v jeden stejný daný okamžik, tj. je opatřen tzv. globální závěrkou, která umožňuje, že všechny pixely (obrazové body) celého snímače 10 zachycují obrazovou informaci v jeden jediný stejný okamžik, jak to probíhá např. u klasického fotografování na kinofilm s vrstvou stříbra.The monochrome optical sensor 10 is adapted to synchronously capture all its scanned pixels at one and the same time, i.e. it is provided with a so-called global shutter, which allows all pixels of the whole sensor 10 to capture image information in one only the same moment as it takes place, for example, in the classic shooting on film with a layer of silver.
-4CZ 308783 B6-4GB 308783 B6
Monochromatický optický snímač 10 je výhodně součástí kamery 1, která obsahuje elektroniku 11 pro vyčítání, zpracování, ukládání a odesílání obrazu, resp. snímku snímané plochy 2, ze snímače 10, a která dále obsahuje vhodnou optiku 12 uzpůsobenou pro širokospektrální snímání obrazu (scény) v rozmezí zachycujícím alespoň část UV spektra, VIS a část NIR spektra.The monochrome optical sensor 10 is preferably part of the camera 1, which comprises electronics 11 for reading, processing, storing and sending the image, resp. an image of the scanned area 2, from the sensor 10, and which further comprises suitable optics 12 adapted for broad-spectrum image (scene) scanning in a range capturing at least part of the UV spectrum, the VIS and part of the NIR spectrum.
Monochromatický optický snímač 10 je namířen na sledovanou plochu 2 s vlákenným materiálem M, zde příkladně bavlnou B nebo jiným vlákenným materiálem.The monochromatic optical sensor 10 is aimed at the monitored surface 2 with a fibrous material M, here for example cotton B or another fibrous material.
Případně je sledovaná plocha 2 uspořádána za průhledovým oknem, které je vyrobeno z materiálu, který je pro záření použitých vlnových délek UV, VIS, NIR propustný, např. je vyrobeno z křemenného skla, safírového skla, polykarbonátu atd. Vzdálenost mezi sledovanou vrstvou 2 a kamerou 1, resp. mezi sledovanou vrstvou 2 a monochromatickým optickým snímačem 10, odpovídá ohniskové vzdálenosti použité optiky 12 kamery 1, resp. monochromatického optického snímače 10. aby byl snímaný obraz vlákenného materiálu M ve sledované ploše 2 zaostřen.Alternatively, the monitored surface 2 is arranged behind a viewing window, which is made of a material which is UV, VIS, NIR transmissive for radiation used, e.g. it is made of quartz glass, sapphire crystal, polycarbonate, etc. The distance between the monitored layer 2 and camera 1, resp. between the monitored layer 2 and the monochromatic optical sensor 10, corresponds to the focal length of the used optics 12 of the camera 1, resp. of a monochrome optical sensor 10 in order to focus the scanned image of the fibrous material M in the monitored area 2.
Stejným směrem, kterým je zamířen monochromatický optický snímač 10 na sledovanou plochu 2 je dále namířeno alespoň jedno osvětlovací zařízení 5, které obsahuje alespoň jeden zdroj záření s vlnovou délkou ze skupiny VIS, UV a NIR záření, kde tento zdroj záření buď pokrývá celý rozsah příslušných vlnových délek nebo pokrývá alespoň část vlnových délek záření.In the same direction in which the monochromatic optical sensor 10 is aimed at the monitored surface 2, at least one lighting device 5 is further directed, which comprises at least one radiation source with a wavelength from the group VIS, UV and NIR radiation, this radiation source either covering the whole range of respective wavelengths or covers at least part of the wavelengths of the radiation.
V neznázoměném příkladu provedení obsahuje osvětlovací zařízení 5 alespoň dva zdroje záření odlišných vlnových délek ze skupiny viditelné záření (VIS), UV záření (tj. 10 až 400 nm) a NIR záření (tj. 650 až 1100 nm), kde jednotlivé zdroje záření dohromady buď pokrývají celý rozsah příslušných vlnových délek nebo dohromady pokrývají alespoň část vlnových délek záření.In a non-illustrated exemplary embodiment, the lighting device 5 comprises at least two radiation sources of different wavelengths from the group of visible radiation (VIS), UV radiation (i.e. 10 to 400 nm) and NIR radiation (i.e. 650 to 1100 nm), where the individual radiation sources together they either cover the whole range of the respective wavelengths or together cover at least part of the radiation wavelengths.
Ve znázorněném příkladu provedení obsahuje osvětlovací zařízení 5 alespoň jeden zdroj 50 viditelného záření (VIS), alespoň jeden zdroj 51 UV záření (tj. 10 až 400 nm) a alespoň jeden zdroj 52 NIR záření (tj. 650 až IlOOnm), kde jednotlivé zdroje 50, 51. 52 záření dohromady buď pokrývají celý rozsah vlnových délek VIS, UV a NIR záření (tj. od 10 do IlOOnm) nebo dohromady pokrývají alespoň část vlnových délek VIS, UV a NIR záření.In the illustrated embodiment, the lighting device 5 comprises at least one visible radiation source (VIS), at least one UV radiation source 51 (i.e. 10 to 400 nm) and at least one NIR radiation source 52 (i.e. 650 to 1000 nm), where the individual sources 50, 51, 52 radiation together either cover the whole range of wavelengths of VIS, UV and NIR radiation (i.e. from 10 to 100nm) or together cover at least part of the wavelengths of VIS, UV and NIR radiation.
V příkladu provedení znázorněném na obr. 2 osvětlovací zařízení 5 obsahuje maticově uspořádanou sestavu samostatných (bodových) zdrojů 50, 51, 52 VIS, UV a NIR záření uspořádaných na společné nosné desce 53. Jednotlivé samostatné zdroje 50, 51. 52 VIS, UV a NIR záření mají na ploše nosné desky 53 vhodné vzájemné rozložení, včetně případného členění do skupin nebo segmentů 54 atd. pro optimalizaci ozáření sledované plochy 2. Jednotlivé samostatné zdroje 50, 51, 52 VIS, UV a NIR záření jsou výhodně tvořeny UED příslušných vlnových délek a s příslušnými budiči, ideálně pak jsou tvořeny vysoce svítivými LED příslušných vlnových délek a s příslušnými budiči.In the exemplary embodiment shown in FIG. 2, the lighting device 5 comprises a matrix-arranged assembly of separate (spot) sources 50, 51, 52 of VIS, UV and NIR radiation arranged on a common support plate 53. The individual separate sources 50, 51, 52 of VIS, UV and The NIR radiation has a suitable mutual distribution on the surface of the support plate 53, including possible division into groups or segments 54 etc. for optimizing the irradiation of the monitored area 2. The individual separate sources 50, 51, 52 VIS, UV and NIR radiation are preferably UEDs of respective wavelengths. and with the appropriate exciters, ideally they are formed by high-brightness LEDs of the respective wavelengths and with the respective exciters.
Jak již bylo výše naznačeno, výhodně jsou samostatné zdroje 50, 51. 52 VIS, UV a NIR záření uspořádány do segmentů 54. které mají vhodný počet jednotlivých v segmentech obsažených zdrojů 50, 51, 52 VIS, UV a NIR záření a také mají vhodné rozložení na ploše nosné desky 53 uzpůsobené pro rovnoměrné ozáření sledované plochy 2.As already indicated above, preferably the separate sources 50, 51, 52 of VIS, UV and NIR radiation are arranged in segments 54, which have a suitable number of individual sources 50, 51, 52 of VIS, UV and NIR radiation contained in the segments and also have suitable a distribution on the surface of the support plate 53 adapted to uniformly irradiate the monitored surface 2.
Na obr. 2 je znázorněno několik příkladů různého rozložení a počtu jednotlivých zdrojů 50, 51, 52 VIS, UV a NIR záření v každém segmentu 54, včetně různého možného členění a uspořádání jednotlivých segmentů 54. Každý segment 54 pak ideálně obsahuje jednotlivé zdroje 50, 51. 52 VIS, UV a NIR záření z jedné oblasti spektra záření, tj. buď jen zdroje 50 VIS, nebo jen zdroje 51 UV záření nebo jen zdroje 52 NIR záření, takže každý segment 54 výhodně vyzařuje pouze v určité části spektra elektromagnetického záření. V jiném příkladu provedení jev každém segmentu 54 vždy alespoň jeden zdroj 50, 51. 52 z alespoň dvou částí (VIS, UV, NIR) spektra elektromagnetického záření. Kombinované vyzařované spektrum zdrojů 50, 51, 52 VIS, UV aNIR záření ideálně pokrývá celý rozsah UV-VIS-NIR.Fig. 2 shows several examples of the different distribution and number of individual VIS, 50, 52, and 52 radiation sources 50, 51, 52 in each segment 54, including the different possible divisions and arrangements of the individual segments 54. Each segment 54 then ideally includes individual sources 50. 51. 52 VIS, UV and NIR radiation from one region of the radiation spectrum, i.e. either only VIS sources 50, or only UV radiation sources 51 or only NIR radiation sources 52, so that each segment 54 preferably emits only a certain part of the electromagnetic radiation spectrum. In another exemplary embodiment, each segment 54 is in each case at least one source 50, 51, 52 of at least two parts (VIS, UV, NIR) of the electromagnetic radiation spectrum. The combined radiated spectrum of sources 50, 51, 52 VIS, UV and NIR radiation ideally covers the entire range of UV-VIS-NIR.
-5CZ 308783 B6-5GB 308783 B6
V dalším příkladu provedení jsou jednotlivé segmenty 54 zdrojů 50. 51. 52 VIS, UV a NIR záření uspořádány tak, že zdroje 50, 51, 52 VIS, UV a NIR záření jednoho segmentu 54 vyzařují záření stejné vlnové délky, která je přitom volena tak, aby pokrývala špičky, které ve spektrálních charakteristikách vykazují zkoumané nečistoty, případně jsou segmenty 54 zdrojů 50. 51. 52 VIS, UV a NIR záření uspořádány v řádcích.In another exemplary embodiment, the individual segments 54 of the sources 50, 51, 52 of VIS, UV and NIR radiation are arranged such that the sources 50, 51, 52 of VIS, UV and NIR radiation of one segment 54 emit radiation of the same wavelength, which is selected to cover the peaks which show the impurities in the spectral characteristics, or the segments 54 of the sources 50. 51, 52 VIS, UV and NIR radiation are arranged in rows.
Jednotlivé zdroje 50. 51. 52 VIS, UV a NIR záření a/nebo jednotlivé segmenty 54 zdrojů 50. 51. 52 VIS, UV a NIR záření jsou napojeny na řídicí elektroniku uzpůsobenou pro synchronizaci činnosti osvětlovacího zařízení 5 a monochromatického optického snímače 10, např. na dále uvedené výpočetní zařízení 4 se softwarem, jak je i znázorněno na obr. 1 a la.The individual sources 50, 51, 52 VIS, UV and NIR radiation and / or the individual segments 54 of the sources 50, 51, 52 VIS, UV and NIR radiation are connected to control electronics adapted to synchronize the operation of the lighting device 5 and the monochrome optical sensor 10, e.g. to the following computing device 4 with software, as also shown in Figs. 1 and 1a.
Řídicí elektronika zdrojů 50, 51, 52 VIS, UV a NIR záření je uzpůsobena jednak pro řízené rozsvěcování a pohasínání jednotlivých zdrojů 50, 51, 52 VIS, UV a NIR záření a/nebo jednotlivých segmentů 54 zdrojů 50. 51. 52 VIS, UV a NIR záření, a dále je uzpůsobena pro ovládání (řízení) intenzity svícení jednotlivých zdrojů 50, 51. 52 VIS, UV a NIR záření a/nebo jednotlivých segmentů 54 zdrojů 50, 51, 52 VIS, UV a NIR záření, např. pomocí pulsně šířkové modulace pro ovládání budící elektroniky jednotlivých zdrojů 50. 51. 52 VIS, UV a NIR záření a/nebo jednotlivých segmentů 54 zdrojů 50. 51. 52 VIS, UV a NIR záření atd.The control electronics of the sources 50, 51, 52 VIS, UV and NIR radiation are adapted on the one hand for controlled switching on and off of the individual sources 50, 51, 52 VIS, UV and NIR radiation and / or the individual segments 54 of the sources 50. 51. 52 VIS, UV and NIR radiation, and is further adapted to control the intensity of illumination of the individual sources 50, 51, 52 VIS, UV and NIR radiation and / or the individual segments 54 of the sources 50, 51, 52 VIS, UV and NIR radiation, e.g. pulse width modulations for controlling the excitation electronics of the individual sources 50. 51. 52 VIS, UV and NIR radiation and / or the individual segments 54 of the sources 50. 51. 52 VIS, UV and NIR radiation, etc.
V závislosti na očekávané charakteristice a optických vlastnostech nečistot N ve vlákenném materiálu M, např. v bavlně B, ve sledované ploše 2 jsou případně voleny vlnové délky aktuálně použitého ozáření vlákenného materiálu M osvětlovacím zařízením 5 ve sledované ploše 2 tak, aby kombinované spektrum záření vydávaného osvětlovacím zařízením 5 pokrývalo významné body spektrálních charakteristik nečistot N hledaných nebo očekávaných ve vlákenném materiálu M, např. v hodnocené bavlně B, aby tyto nečistoty N byly zviditelněny, nebo zvýrazněny, ve sledované ploše 2 pro hodnocení vlákenného materiálu M, např. bavlny B, neuronovou sítí podle tohoto vynálezu.Depending on the expected characteristics and optical properties of the impurities N in the fibrous material M, e.g. in cotton B, in the monitored area 2, the wavelengths of the currently used irradiation of the fibrous material M by the lighting device 5 in the monitored area 2 are optionally selected so that the combined radiation spectrum is emitted. the lighting device 5 covered significant points of the spectral characteristics of impurities N sought or expected in the fibrous material M, e.g. in the evaluated cotton B, so that these impurities N are visible or highlighted in the monitored area 2 for evaluating the fibrous material M, e.g. the neural network of the present invention.
Pro hledané nebo očekávané nečistoty N organického původu lze např. využít ozáření plochy 2 viditelnou částí spektra (VIS), pro hledané nebo očekávané nečistoty N ve formě umělých částic, plastů, bělených vláken atp. ie výhodné využít ozáření plochy 2 částí vlnových délek ve spektrech UV a/nebo NIR atd.For the sought or expected impurities N of organic origin, it is possible, for example, to use irradiation of the surface 2 with the visible part of the spectrum (VIS), for the sought or expected impurities N in the form of artificial particles, plastics, bleached fibers, etc. ie it is advantageous to use the irradiation of the surface of 2 parts of wavelengths in the UV and / or NIR spectra, etc.
Ve znázorněném provedení je před osvětlovacím zařízením 5, tj. mezi osvětlovacím zařízením 5 a sledovanou plochou 2, umístěn difusor 55 záření osvětlovacího zařízení 5, příkladně vytvořený z materiálu polopropustného pro vydávané záření, kde materiál difůzoru 55 je uzpůsoben pro bránění vzniku odlesků jednotlivých zdrojů 50, 51, 52 VIS, UV a NIR záření a/nebo jednotlivých segmentů 54 zdrojů 50, 51. 52 VIS, UV a NIR záření od sledované plochy 2, aby v obrazu scény snímané monochromatickým optickým snímačem 10 nedocházelo k nežádoucím chybám snímání a také pro homogenizaci osvitu sledované plochy 2.In the illustrated embodiment, a radiation diffuser 55 of the lighting device 5, for example made of a semi-transparent material for emitting radiation, is arranged in front of the lighting device 5, i.e. between the lighting device 5 and the monitored surface 2, the diffuser material 55 being adapted to prevent reflections of individual sources 50. , 51, 52 VIS, UV and NIR radiation and / or individual segments 54 of the sources 50, 51. 52 VIS, UV and NIR radiation from the monitored area 2 in order to avoid undesired scanning errors in the image of the scene captured by the monochrome optical sensor 10 and also for homogenization of the exposure of the monitored area 2.
Pro omezení nebo zabránění pronikání nežádoucího okolního a/nebo parazitního světla do prostoru mezi kamerou 1, resp. monochromatickým optickým snímačem 10, a sledovanou plochou 2, je v příkladu na obr. la mezi kamerou 1 a sledovanou plochou 2, nebo mezi monochromatickým optickým snímačem 10 a sledovanou plochou 2, uspořádáno duté stínící pouzdro 3, na jehož jednom konci 30 je uspořádána kamera 1, resp. monochromatický optický snímač 10, a na druhém konci 31 stínícího pouzdra 3 je uspořádána sledovaná plocha 2. V příkladu provedení na obr. laje alespoň jedno osvětlovací zařízení 5 uspořádáno rovněž na konci stínícího pouzdra 3, na kterém je uspořádána kamera J., resp. monochromatický optický snímač 10. Monochromatický optický snímač 10 a osvětlovací zařízení 5 jsou tak uspořádány v dutém stínícím pouzdru 3, které je opatřeno dosedací plochou pro dosednutí kolem sledované plochy 2 vlákenného materiálu M.To limit or prevent the penetration of unwanted ambient and / or stray light into the space between the camera 1, resp. a monochrome optical sensor 10 and a monitoring surface 2, in the example of FIG. 1a, a hollow shielding housing 3 is arranged between the camera 1 and the monitoring surface 2, or between the monochromatic optical sensor 10 and the monitoring surface 2, at one end 30 of which a camera is arranged. 1, resp. a monochrome optical sensor 10, and a monitored surface 2 is arranged at the other end 31 of the shield housing 3. In the exemplary embodiment in FIG. 1a, at least one lighting device 5 is also arranged at the end of the shield housing 3 on which the camera J. and monochrome optical sensor 10. The monochrome optical sensor 10 and the lighting device 5 are thus arranged in a hollow shielding housing 3, which is provided with an abutment surface for abutment around the monitored surface 2 of fibrous material M.
Zařízení pro hodnocení nečistot ve vlákenném materiálu M, např. v bavlně B, dále obsahuje výpočetní zařízení 4 se softwarem, kde toto výpočetní zařízení 4 se softwarem je uzpůsobeno proThe device for evaluating impurities in fibrous material M, e.g. in cotton B, further comprises a computing device 4 with software, this computing device 4 with software being adapted for
-6CZ 308783 B6 okamžité zpracování snímků získaných monochromatickým optickým snímačem 10. resp. kamerou 1, při ozáření zářením odpovídající vlnové délky, ideálně pak alespoň dvou různých vlnových délkách spekter UV, VIS, NIR osvícení sledované plochy 2.-6GB 308783 B6 Immediate processing of images acquired with a monochrome optical sensor 10. resp. camera 1, when irradiated with radiation of the corresponding wavelength, ideally at least two different wavelengths of the spectra UV, VIS, NIR illumination of the monitored area 2.
Výpočetní zařízení 4 se softwarem příkladně obsahuje alespoň jeden univerzální počítač se softwarem, nebo obsahuje alespoň jeden specializovaný výpočetní hardware se softwarem, nebo obsahuje kombinaci alespoň jednoho univerzálního počítače se softwarem a alespoň jednoho specializovaného výpočetního hardware se softwarem atd. Ideálně pak výpočetní zařízení 4 obsahuje univerzální počítač spřažený s výpočetní farmou množství PC grafických karet, protože struktura a vysoký počet výpočetních jader grafických výpočetních jednotek (GPU) na jedné PC grafické kartě jsou ideální pro dosažení vysokého výpočetního výkonu v takových masivně paralelizovaných úlohách pro účely tohoto vynálezu, jak bude dále popsáno v bližších podrobnostech.The software computing device 4 for example comprises at least one universal computer with software, or comprises at least one specialized computer hardware with software, or comprises a combination of at least one universal computer with software and at least one specialized computer hardware with software, etc. Ideally the computing device 4 comprises universal a computer coupled to a computing farm of a plurality of PC graphics cards, because the structure and high number of graphics computing units (GPUs) on a single PC graphics card are ideal for achieving high computing performance in such massively parallelized tasks for the purposes of the present invention, as will be described below. more details.
Způsob hodnocení nečistot N ve vlákenném materiálu M, např. v bavlně B, podle tohoto vynálezu je založen na tom, že se monochromatickým optickým snímačem 10 s globální závěrkou nebo kamerou 1 s takovým snímačem 10 s globální závěrkou snímá scéna ve sledované ploše 2, kde toto snímání scény se provádí v součinnosti snímače 10 s osvětlovacím zařízením 5.The method of evaluating impurities N in a fibrous material M, e.g., cotton B, according to the present invention is based on capturing a scene in a monitored area 2 with a monochrome optical sensor 10 with a global shutter or a camera 1 with such a sensor 10 with a global shutter, where this scanning of the scene is performed in cooperation of the sensor 10 with the lighting device 5.
Způsob hodnocení nečistot N ve vlákenném materiálu M, např. v bavlně B, neuronovou sítí je založen na tom, že se sledovaná plocha 2 ozařuje světelným zářením, přičemž se pořizují obrazové snímky sledované plochy 2 a tyto snímky se zpracují pro následnou analýzu neuronovou sítí pro identifikaci a hodnocení nečistot N ve vlákenném materiálu M. Přitom se sledovaná plocha 2 ozařuje zářením s vlnovou délkou ze skupiny VIS, UV a NIR záření, přičemž se synchronizované s tímto ozařováním sledované plochy 2 sejme monochromatickým optickým snímačem 10 alespoň jeden obrazový snímek sledované plochy 2 a tento snímek nebo snímky se zpracuje/jí natrénovanou neuronovou sítí 6 pro rozpoznání a vyhodnocení nečistot N ve vlákenném materiálu M.The method of evaluating impurities N in fibrous material M, e.g. in cotton B, by a neural network is based on irradiating the monitored area 2 with light radiation, taking images of the monitored area 2 and processing these images for subsequent analysis by the neural network for identification and evaluation of impurities N in the fibrous material M. In this case, the monitored area 2 is irradiated with radiation of the wavelength group VIS, UV and NIR radiation, while at least one image of the monitored area 2 is taken by the monochromatic optical sensor 10 in synchronization with this irradiation. and this image or images are processed by a trained neural network 6 to recognize and evaluate impurities N in the fibrous material M.
Rozšířený způsob hodnocení nečistot N ve vlákenném materiálu M je založen na součinném (synchronizovaném) snímání sledované plochy 2 monochromatickým optickým snímačem 10, při kterém se zachycují snímky vlákenného materiálu M, např. bavlny B, ve sledované ploše 2, přičemž zachycení každého snímku snímačem 10 a následná analýza snímku natrénovanou neuronovou sítí 6 se provede v následujících krocích, znázorněných také na obr. 4:The extended method of evaluating impurities N in fibrous material M is based on cooperating (synchronized) scanning of the monitored area 2 by a monochrome optical sensor 10, in which images of fibrous material M, e.g. cotton B, are captured in the monitored area 2, each image being captured by sensor 10. and the subsequent analysis of the image by the trained neural network 6 is performed in the following steps, also shown in Fig. 4:
Krok 1.) řídicí elektronika osvětlovacího zařízení 5 sepne alespoň jeden ze zdrojů 50, 51. 52 VIS, UV a NIR záření, nebo alespoň jeden segment 54 těchto zdrojů 50, 51. 52 VIS, UV a NIR záření, nebo zvolenou kombinaci zdrojů 50, 51, 52 VIS, UV a NIR záření a/nebo segmentů 54, a to na požadovaný jas tohoto zdroje 50, 51, 52 VIS, UV a NIR záření, segmentu 54 zdrojů 50, 51, 52 VIS, UV a NIR záření, kombinace zdrojů 50, 51. 52 VIS, UV a NIR záření a segmentů 54 atd., čímž se ozáří ve sledované ploše 2;Step 1.) the control electronics of the lighting device 5 switches on at least one of the sources 50, 51, 52 VIS, UV and NIR radiation, or at least one segment 54 of these sources 50, 51, 52 VIS, UV and NIR radiation, or a selected combination of sources 50 , 51, 52 VIS, UV and NIR radiation and / or segments 54, to the required brightness of this source 50, 51, 52 VIS, UV and NIR radiation, segment 54 of the sources 50, 51, 52 VIS, UV and NIR radiation, a combination of sources 50, 51, 52 of VIS, UV and NIR radiation and segments 54, etc., thereby irradiating in the monitored area 2;
Krok 2.) paralelně nebo v návaznosti na sepnutí zdrojů 50, 51. 52 VIS, UV a NIR záření, segmentů 54 atd. osvětlovacího zařízení 5 předchozím krokem se zahájí snímání vlákenného materiálu M ve sledované ploše 2, pomocí monochromatického optického snímače 10, resp. pomocí jeho jednotlivých pixelů (na záření citlivých elementů);Step 2.) in parallel or in connection with the switching of the sources 50, 51, 52 VIS, UV and NIR radiation, segments 54 etc. of the lighting device 5 by the previous step, the sensing of fibrous material M in the monitored area 2 is started by a monochromatic optical sensor 10, resp. . using its individual pixels (radiation-sensitive elements);
Krok 3.) počká se na uplynutí expoziční doby pro pořízení snímku snímačem 10;Step 3.) wait for the exposure time for the image to be taken by the sensor 10;
Krok 4.) ze snímače 10 s globální závěrkou se vyčte pořízený snímek a uloží se do paměti;Step 4.) the captured image is read from the global shutter sensor 10 and stored in the memory;
Krok 5.) provede se opakování procesu podle kroků 1 až 4, a to s dalším zdrojem 50, 51, 52 VIS, UV a NIR záření, nebo s dalším segmentem 54 těchto zdrojů 50, 51. 52 VIS, UV a NIR záření, nebo s další zvolenou kombinací zdrojů 50,51. 52 VIS, UV a NIR záření a/nebo segmentů 54; toto opakování se provede tolikrát, kolik různých vlnových délek záření VIS, UV, NIR spektra neboStep 5.) the process is repeated according to steps 1 to 4, with another source 50, 51, 52 of VIS, UV and NIR radiation, or with another segment 54 of these sources 50, 51, 52 of VIS, UV and NIR radiation, or with another selected combination of sources 50.51. 52 VIS, UV and NIR radiation and / or segments 54; this repetition is performed as many times as the different wavelengths of the VIS, UV, NIR or
-7 CZ 308783 B6 jejich kombinací je pro ozáření hodnoceného vlákenného materiálu M, např. bavlny B, ve sledované ploše 2 požadováno podle očekávaného výskytu a typu nečistot N;- 7 CZ 308783 B6 their combination is required for irradiation of the evaluated fibrous material M, e.g. cotton B, in the monitored area 2 according to the expected occurrence and type of impurities N;
Krok 6.) postupem podle kroků 1 až 5 se získá v paměti uložená série alespoň dvou monochromatických snímků vlákenného materiálu M ve sledované ploše 2 při různých vlnových délkách ozařujícího záření, které reprezentují tzv. spektrální řezy, tj. část spektrální charakteristiky snímané scény;Step 6.) by proceeding according to steps 1 to 5, a stored series of at least two monochromatic images of fibrous material M in the monitored area 2 at different wavelengths of irradiating radiation are obtained, which represent so-called spectral sections, i.e. part of the spectral characteristic of the scanned scene;
Krok 7.) takto získaná série monochromatických snímků vlákenného materiálu M ve sledované ploše 2 se softwarově složí do jednoho multispektrálního snímku (v zásadě jsou pro složení do jednoho multispektrálního snímku potřeba alespoň dva monochromatické snímky při různých vlnových délkách ozáření sledované plochy 2;Step 7.) the series of monochromatic images of fibrous material M thus obtained in the monitored area 2 is thus software-assembled into one multispectral image (in principle, at least two monochromatic images at different wavelengths of irradiation of the monitored area 2 are required to assemble into one multispectral image;
Krok 8.) vytvořený multispektrální snímek se následně analyzuje natrénovanou neuronovou sítí, ideálně pak natrénovanou vícevrstvou konvoluční neuronovou sítí 6 pro identifikaci a hodnocení cizích příměsí, resp. nečistot N;Step 8.) the created multispectral image is subsequently analyzed by a trained neural network, ideally by a trained multilayer convolutional neural network 6 for the identification and evaluation of foreign impurities, resp. impurities N;
Krok 9.) identifikované cizí příměsi, resp. nečistoty N, se zatřídí (klasifikují) a jejich výskyt se statisticky vyhodnotí z hlediska četnosti a hustoty výskytu ve sledované ploše 2 atd.Step 9.) identified foreign impurities, resp. impurities N, are classified (classified) and their occurrence is statistically evaluated in terms of frequency and density of occurrence in the monitored area 2, etc.
Krok 10.) opakování od kroku 1 pro získání nových snímků nového obrazu vlákenného materiálu ve sledované ploše 2 pro identifikaci a hodnocení cizích příměsí, resp. nečistot N, v další části hodnoceného vlákenného materiálu M, např. bavlny B, který se ve sledované ploše 2 posunul, např. vlivem probíhajícího zpracovávání vlákenného materiálu M, např. bavlny B, textilním strojem.Step 10.) repeating from step 1 to obtain new images of a new image of fibrous material in the monitored area 2 for identification and evaluation of foreign impurities, resp. impurities N, in another part of the evaluated fibrous material M, e.g. cotton B, which has shifted in the monitored area 2, e.g. due to the ongoing processing of the fibrous material M, e.g. cotton B, by a textile machine.
Při pořizování jednotlivých monochromatických snímků podle kroků 1 až 4 může vlivem probíhajícího zpracovávání vlákenného materiálu M textilním strojem dojít k pohybu vlákenného materiálu M ve sledované ploše 2 i mezi jednotlivými monochromatickými snímky určenými pro složení do jednoho multispektrálního snímku podle kroku 7. Vliv tohoto případného pohybu vlákenného materiálu M se s výhodou kompenzuje zvýšením rychlosti pořízení celé sekvence jednotlivých monochromatických snímků podle kroků 1 až 4 pro jeden multispektrální snímek podle kroku 7. Celková doba na pořízení celé sekvence jednotlivých monochromatických snímků podle kroků 1 až 4 projeden multispektrální snímek podle kroku 7 je závislá na počtu pořizovaných monochromatických snímků projeden multispektrální snímek a na době expozice každého snímku. Softwarově při zpracování jednotlivých monochromatických snímků však lze případně řešit i dodatečnou kompenzaci posunu hodnoceného vlákenného materiálu M ve sledované ploše 2 mezi pořízenými jednotlivými monochromatickými snímky podle kroku 1 až 4 projeden multispektrální snímek podle kroku 7. Zmíněná softwarová kompenzace posuvu sledovaného materiálu mezi jednotlivými monochromatickými snímky podle kroku 1 až 4 snímky je možná např. využitím známých a volně dostupných algoritmů korekce pohybujícího se obrazu při strojovém vidění, jejichž pomocí se určí míra vzájemného posunutí, rotace a deformace obrazu mezi dílčími snímky a časově centrálním snímkem. Přesahuje-li míra posunutí sledovaného vlákenného materiálu M mezi snímky heuristicky definovanou mez, je získaný obraz označen za vadný a je z následného zpracování pro identifikaci a hodnocení nečistot N vyřazen. V případě vysoké míry podobnosti dílčích monochromatických snímků pro jeden multispektrální snímek jsou tyto dílčí monochromatické snímky geometricky transformovány a vycentrovány. Tato korekce posunutí, rotace a deformace obrazuje výhodně zařazena podle potřeba jako krok 6a mezi výše uvedené kroky 6 a 7, viz. obr. 5, neboje zařazena jako krok 7a mezi výše uvedené kroky 7 a 8, viz. obr. 6.When acquiring individual monochrome images according to steps 1 to 4, due to the ongoing processing of the fibrous material M by the textile machine, the fibrous material M may move in the monitored area 2 even between individual monochromatic images intended to be folded into one multispectral image according to step 7. material M is preferably compensated by increasing the acquisition rate of the entire sequence of individual monochromatic images according to steps 1 to 4 for one multispectral image according to step 7. The total time to capture the entire sequence of individual monochromatic images according to steps 1 to 4 per multispectral image according to step 7 depends on the number of monochrome images taken, the multispectral image and the time of exposure of each image. However, additional processing of the displacement of the evaluated fibrous material M in the monitored area 2 between the acquired individual monochromatic images according to steps 1 to 4 can be solved by software during processing of individual monochrome images according to step 7. Said software compensation of displacement of monitored material between individual monochromatic images according to Steps 1 to 4 of the image are possible, for example, by using known and freely available moving vision correction algorithms in machine vision, which determine the degree of mutual displacement, rotation and deformation of the image between the sub-images and the time-centered image. If the degree of displacement of the monitored fibrous material M between the images exceeds the heuristically defined limit, the obtained image is marked as defective and is excluded from the subsequent processing for identification and evaluation of impurities N. In the case of a high degree of similarity of partial monochromatic images for one multispectral image, these partial monochromatic images are geometrically transformed and centered. This displacement, rotation and deformation correction is preferably included as step 6a as required between steps 6 and 7 above, cf. Fig. 5, or is included as step 7a between the above steps 7 and 8, viz. Fig. 6.
V kroku 7 vytvořený a validovaný multispektrální snímek se ořízne tak, aby neobsahoval nepotřebné části snímané scény ve sledované ploše 2 a odešle se ke zpracování pomocí natrénované neuronové sítě, ideálně pak pomocí natrénované vícevrstvé konvoluční neuronové sítě 6.The multispectral image created and validated in step 7 is cropped so as not to contain unnecessary parts of the scanned scene in the monitored area 2 and is sent for processing by means of a trained neural network, ideally by means of a trained multilayer convolutional neural network 6.
Natrénovaná neuronová síť, resp. natrénovaná vícevrstvá konvoluční neuronová síť 6, je podle tohoto vynálezu uzpůsobena pro klasifikaci objektů v obrázcích (snímcích), resp. multispektrálníchTrained neural network, resp. trained multilayer convolutional neural network 6 is, according to the present invention, adapted for the classification of objects in images, resp. multispectral
-8CZ 308783 B6 obrázcích (snímcích), vlákenného materiálu M, např. bavlny B, ve sledované ploše 2, tedy pro mapování třída = /(obrázek; 0), kde roh funkce / zastupuje neuronová síť s parametry Θ. resp. pro segmentaci obrázků (snímků) nebo multispektrálních obrázků (snímků) vlákenného materiálu M ve sledované ploše 2, tedy mapování maska (nebo mapa) = /(obrázek; 0).-8EN 308783 B6 images (slides), fibrous material M, eg cotton B, in the monitored area 2, ie for mapping class = / (figure; 0), where the corner of the function / represents a neural network with parameters Θ. resp. for segmentation of images (slides) or multispectral images (slides) of fibrous material M in the monitored area 2, i.e. mapping mask (or map) = / (figure; 0).
Natrénovaná neuronová síť, resp. natrénovaná vícevrstvá konvoluční neuronová síť 6, podle tohoto vynálezu vytváří funkci, která mapuje obrazové body a jejich okolí z jednotlivých vrstev vytvořených snímků nebo multispektrálních snímků na pravděpodobnost, se kterou se na daném místě vyskytuje zkoumaná třída, např. bavlna B, nečistota N určitého druhu, atp. Natrénování neuronové sítě, resp. natrénování vícevrstvé konvoluční neuronové sítě 6 podle tohoto vynálezu, se ideálně provede tzv. super vizovaným trénováním, při kterém jsou výsledky klasifikace obrazu získané trénovanou neuronovou sítí kontrolovány, upravovány a hodnoceny živou osobou. Samotné trénování neuronové sítě, resp. trénování vícevrstvé konvoluční neuronové sítě 6, tj. určení váhy jednotlivých vrstev a vzájemného propojení se provádí s použitím databáze snímků vlákenného materiálu M, např. bavlny B, která se pořídí před samotným hodnocením vlákenného materiálu M, např. bavlny B, a identifikací (rozpoznáváním) a hodnocení nečistot N v textilním provozu a tato databáze trénovacích snímků je ručně anotována trénující osobou, tj. jednotlivé prvky, včetně nečistot N, na snímcích jsou ručně označeny trénující osobou a jsou jim přiřazeny příslušné třídy hodnocení. Databáze anotovaných snímků je případně průběžně rozšiřována náhodným výběrem snímků pořízených při skutečném provozu textilního stroje, čímž je možno dále vylepšovat klasifikační parametry natrénované neuronové sítě, resp. natrénované vícevrstvé konvoluční neuronové sítě 6.Trained neural network, resp. The trained multilayer convolutional neural network 6 according to the invention creates a function which maps pixels and their surroundings from individual layers of generated images or multispectral images to the probability with which the examined class occurs at a given location, e.g. cotton B, impurity N of a certain type. , etc. Neural network training, resp. The training of the multilayer convolutional neural network 6 according to the invention is ideally performed by so-called super-visual training, in which the image classification results obtained by the trained neural network are checked, adjusted and evaluated by a living person. The training of the neural network itself, resp. training of the multilayer convolutional neural network 6, i.e. determination of the weight of individual layers and interconnection is performed using a database of images of fibrous material M, e.g. cotton B, which is taken before the actual evaluation of fibrous material M, e.g. cotton B, and identification (recognition ) and evaluation of impurities N in textile operation and this database of training images is manually annotated by the trainer, ie individual elements, including impurities N, are manually marked by the trainer in the images and assigned the appropriate evaluation classes. The database of annotated images is possibly continuously expanded by random selection of images taken during the actual operation of the textile machine, which makes it possible to further improve the classification parameters of the trained neural network, resp. trained multilayer convolutional neural networks 6.
Vstupem segmentační (vícevrstvé) konvoluční neuronové sítě 6 podle tohoto vynálezu je tensor s rozměry C X Η X W, kde C značí počet spektrálních kanálů při získání příslušného multispektrálního snímku, H výšku zachyceného obrazu a W šířku zachyceného obrazu.The input of the segmentation (multilayer) convolutional neural network 6 according to the invention is a tensor with dimensions C X Η X W, where C denotes the number of spectral channels when obtaining the respective multispectral image, H the height of the captured image and W the width of the captured image.
Použitá segmentační (vícevrstvá) konvoluční neuronová síť 6 má tři části: enkodér 60, dekodér 61 a klasifikátor 62.The segmentation (multilayer) convolutional neural network 6 used has three parts: an encoder 60, a decoder 61 and a classifier 62.
Enkodér 60 je ve své první vrstvě 600 uzpůsoben pro provedení operace dvourozměrné konvoluce (Conv2D) se 64 filtry, normalizace hodnot na odhadnutý průměr a standardní odchylku (batch normalizaiton, Bachnorm), rektifikace linearity (Rectified Linear Unit, ReLU) a podvzorkování skrze výpočet lokálních maxim (max pooling, Maxpool). Podvzorkování skrze výpočet lokálních maxim (Maxpool) sníží prostorové rozlišení vstupu na polovinu. Výstupem první vrstvy 600 enkodéru 60 je tedy konvoluční mapa y® = L(x). kde L reprezentuje sekvenční aplikaci výše uvedených funkcí. Tensor y® má rozměry 64 X H/2 X W/2. Další čtyři vrstvy 601 až 604 enkodéru 60 tvoří z hlediska architektury shodné makrobloky E^, l = 1, ...,4, které sestávají z jednoho či více jednodušších, tzv. reziduálních bloků R^l\ Každý reziduální blok modeluje závislost výstupu u na vstupu t jako funkci tvaru u = t + r(t\ kde r(t) reprezentuje sekvenci operací v následujícím pořadí: Conv2D, Batchnorm, ReLU, Conv2D, Batchnorm, podvzorkování skrze výpočet lokálních průměrných hodnot (average pooling, Avgpool). Poslední krok Avgpool se provádí pouze u posledních reziduálních bloků uvnitř makrobloků 2, 3, a 4 (tj. s výjimkou prvního). Jelikož kromě podvzorkování používají makrobloky č. 2, 3 a 4 zároveň vždy dvojnásobný počet konvolučních filtrů oproti předchozímu makrobloků, je výstupem enkodéru 60 konvoluční mapa (tensor) y^ s přibližnými rozměry 512 X H/32 xVP/32. Enkodér 60 je s výhodou architektury ResNet-50.Encoder 60 in its first layer 600 is adapted to perform a two-dimensional convolution (Conv2D) operation with 64 filters, normalization of values to the estimated mean and standard deviation (batch normalization, Bachnorm), rectification of linearity (Rectified Linear Unit, ReLU) and subsampling maxim (max pooling, Maxpool). Subsampling by calculating local maxima (Maxpool) halves the spatial resolution of the input. Thus, the output of the first layer 600 of encoder 60 is a convolution map y® = L (x). where L represents a sequential application of the above functions. Tensor y® has dimensions of 64 XH / 2 XW / 2. Another four layers 601 to 604 constitute an encoder 60 in terms of architecture identical macroblocks E ^ l = 1, ..., 4, consisting of one or more simpler called. Residual block R ^ l \ Any residual block modeled in dependence of output at input t as a function of the form u = t + r (t \ where r (t) represents the sequence of operations in the following order: Conv2D, Batchnorm, ReLU, Conv2D, Batchnorm, subsampling through the calculation of average pooling values (Avgpool). the Avgpool step is performed only for the last residual blocks inside macroblocks 2, 3, and 4 (ie except the first) Since, in addition to subsampling, macroblocks 2, 3 and 4 always use twice the number of convolution filters compared to the previous macroblocks, the encoder is output 60 is a convolution map (tensor) y ^ with approximate dimensions of 512 XH / 32 xVP / 32. Encoder 60 is preferably a ResNet-50 architecture.
Úkolem dekodéru 61 je nadvzorkovat výstupní tensor y enkodéru 60 na původní rozlišení vstupu tak, aby mohly být klasifikovány jednotlivé pixely obrazu. Za tímto účelem se opakovaně aplikuje tzv. transponovaná varianta dvourozměrné konvoluce (TConv2D). Podobně jako u enkodéru 60, i dekodér 61 je tvořen čtyřmi makrobloky DÍk\k = 1, ...,4, sestávajícími z jednoho či více vnitřních konvolučních bloků G^k\ Každý makroblok převezme výstup předchozího makroblokůThe task of the decoder 61 is to downsample the output tensor y of the encoder 60 to the original input resolution so that the individual pixels of the image can be classified. For this purpose, the so-called transposed variant of two-dimensional convolution (TConv2D) is repeatedly applied. Similar to encoder 60, decoder 61 is formed by four macroblocks D1 k \ k = 1, ..., 4, consisting of one or more internal convolution blocks G 1 k \. Each macroblock takes over the output of the previous macroblocks.
-9CZ 308783 B6 z(fc-i) (výstup z ekodéru y^ v případě makrobloku D^) a nadvzorkuje ho na dvojnásobné rozlišení. Pokud je vstup do makrobloku tensor s rozměry F X Μ X N, výstup prvního kroku makrobloku je tensor = F X 2M X 2N. Pro lepší zpracování informace z více vrstev sítě 6, je k tensoru připojen výstup y^^ enkódovacího makrobloku E^~kX Výsledný spojený tensor má tvar 2F x2M X 2N a na něj jsou poté aplikovány vnitřní konvoluční bloky-9CZ 308 783 B6 (fc-i) (Y of Tup ekodéru y ^ in the case of the macroblock D ^) and nadvzorkuje it to double the resolution. If the input to the macroblock is a tensor with dimensions FX Μ XN, the output of the first step of the macroblock is tensor = FX 2M X 2N. For better processing of information from several layers of the network 6, the output y ^^ of the encoding macroblock E ^ ~ k X is connected to the tensor. The resulting connected tensor has the form 2F x2M X 2N and internal convolution blocks are then applied to it.
Gj , každý provádějící následující sekvenci operací: Conv2D, Batchnorm, ReLU. Jelikož každý dekódovací makroblok zdvojnásobí prostorové rozlišení a zároveň redukuje počet konvolučních filtrů na polovinu, j e výstupem dekodéru 61 tensor z tvaru 64 X H/2 X W / 2.Gj, each performing the following sequence of operations: Conv2D, Batchnorm, ReLU. Since each decoding macroblock doubles the spatial resolution while halving the number of convolution filters, the output of the decoder 61 is a 64 X H / 2 X W / 2 tensor.
Poslední částí segmentační konvoluční neuronové sítě 6 podle vynálezu je klasifikátor 62, který obsahuje jednu aplikaci transponované konvoluce s krokem 2 a počtem filtrů K tak, aby výsledný tensor P byl tvaru K X Η X W, kde K značí počet klasifikovaných tříd. Výstupní tensor P segmentační (vícevrstvé) konvoluční neuronové sítě 6 udává pro každý pixel vstupního obrazu jeho skóre či pravděpodobnost náležení do jedné z definovaných tříd odlišujících hodnocený vlákenný materiál M, např. bavlnu B, od různých typů nečistot N.The last part of the segmentation convolutional neural network 6 according to the invention is the classifier 62, which comprises one application of the transposed convolution with step 2 and number of filters K so that the resulting tensor P is of the form K X Η X W, where K denotes the number of classified classes. The output tensor P of the segmentation (multilayer) convolutional neural network 6 indicates for each pixel of the input image its score or probability of belonging to one of the defined classes distinguishing the evaluated fibrous material M, eg cotton B, from different types of impurities N.
Výpočetní zařízení 4 pak data z klasifikátoru 62 řadí do přehledového schématu, např. tabulky, kterou průběžně ukládá do paměti a/nebo zobrazuje na monitoru a/nebo odesílá na vzdálené místo k supervizi a/nebo výpočetní zařízení 4 obsahuje algoritmus včasného varování, který pouze v případě hrozícího nebo již nastalého překročení nastavených kvalitativních mezí vlákenného materiálu M, např. hodnocené bavlny B, ve sledované ploše 2 vydá varování obsluze atd.The computing device 4 then sorts the data from the classifier 62 into an overview diagram, e.g. a table, which it continuously stores and / or displays on the monitor and / or sends to a remote location for supervision and / or the computing device 4 contains an early warning algorithm which only in case of imminent or already occurring exceeding of the set quality limits of fibrous material M, eg evaluated cotton B, in the monitored area 2 issue a warning to the operator, etc.
Zjednodušeně řečeno, neuronová síť 6 nezávisle na vstupu (obrázek vs multispektrální obrázek) vždy klasifikuje jednotlivé pixely (byť zohledňuje i jejich okolí), tzn. vystupuje ze sítě 6 něco, co je možno označit za „mapu“ (resp. mapu pravděpodobností, nebo to lze nazvat i jako maska), která má stejné rozlišení jako vstup. To znamená, že výstupem sítě 6 je opět obrázek, kde jsou zvýrazněny nečistoty N. Tato výstupní mapa sítě 6 má přitom tolik vrstev, kolik tříd v hodnoceném obrazu rozlišujeme, tj. např. bavlna, list, umělé vlákno atd. Jinými slovy máme pro každý pixel tolik hodnot pravděpodobností, kolik je rozlišovaných tříd a dohromady tyto pravděpodobnosti mají součet jedna, tj. 100 %. Toto mapování obrázek —> třída implikuje, že výsledkem průchodu sítí 6 je jedno číslo nebo nějaká jiná reprezentace třídy, jakože např. o celém obrázku bychom řekli, zdaje dobrý či špatný. Jednotlivé objekty a jejich statistiky (počty, velikosti, ...) se proto získávají až postprocessingem výpočetním zařízením 4, kdy ve výstupní mapě nalezneme spojité oblasti dostatečně odlišených (rozsvícených) pixelů, které mají pravděpodobnost nečistota N heuristicky stanovenou jako prahová hodnota. Je také možné, aby modifikovat síť tak, že již jejím výstupem jsou jednotlivé objekty rozřazené na třídy, např. bavlna, list, umělé vlákno atd.Simply put, the neural network 6, regardless of the input (picture vs multispectral picture), always classifies the individual pixels (although it also takes into account their surroundings), ie. comes out of the network 6 something that can be called a "map" (or a map of probabilities, or it can also be called a mask), which has the same resolution as the input. This means that the output of the network 6 is again an image where the impurities N are highlighted. This output map of the network 6 has as many layers as we distinguish in the evaluated image, ie cotton, leaf, man-made fiber, etc. In other words we have for each pixel has as many probability values as there are distinguished classes, and together these probabilities have the sum of one, i.e. 100%. This mapping of the image -> class implies that the result of passing through the networks 6 is one number or some other representation of the class, as for example we would say about the whole image whether it is good or bad. Individual objects and their statistics (numbers, sizes, ...) are therefore obtained only by postprocessing by computing device 4, when in the output map we find continuous areas of sufficiently differentiated (lit) pixels, which have the probability of impurity N heuristically determined as a threshold value. It is also possible to modify the network so that its output is already individual objects divided into classes, eg cotton, leaf, man-made fiber, etc.
Průmyslová využitelnostIndustrial applicability
Vynález je využitelný pro hodnocení kvality vlákenného materiálu, např. bavlny, v procesu zpracování, zejména čištění, před dalšími technologickými kroky. Vlákenný materiál přitom může zaujímat celou řadu prostorových útvarů a forem, např. jako vrstva vláken na ploše, vlákenné vločky a chuchvalce, pramen vláken, balík vláken, hromada vláken atd.The invention is useful for evaluating the quality of a fibrous material, e.g. cotton, in the process of processing, in particular cleaning, before further technological steps. The fibrous material can take on a number of spatial shapes and forms, for example as a layer of fibers on a surface, fiber flakes and tufts, a fiber strand, a bundle of fibers, a pile of fibers, etc.
Claims (5)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2020443A CZ2020443A3 (en) | 2020-08-05 | 2020-08-05 | Equipment for assessing impurities in fibrous material |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2020443A CZ2020443A3 (en) | 2020-08-05 | 2020-08-05 | Equipment for assessing impurities in fibrous material |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CZ308783B6 true CZ308783B6 (en) | 2021-05-12 |
| CZ2020443A3 CZ2020443A3 (en) | 2021-05-12 |
Family
ID=75795367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CZ2020443A CZ2020443A3 (en) | 2020-08-05 | 2020-08-05 | Equipment for assessing impurities in fibrous material |
Country Status (1)
| Country | Link |
|---|---|
| CZ (1) | CZ2020443A3 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170353712A1 (en) * | 2016-06-06 | 2017-12-07 | Raymond Kirk Price | Pulsed gated structured light systems and methods |
| US20180252691A1 (en) * | 2017-03-01 | 2018-09-06 | Maf Agrobotic | Method and device for optically analysing fruit or vegetables and device for automatic sorting |
| CN109331990A (en) * | 2018-09-28 | 2019-02-15 | 天津理工大学 | A kind of fast automatic recycling sort process of post-consumer glass |
| US20200116627A1 (en) * | 2017-06-12 | 2020-04-16 | Henkel Ag & Co. Kgaa | Detecting an impurity and/or a property of at least one part of a textile |
-
2020
- 2020-08-05 CZ CZ2020443A patent/CZ2020443A3/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170353712A1 (en) * | 2016-06-06 | 2017-12-07 | Raymond Kirk Price | Pulsed gated structured light systems and methods |
| US20180252691A1 (en) * | 2017-03-01 | 2018-09-06 | Maf Agrobotic | Method and device for optically analysing fruit or vegetables and device for automatic sorting |
| US20200116627A1 (en) * | 2017-06-12 | 2020-04-16 | Henkel Ag & Co. Kgaa | Detecting an impurity and/or a property of at least one part of a textile |
| CN109331990A (en) * | 2018-09-28 | 2019-02-15 | 天津理工大学 | A kind of fast automatic recycling sort process of post-consumer glass |
Also Published As
| Publication number | Publication date |
|---|---|
| CZ2020443A3 (en) | 2021-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kim et al. | Detection of skin tumors on chicken carcasses using hyperspectral fluorescence imaging | |
| Zhang et al. | Applications of computer vision techniques to cotton foreign matter inspection: A review | |
| US8625856B2 (en) | Method and system for wholesomeness inspection of freshly slaughtered chickens on a processing line | |
| Huang et al. | Development of a multispectral imaging system for online detection of bruises on apples | |
| Li et al. | Detection of common defects on oranges using hyperspectral reflectance imaging | |
| Qin et al. | Citrus canker detection using hyperspectral reflectance imaging and PCA-based image classification method | |
| Mahendran et al. | Application of computer vision technique on sorting and grading of fruits and vegetables | |
| US9684960B2 (en) | Automated histological diagnosis of bacterial infection using image analysis | |
| Chao et al. | High throughput spectral imaging system for wholesomeness inspection of chicken | |
| Sarkar | Machine vision for quality control in the food industry | |
| Behera | Image-processing in textiles | |
| US20110007151A1 (en) | Imaging Method For Determining Meat Tenderness | |
| Chen et al. | Evaluating fabric pilling with light-projected image analysis | |
| TW202041850A (en) | Image noise reduction using stacked denoising auto-encoder | |
| WO2022137243A1 (en) | Optical technique for analyzing insects, shrimp and fish | |
| Guo et al. | Detection of foreign materials on surface of ginned cotton by hyper-spectral imaging | |
| Chao et al. | Spectral line-scan imaging system for high-speed non-destructive wholesomeness inspection of broilers | |
| Lee et al. | A simple multispectral imaging algorithm for detection of defects on red delicious apples | |
| CZ308783B6 (en) | Equipment for assessing impurities in fibrous material | |
| JP2011033612A (en) | Agricultural product inspection device | |
| CZ2020444A3 (en) | Method for evaluation of impurities in fibrous material by neural network and system for evaluation of impurities in fibrous material by means of neural network | |
| Gonçalves et al. | A novel strategy for the classification of naturally colored cotton fibers based on digital imaging and pattern recognition techniques | |
| WO2023135320A1 (en) | Method, device and system for analyzing a sample | |
| Zabalza et al. | Hyperspectral imaging based detection of PVC during Sellafield repackaging procedures | |
| Szwedziak | Artificial neural networks and computer image analysis in the evaluation of selected quality parameters of pea seeds |