JP7403044B2 - heating cooker - Google Patents

heating cooker Download PDF

Info

Publication number
JP7403044B2
JP7403044B2 JP2019569854A JP2019569854A JP7403044B2 JP 7403044 B2 JP7403044 B2 JP 7403044B2 JP 2019569854 A JP2019569854 A JP 2019569854A JP 2019569854 A JP2019569854 A JP 2019569854A JP 7403044 B2 JP7403044 B2 JP 7403044B2
Authority
JP
Japan
Prior art keywords
heated
section
candidates
image recognition
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019569854A
Other languages
Japanese (ja)
Other versions
JPWO2020054609A1 (en
Inventor
志奇 黄
匡史 貞平
裕弘 幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2020054609A1 publication Critical patent/JPWO2020054609A1/en
Application granted granted Critical
Publication of JP7403044B2 publication Critical patent/JP7403044B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24CDOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00Stoves or ranges heated by electric energy
    • F24C7/04Stoves or ranges heated by electric energy with heat radiated directly from the heating element
    • F24C7/043Stoves
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24CDOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C15/00Details
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24CDOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00Stoves or ranges heated by electric energy
    • F24C7/02Stoves or ranges heated by electric energy using microwaves
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B6/00Heating by electric, magnetic or electromagnetic fields
    • H05B6/02Induction heating
    • H05B6/10Induction heating apparatus, other than furnaces, for specific applications
    • H05B6/12Cooking devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Electric Ovens (AREA)
  • Electric Stoves And Ranges (AREA)

Description

本開示は加熱調理器に関する。 The present disclosure relates to a heating cooker.

従来、電子レンジには、マイクロ波加熱機能に加えて、輻射加熱機能、スチーム加熱機能を備えたものがある。このような加熱調理器には、被加熱物である食材に適した調理メニューを有し、調理メニューボタンにより選択された被加熱物の種類(ごはん、牛乳、野菜など)に適した加熱を行うことができる機種がある。 Conventionally, some microwave ovens have a radiant heating function and a steam heating function in addition to a microwave heating function. Such a heating cooker has a cooking menu suitable for the food to be heated, and performs heating suitable for the type of food to be heated (rice, milk, vegetables, etc.) selected by the cooking menu button. There are models that can do this.

近年、加熱室内に配置されたカメラを有し、画像認識により特定された被加熱物の種類に応じて自動的に加熱を行う加熱調理器が提案されている。上記従来の加熱調理器により、使用者が被加熱物の種類を選択することなく、その被加熱物に適した加熱を自動的に行うことができる。 In recent years, a heating cooking device has been proposed that has a camera placed in a heating chamber and automatically heats the object according to the type of the object specified by image recognition. With the conventional heating cooker described above, it is possible to automatically perform heating suitable for the object to be heated, without the user selecting the type of the object to be heated.

しかしながら、上記従来の加熱調理器は、画像認識による被加熱物の特定が不正確な場合、その被加熱物に適した加熱を行うことができない。 However, the above-mentioned conventional heating cooker cannot perform heating suitable for the object to be heated if the identification of the object to be heated through image recognition is inaccurate.

この問題を解決するために、以下の加熱調理器が提案されている(例えば、特許文献1参照)。特許文献1に記載の加熱調理器は、画像認識の結果に基づいて被加熱物に関する多数の候補から例えば三つの候補を抽出するとともに、その認識の確からしさの順にそれらの候補を表示する。使用者は、選択ボタンなどを用いて、表示された候補から一つを選択する。 In order to solve this problem, the following heating cooker has been proposed (see, for example, Patent Document 1). The heating cooker described in Patent Document 1 extracts, for example, three candidates from a large number of candidates regarding the object to be heated based on the result of image recognition, and displays the candidates in order of their recognition certainty. The user selects one of the displayed candidates using a selection button or the like.

これにより、画像認識の結果が必ずしも正確でなくても、被加熱物に適した加熱を行うことができる。 Thereby, even if the result of image recognition is not necessarily accurate, heating suitable for the object to be heated can be performed.

特開2014-202414号公報JP2014-202414A

特許文献1に記載の加熱調理器は、加熱室内に被加熱物が無い場合、または、加熱室内に異物(皿などの食品でないもの)が収容された場合でも、被加熱物の多数の候補からいくつかの候補を抽出して表示する。 The heating cooker described in Patent Document 1 selects from a large number of candidates for the object to be heated, even when there is no object to be heated in the heating chamber, or even when a foreign object (an object other than food such as a plate) is housed in the heating chamber. Extract and display several candidates.

特に、画像認識のためにディープラーニング(Deep Learning)などの機械学習を利用すると、特許文献1に記載の加熱調理器は、何らかの確からしさに基づいて、必ず被加熱物の多数の候補からいくつかの候補を抽出して表示する。 In particular, when machine learning such as deep learning is used for image recognition, the heating cooker described in Patent Document 1 always selects a candidate object to be heated from a large number of candidates based on some degree of certainty. Extract and display candidates.

このため、特許文献1に記載の加熱調理器は、不要な加熱を行ったり、不要な候補を毎回表示したりする可能性がある。 Therefore, the heating cooker described in Patent Document 1 may perform unnecessary heating or display unnecessary candidates every time.

本開示は、加熱室内に被加熱物が配置されていない場合、または、加熱室内に異物が載置された場合、加熱を行わず、かつ、不要な候補を表示しない加熱調理器を提供することを目的とする。 The present disclosure provides a heating cooker that does not perform heating and does not display unnecessary candidates when no object to be heated is placed in the heating chamber or when a foreign object is placed in the heating chamber. With the goal.

本開示の一態様の加熱調理器は、加熱調理部と、撮影部と、画像認識部と、調整部と、表示部とを備える。加熱調理部は、被加熱物を加熱する。 A cooking device according to one aspect of the present disclosure includes a cooking section, a photographing section, an image recognition section, an adjustment section, and a display section. The heating cooking section heats the object to be heated.

撮影部は、被加熱物の画像を撮影する。画像認識部は、被加熱物の画像に対して画像認識を行うことで、被加熱物に関する複数の候補を確からしさに基づいて抽出する。さらに、画像認識部は、被加熱物が加熱調理部に配置されていないこと、および、被加熱物が異物であることを判定する。 The photographing unit photographs an image of the object to be heated. The image recognition unit performs image recognition on the image of the object to be heated, thereby extracting a plurality of candidates related to the object to be heated based on their likelihood. Further, the image recognition section determines that the object to be heated is not placed in the heating cooking section and that the object to be heated is a foreign object.

調整部は、画像認識部により抽出された複数の候補の表示順序を調整する。表示部は、調整部により調整された表示順序で複数の候補を表示する。さらに、表示部は、画像認識部が、被加熱物が加熱調理部に配置されていないと判定した場合、または、画像認識部が、被加熱物が異物であると判定した場合、被加熱物に関する候補を表示しない。 The adjustment unit adjusts the display order of the plurality of candidates extracted by the image recognition unit. The display section displays the plurality of candidates in the display order adjusted by the adjustment section. Furthermore, when the image recognition section determines that the object to be heated is not placed in the heating cooking section, or when the image recognition section determines that the object to be heated is a foreign object, the display section displays the object to be heated. Do not display suggestions for.

本態様の加熱調理器は、加熱室内に被加熱物が配置されていない場合、または、加熱室内に異物が載置された場合、不要な加熱、および、不要な候補の表示を防止することができる。 The heating cooker of this aspect can prevent unnecessary heating and display of unnecessary candidates when there is no object to be heated in the heating chamber or when a foreign object is placed in the heating chamber. can.

図1は、実施の形態に係る加熱調理器の構成を示すブロック図である。FIG. 1 is a block diagram showing the configuration of a cooking device according to an embodiment. 図2は、実施の形態に係る加熱調理器であるオーブン機能付き電子レンジの構成を示すブロック図である。FIG. 2 is a block diagram showing the configuration of a microwave oven with an oven function, which is a heating cooker according to an embodiment. 図3は、候補記憶部に記憶された候補一覧表の一例を示す図である。FIG. 3 is a diagram showing an example of a candidate list stored in the candidate storage unit. 図4は、履歴記憶部に記憶された選択履歴表の一例を示す図である。FIG. 4 is a diagram showing an example of a selection history table stored in the history storage unit. 図5は、実施の形態に係る加熱調理器における調理制御のフローチャートである。FIG. 5 is a flowchart of cooking control in the heating cooker according to the embodiment. 図6は、調理制御における候補の抽出のフローチャートである。FIG. 6 is a flowchart of candidate extraction in cooking control. 図7は、候補の抽出結果の第1例を示す図である。FIG. 7 is a diagram showing a first example of candidate extraction results. 図8は、候補の抽出結果の第2例を示す図である。FIG. 8 is a diagram showing a second example of candidate extraction results. 図9は、候補の抽出結果の第3例を示す図である。FIG. 9 is a diagram showing a third example of candidate extraction results. 図10は、調理制御における表示順序の調整のフローチャートである。FIG. 10 is a flowchart for adjusting the display order in cooking control. 図11は、実施の形態に係る加熱調理器における表示部の表示画面の一例を示す図である。FIG. 11 is a diagram showing an example of the display screen of the display unit in the cooking device according to the embodiment. 図12は、調理制御における選択履歴の保存のフローチャートである。FIG. 12 is a flowchart of saving selection history in cooking control. 図13は、実施の形態の第1の変形例に係る加熱調理器の構成を示すブロック図である。FIG. 13 is a block diagram showing the configuration of a heating cooker according to a first modification of the embodiment. 図14は、実施の形態の第2の変形例に係る加熱調理器の構成を示すブロック図である。FIG. 14 is a block diagram showing the configuration of a heating cooker according to a second modification of the embodiment. 図15は、実施の形態の第3の変形例に係る加熱調理器の構成を示すブロック図である。FIG. 15 is a block diagram showing the configuration of a heating cooker according to a third modification of the embodiment.

本開示の第1の態様の加熱調理器は、加熱調理部と、撮影部と、画像認識部と、調整部と、表示部とを備える。加熱調理部は、被加熱物を加熱する。 A cooking device according to a first aspect of the present disclosure includes a cooking section, a photographing section, an image recognition section, an adjustment section, and a display section. The heating cooking section heats the object to be heated.

撮影部は、被加熱物の画像を撮影する。画像認識部は、被加熱物の画像に対して画像認識を行うことで、被加熱物に関する複数の候補を確からしさに基づいて抽出する。さらに、画像認識部は、被加熱物が加熱調理部に配置されていないこと、および、被加熱物が異物であることを判定する。 The photographing unit photographs an image of the object to be heated. The image recognition unit performs image recognition on the image of the object to be heated, thereby extracting a plurality of candidates related to the object to be heated based on their likelihood. Further, the image recognition section determines that the object to be heated is not placed in the heating cooking section and that the object to be heated is a foreign object.

調整部は、画像認識部により抽出された複数の候補の表示順序を調整する。表示部は、調整部により調整された表示順序で複数の候補を表示する。さらに、表示部は、画像認識部が、被加熱物が加熱調理部に配置されていないと判定した場合、または、画像認識部が、被加熱物が異物であると判定した場合、被加熱物に関する候補を表示しない。 The adjustment unit adjusts the display order of the plurality of candidates extracted by the image recognition unit. The display section displays the plurality of candidates in the display order adjusted by the adjustment section. Furthermore, when the image recognition section determines that the object to be heated is not placed in the heating cooking section, or when the image recognition section determines that the object to be heated is a foreign object, the display section displays the object to be heated. Do not display suggestions for.

本開示の第2の態様の加熱調理器において、第1の態様に加えて、画像認識部は、複数の候補のうち、最も確からしい候補の確からしさを示す数値が所定の閾値よりも低い場合、被加熱物が異物であると判定する。 In the heating cooker according to the second aspect of the present disclosure, in addition to the first aspect, the image recognition unit is configured to perform a heating operation when a numerical value indicating the probability of the most probable candidate among the plurality of candidates is lower than a predetermined threshold value. , it is determined that the object to be heated is a foreign object.

本開示の第3の態様の加熱調理器において、第1の態様に加えて、画像認識部は、複数の候補のうちの最も確からしい候補が異物である場合、被加熱物が異物であると判定する。 In the cooking device of the third aspect of the present disclosure, in addition to the first aspect, the image recognition unit determines that the object to be heated is a foreign object when the most likely candidate among the plurality of candidates is a foreign object. judge.

本開示の第4の態様の加熱調理器は、第1の態様に加えて、提示部をさらに備える。画像認識部が、被加熱物が加熱調理部に配置されていないと判定した場合、または、画像認識部が、被加熱物が異物であると判定した場合、提示部は、被加熱物に関する候補が抽出されないことを提示する。 The heating cooker according to the fourth aspect of the present disclosure further includes a presentation section in addition to the first aspect. When the image recognition section determines that the object to be heated is not placed in the cooking section, or when the image recognition section determines that the object to be heated is a foreign object, the presentation section selects candidates related to the object to be heated. is not extracted.

本開示の第5の態様の加熱調理器において、第4の態様に加えて、提示部は上記表示部である。画像認識部が、被加熱物が加熱調理部に配置されていないと判定した場合、または、画像認識部が、被加熱物が異物であると判定した場合、表示部は、被加熱物に関する候補が抽出されない旨のメッセージを表示する。 In the heating cooker according to the fifth aspect of the present disclosure, in addition to the fourth aspect, the presentation section is the display section. When the image recognition section determines that the object to be heated is not placed in the cooking section, or when the image recognition section determines that the object to be heated is a foreign object, the display section displays candidates related to the object to be heated. Displays a message that the file will not be extracted.

本開示の第6の態様の加熱調理器において、第4の態様に加えて、提示部はスピーカである。画像認識部が、被加熱物が加熱調理部に配置されていないと判定した場合、または、画像認識部が、被加熱物が異物であると判定した場合、スピーカは、被加熱物に関する候補が存在しないことを示す音声を出力する。 In the heating cooker according to the sixth aspect of the present disclosure, in addition to the fourth aspect, the presentation section is a speaker. When the image recognition section determines that the object to be heated is not placed in the heating cooking section, or when the image recognition section determines that the object to be heated is a foreign object, the speaker selects a candidate for the object to be heated. Outputs a sound indicating that it does not exist.

本開示の第7の態様の加熱調理器は、第1の態様に加えて、複数の候補の中から使用者が一つの候補を選択するように構成された操作部と、選択履歴情報として、複数の候補と当該一つの候補とを対応させて記憶する履歴記憶部と、をさらに備える。調整部は、選択履歴情報に基づいて、複数の候補の表示順序を決定する。 In addition to the first aspect, a heating cooker according to a seventh aspect of the present disclosure includes an operation unit configured to allow a user to select one candidate from among a plurality of candidates, and selection history information. The image forming apparatus further includes a history storage unit that stores the plurality of candidates and the one candidate in correspondence with each other. The adjustment unit determines the display order of the plurality of candidates based on the selection history information.

本開示の第8の態様の加熱調理器は、第7の態様に加えて、現在時刻を計時する時計部をさらに備える。履歴記憶部は、選択履歴情報として、当該一つの候補の選択が行われた選択時間帯と、選択時間帯において当該一つの候補が選択される選択頻度とを記憶する。 In addition to the seventh aspect, the heating cooker according to the eighth aspect of the present disclosure further includes a clock unit that measures the current time. The history storage unit stores, as selection history information, a selection time period in which the one candidate was selected and a selection frequency at which the one candidate was selected in the selection time period.

本開示の第9の態様の加熱調理器において、第7の態様に加えて、履歴記憶部は、当該一つの候補が選択されたときの複数の候補の表示順序を記憶する。 In the heating cooker according to the ninth aspect of the present disclosure, in addition to the seventh aspect, the history storage unit stores the display order of the plurality of candidates when the one candidate is selected.

本開示の第10の態様の加熱調理器において、第8の態様に加えて、調整部は、選択履歴情報の中から選択時間帯が同じで、選択頻度の最も高い選択履歴情報を抽出し、抽出された選択履歴情報に応じて複数の候補の表示順序を決定する。 In the heating cooker according to the tenth aspect of the present disclosure, in addition to the eighth aspect, the adjustment unit extracts selection history information having the same selection time period and the highest selection frequency from among the selection history information, The display order of the plurality of candidates is determined according to the extracted selection history information.

本開示の第11の態様の加熱調理器において、第7の態様に加えて、履歴記憶部は外部のサーバに設けられる。 In the heating cooker according to the eleventh aspect of the present disclosure, in addition to the seventh aspect, the history storage section is provided in an external server.

本開示の第12の態様の加熱調理器において、第1の態様に加えて、加熱調理部が、被加熱物を収容するように構成された加熱室を有する。 In the heating cooking device according to the twelfth aspect of the present disclosure, in addition to the first aspect, the heating cooking section includes a heating chamber configured to accommodate an object to be heated.

本開示の第13の態様の加熱調理器において、第1の態様に加えて、加熱調理部が、被加熱物を載置するように構成されたトッププレートと、トッププレートの下方に配置された誘導加熱コイルとを有する。 In the heating cooking device according to the thirteenth aspect of the present disclosure, in addition to the first aspect, the heating cooking section includes a top plate configured to place an object to be heated, and a heating cooking section disposed below the top plate. It has an induction heating coil.

以下、本開示の実施の形態について、図面を参照しながら説明する。以下に説明する実施の形態は本開示の一具体例である。本実施の形態で示される数値、構成、各ステップの処理内容、および、ステップの順序などは一例であって、本開示を限定するものではない。 Embodiments of the present disclosure will be described below with reference to the drawings. The embodiment described below is a specific example of the present disclosure. The numerical values, configuration, processing contents of each step, order of steps, etc. shown in this embodiment are examples, and do not limit the present disclosure.

本実施の形態に係る加熱調理器1の構成について、図1、図2を用いて説明する。図1は、加熱調理器1の構成を示すブロック図である。図1に示すように、加熱調理器1は、加熱調理部10と、撮影部20と、制御部30と、記憶部40と、操作部50と、表示部60とを備える。記憶部40は、候補記憶部41と、履歴記憶部42とを含む。 The configuration of the heating cooker 1 according to the present embodiment will be explained using FIGS. 1 and 2. FIG. 1 is a block diagram showing the configuration of a cooking device 1. As shown in FIG. As shown in FIG. 1, the cooking device 1 includes a cooking section 10, a photographing section 20, a control section 30, a storage section 40, an operation section 50, and a display section 60. The storage unit 40 includes a candidate storage unit 41 and a history storage unit 42.

図2は、加熱調理器1であるオーブン機能付き電子レンジの構成を示すブロック図である。図2に示すように、本実施の形態において、加熱調理器1は、加熱室11を備えたオーブン機能付き電子レンジである。 FIG. 2 is a block diagram showing the configuration of a microwave oven with an oven function, which is the cooking device 1. As shown in FIG. As shown in FIG. 2, in the present embodiment, the cooking device 1 is a microwave oven with an oven function and a heating chamber 11. As shown in FIG.

加熱室11は、加熱室11を区画する内箱12aと、内箱12aを囲う外箱12bとを有する。加熱室11の前面には、加熱室11の前面開口を覆うように扉13が設けられる。 The heating chamber 11 has an inner box 12a that partitions the heating chamber 11, and an outer box 12b that surrounds the inner box 12a. A door 13 is provided at the front of the heating chamber 11 so as to cover the front opening of the heating chamber 11.

加熱調理部10は、マイクロ波を発振するマグネトロン(不図示)を有し、加熱室11に収容された被加熱物2を、マイクロ波により加熱するマイクロ波加熱機能を有する。加熱調理部10は、マイクロ波加熱機能に加えて、輻射ヒータ14を用いた輻射加熱機能を備える。 The cooking section 10 has a magnetron (not shown) that oscillates microwaves, and has a microwave heating function that heats the object 2 housed in the heating chamber 11 using the microwaves. The cooking section 10 has a radiant heating function using a radiant heater 14 in addition to a microwave heating function.

撮影部20は、加熱室11内に載置された被加熱物2の画像を、例えばカラー静止画像として撮影するカメラである。撮影部20は、例えば、CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどの撮像素子を備える。本実施の形態において、撮影部20は、内箱12aの側壁の上部に設けられる。 The photographing unit 20 is a camera that photographs an image of the object to be heated 2 placed in the heating chamber 11 as, for example, a color still image. The photographing unit 20 includes an image sensor such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor. In this embodiment, the imaging unit 20 is provided at the upper part of the side wall of the inner box 12a.

制御部30は、マイクロコンピュータで構成され、画像認識部31と、調整部32と、時計部33とを含む。 The control section 30 is composed of a microcomputer and includes an image recognition section 31, an adjustment section 32, and a clock section 33.

画像認識部31は、撮影部20により撮影された画像に対して画像認識を行うことで、加熱調理部10に被加熱物2が配置されているか否かを判断する。画像認識部31における画像認識は、機械学習を利用して行われる。画像認識のための機械学習として、ディープラーニングまたは人工知能を用いることができる。 The image recognition section 31 performs image recognition on the image photographed by the photographing section 20 to determine whether or not the object to be heated 2 is placed in the cooking section 10 . Image recognition in the image recognition unit 31 is performed using machine learning. Deep learning or artificial intelligence can be used as machine learning for image recognition.

具体的には、画像認識部31は、撮影部20により撮影された加熱室11の内部の画像と、加熱室11に被加熱物2が存在しないときの加熱室11の内部の画像とを比較することで、加熱室11内に被加熱物2が載置されているか否かを判断する。 Specifically, the image recognition unit 31 compares the image of the inside of the heating chamber 11 photographed by the photographing unit 20 with the image of the inside of the heating chamber 11 when the object to be heated 2 is not present in the heating chamber 11. By doing so, it is determined whether the object to be heated 2 is placed in the heating chamber 11 or not.

画像認識部31は、さらに、撮影部20により撮影された画像に対して画像認識を行うことで、被加熱物2に関する複数の候補を確からしさの順に抽出する。 The image recognition unit 31 further performs image recognition on the image photographed by the photographing unit 20 to extract a plurality of candidates regarding the object to be heated 2 in order of likelihood.

具体的には、画像認識部31は、撮影部20により撮影された加熱室11の内部の画像から、被加熱物2の形状、色調、色彩などを認識する。画像認識部31は、この結果と候補記憶部41に記憶された候補一覧表とを比較する。画像認識部31は、候補一覧表に登録された候補の画像と、撮影部20により撮影された画像との相関に基づいて、確からしさの高い順に被加熱物2に関するいくつかの候補を抽出する。本実施の形態では、三つの候補が抽出候補C1、抽出候補C2、抽出候補C3として抽出される。 Specifically, the image recognition section 31 recognizes the shape, tone, color, etc. of the object to be heated 2 from the image of the inside of the heating chamber 11 photographed by the photographing section 20 . The image recognition unit 31 compares this result with the candidate list stored in the candidate storage unit 41. The image recognition unit 31 extracts several candidates related to the object to be heated 2 in descending order of likelihood based on the correlation between the candidate images registered in the candidate list and the images photographed by the photographing unit 20. . In this embodiment, three candidates are extracted as extraction candidate C1, extraction candidate C2, and extraction candidate C3.

確からしさは、0%~100%の数値で表される。確からしさを示す数値が高いほど、その候補が、加熱室11に配置された被加熱物2に一致する可能性が高い。 The certainty is expressed as a numerical value between 0% and 100%. The higher the numerical value indicating the likelihood, the higher the possibility that the candidate matches the object to be heated 2 placed in the heating chamber 11.

図3に示すように、候補一覧表には、被加熱物2の候補となり得る食材だけでなく、皿、プラスチック製容器など、本来加熱する必要のない異物も含まれる。すなわち、候補一覧表には、異物も被加熱物2の候補として含まれる。 As shown in FIG. 3, the candidate list includes not only foods that can be candidates for the object to be heated 2, but also foreign objects that do not originally need to be heated, such as plates and plastic containers. That is, the candidate list also includes foreign objects as candidates for the object to be heated 2.

候補記憶部41は、候補一覧表における候補を、機械学習などによって予め画像データとして記憶する。例えば、候補一覧表における候補に関するデータは、例えば形状および色を含む情報である。候補記憶部41は、後で追加された情報を含めて再度機械学習を行ったものを候補一覧表における候補として記憶してもよい。 The candidate storage unit 41 stores candidates in the candidate list in advance as image data using machine learning or the like. For example, data regarding candidates in the candidate list is information including, for example, shape and color. The candidate storage unit 41 may store information obtained by performing machine learning again including information added later as candidates in the candidate list.

画像認識部31は、画像認識の結果と候補一覧表との比較により抽出された複数の候補のうち、最も確からしい候補が異物である場合、被加熱物2が異物であると判定する。 The image recognition unit 31 determines that the object to be heated 2 is a foreign object when the most likely candidate among the plurality of candidates extracted by comparing the image recognition result and the candidate list is a foreign object.

画像認識部31は、画像認識により抽出された複数の候補のうち、最も確からしい候補の確からしさを示す数値が所定の閾値よりも低い場合、被加熱物2が異物であると判定してもよい。 The image recognition unit 31 determines that the object to be heated 2 is a foreign object if the numerical value indicating the probability of the most probable candidate among the plurality of candidates extracted by image recognition is lower than a predetermined threshold. good.

画像認識部31は、画像認識の結果と候補一覧表とを比較した結果、候補一覧表に被加熱物2の候補が存在しないと判断した場合、被加熱物2が異物であると判定してもよい。 When the image recognition unit 31 compares the image recognition result with the candidate list and determines that there is no candidate for the heated object 2 in the candidate list, it determines that the heated object 2 is a foreign object. Good too.

調整部32は、画像認識部31により抽出された複数の候補の表示順序を調整する。具体的には、調整部32は、履歴記憶部42に記憶された選択履歴情報に基づいて、複数の候補の表示順序を決定する。 The adjustment unit 32 adjusts the display order of the plurality of candidates extracted by the image recognition unit 31. Specifically, the adjustment unit 32 determines the display order of the plurality of candidates based on the selection history information stored in the history storage unit 42.

使用者は、調整部32により調整され、表示部60に表示された複数の候補の中から、操作部50を用いて一つの候補を選択する。履歴記憶部42は、画像認識部31により抽出された過去の複数の候補と、操作部50により選択された一つの候補とを対応させて選択履歴情報として記憶する。 The user uses the operation unit 50 to select one candidate from among the multiple candidates adjusted by the adjustment unit 32 and displayed on the display unit 60. The history storage unit 42 stores a plurality of past candidates extracted by the image recognition unit 31 and one candidate selected by the operation unit 50 in correspondence with each other as selection history information.

操作部50は、機械式のボタンで構成されてもよく、タッチパネルで構成されてもよい。タッチパネルが操作部50を構成する場合、このタッチパネルが表示部60を構成してもよい。この場合、このタッチパネルは操作表示部を構成する。 The operation unit 50 may be configured with mechanical buttons or may be configured with a touch panel. When a touch panel constitutes the operation section 50, this touch panel may constitute the display section 60. In this case, this touch panel constitutes an operation display section.

図4に示すように、履歴記憶部42は、選択履歴表に記載された選択履歴情報を記憶する。具体的には、履歴記憶部42は、操作部50により一つの候補(図4に示す「選択された被加熱物」)が選択されたときの複数の候補の表示順序を記憶する。 As shown in FIG. 4, the history storage unit 42 stores selection history information written in the selection history table. Specifically, the history storage unit 42 stores the display order of a plurality of candidates when one candidate (“selected object to be heated” shown in FIG. 4) is selected by the operation unit 50.

本実施の形態では、履歴記憶部42は、画像認識部31により抽出された三つの候補を履歴候補M1、M2、M3として記憶する。履歴記憶部42は、履歴候補M1、M2、M3に加えて、操作部50により選択された一つの候補と、その選択が行われた選択時間帯と、その選択時間帯においてその一つの候補が選択される選択頻度とを選択履歴情報として記憶する。 In this embodiment, the history storage section 42 stores the three candidates extracted by the image recognition section 31 as history candidates M1, M2, and M3. In addition to the history candidates M1, M2, and M3, the history storage unit 42 stores one candidate selected by the operation unit 50, the selected time period in which the selection was made, and the one candidate in the selected time period. The selection frequency is stored as selection history information.

調整部32は、選択履歴情報の中から選択時間帯が同じで、選択頻度の最も高い選択履歴情報を抽出し、抽出された選択履歴情報に応じて複数の候補の表示順序を決定する。 The adjustment unit 32 extracts the selection history information having the same selection time period and the highest selection frequency from the selection history information, and determines the display order of the plurality of candidates according to the extracted selection history information.

時計部33は現在時刻を計時し、現在時刻に基づいて操作部50により一つの候補の選択が行われた選択時間帯を特定する。履歴記憶部42は、この選択時間帯を記憶する。 The clock unit 33 measures the current time and identifies the selected time period in which one candidate was selected by the operation unit 50 based on the current time. The history storage unit 42 stores this selected time period.

表示部60は、調整部32により調整された表示順序で複数の候補を表示する。表示部60は、液晶パネルなどで構成される。表示部60は、調理メニューボタンなどの操作により選択された項目、および、決定された加熱条件(出力、温度、時間など)、調理メニュー、スタートボタンおよび取り消しボタンの操作に基づく加熱調理器1の運転状態などを表示してもよい。 The display unit 60 displays the plurality of candidates in the display order adjusted by the adjustment unit 32. The display section 60 is composed of a liquid crystal panel or the like. The display unit 60 displays the items selected by operating the cooking menu button and the like, the determined heating conditions (output, temperature, time, etc.), the cooking menu, and the settings of the heating cooker 1 based on the operation of the start button and the cancel button. It may also display the driving status, etc.

このように構成された加熱調理器1において、画像認識部31が、被加熱物2が加熱調理部10に配置されていないと判定した場合、または、画像認識部31が、被加熱物2が異物であると判定した場合、表示部60は提示部として機能する。この場合、表示部60は、被加熱物2に関する候補を表示せず、その代わり、被加熱物2に関する候補が抽出されない旨のメッセージを表示する。 In the heating cooker 1 configured as described above, when the image recognition section 31 determines that the object to be heated 2 is not placed in the heating cooking section 10, or when the image recognition section 31 determines that the object to be heated 2 is When it is determined that it is a foreign object, the display section 60 functions as a presentation section. In this case, the display unit 60 does not display candidates related to the object to be heated 2, but instead displays a message indicating that no candidates related to the object to be heated 2 are extracted.

次に、加熱調理器1における調理制御について説明する。図5は、加熱調理器1における調理制御のフローチャートである。図5に示すように、例えば、使用者がスタートボタンを押下した場合、ステップS10において、撮影部20が加熱室11の内部を撮影し、画像認識部31が、この画像に対して画像認識を行って、被加熱物2が加熱室11内に載置されているか否かを判断する。 Next, cooking control in the heating cooker 1 will be explained. FIG. 5 is a flowchart of cooking control in the heating cooker 1. As shown in FIG. 5, for example, when the user presses the start button, the photographing section 20 photographs the inside of the heating chamber 11 in step S10, and the image recognition section 31 performs image recognition on this image. to determine whether the object to be heated 2 is placed in the heating chamber 11 or not.

より具体的には、記憶部40が、加熱室11内に被加熱物2が存在していないときの加熱室11の内部の画像を基準画像として予め記憶する。画像認識部31が、この基準画像と加熱室11の内部の画像とを画像認識により比較することで、加熱室11内に被加熱物2が載置されているか否かを判断する。 More specifically, the storage unit 40 stores in advance an image of the inside of the heating chamber 11 when the object to be heated 2 is not present in the heating chamber 11 as a reference image. The image recognition unit 31 determines whether or not the object to be heated 2 is placed in the heating chamber 11 by comparing this reference image and an image inside the heating chamber 11 by image recognition.

この結果、画像認識部31が、被加熱物2が加熱調理部10に配置されていないと判定した場合(ステップS10でNOの場合)、表示部60に被加熱物2に関する候補が表示されることなく、調理制御は終了する。すなわち、調理は行われない。このとき、表示部60は、加熱室11内に被加熱物2が存在しない旨のメッセージを表示する。表示部60は、被加熱物2に関する候補が抽出されない旨のメッセージを表示してもよい。 As a result, if the image recognition section 31 determines that the object to be heated 2 is not placed in the cooking section 10 (NO in step S10), candidates regarding the object to be heated 2 are displayed on the display section 60. The cooking control ends without any change. That is, no cooking is performed. At this time, the display unit 60 displays a message indicating that the object to be heated 2 is not present in the heating chamber 11 . The display unit 60 may display a message indicating that no candidates related to the object to be heated 2 are extracted.

画像認識部31が、被加熱物2が加熱調理部10に配置されていると判定した場合(ステップS10でYESの場合)、ステップS20において、画像認識部31は、候補の抽出を行う。 If the image recognition unit 31 determines that the object to be heated 2 is placed in the cooking unit 10 (YES in step S10), the image recognition unit 31 extracts candidates in step S20.

ここで、ステップ20における候補の抽出について、図6を用いて説明する。図6は、調理制御における候補の抽出のフローチャートである。図6に示すように、候補の抽出のため、ステップS21において、画像認識部31が、撮影部20により撮影された画像に対して画像認識を行い、被加熱物2に関する複数の候補を確からしさに基づいて抽出する。 Here, extraction of candidates in step 20 will be explained using FIG. 6. FIG. 6 is a flowchart of candidate extraction in cooking control. As shown in FIG. 6, in order to extract candidates, in step S21, the image recognition section 31 performs image recognition on the image photographed by the photographing section 20, and selects a plurality of candidates regarding the object to be heated 2 with certainty. Extract based on.

具体的には、画像認識部31は、撮影部20により撮影された加熱室11の内部の画像と、候補記憶部41に記憶された候補一覧表(図3参照)に登録された候補の画像とを比較する。画像認識部31は、二つの画像を比較した結果、相関がより高い候補を、より確からしい候補として認識する。画像認識部31は、その確からしさに基づいて被加熱物2に関する複数の候補を抽出する。 Specifically, the image recognition unit 31 uses the image of the interior of the heating chamber 11 photographed by the photographing unit 20 and the candidate images registered in the candidate list (see FIG. 3) stored in the candidate storage unit 41. Compare with. As a result of comparing the two images, the image recognition unit 31 recognizes a candidate with a higher correlation as a more likely candidate. The image recognition unit 31 extracts a plurality of candidates regarding the object to be heated 2 based on their certainty.

ステップS22において、画像認識部31は、確からしさの上位三つの候補を、確からしさの順に抽出候補C1、C2、C3に設定する。図7は、その抽出結果の一例を示す。図7に示す例では、アスパラガス、ほうれん草、ブロッコリが、それぞれ抽出候補C1、C2、C3として抽出される。 In step S22, the image recognition unit 31 sets the top three candidates in the order of likelihood as extraction candidates C1, C2, and C3. FIG. 7 shows an example of the extraction results. In the example shown in FIG. 7, asparagus, spinach, and broccoli are extracted as extraction candidates C1, C2, and C3, respectively.

図5に戻り、ステップS20における候補の抽出の後、ステップS30において、画像認識部31が、被加熱物2が異物であるか否かを判定する。 Returning to FIG. 5, after extracting the candidates in step S20, in step S30, the image recognition unit 31 determines whether the object to be heated 2 is a foreign object.

具体的には、ステップS20で抽出された複数の候補(抽出候補C1、C2、C3)のうち、最も確からしい候補(抽出候補C1)が異物でなく、かつ、最も確からしい候補の確からしさを示す数値が所定の閾値以上である場合、画像認識部31は、被加熱物2が異物ではないと判定する。この閾値は例えば40%である。 Specifically, among the plurality of candidates (extraction candidates C1, C2, C3) extracted in step S20, the most probable candidate (extraction candidate C1) is not a foreign object, and the probability of the most probable candidate is When the indicated numerical value is greater than or equal to a predetermined threshold, the image recognition unit 31 determines that the object to be heated 2 is not a foreign object. This threshold value is, for example, 40%.

図7に示すように、例えば、抽出候補C1がアスパラガスであって異物ではなく、かつ、抽出候補C1の確からしさを示す数値(99.8%)が所定の閾値(40%)を超えている場合、画像認識部31は、抽出候補C1が異物ではないと判定する。 As shown in FIG. 7, for example, if the extraction candidate C1 is asparagus and not a foreign substance, and the numerical value (99.8%) indicating the certainty of the extraction candidate C1 exceeds a predetermined threshold value (40%). If so, the image recognition unit 31 determines that the extraction candidate C1 is not a foreign object.

図8に示すように、抽出候補C1が皿である場合、画像認識部31は、被加熱物2が異物であると判定する。 As shown in FIG. 8, when the extraction candidate C1 is a plate, the image recognition unit 31 determines that the object to be heated 2 is a foreign object.

抽出候補C1の確からしさを示す数値が所定の閾値よりも低い場合、画像認識部31は、被加熱物2が異物であると判定する。図9に示すように、例えば、抽出候補C1が茄子であっても、抽出候補C1の確からしさを示す数値(30.5%)が所定の閾値(40%)を下回っている場合、画像認識部31は、抽出候補C1が異物であると判定する。 When the numerical value indicating the certainty of the extraction candidate C1 is lower than a predetermined threshold value, the image recognition unit 31 determines that the object to be heated 2 is a foreign object. As shown in FIG. 9, for example, even if extraction candidate C1 is an eggplant, if the numerical value (30.5%) indicating the probability of extraction candidate C1 is lower than a predetermined threshold (40%), image recognition The unit 31 determines that the extraction candidate C1 is a foreign object.

このように、被加熱物2が異物であると判定された場合(ステップS30でYESの場合)、表示部60に被加熱物2に関する候補が表示されることなく、調理制御が終了する。すなわち、調理は行われない。このとき、表示部60は、被加熱物2が食材ではなく異物である旨のメッセージを表示する。表示部60は、被加熱物2に関する候補が抽出されない旨のメッセージを表示してもよい。 In this way, when it is determined that the object to be heated 2 is a foreign object (YES in step S30), the cooking control ends without any candidates related to the object to be heated 2 being displayed on the display section 60. That is, no cooking is performed. At this time, the display section 60 displays a message that the object to be heated 2 is not a food material but a foreign object. The display unit 60 may display a message indicating that no candidates related to the object to be heated 2 are extracted.

被加熱物2が異物ではないと判定された場合(ステップS30でNOの場合)、ステップS40において、調整部32が、画像認識部31により抽出された被加熱物2に関する複数の候補の表示順序を調整する。 If it is determined that the heated object 2 is not a foreign object (NO in step S30), in step S40, the adjustment unit 32 adjusts the display order of the plurality of candidates regarding the heated object 2 extracted by the image recognition unit 31. Adjust.

ここで、ステップS40における表示順序の調整について、図10を用いて説明する。図10は、調理制御における表示順序の調整のフローチャートである。図10に示すように、表示順序の調整のため、ステップS41において、調整部32は、履歴記憶部42から選択履歴表(図4参照)を読み出す。 Here, adjustment of the display order in step S40 will be explained using FIG. 10. FIG. 10 is a flowchart for adjusting the display order in cooking control. As shown in FIG. 10, in step S41, the adjustment unit 32 reads the selection history table (see FIG. 4) from the history storage unit 42 in order to adjust the display order.

ステップS42において、調整部32は、選択履歴表の中に、履歴候補M1、M2、M3が抽出候補C1、C2、C3とそれぞれ同じで、かつ、現在時刻が選択時間帯に含まれる行があるか否かを判断する。 In step S42, the adjustment unit 32 determines that there is a row in the selection history table in which the history candidates M1, M2, and M3 are the same as the extraction candidates C1, C2, and C3, respectively, and the current time is included in the selected time period. Determine whether or not.

ステップS42でYESの場合、ステップS43において、調整部32は、選択履歴表の選択頻度の最も高い行における「選択された被加熱物」を抽出する。ステップS44において、調整部32は、その「選択された被加熱物」を表示候補D1に設定するとともに、その行における他の二つの候補を確からしさの順に表示候補D2、D3に設定する。これで、表示順序の調整が終了する。 If YES in step S42, in step S43, the adjustment unit 32 extracts the "selected heated object" in the row with the highest selection frequency in the selection history table. In step S44, the adjustment unit 32 sets the "selected object to be heated" as the display candidate D1, and sets the other two candidates in the row as display candidates D2 and D3 in order of likelihood. This completes the display order adjustment.

ステップS42でNOの場合、ステップS45において、調整部32は、抽出候補C1、C2、C3を表示候補D1、D2、D3に設定する。これで、表示順序の調整が終了する。 If NO in step S42, the adjustment unit 32 sets extraction candidates C1, C2, and C3 as display candidates D1, D2, and D3 in step S45. This completes the display order adjustment.

図5に戻り、表示順序の調整の後、ステップS50において、表示部60は、調整部32により調整された表示順序で、被加熱物2に関する複数の候補を表示する。具体的には、表示候補D1、D2、D3が表示部60に表示される。 Returning to FIG. 5, after adjusting the display order, in step S50, the display unit 60 displays a plurality of candidates regarding the object to be heated 2 in the display order adjusted by the adjustment unit 32. Specifically, display candidates D1, D2, and D3 are displayed on the display section 60.

例えば、図7に示すように、アスパラガス、ほうれん草、ブロッコリがそれぞれ抽出候補C1、C2、C3として抽出され、それぞれ表示候補D1、D2、D3に設定された場合、表示部60は図11のように表示する。図11に示すように、表示部60は、アスパラガス、ほうれん草、ブロッコリの写真および名称を、確からしさを示す数値の順に表示する。 For example, as shown in FIG. 7, if asparagus, spinach, and broccoli are extracted as extraction candidates C1, C2, and C3, and set as display candidates D1, D2, and D3, respectively, the display section 60 will be displayed as shown in FIG. to be displayed. As shown in FIG. 11, the display unit 60 displays photographs and names of asparagus, spinach, and broccoli in the order of numerical values indicating certainty.

図5に戻り、候補の表示の後、ステップS60において、制御部30は、被加熱物2の種類が決定されたか否かを判定する。具体的には、使用者が、操作部50を操作して、表示部60に表示された被加熱物2に関する複数の候補から一つの候補を選択する。この選択に応答して、制御部30は、被加熱物2の種類が決定されたと判断する。 Returning to FIG. 5, after displaying the candidates, in step S60, the control unit 30 determines whether the type of the object to be heated 2 has been determined. Specifically, the user operates the operation unit 50 to select one candidate from a plurality of candidates related to the object to be heated 2 displayed on the display unit 60. In response to this selection, the control unit 30 determines that the type of the object to be heated 2 has been determined.

被加熱物2の種類が決定された場合(ステップS60でYESの場合)、ステップS70において、制御部30は選択履歴を保存する。被加熱物2の種類が決定されない間は(ステップS60でNOの場合)、ステップS60の処理が繰り返される。 If the type of the object to be heated 2 has been determined (YES in step S60), the control unit 30 stores the selection history in step S70. While the type of the object to be heated 2 is not determined (NO in step S60), the process of step S60 is repeated.

ここで、ステップS70における選択履歴の保存について、図12を用いて説明する。図12は、調理制御における選択履歴の保存のフローチャートである。図12に示すように、選択履歴の保存のため、ステップS71において、制御部30は、履歴記憶部42から選択履歴表(図4参照)を読み出す。 Here, the saving of the selection history in step S70 will be explained using FIG. 12. FIG. 12 is a flowchart of saving selection history in cooking control. As shown in FIG. 12, in step S71, the control unit 30 reads the selection history table (see FIG. 4) from the history storage unit 42 in order to save the selection history.

ステップS72において、制御部30は、選択履歴表の中に、履歴候補M1、M2、M3が抽出候補C1、C2、C3とそれぞれ同じで、かつ、現在時刻が選択時間帯に含まれる行があるか否かを判断する。 In step S72, the control unit 30 determines that there is a row in the selection history table in which the history candidates M1, M2, and M3 are the same as the extraction candidates C1, C2, and C3, respectively, and the current time is included in the selected time period. Determine whether or not.

ステップS72でYESの場合、ステップS73において、制御部30は、その行の選択頻度を示す数値を一つ増加させる。 If YES in step S72, in step S73, the control unit 30 increases the numerical value indicating the selection frequency of that row by one.

ステップS72でNOの場合、制御部30は、選択履歴表に新規の行を追加して、その行に初期値を設定する。具体的には、履歴候補M1、M2、M3がそれぞれ抽出候補C1、C2、C3に設定される。「選択された被加熱物」が、使用者により選択された被加熱物の種類に設定される。選択時間帯が、現在時刻に基づいて設定される。選択頻度が1に設定される。これで、加熱調理器1における調理制御が終了する。 If NO in step S72, the control unit 30 adds a new row to the selection history table and sets an initial value in the row. Specifically, history candidates M1, M2, and M3 are set as extraction candidates C1, C2, and C3, respectively. The "selected object to be heated" is set to the type of object to be heated selected by the user. The selected time period is set based on the current time. The selection frequency is set to 1. This completes the cooking control in the heating cooker 1.

本実施の形態では、画像認識部31が、被加熱物2が加熱調理部10に配置されていないと判定した場合、または、画像認識部31が、被加熱物2が異物であると判定した場合、表示部60は、被加熱物2に関する候補を表示しない。 In the present embodiment, when the image recognition section 31 determines that the object to be heated 2 is not placed in the heating cooking section 10, or when the image recognition section 31 determines that the object to be heated 2 is a foreign object. In this case, the display unit 60 does not display candidates regarding the object to be heated 2.

これにより、不要な加熱が行われたり、不要な候補が毎回表示されたりすることを防止することができる。 This can prevent unnecessary heating from being performed and unnecessary candidates from being displayed each time.

本実施の形態では、画像認識部31が、被加熱物2が加熱調理部10に配置されていないと判定した場合、または、画像認識部31が、被加熱物2が異物であると判定した場合、表示部60は、被加熱物2に関する候補が抽出されない旨のメッセージを表示する。これにより、使用者は、そのときの状況を容易に認識することができる。 In the present embodiment, when the image recognition section 31 determines that the object to be heated 2 is not placed in the heating cooking section 10, or when the image recognition section 31 determines that the object to be heated 2 is a foreign object. In this case, the display unit 60 displays a message indicating that no candidates related to the object to be heated 2 are extracted. This allows the user to easily recognize the current situation.

(第1の変形例)
図13は、本実施の形態の第1の変形例に係る加熱調理器1Aの構成を示すブロック図である。
(First modification)
FIG. 13 is a block diagram showing the configuration of a heating cooker 1A according to a first modification of the present embodiment.

本変形例では、上記実施の形態と異なり、記憶部40は外部のサーバ100に設けられる。加熱調理器1Aは、インターネットなどの通信回線を介してサーバ100と通信し、記憶部40に記憶された情報の読み書きを行う。 In this modification, unlike the embodiment described above, the storage unit 40 is provided in an external server 100. The cooking device 1A communicates with the server 100 via a communication line such as the Internet, and reads and writes information stored in the storage unit 40.

本変形例は、記憶部40以外については上記実施の形態と同じ構成を有し、上記実施の形態と同様の効果を奏する。 This modification has the same configuration as the above embodiment except for the storage unit 40, and produces the same effects as the above embodiment.

(第2の変形例)
図14は、本実施の形態の第2の変形例に係る加熱調理器1Bの構成を示すブロック図である。
(Second modification)
FIG. 14 is a block diagram showing the configuration of a heating cooker 1B according to a second modification of the present embodiment.

図14に示すように、加熱調理器1Bは、上記実施の形態の構成に加えて、スピーカ70をさらに備える。本変形例では、スピーカ70は、表示部60とともに提示部を構成する。 As shown in FIG. 14, the cooking device 1B further includes a speaker 70 in addition to the configuration of the above embodiment. In this modification, the speaker 70 constitutes a presentation section together with the display section 60.

すなわち、加熱調理器1Bは、被加熱物2に関する候補が抽出されないことを、スピーカ70を用いて音声でも使用者に知らせる。例えば、スピーカ70は、加熱室11内に被加熱物が存在しないことを示す音声、または、被加熱物2が食材ではなく異物であることを示す音声を出力する。 That is, the heating cooker 1B notifies the user by voice using the speaker 70 that no candidates related to the object to be heated 2 are extracted. For example, the speaker 70 outputs a sound indicating that there is no object to be heated in the heating chamber 11 or a sound indicating that the object to be heated 2 is not a food material but a foreign object.

本変形例は、スピーカ70以外については上記実施の形態と同じ構成を有し、上記実施の形態と同様の効果を奏する。 This modification has the same configuration as the above embodiment except for the speaker 70, and produces the same effects as the above embodiment.

(第3の変形例)
図15は、本実施の形態の第3の変形例に係る加熱調理器1Cの構成を示すブロック図である。本変形例の加熱調理器1Cは、IH(Induction Heating)クッキングヒータを備えたキッチンである。
(Third modification)
FIG. 15 is a block diagram showing the configuration of a cooking device 1C according to a third modification of the present embodiment. The heating cooker 1C of this modification is a kitchen equipped with an IH (Induction Heating) cooking heater.

図15に示すように、加熱調理器1Cは、加熱調理部10Cと、撮影部20と、制御部30と、記憶部40と、操作部50と、表示部60と、レンジフード80とを備える。加熱調理部10Cは、被加熱物2を載置するためのトッププレート15と、トッププレート15の下方に配置された誘導加熱コイル16とを有する。図15では、トッププレート15上に、被加熱物2であるやかんおよびフライパンが載置される。 As shown in FIG. 15, the cooking device 1C includes a cooking section 10C, a photographing section 20, a control section 30, a storage section 40, an operation section 50, a display section 60, and a range hood 80. . The heating cooking section 10C includes a top plate 15 on which the object to be heated 2 is placed, and an induction heating coil 16 arranged below the top plate 15. In FIG. 15, a kettle and a frying pan, which are objects to be heated 2, are placed on a top plate 15.

撮影部20は、レンジフード80に配置されて、トッププレート15に載置された被加熱物2を撮影する。表示部60は、トッププレート15上の手前側に配置される。 The photographing unit 20 is arranged in the range hood 80 and photographs the object to be heated 2 placed on the top plate 15. The display section 60 is arranged on the front side of the top plate 15.

本変形例は、加熱調理部10C以外については上記実施の形態と同じ構成を有し、上記実施の形態と同様の効果を奏する。 This modification has the same configuration as the above embodiment except for the heating cooking section 10C, and produces the same effects as the above embodiment.

(その他の変形例)
以上、本開示について実施の形態に基づいて説明したが、本開示は、上記実施の形態に限定されるものではない。
(Other variations)
Although the present disclosure has been described above based on the embodiments, the present disclosure is not limited to the above embodiments.

例えば、上記実施の形態において、表示部60は、被加熱物2の候補を三つ表示する。しかし、本開示はこれに限らない。表示部60は、被加熱物2の候補を一つもしくは二つ、または、四つ以上表示してもよい。 For example, in the embodiment described above, the display section 60 displays three candidates for the object to be heated 2. However, the present disclosure is not limited thereto. The display unit 60 may display one, two, or four or more candidates for the object to be heated 2.

上述のように、本実施の形態において、制御部30はマイクロコンピュータで構成される。制御部30はマイクロコンピュータに限られるものではない。しかしながら、プログラム可能なマイクロコンピュータを用いれば、処理内容を容易に変更可能であり、設計の自由度を高めることができる。 As described above, in this embodiment, the control section 30 is configured with a microcomputer. The control unit 30 is not limited to a microcomputer. However, if a programmable microcomputer is used, the processing contents can be easily changed and the degree of freedom in design can be increased.

処理速度の向上のため、制御部30を論理回路で構成することも可能である。制御部30を一つまたは複数の素子で構成してもよい。制御部30を複数の素子で構成する場合、各制御項目をこれら複数の素子で実施してもよい。この場合、これら複数の素子が一つの制御部に対応すると考えることができる。 In order to improve processing speed, it is also possible to configure the control section 30 with a logic circuit. The control unit 30 may be composed of one or more elements. When the control unit 30 is composed of a plurality of elements, each control item may be implemented by these plurality of elements. In this case, these multiple elements can be considered to correspond to one control section.

本開示は、電子レンジ、IHクッキングヒータ、および、炊飯器などの加熱調理器に適用可能である。 The present disclosure is applicable to cooking devices such as microwave ovens, IH cooking heaters, and rice cookers.

1、1A、1B、1C 加熱調理器
2 被加熱物
10、10C 加熱調理部
11 加熱室
12a 内箱
12b 外箱
13 扉
14 輻射ヒータ
15 トッププレート
16 誘導加熱コイル
20 撮影部
30 制御部
31 画像認識部
32 調整部
33 時計部
40 記憶部
41 候補記憶部
42 履歴記憶部
50 操作部
60 表示部
70 スピーカ
80 レンジフード
100 サーバ
1, 1A, 1B, 1C Cooking device 2 Object to be heated 10, 10C Cooking section 11 Heating chamber 12a Inner box 12b Outer box 13 Door 14 Radiant heater 15 Top plate 16 Induction heating coil 20 Photographing section 30 Control section 31 Image recognition Section 32 Adjustment section 33 Clock section 40 Storage section 41 Candidate storage section 42 History storage section 50 Operation section 60 Display section 70 Speaker 80 Range hood 100 Server

Claims (12)

被加熱物を加熱するように構成された加熱調理部と、
前記被加熱物の画像を撮影するように構成された撮影部と、
前記被加熱物の前記画像と比較するための候補一覧表を記憶している候補記憶部と、
前記被加熱物の前記画像に対して画像認識を行い、前記画像認識の結果と前記候補一覧表に登録された候補の画像とを比較した相関により導出される確からしさに基づいて、前記被加熱物に関する複数の候補を抽出するように構成されるとともに、前記被加熱物が異物であることを前記確からしさに基づいて判定するように構成された画像認識部と、
前記画像認識部により抽出された前記複数の候補の表示順序を調整するように構成された調整部と、
前記調整部により調整された前記表示順序で前記複数の候補を表示するように構成されるとともに、前記画像認識部が、前記複数の候補のうち、最も確からしい候補の前記確からしさを示す数値が所定の閾値よりも低い場合、前記被加熱物が異物であると判定する、
加熱調理器。
a heating cooking section configured to heat an object to be heated;
a photographing section configured to photograph an image of the object to be heated;
a candidate storage unit storing a list of candidates for comparison with the image of the object to be heated;
Image recognition is performed on the image of the object to be heated, and based on the probability derived from the correlation obtained by comparing the image recognition result and the candidate images registered in the candidate list, an image recognition unit configured to extract a plurality of candidates related to an object, and configured to determine that the object to be heated is a foreign object based on the certainty;
an adjustment unit configured to adjust the display order of the plurality of candidates extracted by the image recognition unit;
The image recognition unit is configured to display the plurality of candidates in the display order adjusted by the adjustment unit, and the image recognition unit is configured to display a numerical value indicating the likelihood of the most likely candidate among the plurality of candidates. If it is lower than a predetermined threshold, determining that the object to be heated is a foreign object;
Heating cooker.
前記画像認識部が、前記複数の候補のうちの最も確からしい候補が異物である場合、前記被加熱物が異物であると判定する、
請求項1に記載の加熱調理器。
the image recognition unit determines that the object to be heated is a foreign object when the most likely candidate among the plurality of candidates is a foreign object;
The heating cooker according to claim 1.
提示部をさらに備え、
前記画像認識部が、前記被加熱物が前記加熱調理部に配置されていないと判定した場合、または、前記画像認識部が、前記被加熱物が異物であると判定した場合、前記提示部は、前記被加熱物に関する候補が抽出されないことを提示する、
請求項1に記載の加熱調理器。
Further comprising a presentation section,
When the image recognition section determines that the object to be heated is not placed in the heating cooking section, or when the image recognition section determines that the object to be heated is a foreign object, the presentation section , presenting that candidates related to the object to be heated are not extracted;
The heating cooker according to claim 1.
前記提示部が表示部であり、
前記画像認識部が、前記被加熱物が前記加熱調理部に配置されていないと判定した場合、または、前記画像認識部が、前記被加熱物が異物であると判定した場合、前記表示部が、前記被加熱物に関する候補が抽出されない旨のメッセージを表示する、
請求項3に記載の加熱調理器。
The presentation section is a display section,
When the image recognition section determines that the object to be heated is not placed in the heating cooking section, or when the image recognition section determines that the object to be heated is a foreign object, the display section , displaying a message indicating that no candidates related to the object to be heated are extracted;
The heating cooker according to claim 3.
前記提示部がスピーカであり、
前記画像認識部が、前記被加熱物が前記加熱調理部に配置されていないと判定した場合、または、前記画像認識部が、前記被加熱物が異物であると判定した場合、前記スピーカが、前記被加熱物に関する候補が存在しないことを示す音声を出力する、
請求項3に記載の加熱調理器。
the presentation unit is a speaker,
When the image recognition section determines that the object to be heated is not placed in the heating cooking section, or when the image recognition section determines that the object to be heated is a foreign object, the speaker outputting a sound indicating that there are no candidates related to the object to be heated;
The heating cooker according to claim 3.
前記複数の候補の中から使用者が一つの候補を選択するための操作部と、
選択履歴情報として、前記複数の候補と前記一つの候補とを対応させて記憶する履歴記憶部と、をさらに備え、
前記調整部は、前記選択履歴情報に基づいて、前記複数の候補の前記表示順序を決定する、
請求項1に記載の加熱調理器。
an operation unit for a user to select one candidate from the plurality of candidates;
further comprising a history storage unit that stores the plurality of candidates and the one candidate in correspondence as selection history information,
The adjustment unit determines the display order of the plurality of candidates based on the selection history information.
The heating cooker according to claim 1.
現在時刻を計時する時計部をさらに備え、
前記履歴記憶部は、前記選択履歴情報として、前記一つの候補の選択が行われた選択時間帯と、前記選択時間帯において前記一つの候補が選択される選択頻度とを記憶する、
請求項6に記載の加熱調理器。
It further includes a clock section that measures the current time,
The history storage unit stores, as the selection history information, a selection time period in which the one candidate is selected and a selection frequency in which the one candidate is selected in the selection time period.
The heating cooker according to claim 6.
前記履歴記憶部が、前記一つの候補が選択されたときの前記複数の候補の前記表示順序を記憶する、
請求項6に記載の加熱調理器。
the history storage unit stores the display order of the plurality of candidates when the one candidate is selected;
The heating cooker according to claim 6.
前記調整部が、前記選択履歴情報の中から前記選択時間帯が同じで、前記選択頻度の最も高い前記選択履歴情報を抽出し、抽出された前記選択履歴情報に応じて前記複数の候補の前記表示順序を決定する、
請求項7に記載の加熱調理器。
The adjustment unit extracts the selection history information having the same selection time period and the highest selection frequency from the selection history information, and selects the selection history information of the plurality of candidates according to the extracted selection history information. determine the display order,
The heating cooker according to claim 7.
前記履歴記憶部が外部のサーバに設けられた、
請求項6に記載の加熱調理器。
the history storage unit is provided in an external server;
The heating cooker according to claim 6.
前記加熱調理部が、前記被加熱物を収容するための加熱室を有する、
請求項1に記載の加熱調理器。
The heating cooking section has a heating chamber for accommodating the object to be heated.
The heating cooker according to claim 1.
前記加熱調理部が、前記被加熱物を載置するためのトッププレートと、前記トッププレートの下方に配置された誘導加熱コイルとを有する、
請求項1に記載の加熱調理器。
The heating cooking section includes a top plate on which the object to be heated is placed, and an induction heating coil disposed below the top plate.
The heating cooker according to claim 1.
JP2019569854A 2018-09-10 2019-09-06 heating cooker Active JP7403044B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018168904 2018-09-10
JP2018168904 2018-09-10
PCT/JP2019/035169 WO2020054609A1 (en) 2018-09-10 2019-09-06 Heat cooking device

Publications (2)

Publication Number Publication Date
JPWO2020054609A1 JPWO2020054609A1 (en) 2021-08-30
JP7403044B2 true JP7403044B2 (en) 2023-12-22

Family

ID=69776750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019569854A Active JP7403044B2 (en) 2018-09-10 2019-09-06 heating cooker

Country Status (3)

Country Link
JP (1) JP7403044B2 (en)
CN (1) CN111183317A (en)
WO (1) WO2020054609A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11949535B2 (en) 2022-03-24 2024-04-02 Haier Us Appliance Solutions, Inc. Item management system for connected appliances

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061382A (en) 2008-09-03 2010-03-18 Nikon Corp Automatic recipe creation apparatus and program
JP2014202414A (en) 2013-04-04 2014-10-27 東芝ホームテクノ株式会社 Heating cooker
WO2015029333A1 (en) 2013-08-28 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Control method, program, terminal device, information provision system, and information provision method
JP2016051526A (en) 2014-08-28 2016-04-11 三菱電機株式会社 Heating cooker, heating cooking system, and control method of heating cooker
WO2016059770A1 (en) 2014-10-17 2016-04-21 パナソニックIpマネジメント株式会社 Device for cooking by heating and control method for same
WO2017179460A1 (en) 2016-04-11 2017-10-19 パナソニックIpマネジメント株式会社 Heating cooker, method of controlling heating cooker, and heating cooking system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061382A (en) 2008-09-03 2010-03-18 Nikon Corp Automatic recipe creation apparatus and program
JP2014202414A (en) 2013-04-04 2014-10-27 東芝ホームテクノ株式会社 Heating cooker
WO2015029333A1 (en) 2013-08-28 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Control method, program, terminal device, information provision system, and information provision method
JP2016051526A (en) 2014-08-28 2016-04-11 三菱電機株式会社 Heating cooker, heating cooking system, and control method of heating cooker
WO2016059770A1 (en) 2014-10-17 2016-04-21 パナソニックIpマネジメント株式会社 Device for cooking by heating and control method for same
WO2017179460A1 (en) 2016-04-11 2017-10-19 パナソニックIpマネジメント株式会社 Heating cooker, method of controlling heating cooker, and heating cooking system

Also Published As

Publication number Publication date
WO2020054609A1 (en) 2020-03-19
JPWO2020054609A1 (en) 2021-08-30
CN111183317A (en) 2020-05-19

Similar Documents

Publication Publication Date Title
JP6827181B2 (en) Cooker
JP5853155B2 (en) Heating cooker, cooking system, arithmetic device and cooking support method
CN105358913B (en) Heating device
JP6704125B2 (en) Cooker
JP6439137B2 (en) Heating cooker and control method thereof
EP3811832A1 (en) Cooking device having camera
WO2018012245A1 (en) Heating cooker
JP2005140418A (en) Cooker
KR20180015926A (en) Cooking apparatus and method of controlling the same
JP7349609B2 (en) How to control a heating cooker
KR20210138485A (en) Terminal apparatus, cooking apparatus, control method of terminal apparatus and control method of cooking apparutus
JP7403044B2 (en) heating cooker
JP6906147B2 (en) How to control a cooker and a cooker
JP5897088B2 (en) Cooker
JPWO2018167850A1 (en) Cooker
CN107361627B (en) Cooking appliance and method for cooking by using same
KR102189589B1 (en) Method for cooking food
JP5689556B2 (en) Cooker
JP2018004225A (en) Heating cooker
CN114641226A (en) Determining a target treatment status of a cooking item to be processed
JP7565702B2 (en) Recipe providing method, program and information terminal
JP7577597B2 (en) Cooking System
CN114969510A (en) Menu recommendation method, control module, cooking device and readable storage medium
JP2022110855A (en) Cooker and learned model creating method
CN118159779A (en) Electronic device and control method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220725

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20221020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R151 Written notification of patent or utility model registration

Ref document number: 7403044

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151