JP7232122B2 - Physical property prediction device and physical property prediction method - Google Patents
Physical property prediction device and physical property prediction method Download PDFInfo
- Publication number
- JP7232122B2 JP7232122B2 JP2019089910A JP2019089910A JP7232122B2 JP 7232122 B2 JP7232122 B2 JP 7232122B2 JP 2019089910 A JP2019089910 A JP 2019089910A JP 2019089910 A JP2019089910 A JP 2019089910A JP 7232122 B2 JP7232122 B2 JP 7232122B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- physical property
- prediction
- correction
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Description
本発明は、物性予測装置及び物性予測方法に関し、マテリアルズインフォマティクスや製造条件の最適化等において、設計を支援するために物性を予測する物性予測装置及び物性予測方法に適用して好適なものである。 The present invention relates to a physical property prediction device and a physical property prediction method, and is suitable for application to a physical property prediction device and a physical property prediction method for predicting physical properties to support design in materials informatics, optimization of manufacturing conditions, etc. be.
昨今、マテリアルズインフォマティクスや製造条件の最適化等において、情報技術(IT)や人工知能(AI)を活用することで、設計期間の短縮や新材料・新配合の発見が期待されている。このようなITやAIの活用の1つとして、機械学習ベースによる物性予測に大きな期待が寄せられている。 Recently, it is expected to shorten the design period and discover new materials and new formulations by utilizing information technology (IT) and artificial intelligence (AI) in materials informatics and optimization of manufacturing conditions. As one of such applications of IT and AI, great expectations are placed on prediction of physical properties based on machine learning.
例えば、特許文献1には、化合物の物性予測を行う物性予測装置が開示されている。特許文献1に開示された物性予測装置では、化学構造に関するパラメータ値と予測項目に対する値とが予め登録された学習サンプルについて、類似度が予め決定した閾値以上である学習サンプルを取り出してサブサンプルセットを構築し、サブサンプルセットにデータ解析を行って予測モデルを作成し、この予測モデルを未知のサンプルに適用して、予測項目の値(予測値)を算出する。その際、サブサンプルセット中の学習サンプル数が最終パラメータセット中のパラメータ数に比べて少ない場合には、予測モデルの信頼性を高めるために、サブサンプルセットの構築に用いる類似度の閾値を変更することにより、サブサンプルセットに含まれる学習サンプルの数を増やすことが開示されている。
For example,
しかし、特許文献1に開示された物性予測装置の場合、上記類似度が閾値未満となった学習サンプル(訓練データ)の情報はサブサンプルセットに用いられないため、物性予測の汎化誤差が大きくなるおそれがあった。また、特許文献1の物性予測装置では、上記類似度を毎回計算する必要があるため、処理負荷の増加により処理能力が低下してしまうおそれがあった。また、特許文献1の物性予測装置では、予測における統計学的なリスクの度合い(ブレ具合)が分からないため、算出された予測値に対する信頼性を判断することが難しいという問題もあった。
However, in the case of the physical property prediction device disclosed in
本発明は以上の点を考慮してなされたもので、物性予測において、予測の汎化誤差を抑制するとともに、予測のリスクを管理可能な物性予測装置及び物性予測方法を提案しようとするものである。 The present invention has been made in consideration of the above points, and intends to propose a physical property prediction apparatus and a physical property prediction method capable of suppressing prediction generalization errors and managing prediction risks in property prediction. be.
かかる課題を解決するため本発明においては、物性予測に用いるモデルを学習するモデル学習部と、未知サンプルのデータとして入力された未知入力ベクトルに対して、前記モデル学習部で学習した前記モデルを用いた前記物性予測を行う物性予測部と、前記物性予測の結果を表示する表示部と、を備える物性予測装置が提供される。この物性予測装置において、前記モデル学習部は、前記モデルの学習に用いる訓練データの入力集合をクラスタリングし、各クラスタにおける代表ベクトルを選定する代表ベクトル選定部と、各前記代表ベクトルの近傍にある第1所定数の前記訓練データを使って、物性値を予測するベースモデルを学習するベースモデル学習部と、各前記代表ベクトルの近傍にある第2所定数の前記訓練データを使って、前記ベースモデルごとに当該ベースモデルの残差の反数を予測する補正モデルを学習する補正モデル学習部と、を有する。また、前記物性予測部は、前記未知入力ベクトルに対して、当該未知入力ベクトルに近い前記代表ベクトルに関する前記ベースモデル及び前記補正モデルを検索するモデル検索部と、前記未知入力ベクトルに対する前記ベースモデルの予測値としてベースモデル予測値を算出するベースモデル予測部と、前記未知入力ベクトルに対する前記補正モデルの予測値として補正モデル予測値を算出する補正モデル予測部と、前記ベースモデル予測値と前記補正モデル予測値に所定の定数を掛けた値との和によって、物性ごとに物性予測値を算出するとともに、前記補正モデル予測値に基づいて当該物性予測値のリスクを示す補正度を算出する予測結果決定部と、を有する。そして、前記表示部は、少なくとも前記予測結果決定部によって算出された前記物性予測値及び前記補正度を表示する予測結果表示画面を提供する。 In order to solve this problem, in the present invention, a model learning unit that learns a model to be used for physical property prediction, and the model learned by the model learning unit is used for an unknown input vector that is input as unknown sample data. A physical property prediction device including a physical property prediction unit that performs the physical property prediction and a display unit that displays the result of the physical property prediction is provided. In this physical property prediction device, the model learning unit clusters an input set of training data used for learning the model, and includes a representative vector selection unit that selects a representative vector in each cluster; 1 A base model learning unit that learns a base model for predicting physical property values using a predetermined number of the training data, and a second predetermined number of the training data near each of the representative vectors to learn the base model and a correction model learning unit that learns a correction model for predicting the inverse of the residual of the base model for each model. Further, the physical property prediction unit includes, for the unknown input vector, a model search unit for searching the base model and the correction model for the representative vector close to the unknown input vector; a base model prediction unit that calculates a base model prediction value as a prediction value; a correction model prediction unit that calculates a correction model prediction value as a prediction value of the correction model for the unknown input vector; and the base model prediction value and the correction model. Prediction result determination for calculating the predicted value of physical properties for each physical property by summing the predicted value and the value obtained by multiplying the predicted value by a predetermined constant, and calculating the degree of correction indicating the risk of the predicted value of the physical property based on the corrected model predicted value. and The display unit provides a prediction result display screen that displays at least the predicted physical property value and the degree of correction calculated by the prediction result determination unit.
また、かかる課題を解決するため本発明においては、物性予測に用いるモデルを学習するモデル学習ステップと、未知サンプルのデータとして入力された未知入力ベクトルに対して、前記モデル学習ステップで学習した前記モデルを用いた前記物性予測を行う物性予測ステップと、前記物性予測の結果を表示する表示ステップと、を備える物性予測方法が提供される。この物性予測方法において、前記モデル学習ステップは、前記モデルの学習に用いる訓練データの入力集合をクラスタリングし、各クラスタにおける代表ベクトルを選定する代表ベクトル選定ステップと、各前記代表ベクトルの近傍にある第1所定数の前記訓練データを使って、物性値を予測するベースモデルを学習するベースモデル学習ステップと、各前記代表ベクトルの近傍にある第2所定数の前記訓練データを使って、前記ベースモデルごとに当該ベースモデルの残差の反数を予測する補正モデルを学習する補正モデル学習ステップと、を有する。また、前記物性予測ステップは、前記未知入力ベクトルに対して、当該未知入力ベクトルに近い前記代表ベクトルに関する前記ベースモデル及び前記補正モデルを検索するモデル検索ステップと、前記未知入力ベクトルに対する前記ベースモデルの予測値としてベースモデル予測値を算出するベースモデル予測ステップと、前記未知入力ベクトルに対する前記補正モデルの予測値として補正モデル予測値を算出する補正モデル予測ステップと、前記ベースモデル予測ステップで算出された前記ベースモデル予測値と、前記補正モデル予測ステップで算出された前記補正モデル予測値に所定の定数を掛けた値との和をとることによって、物性ごとに物性予測値を算出するとともに、前記補正モデル予測値に基づいて当該物性予測値のリスクを示す補正度を算出する予測結果決定ステップと、を有する。そして、前記表示ステップでは、少なくとも前記予測結果決定ステップで算出された前記物性予測値及び前記補正度を表示する予測結果表示画面が提供される。 Further, in order to solve such problems, in the present invention, there are provided a model learning step for learning a model to be used for physical property prediction; and a display step of displaying the result of the physical property prediction. In this physical property prediction method, the model learning step includes a representative vector selection step of clustering an input set of training data used for learning the model and selecting a representative vector in each cluster; 1 A base model learning step of learning a base model for predicting physical property values using a predetermined number of the training data, and a second predetermined number of the training data near each of the representative vectors to learn the base model and a correction model learning step of learning a correction model that predicts the inverse of the residual of the base model for each. Further, the physical property prediction step includes, for the unknown input vector, a model search step for searching the base model and the correction model for the representative vector close to the unknown input vector; a base model prediction step of calculating a base model prediction value as a prediction value; a correction model prediction step of calculating a correction model prediction value as a prediction value of the correction model for the unknown input vector; A physical property predicted value is calculated for each physical property by summing the base model predicted value and a value obtained by multiplying the corrected model predicted value calculated in the corrected model prediction step by a predetermined constant, and the corrected and a prediction result determination step of calculating a correction degree indicating a risk of the predicted physical property value based on the model predicted value. In the display step, a prediction result display screen is provided that displays at least the predicted physical property value and the degree of correction calculated in the prediction result determination step.
本発明によれば、物性予測において、予測の汎用誤差を抑制するとともに、予測のリスクを管理することができる。 ADVANTAGE OF THE INVENTION According to this invention, in physical property prediction, while suppressing the general-purpose error of prediction, the risk of prediction can be managed.
以下、図面を参照して、本発明の実施の形態を詳述する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(1)物性予測装置の構成
図1は、本発明の一実施の形態に係る物性予測装置のシステム構成並びに機能構成を示す構成図である。本実施の形態に係る物性予測装置1は、学習フェーズにおいて予測モデル(ベースモデル及び補正モデル)を学習し、運用フェーズにおいては、入力された未知サンプルのデータ(未知入力ベクトル)に基づいて検索した好適な予測モデルを用いて物性予測を行い、その予測結果を出力する装置であって、例えば一般的な計算サーバ(及びその周辺機器)等によって実現される。
(1) Configuration of Physical Property Prediction Apparatus FIG. 1 is a configuration diagram showing the system configuration and functional configuration of a physical property prediction apparatus according to an embodiment of the present invention. The physical
図1に示すように、物性予測装置1は、ネットワーク3を介して、エンジニアが使用する端末2と通信可能に接続される。エンジニアとは、端末2の操作を介して物性予測装置1を利用するユーザを意味し、以降の説明ではエンジニアに統一して表記する。ネットワーク3は、例えばLAN(Local Area Network)であるが、特定のネットワークに限定されるものではなく、有線/無線を問わない。例えば、物性予測装置1と端末2との間は、WWW(World Wide Web)経由で接続されてもよい。
As shown in FIG. 1, a physical
そして、詳細は後述するが、物性予測装置1は、モデル学習部11、物性予測部12、表示部13、及びデータ管理部14を機能構成として備える。このうち、モデル学習部11は、代表ベクトル選定部15、ベースモデル学習部16、及び補正モデル学習部17を有し、物性予測部12は、モデル検索部18、ベースモデル予測部19、補正モデル予測部20、及び予測結果決定部21を有するが、不図示の機能部をさらに有してもよい。
Although details will be described later, the physical
図2は、図1に示した物性予測装置のハードウェア構成を示す構成図である。図2に示したように、物性予測装置1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、外部記憶装置104、通信I/F105、外部入力装置106、及び外部出力装置107を備える。外部記憶装置104は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等の記憶装置に相当し、外部入力装置106は、例えばキーボードやマウス等の入力装置に相当し、外部出力装置107は、例えばディスプレイやプリンタ等の出力装置に相当する。
FIG. 2 is a configuration diagram showing the hardware configuration of the physical property prediction device shown in FIG. As shown in FIG. 2, the physical
物性予測装置1について、図2に示したハードウェア構成と図1に示した機能構成との関係を説明すると、データ管理部14は、CPU101がRAM103または外部記憶装置104に対してデータの読み書きを制御することによって実現される。
Regarding the physical
また、物性予測装置1におけるその他の機能構成は、CPU101が、ROM102あるいは外部記憶装置104に格納されたプログラムをRAM103に読み込み、必要に応じてROM102、RAM103、または外部記憶装置104に記憶されたデータを参照しながら上記プログラムを実行し、通信I/F105、外部入力装置106、または外部出力装置107を制御することによって実現される。
Other functional configurations of the physical
特に、表示部13は、CPU101の制御によって外部出力装置107に対して画面表示等の出力を可能とする他、ネットワーク3を経由して出力情報を所定の出力形式(例えばGUI:Graphic User Interface)で外部(例えば端末2)に提供することもできる。このとき、エンジニアは、端末2を操作して出力情報にアクセスし、GUI上で各種操作を行うことができ、物性予測装置1のCPU101は、その操作結果を受け付けてさらなる処理を実行することができる。また、以下の説明では「画像表示」について説明するが、本実施の形態は、画像表示以外の出力形態(例えば、印刷やデータ出力)に置き換えることもできる。
In particular, the
なお、図2に示したハードウェア構成の一部(具体的には、外部記憶装置104、外部入力装置106、または外部出力装置107等)は、必ずしも物性予測装置1の計算サーバ内になくてもよく、計算サーバに外部接続された周辺機器や装置等に置き換えてもよい。また、端末2のハードウェア構成は、物性予測装置1と同様と考えてよいため、詳細な説明を省略する。
It should be noted that part of the hardware configuration shown in FIG. Alternatively, it may be replaced with a peripheral device or device externally connected to the calculation server. Also, since the hardware configuration of the
図1に戻り、物性予測装置1の各機能構成について説明する。
Returning to FIG. 1, each functional configuration of the physical
物性予測装置1においてモデル学習部11は、学習フェーズにおける処理(モデル学習処理)を実行することにより、予測モデル(ベースモデル及び補正モデル)を学習する、モデル学習機能を有する。
The
モデル学習部11に含まれる機能構成のうち、代表ベクトル選定部15は、モデル学習処理において学習する訓練データの入力集合をクラスタリングし、各クラスタの代表ベクトルを選定する機能を有する。なお、モデル学習処理で学習する訓練データは、データ管理部14に蓄積された過去の実験データから選択される。
Among the functional components included in the
また、ベースモデル学習部16は、代表ベクトルに基づいてベースモデルを学習する機能を有する。具体的にはベースモデル学習部16は、代表ベクトル選定部15によって選定された代表ベクトルごとに、当該代表ベクトルの近傍にある所定個数(本実施の形態では「K個」とする)の訓練データ(ベースモデル訓練データ)を使って、物性値を予測するベースモデルを学習する。ベースモデル学習部16によって学習されたベースモデルは、データ管理部14に登録される。
The base
また、補正モデル学習部17は、補正モデルを学習する機能を有する。具体的には補正モデル学習部17は、代表ベクトル選定部15によって選定された代表ベクトルごとに、当該代表ベクトルの近傍にある所定個数(本実施の形態では「L個」とする)の訓練データ(補正モデル訓練データ)を使って、ベースモデルごとに当該ベースモデルの残差の反数を予測する補正モデルを学習する。補正モデル学習部17によって学習された補正モデルは、データ管理部14に登録される。
Further, the correction
なお、上記したモデル学習部11の機能部は、モデル学習部11が有するモデル学習機能のうちの代表的な一部の機能を実現するための機能構成の一例であって、モデル学習部11は、モデル学習機能に含まれる「その他の機能(処理)」を実現するために、さらに不図示の機能部を有してもよい(あるいは、上記の機能部の何れかが代替してもよい)。「その他の処理」とは具体的には例えば、実験データを受け付ける処理(図3のステップS11)、実験データから訓練データを選択する処理(図3のステップS12)、訓練データの前処理を行う処理(図3のステップS13)、及び、物性予測値の汎化誤差を最小化するための定数(汎化誤差最小化定数)を探索する処理(図7のステップS24)等が相当し、それぞれの詳細は後述する。そして、以降の説明では、このような不図示の機能部による処理は、モデル学習部11を処理主体として表記する。
Note that the functional unit of the
物性予測装置1において物性予測部12は、運用フェーズにおける処理(物性予測処理)を実行することにより、未知入力ベクトルに基づいて検索した好適な予測モデルを用いて物性予測を行い、その予測結果を表示部13に出力する、物性予測機能を有する。
In the physical
物性予測部12に含まれる機能構成のうち、モデル検索部18は、未知入力ベクトルに対する物性予測に用いるモデルを検索する機能を有する。具体的にはモデル検索部18は、データ管理部14に登録されたベースモデル及び補正モデルのうちから、未知入力ベクトルに近い代表ベクトルに関するベースモデル(対応ベースモデル)及び補正モデル(対応補正モデル)を検索する。ここでの、「代表ベクトルに関する」モデルとは、学習フェーズにおいて、当該代表ベクトルに基づいて(当該代表ベクトルの近傍にある訓練データを使って)学習されたモデルであることを意味する。
Among the functional components included in the physical
また、ベースモデル予測部19は、モデル検索部18が検索した対応ベースモデルを用いて、未知入力ベクトルに対する対応ベースモデルの予測値(ベースモデル予測値)を算出する機能を有する。
The base
また、補正モデル予測部20は、モデル検索部18が検索した対応補正モデルを用いて、未知入力ベクトルに対する対応補正モデルの予測値(補正モデル予測値)を算出する機能を有する。
The correction
予測結果決定部21は、ベースモデル予測部19が算出したベースモデル予測値と補正モデル予測部20が算出した補正モデル予測値とに基づいて、未知入力ベクトルに対する物性予測の予測結果を決定する機能を有する。具体的にはまず、予測結果決定部21は、ベースモデル予測値と補正モデル予測値に汎化誤差最小化定数を掛けた値との和から、未知入力ベクトルに対する物性ごとの予測値(物性予測値)を算出する。また、予測結果決定部21は、補正モデル予測値の絶対値からそれぞれの物性予測値の補正度を算出する。この物性予測値の補正度は、物性ごとの予測値の統計学的なリスクの度合い(ブレ具合)を示す値である。さらに、予測結果決定部21は、上記算出した各物性予測値の補正度に所定の演算処理を行うことにより、今回の物性予測全体における予測値のリスクの度合い(ブレ具合)を「リスク値」として算出する。
The prediction
なお、上記した物性予測部12の機能部は、物性予測部12が有する物性予測機能のうちの代表的な一部の機能を実現するための機能構成の一例であって、物性予測部12は、物性予測機能に含まれる「その他の機能(処理)」を実現するために、さらに不図示の機能部を有してもよい(あるいは、上記の機能部の何れかが代替してもよい)。「その他の処理」とは具体的には例えば、未知入力ベクトルを受け付ける処理(図9のステップS41)等が相当する。そして、以降の説明では、このような不図示の機能部による処理は、物性予測部12を処理主体として表記する。
The functional unit of the physical
表示部13は、モデル学習部11または物性予測部12の出力指示に基づいて、指示された情報を表示する機能を有する。具体的には例えば、表示部13は、物性予測処理において、物性予測の結果を示す予測結果表示画面(図13参照)を表示したり、モデル学習処理において、予測結果表示画面における補正度レベルの分類基準等を調整可能な補正度調整画面(図6参照)を表示したりする。
The
データ管理部14は、物性予測装置1で用いられる各種データを格納・管理する機能を有する。図4,図5,図10,図11には、データ管理部14が格納・管理するデータの一例が示されている。
The
(2)学習フェーズ(モデル学習処理)
物性予測装置1の学習フェーズにおける処理手順を、図3等を参照しながら説明する。図3は、モデル学習処理の処理手順の概要を示すフローチャートである。前述したように、モデル学習処理は、主にモデル学習部11の各部によって実行される。
(2) Learning phase (model learning processing)
A processing procedure in the learning phase of the physical
図3によればまず、モデル学習部11は、エンジニアによって端末2から実験データが入力されると、これを受け付けてデータ管理部14に蓄積する(ステップS11)。ここで、実験データとは、過去に行った実験に関するデータであって、実験に用いた原料や条件等のデータを示す入力情報と、実験で計測された物性のデータを示す出力情報とに分類することができる。本実施の形態では、データ管理部14は、実験の入力情報と出力情報とを、それぞれ入力集合と出力集合とにまとめて管理する。
According to FIG. 3, first, when the engineer inputs experimental data from the
図4は、実験データの入力集合のデータ構成例を示す図であり、図5は、実験データの出力集合のデータ構成例を示す図である。図4に示した入力集合110は、実験の識別子を示す実験番号111と、当該実験で用いた各原料の使用量(使用率等でもよい)を示す原料112,113と、当該実験における各条件を示す条件114,115と、を備えて構成される。図5に示した出力集合120は、図4の実験番号111と同様に実験の識別子を示す実験番号121と、当該実験で計測された各物性の値を示す物性122~126と、を備えて構成される。なお、図4,図5に示したデータ構成は一例であって、本実施の形態における実験データの格納形態は上記例に限定されるものではない。
FIG. 4 is a diagram showing a data configuration example of an input set of experimental data, and FIG. 5 is a diagram showing a data configuration example of an output set of experimental data. The input set 110 shown in FIG. 4 includes an
ステップS11の次に、モデル学習部11は、ステップS11でデータ管理部14に蓄積された実験データから、モデル学習処理において学習する訓練データを選択する(ステップS12)。ステップS12においてどのような訓練データを選択するかは任意であり、例えばエンジニアによって選択可能であってもよい。また、訓練データは実験データから選択されるため、訓練データの入力集合のデータ構成は、図4に示した実験データの入力集合110と同様であると考えることができ、訓練データの出力集合のデータ構成は、図5に示した実験データの出力集合120と同様であると考えることができる。
After step S11, the
次に、モデル学習部11は、ステップS12で選択した訓練データの前処理を行う(ステップS13)。ステップS13で実行される前処理の種類は限定されないが、例えば、訓練データに含まれるカテゴリカルデータ(定性的データ)に対して、ワンホットベクトル化したり、正規化したりする処理が挙げられる。
Next, the
次に、モデル学習部11は、ステップS13で前処理が行われた訓練データを用いて、予測モデル(ベースモデル及び補正モデル)を学習する予測モデル学習処理を実行する(ステップS14)。詳細は図7等を参照しながら後述するが、予測モデル学習処理では、代表ベクトルの選定、ベースモデルの学習、補正モデルの学習、及び、汎化誤差最小化定数(本例では「定数α」とする)の線形探索が行われる。
Next, the
次に、モデル学習部11は、ステップS14の予測モデル学習処理の処理結果に基づいて、代表ベクトル、学習後のベースモデルと補正モデル、及び汎化誤差最小化定数(定数α)を、紐付けてデータ管理部14に登録する(ステップS15)。
Next, the
そして最後に、モデル学習部11は、予測結果表示画面における補正度レベルの分類基準や表示態様を調整可能な補正度調整画面の表示出力を表示部13に指示し、当該画面に対するエンジニアによる操作が有った場合は適宜調整を行い(ステップS16)、その後、モデル学習処理を終了する。
Finally, the
ここで、補正度調整画面について補足する。具体例は図13に示すが、本実施の形態に係る物性予測装置1は、運用フェーズで物性予測が行われたとき、その結果を表示する予測結果表示画面において、物性の予測値を、予測のリスクを示す補正度の度合い(補正度レベル)を認識可能な態様で表示することができる。そして、このような予測結果表示画面における「補正度」の表示態様をエンジニアが事前に設定できるようにするため、モデル学習処理のステップS16では、補正度調整画面が表示される。なお、本例では、予測結果表示画面において補正度レベルを認識可能な態様で物性の予測値を表示することについて詳しく後述するが、本実施の形態はこれに限らず、補正度自体を認識可能な態様で表示するものであってもよい。
Here, the correction degree adjustment screen will be supplemented. A specific example is shown in FIG. 13, but when physical property prediction is performed in the operation phase, the physical
図6は、補正度調整画面の具体例を示す図である。図6に示したように、補正度調整画面210には、平均補正度と残差の絶対値とを両軸に有する分布図が表示される。分布図におけるデータの表示態様は、凡例211に示すように、補正度レベル(「補正度小」、「補正度中」、「補正度大」)によって異なる。そして、補正度調整画面210には、補正度レベルの分類基準を移動可能なスライドバー212,213が設置されている。そこでエンジニアは、スライドバー212,213を操作することによって、補正度レベルの分類基準を自在に調整することができる。なお、本例では、補正度レベルによって異なる模様が表示されるとしているが、本実施の形態はこれに限定されるものではなく、補正度レベルを識別できるものであればよい。例えば、色や大きさを異ならせてもよいし、これらを組み合わせてもよい。さらに、どのような表示態様とするかを選択できるようにしてもよい。そして、補正度調整画面210で調整された設定情報はデータ管理部14に登録され、予測結果表示画面の表示設定に反映される(図12の予測結果表示画面220参照)。
FIG. 6 is a diagram showing a specific example of the correction degree adjustment screen. As shown in FIG. 6, the correction
(2-1)予測モデル学習処理
図3のステップS14における予測モデル学習処理について詳しく説明する。図7は、予測モデル学習処理の詳細な処理手順例を示すフローチャートである。
(2-1) Prediction Model Learning Processing The prediction model learning processing in step S14 of FIG. 3 will be described in detail. FIG. 7 is a flowchart illustrating a detailed processing procedure example of prediction model learning processing.
図7によればまず、モデル学習部11の代表ベクトル選定部15が、図3のステップS13で前処理が行われた訓練データの入力集合をクラスタリングし、各クラスタにおける代表ベクトルを選定する(ステップS21)。代表ベクトルの選定は特定の方法に限定されるものではないが、例えば、k-means法を使って、対象クラスタの重心や中心を示すベクトルを当該クラスタの代表ベクトルに選定することが考えられる。その他にも例えば、階層的クラスタリングやDBSCAN(Density-based Spatial Clustering of Applications with Noise)等の方法を使って、代表ベクトルを選定するようにしてもよい。
According to FIG. 7, first, the representative
次に、モデル学習部11のベースモデル学習部16が、ステップS21で選定された複数の代表ベクトルのそれぞれについて、当該代表ベクトルの近傍にある所定個数(K個)の訓練データ(ベースモデル訓練データ)を使って、物性値を予測するベースモデルを学習する(ステップS22)。
Next, for each of the plurality of representative vectors selected in step S21, the base
ステップS22の詳細な処理手順例を説明する。第1に、ベースモデル学習部16は、ベースモデル訓練データを空集合に初期化する。第2に、ベースモデル学習部16は、代表ベクトルが属するクラスタに属する訓練データをベースモデル訓練データに追加する。第2手順では、上記クラスタに属する訓練データを、代表ベクトルの近傍にあるものから順にベースモデル訓練データに追加していき、所定個数のK個に達した段階で第2手順を終了して第4手順に進む。一方、第2手順の完了時にベースモデル訓練データに追加された訓練データの数がK個未満であった場合は、ベースモデル訓練データに訓練データをさらに追加するために第3手順に進む。第3手順では、ベースモデル学習部16は、代表ベクトルが属するクラスタに属するか否かを問わずに、代表ベクトルの近傍にある未追加の訓練データを、総計がK個に達するまでベースモデル訓練データに追加し、完了後は第4手順に進む。第4手順では、これまでの各手順を経て追加されたK個のベースモデル訓練データを使って、ベースモデルを学習する。以上のような処理を代表ベクトルごとに繰り返すことにより、ベースモデル学習部16は、各代表ベクトルに関する(対応する)ベースモデルを学習することができる。
A detailed processing procedure example of step S22 will be described. First, the base
次に、モデル学習部11の補正モデル学習部17が、ステップS21で選定された複数の代表ベクトルのそれぞれについて、当該代表ベクトルの近傍にある所定個数(L個)の訓練データ(補正モデル訓練データ)を使って、当該代表ベクトルに関するベースモデルの残差の反数を予測する補正モデルを学習する(ステップS23)。ここで、ベースモデルの残差の反数を予測する補正モデルとは、言い換えれば、ベースモデルの真値の偏差を打ち消す補正モデルであり、このような補正モデルを学習するためには、補正モデル訓練データに含まれる訓練データの数「L個」が、ベースモデル訓練データに含まれる訓練データの数(K個)よりも多いことが好ましい。
Next, for each of the plurality of representative vectors selected in step S21, the correction
次に、モデル学習部11は、各代表ベクトルについて、物性予測値の汎化誤差を最小化する最適な汎化誤差最小化定数(定数α)を線形探索する(ステップS24)。
Next, the
ステップS24について補足説明する。本実施の形態では、代表ベクトルの近傍にある訓練データを用いて学習した予測モデルによる予測値、すなわち、ベースモデルの予測値と補正モデルの予測値とに基づいて、物性予測値を算出する。このとき物性予測値は、ベースモデルの予測値と補正モデルの予測値に「定数α」を掛けた値との和によって表される。そして、ステップS24では、このような物性予測値で推定される汎化誤差ができるだけ小さくなるように、線形探索(リニアサーチ)によって「定数α」の値を「0」から「1」の間で探索する。具体的には例えば、実験で計測された物性のデータを示す出力集合120(図5参照)のうち、ベースモデルや補正モデルの代表ベクトルに近い入力情報に対応する出力情報を参照しながらリニアサーチを行うことにより、推定汎化誤差を最小化する最適な定数αを探索することができる。このようにして探索された定数αを汎化誤差最小化定数と呼ぶ。 A supplementary description of step S24 will be given. In the present embodiment, the predicted values of physical properties are calculated based on the predicted values of the prediction model learned using the training data near the representative vector, that is, the predicted values of the base model and the predicted values of the correction model. At this time, the predicted value of the physical property is represented by the sum of the predicted value of the base model and the predicted value of the correction model multiplied by the "constant α". Then, in step S24, the value of the "constant α" is set between "0" and "1" by linear search so that the generalization error estimated by such predicted physical property values is as small as possible. Explore. Specifically, for example, among the output set 120 (see FIG. 5) indicating the physical property data measured in the experiment, the linear search is performed while referring to the output information corresponding to the input information close to the representative vector of the base model and the correction model. , it is possible to search for the optimal constant α that minimizes the estimated generalization error. The constant α found in this way is called a generalization error minimization constant.
そしてステップS24の処理が完了すると、モデル学習部11は予測モデル学習処理を終了する。
When the process of step S24 is completed, the
(2-2)近傍の定義
ところで、上述した予測モデル学習処理では、ステップS22,S23において、代表ベクトルの「近傍」にあることを基準として、モデル学習に用いる訓練データが選択される。本実施の形態に係る物性予測装置1では、この「近傍」をどのように判断するかを、既知のメトリックラーニングを活用する等、任意に定義することができる。
(2-2) Definition of Neighborhood By the way, in the prediction model learning process described above, in steps S22 and S23, training data to be used for model learning is selected on the basis of being in the "neighborhood" of the representative vector. In the physical
具体的な方法として例えば、ユークリッド距離やマハラノビス距離等の距離計量、物性(出力)に大きく(所定程度以上に)寄与する1若しくは複数の変数(次元)に対して定義される計量、あるいは、カーネル関数等で定義される計量等を用いて、近傍を定めることができる。 Specific methods include distance metrics such as Euclidean distance and Mahalanobis distance, metrics defined for one or more variables (dimensions) that contribute significantly (more than a predetermined degree) to physical properties (output), or kernels A metric or the like defined by a function or the like can be used to define the neighborhood.
また、別の具体的な方法として例えば、MLKR(Metric Learning for Kernel Regression)に代表される距離計量学習によって得られる計量を用いて、近傍を定めることもできる。この方法によれば、「距離計量」を可変性を有するものとして扱い、「距離計量」自体を学習することができる。 Also, as another specific method, for example, the neighborhood can be defined using a metric obtained by distance metric learning represented by MLKR (Metric Learning for Kernel Regression). According to this method, the "distance metric" can be treated as having variability and the "distance metric" itself can be learned.
図8は、近傍定義処理の処理手順の一例を示すフローチャートである。図8に示した近傍決定処理は、距離計量学習を利用して近傍を定義するメトリックの一例である。図8に示した処理は、モデル学習部11(例えばベースモデル学習部16や補正モデル学習部17)によって、例えば図3のステップS13とステップS14との間に実行される。なお、モデル学習部11が距離計量学習を実行可能な新たな機能部(距離計量学習部)を有すると考えてもよい。
FIG. 8 is a flowchart illustrating an example of a processing procedure for neighborhood definition processing. The neighborhood determination process shown in FIG. 8 is an example of a metric that uses distance metric learning to define a neighborhood. The process shown in FIG. 8 is executed by the model learning unit 11 (eg, the base
図8によればまず、モデル学習部11は、決定木の変数重要度に基づいて、近傍を判断するデータ集合の次元を削減する(ステップS31)。具体的には例えば、訓練データの入力集合において、各訓練データの次元(原料や材料)を削減する。なお、決定木の変数重要度は、決定木における不順度の減少具合等によって与えられる。
According to FIG. 8, first, the
次に、モデル学習部11は、距離計量学習としてMLKRによるデータ変換を実施する(ステップS32)。MLKRは、カーネル線形回帰の観点で汎化誤差を最小化するマハラノビス距離の共分散行列を得ることができる。そしてステップS32では、この共分散行列を2つの行列に分解したうちの片方を使ってデータを変換することで、「変換された空間におけるユークリッド距離」が、「元のデータを共分散行列に倣ったマハラノビス距離で与えられる距離」に相当する。したがってモデル学習部11は、ステップS32の距離計量学習で得られる計量を用いて、すなわち、当該空間におけるユークリッド距離に基づいて近傍を判断することにより、マハラノビス距離に基づく近傍を判断することが可能となる。
Next, the
なお、ステップS31で「次元を削減する」際には、主成分分析(PCA:Principal Component Analysis)の手法を利用するようにしてもよい。あるいは、MLKRによって次元を削減するようにしてもよい。 Note that when "reducing the dimension" in step S31, a technique of principal component analysis (PCA) may be used. Alternatively, the dimensionality may be reduced by MLKR.
また、別の例として、図8に示したステップS31,S32の処理のうち、何れかだけを実施するようにしてもよい。 As another example, only one of steps S31 and S32 shown in FIG. 8 may be performed.
また、上記の他にも、他のメトリックやカーネル関数を定義し、その距離や内積を使って近傍を判断できるようにしてもよい。 In addition to the above, other metrics or kernel functions may be defined so that neighbors can be determined using their distances or inner products.
(3)運用フェーズ(物性予測処理)
物性予測装置1の運用フェーズにおける処理手順を、図9等を参照しながら説明する。図9は、物性予測処理の処理手順の一例を示すフローチャートである。前述したように、物性予測処理は、主に物性予測部12の各部によって実行される。
(3) Operation phase (physical property prediction processing)
A processing procedure in the operation phase of the physical
図9によればまず、物性予測部12は、エンジニアによって端末2から未知サンプルのデータとして未知入力ベクトルが入力されると、これを受け付ける(ステップS41)。本実施の形態では、データ管理部14は、入力された未知入力ベクトルを実験番号に紐付けてまとめた入力集合で管理する。なお、運用フェーズにおける「実験」は、未知入力ベクトルに対して物性予測を行う実験を意味し、学習フェーズで入力される実験データの実験とは異なるものである。
According to FIG. 9, first, when an engineer inputs an unknown input vector as unknown sample data from the
図10は、未知入力ベクトルの入力集合のデータ構成例を示す図である。図10に示した入力集合130は、実験の識別子を示す実験番号131と、当該実験で入力された未知サンプルの原料132,133及び条件134,135と、を備えて構成される。
FIG. 10 is a diagram showing a data configuration example of an input set of unknown input vectors. The input set 130 shown in FIG. 10 comprises an
ステップS41の次に、物性予測部12のモデル検索部18が、ステップS41で受け付けた未知入力ベクトル(以後、単に未知入力ベクトルと称する)に対して、物性予測に用いるモデルを検索する(ステップS42)。具体的にはモデル検索部18は、データ管理部14を参照して、当該未知入力ベクトルに近い代表ベクトルを1つ検索し、該当する代表ベクトルに関するベースモデル(対応ベースモデル)及び補正モデル(対応補正モデル)を検索する。
After step S41, the
次に、物性予測部12のベースモデル予測部19が、ステップS42で検索された対応ベースモデルを用いて、未知入力ベクトルに対するベースモデルの予測値(ベースモデル予測値)を算出する(ステップS43)。
Next, the base
次に、物性予測部12の補正モデル予測部20が、ステップS42で検索された対応補正モデルを用いて、未知入力ベクトルに対する補正モデルの予測値(補正モデル予測値)を算出する(ステップS44)。
Next, the correction
次に、物性予測部12の予測結果決定部21が、ステップS43で算出されたベースモデル予測値と、ステップS44で算出された補正モデル予測値とに基づいて、未知入力ベクトルに対する物性ごとの予測値(物性予測値)を算出する(ステップS45)。このとき、物性予測値は、ベースモデル予測値と補正モデル予測値に汎化誤差最小化定数(定数α)を掛けた値との和で示される。定数αは、学習フェーズにおいて探索されてデータ管理部14に登録されている(図3のステップS14、図7のステップS24参照)。
Next, the prediction
次に、予測結果決定部21は、ステップS43で算出された物性ごとの物性予測値に対する補正度を算出する(ステップS46)。具体的には、ステップS44で算出されたそれぞれの補正モデル予測値について絶対値を算出し、これを対応する物性予測値の補正度とする。すなわち、ステップS46の処理が行われることにより、物性ごと、すなわち多次元で、物性予測値とその補正度とが算出される。
Next, the prediction
そして次に、予測結果決定部21は、ステップS46で算出した補正度の各次元の要素(すなわち、物性ごとの補正度)に基づいて、今回の物性予測の実験全体におけるリスク値を算出する(ステップS47)。具体的には例えば、補正度の各次元の要素を定数倍した値の和を算出し、これをリスク値とする。なお、上記算出時に各次元の要素に掛ける「定数」には、例えば、訓練データに対する各次元の補正度の標準偏差の逆数、等を設定することができる。あるいは、重要度の観点からエンジニアが設定できるようにしてもよく、さらに、定数に限定しなくてもよい。ステップS47の処理が行われることにより、実験単位での予測値のリスクの度合いがリスク値として算出される。
Next, the prediction
そして、予測結果決定部21は、今回の物性予測の予測結果をデータ管理部14に登録して、予測結果データを蓄積させる。最後に、物性予測部12は、データ管理部14に登録された物性予測の予測結果等に基づいて、予測結果表示画面の表示出力を表示部13に指示し(ステップS48)、物性予測処理を終了する。
Then, the prediction
図11は、予測結果データのデータ構成例を示す図である。図11に示した予測結果データ140は、図10の実験番号131と対応して物性予測の実験の識別子を示す実験番号141と、当該実験で算出された物性単位の物性予測値及び補正度(予測値142,144、補正度143,145)と、実験単位のリスク値146と、を備えて構成される。なお、図11のデータ構成例は一例であって、これに限定されるものではない。
FIG. 11 is a diagram illustrating a data configuration example of prediction result data. The
図12は、予測結果表示画面の具体例を示す図である。図12に示した予測結果表示画面220において、領域223の分布図には、物性予測処理で算出された各次元の物性予測値のうち、コンボボックス221,222で指定された物性(次元)の予測値を示すデータが表示される。コンボボックス221,222は、エンジニアの操作によって指定する物性を変更可能である。また、分布図にプロットされた点は、凡例224に従って補正度レベルに応じて異なる表示態様で表示されることにより、予測値のリスクを識別し易くなっている。そして、分布図において選択状態にある点(図中では破線で囲んで表示)について、予測結果表225には各物性の予測値及び補正度が表示され、リスク値表226にはリスク値が表示される。
FIG. 12 is a diagram showing a specific example of the prediction result display screen. In the prediction
なお、図12には示していないが、選択状態にある点にカーソルを合わせた場合に、物性予測に用いられた未知入力ベクトルがポップアップ等で表示されるようにしてもよい。 Although not shown in FIG. 12, when the cursor is placed on a point in the selected state, the unknown input vector used for physical property prediction may be displayed in a pop-up or the like.
(4)まとめ
以上に説明してきたように、本実施の形態に係る物性予測装置1によれば、未知入力ベクトルの近傍の所定個数(K個)の訓練データを使ったベースモデルと、未知入力ベクトルの近傍の所定個数(L個)の訓練データを使ってベースモデルの偏差を補正する補正モデルとを用いて、物性予測を行うことにより、汎化誤差を抑えた物性予測値を算出できるだけでなく、物性予測値のリスクを「補正度」や「リスク値」によって予測することができる。
(4) Summary As described above, according to the physical
詳細には、物性予測装置1は、物性予測値の算出において、学習フェーズで実績データ(訓練データ)を参照しながら探索した汎化誤差を最小化する最適な定数(汎化誤差最小化定数)を用い、ベースモデルの出力(ベースモデル予測値)と補正モデルの出力(補正モデル予測値)に汎化誤差最小化定数を掛けた値との和を物性予測値として算出することで、物性予測値の汎化誤差を大幅に低減することができる。
Specifically, in the calculation of the physical property prediction value, the physical
また、それぞれの予測モデルを学習する際に、近傍を基準とした訓練データを用いることも、予測値の汎化誤差を低減することに貢献する。 In addition, when learning each prediction model, using training data based on the neighborhood also contributes to reducing the generalization error of the prediction value.
詳しく説明すると、本実施の形態に係る物性予測装置1では、モデル学習処理においてベースモデル訓練データや補正モデル訓練データを選ぶ際、物性(出力)に大きく寄与する1若しくは複数の変数(次元)、入力を主成分分析等で提示の空間に圧縮した空間上で定義される計量、あるいはカーネル関数などで定義される計量等を用いて「近傍」を定め、この「近傍」の定義に基づいて訓練データを選択して予測モデル(ベースモデルや補正モデル)を学習するため、運用フェーズにおいて上記予測モデルを用いて出力される物性予測の予測値の汎化誤差を低減することができる。また、図8を参照しながら説明したように、本実施の形態に係る物性予測装置1では、MLKRに代表される距離計量学習を活用し、距離計量自体を学習した結果を用いて「近傍」を定義するメトリックを採用することもできる。この結果、より精度の高い距離計量を用いて学習モデルの構築(学習)が可能になるため、物性予測の予測値の汎化誤差をさらに低減させる効果に期待できる。
More specifically, in the physical
そして、物性予測装置1によれば、物性単位の「補正度」または物性予測単位の「リスク値」で数値化し出力(表示)することで、物性予測で算出した物性予測値のリスクの度合い(ブレ具合)を可視化できるため、エンジニアが物性予測のリスクを管理できる。
Then, according to the physical
なお、物性予測の結果表示に関しては、図12の予測結果表示画面220で領域223に示した分布図のように、物性予測値を補正度と関連付けて表示することにより、エンジニアが予測結果を視覚的に識別し易くなり、リスク管理の支援効果を高めることができる。また、上記した補正度の関連付け表示については、図6の補正度調整画面210の提供により、エンジニアの要望に応じた表示設定を調整可能にすることで、サービス性の向上に期待できる。
Regarding the display of the physical property prediction results, as in the distribution diagram shown in the
また、本実施の形態に係る物性予測装置1では、予測モデルを学習する学習フェーズと物性予測を行う運用フェーズとが分かれており、学習フェーズは実験データ(訓練データ)が更新されたときに実行すればよい。すなわち、本実施の形態に係る物性予測装置1によれば、物性予測を行うたびに予測モデルの学習を行う必要がないため、全体的な処理負荷の軽減や処理速度の向上を図ることができる。
Further, in the physical
また、本実施の形態に係る物性予測装置1では、学習フェーズで学習するモデルの数を、モデル学習に用いる実験データ(訓練データ)の総数よりも減らすことができるため、モデル学習の負荷を従来手法より低減することに期待できる。具体的には、モデル学習に用いる実験データ(訓練データ)の総数をNとして、訓練データがクラスタリングされて生成されるクラスタの総数をMとすると、本実施の形態において学習するモデルの数は、ベースモデルと補正モデルをそれぞれ1種類とした場合に、高々2Mに過ぎず、ほぼ確実に「N>2M」の関係が成立する。さらに言えば、クラスタリングでまとめる数が大きくなるほど、学習するモデルの数を抑制することができる。
In addition, in the physical
(5)変形例(補正モデルの多段化)
本実施の形態に係る物性予測装置1の変形例について説明する。この変形例は、物性予測処理に用いる補正モデルを多段化構成とする点で、上述した本実施の形態の基本形と相違する。以下では、基本形と比較しながら変形例の特徴を説明する。
(5) Modified example (multistage correction model)
A modification of the physical
図13は、基本形における物性予測値及びリスク値の算出過程を示すブロック線図である。図13に示したように、未知入力ベクトル310に対する物性予測処理では、未知入力ベクトル310に近い代表ベクトルに関する対応ベースモデル(ベースモデル320)と対応補正モデル(補正モデル330)とが検索され、これらの両モデルを使って物性予測値や補正度、及びリスク値が算出される。なお、基本形の場合、補正モデル330は単体の1段で構成される。
FIG. 13 is a block diagram showing the process of calculating physical property prediction values and risk values in the basic form. As shown in FIG. 13, in the physical property prediction process for the
図13の構成における物性予測値等の具体的な算出方法を説明すると、物性予測値は、未知入力ベクトル310を入力としてベースモデル320が出力したベースモデル予測値と、未知入力ベクトル310を入力として補正モデル330が出力した補正モデル予測値に汎化誤差最小化定数(定数α)を掛けた値との和をとることによって算出される(図9のステップS45参照)。また、補正度は、上記補正モデル予測値の絶対値をとることによって算出される(図9のステップS46参照)。また、リスク値は、補正モデル予測値の各次元の要素に対して重み付けを行って和をとることによって算出される(図9のステップS47参照)。
13. To explain a specific method of calculating the physical property predicted value, etc. in the configuration of FIG. It is calculated by taking the sum of the value obtained by multiplying the correction model prediction value output by the
これに対して、本実施の形態の変形例では、補正モデル330を多段化構成とすることが考えられる。補正モデル330の多段化には、例えば機械学習のメタアルゴリズムとして知られているブースティングを活用することができる。
On the other hand, in a modified example of the present embodiment, it is conceivable that the
図14は、変形例における物性予測値及びリスク値の算出過程を示すブロック線図である。図14の場合、補正モデル330は、多段化された複数の補正モデル(第1補正モデル331,第2補正モデル332,第3補正モデル333)で構成されている。
FIG. 14 is a block diagram showing the process of calculating the predicted physical property value and the risk value in the modified example. In the case of FIG. 14, the
なお、補正モデル330を構成する多段の補正モデルを作成する方法は、特定のものに限定されない。例えば学習フェーズにおいて、ブースティングの要領で、第1補正モデル331から第2補正モデル332、第2補正モデル332から第3補正モデル333、というように順次、各段の補正モデルを作っていくようにしてもよい。
It should be noted that the method of creating the multi-stage correction model that constitutes the
さらに、学習フェーズにおいて、補正モデルの学習に使う訓練データの個数を、多段化に合わせて順次増やすようにしてもよい。例えば、基本形の場合、ベースモデル320の学習に用いる訓練データはK個、補正モデルの学習に用いる訓練データはK個よりも多いL個としたが、本変形例の場合は、第1補正モデル331の学習に用いる訓練データを同様にL個としたとき、L個よりも多くの訓練データを第2補正モデル332の学習に用いるようにし、第3補正モデル333の学習にはさらに多くの訓練データを用いるようにすればよい。より具体的には、ベースモデル320の残差の反数を予測する補正モデルを第1補正モデル331として作成し、ベースモデル320の出力と第1補正モデル331の定数倍の予測値との残差の反数を予測する補正モデルを第2補正モデル332として作成し、ベースモデル320の出力と第2補正モデル332の定数倍の予測値との残差の反数を予測する補正モデルを第3補正モデル333として作成することができる。一般化すると、上記作成処理を繰り返して、第N補正モデルまで作成することができる(N:2以上の自然数)。但し、一般に知られているように、学習に用いるデータが大きくなるほど、過学習しやすくなるため、多段化構成の各補正モデルから出力される予測値(補正モデル予測値)に対しては、補正モデルごとに所定の学習係数を掛けることが好ましい。
Furthermore, in the learning phase, the number of pieces of training data used for learning the correction model may be sequentially increased according to the number of stages. For example, in the case of the basic model, the number of training data used for learning the
図14に示した変形例における物性予測値等の算出方法を具体的に詳しく説明する。 A method of calculating the predicted physical property values and the like in the modified example shown in FIG. 14 will be specifically described in detail.
物性予測値は、未知入力ベクトル310を入力としてベースモデル320が出力したベースモデル予測値と、未知入力ベクトル310を入力として第1補正モデル331が出力した補正モデル予測値に定数α1を掛けた値と、同じく第2補正モデル332が出力した補正モデル予測値に定数α2を掛けた値と、同じく第3補正モデル333が出力した補正モデル予測値に定数α3を掛けた値と、の和を取ることによって算出される。
The physical property prediction value is a value obtained by multiplying the base model prediction value output by the
ここで、定数α1,α2,α3は、「汎化誤差最小化定数(定数α)×学習係数」によって決定される定数であり、「0」~「1」の間の値をとる。なお、それぞれの補正モデルに対応する学習係数は、予測モデル全体での過学習を防止するように、「0」から「1」までの間で所定の値が定められる。 Here, constants α1, α2, and α3 are constants determined by “generalization error minimization constant (constant α)×learning coefficient” and take values between “0” and “1”. The learning coefficient corresponding to each correction model is set to a predetermined value between "0" and "1" so as to prevent over-learning of the prediction model as a whole.
補正度は、各段補正モデル(第1補正モデル331~第3補正モデル333)で出力される補正モデル予測値の絶対値にそれぞれの学習係数を掛けた値の和をとることによって算出される。
The degree of correction is calculated by taking the sum of the values obtained by multiplying the absolute values of the correction model prediction values output by each stage correction model (
リスク値は、各段補正モデル(第1補正モデル331~第3補正モデル333)において、補正モデル予測値の各次元の要素に対して重み付けを行って和をとった値について、それらの総和をとることによって算出される。
The risk value is the sum of the values obtained by weighting and summing the elements of each dimension of the correction model prediction value in each stage correction model (
そして、以上のようにして算出された物性予測値、補正度、及びリスク値は、基本例の場合と同様に、図12のような予測結果表示画面を通じてエンジニアが確認することができる。 The predicted physical property value, degree of correction, and risk value calculated as described above can be confirmed by an engineer through the prediction result display screen as shown in FIG. 12, as in the case of the basic example.
なお、本変形例のさらなる派生例として、物性予測処理において多段化された複数の補正モデルを利用可能なとき、多段化構成のうちのどの補正モデルを用いて物性予測を行うかを様々に変更するようにしてもよい。
具体的には例えば、図14において第1補正モデル331だけを使用する場合、第1補正モデル331と第2補正モデル332を組み合わせて使用する場合、第1補正モデル331~第3補正モデル333を組み合わせて使用する場合で、それぞれ、物性予測値、補正度、及びリスク値を算出し、算出結果を表示するようにしてもよい。このように、様々な補正モデルの組み合わせに応じた算出結果を表示することで、補正モデルに使用されるデータ範囲を変えた結果が表示されるため、エンジニアは、どの程度近傍にある予測モデルを使って物性予測を行うべきか考察することができる。
As a further derived example of this modified example, when a plurality of multi-stage correction models can be used in the physical property prediction process, various changes are made to which correction model in the multi-stage configuration is used to perform physical property prediction. You may make it
Specifically, for example, when using only the
以上、本変形例では、多段化された補正モデルによる予測値を用いて物性予測値等を算出することにより、ベースモデルの偏差を補正する補正モデルを多段化構成とすることで、補正モデルに用いられるデータの範囲を変更することができるため、基本形の場合に得られる効果に加えて、よりも強い学習モデルを用いた物性予測に期待できる。また、これら多段化された補正モデルの補正値を合算するときに学習係数を掛けることで、過学習を防止することができる。また、補正モデルの組み合わせを変更可能とする場合には、予測のリスク(補正度)を調整・選択することができる。そしてこれらの結果、本変形例では、予測の汎化誤差をさらに抑制することに期待できる。 As described above, in this modified example, the correction model for correcting the deviation of the base model is configured to have a multi-stage configuration by calculating the physical property prediction value etc. using the prediction value by the multi-stage correction model. Since the range of data used can be changed, in addition to the effect obtained in the case of the basic model, prediction of physical properties using a stronger learning model can be expected. Further, by multiplying the learning coefficient when summing the correction values of these multistage correction models, over-learning can be prevented. In addition, when the combination of correction models can be changed, the prediction risk (correction degree) can be adjusted and selected. As a result, in this modified example, it can be expected to further suppress the generalization error of prediction.
なお、本発明は上記した実施の形態及び変形例に限定されるものではなく、他にも様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 It should be noted that the present invention is not limited to the above-described embodiments and modified examples, and includes various other modified examples. For example, the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations. Moreover, it is possible to add, delete, or replace part of the configuration of the embodiment with another configuration.
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。 Further, each of the above configurations, functions, processing units, processing means, and the like may be realized by hardware, for example, by designing a part or all of them using an integrated circuit. Moreover, each of the above configurations, functions, etc. may be realized by software by a processor interpreting and executing a program for realizing each function. Information such as programs, tables, and files that implement each function can be stored in a recording device such as a memory, a hard disk, or an SSD, or a recording medium such as an IC card, an SD card, or a DVD.
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実施には殆ど全ての構成が相互に接続されていると考えてもよい。 Further, the control lines and information lines indicate those considered necessary for explanation, and not all control lines and information lines are necessarily indicated on the product. It may be considered that almost all configurations are interconnected in practice.
1 物性予測装置
2 端末
3 ネットワーク
11 モデル学習部
12 物性予測部
13 表示部
14 データ管理部
15 代表ベクトル選定部
16 ベースモデル学習部
17 補正モデル学習部
18 モデル検索部
19 ベースモデル予測部
20 補正モデル予測部
21 予測結果決定部
101 CPU
102 ROM
103 RAM
104 外部記憶装置
105 通信I/F
106 外部入力装置
107 外部出力装置
210 補正度調整画面
220 予測結果表示画面
310 未知入力ベクトル
320 ベースモデル
330 補正モデル
331 第1補正モデル
332 第2補正モデル
333 第3補正モデル
1 physical
102 ROMs
103 RAM
104
106
Claims (15)
未知サンプルのデータとして入力された未知入力ベクトルに対して、前記モデル学習部で学習した前記モデルを用いた前記物性予測を行う物性予測部と、
前記物性予測の結果を表示する表示部と、
を備え、
前記モデル学習部は、
前記モデルの学習に用いる訓練データの入力集合をクラスタリングし、各クラスタにおける代表ベクトルを選定する代表ベクトル選定部と、
各前記代表ベクトルの近傍にある第1所定数の前記訓練データを使って、物性値を予測するベースモデルを学習するベースモデル学習部と、
各前記代表ベクトルの近傍にある第2所定数の前記訓練データを使って、前記ベースモデルごとに当該ベースモデルの残差の反数を予測する補正モデルを学習する補正モデル学習部と、
を有し、
前記物性予測部は、
前記未知入力ベクトルに対して、当該未知入力ベクトルに近い前記代表ベクトルに関する前記ベースモデル及び前記補正モデルを検索するモデル検索部と、
前記未知入力ベクトルに対する前記ベースモデルの予測値としてベースモデル予測値を算出するベースモデル予測部と、
前記未知入力ベクトルに対する前記補正モデルの予測値として補正モデル予測値を算出する補正モデル予測部と、
前記ベースモデル予測値と前記補正モデル予測値に所定の定数を掛けた値との和によって、物性ごとに物性予測値を算出するとともに、前記補正モデル予測値に基づいて当該物性予測値のリスクを示す補正度を算出する予測結果決定部と、
を有し、
前記表示部は、少なくとも前記予測結果決定部によって算出された前記物性予測値及び前記補正度を表示する予測結果表示画面を提供する
ことを特徴とする物性予測装置。 a model learning unit that learns a model used for physical property prediction;
a physical property prediction unit that performs the physical property prediction using the model learned by the model learning unit for an unknown input vector that is input as data of an unknown sample;
a display unit for displaying the result of the physical property prediction;
with
The model learning unit
a representative vector selection unit that clusters an input set of training data used for learning the model and selects a representative vector in each cluster;
a base model learning unit that learns a base model for predicting physical property values using a first predetermined number of the training data in the vicinity of each of the representative vectors;
a correction model learning unit that learns a correction model for predicting the inverse of the residual of each base model using a second predetermined number of the training data in the vicinity of each of the representative vectors;
has
The physical property prediction unit is
a model search unit for searching the base model and the correction model for the representative vector close to the unknown input vector;
a base model prediction unit that calculates a base model prediction value as a prediction value of the base model for the unknown input vector;
a correction model prediction unit that calculates a correction model prediction value as a prediction value of the correction model for the unknown input vector;
A physical property predicted value is calculated for each physical property by the sum of the base model predicted value and the corrected model predicted value multiplied by a predetermined constant, and the risk of the physical property predicted value is calculated based on the corrected model predicted value. A prediction result determination unit that calculates the degree of correction indicated;
has
The physical property prediction device, wherein the display unit provides a prediction result display screen that displays at least the physical property prediction value and the degree of correction calculated by the prediction result determination unit.
ことを特徴とする請求項1に記載の物性予測装置。 The display unit displays the predicted physical property value calculated by the predicted result determination unit in a display mode in which the correction degree corresponding to the predicted physical property value is associated with the prediction result display screen. Item 1. The physical property prediction device according to item 1.
前記表示部は、前記予測結果表示画面における前記補正度レベルの分類基準または前記補正度レベルごとの表示態様を設定可能な補正度調整画面をさらに提供する
ことを特徴とする請求項2に記載の物性予測装置。 On the prediction result display screen, the physical property prediction value is displayed in a different display mode according to the correction degree level indicating the degree of the corresponding correction degree,
3. The display unit according to claim 2, wherein the display unit further provides a correction degree adjustment screen on which classification criteria for the correction degree levels or a display mode for each correction degree level in the prediction result display screen can be set. Physical property prediction device.
ことを特徴とする請求項1に記載の物性予測装置。 The prediction result determination unit further calculates a risk value indicating the risk of the physical property predicted value in the current physical property prediction as a whole, based on the corrected model predicted value corresponding to the physical property predicted value for each physical property. The physical property prediction device according to claim 1.
前記代表ベクトルの近傍にある前記訓練データを使って行われる、前記ベースモデル学習部による前記ベースモデルの学習及び前記補正モデル学習部による前記補正モデルの学習において、前記近傍は、前記距離計量学習部で学習された前記距離計量を用いて判断される
ことを特徴とする請求項1に記載の物性予測装置。 The model learning unit further has a distance metric learning unit that learns the distance metric of the data space by MLKR (Metric Learning for Kernel Regression),
In the learning of the base model by the base model learning unit and the learning of the correction model by the correction model learning unit, which are performed using the training data in the vicinity of the representative vector, the neighborhood is the distance metric learning unit. 2. The physical property prediction device according to claim 1, wherein the distance metric learned in is determined.
前記物性予測部は、前記作成された前記第1から第Nの補正モデルを前記補正モデルとして用いて、前記物性予測を行う
ことを特徴とする請求項1に記載の物性予測装置。 The correction model learning unit, when learning the correction model, creates a first correction model that predicts the inverse of the residual of the base model, and outputs the output of the base model and the first correction model. Create a second correction model that predicts the reciprocal of the residual from the value obtained by multiplying the predicted value by a constant, and repeat the creation procedure to create up to the Nth correction model (N is a natural number of 2 or more) death,
The physical property prediction device according to claim 1, wherein the physical property prediction unit uses the created first to Nth correction models as the correction models to perform the physical property prediction.
ことを特徴とする請求項1に記載の物性予測装置。 The model learning unit linearly searches for a constant that minimizes a generalization error estimated for the input set and the output set of the training data, so that in the calculation of the physical property predicted value by the prediction result determination unit, the 2. The physical property prediction device according to claim 1, wherein the predetermined constant to be multiplied by the corrected model predicted value is set in advance.
前記近傍は、所定の距離計量、出力への寄与が所定程度以上に大きい1若しくは複数の次元に対して定義される計量、入力を主成分分析で提示の空間に圧縮した空間上で定義される計量、あるいはカーネル関数で定義される計量、のうちの何れかの計量を用いて判断される
ことを特徴とする請求項1に記載の物性予測装置。 In learning the base model by the base model learning unit and learning the correction model by the correction model learning unit, which are performed using the training data near the representative vector,
The neighborhood is defined on a given distance metric, a metric defined for one or more dimensions whose contribution to the output is greater than or equal to a given degree, and a space obtained by compressing the input to the presentation space by principal component analysis. 2. The physical property prediction device according to claim 1, wherein the determination is made using either a metric or a metric defined by a kernel function.
未知サンプルのデータとして入力された未知入力ベクトルに対して、前記モデル学習ステップで学習した前記モデルを用いた前記物性予測を行う物性予測ステップと、
前記物性予測の結果を表示する表示ステップと、
を備え、
前記モデル学習ステップは、
前記モデルの学習に用いる訓練データの入力集合をクラスタリングし、各クラスタにおける代表ベクトルを選定する代表ベクトル選定ステップと、
各前記代表ベクトルの近傍にある第1所定数の前記訓練データを使って、物性値を予測するベースモデルを学習するベースモデル学習ステップと、
各前記代表ベクトルの近傍にある第2所定数の前記訓練データを使って、前記ベースモデルごとに当該ベースモデルの残差の反数を予測する補正モデルを学習する補正モデル学習ステップと、
を有し、
前記物性予測ステップは、
前記未知入力ベクトルに対して、当該未知入力ベクトルに近い前記代表ベクトルに関する前記ベースモデル及び前記補正モデルを検索するモデル検索ステップと、
前記未知入力ベクトルに対する前記ベースモデルの予測値としてベースモデル予測値を算出するベースモデル予測ステップと、
前記未知入力ベクトルに対する前記補正モデルの予測値として補正モデル予測値を算出する補正モデル予測ステップと、
前記ベースモデル予測ステップで算出された前記ベースモデル予測値と、前記補正モデル予測ステップで算出された前記補正モデル予測値に所定の定数を掛けた値との和をとることによって、物性ごとに物性予測値を算出するとともに、前記補正モデル予測値に基づいて当該物性予測値のリスクを示す補正度を算出する予測結果決定ステップと、
を有し、
前記表示ステップでは、少なくとも前記予測結果決定ステップで算出された前記物性予測値及び前記補正度を表示する予測結果表示画面が提供される
ことを特徴とする物性予測方法。 a model learning step for learning a model used for physical property prediction;
a physical property prediction step of performing the physical property prediction using the model learned in the model learning step for an unknown input vector input as data of an unknown sample;
a display step of displaying the result of the physical property prediction;
with
The model learning step includes:
a representative vector selection step of clustering an input set of training data used for learning the model and selecting a representative vector in each cluster;
a base model learning step of learning a base model for predicting physical property values using a first predetermined number of said training data in the vicinity of each said representative vector;
a correction model learning step of learning, for each base model, a correction model that predicts the inverse of the residual of the base model using a second predetermined number of the training data in the vicinity of each of the representative vectors;
has
The physical property prediction step includes:
a model retrieval step of retrieving the base model and the correction model for the representative vector close to the unknown input vector;
a base model prediction step of calculating a base model prediction value as the prediction value of the base model for the unknown input vector;
a correction model prediction step of calculating a correction model prediction value as a prediction value of the correction model for the unknown input vector;
By taking the sum of the base model prediction value calculated in the base model prediction step and the value obtained by multiplying the correction model prediction value calculated in the correction model prediction step by a predetermined constant, A prediction result determination step of calculating a predicted value and calculating a correction degree indicating a risk of the predicted physical property value based on the correction model predicted value;
has
The physical property prediction method, wherein the display step provides a prediction result display screen that displays at least the physical property prediction value and the degree of correction calculated in the prediction result determination step.
ことを特徴とする請求項9に記載の物性予測方法。 In the display step, the predicted physical property value calculated in the predicted result determination step is displayed on the predicted result display screen in a display mode in which the correction degree corresponding to the predicted physical property value is associated. The physical property prediction method according to claim 9 .
前記モデル学習ステップは、
前記予測結果表示画面における前記補正度レベルの分類基準または前記補正度レベルごとの表示態様を設定可能な補正度調整画面を表示する第2表示ステップをさらに有する
ことを特徴とする請求項10に記載の物性予測方法。 In the display step, the predicted physical property value is displayed on the prediction result display screen in different display modes according to the corresponding correction level indicating the degree of the correction,
The model learning step includes:
11. The method according to claim 10, further comprising a second display step of displaying a correction degree adjustment screen on which a classification criterion for the correction degree level or a display mode for each correction degree level in the prediction result display screen can be set. physical property prediction method.
ことを特徴とする請求項9に記載の物性予測方法。 In the prediction result determination step, further calculating a risk value indicating the risk of the physical property prediction value in the current physical property prediction as a whole, based on the correction model prediction value corresponding to the physical property prediction value for each physical property. The physical property prediction method according to claim 9.
前記代表ベクトルの近傍にある前記訓練データを使って行われる、前記ベースモデル学習ステップにおける前記ベースモデルの学習及び前記補正モデル学習ステップにおける前記補正モデルの学習において、前記近傍は、前記距離計量学習ステップで学習された前記距離計量を用いて判断される
ことを特徴とする請求項9に記載の物性予測方法。 The model learning step further includes a distance metric learning step of learning the distance metric of the data space by MLKR (Metric Learning for Kernel Regression),
In learning the base model in the base model learning step and learning the correction model in the correction model learning step using the training data in the vicinity of the representative vector, the neighborhood is the distance metric learning step 10. The physical property prediction method according to claim 9, wherein the distance metric learned in .
前記物性予測ステップでは、前記作成された前記第1から第Nの補正モデルを前記補正モデルとして用いて、前記物性予測が行われる
ことを特徴とする請求項9に記載の物性予測方法。 When learning the correction model in the correction model learning step, creating a first correction model for predicting the inverse of the residual of the base model, and predicting the output of the base model and the first correction model Create a second correction model that predicts the reciprocal of the residual with the value obtained by multiplying the value by a constant, and repeat the creation procedure to create up to the Nth (N is a natural number of 2 or more) correction model. ,
The physical property prediction method according to claim 9, wherein, in the physical property prediction step, the physical property prediction is performed using the created first to Nth correction models as the correction models.
ことを特徴とする請求項9に記載の物性予測方法。
In the model learning step, by performing a linear search for a constant that minimizes an estimated generalization error for the input set and the output set of the training data, in the prediction result determination step, the 10. The physical property prediction method according to claim 9, wherein the predetermined constant to be multiplied by the corrected model predicted value is set in advance.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019089910A JP7232122B2 (en) | 2019-05-10 | 2019-05-10 | Physical property prediction device and physical property prediction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019089910A JP7232122B2 (en) | 2019-05-10 | 2019-05-10 | Physical property prediction device and physical property prediction method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020187417A JP2020187417A (en) | 2020-11-19 |
JP7232122B2 true JP7232122B2 (en) | 2023-03-02 |
Family
ID=73221776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019089910A Active JP7232122B2 (en) | 2019-05-10 | 2019-05-10 | Physical property prediction device and physical property prediction method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7232122B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022127316A (en) * | 2021-02-19 | 2022-08-31 | 横浜ゴム株式会社 | Physical property predictor and program |
WO2023053918A1 (en) | 2021-09-29 | 2023-04-06 | 株式会社レゾナック | Prediction model creation method, prediction method, prediction model creation device, prediction device, prediction model creation program, and prediction program |
JP7315124B1 (en) * | 2021-10-04 | 2023-07-26 | 株式会社レゾナック | Composition search method |
WO2023224012A1 (en) * | 2022-05-18 | 2023-11-23 | 国立研究開発法人産業技術総合研究所 | Physical property prediction device, physical property prediction method, and program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015525413A (en) | 2012-06-21 | 2015-09-03 | フィリップ モリス プロダクツ エス アー | System and method for generating biomarker signatures using integrated bias correction and class prediction |
WO2018168580A1 (en) | 2017-03-13 | 2018-09-20 | 日本電気株式会社 | Relation search system, information processing device, method, and program |
-
2019
- 2019-05-10 JP JP2019089910A patent/JP7232122B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015525413A (en) | 2012-06-21 | 2015-09-03 | フィリップ モリス プロダクツ エス アー | System and method for generating biomarker signatures using integrated bias correction and class prediction |
WO2018168580A1 (en) | 2017-03-13 | 2018-09-20 | 日本電気株式会社 | Relation search system, information processing device, method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2020187417A (en) | 2020-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7232122B2 (en) | Physical property prediction device and physical property prediction method | |
US10360500B2 (en) | Two-phase distributed neural network training system | |
Wang et al. | Memetic algorithm based on sequential variable neighborhood descent for the minmax multiple traveling salesman problem | |
CN113609779B (en) | Modeling method, device and equipment for distributed machine learning | |
WO2020191057A1 (en) | Systems and methods for model fairness | |
JP2017049674A (en) | Prediction performance curve estimation program, prediction performance curve estimation device and prediction performance curve estimation method | |
US11847389B2 (en) | Device and method for optimizing an input parameter in a processing of a semiconductor | |
JP7245961B2 (en) | interactive machine learning | |
US20220138194A1 (en) | Parameter optimization apparatus, method, and system | |
WO2014199920A1 (en) | Prediction function creation device, prediction function creation method, and computer-readable storage medium | |
JP2019185591A (en) | Experiment assisting device and experiment assisting method | |
JP2017146888A (en) | Design support device and method and program | |
WO2018088277A1 (en) | Prediction model generation system, method, and program | |
Lindroth et al. | Approximating the Pareto optimal set using a reduced set of objective functions | |
JP2022045064A (en) | Computer system and information processing method | |
US7930700B1 (en) | Method of ordering operations | |
JP5555238B2 (en) | Information processing apparatus and program for Bayesian network structure learning | |
WO2021090518A1 (en) | Learning device, information integration system, learning method, and recording medium | |
JP2006252011A (en) | Environmental load evaluation device, environmental load evaluation method and program recording medium | |
JP7489275B2 (en) | Information processing device, information processing system, and information processing method | |
JP2000040079A (en) | Parallel data analyzing device | |
CN111340276B (en) | Method and system for generating prediction data | |
JP4230890B2 (en) | Model identification device, model identification program, and method of operating model identification device | |
JP7037048B2 (en) | Search program and search method | |
Fedorenko et al. | The Neural Network for Online Learning Task Without Manual Feature Extraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7232122 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |