JP2009075737A - Semi-supervised learning method, device, and program - Google Patents
Semi-supervised learning method, device, and program Download PDFInfo
- Publication number
- JP2009075737A JP2009075737A JP2007242419A JP2007242419A JP2009075737A JP 2009075737 A JP2009075737 A JP 2009075737A JP 2007242419 A JP2007242419 A JP 2007242419A JP 2007242419 A JP2007242419 A JP 2007242419A JP 2009075737 A JP2009075737 A JP 2009075737A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- semi
- supervised learning
- data
- supervised
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、アンサンブル学習を用いてラベル有りデータだけでなくラベル無しデータも学習することによる予測精度の高い半教師あり学習方法、半教師あり学習装置及び半教師あり学習プログラムに関する。 The present invention relates to a semi-supervised learning method, a semi-supervised learning apparatus, and a semi-supervised learning program with high prediction accuracy by learning not only labeled data but also unlabeled data using ensemble learning.
ラベル有りデータを訓練データとして学習機械に学習させたうえで、テストデータのラベルを予測する学習方式は、教師あり学習と呼ばれている。 A learning method for predicting the label of the test data after causing the learning machine to learn the labeled data as training data is called supervised learning.
教師あり学習の方法としては、ブースティング、バギング、サポートベクターマシンなどが有名であり、様々なデータにおいて適用されている。ブースティング、バギング、サポートベクターマシンについては、非特許文献1乃至3に記載されている。
As supervised learning methods, boosting, bagging, support vector machines, and the like are well known and applied to various data. Non-patent
しかしながら、教師あり学習で高精度の分類器を構成するためには十分な量の訓練データが必要である。この点、一般的にはデータを人手でラベル付けするために、十分な量の訓練データを得るためには非常に時間や労力を要するという問題がある。また、得られたデータの分布に偏りが大きい場合は、テストデータに対する予測精度が低いという問題が指摘されている。 However, a sufficient amount of training data is required to construct a highly accurate classifier in supervised learning. In this regard, there is a problem that it takes a lot of time and labor to obtain a sufficient amount of training data in order to label the data manually. Moreover, when the distribution of the obtained data is largely biased, it has been pointed out that the prediction accuracy for the test data is low.
これらの問題に対して、半教師あり学習と呼ばれる手法が提案されている。従来のブースティングやサポートベクターマシンの方法論を拡張することにより、半教師あり学習が実現されている事例が非特許文献4乃至7に記載されている。 A technique called semi-supervised learning has been proposed for these problems. Non-Patent Documents 4 to 7 describe examples in which semi-supervised learning is realized by extending conventional boosting and support vector machine methodologies.
ここで、半教師あり学習とは、訓練データだけでなく、ラベル無しデータあるいはテストデータの分布も考慮した学習方式を指し、訓練データが少数の場合であっても高精度の分類器を構成することを目的とする学習方式をいう。 Here, semi-supervised learning refers to a learning method that considers not only training data but also the distribution of unlabeled data or test data, and constitutes a high-precision classifier even when the number of training data is small. This is a learning method for this purpose.
なお以下の説明では、ラベル無しデータおよびテストデータを単にテストデータと記載する。
もっとも、上記した非特許文献4乃至7に記載の方法では、以下に示すような問題点がある。 However, the methods described in Non-Patent Documents 4 to 7 have the following problems.
まず、非特許文献4及び5に記載の方法は、ブースティングに用いる下位学習機械として半教師あり学習を行う学習機械が必要であり、従来の教師あり学習の手法を用いることができない。そのため、適用可能なデータ形式に制限があり汎用性に乏しいという問題がある。また、大規模データに対して、計算時間を要するという問題もある。 First, the methods described in Non-Patent Documents 4 and 5 require a learning machine that performs semi-supervised learning as a lower learning machine used for boosting, and cannot use a conventional supervised learning method. Therefore, there is a problem that applicable data formats are limited and versatility is poor. In addition, there is a problem that it takes a calculation time for large-scale data.
一方、非特許文献6に記載の方法では、非特許文献4,5において問題であったブースティングの下位学習機械として、教師あり学習の学習機械を用いることが可能である。しかし、学習の定式化に問題があるため、分類精度の向上効果が乏しく、性能が劣化する場合もあることが報告されている。 On the other hand, in the method described in Non-Patent Document 6, it is possible to use a supervised learning machine as a boosting low-order learning machine that was a problem in Non-Patent Documents 4 and 5. However, it has been reported that there is a problem in the formulation of learning, so that the effect of improving the classification accuracy is poor and the performance may deteriorate.
また、非特許文献7に記載の方法では、サポートベクターマシンの目的関数にテストデータに関する損失関数を導入しているが、計算方法や最適化法が煩雑なため、多数の学習パラメータのチューニングや計算時間を要する問題がある。 In the method described in Non-Patent Document 7, a loss function related to test data is introduced into the objective function of the support vector machine. However, since the calculation method and the optimization method are complicated, tuning and calculation of many learning parameters are required. There is a problem that takes time.
そこで、本発明は上述した問題点を鑑み、学習理論に基づき、ブースティングを用いてラベル無しデータに対する予測値の分散を最小化しつつ訓練データの損失関数も最小化することで、下位学習機械として教師あり学習を適用可能な汎用的かつ学習パラメータの少ない実用的な高精度の分類器を提供することを目的とする。 Therefore, in view of the above-described problems, the present invention is based on learning theory, and by using boosting to minimize the variance of predicted values for unlabeled data while minimizing the loss function of training data, It is an object of the present invention to provide a practical high-precision classifier that can be applied to supervised learning and has a small number of learning parameters.
本発明の第1の観点によれば、方法としてアンサンブル学習に基づく半教師あり学習方法において、記憶データ、テストデータ及びラベル無しデータを記憶するデータ記憶ステップと、前記データ記憶ステップにおいて記録した訓練データに基づいて教師あり学習を行う初期学習ステップと、前記初期学習ステップにおいて算出されたデータを記憶する算出結果記憶ステップと、前記データ記憶ステップにおいて記録した訓練データとラベル無しデータの属性を結合したデータ及び前記算出結果記憶ステップで記憶しているデータに基づいて教師あり学習を反復的に行う学習ステップとを備えることを特徴とする半教師あり学習方法が提供される。 According to a first aspect of the present invention, in a semi-supervised learning method based on ensemble learning as a method, a data storage step for storing storage data, test data and unlabeled data, and training data recorded in the data storage step An initial learning step for performing supervised learning based on the above, a calculation result storing step for storing data calculated in the initial learning step, and data obtained by combining attributes of training data and unlabeled data recorded in the data storing step And a learning step for repeatedly performing supervised learning based on the data stored in the calculation result storing step.
更に、本発明の第2の観点によれば、第1の装置としてアンサンブル学習に基づく半教師あり学習装置において、訓練データを記憶する訓練データ記憶部と、ラベル無しデータおよびテストデータを記憶するテストデータ記憶部と、訓練データにより教師あり学習を行う初期学習部と、勾配を記憶するパラメータ記憶部と、訓練データとラベル無しデータおよびテストデータを結合し、教師あり学習を反復的に行う学習部と、学習された判別関数を記憶する判別関数記憶部と、判別関数を用いてテストデータのラベルを予測する判別部を備えることを特徴とする半教師あり学習装置が提供される。 Furthermore, according to the second aspect of the present invention, in the semi-supervised learning device based on ensemble learning as the first device, a training data storage unit that stores training data, and a test that stores unlabeled data and test data A data storage unit, an initial learning unit that performs supervised learning using training data, a parameter storage unit that stores gradients, and a learning unit that combines training data, unlabeled data, and test data to repeatedly perform supervised learning And a discriminant function storage unit for storing the learned discriminant function, and a discriminator unit for predicting the label of the test data using the discriminant function.
更に、本発明の第3の観点によれば、第2の装置としてアンサンブル学習に基づく半教師あり学習装置において、記憶データ、テストデータ及びラベル無しデータを記憶するデータ記憶手段と、前記データ記憶手段において記録した訓練データに基づいて教師あり学習を行う初期学習手段と、前記初期学習手段において算出されたデータを記憶する算出結果記憶手段と、前記データ記憶手段において記録した訓練データとラベル無しデータの属性を結合したデータ及び前記算出結果記憶手段で記憶しているデータに基づいて教師あり学習を反復的に行う学習手段とを備えることを特徴とする半教師あり学習装置が提供される。 Further, according to a third aspect of the present invention, in the semi-supervised learning device based on ensemble learning as the second device, data storage means for storing storage data, test data and unlabeled data, and the data storage means Initial learning means for performing supervised learning based on the training data recorded in the above, calculation result storage means for storing data calculated in the initial learning means, training data recorded in the data storage means and unlabeled data There is provided a semi-supervised learning apparatus comprising learning means for repeatedly performing supervised learning based on data obtained by combining attributes and data stored in the calculation result storage means.
更に、本発明の第4の観点によれば、第1のプログラムとしてアンサンブル学習に基づく半教師あり学習プログラムにおいて、訓練データを記憶する訓練データ記憶機能と、ラベル無しデータおよびテストデータを記憶するテストデータ記憶機能と、訓練データにより教師あり学習を行う初期学習機能と、勾配を記憶するパラメータ記憶機能と、訓練データとラベル無しデータおよびテストデータを結合し、教師あり学習を反復的に行う学習機能と、学習された判別関数を記憶する判別関数記憶機能と、判別関数を用いてテストデータのラベルを予測する判別機能をコンピュータに実現させることを特徴とする半教師あり学習プログラムが提供される。 Furthermore, according to the fourth aspect of the present invention, in a semi-supervised learning program based on ensemble learning as a first program, a training data storage function for storing training data, and a test for storing unlabeled data and test data Data storage function, initial learning function that performs supervised learning using training data, parameter storage function that stores gradients, and learning function that combines training data with unlabeled data and test data to perform supervised learning repeatedly And a discriminant function storage function for storing the learned discriminant function, and a discriminant function for predicting the label of the test data using the discriminant function.
更に、本発明の第5の観点によれば、第2のプログラムとしてアンサンブル学習に基づく半教師あり学習プログラムにおいて、記憶データ、テストデータ及びラベル無しデータを記憶するデータ記憶機能と、前記データ記憶機能において記録した訓練データに基づいて教師あり学習を行う初期学習機能と、前記初期学習機能において算出されたデータを記憶する算出結果記憶機能と、前記データ記憶機能において記録した訓練データとラベル無しデータの属性を結合したデータ及び前記算出結果記憶機能で記憶しているデータに基づいて教師あり学習を反復的に行う学習機能とをコンピュータに実現させることを特徴とする半教師あり学習プログラムが提供される。 Furthermore, according to the fifth aspect of the present invention, in the semi-supervised learning program based on ensemble learning as the second program, a data storage function for storing storage data, test data and unlabeled data, and the data storage function An initial learning function for performing supervised learning based on the training data recorded in the above, a calculation result storage function for storing data calculated in the initial learning function, and training data and unlabeled data recorded in the data storage function. Provided is a semi-supervised learning program that causes a computer to realize a learning function that repeatedly performs supervised learning based on data combined with attributes and data stored in the calculation result storage function .
本発明によれば、訓練データだけでなく、ラベル無しデータの分布も学習することから、少数の訓練データから高精度の分類器を構成することが可能になる。 According to the present invention, not only training data but also the distribution of unlabeled data is learned, so that a high-precision classifier can be configured from a small number of training data.
次に、本発明の実施形態について図面を用いて説明する。 Next, embodiments of the present invention will be described with reference to the drawings.
本発明は訓練データだけなくテストデータも用いて、ブースティングによる学習を行い、下位学習機械として任意の教師あり学習の学習機械を利用することで、訓練データが少ない状況においても、高精度の分類器を構成する新しい方法である。以下に本発明を実施するための形態について、図面を参照して説明する。 The present invention uses not only training data but also test data to perform learning by boosting, and uses an arbitrary supervised learning machine as a subordinate learning machine, so that even if there is little training data, high-precision classification It is a new way to configure the vessel. EMBODIMENT OF THE INVENTION Below, the form for implementing this invention is demonstrated with reference to drawings.
図1を参照すると、本発明の実施形態は、キーボード等の入力装置1と、プログラム制御により動作するデータ処理装置2と、情報を記憶する記憶装置3と、ディスプレイ装置や印刷装置等の出力装置4を備える。
Referring to FIG. 1, an embodiment of the present invention includes an
データ処理装置2は、初期学習部21と、学習部22と、判別部23を備える。
The
初期学習部21は、訓練データのみを用いてブースティングによる学習を行い、テストデータの勾配を計算する部分である。学習部22は、訓練データ及びテストデータの勾配をラベルとしてブースティングによる学習を行い、判別関数を更新する部分である。判別部23は、学習された判別関数を用いてテストデータのラベルを予測する部分である。
The
記憶装置3は、訓練データを格納する訓練データ記憶部31と、テストデータを格納するテストデータ記憶部32と、損失関数の勾配を格納するパラメータ記憶部33と、判別関数を格納する判別関数記憶部34を備える。
The storage device 3 includes a training
次に図1、図2及び図3を参照して、本発明を実施するための形態の動作について、説明する。 Next, the operation of the embodiment for carrying out the present invention will be described with reference to FIGS.
まず、入力装置1によって実行指示が与えられ、訓練データ記憶部31及びテストデータ記憶部32からデータ処理装置2に訓練データとテストデータが入力される(図2、ステップA1)。
First, an execution instruction is given by the
次に、初期学習部21により、訓練データを用いた判別関数Fの教師あり学習が行われる(図2、ステップA4)。なお初期学習部21の具体的動作(ステップA2及びステップA3)については下記する。
Next, supervised learning of the discriminant function F using training data is performed by the initial learning unit 21 (step A4 in FIG. 2). The specific operation (step A2 and step A3) of the
そして、判別関数を反復的に更新し(図2、ステップA5)、判別関数による訓練データの勾配を計算する(図2、ステップA6)。 Then, the discriminant function is iteratively updated (FIG. 2, step A5), and the gradient of the training data by the discriminant function is calculated (FIG. 2, step A6).
その後、算出された勾配がパラメータ記憶部33、判別関数が判別関数記憶部34に記憶される。
Thereafter, the calculated gradient is stored in the
図2を参照して、初期学習部21の具体的な動作について、説明する。
A specific operation of the
まず、訓練データ記憶部31とテストデータ記憶部32から訓練データ及びテストデータがデータ処理装置2に入力される(図2、ステップA1)。
First, training data and test data are input from the training
次に初期学習部21は、反復回数にt1、縮小パラメータにν1を設定する(図2、ステップA2)。また、反復回数を計数する指示パラメータTを1に初期化する(図2、ステップA3)。
Next, the
訓練データを用いた判別関数Fの教師あり学習を行う(図2、ステップA4)。 Supervised learning of the discriminant function F using training data is performed (FIG. 2, step A4).
ラウンドT−1で得られた判別関数FT−1に、学習により得られた判別関数Fを加えることにより、判別関数FTとして更新する(図2、ステップA5)。数式として、以下に示す。 The discriminant function F T-1 obtained in the Round T-1, by adding a discriminant function F obtained by learning, updating a discriminant function F T (FIG. 2, step A5). The formula is shown below.
次に、判別関数FTを用いて、損失関数を最小化する訓練データの勾配を求める(図2、ステップA6)。 Next, using the discriminant function F T, determining the gradient of the training data to minimize the loss function (Fig. 2, step A6).
ここで、教師あり学習におけるブースティングの損失関数は、訓練データにおける誤り率を最小化することにより、テストデータの誤り率も同時に最小化することを目的として、設計されている。非特許文献8には、勾配ブースティングと呼ばれる方法で損失関数を判別関数により微分することで、損失関数の最小化方向を探索するという方法が記載されている。 Here, the boosting loss function in supervised learning is designed for the purpose of simultaneously minimizing the error rate of the test data by minimizing the error rate of the training data. Non-Patent Document 8 describes a method of searching for a minimizing direction of a loss function by differentiating the loss function with a discriminant function by a method called gradient boosting.
具体的な損失関数としては、以下の数式で表されるような関数がある。 As a specific loss function, there is a function represented by the following formula.
次に、反復回数の指示パラメータTに1を加える(図2、ステップA7)。そしてTの値が予め定めた定数tに達すれば、学習を終了する。一方、定数tに達していない場合は、勾配をラベルとした判別関数の教師あり学習(図2、ステップA4)に戻る(図2、ステップA8)。 Next, 1 is added to the instruction parameter T for the number of iterations (FIG. 2, step A7). When the value of T reaches a predetermined constant t, the learning is finished. On the other hand, if the constant t has not been reached, the process returns to supervised learning (FIG. 2, step A4) of the discriminant function with the gradient as the label (FIG. 2, step A8).
次に、判別関数FTを用いてテストデータの勾配を算出する(図2、ステップA9)。 Then, to calculate the gradient of the test data by using the discriminant function F T (FIG. 2, step A9).
ここで、テストデータはラベル無しデータである。そのため、テストデータについては、訓練データと同じ損失関数や勾配を用いることができない。しかし、非特許文献9において、下位学習機械の集合から得られるラベル無しデータの予測値の分散を小さくすることにより、ブースティングの汎化性能が向上できることが示されている。すなわち、ラベル無しデータの予測値の分散を最小にするような勾配を、テストデータについて求めれば性能を向上させることが可能である。 Here, the test data is unlabeled data. Therefore, the same loss function and gradient as the training data cannot be used for the test data. However, Non-Patent Document 9 shows that the generalization performance of boosting can be improved by reducing the variance of predicted values of unlabeled data obtained from a set of lower learning machines. That is, the performance can be improved if a gradient that minimizes the variance of the predicted value of unlabeled data is obtained for the test data.
そこで、逐次的に分散を最小化することのできる勾配を以下のようにして導出する。下位学習機械の数がLと下位学習機械の数がL+1における予測値の分散をそれぞれ、VL,VL+1とすると、 Therefore, a gradient capable of sequentially minimizing the variance is derived as follows. Assuming that the variance of the predicted values when the number of lower learning machines is L and the number of lower learning machines is L + 1 is VL and VL + 1, respectively.
初期学習部21によって得られた訓練データとテストデータの勾配はパラメータ記憶部33に格納し、学習された判別関数FTは判別関数記憶部34に格納する。
The gradient of training data and test data obtained by the
初期学習部21は勾配ブースティングと同一のアルゴリズムであり、テストデータの勾配を複数の判別関数から予測値の分散を求めるために学習を行う。
The
次に、学習部22の動作を図3を用いて説明する。
Next, the operation of the
まず、訓練データ記憶部31とテストデータ記憶部32から訓練データ及びテストデータが学習部22に入力される。また、初期学習部21によって得られた訓練データとテストデータの勾配がパラメータ記憶部33から学習部22に入力される(図3、ステップB1)。
First, training data and test data are input to the
反復回数t2、縮小パラメータν2が設定される(図3、ステップB2)。反復回数を計数する指示パラメータTを1に初期化し(図3、ステップB3)、訓練データとテストデータの勾配をラベルとして訓練データ及びテストデータを用いた判別関数Fの教師あり学習を行う(図3、ステップB4)。 The number of iterations t 2 and the reduction parameter ν 2 are set (FIG. 3, step B2). The instruction parameter T for counting the number of iterations is initialized to 1 (FIG. 3, step B3), and supervised learning of the discriminant function F using the training data and test data is performed using the gradient of the training data and test data as a label (FIG. 3). 3, Step B4).
次に、ラウンドT−1で得られた判別関数FT−1に、学習により得られた判別関数Fを加えることにより、判別関数FTとして更新する(図3、ステップB5)。
得られた判別関数FTを用いて、訓練データ及びテストデータの勾配を計算する(図3、ステップB6)。
Then, the discriminant function F T-1 obtained in the Round T-1, by adding a discriminant function F obtained by learning, updating a discriminant function F T (FIG. 3, step B5).
Obtained using a discriminant function F T, calculate the slope of the training data and the test data (FIG. 3, step B6).
初期学習部21と同様にして、訓練データ及びテストデータの勾配をそれぞれで求めた後、反復回数の指示パラメータTに1を加える(図3、ステップB7)。
Similarly to the
Tが予め定めた定数t2に達すれば、学習を終了する。一方、達していない場合は、勾配をラベルとした判別関数の教師あり学習(図3、ステップB4)に戻る(図3、ステップB8)。学習された判別関数は判別関数記憶部34に格納する。
Once you reach a constant t 2 where T is a predetermined, it ends the learning. On the other hand, if not reached, the process returns to supervised learning (FIG. 3, step B4) of the discriminant function with the gradient as a label (FIG. 3, step B8). The learned discriminant function is stored in the discriminant
判別学習部23では、テストデータをテストデータ記憶部32から入力し、判別関数記憶部34から判別関数を入力し、テストデータのラベルを予測する。
In the
ラベル情報としては、例えば医学・生物学分野の場合、疾患や薬効の有無、病態の進行度の他に生存時間などを用いることができる。教師付き学習の方法としては、例えばバギング、ブースティングなどのアンサンブル学習や、サポートベクターマシン、決定木、生存木を用いることができる。なお、上記したラベル情報や教師付き学習方法は例示であり、他のラベル情報や教師付き学習方法を利用することも可能である。 As the label information, for example, in the medical / biological field, the presence / absence of a disease or a drug effect, the progress of a disease state, and the like can be used. As a supervised learning method, for example, ensemble learning such as bagging or boosting, a support vector machine, a decision tree, or a survival tree can be used. Note that the above-described label information and supervised learning method are merely examples, and other label information and supervised learning methods can be used.
そして、テストデータの予測結果は出力装置4から出力される。 The prediction result of the test data is output from the output device 4.
なお、半教師あり学習装置は、ハードウェア、ソフトウェア又はこれらの組合せにより実現することができる。 The semi-supervised learning device can be realized by hardware, software, or a combination thereof.
次に、本発明の実施例について説明する。 Next, examples of the present invention will be described.
実施に用いるデータとして、糖尿病に関する臨床情報を機械学習ベンチマークデータのUCIレポジトリ(非特許文献11参照)から取得した。 As data used for implementation, clinical information on diabetes was obtained from the UCI repository of machine learning benchmark data (see Non-Patent Document 11).
糖尿病発症の有無(属性名:diabetes)を診察された768人の患者のうち臨床情報8項目に基づき、性能評価を行った。768人の患者のうち糖尿病と診断された者は268人、発症していないと診断された者は500人である。臨床情報の属性における欠損値については、カテゴリーデータについては、最頻カテゴリー、数値データについては、中央値により補完した。 Performance evaluation was performed based on 8 items of clinical information among 768 patients examined for the presence or absence of diabetes onset (attribute name: diabets). Of the 768 patients, 268 have been diagnosed with diabetes and 500 have been diagnosed with no onset. The missing values in the attributes of clinical information were supplemented by the most frequent category for category data and the median for numerical data.
本発明の学習パラメータとして、縮小パラメータν1,ν2=1とし、訓練データの損失関数として、勾配ブースティングのAdaboostタイプの指数関数を用いた。下位学習機械としては、決定木の1つであるCARTを用いた。CARTの詳細については、非特許文献10に記載されている。なお説明の便宜上、本発明の方法をSSBoost(Semi−Supervised Boosting)と記載する。 The reduction parameters ν 1 and ν 2 = 1 were used as learning parameters of the present invention, and the Adaboost type exponential function of gradient boosting was used as the loss function of training data. CART, which is one of the decision trees, was used as the lower learning machine. Details of CART are described in Non-Patent Document 10. For convenience of explanation, the method of the present invention is referred to as SSBoost (Semi-Supervised Boosting).
本発明の対照法として、訓練データのみを用いた勾配ブースティングとCARTを用いた。なお、勾配ブースティングの詳細は非特許文献8に記載されている。便宜上、対照法をAdaboostと記載する。SSBoostはAdaboostと全く同様に訓練データについて学習を20回行い(t1=20)、その後、20回テストデータの勾配も用いて学習を行った(t2=20)。
As a control method of the present invention, gradient boosting using only training data and CART were used. Details of gradient boosting are described in Non-Patent Document 8. For convenience, the control method is referred to as Adaboost. SSBoost performed learning about
Adaboostの反復回数は40回とした。SSBoostとAdaboostは計40回の反復学習を行い、同等の条件下で、公平な性能比較を行った。性能比較の結果を図4に示す。 The number of Adaboost iterations was 40. SSBoost and Adaboost performed a total of 40 repetitive learnings, and performed a fair performance comparison under the same conditions. The results of the performance comparison are shown in FIG.
図4に示された結果から、本発明の方法SSBoostはAdaboost及びCARTと比較して、分類性能が常に高いことが分かる。 From the results shown in FIG. 4, it can be seen that the method SSBoost of the present invention always has high classification performance compared to Adaboost and CART.
以上より、本発明を実施することにより下位学習機械として教師あり学習を適用可能な高精度の分類器を実現する事ができる。 As described above, by implementing the present invention, it is possible to realize a highly accurate classifier to which supervised learning can be applied as a lower learning machine.
1 入力装置
2 データ処理装置
3 記憶装置
4 出力装置
21 初期学習部
22 学習部
23 判別手段
31 訓練データ記憶部
32 テストデータ記憶部
33 パラメータ記憶部
34 判別関数記憶部
1
Claims (32)
記憶データ、テストデータ及びラベル無しデータを記憶するデータ記憶ステップと、
前記データ記憶ステップにおいて記録した訓練データに基づいて教師あり学習を行う初期学習ステップと、
前記初期学習ステップにおいて算出されたデータを記憶する算出結果記憶ステップと、
前記データ記憶ステップにおいて記録した訓練データとラベル無しデータの属性を結合したデータ及び前記算出結果記憶ステップで記憶しているデータに基づいて教師あり学習を反復的に行う学習ステップと
を備えることを特徴とする半教師あり学習方法。 In a semi-supervised learning method based on ensemble learning,
A data storage step for storing stored data, test data and unlabeled data;
An initial learning step for performing supervised learning based on the training data recorded in the data storage step;
A calculation result storing step for storing data calculated in the initial learning step;
A learning step for repeatedly performing supervised learning based on data obtained by combining the attributes of the training data recorded in the data storage step and unlabeled data and the data stored in the calculation result storage step. Semi-supervised learning method.
前記学習ステップにおける教師あり学習は、前記初期学習ステップによって算出された訓練データの勾配及びテストデータの勾配をラベルとして行われることを特徴とする半教師あり学習方法。 The semi-supervised learning method according to claim 1,
The semi-supervised learning method, wherein the supervised learning in the learning step is performed using the gradient of the training data and the gradient of the test data calculated in the initial learning step as labels.
前記初期学習ステップにおける教師あり学習の方式がブースティング又は勾配ブースティングであることを特徴とする半教師あり学習方法。 The semi-supervised learning method according to claim 1 or 2,
A semi-supervised learning method, wherein the supervised learning method in the initial learning step is boosting or gradient boosting.
前記初期学習ステップにおける訓練データに関する損失関数が凸関数であることを特徴とする半教師あり学習方法。 The semi-supervised learning method according to any one of claims 1 to 3,
A semi-supervised learning method, wherein a loss function related to training data in the initial learning step is a convex function.
前記初期学習ステップにおける訓練データに関する損失関数が指数関数であることを特徴とする半教師あり学習方法。 The semi-supervised learning method according to any one of claims 1 to 4,
A semi-supervised learning method, wherein a loss function related to training data in the initial learning step is an exponential function.
前記初期学習ステップにおける各ラウンドで学習された判別関数に縮小パラメータを乗ずる、初期正則化ステップを更に備えることを特徴とする半教師あり学習方法。 The semi-supervised learning method according to any one of claims 1 to 5,
A semi-supervised learning method, further comprising an initial regularization step of multiplying a discriminant function learned in each round in the initial learning step by a reduction parameter.
前記初期学習ステップにおける下位学習機械が決定木であることを特徴とする半教師あり学習方法。 The semi-supervised learning method according to any one of claims 1 to 6,
A semi-supervised learning method, wherein the lower learning machine in the initial learning step is a decision tree.
前記学習ステップにおける教師あり学習の方式がブースティング又は勾配ブースティングであることを特徴とする半教師あり学習方法。 The semi-supervised learning method according to any one of claims 1 to 7,
A semi-supervised learning method, wherein the supervised learning method in the learning step is boosting or gradient boosting.
前記学習ステップにおけるラベル無しデータとはテストデータであることを特徴とする半教師あり学習方法。 The semi-supervised learning method according to any one of claims 1 to 8,
The semi-supervised learning method, wherein the unlabeled data in the learning step is test data.
前記学習ステップにおける訓練データに関する損失関数が凸関数であることを特徴とする半教師あり学習方法。 The semi-supervised learning method according to any one of claims 1 to 9,
A semi-supervised learning method, wherein a loss function related to training data in the learning step is a convex function.
前記学習ステップにおける訓練データに関する損失関数が指数関数であることを特徴とする半教師あり学習方法。 The semi-supervised learning method according to any one of claims 1 to 10,
A semi-supervised learning method, wherein a loss function related to training data in the learning step is an exponential function.
前記学習ステップにおいて、ラベル無しデータに対する下位学習機械の予測値の分散を最小化することを特徴とする半教師あり学習方法。 The semi-supervised learning method according to any one of claims 1 to 11,
A semi-supervised learning method characterized in that, in the learning step, a variance of predicted values of a lower learning machine with respect to unlabeled data is minimized.
前記学習ステップにおける各ラウンドで学習された判別関数に縮小パラメータを乗ずる、正則化ステップを更に備えることを特徴とする半教師あり学習方法。 The semi-supervised learning method according to any one of claims 1 to 12,
A semi-supervised learning method, further comprising a regularization step of multiplying a discriminant function learned in each round in the learning step by a reduction parameter.
前記学習ステップにおける下位学習機械が決定木であることを特徴とする半教師あり学習方法。 The semi-supervised learning method according to any one of claims 1 to 13,
A semi-supervised learning method, wherein the lower learning machine in the learning step is a decision tree.
前記学習ステップにおいて得られた学習結果に基づいてテストデータのラベルを予測する予測ステップを更に備えることを特徴とする半教師あり学習方法。 The semi-supervised learning method according to any one of claims 1 to 14,
A semi-supervised learning method, further comprising a prediction step of predicting a label of test data based on a learning result obtained in the learning step.
訓練データを記憶する訓練データ記憶部と、ラベル無しデータおよびテストデータを記憶するテストデータ記憶部と、訓練データにより教師あり学習を行う初期学習部と、勾配を記憶するパラメータ記憶部と、訓練データとラベル無しデータおよびテストデータを結合し、教師あり学習を反復的に行う学習部と、学習された判別関数を記憶する判別関数記憶部と、判別関数を用いてテストデータのラベルを予測する判別部を備えることを特徴とする半教師あり学習装置。 In a semi-supervised learning device based on ensemble learning,
A training data storage unit that stores training data, a test data storage unit that stores unlabeled data and test data, an initial learning unit that performs supervised learning using training data, a parameter storage unit that stores gradients, and training data A learning unit that repeatedly performs supervised learning, a discriminant function storage unit that stores the learned discriminant function, and a discriminant that predicts the label of the test data using the discriminant function A semi-supervised learning apparatus characterized by comprising a unit.
記憶データ、テストデータ及びラベル無しデータを記憶するデータ記憶手段と、
前記データ記憶手段において記録した訓練データに基づいて教師あり学習を行う初期学習手段と、
前記初期学習手段において算出されたデータを記憶する算出結果記憶手段と、
前記データ記憶手段において記録した訓練データとラベル無しデータの属性を結合したデータ及び前記算出結果記憶手段で記憶しているデータに基づいて教師あり学習を反復的に行う学習手段と
を備えることを特徴とする半教師あり学習装置。 In a semi-supervised learning device based on ensemble learning,
Data storage means for storing stored data, test data and unlabeled data;
Initial learning means for performing supervised learning based on the training data recorded in the data storage means;
Calculation result storage means for storing data calculated in the initial learning means;
Learning means for repeatedly performing supervised learning based on data obtained by combining the attributes of the training data recorded in the data storage means and unlabeled data and the data stored in the calculation result storage means. A semi-supervised learning device.
前記学習手段における教師あり学習は、前記初期学習手段によって算出された訓練データの勾配及びテストデータの勾配をラベルとして行われることを特徴とする半教師あり学習装置。 The semi-supervised learning device according to claim 17,
The semi-supervised learning apparatus, wherein the supervised learning in the learning means is performed using the gradient of the training data and the gradient of the test data calculated by the initial learning means as labels.
前記初期学習手段における教師あり学習の方式がブースティング又は勾配ブースティングであることを特徴とする半教師あり学習装置。 The semi-supervised learning device according to claim 17 or 18,
A semi-supervised learning apparatus, wherein the supervised learning method in the initial learning means is boosting or gradient boosting.
前記初期学習手段における訓練データに関する損失関数が凸関数であることを特徴とする半教師あり学習装置。 The semi-supervised learning device according to any one of claims 17 to 19,
A semi-supervised learning apparatus, wherein a loss function related to training data in the initial learning means is a convex function.
前記初期学習手段における訓練データに関する損失関数が指数関数であることを特徴とする半教師あり学習装置。 The semi-supervised learning device according to any one of claims 17 to 20,
A semi-supervised learning apparatus, wherein a loss function related to training data in the initial learning means is an exponential function.
前記初期学習手段における各ラウンドで学習された判別関数に縮小パラメータを乗ずる、第1の正則化手段を更に備えることを特徴とする半教師あり学習装置。 The semi-supervised learning device according to any one of claims 17 to 21,
A semi-supervised learning apparatus, further comprising first regularization means for multiplying a discriminant function learned in each round in the initial learning means by a reduction parameter.
前記初期学習手段における下位学習機械が決定木であることを特徴とする半教師あり学習装置。 The semi-supervised learning device according to any one of claims 17 to 22,
A semi-supervised learning apparatus, wherein the lower learning machine in the initial learning means is a decision tree.
前記学習手段における教師あり学習の方式がブースティング又は勾配ブースティングであることを特徴とする半教師あり学習装置。 The semi-supervised learning device according to any one of claims 17 to 23,
A semi-supervised learning apparatus, wherein the supervised learning method in the learning means is boosting or gradient boosting.
前記学習手段におけるラベル無しデータとはテストデータであることを特徴とする半教師あり学習装置。 The semi-supervised learning device according to any one of claims 17 to 24,
A semi-supervised learning apparatus, wherein the unlabeled data in the learning means is test data.
前記学習手段における訓練データに関する損失関数が凸関数であることを特徴とする半教師あり学習装置。 The semi-supervised learning device according to any one of claims 17 to 25,
A semi-supervised learning apparatus, wherein a loss function related to training data in the learning means is a convex function.
前記学習手段における訓練データに関する損失関数が指数関数であることを特徴とする半教師あり学習装置。 The semi-supervised learning apparatus according to any one of claims 17 to 26,
A semi-supervised learning apparatus, wherein a loss function relating to training data in the learning means is an exponential function.
前記学習手段において、ラベル無しデータに対する下位学習機械の予測値の分散を最小化することを特徴とする半教師あり学習装置。 The semi-supervised learning device according to any one of claims 17 to 27,
The semi-supervised learning device characterized in that in the learning means, the variance of the predicted value of the lower learning machine with respect to unlabeled data is minimized.
前記学習手段における各ラウンドで学習された判別関数に縮小パラメータを乗ずる、第2の正則化手段を更に備えることを特徴とする半教師あり学習装置。 The semi-supervised learning device according to any one of claims 17 to 28,
A semi-supervised learning apparatus, further comprising second regularization means for multiplying a discriminant function learned in each round in the learning means by a reduction parameter.
前記学習手段における下位学習機械が決定木であることを特徴とする半教師あり学習装置。 The semi-supervised learning device according to any one of claims 17 to 29,
A semi-supervised learning apparatus, wherein the lower learning machine in the learning means is a decision tree.
訓練データを記憶する訓練データ記憶機能と、ラベル無しデータおよびテストデータを記憶するテストデータ記憶機能と、訓練データにより教師あり学習を行う初期学習機能と、勾配を記憶するパラメータ記憶機能と、訓練データとラベル無しデータおよびテストデータを結合し、教師あり学習を反復的に行う学習機能と、学習された判別関数を記憶する判別関数記憶機能と、判別関数を用いてテストデータのラベルを予測する判別機能をコンピュータに実現させることを特徴とする半教師あり学習プログラム。 In a semi-supervised learning program based on ensemble learning,
Training data storage function for storing training data, test data storage function for storing unlabeled data and test data, initial learning function for supervised learning using training data, parameter storage function for storing gradients, and training data A learning function that combines unlabeled data and test data to perform supervised learning repeatedly, a discriminant function storage function that stores learned discriminant functions, and a discriminant that predicts test data labels using discriminant functions A semi-supervised learning program characterized by having a computer realize the function.
記憶データ、テストデータ及びラベル無しデータを記憶するデータ記憶機能と、
前記データ記憶機能において記録した訓練データに基づいて教師あり学習を行う初期学習機能と、
前記初期学習機能において算出されたデータを記憶する算出結果記憶機能と、
前記データ記憶機能において記録した訓練データとラベル無しデータの属性を結合したデータ及び前記算出結果記憶機能で記憶しているデータに基づいて教師あり学習を反復的に行う学習機能と
をコンピュータに実現させることを特徴とする半教師あり学習プログラム。 In a semi-supervised learning program based on ensemble learning,
A data storage function for storing stored data, test data and unlabeled data;
An initial learning function for performing supervised learning based on the training data recorded in the data storage function;
A calculation result storage function for storing data calculated in the initial learning function;
The computer realizes a learning function that repeatedly performs supervised learning based on data obtained by combining the attributes of the training data recorded in the data storage function and unlabeled data and the data stored in the calculation result storage function. A semi-supervised learning program characterized by
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007242419A JP2009075737A (en) | 2007-09-19 | 2007-09-19 | Semi-supervised learning method, device, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007242419A JP2009075737A (en) | 2007-09-19 | 2007-09-19 | Semi-supervised learning method, device, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009075737A true JP2009075737A (en) | 2009-04-09 |
Family
ID=40610660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007242419A Withdrawn JP2009075737A (en) | 2007-09-19 | 2007-09-19 | Semi-supervised learning method, device, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009075737A (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103488297A (en) * | 2013-09-30 | 2014-01-01 | 华南理工大学 | Online semi-supervising character input system and method based on brain-computer interface |
WO2014136316A1 (en) * | 2013-03-04 | 2014-09-12 | 日本電気株式会社 | Information processing device, information processing method, and program |
JP2015525413A (en) * | 2012-06-21 | 2015-09-03 | フィリップ モリス プロダクツ エス アー | System and method for generating biomarker signatures using integrated bias correction and class prediction |
JP2017072915A (en) * | 2015-10-05 | 2017-04-13 | 株式会社東芝 | Electricity charge menu estimation device, electricity charge menu estimation method and electricity charge menu estimation program |
KR101864412B1 (en) * | 2017-12-28 | 2018-06-04 | (주)휴톰 | Data managing method, apparatus and program for machine learning |
CN109510811A (en) * | 2018-07-23 | 2019-03-22 | 中国科学院计算机网络信息中心 | Intrusion detection method, device and storage medium based on data packet |
CN111222648A (en) * | 2020-01-15 | 2020-06-02 | 深圳前海微众银行股份有限公司 | Semi-supervised machine learning optimization method, device, equipment and storage medium |
CN111275207A (en) * | 2020-02-10 | 2020-06-12 | 深圳前海微众银行股份有限公司 | Semi-supervision-based horizontal federal learning optimization method, equipment and storage medium |
JP2020131342A (en) * | 2019-02-18 | 2020-08-31 | ファナック株式会社 | Cutting fluid volume adjusting device and cutting fluid volume adjusting system |
JP2021015523A (en) * | 2019-07-12 | 2021-02-12 | 株式会社リコー | Learning device and learning method |
CN113723650A (en) * | 2020-05-25 | 2021-11-30 | 中国石油化工股份有限公司 | Chemical process abnormity monitoring system based on semi-supervised model and model optimization device |
JP2022510113A (en) * | 2018-11-30 | 2022-01-26 | ディープ バイオ インク | A method of providing a diagnostic system using semi-supervised learning, and a diagnostic system using it. |
-
2007
- 2007-09-19 JP JP2007242419A patent/JP2009075737A/en not_active Withdrawn
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10339464B2 (en) | 2012-06-21 | 2019-07-02 | Philip Morris Products S.A. | Systems and methods for generating biomarker signatures with integrated bias correction and class prediction |
JP2015525413A (en) * | 2012-06-21 | 2015-09-03 | フィリップ モリス プロダクツ エス アー | System and method for generating biomarker signatures using integrated bias correction and class prediction |
WO2014136316A1 (en) * | 2013-03-04 | 2014-09-12 | 日本電気株式会社 | Information processing device, information processing method, and program |
US11537930B2 (en) | 2013-03-04 | 2022-12-27 | Nec Corporation | Information processing device, information processing method, and program |
CN103488297B (en) * | 2013-09-30 | 2016-04-13 | 华南理工大学 | A kind of online semi-supervised character input system based on brain-computer interface and method |
CN103488297A (en) * | 2013-09-30 | 2014-01-01 | 华南理工大学 | Online semi-supervising character input system and method based on brain-computer interface |
JP2017072915A (en) * | 2015-10-05 | 2017-04-13 | 株式会社東芝 | Electricity charge menu estimation device, electricity charge menu estimation method and electricity charge menu estimation program |
KR101864412B1 (en) * | 2017-12-28 | 2018-06-04 | (주)휴톰 | Data managing method, apparatus and program for machine learning |
CN109510811A (en) * | 2018-07-23 | 2019-03-22 | 中国科学院计算机网络信息中心 | Intrusion detection method, device and storage medium based on data packet |
JP2022510113A (en) * | 2018-11-30 | 2022-01-26 | ディープ バイオ インク | A method of providing a diagnostic system using semi-supervised learning, and a diagnostic system using it. |
JP2020131342A (en) * | 2019-02-18 | 2020-08-31 | ファナック株式会社 | Cutting fluid volume adjusting device and cutting fluid volume adjusting system |
JP7053518B2 (en) | 2019-02-18 | 2022-04-12 | ファナック株式会社 | Cutting fluid amount adjustment device and cutting fluid amount adjustment system |
US11679463B2 (en) | 2019-02-18 | 2023-06-20 | Fanuc Corporation | Cutting fluid amount adjusting device and system |
JP2021015523A (en) * | 2019-07-12 | 2021-02-12 | 株式会社リコー | Learning device and learning method |
JP7363145B2 (en) | 2019-07-12 | 2023-10-18 | 株式会社リコー | Learning device and learning method |
CN111222648A (en) * | 2020-01-15 | 2020-06-02 | 深圳前海微众银行股份有限公司 | Semi-supervised machine learning optimization method, device, equipment and storage medium |
CN111222648B (en) * | 2020-01-15 | 2023-09-26 | 深圳前海微众银行股份有限公司 | Semi-supervised machine learning optimization method, device, equipment and storage medium |
CN111275207A (en) * | 2020-02-10 | 2020-06-12 | 深圳前海微众银行股份有限公司 | Semi-supervision-based horizontal federal learning optimization method, equipment and storage medium |
CN111275207B (en) * | 2020-02-10 | 2024-04-30 | 深圳前海微众银行股份有限公司 | Semi-supervision-based transverse federal learning optimization method, equipment and storage medium |
CN113723650A (en) * | 2020-05-25 | 2021-11-30 | 中国石油化工股份有限公司 | Chemical process abnormity monitoring system based on semi-supervised model and model optimization device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009075737A (en) | Semi-supervised learning method, device, and program | |
Alexandrov et al. | Gluonts: Probabilistic time series models in python | |
Schmidt et al. | Fast optimization methods for l1 regularization: A comparative study and two new approaches | |
Erickson et al. | Toolkits and libraries for deep learning | |
Tropsha et al. | Integrating QSAR modelling and deep learning in drug discovery: the emergence of deep QSAR | |
Loeffler et al. | Reinvent 4: Modern AI–driven generative molecule design | |
Zhang et al. | Learning noise-aware encoder-decoder from noisy labels by alternating back-propagation for saliency detection | |
Suk et al. | Deep ensemble sparse regression network for Alzheimer’s disease diagnosis | |
Meghwanshi et al. | McTorch, a manifold optimization library for deep learning | |
Jin et al. | Regularized margin-based conditional log-likelihood loss for prototype learning | |
US11636355B2 (en) | Integration of knowledge graph embedding into topic modeling with hierarchical Dirichlet process | |
Zhao et al. | Drug activity prediction using multiple-instance learning via joint instance and feature selection | |
Li et al. | Hierarchical face aging through disentangled latent characteristics | |
Do et al. | Attentional multilabel learning over graphs: a message passing approach | |
Subasi et al. | Advanced pattern recognition tools for disease diagnosis | |
Luo et al. | Adaptive lightweight regularization tool for complex analytics | |
Akhound-Sadegh et al. | Iterated denoising energy matching for sampling from Boltzmann densities | |
Kuntzelman et al. | Deep-learning-based multivariate pattern analysis (dMVPA): A tutorial and a toolbox | |
Mardt et al. | Progress in deep Markov state modeling: Coarse graining and experimental data restraints | |
Akman et al. | K-best feature selection and ranking via stochastic approximation | |
Lu et al. | Learn more from less: Generalized zero-shot learning with severely limited labeled data | |
JP2015114988A (en) | Processing device, processing method, and program | |
Fu et al. | Robust outcome weighted learning for optimal individualized treatment rules | |
Sadafi et al. | A continual learning approach for cross-domain white blood cell classification | |
Mandt et al. | Sparse probit linear mixed model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20101207 |