JPH1049509A - Neural network learning system - Google Patents
Neural network learning systemInfo
- Publication number
- JPH1049509A JPH1049509A JP8223319A JP22331996A JPH1049509A JP H1049509 A JPH1049509 A JP H1049509A JP 8223319 A JP8223319 A JP 8223319A JP 22331996 A JP22331996 A JP 22331996A JP H1049509 A JPH1049509 A JP H1049509A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- signal
- neural network
- input
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、パターン認識、連
想メモリ、データ変換、画像処理及び通信処理などの分
野に適用可能な教師付きニューラルネットワークにおい
て、教師信号との対応が明かとなっている大量の入力信
号に対して高速かつ安定に所望の出力信号を得ることが
できるニューラルネットワークの学習方式に関するもの
である。The present invention relates to a supervised neural network applicable to fields such as pattern recognition, an associative memory, data conversion, image processing, and communication processing. The present invention relates to a neural network learning method capable of quickly and stably obtaining a desired output signal with respect to an input signal.
【0002】[0002]
【従来の技術】従来技術について2値多層ニューラルネ
ットワークを例にとり説明する。2値多層ニューラルネ
ットワークの学習方式の1構成例を図2に示す。2値教
師信号との対応関係が明らかとなっている入力信号を学
習用入力信号とテスト用入力信号とに分け、対応した教
師信号と共にそれぞれを学習用入出力信号記憶装置16
及びテスト用入出力信号記憶装置17とに格納する。学
習モードでは学習用入出力信号記憶装置16を、テスト
モードではテスト用入出力信号記憶装置17を選択接続
する入力選択制御器18、端子2を介して学習用入力信
号あるいはテスト用入力信号が入力層の入力ユニットに
入力され、出力層の出力ユニットから出力ユニット信号
を送出する多層ニューラルネットワーク1、2値教師信
号Tから出力ユニット信号を差し引き誤差信号を得る減
算器4、誤差信号を用いて重み係数を更新する重み係数
制御器5、出力ユニット信号から2値出力ユニット信号
を得、出力信号として送出する2値スレショルド回路
6、学習モードでは2値教師信号と2値出力ユニットと
の一致を検出し、テストモードでは誤りを検出する正誤
検出器8と、入力選択制御器18、重み係数制御器5及
び正誤検出器8を制御する動作制御器9とから構成され
る。2. Description of the Related Art The prior art will be described using a binary multilayer neural network as an example. FIG. 2 shows an example of a configuration of a learning method of a binary multilayer neural network. The input signal for which the correspondence with the binary teacher signal is clear is divided into a learning input signal and a test input signal, and each is input together with the corresponding teacher signal to the learning input / output signal storage device 16.
And the test input / output signal storage device 17. In the learning mode, the input / output signal storage device for learning 16 is input. In the test mode, the input / output controller 18 for selecting and connecting the input / output signal storage device for testing 17 is input. A multi-layer neural network 1 that is input to the input unit of the layer and sends out an output unit signal from the output unit of the output layer; a subtractor 4 that subtracts the output unit signal from the binary teacher signal T to obtain an error signal; Weight coefficient controller 5 for updating coefficients, a binary threshold circuit 6 for obtaining a binary output unit signal from the output unit signal and sending it as an output signal, and detecting a match between the binary teacher signal and the binary output unit in the learning mode. In the test mode, the correctness detector 8 for detecting an error, the input selection controller 18, the weight coefficient controller 5 and the correctness detector 8 are connected. It consists Gosuru operation controller 9.
【0003】ここで、これらの基本動作と問題点を詳細
に説明する。動作制御器9の制御のもとに学習モードが
設定されると、重み係数制御器5からの重み係数を多層
ニューラルネットワーク1へ初期設定した後、入力選択
制御器18を制御し、学習用入出力信号記憶装置16か
ら端子2を介して入力層に学習用入力信号を入力する。
学習用入出力信号記憶装置16から端子3を介して与え
られる2値教師信号T(教師信号エレメント、T1 、T
2 、...、 TM )から学習用入力信号に対する出力ユ
ニット信号を減算器4を介して差し引き誤差信号を求
め、誤差信号と重み係数更新の為の情報を基に重み係数
制御器5にて、誤差信号の電力を最小にするように各層
間の重み係数の更新を学習処理として行う。Here, these basic operations and problems will be described in detail. When the learning mode is set under the control of the operation controller 9, the weighting factor from the weighting factor controller 5 is initialized in the multilayer neural network 1, and then the input selection controller 18 is controlled to set the learning input. A learning input signal is input from the output signal storage device 16 to the input layer via the terminal 2.
A binary teacher signal T (teacher signal elements, T 1 , T 1) given via the terminal 3 from the learning input / output signal storage device 16.
2 ,. . . , T M ) by subtracting the output unit signal corresponding to the learning input signal via the subtractor 4 to obtain an error signal, and based on the error signal and the information for updating the weight coefficient, the weight coefficient controller 5 calculates the error signal. The updating of the weight coefficient between the layers is performed as a learning process so as to minimize the power.
【0004】この多層ニューラルネットワーク1の教師
信号を用いた学習方法として、例えば、バック・プロパ
ゲーション・アルゴリズムが幅広く使用されている。こ
の重み係数適応制御からなる学習をすべての学習用入力
信号に対して実行し、その後、一致検出器8において2
値教師信号と2値出力ユニットとの一致検出を行い、検
出されると2値空間で完全に収束したとして学習を終了
させる為、動作制御器9へ学習収束信号を送出する。こ
のほか、出力ユニットの誤差信号電力の総和が与えられ
たスレショルド以下になるか、または予め定められた規
定の学習回数になるまで繰り返すか、いずれかにより学
習を終了させている。[0004] As a learning method using the teacher signal of the multilayer neural network 1, for example, a back propagation algorithm is widely used. The learning including the weighting coefficient adaptive control is executed for all the learning input signals.
A match between the value teacher signal and the binary output unit is detected, and upon detection, a learning convergence signal is sent to the operation controller 9 in order to complete learning in the binary space and terminate learning. In addition, the learning is terminated either when the sum of the error signal powers of the output units becomes equal to or less than a given threshold or until the sum reaches a predetermined number of times of learning.
【0005】上記のいずれかの条件が満たされ学習が終
了すると、動作制御器9は学習モードをテストモードに
切り替え、学習によって得られた重み係数を多層ニュー
ラルネットワーク1に設定し、入力選択制御器18を制
御してテスト用入出力信号記憶装置17から端子2を介
してテスト用入力信号を入力層に入力し、正誤検出器8
においてその2値出力ユニット信号と2値教師信号との
比較から、出力誤りを検出し汎化特性を評価する。When any of the above conditions is satisfied and learning is completed, the operation controller 9 switches the learning mode to the test mode, sets the weighting factor obtained by learning in the multilayer neural network 1, and sets the input selection controller. 18 to input a test input signal from the test input / output signal storage device 17 to the input layer via the terminal 2, and
, An output error is detected from the comparison between the binary output unit signal and the binary teacher signal, and the generalization characteristic is evaluated.
【0006】このような従来の学習過程に於て、誤差電
力が局部極小(ローカルミニマム)となる所に一旦落ち
込むと、それが非常に安定な場合はそれ以降は学習が進
まず2値空間で2値教師信号Tと2値出力ユニット信号
が一致する状態が必ずしも得られないこと、即ち、2値
空間で収束しないなどの問題がある。一致が検出されな
い場合には、正しい入出力関係が全ては得られていない
ことを意味し、従って、テストモードにおいても、高い
汎化能力を達成することができず、多くの誤った2値出
力ユニット信号が送出される。In such a conventional learning process, once the error power falls to a local minimum (local minimum), if the error power is very stable, the learning does not proceed thereafter and the binary space is not obtained. There is a problem that a state in which the binary teacher signal T and the binary output unit signal match is not always obtained, that is, it does not converge in the binary space. If no match is detected, it means that all the correct input / output relationships have not been obtained, and therefore, even in the test mode, high generalization ability cannot be achieved, and many false binary outputs have been obtained. A unit signal is sent.
【0007】特に、教師信号と対応付けられた入力信号
の学習用入力信号とテスト用入力信号への明確かつ最適
な分け方はこれまで明かとなっておらず、分け方によっ
ては、上記の説明の如く2値空間での不完全収束が発生
する場合や、2値空間で完全収束したものの、過学習や
オーバーフィッティングが発生し、テスト用入力信号に
対する汎化特性が非常に悪く多くの誤った2値出力ユニ
ット信号を送出する場合がある。In particular, it has not been clarified how to divide the input signal associated with the teacher signal into the learning input signal and the test input signal clearly and optimally. Or incomplete convergence in the binary space as shown in the above, or although complete convergence in the binary space occurs, over-learning or over-fitting occurs, the generalization characteristics for the test input signal are very poor, and many false A binary output unit signal may be transmitted.
【0008】また、これまで、データベースなどの利用
により教師信号との対応が明かとなった、例えば10万
個以上の大量の種類の入力信号が準備された場合に、学
習用入力信号及びテスト用入力信号の両入力信号に対し
て全て正しい2値出力ユニット信号を出させ、2値空間
で完全収束を達成し、テスト用入力信号に対しても10
0%の汎化能力を持った2値多層ニューラルネットワー
クを確実に学習させることは、不可能であった。In the case where a large number of input signals of, for example, 100,000 or more, for which the correspondence with the teacher signal has been clarified by using a database or the like, a learning input signal and a test input signal are used. A correct binary output unit signal is output for both input signals, complete convergence is achieved in a binary space, and a 10
It was impossible to reliably train a binary multilayer neural network with 0% generalization ability.
【0009】また、特願平07−77168(ニューラ
ルネットワーク学習方式)の2値3層ニューラルネット
ワーク学習方式の誤差摂動型重み係数更新方式を用い
て、これら全ての膨大な入力信号を直接学習させ、2値
空間での完全収束を達成させることもできるが、学習用
入力信号数が非常に多く而も学習回数も一般に多くな
り、演算量が膨大となる欠点がある。Further, by using the error perturbation type weight coefficient updating method of the binary / three-layer neural network learning method of Japanese Patent Application No. 07-77168 (neural network learning method), all these huge input signals are directly learned, Although it is possible to achieve complete convergence in a binary space, there is a disadvantage that the number of input signals for learning is very large and the number of times of learning is also generally large, resulting in an enormous amount of calculation.
【0010】[0010]
【発明が解決しようとする課題】上記の説明のごとく、
教師信号との対応関係が明かな大量の入力信号からなる
学習用入力信号とテスト用入力信号に対して、従来方式
では、これらの最適な分割方法が明かとなっておらず、
学習用入力信号の選択の仕方によっては、学習が収束す
るもののテスト用入力信号に対して十分に正しい2値出
力ユニット信号が得られず汎化特性が非常に悪い場合
や、学習しても結局収束しない状態即ち非常に安定した
ローカルミニマムの状態に落ち込み所望の2値出力ユニ
ット信号が得られず、而もこれにより汎化特性が非常に
劣化する場合などがある。従って、非常に高い汎化能力
を得る為には、大量の入力信号を全て学習用入力信号と
して直接学習する必要があるが、この場合には一般に収
束が困難で、例え収束したとしても、学習回数が非常に
多くなり、膨大な演算量を必要とし現実的ではない。こ
のように教師信号との対応関係が明かな大量の入力信号
に対して少ない演算量で且つ学習を高速に収束させると
ともに非常に高い汎化能力を達成させることができる実
用的な学習方式がこれまでない。SUMMARY OF THE INVENTION As described above,
For the learning input signal and the test input signal, which consist of a large number of input signals that have a clear correspondence with the teacher signal, the conventional method has not revealed these optimal division methods.
Depending on the method of selecting the learning input signal, although the learning converges, a sufficiently correct binary output unit signal cannot be obtained for the test input signal and the generalization characteristic is extremely poor. There is a case where the state does not converge, that is, a state of a local minimum which is very stable, and a desired binary output unit signal cannot be obtained. Therefore, in order to obtain a very high generalization ability, it is necessary to directly learn a large amount of input signals as learning input signals. In this case, however, it is generally difficult to converge. The number of times becomes very large, and a huge amount of calculation is required, which is not practical. A practical learning method that can converge the learning at high speed with a small amount of calculation and achieve very high generalization ability for a large amount of input signals whose correspondence with the teacher signal is clear as described above. Not until.
【0011】本発明の目的は、上記の問題を解決し、教
師信号との対応関係が与えられた大量の入力信号に於
て、従来の学習方式に比べて、非常に少ない学習用入力
信号を用いて高速収束させ、学習用入力信号のみなら
ず、テスト用入力信号に対しても、全て正しい出力信号
を送出することができ、汎化能力に非常に優れた学習用
入力信号追加型反復学習方式を提供することにある。SUMMARY OF THE INVENTION An object of the present invention is to solve the above-mentioned problem and to reduce a very small number of learning input signals as compared with a conventional learning method in a large amount of input signals given a correspondence with a teacher signal. High-speed convergence, and it is possible to send out correct output signals not only for learning input signals but also for test input signals. It is to provide a method.
【0012】[0012]
【課題を解決するための手段】上記の問題点を解決する
ために、教師信号を用いて学習させるニューラルネット
ワークにおいて、該教師信号との対応関係が与えられた
入力信号の内、初期に代表的な入力信号を学習用入力信
号として選択し、学習を実行し、学習停止条件を満たす
まで学習を繰り返し、該条件を満たすと学習を一時停止
し、汎化テストの為、該学習用入力信号以外の残りの全
ての該入力信号からなるテスト用入力信号に対する出力
信号を得、該教師信号との正誤を判定し、誤った出力信
号を送出している該テスト用入力信号を該学習用入力信
号に追加する為移し、再度該学習と該汎化テストとから
構成される一連の反復学習を繰り返し、該テスト用入力
信号に対する該出力信号の誤り数が与えられた基準を満
たすと、反復学習を終了することを特徴とした第1のニ
ューラルネットワーク学習方式を構成する。In order to solve the above-mentioned problems, in a neural network that is trained using a teacher signal, a representative network is initially selected from among input signals given a correspondence with the teacher signal. Is selected as a learning input signal, learning is performed, learning is repeated until a learning stop condition is satisfied, learning is temporarily stopped when the condition is satisfied, and a generalization test is performed. The output signal for the test input signal consisting of all the remaining input signals is obtained, the correctness of the test input signal is determined, and the test input signal that is transmitting an erroneous output signal is converted to the learning input signal. And a series of iterative learning consisting of the learning and the generalization test is repeated again. When the number of errors in the output signal with respect to the test input signal satisfies a given criterion, the iterative learning is performed. Constituting the first neural network learning method which is characterized in that to end.
【0013】上記の第1のニューラルネットワーク学習
方式において、学習を実行し、該学習停止条件を満たし
た際、教師信号に対して正しい出力信号を送出している
該学習用入力信号の内、与えられたスレショルド以上の
正解を出力する余裕を持っている該学習用入力信号を、
それ以降の該反復学習から除去することを特徴とした第
2のニューラルネットワーク学習方式を構成する。In the above-described first neural network learning method, learning is performed, and when the learning stop condition is satisfied, a correct output signal is sent to the teacher signal among the learning input signals. The learning input signal having a margin for outputting a correct answer equal to or higher than the threshold is
A second neural network learning method is characterized in that it is removed from the subsequent iterative learning.
【0014】上記の第1及び第2の該ニューラルネット
ワーク学習方式において、該汎化テストを実行した際、
教師信号に対して正しい出力信号を送出している該テス
ト用入力信号の内、与えられたスレショルド以上の正解
を出力する余裕を持っている該テスト用入力信号を、そ
れ以降の該反復学習から除去することを特徴とした第3
のニューラルネットワーク学習方式を構成する。In the first and second neural network learning methods, when the generalization test is executed,
Of the test input signals that are sending correct output signals to the teacher signal, the test input signal that has a margin to output a correct answer equal to or higher than a given threshold is extracted from the subsequent iterative learning. The third feature of removing
Of the neural network learning method.
【0015】上記の第1、第2及び第3のニューラルネ
ットワーク学習方式において、該学習一時停止条件とし
て、正解の出力信号数が与えられたスレショルド以上
で、且つ全学習用入力信号に対する正解を与える出力ユ
ニットの間での最小余裕値が与えられたスレショルドを
越えると学習を一時停止させることを特徴とした第4の
ニューラルネットワーク学習方式。In the above first, second and third neural network learning methods, the number of correct output signals is equal to or higher than a given threshold and a correct answer to all input signals for learning is given as the learning suspension condition. A fourth neural network learning method characterized by suspending learning when a minimum margin value between output units exceeds a given threshold.
【0016】上記の第4のニューラルネットワーク学習
方式の汎化テストにおいて、誤った出力信号を送出する
テスト用入力信号数が与えられたスレショルド以下にな
ると、それ以降の該反復学習において該学習用入力信号
に対して全て正しい出力信号が得られることを学習一時
停止条件として変更することを特徴としたニューラルネ
ットワーク学習方式。In the above-mentioned generalization test of the fourth neural network learning method, when the number of test input signals for transmitting an erroneous output signal becomes equal to or less than a given threshold, the learning input signal is obtained in the subsequent iterative learning. A neural network learning method characterized by changing, as a learning suspension condition, that all correct output signals can be obtained for signals.
【0017】上記説明のごとく本発明の学習方式は、教
師信号との対応関係が与えられた大量の入力信号の内、
例えば入力信号区分領域の中心的位置を形成するコアー
入力信号と区分境界領域に関係した学習用入力信号が反
復学習を繰り返すことにより自動的収集されることか
ら、非常に少ない数の学習用入力信号を構成できる為、
少ない演算量で高速に収束させられる。而も区分境界領
域に関係した学習用入力信号が用いられることからテス
ト用入力信号に対しても非常に高い汎化能力を持たせる
ことができる。As described above, according to the learning method of the present invention, among a large number of input signals given a correspondence with a teacher signal,
For example, since the core input signal forming the central position of the input signal segmentation area and the learning input signal related to the segmentation boundary area are automatically collected by repeating iterative learning, a very small number of learning input signals are obtained. Can be configured,
High-speed convergence can be achieved with a small amount of calculation. In addition, since a learning input signal related to the partition boundary region is used, a very high generalization ability can be provided even for a test input signal.
【0018】ここで、例えば、2値の教師信号を用いた
ニューラルネットワークを多値空間で完全に学習するこ
とを学習一時停止条件とし、更に汎化テストにおけるテ
スト用入力信号に対して全て正解となるまで反復学習を
繰り返すことにより、2値教師信号との対応関係が与え
られた大量の入力信号に対して100%正しい2値出力
を送出できるよう2値多層ニューラルネットワークを非
常に少ない学習用入力信号で学習させることが出来る。Here, for example, complete learning of a neural network using a binary teacher signal in a multi-valued space is set as a learning suspension condition. By repeating iterative learning until a large number of input signals given a correspondence with the binary teacher signal, a binary multi-layer neural network can be input with a very small number of learning inputs so that a 100% correct binary output can be transmitted. You can learn with signals.
【0019】また、大量の入力信号が、学習用入力信号
とテスト用入力信号とに自動的に割り振られ、非常に少
ない学習用入力信号で収束させることができ、演算量の
大幅な削減が可能となると共に、割り振りに起因した過
学習やオーバーフィッティングが無くなり、非常に高い
汎化能力を持ったニューラルネットワークを実現でき
る。Further, a large amount of input signals are automatically allocated to a learning input signal and a test input signal, and can be converged with a very small number of learning input signals, so that the amount of calculation can be greatly reduced. As a result, over-learning and over-fitting caused by allocation are eliminated, and a neural network having extremely high generalization ability can be realized.
【0020】従って、従来方式では、大量の入力信号に
対して安定且つ高速に収束させることができず、所望の
出力信号を得ることが困難であったが、パターン認識や
画像処理などの領域に於て、本発明により完全に正しい
所望の出力を出すことができ、これまでの問題を解決で
きる。また、大規模なデータ変換や連想メモリなども容
易に適用することが可能となる。Therefore, in the conventional method, it was not possible to converge a large amount of input signals stably and at high speed, and it was difficult to obtain a desired output signal. According to the present invention, a completely correct desired output can be obtained, and the problems so far can be solved. In addition, large-scale data conversion, associative memory, and the like can be easily applied.
【0021】[0021]
【発明の実施の形態】以下に本発明の学習方式を用いた
多層ニューラルネットワークの実施例1及び2をあげ、
その構成及びその動作について、詳細に説明する。但
し、ニューラルネットワークは多層ニューラルネットワ
ークをまた、2値教師信号を用いた場合についてのみ例
をあげる。また、学習の際に用いられる重み係数更新方
式の1例として、高速収束が可能で高い汎化能力を与え
るバック・プロパゲーションを用いた誤差摂動切り替え
型重み係数更新方式(特願平07−77168(ニュー
ラルネットワーク学習方式))を前提に説明する。尚、
本発明の学習及び汎化テストからなる反復学習方式は、
2値教師信号だけに適用されるものではなく、具体的説
明は省略するが、多値あるいは連続値の教師信号に対し
ても適用できる。また、教師信号を用いるニューラルネ
ットワークであれば、多層ニューラルネットワークに限
らない。DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments 1 and 2 of a multilayer neural network using the learning method of the present invention will be described below.
The configuration and operation thereof will be described in detail. However, an example will be given only for a case where a neural network is a multilayer neural network and a binary teacher signal is used. Further, as an example of a weight coefficient updating method used in learning, an error perturbation switching type weight coefficient updating method using back propagation that enables high-speed convergence and provides high generalization ability (Japanese Patent Application No. 07-77168). (Neural network learning method)). still,
The iterative learning method comprising the learning and generalization test of the present invention is as follows:
The present invention is not applied only to the binary teacher signal, and a detailed description is omitted. The neural network is not limited to a multilayer neural network as long as it is a neural network using a teacher signal.
【0022】(実施例1)本発明の学習方式を用いた多
層ニューラルネットワークの反復学習の1実施例の構成
を図1に示す。教師信号との対応関係が与えられた入力
信号の一部を、学習用入力信号として記憶する学習用入
出力信号記憶装置16、初期設定では残り全てをテスト
用入力信号として記憶するテスト用入出力信号記憶装置
17、学習モードでは学習用入出力信号記憶装置16
を、テストモードではテスト用入出力信号記憶装置17
を選択接続し、端子2を介して入力信号を、また、端子
3を介して2値教師信号Tをそれぞれ多層ニューラルネ
ットワーク1へ入力する入力選択制御器18、入力信号
に対して出力層の出力ユニットから出力ユニット信号を
送出する多層ニューラルネットワーク1、2値教師信号
T、出力ユニット信号及び出力ユニット正誤検出信号の
下に誤差信号を生成する誤差信号生成器10、出力ユニ
ット信号を2値化し2値出力ユニット信号を出力する2
値スレショルド回路6、学習モードの時、誤差信号及び
重み係数更新情報を用いて多層ニューラルネットワーク
1の重み係数を更新し設定する重み係数制御器5、学習
モードでは2値教師信号T及び2値出力ユニット信号間
の各出力ユニットにおける正誤を示す出力ユニット正誤
検出信号を出力すると共に、全ての学習用入力信号に対
応した2値出力ユニット信号と2値教師信号との一致を
示す学習収束検出信号(2値空間での収束を意味する)
を出力し、また、不一致の際には学習未収束検出信号
(未収束を意味する)を出力し、テストモードでは、全
てのテスト用入力信号に対応した2値出力ユニット信号
と2値教師信号との一致を示すテスト収束検出信号を、
或いは、不一致を示すテスト未収束検出信号を送出する
正誤検出器11、学習モードの時、学習収束検出信号が
入力されると、各出力ユニットに於て2値教師信号に対
する出力ユニット信号の余裕を求め、出力ユニット間で
その最小値を出力ユニット最小余裕とし、更に、全学習
用入力信号間での出力ユニット最小余裕の最小値を最小
余裕値として検出し出力する最小余裕検出器13、学習
モードの時、最初の学習収束検出信号が入力されると、
誤差摂動切り替え信号を誤差信号生成器10へ送出し、
その後、再び学習収束検出信号が入力されると、その時
の入力された最小余裕値が与えられたスレショルドを越
えれば、学習モードを一時停止させ、越えなければ学習
モードを継続させる判断を行う学習状態判定器14、多
層ニューラルネットワーク1、誤差信号生成器10、重
み係数制御器5、入力選択制御器18、学習状態判定器
14、最小余裕検出器13、学習用入出力信号記憶装置
16及びテスト用入出力信号記憶装置17に対して必要
に応じてパラメータ設定を行うと共に制御し、学習モー
ドとテストモードとをそれぞれ実行させる動作制御器1
2とから構成される。(Embodiment 1) FIG. 1 shows the configuration of an embodiment of iterative learning of a multilayer neural network using the learning method of the present invention. A learning input / output signal storage device 16 for storing a part of an input signal given a correspondence with a teacher signal as a learning input signal, and a test input / output for storing all the rest as test input signals in an initial setting. A signal storage device 17, a learning input / output signal storage device 16 in the learning mode;
In the test mode, the test input / output signal storage device 17
, And an input selection controller 18 for inputting an input signal via a terminal 2 and a binary teacher signal T via a terminal 3 to the multilayer neural network 1, respectively. A multi-layer neural network 1 for sending an output unit signal from the unit, a binary teacher signal T, an error signal generator 10 for generating an error signal under the output unit signal and the output unit correct / wrong detection signal, and binarization of the output unit signal 2 Output value output unit signal 2
A value threshold circuit 6, a weighting factor controller 5 for updating and setting the weighting factor of the multilayer neural network 1 using the error signal and the weighting factor update information in the learning mode, a binary teacher signal T and a binary output in the learning mode A learning convergence detection signal (corresponding to a binary output unit signal corresponding to all learning input signals and a binary teacher signal) while outputting an output unit correct / error detection signal indicating correctness of each output unit between the unit signals. (Means convergence in binary space)
And outputs a learning non-convergence detection signal (meaning non-convergence) when they do not match. In the test mode, a binary output unit signal and a binary teacher signal corresponding to all the test input signals are output. A test convergence detection signal indicating a match with
Alternatively, the correctness / error detector 11 which outputs a test unconvergence detection signal indicating a mismatch, and in the learning mode, when a learning convergence detection signal is input, each output unit increases the margin of the output unit signal with respect to the binary teacher signal. A minimum margin detector 13 which determines the minimum value among the output units, sets the minimum value as the output unit minimum margin between the output units, and detects and outputs the minimum value of the output unit minimum margin between all the learning input signals as the minimum margin value; , When the first learning convergence detection signal is input,
Sending an error perturbation switching signal to the error signal generator 10;
After that, when the learning convergence detection signal is input again, the learning mode in which the learning mode is temporarily stopped when the input minimum margin value exceeds a given threshold, and the learning mode is determined to be continued when the minimum margin value does not exceed the given threshold. Judgment unit 14, multilayer neural network 1, error signal generator 10, weight coefficient controller 5, input selection controller 18, learning state judgment unit 14, minimum margin detector 13, learning input / output signal storage unit 16, and test An operation controller 1 that sets and controls parameters as needed for the input / output signal storage device 17 and executes a learning mode and a test mode, respectively.
And 2.
【0023】次に、これらの動作を順に説明する。先
ず、学習モードが設定された際の動作を説明する。動作
制御器12からの制御の下に、入力選択制御器18を介
して学習用入出力信号記憶装置16を端子2に接続し、
学習用入力信号を多層ニューラルネットワーク1に入力
し出力ユニット信号を送出させ、正誤検出器11で2値
スレショルド回路6を介して得られた2値出力ユニット
信号と端子3からの2値教師信号Tとを比較し、2値出
力ユニット信号の出力ユニット毎の正誤検出を行い、出
力ユニット正誤検出信号を誤差信号生成器10へ送出す
る。Next, these operations will be described in order. First, the operation when the learning mode is set will be described. Under the control of the operation controller 12, the learning input / output signal storage device 16 is connected to the terminal 2 via the input selection controller 18,
The input signal for learning is input to the multilayer neural network 1 to output an output unit signal. The binary output unit signal obtained by the correctness detector 11 via the binary threshold circuit 6 and the binary teacher signal T from the terminal 3 are output. , And correct / incorrect detection of the binary output unit signal is performed for each output unit, and an output unit correct / incorrect detection signal is sent to the error signal generator 10.
【0024】誤差信号生成器10では、摂動領域と呼ば
れる2値教師信号Tから摂動レベル程離れた領域が予め
設けられており、出力ユニット正誤検出信号をもとに、
正しい2値出力ユニット信号を出力している出力ユニッ
トにおいて、出力ユニット信号がこの摂動領域内に入っ
ていると、2値教師信号Tから出力ユニット信号を差し
引いて得られた誤差の極性とは逆極性で、且つ出力ユニ
ット信号と摂動レベルとの差からなる振幅を持った誤差
信号を生成し重み係数制御器5へ出力する。一方、出力
ユニット信号が摂動領域外の場合には、摂動レベルから
出力ユニット信号を差し引いて得られた誤差を誤差信号
とする。また、誤った出力ユニット信号を出力している
出力ユニットにおいては、2値教師信号からその出力ユ
ニット信号を差し引いて得られた誤差を誤差信号として
重み係数制御器5へ出力させる。In the error signal generator 10, a region called a perturbation region, which is apart from the binary teacher signal T by a perturbation level, is provided in advance, and based on the output unit correct / incorrect detection signal,
In an output unit that is outputting a correct binary output unit signal, if the output unit signal is within this perturbation region, the polarity of the error is opposite to the polarity of the error obtained by subtracting the output unit signal from the binary teacher signal T. An error signal having a polarity and an amplitude that is the difference between the output unit signal and the perturbation level is generated and output to the weight coefficient controller 5. On the other hand, when the output unit signal is outside the perturbation region, an error obtained by subtracting the output unit signal from the perturbation level is used as an error signal. Further, in an output unit outputting an erroneous output unit signal, an error obtained by subtracting the output unit signal from the binary teacher signal is output to the weight coefficient controller 5 as an error signal.
【0025】重み係数制御器5では、この誤差摂動型誤
差信号を用いて、例えば、バック・プロパゲーション・
アルゴリズムにより重み係数修正を行い、誤差信号の電
力が最小となるよう学習を繰り返す。正しい2値出力ユ
ニット信号を送出している出力ユニットでの出力ユニッ
ト信号が2値教師信号に非常に近いと、その誤差信号の
極性を逆にし、一方、大きく離れている場合は、誤差信
号の極性はそのままで振幅を小さくして、重み係数を更
新することから、安定したローカルミニマムに落ち込み
にくく、初期値依存性も非常に小さくなり、少ない学習
回数で完全に正しい2値出力ユニット信号を送出し、素
早く2値空間で収束状態になると共に、更に、2値空間
収束が一旦得られると摂動レベルを零に切り替え、通常
の誤差信号を用いて重み係数修正を継続させることによ
り、非常に高い汎化能力を実現できる。The weight coefficient controller 5 uses the error perturbation type error signal to perform, for example, a back propagation
The weight coefficient is corrected by an algorithm, and learning is repeated so that the power of the error signal is minimized. If the output unit signal at the output unit that is sending the correct binary output unit signal is very close to the binary teacher signal, the polarity of the error signal is reversed. Since the amplitude is reduced while maintaining the polarity and the weight coefficient is updated, it is difficult to fall into a stable local minimum, the initial value dependence is extremely small, and a completely correct binary output unit signal is transmitted with a small number of learnings. The convergence state is quickly obtained in the binary space, and furthermore, once the binary space convergence is obtained, the perturbation level is switched to zero, and the weight coefficient correction is continued by using the normal error signal, thereby achieving a very high level. Generalization ability can be realized.
【0026】上記の如く学習モードにおいて重み係数更
新を繰り返し、正誤検出器11において、全ての学習入
力信号に対応した2値出力ユニット信号が2値教師信号
と一致していることが検出されると、2値空間で収束し
ていることから学習収束検出信号を学習状態判定器14
へ送出する。収束していない場合には、動作制御器12
へ学習未収束検出信号を送り、重み係数更新を更に行わ
せる為、学習を継続実行させる。As described above, the updating of the weighting coefficient is repeated in the learning mode, and when the correctness detector 11 detects that the binary output unit signals corresponding to all the learning input signals match the binary teacher signal. , The learning convergence detection signal is converted to the learning state determiner 14
Send to If not converged, the operation controller 12
The learning non-convergence detection signal is sent to, and the learning is continuously executed in order to further update the weight coefficient.
【0027】一旦収束すると、学習状態判定器14は、
正誤検出器11からの学習収束信号に従い誤差信号生成
器10に誤差摂動切り替え信号を送り、誤差摂動機能を
停止させる為、摂動レベルを零に切り替えて誤差信号を
求めて重み係数制御器5へ渡し重み係数更新を継続実行
させる。Once converged, the learning state determiner 14
An error perturbation switching signal is sent to the error signal generator 10 in accordance with the learning convergence signal from the true / false detector 11, and in order to stop the error perturbation function, the perturbation level is switched to zero to obtain an error signal and pass it to the weight coefficient controller 5. The weight coefficient update is continuously executed.
【0028】その後、再び収束すると学習収束検出信号
が正誤検出器11から最小余裕検出器13及び学習状態
判定器14へ入力される。最小余裕検出器13では、全
ての学習用入力信号に於ける最小余裕値を求め学習状態
判定器14へ送出する。学習状態判定器14では、2値
空間で収束した状態のもとで、この最小余裕値が与えら
れたスレショルドより大きければ、高い汎化能力が得ら
れたとみなして学習モードの一時停止要求を動作制御器
12へ送り、動作制御器12に学習モードをテストモー
ドに切り替えさせる。Thereafter, when convergence is achieved again, a learning convergence detection signal is input from the true / false detector 11 to the minimum margin detector 13 and the learning state determiner 14. The minimum margin detector 13 finds the minimum margin value in all the learning input signals and sends it to the learning state determiner 14. Under the state converged in the binary space, if the minimum margin value is larger than a given threshold, the learning state determiner 14 considers that a high generalization ability has been obtained and operates the learning mode pause request. The learning mode is sent to the controller 12, and the operation controller 12 switches the learning mode to the test mode.
【0029】次に、動作制御器12により学習モードが
一時停止されると、テストモードにし、個々のテスト用
入力信号に対する2値出力ユニット信号と2値教師信号
とを比較し、汎化特性を調べる。この為、動作制御器1
2の制御の下に、入力選択制御器18を制御してテスト
用入出力信号記憶装置17を接続し、テスト用入力信号
を端子2を介して多層ニューラルネットワーク1に入力
する。正誤検出器11において、教師信号に対する2値
出力ユニット信号の正誤検出を行い、2値出力ユニット
信号に誤りがある場合には、動作制御器12にテスト用
入力信号の移植要求を送り、その時のテスト用入力信号
をテスト用入出力信号記憶装置17から学習用入出力信
号記憶装置16へ移し学習用入力信号として追加するよ
う制御させる。全てのテスト用入力信号に対する2値出
力ユニット信号の正誤検出が完了し、それまでに誤りが
検出されておれば動作制御器12へテスト未収束検出信
号を送出し、再度学習を実行するよう動作制御器12に
要求する。動作制御器12は学習モードを設定し、新た
に設定された学習用入力信号を用いて上記の学習過程を
再度繰り返えさせる。一方、正誤検出器11において、
全てのテスト用入力信号に対する2値出力ユニット信号
が2値教師信号と一致した状態が検出されると、テスト
収束検出信号を動作制御器12に送出する。Next, when the learning mode is temporarily stopped by the operation controller 12, the test mode is set and the binary output unit signal corresponding to each test input signal and the binary teacher signal are compared to determine the generalization characteristic. Find out. Therefore, the operation controller 1
Under the control of 2, the input selection controller 18 is controlled to connect the test input / output signal storage device 17, and the test input signal is input to the multilayer neural network 1 via the terminal 2. The correctness detector 11 detects the correctness of the binary output unit signal with respect to the teacher signal, and when there is an error in the binary output unit signal, sends a test input signal transplant request to the operation controller 12. The test input signal is transferred from the test input / output signal storage device 17 to the learning input / output signal storage device 16 and is controlled to be added as a learning input signal. Correctness detection of binary output unit signals for all test input signals is completed, and if an error has been detected by that time, a test non-convergence detection signal is sent to the operation controller 12 to perform learning again. Request to controller 12. The operation controller 12 sets the learning mode and causes the learning process to be repeated again using the newly set learning input signal. On the other hand, in the true / false detector 11,
When a state in which the binary output unit signals for all the test input signals match the binary teacher signal is detected, a test convergence detection signal is sent to the operation controller 12.
【0030】上記のように構成し動作させることによ
り、汎化能力の不足により誤りを発生しているテスト用
入力信号はその2値出力ユニット信号の区分けの境界領
域にあり、2値空間での収束に大きく影響を与えてい
る。このことから、これを学習用入力信号として、追加
して2値空間で収束するよう学習させることにより、多
層ニューラルネットワーク1の区分け境界領域が正しく
生成されることになる。尚、初期設定として、教師信号
との対応関係が与えられた入力信号の一部を学習用入力
信号として割り当てる際に、2値出力ユニット信号が表
し得るすべての出力パターンを教師信号として用意し、
それぞれに少なくとも1つの学習入力信号をコアーとし
て割り当てることにより、各反復学習で発生する誤りが
少なくなり、而も繰り返し回数を減すことができる。ま
た、反復学習終了後の汎化能力も高くできる。By configuring and operating as described above, the test input signal which is erroneous due to lack of generalization ability is in the boundary area of the division of the binary output unit signal, and is in the binary space. It greatly affects convergence. From this, by adding this as an input signal for learning and learning so as to converge in the binary space, the segmentation boundary region of the multilayer neural network 1 is correctly generated. In addition, as an initial setting, when assigning a part of the input signal given the correspondence with the teacher signal as the learning input signal, all output patterns that can be represented by the binary output unit signal are prepared as the teacher signal,
By allocating at least one learning input signal to each as a core, errors occurring in each repetitive learning are reduced, and the number of repetitions can be reduced. In addition, the generalization ability after the completion of the iterative learning can be increased.
【0031】上記の説明の如くこの一連の学習及び汎化
テストからなる反復学習を繰り返し実行することによ
り、正しい区分け境界領域を形成する入力信号が自動的
に学習用入力信号として収集され、従来のように学習用
入力信号とテスト用入力信号の不適切な切り分けは無く
なる。また、テストモードで誤りが無くなると、反復学
習を終了させることにより、教師信号との対応関係が与
えられた全ての入力信号に対して100%正しい2値出
力ユニット信号を出力でき、2値空間で完全に収束させ
ることが出来る。この時、全入力信号に対する学習用入
力信号の割合は2値出力ユニット信号の区分けの境界領
域に関係したものだけで良く、シミュレーションによる
と数%である。As described above, by repeatedly executing the repetitive learning including the series of learning and the generalization test, an input signal forming a correct segmentation boundary region is automatically collected as a learning input signal. As described above, the improper separation between the learning input signal and the test input signal is eliminated. When no errors are found in the test mode, the iterative learning is terminated, so that a binary output unit signal that is 100% correct can be output for all the input signals given the correspondence with the teacher signal. Can be completely converged. At this time, the ratio of the learning input signal to all the input signals only needs to be related to the boundary region of the division of the binary output unit signal, and is several% according to the simulation.
【0032】従って、学習の為の必要演算量を大幅に削
減することができる。而も、境界領域の入力信号に対し
て高速に収束しており、未知の入力信号に対しても非常
に高い汎化特性を与えることができる。このことから、
教師信号との対応が明らかな大量の入力信号がデータベ
ースから得られる場合に、非常に有効な学習方式が提供
できることを意味する。これにより、従来、ニューラル
ネットワークで実現が困難であった高精度の大規模パタ
ーン認識や完全な精度が要求される各種エキスパートシ
ステムやデータ変換などを容易に実現できる。Therefore, the amount of calculation required for learning can be greatly reduced. Also, the input signal in the boundary region converges at a high speed, and an extremely high generalization characteristic can be given to an unknown input signal. From this,
This means that a very effective learning method can be provided when a large amount of input signals clearly corresponding to the teacher signal are obtained from the database. As a result, it is possible to easily realize high-precision large-scale pattern recognition, various expert systems requiring complete accuracy, data conversion, and the like, which were conventionally difficult to realize using a neural network.
【0033】(実施例2)本発明の学習方式を用いた多
層ニューラルネットワークの反復学習の第2の実施例の
構成を図3に示す。2値教師信号との対応関係が与えら
れた入力信号の一部を、学習用入力信号として記憶する
学習用入出力信号記憶装置16、初期設定では残り全て
をテスト用入力信号として記憶するテスト用入出力信号
記憶装置17、学習モードでは学習用入出力信号記憶装
置16を、テストモードではテスト用入出力信号記憶装
置17を選択接続し、端子2を介して入力信号を、ま
た、端子3を介して2値教師信号Tをそれぞれ多層ニュ
ーラルネットワーク1へ入力する入力選択制御器18、
入力信号に対して出力層の出力ユニットから出力ユニッ
ト信号を送出する多層ニューラルネットワーク1、2値
教師信号T、出力ユニット信号、出力ユニット正誤検出
信号の下に誤差信号を生成する誤差信号生成器10、出
力ユニット信号を2値化し2値出力ユニット信号を出力
する2値スレショルド回路6、学習モードの時、誤差信
号及び重み係数更新の為の情報を用いて多層ニューラル
ネットワーク1の重み係数を更新し設定する重み係数制
御器5、学習モードでは2値教師信号T及び2値出力ユ
ニット信号間の各出力ユニットにおける正誤を示す出力
ユニット正誤検出信号を誤差信号生成器10へ出力する
と共に、全ての学習用入力信号に対応した2値出力ユニ
ット信号と2値教師信号との一致を示す学習収束検出信
号(2値空間での収束を意味する)を出力し、不一致の
場合には学習未収束検出信号(未収束を意味する)を出
力し、テストモードでは、テスト用入力信号に対する2
値出力ユニット信号の正誤を示す正誤信号を送出する正
誤検出器19、学習モード時には学習収束検出信号が入
力されると、各出力ユニットに於て2値教師信号に対す
る出力ユニット信号の余裕を求め、出力ユニット間での
その最小値を出力ユニット最小余裕とし、全学習用入力
信号に対する出力ユニット最小余裕とそれらの出力ユニ
ット最小余裕の最小値を最小余裕値として検出し出力
し、テストモード時には入力された正誤信号の従って正
解の出力ユニット信号の出力ユニット最小余裕を送出す
る最小余裕検出器20、学習モードの時、最初の学習収
束検出信号が入力されると、誤差摂動切り替え信号を誤
差信号生成器10へ送出し、その後、再び学習収束検出
信号が入力されると、その時入力された最小余裕値が与
えられたスレショルドを越えれば、出力ユニット最小余
裕が設定されたスレショルドを越えている学習用入力信
号を全て余裕入出力信号記憶装置23へ移し記憶させた
後、学習モードを一時停止させる制御信号を送出し、最
小余裕値が越えてなければ学習モードを継続させる制御
信号を出力し、テストモードの時には、テスト用入力信
号に対する出力ユニット信号の出力ユニット最小余裕が
スレショルドを越えておれば、そのテスト用入力信号を
テスト用入出力信号記憶装置17から余裕入出力信号記
憶装置23へ移し記憶させ、入力された正誤検出信号か
ら2値出力ユニット信号に誤りがないことが明かとなる
と、反復学習を終了させる制御信号を送出し、あれば反
復学習を継続させる制御信号を送出する学習状態判定器
21、多層ニューラルネットワーク1、誤差信号生成器
10、重み係数制御器5、入力選択制御器18、学習状
態判定器21、最小余裕検出器20、学習用入出力信号
記憶装置16テスト用入出力信号記憶装置17及び余裕
入出力信号記憶装置23に対して必要に応じてパラメー
タ設定を行うと共にそれぞれ制御し、学習モードとテス
トモードとを実行させる動作制御器22とから構成され
る。(Embodiment 2) FIG. 3 shows the configuration of a second embodiment of the iterative learning of a multilayer neural network using the learning method of the present invention. A learning input / output signal storage device 16 for storing a part of an input signal given a correspondence relationship with a binary teacher signal as a learning input signal, and a test for storing all the rest as test input signals in an initial setting. The input / output signal storage device 17, the learning input / output signal storage device 16 in the learning mode, and the test input / output signal storage device 17 in the test mode are selectively connected, and the input signal via the terminal 2 and the terminal 3 are connected. An input selection controller 18 for inputting the binary teacher signal T to the multilayer neural network 1 via
Multi-layer neural network 1 for sending an output unit signal from an output unit of an output layer in response to an input signal, binary signal T, an output unit signal, and an error signal generator 10 for generating an error signal under the output unit correct / false detection signal A binary threshold circuit 6 for binarizing an output unit signal and outputting a binary output unit signal, and in a learning mode, updates a weight coefficient of the multilayer neural network 1 using an error signal and information for updating a weight coefficient. The weight coefficient controller 5 to be set, in the learning mode, outputs an output unit correct / incorrect detection signal indicating the correctness of each output unit between the binary teacher signal T and the binary output unit signal to the error signal generator 10, and performs all learning. Learning convergence detection signal (in a binary space) indicating a match between the binary output unit signal corresponding to the input signal for use and the binary teacher signal. Outputs means flux), in the case of disagreement outputs learning non convergence detection signal (meaning non-convergence) in the test mode, 2 for testing input signal
A true / false detector 19 for sending a true / false signal indicating the true / false of the value output unit signal. When a learning convergence detection signal is input in the learning mode, a margin of the output unit signal with respect to the binary teacher signal is obtained in each output unit. The minimum value between the output units is defined as the output unit minimum margin.The minimum output unit minimum margin for all input signals for learning and the minimum value of those output unit minimum margins are detected and output as the minimum margin value. The minimum margin detector 20, which outputs the output unit minimum margin of the correct output unit signal in accordance with the correct / incorrect signal, in the learning mode, when the first learning convergence detection signal is input, converts the error perturbation switching signal to the error signal generator. 10, and when the learning convergence detection signal is input again, the threshold value given the minimum margin value input at that time is given. Is exceeded, all the learning input signals whose output unit minimum margin exceeds the set threshold are transferred to the margin input / output signal storage device 23 and stored, and then a control signal for temporarily stopping the learning mode is sent out. If the margin value is not exceeded, a control signal for continuing the learning mode is output.In the test mode, if the output unit minimum margin of the output unit signal with respect to the test input signal exceeds the threshold, the test input signal is output. A control signal for terminating iterative learning when the input / output detection signal indicates that there is no error in the binary output unit signal from the test input / output signal storage device 17 to the margin input / output signal storage device 23 for storage. Learning state determiner 21 that sends a control signal to continue iterative learning if any, and multi-layer neural network 1 Error signal generator 10, weight coefficient controller 5, input selection controller 18, learning state determiner 21, minimum margin detector 20, learning input / output signal storage device 16, test input / output signal storage device 17, and margin input / output The signal storage device 23 includes an operation controller 22 that sets parameters as necessary and controls the signal storage device 23 to execute a learning mode and a test mode.
【0034】次に、これらの動作を順に説明する。先
ず、学習モードにおける動作を説明する。動作制御器2
2からの制御の下に、入力選択制御器18を介して学習
用入出力信号記憶装置16を端子2に接続し、学習用入
力信号を多層ニューラルネットワーク1に入力し出力ユ
ニット信号を送出させ、正誤検出器19で2値スレショ
ルド回路6を介して得られた2値出力ユニット信号と端
子3からの2値教師信号Tと比較し2値出力ユニット信
号の出力ユニット毎の正誤検出を行い、出力ユニット正
誤検出信号を誤差信号生成器10へ送出する。Next, these operations will be described in order. First, the operation in the learning mode will be described. Motion controller 2
Under the control of 2, the learning input / output signal storage device 16 is connected to the terminal 2 via the input selection controller 18, the learning input signal is input to the multilayer neural network 1, and the output unit signal is transmitted. The correctness detector 19 compares the binary output unit signal obtained through the binary threshold circuit 6 with the binary teacher signal T from the terminal 3 to perform correctness detection for each output unit of the binary output unit signal, and outputs The unit correct / wrong detection signal is sent to the error signal generator 10.
【0035】誤差信号生成器10では、摂動領域と呼ば
れる2値教師信号Tから摂動レベル程離れた領域が予め
設けられており、出力ユニット正誤検出信号をもとに、
正しい2値出力ユニット信号が検出された出力ユニット
において、出力ユニット信号がこの摂動領域内に入って
いると、2値教師信号Tから出力ユニット信号を差し引
いて得られた誤差の極性とは逆極性で、且つ出力ユニッ
ト信号と摂動レベルとの差からなる振幅を持った誤差信
号を生成し重み係数制御器5へ出力させる。一方、出力
ユニット信号が摂動領域外の場合には摂動レベルから出
力ユニット信号を差し引いて得られた誤差を誤差信号と
する。また、誤った出力ユニット信号を出力している出
力ユニットにおいては、2値教師信号からその出力ユニ
ット信号を差し引いて得られた誤差を誤差信号として重
み係数制御器5へ出力させ、重み係数を更新する。In the error signal generator 10, a region called a perturbation region, which is separated from the binary teacher signal T by a perturbation level, is provided in advance, and based on the output unit correct / incorrect detection signal,
In an output unit in which a correct binary output unit signal is detected, if the output unit signal falls within this perturbation region, the polarity is opposite to the polarity of the error obtained by subtracting the output unit signal from the binary teacher signal T. Then, an error signal having an amplitude consisting of the difference between the output unit signal and the perturbation level is generated and output to the weight coefficient controller 5. On the other hand, when the output unit signal is outside the perturbation region, an error obtained by subtracting the output unit signal from the perturbation level is used as an error signal. In addition, in the output unit outputting an erroneous output unit signal, an error obtained by subtracting the output unit signal from the binary teacher signal is output to the weight coefficient controller 5 as an error signal, and the weight coefficient is updated. I do.
【0036】正誤検出器19において、全ての学習入力
信号に対応した出力ユニット信号が2値教師信号と一致
していることが検出されると、2値空間で収束している
ことから学習収束検出信号を学習状態判定器21へ送出
する。収束していない場合には、動作制御器22へ学習
未収束検出信号を送り、重み係数更新を行わせる為学習
を継続実行させる。When the correctness detector 19 detects that the output unit signals corresponding to all the learning input signals coincide with the binary teacher signal, it converges in the binary space, so that the learning convergence detection is performed. The signal is sent to the learning state determiner 21. If the convergence has not occurred, a learning non-convergence detection signal is sent to the operation controller 22, and the learning is continuously executed to update the weight coefficient.
【0037】学習状態判定器14は、正誤検出器19か
ら入力された初回の学習収束信号に従い、誤差信号生成
器10に誤差摂動切り替え信号を送り、誤差摂動機能を
停止させる為、摂動レベルを零に切り替えて誤差信号を
求めて重み係数制御器5へ渡し重み係数更新を継続実行
させる。その後、再び収束すると正誤検出器19から学
習収束検出信号が最小余裕検出器20及び学習状態判定
器21へ入力される。最小余裕検出器20では、全学習
用入力信号毎の出力ユニット最小余裕とこの中での最小
値である最小余裕値とを求め、学習状態判定器21へ送
出する。学習状態判定器21では、2値空間で収束した
状態のもとでこの最小余裕値が与えられたスレショルド
より大きければ、出力ユニット最小余裕が設定されたス
レショルドを越えている学習用入出力信号を余裕入出力
信号記憶装置23へ移し記憶させるよう制御信号を送出
した後、学習モードを一時停止させる制御信号を動作制
御器22へ送り、学習モードをテストモードに切り替え
させる。最小余裕値がスレショルドを越えてなければ、
そのまま学習モードを継続し学習させる為の制御信号を
動作制御器22へ送出する。The learning state determiner 14 sends an error perturbation switching signal to the error signal generator 10 according to the first learning convergence signal input from the true / false detector 19, and sets the perturbation level to zero in order to stop the error perturbation function. And the error signal is obtained and passed to the weight coefficient controller 5 to continuously execute the weight coefficient update. Thereafter, when the convergence is again achieved, a learning convergence detection signal is input from the correctness / error detector 19 to the minimum margin detector 20 and the learning state determiner 21. The minimum margin detector 20 finds the output unit minimum margin for each input signal for all learning and the minimum margin value that is the minimum value among them, and sends them to the learning state determiner 21. If the minimum margin value is larger than a given threshold under a state converged in a binary space, the learning state determiner 21 determines a learning input / output signal whose output unit minimum margin exceeds the set threshold. After transmitting a control signal to the margin input / output signal storage device 23 for storage, a control signal for temporarily stopping the learning mode is sent to the operation controller 22 to switch the learning mode to the test mode. If the minimum margin does not exceed the threshold,
A control signal for continuing the learning mode and learning is sent to the operation controller 22 as it is.
【0038】次に、動作制御器12により学習モードが
一時停止されると、テストモードにし、個々のテスト用
入力信号に対する2値出力ユニット信号と2値教師信号
とを比較し、汎化特性を調べる。この為、動作制御器1
2の制御の下に、入力選択制御器18を制御してテスト
用入出力信号記憶装置17を接続し、テスト用入力信号
を端子2を介して多層ニューラルネットワーク1に入力
する。正誤検出器19において、2値出力ユニット信号
の正誤検出を行い、2値出力ユニット信号に誤りがある
場合には、そのテスト用入力信号をテスト用入出力記憶
装置17から学習用入出力記憶装置16へ移植し学習用
入力信号として追加するよう制御信号を動作制御器22
に送る。更に、正誤検出器19は最小余裕検出器20及
び学習状態検出器21に正誤検出信号を送り、最小余裕
検出器20では、全テスト用入力信号に対応した2値出
力ユニット信号の内、正しい2値出力ユニット信号に対
して出力ユニット最小余裕を求め学習状態検出器21へ
送出する。学習状態検出器21では、出力ユニット信号
最小余裕がスレショルドを越えているテスト用入出力信
号をテスト用入出力記憶装置17から余裕入出力記憶装
置23へ移し記憶させるよう制御信号を動作制御器22
へ送出する。Next, when the learning mode is temporarily stopped by the operation controller 12, the test mode is set, and the binary output unit signal for each test input signal and the binary teacher signal are compared, and the generalization characteristic is determined. Find out. Therefore, the operation controller 1
Under the control of 2, the input selection controller 18 is controlled to connect the test input / output signal storage device 17, and the test input signal is input to the multilayer neural network 1 via the terminal 2. The correctness detector 19 detects whether the binary output unit signal is correct or not. If there is an error in the binary output unit signal, the test input signal is transferred from the test input / output storage device 17 to the learning input / output storage device. The control signal is transferred to the operation controller 22 so as to be added to the learning input signal 16 and added as a learning input signal.
Send to Further, the true / false detector 19 sends a true / false detection signal to the minimum margin detector 20 and the learning state detector 21, and the minimum margin detector 20 outputs the correct two of the binary output unit signals corresponding to all the test input signals. The minimum margin of the output unit is determined for the value output unit signal and sent to the learning state detector 21. In the learning state detector 21, the control signal is moved so that the test input / output signal whose output unit signal minimum margin exceeds the threshold from the test input / output storage device 17 to the margin input / output storage device 23 and stored.
Send to
【0039】その後、正誤検出信号によって誤りが検出
されておれば、動作制御器12へテスト未収束検出信号
を送出し、学習及び汎化テストからなる反復学習を再度
実行するよう動作制御器22に要求する。これに従い動
作制御器22は学習モードを設定し、新たに設定された
学習用入力信号を用いて、汎化テストに対しても新たに
設定されたテスト用入力信号に対して汎化テストを実行
し上記の反復学習過程を繰り返えさせる。一方、学習状
態判定器21において、全てのテスト用入力信号に対す
る2値出力ユニット信号が2値教師信号と一致した状態
を正誤検出信号をもとに検出すると、動作制御器22に
テスト収束検出信号を送出し、反復学習過程を全て終了
させる。Thereafter, if an error is detected by the true / false detection signal, a test non-convergence detection signal is sent to the operation controller 12, and the operation controller 22 is caused to execute the iterative learning including the learning and the generalization test again. Request. In accordance with this, the operation controller 22 sets the learning mode, and executes the generalization test on the newly set test input signal also for the generalization test using the newly set learning input signal. Then, the above iterative learning process is repeated. On the other hand, when the learning state determiner 21 detects a state in which the binary output unit signals for all the test input signals match the binary teacher signal based on the correct / false detection signal, the operation controller 22 sends the test convergence detection signal to the operation controller 22. Is sent to end the iterative learning process.
【0040】上記のように構成し動作させることによ
り、汎化能力の不足により誤りを発生しているテスト用
入力信号は、その2値出力ユニット信号の区分けの境界
領域にあり2値空間での収束に大きく影響を与えてい
る。このことから、これを学習用入力信号として、追加
して2値空間で収束するよう学習させることにより、多
層ニューラルネットワーク1の区分け境界領域が正しく
生成される。また、学習用入力信号及びテスト用入力信
号の中でその出力ユニット信号が正しく而も出力ユニッ
ト余裕がそれぞれスレショルドを越えておれば、正しく
区分けするために十分な余裕があることから、これらを
余裕入出力記憶装置23へ移し記憶させ、学習用入出力
記憶装置16及びテスト用入出力記憶装置17から削除
することにより、区分けの境界領域に関係した学習用及
びテスト用入出力信号のみを用いて学習と汎化テストを
実施することができ、演算量の更なる動作制御器22に
大幅な削減ができる。By configuring and operating as described above, the test input signal which is erroneous due to lack of generalization capability is located in the boundary area of the binary output unit signal division and in the binary space. It greatly affects convergence. From this, by adding this as an input signal for learning and learning so as to converge in the binary space, the segmentation boundary region of the multilayer neural network 1 is correctly generated. In addition, if the output unit signal of the learning input signal and the test input signal is correct and the output unit margins exceed the respective thresholds, there is sufficient margin to correctly classify them. By transferring and storing the data to the input / output storage device 23 and deleting it from the learning input / output storage device 16 and the test input / output storage device 17, only the learning and test input / output signals related to the boundary area of the division are used. Learning and generalization tests can be performed, and the amount of computation can be further reduced by the operation controller 22.
【0041】上記の説明の如くこの学習及び汎化テスト
からなる反復学習を繰り返し実行することにより、正し
い区分け境界領域を形成するに必要な入力信号が自動に
学習用入力信号及びテスト用入力信号として収集され、
従来のように学習用入力信号とテスト用入力信号の不適
切な切り分けは無くなると共に、学習や汎化テストの際
に十分正しく余裕をもった出力ユニットを削除すること
ができ、より大幅な演算量の削減の下で、テストモード
での誤りが完全に無くなると、反復学習を終了すること
により、全て正しい2値出力ユニット信号が得られるよ
う学習させることができる。従って、学習及び汎化テス
トの為の必要演算量の大幅な削減のもとに大量の入力信
号に対して2値空間で完全に収束させることが出来る。As described above, by repeatedly executing the iterative learning including the learning and the generalization test, input signals necessary to form a correct segmentation boundary region are automatically set as learning input signals and test input signals. Collected,
Inappropriate discrimination between the input signal for learning and the input signal for test as in the past is eliminated, and the output unit that has a sufficient margin can be deleted during learning and generalization tests. When the error in the test mode completely disappears under the reduction of the above, it is possible to perform learning so that all correct binary output unit signals can be obtained by terminating the iterative learning. Therefore, it is possible to completely converge a large amount of input signals in a binary space while significantly reducing the amount of computation required for learning and generalization tests.
【0042】ここでは、学習用及びテスト用入力信号の
内、正しい出力ユニット信号を送出するに十分な余裕を
持った(出力ユニット最小余裕が大きい)入力信号を余
裕入出力記憶装置23に移し、学習用及びテスト用入出
力信号記憶装置16及び17から削除したが、何れかの
入出力記憶装置16、17における削除だけでもよい。
また、十分な余裕を持った学習用入力信号をテスト用入
出力信号記憶装置17へ写しテスト用入力信号として使
用してもよい。Here, of the learning and test input signals, an input signal having a sufficient margin for transmitting a correct output unit signal (the output unit minimum margin is large) is moved to the margin input / output storage device 23. Although deleted from the learning and test input / output signal storage devices 16 and 17, only the deletion in any of the input / output storage devices 16 and 17 may be performed.
Further, a learning input signal having a sufficient margin may be copied to the test input / output signal storage device 17 and used as the test input signal.
【0043】尚、ここでは、全出力ユニット信号間での
出力ユニットの最小余裕値を用いて学習の一時停止を行
ったが、この代わりに全出力ユニット信号間での出力ユ
ニット信号の誤差電力あるいは誤差絶対値和を用いても
良い。また、誤差摂動切り替え型重み係数更新方式を用
いたが、通常の方式やその他の更新方式も当然適用でき
る。また、重み係数更新器5において、重み係数を更新
する際、バック・プロパゲーションの学習係数や慣性係
数をこれらを反復学習の状態によって調整してもよい。
例えば、反復学習が繰り返されると、学習係数を小さく
し、慣性係数を大きくし、学習係数と慣性係数との合計
が1となるように調整する。In this case, the learning is temporarily stopped by using the minimum margin value of the output unit between all the output unit signals. However, instead of this, the error power of the output unit signal or the error power of the output unit signal between all the output unit signals is used. The sum of absolute error values may be used. Further, although the error perturbation switching type weight coefficient updating method is used, a normal method or another updating method can be applied as a matter of course. When the weight coefficient is updated in the weight coefficient updater 5, the learning coefficient and the inertia coefficient of the back propagation may be adjusted according to the state of the iterative learning.
For example, when the iterative learning is repeated, the learning coefficient is reduced, the inertia coefficient is increased, and the adjustment is performed so that the sum of the learning coefficient and the inertia coefficient becomes 1.
【0044】実施例1及び2において、各反復学習の学
習モードでは全ての2値出力ユニット信号が教師信号と
一致し、2値空間での正解率が100%と完全収束する
ことを学習モードの一時停止条件としたが、これより低
い正解率を学習の一時停止条件とし、全テスト用入力信
号に対する正解率が設定されたスレショルドを越える
と、それ以降の反復学習での学習モードで2値空間での
完全収束を学習一時停止の条件としてもよい。In the first and second embodiments, in the learning mode of each iterative learning, it is determined that all the binary output unit signals coincide with the teacher signal, and the correct answer rate in the binary space completely converges to 100%. Although the correct answer rate was set as the pause condition for learning, and the correct answer rate for all test input signals exceeded a set threshold, the lower answer rate was set to the binary space in the learning mode in the subsequent iterative learning. May be used as a condition for suspending learning.
【0045】また、実施例1及び2において説明した本
発明の学習方式は、多層ニューラルネットワークを前提
に説明したが、教師信号を利用して学習させるニューラ
ルネットワークであれば、上記以外のニューラルネット
ワークを用いても良い。また、2値ニューラルネットワ
ークを例にあげ説明したが、多値や連続量を扱うニュー
ラルネットワークにおいても、教師信号に収束させる際
に、正解とみなす領域を設けることにより、上記と同様
な方式を適用でき一般の教師信号を用いたニューラルネ
ットワークの学習に対しても幅広く適用できる。Although the learning method of the present invention described in the first and second embodiments has been described on the premise of a multilayer neural network, any neural network other than the above can be used as long as the neural network is trained using a teacher signal. May be used. Also, a binary neural network has been described as an example, but in a neural network that handles multi-valued or continuous quantities, the same method as described above can be applied by providing a region regarded as a correct answer when converging on a teacher signal. It can be widely applied to neural network learning using general teacher signals.
【0046】高速に収束し、未知の入力信号に対しても
非常に高い汎化特性を与えることができ、教師信号との
対応が明らかな大量の入力信号がデータベースから得ら
れる場合に、非常に有効な学習方式として提供できるこ
とを意味する。従って、本発明の方式は、従来実現が困
難であったニューラルネットワークを用いた高精度の大
規模パターン認識や完全な精度が要求される各種エキス
パートシステムやデータ変換などに幅広く適用できる。When a large amount of input signals, which converge at high speed and can provide an unknown input signal with a very high generalization characteristic and have a clear correspondence with the teacher signal, can be obtained from the database, it becomes extremely This means that it can be provided as an effective learning method. Therefore, the method of the present invention can be widely applied to high-accuracy large-scale pattern recognition using a neural network, various expert systems requiring complete accuracy, data conversion, and the like, which have been difficult to realize conventionally.
【0047】[0047]
【発明の効果】以上述べたように、本発明のニューラル
ネットワークの学習方式において、非常に安定したロー
カルミニマムにも陥ることがなく、確実に2値空間で高
速に収束し、学習用入力信号に対して全て正しい出力信
号を送出する。更に、学習状態検出器26にて最小余裕
が最小余裕スレショルド値を越えると学習を停止させる
ことにより、過学習やオーバーフィッティングも非常に
小さく高い汎化特性を得ることができ、誤った2値出力
ユニット信号を送出するテスト用入力信号は少ない。こ
の誤りを発生しているテスト用入力信号を学習用入力信
号に移し追加して、再学習と再汎化テストを行う反復学
習を繰り返すことにより、テスト用入力信号に対する誤
った2値出力ユニット信号の数を次第に少なくでき、最
終的には零とすることができる。As described above, the neural network learning method of the present invention does not fall into a very stable local minimum, converges reliably in a binary space at a high speed, and generates a learning input signal. All correct output signals are sent. Further, by stopping the learning when the minimum margin exceeds the minimum margin threshold value in the learning state detector 26, over-learning and over-fitting are very small, and a high generalization characteristic can be obtained. There are few test input signals for sending unit signals. The erroneous binary output unit signal corresponding to the test input signal is obtained by transferring the test input signal in which the error has occurred to the learning input signal and adding it, and repeating the re-learning and iterative learning for performing the re-generalization test. Can be gradually reduced, and finally can be reduced to zero.
【0048】この時、学習用入力信号はコアーの入力信
号と出力を区分けする境界領域の入力信号のみから構成
され、その総数は非常に少なく、2値教師信号との対応
が与えられている全入力信号の数%程度である。従っ
て、高速に収束することと学習用入力信号数が少ないこ
とから、学習の為の演算量を大幅に削減でき、而も大量
の入力信号に対して100%正しい2値出力ユニット信
号を送出させることが出来る。At this time, the input signal for learning is composed only of the input signal of the core and the input signal of the boundary area for separating the output, and the total number is very small, and all the signals corresponding to the binary teacher signal are given. It is about several percent of the input signal. Therefore, since the convergence is performed at high speed and the number of input signals for learning is small, the amount of calculation for learning can be significantly reduced, and a 100% correct binary output unit signal can be transmitted for a large number of input signals. I can do it.
【0049】更に、正しい2値出力ユニット信号を送出
するのに十分な余裕を持った学習用入力信号及びテスト
用入力信号を反復学習が進むと共に削除し、学習用及び
テスト用入力信号とも区分けに関連した境界領域の入力
信号のみとすることにより、一段と演算量の削減ができ
る。Further, the learning input signal and the test input signal having a sufficient margin for transmitting the correct binary output unit signal are deleted as the repetitive learning progresses, and the learning input signal and the test input signal are separated. By using only the input signal of the related boundary area, the amount of calculation can be further reduced.
【0050】従来方式では大量の入力信号に対して2値
空間で全て正しく出力させることが不可能であったが、
本発明の学習方式を用いた多層ニューラルネットワーク
は、これを可能として、而も非常に少ない学習用入力信
号で、初期依存性もなく且つ高速かつ安定に収束し、大
幅な演算量の削減と共に全て所望の出力信号を送出する
ことができ、而も未知の入力信号に対する汎化能力も非
常に高い。In the conventional method, it was impossible to output all of a large amount of input signals correctly in a binary space.
The multi-layer neural network using the learning method of the present invention makes this possible, and converges quickly and stably with very few learning input signals, without initial dependence, and greatly reduces the amount of computation and A desired output signal can be transmitted, and generalization ability for an unknown input signal is also very high.
【0051】上記の説明の如く本発明のニューラルネッ
トワーク学習方式は極めて優れており、これを適用する
ことにより、従来技術では実現が困難であった2値空間
での迅速且つ完全な収束と高い汎化能力が要求されるパ
ターン認識や、エキスパートシステムなどの人口知能シ
ステム、検索システム、データ変換、連想メモリーなど
を容易に実現することができる。また、データ圧縮、画
像処理さらには通信システムなどへの応用もでき、非常
に幅広い応用と効果を与えることができる。As described above, the neural network learning method of the present invention is extremely excellent, and by applying this method, rapid and complete convergence in binary space and high generalization, which were difficult to realize with the prior art. It is possible to easily realize pattern recognition, which requires advanced capability, an artificial intelligence system such as an expert system, a search system, data conversion, and an associative memory. Further, the present invention can be applied to data compression, image processing, and even a communication system, so that a very wide range of applications and effects can be provided.
【図1】実施例1における本発明の学習方式を用いた2
値多層ニューラルネットワークの反復学習処理の1構成
例である。FIG. 1 is a diagram illustrating a second embodiment using a learning method according to the present invention in a first embodiment.
It is an example of 1 structure of the iterative learning process of a value multilayer neural network.
【図2】従来の学習方式による2値多層ニューラルネッ
トワークにおける学習処理の1構成例である。FIG. 2 is a configuration example of a learning process in a binary multilayer neural network according to a conventional learning method.
【図3】実施例2における本発明の学習方式を用いた2
値多層ニューラルネットワークの反復学習処理の1構成
例である。FIG. 3 illustrates a second example using the learning method according to the present invention in the second exemplary embodiment.
It is an example of 1 structure of the iterative learning process of a value multilayer neural network.
1 多層ニューラルネットワーク 2 入力信号入力端子 21 入力信号ユニット入力端子 22 入力信号ユニット入力端子 2N 入力信号ユニット入力端子 3 2値教師信号入力端子 31 教師信号ユニット入力端子 32 教師信号ユニット入力端子 3M 教師信号ユニット入力端子 4 減算器 41 減算器 42 減算器 4M 減算器 5 重み係数制御器 6 2値スレショルド回路 61 2値スレショルド回路 62 2値スレショルド回路 6M 2値スレショルド回路 7 2値出力信号出力端子 71 2値出力ユニット信号出力端子 72 2値出力ユニット信号出力端子 7M 2値出力ユニット信号出力端子 8 正誤検出器 9 動作制御器 10 誤差信号生成器 101 誤差信号生成器 102 誤差信号生成器 10M 誤差信号生成器 11 正誤検出器 12 動作制御器 13 最小余裕検出器 14 学習状態判定器 16 学習用入出力信号記憶装置 17 テスト用入出力信号記憶装置 18 入力選択制御器 19 正誤検出器 20 最小余裕検出器 21 学習状態判定器 22 動作制御器 23 余裕入出力信号記憶装置DESCRIPTION OF SYMBOLS 1 Multilayer neural network 2 Input signal input terminal 2 1 Input signal unit input terminal 2 2 Input signal unit input terminal 2 N input signal unit input terminal 3 Binary teacher signal input terminal 3 1 Teacher signal unit input terminal 3 2 Teacher signal unit input terminal 3 M teaching signal unit input terminal 4 subtracter 4 1 subtractor 4 second subtracter 4 M subtracter 5 weight coefficient controller 6 binary threshold circuit 61 binary threshold circuit 6 2 binary threshold circuit 6 M binary threshold Circuit 7 Binary output signal output terminal 7 1 Binary output unit signal output terminal 7 2 Binary output unit signal output terminal 7 M Binary output unit signal output terminal 8 True / false detector 9 Operation controller 10 Error signal generator 10 1 Error signal generator 10 2 Error signal generator 10 M error signal generator 11 True / false detector 12 Operation controller 13 Minimum margin detection Output unit 14 Learning state determination unit 16 Learning input / output signal storage unit 17 Test input / output signal storage unit 18 Input selection controller 19 True / false detector 20 Minimum margin detector 21 Learning state determination unit 22 Operation controller 23 Extra input / output Signal storage device
Claims (9)
ネットワークにおいて、 教師信号との対応関係が与えられた入力信号の内、初期
に代表的入力信号を学習用入力信号として選択し、学習
を実行し、学習停止条件を満たすまで学習を繰り返し、
該条件を満たすと学習を一時停止し、 汎化テストの為該学習用入力信号以外の残りの全ての入
力信号からなるテスト用入力信号に対する出力信号を
得、 該教師信号との正誤を判定し、誤った出力信号を送出し
ているテスト用入力信号を学習用入力信号に追加する為
移し、 再度学習と汎化テストとから構成される一連の反復学習
を繰り返し、 テスト用入力信号に対する出力信号の誤り数が与えられ
た基準を満たすと、反復学習を終了することを特徴とし
たニューラルネットワーク学習方式。In a neural network for learning using a teacher signal, a representative input signal is initially selected as an input signal for learning from input signals given a correspondence relationship with the teacher signal, and learning is performed. , Repeat learning until the learning stop condition is satisfied,
When the condition is satisfied, the learning is suspended, an output signal corresponding to the test input signal including all the remaining input signals other than the learning input signal is obtained for the generalization test, and the correctness of the teacher signal is determined. In order to add the test input signal that is sending the wrong output signal to the learning input signal, it is shifted, and a series of iterative learning consisting of learning and generalization tests is repeated again, and the output signal for the test input signal A neural network learning method characterized by terminating iterative learning when the number of errors of a given value satisfies a given criterion.
学習方式において、該学習を実行し、該学習提示条件を
満たした際、教師信号に対して正しい出力信号を送出し
ている該学習用入力信号の内、与えられたスレショルド
以上の正解を出力する余裕を持っている該学習用入力信
号を、該テスト用入力信号に追加する為移し、該反復学
習を行うことを特徴としたニューラルネットワーク学習
方式。2. The neural network learning method according to claim 1, wherein the learning is executed, and when the learning presentation condition is satisfied, a correct output signal is transmitted to the teacher signal. A neural network learning method characterized in that the learning input signal having a margin for outputting a correct answer equal to or higher than a given threshold is transferred to the test input signal in order to perform the iterative learning.
学習方式において、該学習を実行し、該学習停止条件を
満たした際、教師信号に対して正しい出力信号を送出し
ている該学習用入力信号の内、与えられたスレショルド
以上の正解を出力する余裕を持っている該学習用入力信
号を、それ以降の該反復学習から除去することを特徴と
したニューラルネットワーク学習方式。3. The neural network learning method according to claim 1, wherein the learning is performed, and when the learning stop condition is satisfied, a correct output signal is transmitted to the teacher signal. A neural network learning method characterized in that the learning input signal having a margin for outputting a correct answer equal to or higher than a given threshold is removed from the subsequent iterative learning.
ットワーク学習方式において、該汎化テストを実行した
際、該教師信号に対して正しい出力信号を送出している
該テスト用入力信号の内、与えられたスレショルド以上
の正解を出力する余裕を持っている該テスト用入力信号
を、それ以降の該反復学習から除去することを特徴とし
たニューラルネットワーク学習方式。4. The neural network learning method according to claim 1, wherein, when the generalization test is executed, a correct output signal is transmitted to the teacher signal among the test input signals. A neural network learning method, wherein the test input signal having a margin for outputting a correct answer equal to or higher than a given threshold is removed from the subsequent iterative learning.
ルネットワーク学習方式において、該学習一時停止条件
として、正解の出力信号数が与えられたスレショルド以
上となると、該学習を一時停止させることを特徴とした
ニューラルネットワーク学習方式。5. The neural network learning method according to claim 1, wherein, as the learning suspension condition, when the number of correct output signals exceeds a given threshold, the learning is suspended. A neural network learning method featuring.
ルネットワーク学習方式において、該学習一時停止条件
として、正解の出力信号数が与えられたスレショルド以
上で、且つ全学習用入力信号に対する正解を与える出力
ユニットの間での最小余裕値が与えられたスレショルド
を越えると、該学習を一時停止させることを特徴とした
ニューラルネットワーク学習方式。6. The neural network learning method according to claim 1, wherein the number of correct output signals is equal to or greater than a given threshold and the correct answer for all learning input signals is set as the learning suspension condition. A neural network learning method characterized by suspending the learning when the minimum margin value between the output units giving the value exceeds a given threshold.
学習方式における汎化テストにおいて、誤った出力信号
を送出するテスト用入力信号数が与えられたスレショル
ド以下になると、それ以降の該反復学習において該学習
用入力信号に対して全て正しい出力信号が得られること
を学習一時停止条件として変更することを特徴としたニ
ューラルネットワーク学習方式。7. In the generalization test in the neural network learning method according to claim 5, when the number of test input signals for transmitting an erroneous output signal falls below a given threshold, the learning is performed in the subsequent iterative learning. A neural network learning method characterized in that a condition that all correct output signals are obtained for input signals for use is changed as a learning suspension condition.
ワーク学習方式において、重み係数を更新する際、学習
係数や慣性係数を反復学習のテスト用入力信号に対する
出力ユニット信号の誤った数の状態に応じて調整するこ
とを特徴としたニューラルネットワーク学習方式。8. The neural network learning method according to claim 1, wherein when the weighting coefficient is updated, the learning coefficient or the inertia coefficient is changed according to the state of an incorrect number of output unit signals with respect to a test input signal for iterative learning. Neural network learning method characterized by adjusting.
ワーク学習方式において、ニューラルネットワークとし
て多値ニューラルネットワークを用い、初期設定とし
て、該教師信号との対応関係が与えられた入力信号の一
部を該学習用入力信号として割り当てる際に、多値出力
ユニット信号が表し得るすべての出力パターンを該教師
信号として用意し、それぞれに少なくとも1つの該学習
入力信号を割り当て、該反復学習を行うことを特徴とし
たニューラルネットワーク学習方式。9. The neural network learning method according to claim 1, wherein a multi-valued neural network is used as the neural network, and a part of the input signal given a correspondence with the teacher signal is initially set. When assigning as a learning input signal, all output patterns that can be represented by a multi-level output unit signal are prepared as the teacher signal, at least one of the learning input signals is assigned to each of them, and the iterative learning is performed. Neural network learning method.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22331996A JP3329202B2 (en) | 1996-08-07 | 1996-08-07 | Neural network learning method |
US08/906,169 US5870728A (en) | 1996-08-07 | 1997-08-05 | Learning procedure for multi-level neural network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22331996A JP3329202B2 (en) | 1996-08-07 | 1996-08-07 | Neural network learning method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1049509A true JPH1049509A (en) | 1998-02-20 |
JP3329202B2 JP3329202B2 (en) | 2002-09-30 |
Family
ID=16796297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP22331996A Expired - Fee Related JP3329202B2 (en) | 1996-08-07 | 1996-08-07 | Neural network learning method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3329202B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101864412B1 (en) * | 2017-12-28 | 2018-06-04 | (주)휴톰 | Data managing method, apparatus and program for machine learning |
JP2018116420A (en) * | 2017-01-17 | 2018-07-26 | 日本電信電話株式会社 | Perturbation learning device and method thereof |
WO2018159169A1 (en) * | 2017-03-03 | 2018-09-07 | パナソニックIpマネジメント株式会社 | Additional learning method for deterioration diagnosis system |
JP2020160804A (en) * | 2019-03-27 | 2020-10-01 | 三菱電機株式会社 | Information processing device, program, and information processing method |
US20220330896A1 (en) * | 2019-09-20 | 2022-10-20 | Nokia Technologies Oy | Runtime assessment of sensors |
-
1996
- 1996-08-07 JP JP22331996A patent/JP3329202B2/en not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018116420A (en) * | 2017-01-17 | 2018-07-26 | 日本電信電話株式会社 | Perturbation learning device and method thereof |
WO2018159169A1 (en) * | 2017-03-03 | 2018-09-07 | パナソニックIpマネジメント株式会社 | Additional learning method for deterioration diagnosis system |
JPWO2018159169A1 (en) * | 2017-03-03 | 2019-12-26 | パナソニックIpマネジメント株式会社 | Deterioration diagnosis system additional learning method |
EP3591484A4 (en) * | 2017-03-03 | 2020-03-18 | Panasonic Intellectual Property Management Co., Ltd. | Additional learning method for deterioration diagnosis system |
US11544554B2 (en) | 2017-03-03 | 2023-01-03 | Panasonic Intellectual Property Management Co., Ltd. | Additional learning method for deterioration diagnosis system |
KR101864412B1 (en) * | 2017-12-28 | 2018-06-04 | (주)휴톰 | Data managing method, apparatus and program for machine learning |
JP2020160804A (en) * | 2019-03-27 | 2020-10-01 | 三菱電機株式会社 | Information processing device, program, and information processing method |
US20220330896A1 (en) * | 2019-09-20 | 2022-10-20 | Nokia Technologies Oy | Runtime assessment of sensors |
Also Published As
Publication number | Publication date |
---|---|
JP3329202B2 (en) | 2002-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6601053B1 (en) | Optimized artificial neural networks | |
US5870729A (en) | Self-organizing neural network for pattern classification | |
US5768476A (en) | Parallel multi-value neural networks | |
US5485547A (en) | Recognition unit and recognizing and judging apparatus employing same | |
Ahrns et al. | On-line learning with dynamic cell structures | |
JPH04372044A (en) | Control method and electric power system voltage reactive power controller using the same | |
JP3329202B2 (en) | Neural network learning method | |
US5764860A (en) | Learning method for multi-level neural network | |
US5870728A (en) | Learning procedure for multi-level neural network | |
Junge et al. | Online identification of nonlinear time-variant systems using structurally adaptive radial basis function networks | |
JP3757722B2 (en) | Multi-layer neural network unit optimization method and apparatus | |
JP2001051969A (en) | Neural network means having right/wrong answer discriminating function | |
JP3277648B2 (en) | Parallel neural network | |
Sorheim | A combined network architecture using ART2 and back propagation for adaptive estimation of dynamical processes | |
JPH05197821A (en) | Method for optimizing hierarchical neural network and device therefor | |
JP2847395B2 (en) | Learning control device | |
JP3367264B2 (en) | Neural network learning method | |
JP3368774B2 (en) | neural network | |
Liu et al. | A new learning algorithm for feedforward neural networks | |
JP3367295B2 (en) | Multi-valued neural network learning method | |
Amin et al. | Dynamically pruning output weights in an expanding multilayer perceptron neural network | |
JP2004334671A (en) | Multilayer neural network learning method | |
JPH0512465A (en) | Neural network | |
JPH07104849B2 (en) | Learning method of neural network | |
JP2001175635A (en) | Neural network method and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020618 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080719 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110719 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |