JPH0756877A - ニューラルネットワーク装置 - Google Patents
ニューラルネットワーク装置Info
- Publication number
- JPH0756877A JPH0756877A JP19869993A JP19869993A JPH0756877A JP H0756877 A JPH0756877 A JP H0756877A JP 19869993 A JP19869993 A JP 19869993A JP 19869993 A JP19869993 A JP 19869993A JP H0756877 A JPH0756877 A JP H0756877A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- output
- neuron
- neural network
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【目的】本発明は、有効な学習性能を持つニューラルネ
ットワーク装置を実現することを目的とする。 【構成】複数のニューロンを備えた第１、第２のニュー
ロン層と、その第１、第２のニューロン層におけるニュ
ーロン同士を結合するシナプスからなるシナプス層とか
らなり、外部から与えた教師信号をもとに算出される誤
差信号に基づき逐次更新される各シナプスの結合の重み
を用いて、第１のニューロン層の出力信号に演算を施
し、第２のニューロン層に前記演算結果信号を転送する
ニューラルネットワーク装置において、学習が進行しな
くなった場合には、第２のニューロン層に転送される前
記演算結果信号を外部から与えた制御信号に基づき変更
する変更手段を有することを特徴とするニューラルネッ
トワーク装置。 【効果】本発明によれば、学習に必要な逆伝搬信号を理
想値に近付けることができるために、高い学習性能を持
ったニューラルネットワーク装置の実現に有効である。
ットワーク装置を実現することを目的とする。 【構成】複数のニューロンを備えた第１、第２のニュー
ロン層と、その第１、第２のニューロン層におけるニュ
ーロン同士を結合するシナプスからなるシナプス層とか
らなり、外部から与えた教師信号をもとに算出される誤
差信号に基づき逐次更新される各シナプスの結合の重み
を用いて、第１のニューロン層の出力信号に演算を施
し、第２のニューロン層に前記演算結果信号を転送する
ニューラルネットワーク装置において、学習が進行しな
くなった場合には、第２のニューロン層に転送される前
記演算結果信号を外部から与えた制御信号に基づき変更
する変更手段を有することを特徴とするニューラルネッ
トワーク装置。 【効果】本発明によれば、学習に必要な逆伝搬信号を理
想値に近付けることができるために、高い学習性能を持
ったニューラルネットワーク装置の実現に有効である。
Description
【０００１】
【産業上の利用分野】本発明は、ニューラルネットワー
ク装置に関する。
ク装置に関する。
【０００２】
【従来の技術】認識や制御等の分野に従来の逐次処理に
代わり並列処理を行うニューラルネットワークの導入が
期待されているが、高速な学習機能を備えたハードウェ
アの実現がその導入のネックとなっている。現在、国内
外でニューラルネットワークのハードウェア化の研究が
活発に行われている（小池誠彦：「ニューラルネットワ
ークのハードウェア化に向けて」電子情報通信学会研究
報告 ICD92-12, Vol.92,No.74 (1992) ）。
代わり並列処理を行うニューラルネットワークの導入が
期待されているが、高速な学習機能を備えたハードウェ
アの実現がその導入のネックとなっている。現在、国内
外でニューラルネットワークのハードウェア化の研究が
活発に行われている（小池誠彦：「ニューラルネットワ
ークのハードウェア化に向けて」電子情報通信学会研究
報告 ICD92-12, Vol.92,No.74 (1992) ）。
【０００３】ニューラルネットワークはその構造や学習
則の違いにより分類される。一般的には多層構造のネッ
トワークをバックプロパゲーション法(D.L.Rumelhart,
J.L.McClelland and PDP Research Group:"Parallel Di
stributed Processing Vol.1" chapter 8, The MIT Pre
ss (1986))で学習させているものが多い。
則の違いにより分類される。一般的には多層構造のネッ
トワークをバックプロパゲーション法(D.L.Rumelhart,
J.L.McClelland and PDP Research Group:"Parallel Di
stributed Processing Vol.1" chapter 8, The MIT Pre
ss (1986))で学習させているものが多い。
【０００４】ハードウェアでニューラルネットワークを
実現させようとした場合、様々なアプローチがとられて
いるが、装置の小型化、処理の並列化のためには信号を
電流値、電圧値、光の強度などで扱うアナログ方式のニ
ューラルネットワークが有望視されている。
実現させようとした場合、様々なアプローチがとられて
いるが、装置の小型化、処理の並列化のためには信号を
電流値、電圧値、光の強度などで扱うアナログ方式のニ
ューラルネットワークが有望視されている。
【０００５】ところがこれらのものは装置のダイナミッ
クレンジに制限がある。例えば、電子回路で作られたア
ナログ乗算器を考えると、入力がある範囲を越えると線
形性が悪くなるために、ある程度の線形性が保証される
動作範囲は制限される(P.R.Gray and R.G.Meyer:"Analy
sis and Design of Analog Integrated Circuits",chap
ter 10, John Wiley & Sons,(1984)) 。乗算器の非線形
性の影響による理想的な演算結果からの差は乗算結果に
乗った誤差と考えられる。ニューラルネットワークにお
いて乗算器の誤差は学習の収束を悪化させる主要な原因
になる(T.Morishita, Y.Tamura and T.Otuki:"A BiCMOS
Analog Neural Network with Dynamically Updated We
ights",1990 IEEE International Solid-State Circuit
s Conference Digest of Technical Papers, Vol.33, p
p.142-143,(1990)) 。従ってこれを避けるために、信号
のレベルを装置のダイナミックレンジに合わせることが
必要となる。しかしながら、このために信号の絶対値が
他の変数の大きさと相対的な違いが生じることで理想的
な演算結果からずれるという新たな問題に直面する。こ
の問題は学習に必要な逆伝搬信号において重大である。
クレンジに制限がある。例えば、電子回路で作られたア
ナログ乗算器を考えると、入力がある範囲を越えると線
形性が悪くなるために、ある程度の線形性が保証される
動作範囲は制限される(P.R.Gray and R.G.Meyer:"Analy
sis and Design of Analog Integrated Circuits",chap
ter 10, John Wiley & Sons,(1984)) 。乗算器の非線形
性の影響による理想的な演算結果からの差は乗算結果に
乗った誤差と考えられる。ニューラルネットワークにお
いて乗算器の誤差は学習の収束を悪化させる主要な原因
になる(T.Morishita, Y.Tamura and T.Otuki:"A BiCMOS
Analog Neural Network with Dynamically Updated We
ights",1990 IEEE International Solid-State Circuit
s Conference Digest of Technical Papers, Vol.33, p
p.142-143,(1990)) 。従ってこれを避けるために、信号
のレベルを装置のダイナミックレンジに合わせることが
必要となる。しかしながら、このために信号の絶対値が
他の変数の大きさと相対的な違いが生じることで理想的
な演算結果からずれるという新たな問題に直面する。こ
の問題は学習に必要な逆伝搬信号において重大である。
【０００６】このように、従来のアナログのニューラル
ネットワーク装置においては、装置の入力、出力のダイ
ナミックレンジが固定的であったため、入力、出力の信
号の大きさにより学習が進行しなくなる場合があり、十
分な学習性能を持ったアナログニューラルネットワーク
装置の実現の障害となっていた。
ネットワーク装置においては、装置の入力、出力のダイ
ナミックレンジが固定的であったため、入力、出力の信
号の大きさにより学習が進行しなくなる場合があり、十
分な学習性能を持ったアナログニューラルネットワーク
装置の実現の障害となっていた。
【０００７】
【発明が解決しようとする課題】このように、従来のア
ナログニューラルネットワーク装置では、装置の入力、
出力のダイナミックレンジに制限があり、学習に必要な
逆伝搬信号が理想値からずれるために、十分な学習性能
の実現が非常に困難であった。
ナログニューラルネットワーク装置では、装置の入力、
出力のダイナミックレンジに制限があり、学習に必要な
逆伝搬信号が理想値からずれるために、十分な学習性能
の実現が非常に困難であった。
【０００８】本発明は、前向き信号及び逆向き信号の出
力振幅を可変としたことにより、学習に必要な逆伝搬信
号の値を理想値に近付けることで有効な学習を可能とし
たニューラルネットワーク装置を実現することを目的と
する。
力振幅を可変としたことにより、学習に必要な逆伝搬信
号の値を理想値に近付けることで有効な学習を可能とし
たニューラルネットワーク装置を実現することを目的と
する。
【０００９】
【課題を解決するための手段】上記目的を達成するため
に、本出願に含まれる発明のニューラルネットワーク装
置は、複数のニューロンを備えた第１、第２のニューロ
ン層と、その第１、第２のニューロン層におけるニュー
ロン同士を結合するシナプスからなるシナプス層とから
なり、外部から与えた教師信号をもとに算出される誤差
信号に基づき逐次更新される各シナプスの結合の重みを
用いて、第１のニューロン層の出力信号に演算を施し、
第２のニューロン層に前記演算結果信号を転送するニュ
ーラルネットワーク装置において、学習が進行しなくな
った場合には、第２のニューロン層に転送される前記演
算結果信号を外部から与えた制御信号に基づき変更する
変更手段を有することを特徴とする。
に、本出願に含まれる発明のニューラルネットワーク装
置は、複数のニューロンを備えた第１、第２のニューロ
ン層と、その第１、第２のニューロン層におけるニュー
ロン同士を結合するシナプスからなるシナプス層とから
なり、外部から与えた教師信号をもとに算出される誤差
信号に基づき逐次更新される各シナプスの結合の重みを
用いて、第１のニューロン層の出力信号に演算を施し、
第２のニューロン層に前記演算結果信号を転送するニュ
ーラルネットワーク装置において、学習が進行しなくな
った場合には、第２のニューロン層に転送される前記演
算結果信号を外部から与えた制御信号に基づき変更する
変更手段を有することを特徴とする。
【００１０】また入力層から出力層への前向きの信号経
路と、外部から与えた教師信号をもとに算出される誤差
信号を出力層から入力層側へ伝える逆向きの信号経路を
もち、前段のニューロンの前向き信号の出力と後段のニ
ューロンの逆向き信号の出力とでシナプス結合荷重の更
新量を求めてシナプス結合荷重値を変更する機能を有す
る多層構造型ニューラルネットワークにおいて、前段の
ニューロンの出力に重みを掛け算した結果の前向き信号
の出力と後段のニューロンからの誤差信号に重みを掛け
算した結果の逆向き信号の出力の出力値を外部から与え
た制御信号によって可変とする可変手段を有することを
特徴とする。
路と、外部から与えた教師信号をもとに算出される誤差
信号を出力層から入力層側へ伝える逆向きの信号経路を
もち、前段のニューロンの前向き信号の出力と後段のニ
ューロンの逆向き信号の出力とでシナプス結合荷重の更
新量を求めてシナプス結合荷重値を変更する機能を有す
る多層構造型ニューラルネットワークにおいて、前段の
ニューロンの出力に重みを掛け算した結果の前向き信号
の出力と後段のニューロンからの誤差信号に重みを掛け
算した結果の逆向き信号の出力の出力値を外部から与え
た制御信号によって可変とする可変手段を有することを
特徴とする。
【００１１】また望ましくは、前記可変手段は、前段の
ニューロンの出力に重みを掛け算した結果の前向き信号
の出力と後段のニューロンからの誤差信号に重みを掛け
算した結果の逆向き信号の出力の出力値を外部から与え
た制御信号によって層毎に独立に可変とする手段で構成
したことを特徴とする。
ニューロンの出力に重みを掛け算した結果の前向き信号
の出力と後段のニューロンからの誤差信号に重みを掛け
算した結果の逆向き信号の出力の出力値を外部から与え
た制御信号によって層毎に独立に可変とする手段で構成
したことを特徴とする。
【００１２】また望ましくは、前記可変手段は、前段の
ニューロンの出力に重みを掛け算した結果の前向き信号
の出力と後段のニューロンからの誤差信号に重みを掛け
算した結果の逆向き信号の出力の出力値を外部から与え
た制御信号によって前向き信号と逆伝搬信号とをそれぞ
れ独立に可変とする手段で構成したことを特徴とする。
ニューロンの出力に重みを掛け算した結果の前向き信号
の出力と後段のニューロンからの誤差信号に重みを掛け
算した結果の逆向き信号の出力の出力値を外部から与え
た制御信号によって前向き信号と逆伝搬信号とをそれぞ
れ独立に可変とする手段で構成したことを特徴とする。
【００１３】
【作用】本発明のニューラルネットワーク装置によれ
ば、学習の進行状況等に応じて、前向き信号及び逆向き
信号の出力振幅を調節できる機能を備えているために、
学習に必要な逆伝搬信号の値を装置の動作範囲にあった
理想値に近付けることができ、十分な学習性能を持った
ニューラルネットワーク装置の実現に有効である。
ば、学習の進行状況等に応じて、前向き信号及び逆向き
信号の出力振幅を調節できる機能を備えているために、
学習に必要な逆伝搬信号の値を装置の動作範囲にあった
理想値に近付けることができ、十分な学習性能を持った
ニューラルネットワーク装置の実現に有効である。
【００１４】
【実施例】以下、本発明の実施例を図面を参照しつつ説
明する。図１は本発明のニューラルネットワーク装置の
シナプス部の基本構成を示す図である。ここでシナプス
部とは、図２のネットワークにおいて一方のニューロン
と他方のニューロンとを結合する部分８をいう。
明する。図１は本発明のニューラルネットワーク装置の
シナプス部の基本構成を示す図である。ここでシナプス
部とは、図２のネットワークにおいて一方のニューロン
と他方のニューロンとを結合する部分８をいう。
【００１５】シナプス部１は４つの信号ノード２Ａ、２
Ｂ、２Ｃ、２Ｄと、シナプス結合値の記憶部３と、前向
き信号とシナプス結合値との乗算部４Ａと、逆伝搬信号
とシナプス結合値との乗算部４Ｂと、学習制御部５と、
出力信号調整部６Ａ、６Ｂとから構成される。
Ｂ、２Ｃ、２Ｄと、シナプス結合値の記憶部３と、前向
き信号とシナプス結合値との乗算部４Ａと、逆伝搬信号
とシナプス結合値との乗算部４Ｂと、学習制御部５と、
出力信号調整部６Ａ、６Ｂとから構成される。
【００１６】学習は教師信号に対して現実の出力信号を
近づけるように進行するものであり、ノード２Ａからの
入力とノード２Ｃからの逆伝搬信号（誤差信号）をもと
に、学習制御部で結合の重みを計算し、そのシナプスに
おける結合の重み（結合値）の値を更新して結合値記憶
部３に記憶する。
近づけるように進行するものであり、ノード２Ａからの
入力とノード２Ｃからの逆伝搬信号（誤差信号）をもと
に、学習制御部で結合の重みを計算し、そのシナプスに
おける結合の重み（結合値）の値を更新して結合値記憶
部３に記憶する。
【００１７】ここで前向き信号はノード２Ａから入力
し、乗算器４Ａで重みを掛けられ、調整部６Ａを通りノ
ード２Ｂより出力される。調整部６Ａでは学習の進行具
合に応じて信号振幅の大きさを変更する。例えば乗算部
４Ａの出力が微少で、ダイナミックレンジを有効に活用
していないために学習が進行しない場合には、振幅を大
きくするよう調整部６Ａが動作する。逆に乗算部４Ａの
出力が過大でダイナミックレンジを越えているために学
習が進行しない場合には、振幅を小さくするよう調整部
６Ａが動作する。
し、乗算器４Ａで重みを掛けられ、調整部６Ａを通りノ
ード２Ｂより出力される。調整部６Ａでは学習の進行具
合に応じて信号振幅の大きさを変更する。例えば乗算部
４Ａの出力が微少で、ダイナミックレンジを有効に活用
していないために学習が進行しない場合には、振幅を大
きくするよう調整部６Ａが動作する。逆に乗算部４Ａの
出力が過大でダイナミックレンジを越えているために学
習が進行しない場合には、振幅を小さくするよう調整部
６Ａが動作する。
【００１８】逆伝搬信号はノード２Ｃから入力し、乗算
器４Ｂで重みを掛けられ調整部６Ｂを通りノード２Ｄよ
り出力される。この場合にも、前向き信号の出力におけ
る調整部と同様の動作を行ない、調整部６Ｂでは乗算器
の出力に対して外部からの制御信号に応じてその振幅を
調節するという演算をおこなう。
器４Ｂで重みを掛けられ調整部６Ｂを通りノード２Ｄよ
り出力される。この場合にも、前向き信号の出力におけ
る調整部と同様の動作を行ない、調整部６Ｂでは乗算器
の出力に対して外部からの制御信号に応じてその振幅を
調節するという演算をおこなう。
【００１９】このようにすれば、前向き伝搬信号、逆伝
搬信号の信号振幅が装置のダイナミックレンジに制限さ
れることなく、有効に学習を行なうことが可能となる。
バックプロパゲーション法に代表される誤差を最急降下
法で減少させていく学習法では、出力層側から入力層側
へ逆伝搬する誤差信号をもとにシナプス結合の重みを更
新する。
搬信号の信号振幅が装置のダイナミックレンジに制限さ
れることなく、有効に学習を行なうことが可能となる。
バックプロパゲーション法に代表される誤差を最急降下
法で減少させていく学習法では、出力層側から入力層側
へ逆伝搬する誤差信号をもとにシナプス結合の重みを更
新する。
【００２０】図２で示す３層構造のネットワークで、入
力層ニューロンｉと中間層ニューロンｊとをつなぐシナ
プスＷijを学習させるために逆伝搬してくる誤差信号Ｅ
j は Ｅj ＝Ｆj'×Σk Ｆk'×（Ｔk −Ｏk ）×Ｗjk …（１） と表される。ここで、各々の記号は Ｆj'：中間層ニューロンｊの微分値 Ｆk'：出力層ニューロンｋの微分値 Ｔk ：出力層ニューロンｋへの教師信号 Ｏk ：出力層ニューロンｋの出力値 Ｗjk：中間層ニューロンｊと出力層ニューロンｋとの間
のシナプス結合値 を表す。
力層ニューロンｉと中間層ニューロンｊとをつなぐシナ
プスＷijを学習させるために逆伝搬してくる誤差信号Ｅ
j は Ｅj ＝Ｆj'×Σk Ｆk'×（Ｔk −Ｏk ）×Ｗjk …（１） と表される。ここで、各々の記号は Ｆj'：中間層ニューロンｊの微分値 Ｆk'：出力層ニューロンｋの微分値 Ｔk ：出力層ニューロンｋへの教師信号 Ｏk ：出力層ニューロンｋの出力値 Ｗjk：中間層ニューロンｊと出力層ニューロンｋとの間
のシナプス結合値 を表す。
【００２１】実際のハードウェアでは、ダイナミックレ
ンジの制限等により、次に示すような非理想的な演算が
行われている。 ｆ' ＝ｄＦ' …（２） Σ' ＝σΣ …（３） （Ｘ−Ｙ）' ＝ｍ（Ｘ−Ｙ） …（４） これらの式において、左辺は現実の装置において演算さ
れる値であり、右辺は理論的に求められる値である。ま
た（２）は微分演算、（３）は加算演算、（４）は減算
演算を表す。これらを使うと（１）式は次のように書き
換えられる。
ンジの制限等により、次に示すような非理想的な演算が
行われている。 ｆ' ＝ｄＦ' …（２） Σ' ＝σΣ …（３） （Ｘ−Ｙ）' ＝ｍ（Ｘ−Ｙ） …（４） これらの式において、左辺は現実の装置において演算さ
れる値であり、右辺は理論的に求められる値である。ま
た（２）は微分演算、（３）は加算演算、（４）は減算
演算を表す。これらを使うと（１）式は次のように書き
換えられる。
【００２２】 Ｅj ＝ｆj'×Σ'kｆk'×（Ｔk −Ｏk ）' ×Ｗjk ＝ｄj Ｆj'×σΣk ｄk Ｆk'×ｍ（Ｔk −Ｏk ）×Ｗjk ＝ｄj σｄk ｍＦj'×Σk Ｆk'×（Ｔk −Ｏk ）×Ｗjk …（５） この中でｄ、ｍはハードウェア設計時に固定されるが、
σについてはバイアス値、ゲイン等の調整により容易に
調節できる。
σについてはバイアス値、ゲイン等の調整により容易に
調節できる。
【００２３】特に（３）式は Σ' ＝σΣ＝Σσ' …（６） （σ' ：装置に入力する複数信号のそれぞれの誤差信
号）と変形することができる。
号）と変形することができる。
【００２４】したがってσ' の値を変えることにより、
（５）式の係数を調節することができる。これは例えば
この係数を１にして理想的な演算に近づけたり、この係
数を大きくして逆伝搬信号がノイズに埋もれないように
したりすることにより有効な学習が可能となる。更に
は、σの値を変えることにより、バックプロパゲーショ
ン法で使われている学習係数ηを任意の大きさで乗算操
作なしに導入することができ、σの値とともにηの値も
層毎に変えることができる。また、前向き信号に関して
は、σの値を変えることにより次段のニューロンの非線
形関数の傾きを変えられるという働きを有する。また、
σの値を変えることは信号を装置のダイナミックレンジ
に合わせられるという作用があるために、装置の大幅な
変更なしにネットワーク規模を変えられるという効果も
持つ。
（５）式の係数を調節することができる。これは例えば
この係数を１にして理想的な演算に近づけたり、この係
数を大きくして逆伝搬信号がノイズに埋もれないように
したりすることにより有効な学習が可能となる。更に
は、σの値を変えることにより、バックプロパゲーショ
ン法で使われている学習係数ηを任意の大きさで乗算操
作なしに導入することができ、σの値とともにηの値も
層毎に変えることができる。また、前向き信号に関して
は、σの値を変えることにより次段のニューロンの非線
形関数の傾きを変えられるという働きを有する。また、
σの値を変えることは信号を装置のダイナミックレンジ
に合わせられるという作用があるために、装置の大幅な
変更なしにネットワーク規模を変えられるという効果も
持つ。
【００２５】以上の実施例では、学習の進行状況に応じ
てシナプス内の調整部を制御する構成例について説明し
たが、以下のような変形例も可能である。図３に本発明
の第二の構成例を示す。これは前述の実施例で説明した
ニューラルネットワーク装置の基本構成に加えて、学習
制御部５または乗算部４Ａに入力する前向き信号の振幅
を調整する調整部６Ｃや、学習制御部５または乗算部４
Ｂに入力する逆伝搬信号の振幅を調整する調整部６Ｄ、
結合値記憶部の出力信号の振幅を制御する制御部６Ｅ、
６Ｆを備えたことを特徴とする。これにより乗算部に入
力される結合値の信号振幅を制御して、装置の動作範囲
に適合した動作を保障することができる。
てシナプス内の調整部を制御する構成例について説明し
たが、以下のような変形例も可能である。図３に本発明
の第二の構成例を示す。これは前述の実施例で説明した
ニューラルネットワーク装置の基本構成に加えて、学習
制御部５または乗算部４Ａに入力する前向き信号の振幅
を調整する調整部６Ｃや、学習制御部５または乗算部４
Ｂに入力する逆伝搬信号の振幅を調整する調整部６Ｄ、
結合値記憶部の出力信号の振幅を制御する制御部６Ｅ、
６Ｆを備えたことを特徴とする。これにより乗算部に入
力される結合値の信号振幅を制御して、装置の動作範囲
に適合した動作を保障することができる。
【００２６】例えばハード設計時に与えられる信号のダ
イナミックレンジと伝搬する信号振幅とを比較して、信
号振幅がダイナミックレンジを越えてしまう場合やノイ
ズレベルに埋もれてしまう場合に調整部を制御すること
も可能である。
イナミックレンジと伝搬する信号振幅とを比較して、信
号振幅がダイナミックレンジを越えてしまう場合やノイ
ズレベルに埋もれてしまう場合に調整部を制御すること
も可能である。
【００２７】また学習制御部５によりシナプスでの結合
値を計算するが、この結合値が最大値に近い場合には学
習が進行しても結合値が飽和してしまい、見かけ上学習
が進行しなくなる場合がある。このような場合に調整部
を制御して結合値の信号を増幅することにより、見かけ
上の結合値を増加させることが可能となり、学習を更に
進行させることが可能となる。
値を計算するが、この結合値が最大値に近い場合には学
習が進行しても結合値が飽和してしまい、見かけ上学習
が進行しなくなる場合がある。このような場合に調整部
を制御して結合値の信号を増幅することにより、見かけ
上の結合値を増加させることが可能となり、学習を更に
進行させることが可能となる。
【００２８】またニューラルネットワーク装置によって
は、シナプスの結合値を離散的に設ける構成も可能であ
るが、このときに結合値が離散的に変化するため離散点
の中間の値をとることができず、学習の進行が不安定に
なる場合がある。このような場合にも、各調整部をわず
かに変化させることにより、シナプスの前向き出力、逆
伝搬出力を微調整することが可能となり、結合値の分解
能を見かけ上向上させることができる。
は、シナプスの結合値を離散的に設ける構成も可能であ
るが、このときに結合値が離散的に変化するため離散点
の中間の値をとることができず、学習の進行が不安定に
なる場合がある。このような場合にも、各調整部をわず
かに変化させることにより、シナプスの前向き出力、逆
伝搬出力を微調整することが可能となり、結合値の分解
能を見かけ上向上させることができる。
【００２９】
【発明の効果】以上説明したように本発明によれば、装
置のダイナミックレンジの制限に適応して、十分な学習
性能を持ったニューラルネットワーク装置を実現するこ
とに有効である。
置のダイナミックレンジの制限に適応して、十分な学習
性能を持ったニューラルネットワーク装置を実現するこ
とに有効である。
【図１】 本発明の基本的な構成例を示す図。
【図２】 学習則を説明するための図。
【図３】 本発明の他の構成例を示す図。
１…シナプス部 ２…信号ノード ３…結合加重記憶部 ４…乗算部 ５…学習制御部 ６…出力値調整部 ７…ニューロン ８…シナプス
Claims (4)
- 【請求項１】複数のニューロンを備えた第１、第２のニ
ューロン層と、その第１、第２のニューロン層における
ニューロン同士を結合するシナプスからなるシナプス層
とからなり、外部から与えた教師信号をもとに算出され
る誤差信号に基づき逐次更新される各シナプスの結合の
重みを用いて、第１のニューロン層の出力信号に演算を
施し、第２のニューロン層に前記演算結果信号を転送す
るニューラルネットワーク装置において、学習が進行し
なくなった場合には、第２のニューロン層に転送される
前記演算結果信号を外部から与えた制御信号に基づき変
更する変更手段を有することを特徴とするニューラルネ
ットワーク装置。 - 【請求項２】入力層から出力層への前向きの信号経路
と、外部から与えた教師信号をもとに算出される誤差信
号を出力層から入力層側へ伝える逆向きの信号経路をも
ち、前段のニューロンの前向き信号の出力と後段のニュ
ーロンの逆向き信号の出力とでシナプス結合荷重の更新
量を求めてシナプス結合荷重値を変更する機能を有する
多層構造型ニューラルネットワークにおいて、前段のニ
ューロンの出力に重みを掛け算した結果の前向き信号の
出力と後段のニューロンからの誤差信号に重みを掛け算
した結果の逆向き信号の出力の出力値を外部から与えた
制御信号によって可変とする可変手段を有することを特
徴とするニューラルネットワーク装置。 - 【請求項３】前記可変手段は、前段のニューロンの出力
に重みを掛け算した結果の前向き信号の出力と後段のニ
ューロンからの誤差信号に重みを掛け算した結果の逆向
き信号の出力の出力値を外部から与えた制御信号によっ
て層毎に独立に可変とする手段で構成したことを特徴と
する請求項２記載のニューラルネットワーク装置。 - 【請求項４】前記可変手段は、前段のニューロンの出力
に重みを掛け算した結果の前向き信号の出力と後段のニ
ューロンからの誤差信号に重みを掛け算した結果の逆向
き信号の出力の出力値を外部から与えた制御信号によっ
て前向き信号と逆伝搬信号とをそれぞれ独立に可変とす
る手段で構成したことを特徴とする請求項２記載のニュ
ーラルネットワーク装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19869993A JPH0756877A (ja) | 1993-08-11 | 1993-08-11 | ニューラルネットワーク装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19869993A JPH0756877A (ja) | 1993-08-11 | 1993-08-11 | ニューラルネットワーク装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0756877A true JPH0756877A (ja) | 1995-03-03 |
Family
ID=16395562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19869993A Pending JPH0756877A (ja) | 1993-08-11 | 1993-08-11 | ニューラルネットワーク装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0756877A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017102904A (ja) * | 2015-10-23 | 2017-06-08 | 株式会社半導体エネルギー研究所 | 半導体装置および電子機器 |
| JP2020197906A (ja) * | 2019-06-03 | 2020-12-10 | 株式会社東芝 | 信号処理装置、信号処理システム、信号処理方法、およびプログラム |
-
1993
- 1993-08-11 JP JP19869993A patent/JPH0756877A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017102904A (ja) * | 2015-10-23 | 2017-06-08 | 株式会社半導体エネルギー研究所 | 半導体装置および電子機器 |
| JP2021108144A (ja) * | 2015-10-23 | 2021-07-29 | 株式会社半導体エネルギー研究所 | 半導体装置及び電子機器 |
| JP2020197906A (ja) * | 2019-06-03 | 2020-12-10 | 株式会社東芝 | 信号処理装置、信号処理システム、信号処理方法、およびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5083285A (en) | Matrix-structured neural network with learning circuitry | |
| US5063601A (en) | Fast-learning neural network system for adaptive pattern recognition apparatus | |
| GB2251328A (en) | Multi-layer neural network employing multiplexed output neurons | |
| JP3178884B2 (ja) | ニューラルネットワーク装置 | |
| US6876989B2 (en) | Back-propagation neural network with enhanced neuron characteristics | |
| US5220641A (en) | Multi-layer perceptron circuit device | |
| JPH0756877A (ja) | ニューラルネットワーク装置 | |
| JPH0264787A (ja) | 階層構造ニューラルネット | |
| Wei et al. | Anti-saturation fault-tolerant control for Markov jump nonlinear systems with unknown control coefficients and unmodeled dynamics | |
| US5625752A (en) | Artificial neural system with binary weighting by equal resistor network | |
| US6429699B1 (en) | Generator of neuron transfer function and its derivative | |
| FI103304B (fi) | Assosiatiivinen neuroni | |
| JP3224831B2 (ja) | ニューラルネットワーク装置 | |
| JPH0492901A (ja) | ニューラルネットワークによるファジイ制御器 | |
| EP0395112B1 (en) | Neural network | |
| Miyao et al. | A modified multifrequency oscillation learning method for analog neural networks employing a phase multiplexing technique | |
| JP3262340B2 (ja) | 情報処理装置 | |
| Lou et al. | A new system identification technique using Kaiman filtering and multilayer neural networks | |
| Ng et al. | The generalized back-propagation algorithm with convergence analysis | |
| Lin et al. | Identification of dynamic systems using recurrent fuzzy neural network | |
| Lu et al. | A general-purpose neural network with on-chip BP learning | |
| US5367611A (en) | Fuzzy inference system | |
| International Neural Network Society (INNS), the IEEE Neural Network Council Cooperating Societies et al. | An approach to generalization problem in back-propagation learning | |
| Piazza et al. | Neural network complexity reduction using adaptive polynomial activation functions | |
| KR0185753B1 (ko) | 순환 신경회로망과 그 학습방법 |