JP6328787B2 - 複数の連想メモリを用いた神経形態学的グラフ圧縮の方法、システム、及びコンピュータプログラム製品 - Google Patents

Description

［優先権の状態］ 本願は、Ｍｅｔｈｏｄｓ，Ｓｙｓｔｅｍｓ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｐｒｏｇｒａｍ Ｐｒｏｄｕｃｔｓ Ｆｏｒ Ｎｅｕｒｏｍｏｒｐｈｉｃ Ｇｒａｐｈ Ｃｏｍｐｒｅｓｓｉｏｎ Ｕｓｉｎｇ Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏｒｉｅｓと題され２０１４年４月１５日に出願された米国特許仮出願第６１／９７９，６０１号に対する優先権を主張し、その開示はこれにより、本明細書に完全に説明されているかのごとく、参照により本明細書に組み込まれる。

本発明は知識管理のシステム、方法、及びコンピュータプログラム製品に関し、より具体的には連想メモリのシステム、方法、及びコンピュータプログラム製品に関する。

コンテンツアドレス指定可能メモリとも称される複数の連想メモリがパターンマッチングおよび識別、専門家システム、ならびに人工知能の分野で広く用いられる。広く用いられる連想メモリはホップフィールド人工神経ネットワークであり、ホップフィールド人工神経ネットワークは、例えば、「Ｅｌｅｃｔｒｏｎｉｃ Ｎｅｔｗｏｒｋ ｆｏｒ Ｃｏｌｌｅｃｔｉｖｅ Ｄｅｃｉｓｉｏｎ Ｂａｓｅｄ ｏｎ Ｌａｒｇｅ Ｎｕｍｂｅｒ ｏｆ Ｃｏｎｎｅｃｔｉｏｎｓ Ｂｅｔｗｅｅｎ Ｓｉｇｎａｌｓ」と題されたＨｏｐｆｉｅｌｄの米国特許第４,６６０,１６６号において説明される。

連想メモリは以前の逆伝播ネットワークの複数の問題を回避しうるが、連想メモリはスケーリングおよび誤った記憶（ｓｐｕｒｉｏｕｓ ｍｅｍｏｒｉｅｓ）の問題を提示し得る。連想メモリにおける最近の進歩は、これらと他の問題を解決することを試みている。例えば、共同発明者Ａｐａｒｉｃｉｏ、ＩＶ他の「Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ Ｉｎｃｌｕｄｉｎｇ Ｂｏｏｌｅａｎ−Ｃｏｍｐｌｅｔｅ Ｃｏｍｐａｒｔｍｅｎｔｓ」と題された米国特許第６,０５２,６７９号は、複数の人工ニューロンと、複数のブール完了コンパートメントとを規定し、複数のブール完了コンパートメントのうちのそれぞれ１つは、それぞれの人工ニューロンのペアを連結する。

従来のニューラルネットワークの単一ポイントニューロンモデルを凌駕して、実際のニューロンは、それら自身の内部のネットワークと等しい複雑で非線形な挙動を示す。特に、最近の計算論的神経科学は、ニューロンの結合効率および計算能力、特に如何に複数の樹状突起（構造上線形（ｌｉｎｅａｒ））がコインシデンス（機能的に非線形）を計算するかの理解に焦点を合わせている。しかしながら、神経の樹状突起をより良く理解し、かつ、神経形態学的デバイスを開発するための分析の計算レベルは定義が難しいままである。回答は、現在の多くの神経形態学的な努力を象徴するような明示的なクロスバーを要求することなく、コインシデンス行列（グラフ）を各ニューロンの記憶の基本的オブジェクトとして仮定することで見出だされる。各行列の断層撮影の投影は、可逆圧縮を表すように示され、複数の樹状突起コンパートメントの受容性アレイにわたるシナプス活性化のカスケーディング波により表現可能である。この簡易な活性化パッシングアルゴリズムは、複数のグラフ構造の読み取りおよび書き込みが可能である。そのような結合効率は、各ニューロンが非線形連想メモリを表す方法を説明し、幾何学的なクロスバーのコスト無しにそのような複数のメモリを格納および計算するよう新興の神経形態学的デバイス（ｅｍｅｒｇｅｎｔ ｎｅｕｒｏｍｏｒｐｈｉｃ ｄｅｖｉｃｅｓ）を刺激する。行列帯域幅の減少は、さらに高い処理速度を追加し、論理的な可逆性は断熱的なエネルギー効率を約束する。認知コンピューティングが機械知能の基礎として明らかになり続けるに従い、よりブレイン‐ライクなアプローチがオペレーティングシステムに進出し、認知ハードウェアによる認知をサポートするための結合およびエネルギー効率を最終的に必要とする。

本発明のいくつかの実施形態は、連想メモリを用いた神経形態学的グラフ圧縮の方法、システムおよびコンピュータプログラム製品を対象とする。いくつかの実施形態は、複数の樹状突起を備える人工ニューロンを対象とし、複数の樹状突起のうちの複数は複数の樹状突起コンパートメントを有する。複数の樹状突起コンパートメントのうちのそれぞれ１つは、複数の入力のうちのそれぞれ１つに一意に関連付けられる。各樹状突起コンパートメントは、シナプス活性化強度に対応する第１重み値と、他の活性化に対するそれぞれの樹状突起コンパートメントの受容性値に対応する第２重み値とを有する。

いくつかの実施形態において、複数の樹状突起コンパートメントは、樹状突起の末梢端である先端から人工ニューロン加重点である神経細胞体へ線形に配置される。

いくつかの実施形態は、複数の樹状突起のそれぞれが、それぞれの他の複数の人工ニューロンから複数の入力を受信するよう構成された複数の樹状突起コンパートメントの線形配列であることを規定する。

いくつかの実施形態において、複数の入力のうちの複数は、複数の樹状突起コンパートメントを経たカスケーディング・シナプス活性化を介して受信される。いくつかの実施形態は、ゼロの受容性値を持つ複数の樹状突起コンパートメントは、複数の樹状突起コンパートメントのうちのより末梢の１つからの活性化入力を、複数の樹状突起コンパートメントのうちのより近位の１つに活性化出力として送信するよう構成されることを規定する。

いくつかの実施形態は、複数の樹状突起コンパートメントのうちの複数の間で交差スイッチを生成する複数の入力に応答して、複数の樹状突起のうちの対応する１つが樹状突起の先端に、追加された樹状突起コンパートメントを有することを規定する。

いくつかの実施形態において、複数の樹状突起コンパートメントのうちの１つにおける第１重み値がゼロより大きく、樹状突起コンパートメントのうちの当該１つにおける第２重み値がゼロより大きいことに応答して、樹状突起コンパートメントのうちの当該１つは、人工ニューロン加重点である神経細胞体にコインシデンス・スパイク信号を送信する。

いくつかの実施形態は、樹状突起コンパートメントのうちの１つにおける第１重み値がゼロであることに応答して、複数の樹状突起コンパートメントのうちの当該１つについて活性伝播が終わることを規定する。

本発明のいくつかの実施形態は、それぞれ複数の樹状突起コンパートメントを有する複数の樹状突起を備える人工ニューロンへの複数の入力を記憶する方法を含む。方法は、複数の樹状突起コンパートメントのうちのより近位の複数から、人工ニューロンの人工ニューロン加重点である、人工ニューロンの神経細胞体へ流れる末梢シナプス活性化としてコインシデンス検出を計算する段階を備える。

いくつかの実施形態は、非ゼロの受容性値を有する複数の樹状突起コンパートメントのうちの対応する１つで受信された非ゼロ活性化値入力に由来するコインシデンス検出に応答して樹状突起の活動電位を生成する段階を備える。いくつかの実施形態は、樹状突起の活動電位の生成に応答して、活性化値及び受容性値が減らされ、減らされた活性化値が複数の樹状突起コンパートメントのうちの次の１つに渡されることを規定する。

本発明のいくつかの実施形態は、それぞれ複数の樹状突起コンパートメントを有する複数の樹状突起を備える人工ニューロンへの複数の入力を記憶する方法を含む。そのような複数の方法は、複数の樹状突起コンパートメントのうちの遠位の複数から、または、複数の樹状突起コンパートメントのうちの近位の複数から、人工ニューロンの神経細胞体に段階的に生じるカスケーディング活性化を用いてコインシデンス検出を計算する段階と、交差構成の４スイッチを検出して回避する段階とを備えてよい。

本発明のいくつかの実施形態は複数の樹状突起を有する人工ニューロンを備え、複数の樹状突起のうちの複数が、複数の樹状突起コンパートメントを有する。いくつかの実施形態は、複数の樹状突起コンパートメントのそれぞれの１つが複数の入力のそれぞれの１つに一意に関連付けられ、複数の樹状突起コンパートメントのうちの複数は、複数の樹状突起コンパートメントのうちの対応する１つが第１受容性値を有し、非修正状態とは異なる修正状態にある場合、および、複数の樹状突起コンパートメントのうちの対応する１つが第１受容性とは異なる第２受容性を有する場合に、カスケーディング活性化を受信し、非修正状態でカスケーディング活性化を送信するよう構成されることを規定する。

本発明のいくつかの実施形態は、それぞれ複数の樹状突起コンパートメントを有する複数の樹状突起を備える人工ニューロンへの複数の入力を記憶するコンピュータプログラム製品を対象とする。コンピュータプログラム製品は、
電子デバイスのプロセッサにより実行された場合にプロセッサに
複数の樹状突起コンパートメントのうちのより近位の複数から、人工ニューロンの神経細胞体へ流れる末梢シナプス活性化としてコインシデンス検出を計算することと、
非ゼロの受容性を有する複数の樹状突起コンパートメントのうちの対応する１つで受信された非ゼロ活性化値入力に由来するコインシデンス検出に応答して樹状突起の活動電位を生成することと、
樹状突起の活動電位の生成に応答して、活性化値及び受容性を減らし、減らされた活性化値を複数の樹状突起コンパートメントのうちの次の１つに渡すことと、
を有する複数の動作を実行させるコンピュータ可読プログラムコードを格納する非一時的コンピュータ可読記憶媒体を備える。

本発明のいくつかの実施形態は、それぞれ複数の樹状突起コンパートメントを有する複数の樹状突起を備える人工ニューロンへの複数の入力を記憶する方法を対象とする。そのような複数の方法は、複数の樹状突起コンパートメントのうちの遠位の複数から、または、複数の樹状突起コンパートメントのうちの近位の複数から、人工ニューロンの神経細胞体に段階的に生じるカスケーディング活性化を用いてコインシデンス検出を計算する段階と、交差構成の４スイッチを検出して回避する段階とを備えてよい。

いくつかの実施形態において、複数の樹状突起コンパートメントは、複数の樹状突起のうちの対応する１つの末梢端である先端から、複数の樹状突起のうちの対応する１つの人工ニューロン加重点である神経細胞体へ線形に配置される。

いくつかの実施形態は、複数の樹状突起コンパートメントのうちの複数への、それぞれの他の複数の人工ニューロンからの複数の入力を受信する段階を備える。いくつかの実施形態において、複数の樹状突起のそれぞれは、それぞれの他の複数の人工ニューロンから複数の入力を受信するよう構成された複数の樹状突起コンパートメントの線形配列を有する。いくつかの実施形態は、複数の樹状突起コンパートメントのうちの複数への、それぞれの他の複数の人工ニューロンからの複数の入力を受信する段階が、複数の樹状突起コンパートメントを経たカスケーディング・シナプス活性化を介して複数の入力を受信する段階を有することを規定する。

いくつかの実施形態は、複数の樹状突起コンパートメントのうちのより末梢の１つからの活性化入力を、樹状突起コンパートメントのうちのより近位の１つに活性化出力として送信することを備える。

いくつかの実施形態において、複数の樹状突起コンパートメントのうちの複数の間で交差スイッチを生成する複数の入力に応答して、方法は樹状突起の先端において複数の樹状突起に対して別の樹状突起コンパートメントを設ける段階を備えてよい。

本発明のいくつかの実施形態は、プロセッサと、実行された場合にプロセッサに本明細書で説明される複数の動作を実行させる、内部に格納された複数の命令を有するメモリと、を備えるシステムを対象とする。

１つの実施形態に関して説明される発明の複数の態様が、それに関連して特に説明されなくても、異なる実施形態に組み込まれ得ることに留意されたい。つまり、全ての実施形態および／または実施形態の特徴は、任意の方法および／または組み合わせで組み合わせられ得る。本発明のこれらのおよび他のオブジェクトおよび／または態様は以下で明らかにされる明細書において詳細に説明される。

本発明のいくつかの実施形態に従い、最大行列（ｍａｘｉｍａｌ ｍａｔｒｉｘ）の投影を用いることを示すグラフである。 本発明のいくつかの実施形態に従い、最大行列（ｍａｘｉｍａｌ ｍａｔｒｉｘ）の投影を用いることを示すグラフである。

本発明のいくつかの実施形態に従い、行列の投影を用いて４スイッチ問題を示すグラフである。 本発明のいくつかの実施形態に従い、行列の投影を用いて４スイッチ問題を示すグラフである。

本発明のいくつかの実施形態に係る樹状突起の概略図である。 本発明のいくつかの実施形態に係る樹状突起の概略図である。

複数の行及び列が任意の順序及び分類された順序それぞれである場合に構造不定の新たな複数のソースに由来するマトリクス（「タンパ」（Ｔａｍｐａ）との関係におけるシティータンパ）の全ての一致ペアを表すグラフである。 複数の行及び列が任意の順序及び分類された順序それぞれである場合に構造不定の新たな複数のソースに由来するマトリクス（「タンパ」（Ｔａｍｐａ）との関係におけるシティータンパ）の全ての一致ペアを表すグラフである。

本発明のいくつかの実施形態に係る樹状突起のカスケーディング活性化の概略図である。

本発明のいくつかの実施形態に従い、シナプスがＯＮにされる毎の、次のコンパートメントへの活性化信号を含んだシナプス脱分極を示すフローチャートである。

本発明のいくつかの実施形態に係るカスケーディング・シナプス活性化を示すフローチャートである。

本発明のいくつかの実施形態に従って、カスケーディングコンパートメントの活性化を処理するためのロジックを示すフローチャートである。

本発明のいくつかの実施形態に係る樹状突起のカスケーディング活性化の概略図である。

本発明のいくつかの実施形態に係る樹状突起のカスケーディング活性化の概略図である。

本発明のいくつかの実施形態に係る樹状突起のカスケーディング活性化の概略図である。

本発明のいくつかの実施形態に係る樹状突起の論理的な反転カスケーディング活性化の概略図である。

本発明のいくつかの実施形態に従い、樹状突起における抑制性ニューロンの抑制性シナプスがＯＮの場合での交差構成の検出および表現の概略図である。

ここで、本発明の例示的な複数の実施形態が示される添付図面を参照し、本発明はより以下で完全に説明される。しかしながら、本発明は様々な形態で具体化され得、本明細書で明らかにされる複数の実施形態に限定されて解釈されるべきではない。むしろ、これらの実施形態は、この開示が徹底的かつ完全となり、当業者に発明の範囲を完全に伝えるよう、提供される。

要素が別の要素に「連結され」、「接続され」または「レスポンシブ」として称される場合、それは直接的に他の要素に連結され、接続され、またはレスポンシブであってよく、或いは介在する複数の要素がまた存在してもよいことが理解される。対照的に、要素が別の要素に「直接連結され」、「直接接続され」または「直接的にレスポンシブ」として称される場合、介在する要素は存在しない。全体を通して、同様の番号は同様の要素を参照する。本明細書で用いられるように、用語「および／または」は、関連付けされて列挙された項目のうち１又は複数のいかなる、そして全ての組み合わせを含み、「／」により省略され得る。

様々な要素を説明するべく本明細書で第１、第２などの用語が用いられるが、それらの要素はそれらの用語により限定されるべきではないことがまた理解される。それらの用語は１つの要素を別の要素から区別するためにのみ用いられる。

本明細書で用いられる用語は、特定の実施形態のみの説明という目的のためのものであり、発明の限定となることを意図してはいない。本明細書で使用されるように、単数形"ａ"、"ａｎ"、及び"ｔｈｅ"は、文脈上、そうでないことが明確に示されている場合を除いて、複数形も含むことを意図している。用語「備える」、「備えた」、「含む」および／または「含んだ」は、本明細書で用いられる場合、言及された特徴、段階、動作、要素および／またはコンポーネントの存在を明示するが、１又は複数の他の特徴、段階、動作、要素、コンポーネントおよび／またはそれらのグループの存在または追加を除外しないことがさらに理解される。

別途定義されない限り、本明細書で使用される全ての用語（技術的用語および科学用語を含む）は、本発明の属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。一般に使用されている辞書において定義されるような複数の用語は、関連技術に照らしたそれらの意味と矛盾の無い意味を有するものと解釈されるべきであり、本明細書においてそのように明示的に定義されない限り、理想的あるいは、過度に形式的な意味に解釈されないことがさらに理解されるであろう。

本発明の複数の実施形態に係る方法、システムおよびコンピュータプログラム製品のブロック図およびフローチャートを参照して、本発明は、以下で部分的に説明される。ブロック図又はフローチャートのブロックと、ブロック図又はフローチャートにおける複数のブロックの組み合わせとはコンピュータプログラム命令により少なくとも部分的に実行され得ることが理解される。それらのコンピュータプログラム命令は、１又は複数のエンタープライズ、アプリケーション、パーソナル、普及する（ｐｅｒｖａｓｉｖｅ）および／または埋め込みのコンピュータシステムに提供されてよい。その結果、コンピュータシステムを介して実行される命令は、ブロック図の一ブロックまたは複数のブロックにおいて指定される機能／作用を実行するための手段、モジュール、デバイスまたは方法を生成する。複数の汎用コンピュータシステムおよび／または専用ハードウェアの組み合わせはまた他の実施形態において用いられ得る。

それらのコンピュータプログラム命令はまた、コンピュータシステムのメモリに格納されてよく、当該コンピュータシステムに特定の態様で機能するよう指示し得る。その結果、メモリに格納される命令は、一ブロックまたは複数のブロックで指定される機能／作用を実行するコンピュータ可読プログラムコードを含む製造物品を生成する。コンピュータプログラム命令はまた、コンピュータシステムにロードされて、コンピュータ実施処理を生成するべく、一連の動作可能な複数の段階をコンピュータシステムにより実行させてよい。その結果、プロセッサ上で実行される命令は、一ブロックまたは複数のブロックで指定される機能／作用を実行する複数の段階を提供する。従って、ブロック図および／またはフローチャートの所与の一ブロックまたは複数のブロックは、方法、コンピュータプログラム製品および／またはシステム（構造および／またはミーンズプラスファンクション）のサポートを提供する。

いくつかの実施形態において、コンピュータプログラム命令は、同時に起こる複数のカスケードの細粒度並列処理を提供するよう構成された、本明細書で論じられるような特定のハードウェアにより実行されてよい。例えば、いくつかの実施形態は特定の複数のハードウェア基板を提供する。特定の複数のハードウェア基板は、本明細書で説明される１又は複数の計算動作を、それらの固有の特性の一部として直接実行する。非限定的な例は複数のメモリスタを含み、ホジキン−ハクスレイのメンブレン方程式に対するそれらの類似性は実装のベースであり得る。

いくつかの代替的な実施例において、フローチャート内で言及された機能／作用はフローチャートで言及された順序から外れて生じうることにまた留意するべきである。例えば、関係する機能／動作に応じ、相次いで示される２つのブロックは遂行において（ｉｎ ｆｅｅｔ）実質的に同時に実行されてよく、また、複数のブロックは逆の順序で実行されることがあってよい。最終的に、１又は複数のブロックの機能は分離され、および／または、他のブロックのものと組み合わされてよい。

いくつかの実施形態において、神経形態学的デバイスを発達させるだけでなく神経の樹状突起をより良く理解するための分析の計算レベルは、現在の多くの神経形態学的な努力の象徴として明示的なクロスバーを要求することなく各ニューロンの記憶の基本的オブジェクトとしてコインシデンス行列（グラフ）を仮定することにより見出され得る。各行列の断層撮影の投影は、可逆圧縮を表すように示され、複数の樹状突起コンパートメントの受容性アレイにわたるシナプス活性化のカスケーディング波により表現可能である。この活性化パッシングアルゴリズムは、複数のグラフ構造の読み取りおよび書き込みが可能である。そのような結合効率は、各ニューロンが非線形連想メモリを表す方法を説明し得、幾何学的なクロスバーのコスト無しにそのような複数のメモリを格納および計算するよう新興の神経形態学的デバイス（ｅｍｅｒｇｅｎｔ ｎｅｕｒｏｍｏｒｐｈｉｃ ｄｅｖｉｃｅｓ）を刺激する。行列帯域幅の減少は、さらに高い処理速度を追加し得、論理的な可逆性は断熱的なエネルギー効率を提供し得る。認知コンピューティングが機械知能の基礎として興隆し続けるに従い、よりブレイン‐ライクなアプローチがオペレーティングシステムに進出し、認知ハードウェアによる認知をサポートするための結合およびエネルギー効率を最終的に必要とする。

認知コンピューティングは、機械知能に対する新興のアプローチを表し得る。過去の人工知能（ＡＩ）とは異なり、「認知」はその表現および論理的思考において、よりブレイン‐ライクで、よりヒューマン‐ライクなものとして定義され得る。過去のＡＩとは異なり、自然システムからのインスピレーションは如何に我々の脳が実世界でリアルタイムに存続し繁栄するべくうまく適合しているかに注目する。さらに、複数のコンピュータが人間をアシストするツールとして位置付けられており、認知コンピューティングは現在の計算システムと人の計算システムとの間の「インピーダンスの不一致」の除去に努めている。２つの認知システムは通信して協働する。

認知コンピューティングが実際に機械知能への回答であるなら、その場合、それは計算の重要な部分になるだろう。「サービスとしての認知」（ＣａａＳ）はいま開発されており、このトレンドは、ビッグデータサービスへのスケールアップであろうと、「全てのモノのインターネット」に埋め込まれた知能へのスケールダウンであろうと、計算の重要な部分として認知サービスを提供することを継続し得る。認知コンピューティングのブレイン‐ライクな態様は、その将来の一部として神経形態学的ハードウェアに向けて突進するかも知れない。

いくつかのイニシアチブがそのようなブレイン‐ライクなアーキテクチャを既に確立している。いくつかの例は、欧州委員会のヒューマンブレインプロジェクト、および、ＤＡＲＰＡのＳｙｓｔｅｍｓ ｏｆ Ｎｅｕｒｏｍｏｒｐｈｉｃ Ａｄａｐｔｉｖｅ Ｐｌａｓｔｉｃ Ｓｃａｌａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃｓ （ＳｙＮＡＰＳＥ） ｐｒｏｊｅｃｔを含む。それらのアプローチは、非常に現実的なスーパーコンピュータ上のニューロンモデリングから、特化されたチップの開発にわたる。ヒューマンブレインプロジェクトの目的は、脳自体を理解すること、および、そのような理解から新たな計算方法を開発することを含む。ＤＡＲＰＡ ＳｙＮＡＰＳＥの目的は、生物学のレベルまで、例えば哺乳類の脳の膨大な数のニューロンおよびシナプスまで拡張される神経形態学的ハードウェアに焦点を合わされる。

これらの神経形態学的アプローチを実行するべく様々な多くのサブストレートが用いられているが、電子工学の「欠落要素」としてのメモリスタの理論的発見は、神経形態学的コンピューティングの主要なサブストレートになることを約束しうる。これは一つには、神経膜活動とその伝播との生理機能を説明するホジキンおよびハクスレイ方程式へのメモリスタの類似性のためである。フォン・ノイマンによる、トランジスタのメモリおよびバイナリロジックからの計算（ｃｏｍｐｕｔａｔｉｏｎ）の分離を超えて、メモリスタは、シナプス結合の不揮発性のアナログウェイト（ｎｏｎ−ｖｏｌａｔｉｌｅ ａｎａｌｏｇ ｗｅｉｇｈｔｓ ｏｆ ｓｙｎａｐｔｉｃ ｃｏｎｎｅｃｔｉｏｎｓ）と、論理的な動作およびスパイクの作用（ｓｐｉｋｉｎｇ ｂｅｈａｖｉｏｒ）との両方を表しうる。実際のニューロンと同様に、メモリスタは格納および計算の両方が可能であってよい。さらに、メモリスタは、格納された複数の重みを活動（ａｃｔｉｖｉｔｙ）が修正し得るという意味で、経験により学習し得るサブストレートを提供してよい。

神経形態学的コンピューティングは、学問的および産業的に追及されている。ヒューレットパッカード（ＨＰ）は「欠落要素」メモリスタを最初に実装したと考えられた。ミシガン大学およびヒューズ・リサーチラボ（ＨＲＬ）は、ＤＡＲＰＡ ＳｙＮＡＰＳＥの研究においてＣＭＯＳベースの神経形態学的メモリスタを報告し、パデュー大学はインテルコーポレーションと協働で、セルラーオートマタ設計におけるスピントロニクス／メモリスタの（ｍｅｍｒｉｓｔｉｖｅ）回路を説明した。ＨＰはまた、ブールコンプリート（Ｂｏｏｌｅａｎ ｃｏｍｐｌｅｔｅ）であるメモリスタのユニバーサルセルラーオートマタを報告する。ＩＢＭは、そのハードウェアをメモリスタに基礎づけてはいないが、各ニューロンが「コアレット」と呼ばれる認知ハードウェアの開発のためのＳｙＮＡＰＳＥの参加者である。

例えばＳｙＮＡＰＳＥ用など、より大きな複数のハードウェアアーキテクチャは複数のマルチニューロンチップおよびクロスチップ通信を備え、その場合、複数のニューロン間の信号はこれらのチップにわたってルーティングされなくてはならない。これら方法は、１つのニューロンを別のニューロンへ接続するべく信号を急増させる（ｓｐｉｋｉｎｇ ｓｉｇｎａｌｓ）段階およびスパイクベースの時間多重化を行う段階を有する点において「神経」である。これら全てのアプローチは、複数の基本要素として複数のシナプス結合および重みを持つことにおいて基本的に「神経」である。これら方法の大部分は、ドナルドヘッブの１９４９年のヘッブ学習則「同時に発火したニューロンは結合を強める」（Ｎｅｕｒｏｎｓ ｔｈａｔ ｆｉｒｅ ｔｏｇｅｔｈｅｒ、ｗｉｒｅ ｔｏｇｅｔｈｅｒ）以来、神経科学において周知のように、それらがスパイクタイミング依存性可塑性（ＳＴＤＰ）を反映すべく信号を急増させる段階を含む傾向がある点においてさらに「神経性」である。しかしながら、これらのアプローチは、ニューロンチップ間の時間多重化のためにアドレスイベント表現（ＡＥＲ）プロトコルを通常含み、ニューロン対ニューロンの接続性のより大規模な問題をモデル化する傾向がある。しかしながら、これらは、各ニューロンがそれ自体で連想ネットワークであるという神経的なポイント（ｎｅｕｒａｌ ｐｏｉｎｔ）を見落としている。

しかしながら、ニューロンまたはハードウェアサブストレートの数に関わらず、ニューロコンピューティングの最も重要な問題は、完了行列を表す明示的なクロスバーの乏しいスケーリングおよびコストなしに、何れかのシナプス入力が何れかの他の入力にどのように潜在的に接続し得るかをそのような全ての試みが最終的に解決しなくてはならないということかもしれない。クロスバーの問題

クロスバーは、連想行列の全ての可能な入力−出力接続を表しうる。微小寸法において、入力および出力は完了行列において互いに対してハードワイヤードであってよい。例えば、メモリスタを用いることについての初期の特許出願は、クロスバーにより定義された。また、ＩＢＭのアプローチおよびＭｉｃｈｉｇａｎ／ＨＲＬのアプローチにおける各ニューロン「コアレット」は複数のクロスバーとして表される。

ＩＢＭの「コアレット」アーキテクチャはスパイクベースの多重化を用いてクロスバーの問題を解決することを試みる。しかしながら、ネットワーク組織の２つのレベル、すなわち、複数のニューロンの間と、複数のニューロン内とが区別されるべきである。複数のニューロンの間のネットワーク組織に関し、各ニューロンの軸索の出力は、１０００個の他のニューロンに到達しうる。数百万および数十億のニューロンのネットワークにおいて、如何にニューロンは効率的に互いに接続および通信するか？複数のニューロン内のネットワーク組織に関し、各ニューロンの入力は他のニューロンからの１００００個、さらには１０００００個のシナプスを有し得る。如何にこれらの入力はニューロン計算において効率的に互いに相互作用するか？

デジタルコンピューティングにとって、分子クロスバーのナノスケール化が数十年、追及されており、実際、複数の１および複数の０が均一に分散される傾向がある場合に、複数の結合および複数の接続のナノスケール化は、差し迫っているムーアの法則の限界を超えてデジタルコンピューティングを小型化する。しかしながら、クロスバーは入力数によって幾何学的に拡大縮小し、認知コンピューティングに適用された場合に、増え続ける入力をまたいで物理的に効率が悪くなる。第１の問題はまた大規模システムに対して（現状でも）対処されなくてはならないが、後者の問題は未解決のままになっており、より重要である。ナノ分子の結合の追加は、このニューロン内のクロスバーの問題を解決しない。ナノスケールの分子クロスバーが過去１０年間（Ｃｈｅｎ ｅｔ ａｈ，２００３年）にわたって追及されており、実際、デジタルコンピューティングにとって複数の１および複数の０がバイナリデータコードにおいて均一に分散する傾向がある場合に、複数の結合および複数の接続のナノスケール化は、差し迫っているムーアの法則の限界を乗り越えるべく複数のトランジスタを除去する。しかしながら、認知コンピューティングに適用される場合に、幾何学的なクロスバーは、低密度に相互接続された増え続ける複数のトリプレット相互作用をまたいで物理的に効率が悪くなる。各ポストニューロンが数万のプレ入力（ｐｒｅ ｉｎｐｕｔ）を受信し、これらのプレ入力が（単純化された加重を超えて）相互作用すると、その場合には、これらの入力の間のコインシデンス行列は非常に低密度になり得、これはクロスバーの非常に小さい断片が１を含み、数億のクロスバー接続が０を含む場合に膨大に消費されることを意味する。

ニューロン内のクロスバーメモリは、ニューロン計算の理解、および、ハードウェア内でのニューロンのエミュレートの課題であり続ける。１つのニューロンを考慮すると、エミュレーションは、非常に大きな入力フィールドにわたって如何にニューロンがその複数の入力の相互の関連を学習するかを扱いうる。換言すると、ニューロンがコインシデンス行列を表す場合、エミュレーションは、どのくらい支配的に線形なコインシデンス行列の構造がその全ての相互接続のクロスバーではないかを扱いうる。

複数のセルラーニューラルネットワーク（ＣＮＮ）は神経ネットワークコネクショニズムと同様であるが、ローカルのみの近隣接続（ｌｏｃａｌ−ｏｎｌｙ ｎｅｉｇｈｂｏｒｈｏｏｄ ｃｏｎｎｅｃｔｉｏｎ）によって区別されうる。より最近になって、複数のアプローチは、相互作用がローカルかつ伝播性である、そのようなＣＮＮオートマタの設計を含むかもしれない。初期のメモリスタクロスバーの設計を乗り超えて、ＨＰはまた、より最近になって、クロスバーではなく線形配列の神経形態学的デバイスを報告している。ＨＰの報告は、６個のセルのみを論証し、適用された特定のオートマタルールのユニバーサル計算特性を無視している。この「ｐｒｏｏｆ ｉｎ ｐｒｉｎｃｉｐｌｅ」は１次元アレイにおける些細ではない計算を論証する。より多くの次元のＣＮＮが開発されているが、１次元のＣＮＮは、細い線形構造としての神経樹状突起をより良く表す。

神経科学と、ＳＴＤＰの計算の研究は有益でありうる。プレシナプス（事前）のスパイクとポストシナプス（事後）のスパイクとの間の遅延線は、ＳＴＤＰが前後の複数の偶発事象を表すのに主要な要件でありうる。「近接性」（ｃｏｎｔｉｇｕｉｔｙ）として知られるように、刺激が応答を予測し得ることを保証すべく、刺激は応答の前に生じなくてはならない。逆向きの近接性を含めてＳＴＤＰの多くの他の形態が見つかっているが、「時間依存」のいくつかの形態はＳＴＤＰに不可欠であり得る。しかしながら、１つのニューロンから別のニューロンへ送信するための軸索のスパイクは、ニューロン内ではあまり単純ではない。樹状突起のスパイクがまた既知であるが、シナプス増強は、スパイクの作用なしで見つかる。より興味深いことに、生体内の研究は、ペアでの事前および事後のスパイクは確実にはシナプス増強、関連のシナプス荷重の増加をもたらさないことを示す。ペアコインシデンスとしての、ポスト出力へのプレ入力の関連付け以上に、トリプレットまたは多シナプス性のＳＴＤＰはより成功裏に神経学習の実際の機構として調査されている。信号のトリプレットは細い樹状突起にわたってニューロン内で相互作用する。トリプレットシグナリングの多くの形態があるが、ここでは、これは少なくとも２つのプレシナプス入力が、クロスバーと明示的なクロスバーとの正確な関連を計算して、ポストシナプスのニューロンとの関係でどのように相互作用するかを表すと仮定される。

ニューロン内のクロスバーの問題の解決手法は、実際の複数のニューロンの計算と、それらが複数の細い樹状突起にわたってコインシデンスを検出する方法に対する神経科学的な調査とにおいて見つかるかもしれない。多くのニューロンは共に結合（ｗｉｒｅｄ）されることができるが、計算の単位‐ニューロン自体‐が誤っていて効率が悪い場合には、より大きなアーキテクチャが神経のポイントを見失ってしまう。 コインシデンス検出

１９８０年代の「神経ネットワーク」の再生から、神経科学は大部分の計算アルゴリズムがほとんど、または全く実際のニューロンと関係が無いと批判している。例えば、並行分散処理（ＰＤＦ）アプローチは、ニューロンが弱くて遅く、それらの並列処理性および大量の数によってのみ保存されると仮定した。対照的に、神経科学はますます個々のニューロンの非常に非線形な挙動を発見している。ニューロンが互いにネットワークを形成することに加え、単一の各ニューロンは、それ自体でネットワークを表しうる。この神経計算へのより深いアプローチは１９９０年代に最も強く生じ、１９９２年のＭｃＫｅｎｎａおよびＤａｖｉｓによる単一ニューロン計算で明瞭に表現され、１９９８年のＣｈｒｉｓｔｏｆ Ｋｏｃｈによる計算の生物物理学：単一ニューロンの情報処理で典型的に示された。その後の数年の神経研究は、特にニューロンの結合とエネルギーの小型化を理解するための、この計算ユニットへのフォーカスを含む。複数のニューロンが強力な非線形デバイスであると、その場合には、複数のニューロンの樹状突起は、それらの計算に重要であるはずである。樹状突起では、複数のシナプスがニューロンに接続して互いに相互作用するよう見える。

クロスバーの結合問題に対するニューロンの解決手法は、単一ニューロン計算についての主要な問題として、細い樹状突起上での「コインシデンス検出」として定義されるものに対する調査のように位置付けられている。換言すると、樹状突起内で如何に複数のシナプス入力が他の複数のシナプス入力を検出するかを知ることが望ましいかもしれない。しかしながら、「コインシデンス検出」のより単純化された定義のために多くのモデルが存在する。このフレーズは、ここでクロスバーの問題を解決すべく意図されるものは別として、様々な意味を有するかもしれない。

１つの例は、ステレオの音楽定位である。２つの耳を考慮すると、サウンドは僅かに遅れて１つの耳に到達する。２つの入力の２つの活性化は一致すると考えられ、それらが一致するニューラルポイントはサウンドの方向を示す。いくつかのモデルは、サウンドの位置を示すように２つの信号がいつ互いに交わるかを検出する遅延線を含む。従って、音楽定位は学習の問題ではない。

別の例はプレおよびポストシナプスの発火である。学習の最も単純な定義は、１つのシナプスで接続された２つのニューロンの同時発火を含む。コインシデンス活性化は、シナプス荷重の変化の基礎であると考えられる。これは学習を「同時に発火した神経細胞は結合を強める」として表現する。１シナプス１重みのスキームは、２つの入力が所与の出力と相互作用する３つ組みの関連を可能とする本発明に対し、ペアでの関連のみを表す。

さらに別の例は、単一のベクトルマッチングを含む。いくつかの分散表現は、１つのプロトタイプベクトルを各ニューロンに割り当てる。低密度の分散メモリと同様に、ノードは、その複数の入力がベクトルにマッチする場合に、最も近いマッチを検出する。例えば、いくつかの理論は、複数の錐体ニューロンがコインシデンスディテクタであることを予測する。しかしながら、そのようなモデルは、各樹状突起が完全な連想行列ではなく１つのベクトルポイントのみを格納する固定‐低密度分散表現によりコインシデンス検出が限定されると定義しうる。

第１の定義は、学習された関連ではなく、位置を計算する２つの入力のみを表してよい。第２の定義は、１つの入力と別のニューロンとの間の単一の関連の学習を表してよい。第３の定義は、入力ベクトルのより強力な連想記憶（ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｙ）をサポートすることを意図してよいが、各ニューロンは多くのベクトルの任意のコインシデンス行列ではなく、１つのベクトルのみを表す。

混乱を回避すべく、仮定される計算はより明確に定義されるべきである。各ニューロン内のコインシデンス検出は、それ自体内の全体の行列、全体のグラフを表すと仮定される。この定義において、神経樹状突起は、その複数の入力の間の多くの任意の関連を表す。支配的に線形な「細い樹状突起」内の任意の非線形ネットワーク構造を表す方法が望ましくなっている。ニューロンの理解に向けて、かつ、ニューロラオフィック（ｎｅｕｒｏｒａｏｒｐｈｉｃ）デバイスの効率のため、アルゴリズムは有益であるかもしれない。そのようなアルゴリズムのためのインスピレーションが実際のニューロンから見つかるかもしれない。

ＣＮＮとして、アルゴリズムはハードウェアアルゴリズムであるべきである。ニューロンはデバイスであり、たとえハードウェアではなく「脳」（ｗｅｔｗａｒｅ）内であるとしても、その物理構造にわたって非常に細い粒度の並列処理を利用している。そのようなデバイスレベルの並列処理は、ソフトウェアが任意の電子回路をシミュレーションできるのと同程度に、ソフトウェアでシミュレーションされることができるが、計算は、本質的にデバイスとしてのニューロンについての推論により効果的に発見される。ニューロコンピューテーションの分析の異なるレベルを区別する方法を考慮することは有用かもしれない。

分析の計算理論レベルは、計算の目的、その目的が適切である理由、および、その目的を達成するための戦略のロジックを特定しうる。分析の表現およびアルゴリズムレベルは、計算理論が実装され得る方法、並びに、特に、どの表現が入力および出力に用いられるか、および、どのアルゴリズムが変換に用いられるかを特定しうる。分析のハードウェア実装レベルは、表現およびアルゴリズムが物理的に実現され得ることができる方法を特定しうる。

物理サブストレート、メモリスタから独立していようがいまいが、計算および具体的アルゴリズムが第１に必要とされうる。各ニューロンが連想行列（グラフまたはそれ自体内のネットワーク）を学習して思い出すことができるという計算の仮定が与えられる場合、学習し思い出すことの変換のアルゴリズムを特定することが望ましい。計算の分析

本明細書で開示されるように、支配的に線形な樹状突起の処理は、その分散した複数のシナプス入力にわたる任意のコインシデンス構造を学習し得、複数の樹状突起は、それら自身内の、および、それら自身のグラフを格納しうる。分析の計算レベルにおいて、複数のグラフがブール関数として位置付けられ得る。例えば、線形構造は、神経アルゴリズムの２つの異なる戦略に応じて、結合または分離のいずれかの通常形態における（ｅｉｔｈｅｒ ｉｎ ｃｏｎｊｕｎｃｔｉｖｅ ｏｒ ｄｉｓｊｕｎｃｔｉｖｅ ｎｏｒｍａｌ ｆｏｒｍ）ブール関数を計算することができる。両方の場合において、各シナプス入力は、従来のニューラルネットワークモデルにおける通常の単一の重みではなく、樹状突起アレイに沿って２つの別個の重みを割り当てられてよい。それらの計算は、それらの重みおよびそれらのアルゴリズム伝播を表すホジキン−ハクスレイ方程式のシミュレーションによれば、生物学的にもっともらしく見える。両方のアルゴリズム戦略の報告は、完全な計算の不確実性を含む。１つの不確実性は、より大きな規模におけるブールの不完全性に対応する。３および４の入力変数に対し、アルゴリズムは全てのブール関数を表すことができるが、入力数が増加するに従って、ブール関数の数は飛躍的に増え、当該方法のそれら関数の適用範囲は飛躍的に減少する。一方、ブールネットワーク関数が十分な樹状突起コンパートメントを用いて計算可能であることは理論的に証明されている。存在の証拠に対する別の不確実性は、ブール関数は計算され得るが、重みを学習する方法を特定しないということである。例えば、入力あたり２つの重みの設計が与えられると、ブール関数が生成され、重み空間の総当たり探索によりテストされた。この結果は入力ごとの重みのペアがブール関数を計算し得ることを証明するが、それらの重みを学習する方法は報告されていない。

入力あたり２つの重みのスキームは、興味深い関数を計算し、一方、ホジキン−ハクスレイ方程式によってもニューロリアリスティックに（ｎｅｕｒｏ‐ｒｅａｌｉｓｔｉｃａｌｌｙ）計算される。しかしながら、細い樹状突起上でコインシデンスを検出する具体的アルゴリズムについて、さらなる理解が望ましいかもしれない。そのような理解は、入力あたり２つの重みについて何が重要であるか、どの条件がその表現の（ｒｅｐｒｅｓｅｎｔａｔｉｏｎａｌ）欠陥を引き起こすか、何が樹状突起の伝播の細胞ルールであるか、何が重み調整の学習則であるか、および、複数のルールのうち何がエネルギー効率がよい（論理的な可逆性である）か、を特定し得る。

いくつかの問題は部分的には前の発明、例えば前および次の重みを用いる発明において特定されて対処されている。例えば、参照によりその全体が本明細書に組み込まれた「Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒｏｎｓ Ｉｎｃｌｕｄｉｎｇ Ｐｏｗｅｒ Ｓｅｒｉｅｓ Ｏｆ Ｗｅｉｇｈｔｓ ａｎｄ Ｃｏｕｎｔｓ Ｔｈａｔ Ｒｅｐｒｅｓｅｎｔ Ｐｒｉｏｒ ａｎｄ Ｎｅｘｔ Ａｓｓｏｃｉａｔｉｏｎｓ」と題されたＡｐａｒｉｃｏ他の米国特許第６，５８１，０４９号は、シナプスあたり１つより多い重みが必要とされうるという理解を含んでいた。参照によりその全体が本明細書に組み込まれた「Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒｏｎｓ Ｉｎｃｌｕｄｉｎｇ Ｗｅｉｇｈｔｓ Ｔｈａｔ Ｄｅｆｉｎｅ Ｍａｘｉｍａｌ Ｐｒｏｊｅｃｔｉｏｎｓ」と題されたＣａｂａｎａ他の米国特許第７，０１６，８８６号においてさらに開発されたように、この前および次の表現はさらに、デジタル断層撮影法により定義されるような行列投影に等しいと理解された。参照によりその全体が本明細書に組み込まれた「Ｎｏｎｌｉｎｅａｒ Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏｒｉｅｓ Ｕｓｉｎｇ Ｌｉｎｅａｒ Ａｒｒａｙｓ Ｏｆ Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏｒｙ Ｃｅｌｌｓ，ａｎｄ Ｍｅｔｈｏｄｓ Ｏｆ Ｏｐｅｒａｔｉｎｇ Ｓａｍｅ」（「Ａｐａｒｉｃｉｏ ２０１０」）と題されたＡｐａｒｉｅｉｏの米国特許第７，６５７，４９６号において、さらなる伝播および圧縮方法がさらに開発された。

細い樹状突起のコインシデンス検出を解決するよう刺激されて、複数の発明が線形構造内の非線形行列の表現に取りかかった。認知ハードウェアにおける目下の緊急の関心に対する近年のさらなる調査により、連想記憶の樹状突起ストレージに対する完全な回答が今や手中にある。デジタル断層撮影法

断層撮影は、貫通波を用いてオブジェクトを複数の断面において観察することによるオブジェクトイメージの再構成処理である。例えば、コンピュータで処理される断層撮影（ＣＴ）はＸ線を使用し、磁気共鳴画像法（ＭＲＩ）は無線波を使用して体の内部を撮像する。生体の構造の内部を見るべく生体をスライスするのではなく、その内部イメージを再構成するべく複数の異なる角度からの複数の異なる投影が用いられ得る。

デジタル断層撮影法は、バイナリ行列に対してなど、複数のバイナリオブジェクトに対して同じことを行う。行列の複数の行を横切って見る１つと、複数の列を横切って見るもう１つとの２つの投影を用いる場合、目的は、行列の内部の個々のヒットを「見る」ことである。行および列の両方の投影は、カウントのベクトルであってよい。各カウントは、その全ての列との行の交差ビット、または、その全ての行との列の交差の数を表す。連想行列に対してそのような投影を用いる場合、これら２つの投影は、各行についての１つの重みと、各列についての１つの重みとの２つの重みセットとして示されうる。入力‐入力の自動的な関連付け（ａｕｔｏ−ａｓｓｏｃｉａｔｉｏｎｓ）を表す順序において複数の行ラベルが複数の列ラベルと同一である場合、各入力ラベルは、行投影における１つと、列投影における１つとの２つの重みを有し得る。

しかしながら、それらの投影は、全ての行列の状態を完璧には表すことができない。完璧になるには、複数の投影は、唯一無二の１つの行列構成を表して不変である必要がある。デジタル断層撮影法において既知であるように、いくつかの投影のみが、複数の行及び列がソートされる場合にビットの完全なパッキングとして定義される「最大」の行列のみに対し不変である。

最大性を判断することは、行及び列を投影順序でソートすることを含んでよい。パッキングに穴が残っていない場合には、行列は最大である。もし行列が最大であると、その場合にのみ、投影は不変である。これは、２つの線形な投影が最大行列を完璧に表し、１つの投影を、残りの１つのインデックスソート順序に対して比較することでその複数のビットの何れかを読み取るのに用いられ得る、ということである。

ここで図１を参照すると、図１は本発明のいくつかの実施形態に従って、最大行列の投影を用いることを示すグラフである。例えば、入力Ｃ（３００２）が１（３００３）の行投影を有し、Ｈ（３００４）がインデックス３（３００６）のように３番目に大きい列投影としてソートされたと仮定する。これらの２つの投影から、我々はＣＨの関連は行列内ではないと認識する。なぜなら、Ｃの投影はＨに「到達」しないためである。対照的に、Ａ（３００８）が４（３００９）の行投影を有し、Ｆ（３０１０）がインデックス順序１（３０１２）の列にあると想像する。この場合、Ａの投影長は明らかにＦと、続く３つの他の列インデックスとに到達する。

いくつかの実施形態において、投影は圧縮の形態であるが、不可逆的圧縮である。なぜならば、ごく少数の行列しか最大ではないためである。ここで図２を簡潔に参照すると、図２は、本発明のいくつかの実施形態に従い、行列の投影を用いて４スイッチ問題を示すグラフである。２つの投影が行列を近似（ａｐｐｒｏｘｉｍａｔｅ）するのに用いられ得るが、いくつかの方法での可能性のある問題のように、より複雑なグラフ構成を表すときの損失性は、より大きな次元において飛躍的に成長する。デジタル断層撮影法に再び目を向けると、問題は「４スイッチ」問題として知られる。最も基本的なスイッチは、行列内に４つのセルを含む。たとえＡおよびＢの２つのみの行、および、ＣおよびＤの２つの列であっても、４つ全ての投影重みが１に等しい場合を想像する。各行は１つの列に関連付けられるが（逆もしかり）、複数の投影がＡＣおよびＢＤの構成を、代わりにＡＤおよびＢＣを表す構成から区別することは不可能である。

デジタル断層撮影法の４スイッチ問題は教育的であるが、機械学習は解決を可能とする相補的な問題を提供しうる。デジタル断層撮影法との関係において行列の複数の投影が与えられ、タスクは、どのように構築されたものであれ行列を想像することである。機械学習との関係において、各関連は、可読な複数の投影を持つ行列を構築する機会と共にトレーニングにおいて観察されることができる。

もし複数のスイッチの問題が検出され回避され得るなら、その場合は複数の行列投影が関連行列を完璧に学習して表現する可能性がある。この問題を解決すべく、４スイッチの２つの変数が「交差」（ｃｒｏｓｓｅｄ）および「結合」（ｂａｎｄｅｄ）と称される。２つの重みの投影を用い樹状突起内でこれらの重みを伝播する複数の方法は、交差および結合スイッチの間のこの区別が行われて検出され得る場合に、ここで完全なストレージに拡張される。特に、４スイッチの交差形態は問題である。これに関し、回答はまず複数の交差を回避し、次に活性化ルールを、より強く結合された「より長距離」の関連を含むよう拡張することにある。簡易活性化

樹状突起は、複数の他のニューロンからの複数のシナプス結合を有する複数のコンパートメントの線形配列である。各シナプスは、プレシナプスおよびポストシナプスのニューロンの間の接続強度として定義されるシナプス荷重を含む。複数のシナプス荷重は経験を通して成長する。同時に発火したセルは結合を強めるとして再び説明され、シナプス活動の複数のコインシデンスは、この接続重みの大きさに反映される。

入力あたりの２つの重みとして２つの投影を表すべく、第１重みは典型的なシナプス活性化強度を表し、第２重みは他の複数の活性化に対する各樹状突起コンパートメントの受容性を表す。１つのシナプスと１つのコンパートメントは、この理想的な樹状突起構造において各入力に割り当てられる。

ロジキンハクスレイ方程式による神経シグナリングの生理学は、ニューロンの膜電位を説明するべく、細胞内および細胞外のイオン濃度の間の電位差と、セル内外のイオンの移動とを説明する。信号伝播は、この膜電位の脱分極による。静止するシナプス性および受容性の複数の重みは、細胞内ポテンシャルとしては理想的であり、膜の外部面を、静止する電圧ゼロポイントとして設定する約束事（ｃｏｎｖｅｎｔｉｏｎ）に従う。活性化された場合に、それらの重みは脱分極し、細胞外重みとして、各シナプス及びコンパートメントに対して外部となる。

図３を参照すると、図３は、本発明のいくつかの実施形態に係る樹状突起の概略図である。樹状突起は指向性をもって先端から、樹状突起の末梢端から、ニューロンの本体である神経細胞体に至るまで活性化される。神経細胞体は、軸索が他の複数のニューロンに送信するニューロン活動のための加重点として理解される。実際のニューロンには複数の逆の伝播信号がまた存在し、ここに含まれ得るが、神経細胞体への途中でそれぞれより近位のコンパートメントを流れる末梢シナプス活性化によりコインシデンス検出が計算される。定義されるように、複数のコインシデンス検出は樹状突起の活動電位、スパイクを生成する。スパイクは、そのような複数のコインシデンスの神経細胞体による加重のためにニューロン全体にわたって神経細胞体に向けて移動する。

複数のシナプスおよび複数のコンパートメントは、プレシナプス入力信号がＯＮであるかＯＦＦであるかに応じてアクティブまたはパッシブ、ポジティブなＯＮまたはネガティブなＯＦＦになり得る。各活性シナプスのシナプス活性化は受容性勾配を横切って樹状突起を下る。ポジティブ活性化がポジティブ受容性に遭遇する場合、２つの非ゼロの重みが互いにマッチしてスパイクを生成する。マッチすると、見つかった関連に相当するように活性化波および受容性勾配の両方が減らされ、減らされた活性化が次のコンパートメントに進む。

この簡易な伝播ルールは、近隣の活性化されたシナプスにおける複数の関連の連続行程と、より遠く離れた複数の関連への、非ゼロの連続な複数の伝播とを検出することができる。例えば、上の概要はＥＢの関連を示す。それが樹状突起内の唯一の関連であり、他のシナプスおよびコンパートメントの重みが０に設定される場合、関連ＥＢ（ａｓｓｏｃｉａｔｉｏｎ ＥＢ）を想像されたい。ＥおよびＢが両方ともアクティブである場合、１のシナプス荷重は、それが他のコンパートメントかつ１の受容性に到達するまで、妨げられずに（減らされることなしに）伝播する。活性化および受容性はマッチし、両方ともゼロに減らされる。見つけられる他の関連はない。この例は些末であるが、当該方法は４スイッチの問題を除き、より大きな複数の関連ブロックに拡張する。帯域幅削減

複数の最大行列を検出して活用するデジタル断層撮影法における投影ソートと同様に、この活性化ルールは、複数の行列入力を、各入力が関連付けられた他の複数の入力に可能な限り近づくようにソートすることで利益がある。そのようなソートは行列帯域幅の減少に等しいかもしれない。低帯域幅の行列は、その複数のビットを対角線（ｄｉａｇｏｎａｌ）に向けてパックさせた低密度の行列である。高帯域幅は、複数のビットが対角線から遠く離れたままの程度に限定される。

図４Ａおよび４Ｂを簡潔に参照すると、図４Ａおよび４Ｂは、複数の行及び列が任意の順序及び分類された順序それぞれである場合に構造不定の新たな複数のソースに由来するマトリクス（「タンパ」（Ｔａｍｐａ）との関係におけるシティータンパ）の全ての一致ペアを表すグラフである。図４Ａに示されるように、複数の行及び列が任意の順序である場合、複数の関連セルは広く分散される。対照的に、図４Ｂに示されるように、複数の行及び列がソートされて行列帯域幅を最小化する場合、関連付けされた複数の入力は互いにより近く移動し、それらの関連を対角線にもより近く配置する。

樹状突起にわたる活性化ルールに関し、帯域幅削減は、複数の関連を連続でローカルな複数のブロックにパックする傾向がある。行列の１つの入力の投影長がデジタル断層撮影法における別の入力のインデックスに「到達」するかを見ることで行列を読むことと同様に、活性化波はその複数の関連を検出し、それ自体を減らし、全部（ｄｏｗｎ ｔｈｅ ｌｉｎｅ）の関連を見出すことを継続する。ソートは、よりローカルな複数の入力‐入力関係を作成することにより、このローカルな伝播技術に役立つ。

この樹状突起の伝播技術がそれぞれの入力ペアの間の明確な結合なしに関連を読み取ることができることは明らかであるべきである。任意の２つの入力コンパートメントの間の複数の「結合」は仮想的であり、活性伝播のみにより表現される。複数の入力の間で、別のものへの伝播時間はそれらの間の距離に比例するので、行列帯域幅の最小化は、複数の仮想結合がまた仮想的になるだけではなく「より短く」なることを可能にする。カスケーディング活性化

別の方法では帯域幅削減の後でさえも４スイッチにより複雑にされ（ｃｏｎｆｏｕｎｄｅｄ）うる２つのシナプスの間の関連を含めて任意のグラフの完全な記憶を表すことは有用であり得る。単により遠く離れることは問題ではない。一般的に、たった今説明された簡易な活性化ルールは、必ずしも継続的ではない或る複数のコインシデンスを検出し得る。しかしながら、より高帯域の複数の関連はまた、４スイッチ内で残る（ｌｉｖｅ）傾向がある。例えば、より複雑かつ興味深いグラフにおいてＥおよびＢの間に生じうる他の複数の関連は、「障害になり」（ｇｅｔ ｉｎ ｔｈｅ ｗａｙ）得る。

図５を参照すると、図５は本発明のいくつかの実施形態に係る樹状突起のカスケーディング活性化の概略図である。解決手法は、多くの波の並行なカスケーディング伝播に見出され得る。複数のアクティブ入力により生成される複数の活性化に加え、活性化されていない複数の重みはまた、「道をあける」（ｃｌｅａｒ ｔｈｅ ｗａｙ）ための複数のポジティブ活性化に先立って伝播する。このカスケードは、交差構成の４スイッチがない限り、樹状突起にわたる遠近の複数の関連の任意のグラフを完璧に表すことができる。さもなければ、全ての４スイッチが「結合」される限り、高低の帯域の関連の両方は、カスケーディング帯域にわたって検出されうる。

結合された４スイッチの例に関し、再びＥおよびＢが互いに関連付けられ、またＥからＢまでの間でＤおよびＣが関連付られていると仮定する。上で説明されたように単一の伝播波のみを用いると、ＥおよびＣがＯＮであった場合、Ｅのポジティブ活性化は、その本来のＢの連想受容性に到達する前に、Ｃのポジティブ受容性に遭遇する。これは、たとえ交差または結合構成であっても、４スイッチの問題である。しかしながら、Ｅの前により低帯域幅のカスケードにおいてＤが伝播する場合、次にＤの活性化波はＣの受容性に正しくマッチして、Ｂとのその本来の接続に進むより高帯域上のＥ波のために道をあける。

この主要なアイデアは異なって定められ得る、すなわち、カスケーディング伝播はより高帯域に進む前により低帯域を処理するように示され得ると定められ得る。全てのシナプス荷重のカスケーディング伝播は、より低帯域の複数の関連を「クリア」する必要があるかもしれない。これにより、より高帯域の複数の活性化はそれらのより遠い複数の目標の関連に至るまで「続き」（ｆｏｌｌｏｗ）得る。

損失なく表されるべき任意のグラフに関し、複数の非活性シナプスはまた、完全なアカウンティング（ｆｕｌｌ ａｃｃｏｕｎｔｉｎｇ）のためにそれらのシナプス荷重を伝播しなくてはならない。ポジティブ入力の複数の活性化波をそれらの追加の複数の波から区別すべく、各活性化はその正または負の符号を搬送しなくてはならない。換言すると、活性化のレベルはシナプス荷重に基づき、活性化の符号は発生側のシナプスがＯＮであるかＯＦＦであるかに基づく。ここで図６を参照すると、図６は、本発明のいくつかの実施形態に従い、シナプスがＯＮにされる毎の、次のコンパートメントへの活性化信号を含んだシナプス脱分極を示すフローチャートである。シナプス入力がＯＮにされると（ブロック３１０２）、次に、重みが０より大きいかに関する判断が行われる（ブロック３０１４）。重みが０より大きい場合には、次に脱分極シナプス値が重み値に設定される（ブロック３１０６）。次に活性化出力が重み値に設定され（ブロック３１０８）、次に重み値が０に設定される（ブロック３１１０）。次に、活性化出力が送信される（ブロック３１１２）。

ＯＦＦシナプスもまた伝播するべく、より遠位の複数のコンパートメントからの任意の活性化が追加のシナプス脱分極および活性化波を強いる。これは、まだ脱分極されていない（細胞内部の電位が０でない）場合に、コンパートメントごとに一回生じる。これらのＯＦＦのシナプスが活性化される場合、伝播はまた、ＯＮのシナプスと同様にシナプス荷重に等しいが、符号は負である。

ここで図７を参照すると、図７は、本発明のいくつかの実施形態に係るカスケーディング・シナプス活性化を示すフローチャートである。シナプス入力がＯＦＦにされ（ブロック３１２０）、かつ、重みが０に等しくない場合（ブロック３１２２）、次に脱分極シナプス値は重み値に設定される（ブロック３１２４）。次に活性化出力は重み値に設定され（ブロック３１２６）、重み値は０に設定される（ブロック３１２８）。次に、活性化出力が送信される（ブロック３１３０）。全ての入力活性化が開始されカスケードを開始するに従い、複数のコンパートメントは、それらが樹状突起を下るに従って、それらを流れる活性化のシリーズに応答する。

ＯＮまたはＯＦＦの全てのコンパートメントがその信号を伝播する場合、次にこれは複数のＯＦＦ入力に対して正しい。しかしながら、いくつかの実施形態において、複数のＯＦＦ入力は、ＯＮ信号がそれらを妨げる場合にのみトリガされうる。別言すると、全てのＯＦＦコンパートメントが活性化するよりもむしろ、他の複数のＯＮの伝播に携わるもののみが、それら自身をまずクリアする必要がある。

ここで図８を参照すると、図８は、本発明のいくつかの実施形態に従って、カスケーディングコンパートメントの活性化を処理するためのロジックを示すフローチャートである。複数の活性化は、それらが非ゼロであり続けるときにのみ伝播される。したがって、活性化入力がゼロであると、この場合は活性伝播が生じない（ブロック３１４０）。受容性がゼロに減る場合、コンパートメントは、１つのコンパートメントからの活性化をそれ自身の活性化として次のコンパートメントに渡すことを除いて非応答性となる。活性化入力がゼロより大きいが（ブロック３１４９）、受容性はゼロである場合（ブロック３１４２）、次に活性化は次のコンパートメントに送られる（ブロック３１５２）。

さらなる効率のために、受容性がゼロに落ちた場合、複数のコンパートメント間のラッチは透明になりうる。さらなる受容性を持たない複数のコンパートメントは、やり残したことを持たず、シーケンスのラッチなしに入力活性化をそれらの出力活性化として電子的に送信し得る。換言すると、それらはバケツリレーにおいて活性化を渡し続ける必要がない。例えば、それらの受容性が０に使い尽くされた１０００個の接続されたコンパートメントを想像されたい。１番目のコンパートメントへの任意の入力活性化は即座に、正に同一の、１０００番目のコンパートメントの出力活性化になり得る。それらのバイパスされた複数のコンパートメントは透明になり得、同時に、１動作において長距離にわたり非ゼロの活性化値を渡す。結果として、グラフの計算に必要とされる時間ステップの数は、コンパートメントの距離と、伝播のための時間ステップとの関数ではない。効果は、より低帯域の、より近い関連が迅速にクリアして受容性をゼロにさせることである。長ければ長いほどゼロの受容性のチェーンは、より短時間でより長距離にわたり、より高帯域の複数の関連を電子的に送信する形態をなす。結果として、関連を検出する時間は、樹状突起の長さよりもむしろ、行列の帯域幅のみの関数である。

非ゼロの受容性と交わる非ゼロの活性化は関連を説明する。しかし、ＯＮである複数の入力のみの間でコインシデンスを検出するためには、ポジティブ活性化の波が現在のコンパートメントへのポジティブ入力と交わる必要がある。両方がポジティブである場合には、マッチが検出されコインシデンス・スパイクとして神経細胞体にシグナリングされる。従って、活性化入力（ブロック３１４０）および受容性（ブロック３１４２）が両方ともゼロより大きい場合、次にコインシデンス・スパイク信号が神経細胞体に送信される（ブロック３１４４）。

また、各コンパートメントが非ゼロの活性化信号を受信し（ブロック３１４０）、受容性がまた非ゼロである（ブロック３１４２）場合、次にコンパートメントはさらに脱分極する（ブロック３１４６）。コンパートメントの脱分極（ブロック３１４６）はコンパートメントの受容性を減らすこと（ブロック３１４７）と、コンパートメントの活性化値を減らすこと（ブロック３１４９）とを含んでよい。活性化が非ゼロのままである場合（ブロック３１５０）、次にコンパートメントは残りの活性化を次のコンパートメントに送信する（ブロック３１５２）。いくつかの実施形態は、各コンパートメントがより末梢の活性化、次いで次の末梢の活性化を順に受信して処理する前に自身のシナプス活性化を伝播し得るという意味で、複数のコンパートメントが互いにラッチされることを規定する。

この複数の投影としての複数の行列の関連の表現は、複数のクロスバーの結合が仮想であることを可能にする。これらの仮想結合は、上で説明されたように、行列帯域幅の減少により、より短く作成され得る。またソートされていようがいまいが、長距離の「結合」は、伝播中の複数のコンパートメントの成長する透過性によってよりいっそう短くなる。

カスケーディング活性化ルールは、連想行列が交差構成の４スイッチを全く含まない限り、任意の連想行列を計算するのに用いられうる。従って、複数の学習則は、まず行列に対して如何なる交差を追加することも回避しなければならない。

ここで図９Ａを簡潔に参照すると、図９Ａは、本発明のいくつかの実施形態に係る樹状突起のカスケーディング活性化の概略図である。連想行列に対する基本的な「ストレージプレスクリプションフォーミュラ」（ｓｔｏｒａｇｅ ｐｒｅｓｃｒｉｐｔｉｏｎ ｆｏｒｍｕｌａ）は、２つの入力が一致の場合にそれらの連想重みがインクリメントされることを規定し得る。例えば、ＥおよびＣがまた所与の行列グラフに格納されるべきである場合、次にＥおよびＣの重みはインクリメントされる。各入力が２つの重みを有するので、このフォーミュラは指向性となり、ＣよりもＥが遠位（神経細胞体からより遠い）であるか近位（神経細胞体により近い）であるかに依存する。樹状突起にわたる２つの入力の間の関連を学習するべく、遠位の入力はそのシナプス荷重を増やし、これは樹状突起を下って伝播する。一方、近位の入力はその受容性重みを増やし、これは他の伝播にマッチする。そのような新たな関連をロードすべく、複数の入力が互いを「見出す」かを見るために複数の新たな重みは増えると「想像」され得る。追加の関連（または、ベクトル入力パターンにおける２以上）が交差する４スイッチを引き起こさない場合、インクリメントされた複数の重みは仮想グラフに正しく同化する（ａｓｓｉｍｉｌａｔｅ）。

学習則はトリプレット依存性を表す。第１に、ターゲットニューロンは、新たな関連をコンテキスト内にロードするべくＯＮであると推測される。第２に、末梢の活性化はＯＮの入力信号を伝播する。第３に、この遠位信号は、別の入力信号のより近位の活性化と相互作用する。トリプレットストップ（ｔｒｉｐｌｅｔ ＳＴＯＰ）に関する証拠が増え続ける一方、スパイクは常には必要とされず、ペアのＳＴＤＰは相乗作用（ｐｏｔｅｎｔｉａｔｉｏｎ）をもたらすにあたり可変である。３つ組みの活性化のより強い要件のために、生理学上の証拠はより一般的な活性化の方法、スパイクか否かに傾く。

しかしながら、何れかの関連が交差構成を引き起こす場合、後の複数の伝播は新たな関連を正しくは表現しない。ここで図９Ｂを簡潔に参照すると、図９Ｂは、本発明のいくつかの実施形態に係る樹状突起のカスケーディング活性化の概略図である。示されるように、Ｄが遠位かつＡが近位であり、これらを接続することが４スイッチを作成する場合、次にＤの伝播はＡに到達する前に不正確に受信される。この問題は、Ａが（いわば）「祭壇に立つ」（ｓｔａｎｄｉｎｇ ａｔ ｔｈｅ ａｌｔａｒ）まま残され、Ｄの到達を待機する場合に明らかである。そのような如何なるエラーも４スイッチの作成に起因する。

新たなＤＡの関連は所与の複数の投影重みに直接ロードされることはできないが、いくつかの方法は他の方法で複数の関連を追加しうる。ここで図１０を簡潔に参照すると、図１０は、本発明のいくつかの実施形態に係る樹状突起のカスケーディング活性化の概略図である。１つの方法として、樹状突起はその先端で成長することができ、これは実際のニューロンにおける「成長円錐」を含む。ハードウェアに関してより一般的に、複数のコンパートメントのより長いアレイは未使用の自由空間を含むと仮定される。別のシナプスを追加して他のシナプスへのその関連をテストすることは、より高い可能性で新たなシナプスに新たな関連を追加することができる。より一般的に、交差関連は、それらを別の樹状突起（または拡張された自由空間）に配置すること、複数の関連が他の箇所に格納されることができる場合はそれを他の箇所に格納することにより回避され得る。

明瞭にするべく、０（Ｎ＾２）のオブジェクトが常に２つの０（Ｎ）の投影で表され得ることの要求は行われない。より複雑なグラフ構造のために重複するシナプス入力が必要とされるかもしれない。例えば、より高次元における（たまに「スナークス」（ｓｎａｒｋｓ）と呼ばれる）ピーターソンのグラフ（Ｐｅｔｅｒｓｏｎ Ｇｒａｐｈｓ）は、２つの投影の０（Ｎ）構成に縮小され得ない複数の交差構成を含んでよい。しかし、１つのより長い線形の樹状突起のアレイまたは、樹状突起のツリーにあるような、そのような複数のアレイの並行なセットにおいて、全ての関連は表現の何らかの場所にロードされ得る。一般的に、複数の入力軸索はポストシナプス神経ツリーのフィールドにわたる接続以上のものを作成しうると仮定される。

実際のシナプスはまた、分単位から時単位で接続し、切断し、樹状突起を移動することが知られる。複数の関連が失われる前にロードされ得る限り、シナプスの重複を低減し、より良い結合効率を取り戻すための再編成が続き得る。

実際の神経システムはまた、極めてエネルギー効率がよい。脳全体は、人の脳における数兆個（ｔｒｉｌｌｉｏｎｓ）のニューロンの全体にわたって、１０−２０Ｗのエネルギーのみを消費することが知られており、これは実用的な白熱電球に等しい。複数の投影の表現は「薄い」樹状突起の空間内に複数の関連の驚異的な圧縮を提供し得る。カスケーディング伝播はシーケンシャルであるが、遠いフィールドの接続のために電気緊張性の１の「ジャンプ」（ｅｌｅｃｔｒｏｔｏｎｉｃ "ｊｕｍｐｓ"１）により加速される場合に、計算速度は行列帯域幅の関数である。より基本的なエネルギー効率もまた可能でありそうである。

断熱的な処理は、物理エネルギーの損失を最小化するとして定義される。電子工学において、コンピュータのエネルギーコストを最小化すべく断熱的な回路が開発されており、これはモバイルおよび埋め込み計算デバイスにとって特に重要な問題である。回路が断熱的であるか否かは、その具体的な設計（例えばダイオードを介して逆電流を決して流さないなど）に非常に大きく依存する。この特性はまた、動作が論理的に可逆的であるかに依存し得る。ＮＯＴゲートは可逆的である。なぜなら、入力がまた、その出力から計算され得るためである。ＸＯＲゲートは不可逆的である。なぜなら、２つの異なる入力状態が同一出力に至るためである。出力のみが与えられると、ＸＯＲゲートへの入力情報は失われる。情報が失われる場合、エネルギーもまた失われる。

ここで図１１を簡潔に参照すると、図１１は、本発明のいくつかの実施形態に係る樹状突起の論理的な反転カスケーディング活性化の概略図である。何らかの具体的な電子回路設計内でのその実装よりもむしろ、分析の計算およびアルゴリズムレベルでの、複数の細い樹状突起上のコインシデンス検出の複数の実施形態がここで説明される。しかし、計算のときに、複数の実施形態の断熱効率は、その論理的な可逆性の観点で問題にされ得る。論理的な可逆性の１つのテストは、カスケーディング伝播の終了状態が、開始状態を取り戻すべく逆転されうるか否かである。

脱分極シナプスおよび受容性重みが元の２つの投影ベクトルを表し続ける逆向きの伝播により、これは正しいように見える。終了状態は開始状態に対して完璧に同形である。可逆的な回路は、出力配線と同一数の入力配線の入力‐出力の対称性を持たなくてはならない。分極された複数の重みベクトルが脱分極バージョンと同一であると仮定すると、論理的な可逆性は、非バリアンス（ｎｏｎ−ｖａｒｉａｎｃｅ）の理由により正しい。例えば、投影状態とそれ自体との間の１対１の対応（分極されたものと脱分極のものとの同一性）がある。

出力が常に元の入力を生成するように計算が逆向きで動作し得る場合に可逆性はまた証明され得る。脱分極された受容性の複数の重みが再分極して、逆向きの波であって、反対方向に伝播して脱分極シナプスの複数の重みとマッチする逆向きの波を生成する場合、伝播アルゴリズムは逆向きで動作し得る。細い樹状突起上のコインシデンス検出は、各コンパートメントが２以下の隣接物を持つ点において、１次元のセルラーオートマタである。

論理的な可逆性がこれらのアプローチのより重要な特性であるが、逆転された「反対方向の伝播」信号はトリプレット依存性の学習則を完全なものにする。関連する２つの入力に関し、それらのコンパートメントの両方は、それらの重みを更新しなければならない。上で説明されたように、重みの更新は非対称であり、関連は遠位のシナプス荷重および近位の受容性重みを更新する。ポストシナプスのニューロンの活性化を考慮すると、順方向の伝播（神経細胞体に向かう）は末梢の活性化を近位の活性化にマッチさせる。これは近位のコンパートメントの受容性重みを更新するのに十分である。可逆性は断熱的であるのみではなく、近位の活性化を末梢の活性化にマッチさせるための逆方向性の伝播（神経細胞体から離れる）もまた提供する。逆向きの場合には、更新は近位のコンパートメントのシナプス荷重に記録される。学習則のロジックもまた逆転されるが、それはまた３重の依存性（ｔｒｉｐｌｅ ｄｅｐｅｎｄｅｎｃｙ）を必要とし得る。

いくつかの実施形態において、コインシデンスの学習および検出アルゴリズムは、単一ニューロンが非線形ユニットであり、かつそれ自体で複数のネットワークであるという理解に基づき改善され得る。新皮質の錐体ニューロンは、それらの細い樹状突起内でそのような複数の方法を実行すると仮定され得る。錐体ニューロンは皮質のマイクロコラムのセンターピースであってよく、一方、他の複数の神経タイプは複数の錐体細胞を囲ってより大きな回路を形成し得る。回路は、多くのタイプの抑制性ニューロンを含む様々なセルタイプを有してよい。

機能的に、多くのタイプの抑制（ｉｎｈｉｂｉｔｉｏｎ）がある。例えば、神経細胞体のベース、複数の樹状突起からの活動加重および軸索への出力のポイント、における抑制は、「拒否」（ｖｅｔｏ）コントローラとして動作し得る。従って、ニューロン独自の「ボート」（ｖｏｔｅ）に関わらず、この出力ポイントにおける強い抑制は全ての出力を制限し得る。抑制の別のタイプは「スカルプティング（ｓｃｕｌｐｔｉｎｇ）抑制」と呼ばれる。全体の拒否権（ｖｅｔｏ ｐｏｗｅｒ）ではなく、スカルプティング抑制はより外科的に別のニューロンの活動を修正すると考えられ得る。

抑制は所与のアルゴリズムを発展させることができ、同様に、抑制性ニューロンは、成長中の皮質回路に対する「遅い侵入者」（ｌａｔｅ ｉｎｖａｄｅｒ）であってよい。いくつかの実施形態において、抑制は錐体ニューロンの形を変える（ｓｃｕｌｐｔ）べく「覆う」（ｂｌａｎｋｅｔ）ことができる。皮質回路の１つの抑制性ニューロンは「ダブルブーケ」ニューロンと称され、その位置、形状および接続性に起因して潜在的に最も関連性がある。ダブルブーケニューロンは錐体ニューロンに隣接し、錐体細胞に並行であり得る複数の樹状突起の細い列に形成され、かつ、錐体細胞の範囲にわたって自身を刺激し得る。

計算的に、そのような抑制は４スイッチ問題のさらなる対処において役割を果たすかもしれない。例えば、ここで図１２を参照すると、図１２は、本発明のいくつかの実施形態に従い、樹状突起における抑制性ニューロンの抑制性シナプスがＯＮの場合での交差構成の検出および表現の概略図である。示されるように、ＤＡの関連は前に論じられたようにロードされてよく、ＢＥ関連と交差した４スイッチを形成するときに禁止される。ＤＡの関連は樹状突起の他の箇所、または、樹状突起のツリーの別の分岐にロードされてよい。複数のシナプスの再編成はまたスイッチを除去してよいが、これはより多くの時間を要し得る。交差構成を扱う追加技術として、シナプス入力Ｂにおける（読み取られた抑制性ニューロンからの）抑制性の接続は、Ｂが誤ってＤに関連付けられて阻害シグナルを形成することを検出し得る。ＢによるＤの活性化のマッチングを抑制することで、Ｄからの活動の伝播はＢを通りＡと正しくマッチする。

そのような検出と、阻害シグナルが活性化‐受容性のマッチを「スキップ」する方法とのアルゴリズムは、基本的なカスケーディングアルゴリズムの拡張であり、樹状突起が任意のグラフを表して（ｒｅｐｒｅｓｅｎｔ）表現する（ｅｘｐｒｅｓｓ）のに必要とされない。しかしながら、それは、たとえば単独の樹状突起に対してより複雑なグラフ構成を表すなど、より大きな回路計算が可能であることを示す。

本明細書の技術の他の拡張は、重み付けされたグラフの表現を含む。換言すると、シナプスおよび受容性重みは現在、１つの入力から他の複数への関連の数を表す。拡張された設計はまた、接続強度を説明するための入力ごとの複数の重みの冪級数を介して、冪レベル（ｐｏｗｅｒ ｌｅｖｅｌ）ごとの別個のシナプス及びコンパートメントの重みを用い、各関連の強度を表し得る。複数の冪の重みは、冪ごとに異なる複数の樹状突起、１つの樹状突起にわたって分離されてよい。シナプスの冪級数はまた、冪の重みごとに１つの樹状突起上、１つのシナプス上でコ・ローカル（ｃｏ−ｌｏｃａｌ）にされてよく、それらの共通入力に対してコ・ローカルであってよい。生理的に、複数のシナプスは単に強度においてではなく、形態的な構造においても成長し、マルチシナプスのボタン内に別個の複数の送信サイトを有すると理解される。

脳の基本的な知識表現として記憶を理解することは、計算の基本的なユニット、ニューロン、および、それが認知表現（すなわち接続、接続強度および接続のコンテキスト）のコンポーネントをサポートする方法の理解をさらに必要とする。

いくつかの実施形態は、１つのものから別のものへのシナプスのリンクにより実装される接続が神経の表現の基本要素であると考慮されてよいことを規定する。いくつかの実施形態において、接続の強度はまた、これらの接続の統計的大きさを表すのに重要であってよい。いくつかの実施形態は、複数の接続および強度のコンテキストはまた、複数の接続とそれらの強度との３つの空間の提示である３つ組のストア（ｓｔｏｒｅ）として表されることを規定する。

例えば全ての人の言語の主語‐動詞‐目的語構造におけるようなセマンティックな知識を表すべく、複数の接続は単にペアのグラフではなく、「３つ組みの」レベルで規定される。統計的な知識に関しても、条件付き情報は、それぞれ従属の可変な出力に対する独立の可変な複数の入力の仮定の域を超えて「残る」。出力にマップされた入力‐入力関係を各ニューロンが表すので、各ニューロンはそのようなコンテキストの、条件付きの複数の３つ組を表し得、集まってより大きなネットワークを形成する。

脳は、複数の連想記憶ネットワークのうちの複数のネットワークの一ネットワークであるとみなされ得る。脳の複数の組織レベルは、脳全体、複数のエリアのマイクロ回路、および個々の複数のニューロンとみなされ得る。脳全体の組織に関し、脳はスパゲッティの寄せ集めではない。代わりにそれは、別個であるが１つの包括的なネットワークとして互いに通信する多くのサブエリアから構成される。

エリアマイクロ回路の組織レベルにおいて、脳の各領域内で複数の接続は、より大きいネットワーク内の特定の機能をアドレス指定するべく設計されてよい。最も重要なネットワークは、各ニューロン内の、ニューロンレベルのものである。故に、単純化された線形のサミング（ｓｕｍｍｉｎｇ）および閾値モデルとは対照的に、各ニューロンは、複数の入力を互いに接続する非線形連想行列を表し得る。

これらの特性の３つ全ては、Ｆｌｅｍｉｎｇ他の共同所有の米国特許第８,３５２,４８８号、２０１３年１０月２８日に出願されたＨｏｆｍａｎｎ他の米国仮特許出願第６１／８９６，２５８号、および、２０１３年１１月１５日に出願されたＨｏｆｍａｎｎ他の米国仮特許出願第６１／９０４，８３５号において既に説明されており、これらの全ては参照により本明細書に完全に述べられた如く組み込まれる。これらは膨大な数の行列が現在の汎用コンピューティングクラスタ上で分散され、並列化され、圧縮され、回想され得る方法を説明する。複数の行列およびサブ行列にわたるそのような複数の行列の圧縮、および、複数の結果の集約は、ソフトウェアアルゴリズムおよび専用形態の分散ハッシュコーディング、可変長さの整数、並びに、ゼロラン長エンコーディングを用いて解明されている。

しかしながら、現在のフォン・ノイマンのボトルネックの制約、例えば計算およびメモリの分離は、神経効率の理想からは遠い。例えば、「セマンティックな拡張レート」、複数のグラフストア（ｇｒａｐｈ ｓｔｏｒｅｓ）のスケーリングコストは、悪名高いほどにデータそれ自体より大きくなり得る。現在、利用可能なソフトウェアは、神経デバイスを用いて計算する場合に、我々の脳がより良い表現を持つに違いないその方法と比較できない。従って、トランジスタ／エリアがますます小さいマイクロ回路に対するバトルグランド（ｂａｔｔｌｅｇｒｏｕｎｄ）を定義したのと同様に、３つ組／エリアはますますスマートな神経形態学的コンピューティングのマークになり得る。この目的に対し、本明細書で説明される複数の実施形態は、複数のニューロンで見つかる、より効率のよいアルゴリズムをエミュレートする。

認知コンピューティングおよび神経形態学的ハードウェアへの関心の高まりは、概して「ブレイン‐ライク」（ｂｒａｉｎ−ｌｉｋｅ）および「ニューロン‐ライク」（ｎｅｕｒｏｎ−ｌｉｋｅ）として定義される。我々自身の精神および脳からインスピレーションを引き出すことは、よりインテリジェントな機械の基になっている。脳は実世界にリアルタイムで対処するよう進化し、また世界が変わるに従ってリアルタイムに学習している。これらの能力が知能に重要である一方、ナレッジエンジニアが事実を著さなくてはならず、かつデータサイエンティストが古典的統計学からデータモデルを構築しなくてはならない従来の人工知能システムとは、それらは基本的に異なっている。対照的に、本明細書で説明された複数の実施形態は、知識本来のベースとしての複数の連想メモリに焦点を合わせている。心理学者が意味記憶、手続き記憶、エピソード記憶、および運動記憶（ｍｏｔｏｒ ｍｅｍｏｒｙ）を話す場合、「記憶」の機能は全て自然な論理的思考（ｒｅａｓｏｎｉｎｇ）に共通であるように示される。複数の連想メモリは、我々が考え挙動する方法、およびコンピュータが同じことを行い得る方法の基礎となる「単一アルゴリズムの前提」を満たす。

本明細書で説明されるように、我々自身の精神および脳の自然の叡智は、連想記憶の表現および論理的思考を用いて表され、ソフトウェア内であろうとハードウェア内であろうと行列配向を前提とする。しかしながら、ハードウェアアルゴリズムは、最大効率の「細い樹状突起のコインシデンス検出」を理解するという目的によって刺激され、複数の線形構造の複数の行列を表すことを追及している。カスケーディング伝播および連想交差の回避のアカウンティングは今や、改善された記憶表現（ｍｅｍｏｒｙ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を実現した。従って、コンピュータ効率の顕著な増加が今や実現され得る。

認知コンピューティングは実際の知能の理解を必要とし続ける。全ての定義が「ブレイン‐ライク」志向を含むとは限らないが、多くの人々は、動的な実世界においてリアルタイムで存続するための最もよく知られた方法を我々の脳が表すことを認める。グラフ表現は、人々、位置、物、および状況、動作、および結果を接続する知識のユニバーサルな表現としてますます受け入れられている。従って、グラフの表現および論理的思考は一般的な計算にますます重要になり、それ自体が近い将来の認知オペレーティングシステムおよび認知ハードウェアの構造に進出する。ニューロンは、複数のグラフが神経形態学的コンピュータにおいて究極的に圧縮され、迅速に表現され、低エネルギーで動作され得る方法に対するインスピレーションを提供する。

１と０がデジタルコンピューティングの基本要素であるのと同様に、シナプスの接続およびカウントは均等に広く、この新たな計算の形態がサポートする全てのアプリケーションにおいて認知コンピューティングを定義する。

いくつかの実施形態は、媒体に具体化されたコンピュータ可読プログラムコードを持つコンピュータ利用可能記憶媒体を有するコンピュータプログラム製品を対象とし、コンピュータ可読プログラムコードは本明細書のシステムおよび方法の動作を実行するよう構成されたコンピュータ可読プログラムコードを含む。

図面および明細書において本発明の複数の実施形態が開示され、特定の用語が採用されたが、それらは一般的かつ説明的な意味のみで用いられ、限定の目的では用いられていない。発明の範囲は下記の請求項において明らかにされる。本明細書によれば、以下の各項目に記載の事項もまた開示される。
［項目１］
複数の樹状突起を備え、
前記複数の樹状突起のうちの複数は、複数の樹状突起コンパートメントを有し、
前記複数の樹状突起コンパートメントのそれぞれの１つが複数の入力のそれぞれの１つに一意に関連付けられ、
各樹状突起コンパートメントは、シナプス活性化強度に対応する第１重み値と、他の複数の活性化に対するそれぞれの前記樹状突起コンパートメントの受容性に対応する第２重み値とを有する、
人工ニューロン。
［項目２］
前記複数の樹状突起コンパートメントは、前記樹状突起の末梢端である先端から人工ニューロン加重点である神経細胞体へ線形に配置される、項目１に記載の人工ニューロン。
［項目３］
前記複数の樹状突起のそれぞれは、それぞれの他の複数の人工ニューロンからの複数の入力を受信する前記複数の樹状突起コンパートメントの線形配列である、項目１または２に記載の人工ニューロン。
［項目４］
前記複数の入力のうちの複数は、前記複数の樹状突起コンパートメントを経たカスケーディング・シナプス活性化を介して受信される、項目３に記載の人工ニューロン。
［項目５］
ゼロである複数の受容性値を有する複数の樹状突起コンパートメントは、前記複数の樹状突起コンパートメントのうちのより遠位の１つからの活性化入力を、前記複数の樹状突起コンパートメントのうちのより近位の１つに活性化出力として電子的に送信する、項目１から４の何れか１項に記載の人工ニューロン。
［項目６］
前記複数の樹状突起コンパートメントのうちの複数の間で交差スイッチを生成する前記複数の入力に応答して、前記複数の樹状突起のうちの対応する１つは、前記樹状突起の先端に、追加された樹状突起コンパートメントを有する、項目１から５の何れか１項に記載の人工ニューロン。
［項目７］
前記複数の樹状突起コンパートメントのうちの１つにおける前記第１重み値がゼロより大きく、前記複数の樹状突起コンパートメントのうちの前記１つにおける前記第２重み値がゼロより大きいことに応答して、前記複数の樹状突起コンパートメントのうちの前記１つは、人工ニューロン加重点である神経細胞体にコインシデンス・スパイク信号を送信する、項目１から６の何れか１項に記載の人工ニューロン。
［項目８］
前記複数の樹状突起コンパートメントのうちの１つにおける前記第１重み値がゼロであることに応答して、前記複数の樹状突起コンパートメントのうちの前記１つに対する活性伝播が終わる、項目１から７の何れか１項に記載の人工ニューロン。
［項目９］
それぞれ複数の樹状突起コンパートメントを有する複数の樹状突起を備える人工ニューロンへの複数の入力を記憶する方法であって、
当該方法は、
前記複数の樹状突起コンパートメントのうちのより近位の複数から、人工ニューロン加重点である前記人工ニューロンの神経細胞体へ流れる末梢シナプス活性化としてコインシデンス検出を計算する段階を備える、方法。
［項目１０］
前記複数の樹状突起コンパートメントのうちの、非ゼロの受容性値を有する対応する１つで受信された非ゼロ活性化値入力に由来する前記コインシデンス検出に応答して樹状突起の活動電位を生成する段階をさらに備える、項目９に記載の方法。
［項目１１］
前記樹状突起の活動電位の生成に応答して、当該方法は、
前記活性化値及び前記受容性値を減らす段階と、
減らされた前記活性化値を前記複数の樹状突起コンパートメントのうちの次の１つに渡す段階と、をさらに備える、項目１０に記載の方法。
［項目１２］
それぞれ複数の樹状突起コンパートメントを有する複数の樹状突起を備える人工ニューロンへの複数の入力を記憶する方法であって、
当該方法は、
前記複数の樹状突起コンパートメントのうちの遠位の複数から、または、前記複数の樹状突起コンパートメントのうちの近位の複数から、前記人工ニューロンの神経細胞体に段階的に生じるカスケーディング活性化を用いてコインシデンス検出を計算する段階を備える、方法。
［項目１３］
交差構成の４スイッチを検出して回避する段階をさらに備える、項目１２に記載の方法。
［項目１４］
複数の樹状突起を備え、
前記複数の樹状突起のうちの複数は、複数の樹状突起コンパートメントを有し、
前記複数の樹状突起コンパートメントのそれぞれの１つが複数の入力のそれぞれの１つに一意に関連付けられ、
前記複数の樹状突起コンパートメントのうちの複数は、前記複数の樹状突起コンパートメントのうちの対応する１つが第１受容性値を有し、非修正状態とは異なる修正状態にある場合、および、前記複数の樹状突起コンパートメントのうちの前記対応する１つが前記第１受容性とは異なる第２受容性を有する場合に、カスケーディング活性化を受信し、前記非修正状態で前記カスケーディング活性化を送信する、人工ニューロン。
［項目１５］
それぞれ複数の樹状突起コンパートメントを有する複数の樹状突起を備える人工ニューロンへの複数の入力を記憶するコンピュータプログラムであって、
電子デバイスのプロセッサにより実行された場合に前記プロセッサに
前記複数の樹状突起コンパートメントのうちのより近位の複数から、前記人工ニューロンの神経細胞体へ流れる末梢シナプス活性化としてコインシデンス検出を計算することと、
前記複数の樹状突起コンパートメントのうちの、非ゼロの受容性を有する対応する１つで受信された非ゼロ活性化値入力に由来する前記コインシデンス検出に応答して樹状突起の活動電位を生成することと、
前記樹状突起の活動電位の生成に応答して、前記活性化値及び前記受容性を減らし、減らされた前記活性化値を前記複数の樹状突起コンパートメントのうちの次の１つに渡すことと、
を有する複数の動作を実行させるコンピュータプログラム。
［項目１６］
それぞれ複数の樹状突起コンパートメントを有する複数の樹状突起を備える人工ニューロンへの複数の入力を記憶する方法であって、
当該方法は、
前記複数の樹状突起コンパートメントのうちの遠位の複数から、または、前記複数の樹状突起コンパートメントのうちの近位の複数から、前記人工ニューロンの神経細胞体に段階的に生じるカスケーディング活性化を用いてコインシデンス検出を計算する段階を備える、方法。
［項目１７］
交差構成の複数の４スイッチを検出して回避する段階をさらに備える、項目１６に記載の方法。
［項目１８］
前記複数の樹状突起コンパートメントは、前記複数の樹状突起のうちの対応する１つの末梢端である先端から前記複数の樹状突起のうちの前記対応する１つの人工ニューロン加重点である神経細胞体へ線形に配置される、項目１６または１７に記載の方法。
［項目１９］
それぞれの他の複数の人工ニューロンから前記複数の樹状突起コンパートメントのうちの複数への複数の入力を受信する段階をさらに備える、項目１６から１８の何れか１項に記載の方法。
［項目２０］
前記複数の樹状突起のそれぞれは、前記それぞれの他の複数の人工ニューロンからの前記複数の入力を受信する前記複数の樹状突起コンパートメントの線形配列を有する、項目１９に記載の方法。
［項目２１］
それぞれの他の複数の人工ニューロンからの前記複数の樹状突起コンパートメントのうちの複数への複数の入力を受信する段階は、前記複数の樹状突起コンパートメントを経たカスケーディング・シナプス活性化を介して前記複数の入力を受信する段階を有する、項目１９または２０に記載の方法。
［項目２２］
前記複数の樹状突起コンパートメントのうちのより末梢の１つからの活性化入力を、前記複数の樹状突起コンパートメントのうちのより近位の１つに活性化出力として送信する段階をさらに備える、項目１６から２１の何れか１項に記載の方法。
［項目２３］
前記複数の樹状突起コンパートメントのうちの複数の間で交差スイッチを生成する前記複数の入力に応答して、樹状突起の先端において前記複数の樹状突起に別の樹状突起コンパートメントを設ける、項目１６から２２の何れか１項に記載の方法。
［項目２４］
プロセッサと、
実行された場合に前記プロセッサに項目９から１３および１６から２３の何れか１項の複数の動作を実行させる、内部に格納された複数の命令を有するメモリと、
を備えるシステム。
［項目２５］
項目１５に記載のプログラムを格納するコンピュータ可読記録媒体。

Claims (10)

1. 複数の樹状突起を備え、
   前記複数の樹状突起のうちの複数は、複数の樹状突起コンパートメントを有し、
   前記複数の樹状突起コンパートメントのそれぞれの１つが複数の入力のそれぞれの１つに一意に関連付けられ、
   各樹状突起コンパートメントは、シナプス活性化強度に対応する第１重み値と、他の複数の活性化に対するそれぞれの前記樹状突起コンパートメントの受容性に対応する第２重み値とを有する、
   人工ニューロン。
2. 前記複数の樹状突起コンパートメントは、前記樹状突起の末梢端である先端から人工ニューロン加重点である神経細胞体へ線形に配置される、請求項１に記載の人工ニューロン。
3. 前記複数の樹状突起のそれぞれは、それぞれの他の複数の人工ニューロンからの複数の入力を受信する前記複数の樹状突起コンパートメントの線形配列である、請求項１または２に記載の人工ニューロン。
4. 前記複数の入力のうちの複数は、前記複数の樹状突起コンパートメントを経てカスケード状に伝播するシナプス活性化を介して受信される、請求項３に記載の人工ニューロン。
5. ゼロである複数の受容性値を有する複数の樹状突起コンパートメントは、前記複数の樹状突起コンパートメントのうちのより遠位の１つからの活性化入力を、前記複数の樹状突起コンパートメントのうちのより近位の１つに活性化出力として電子的に送信する、請求項１から４の何れか１項に記載の人工ニューロン。
6. 前記複数の樹状突起コンパートメントのうちの複数の間で関連付けされたスイッチを生成する前記複数の入力に応答して、前記複数の樹状突起のうちの対応する１つは、前記樹状突起の先端に、追加された樹状突起コンパートメントを有する、請求項１から５の何れか１項に記載の人工ニューロン。
7. 前記複数の樹状突起コンパートメントのうちの１つにおける前記第１重み値がゼロより大きく、前記複数の樹状突起コンパートメントのうちの前記１つにおける前記第２重み値がゼロより大きいことに応答して、前記複数の樹状突起コンパートメントのうちの前記１つは、人工ニューロン加重点である神経細胞体にコインシデンス・スパイク信号を送信する、請求項１から６の何れか１項に記載の人工ニューロン。
8. 前記複数の樹状突起コンパートメントのうちの１つにおける前記第１重み値がゼロであることに応答して、前記複数の樹状突起コンパートメントのうちの前記１つに対する活性伝播が終わる、請求項１から７の何れか１項に記載の人工ニューロン。
9. それぞれ複数の樹状突起コンパートメントを有する複数の樹状突起を備える人工ニューロンへの複数の入力を記憶するコンピュータプログラムであって、
   電子デバイスのプロセッサにより実行された場合に前記プロセッサに
   コインシデンス検出を、前記複数の樹状突起コンパートメントのうちのより近位の複数から、前記人工ニューロンの神経細胞体へ流れる、末梢のシナプス活性化としてコンピューティングすることと、
   前記複数の樹状突起コンパートメントのうちの、非ゼロの受容性値を有する対応する１つで受信された非ゼロの活性化値入力に由来する前記コインシデンス検出に応答して樹状突起の活動電位を生成することと、
   前記樹状突起の活動電位の生成に応答して、前記活性化値及び前記受容性値を減らし、減らされた前記活性化値を前記複数の樹状突起コンパートメントのうちの次の１つに渡すことと、
   を有する複数の動作を実行させるコンピュータプログラム。
10. 請求項９に記載のコンピュータプログラムを格納するコンピュータ可読記録媒体。

Images