〔論文〕 弘前大学経済研究第 17号 November 1994

HOPFIELD型ニューラルネットワークによる数理計画法

一一最適解探索に関する一考察一一

香

目次

1.はじめに

2.ニューラルネットワークのダイナミクス

2 -1.ニューラルネットワーク

取

2 -2. HOPFIELD型ニューラルネット

ワーク

3.組み合わせ最適化問題への適用

4. HOPFIELD型ニューラルネットワークの

問題点

5. 問題点改善のための一考察

6.結びにかえて

1 .はじめに

1982年に Hopfieldがいわゆる HOPFIELD

型のニューラルネッ トワーク（以後HNと略す）

を提案l）して以来，その応用に関する様々な研

究が成されてきた。

それらの多くは，パターン認識や記憶方式と

いったアナログ信号処理の分野2）においてめ

ざましい成果をあげている。また， HNはデジ

タル信号処理にも応用可能である。森末等はH

Nを用いた独創的な加算器，乗算器等のデジタ

ノレ回路を提案3)-9）しており，著者等もデジ

タノレ加算器に関するいくつかの報告10)-12）を

既に行っているが，その過程でHNのアルゴリ

ズムを改善するための独自の手法を見いだし

た。

一方， HNには最適化マシンとしての性質が

あり，数理計画法である巡回セールスマン問題

等の最適化問題を効率良く解くことが可能であ

薫

ることを Hopfield自身が報告13）している。

本論文は， HNにより最適化問題を解く際に

生ずる問題点とその改善法について，ニューラ

／レネットワークについて概説しつつ，加算器を

例にとり電子工学的に考察したものである。

2.ニューラルネットワークのダイナミクス

2-1.ニューラルネットワーク

一般に脳の神経系をモデル化したものをニ

ューラノレネットワーク（神経回路網；以下NN

と略す）と呼んでいる。生体の脳神経は，興奮

性と抑制性のシナプス結合により多数の神経細

胞が結合した超並列的分散情報処理システムで

ある。第1図は単純なNNであり，入力情報

ex i ; i =1,2,3，…，n）が神経細胞（Nj ;

j =l,2, ・・・ m）により変換されて出力情報（Yj )

となることを示している。

XI YI

Y1

Xm

Yj

Xn

第 1図 ニューラルネットワーク

- 17一

第2図 相互結合型ニューラルネットワーク

N jは情報変換関数とみなすことができ， Xi

とNj' N jとYjを結ぶ経路がシナプス結合

であり入出力情報の変化に従って変化する可塑

性を有している。

第2図は出力情報が入力情報と して再入力さ

れ得るタイプのNNであり，相互結合型のNN

と呼ばれ， Hopfieldの提案したHNはこれに

相当するものである。 HNでは，ネットワーク

の状態を2値に限定すれば， 0または1の分布

パターンで表現することが可能であり，出力が

入力にフィード、パックされているため系の状態

はエネルギーの安定な状態で確定する。もし，

NNに適当なエネノレギー関数を定義すれば，そ

の関数の局所的最小値に収束するアルゴリズム

を導くことができるはずである。何故ならば，

熱力学の法則によれば，エネルギーが極小値と

なるときその系は安定となるからである。（厳

密にいえば，エネノレギー最小のとき安定状態と

なり，極小のとき準安定となる。） Hopfieldは

このことを用いて，離散的最適化問題を解くア

ルゴリズムを提案したのである。

2 -2. HOP FIELD型ニューラルネットワーク

一般的なHNのアナログ電子回路モデルを図

示すると第3図のようになる。

第3図 ホップフィールド型アナログ電子回路モデル

~· Eo i工的「c 7TT

C'iJ「c 7TT

コ「貯

－

mc VO V2 VI

廿いRij=l/I Tij I

図中の四角形がニューロン素子であり， k番

目のニューロン素子に注目すると，そのダイナ

ミクスは次式で表される。

ck~ ＝ 三九九一与＋ ζ ( 1) 日 u faO 苛

十＝子＋ ~l:r.j l ( 2) ’K t'; j=O

( 1 ）式において， nはニューロンの個数，

T kiはk番目と j番目のニューロンの結合荷重

であり， uk' V k' I Kはそれぞれ， k番目の

ニューロンに対する入力電圧，出力電圧，外部

からの入力電流である。

第4図は，非線形素子であるニューロンアン

プの入出カ特性を表したものであり，（ 3 ）式

のシグモイド関数となっている。

凡＝/(

ただし， μは定数である

生体ニューロンの細胞体の内部電位は，入力

の時間的，空間的な荷重加算により決定し，入

出カは互いに非線形な関係にある。 HNはそれ

- 18ー

1.0 。HOPFIELD型ニューラルネットワークによる数理計画法

［

〉］

】

コ0.

ロ。0.5也》

"' 』ω 〉

" ~

c: 0 z

〉］

::l

0.5雪。ω "' 』ω 〉ω 出

し0。ーμO 0 μ 0

Input [Y]

第4図 ニューロンアンプの入出力特性

らを考慮したモデルであるということができ

る。なお， Tiiは正負の値を取り得るが，負の

場合には回路上ではこれを負の抵抗として実現

できないため，（ 3 ）式の入出力特性は（ 3 )

式に負の符号をつけたものと書き換え，正負の

反転した入出力特性を持つニューロンアンプを

使用するものとする。

ここで，次式で表されるエネノレギー関数を定

義する と，回路はこのエネルギー関数が常に減

少する方向に動作する。動作は関数値が極小に

なった時点で平衡状態に達する。このことを以

下，簡略に証明しておくことにする。（詳細な

証明は文献 13，文献15を参照）

E ＝－~立川町一芝山 ( 4)

（証明）定義から明らかなように， T = o, kk ’

T kj= Tikである。

よって，（ 3 ）式をvkで偏微分すると

次式となる。

解

に

時

と

の

か

て

る

式

ら

し

す

上

明

通

理

が

ら

を

整

m－P

皿

、

し

v一ゎJ

山叫

ん

一

1

一

で

－

日

－J

－

E

－

ol〆t

、，

Rl

v約

九

L円。時

ー一T；

は

る

を

亨芦

γら

γな

E

－

Vな

Vと

’

E

一4’る’数で

み

一

お

し

あ

は

関

こ

も

で

E

閉

そ

以下のようになる。

dE dV. f. ( d ,, -=-L,c，」ム＝－L,c,g-1（九）｜斗l

• dt dt • ¥. )

ただし，関数gはVk=g (uk）な

る関係をもっ線形関数である。（この

関数の意味は，入力キャパシタと入力

インピーダンスが並列接続された第3

図から容易に理解できる。）

ここで， Ciは正であり， g-l(Vk)

は単調増加関数であることに注意すれ

ば，すべてのkの値に対して次のこと

がいえる。

dE _ _ . dE _ dV. _ - :-,,u 一一一＝ Uー今ーー」ー＝ Udt dt dt

（証明終わり）

上述の性質を利用すれば，目的とする出力に

なった時点でエネノレギ一関数が最小になるよう

にTkjとIkを決めれば，目的動作を行わせる

ことができることになる。

3.組み合わせ最適化問題への適用

組み合わせ最適化問題の一例として，ここで

は最小正規グラフ問題をとりあげることにす

る。この問題にたいしては，効率的なアルゴリ

ズムが発見されていないため，

一般には，BDD (Binary Decision Diagram

；注 1）やSA (Simulated Annealing；注2),

G A (Genetic Algorithm；注3）等を用いる

のが普通である。

【最小正規グラフ問題】14)

無向完全グラフG=(V, E）の各枝eに正

の重みw( e）が定義されており，自然数d( 2'

L …IVト 1）が与えられたときに，すべて

のd次正規グラフ G”＝ (V,Eつにたいして，

~－w(e） 孟ヱ w(e)

を満足する d次正規グラフ G’＝ (V,E’）を求

める。

- 19一

以上となり，現実的には計算は不可能と言わさ、

るを得ない。 HopfieldとTankは，アナログ

ニューロンを用いて解の状態を表現することに

より，系の状態が初期エネルギーの極小状態に

向かつて決定論的に更新されるため短時間で近

似解を得られることを示した。 13)

いま，平面上にn個の都市が存在するとき，

それぞれの都市に番号付けを行い代表的にA

( =1,2，…n ）と表現する。ここで， Oまた

は1の2値を持つn21困の変数XAi ( i =1,2,

... n）を準備し， XAi= 1のとき，都市Aを

i番目に訪問するという意味づけをする。都市

A，都市B閣の道のりをDABとすれば，ツアー

全体の道のりは次の式で表される。

Solution

． ． ．

．

Nodes ． ．

．

． 最小正規グラフ問題の例8個の節点、と 3次元的に結ぶ（d = 3)

（出典；文献［14])

d=3

． 第5図（a)

( 5) り

は

附

き

バ

と

v内

の

岬

n

D

nTム制一一

nてん

MK

旦h〉Eド

’

ー＝ーし

）

z－

X

夫

以

た

d=2

k +l=lとす

2次

る。d=S d=4

dの変化に対する最高解の変化（出典；文献［14])

第5図(b)

E（幻＝－~泣akjx,xj ~）， ( 6)

( 6）式と（ 4）式には本質的な違いは無いか

ら， HNを用いて上述の問題を解ける。

第5図（ a）に最小正規グラフ問題の例を，

第5図（ b）にdにたいする最適解の例を示す。

（文献14より）

セールスマン巡回問題は，最小正規グRラフ問

題の特殊な場合（ d = 2）であり，具体的に

は次のように表現できる。

4. HOPFIELD型ニューラルネットワークの問

題点

HN法では決定論的に解を求めるため， SA

法やGA法に比して高速であり，節点の数が大

規模である問題に対しでも充分な実用性をもっ

ている。 BD Dも決定論的解法であるが故に比

較的小規模な問題に対しては，充分な能カを発

揮するが，実メモリの制約から大規模問題には

【セールスマン巡回問題】

平面上に存在する多くの都市をセールスマン

が一度ずつ訪問し，出発点の都市に戻るとき，

どのような順番で回れば最短距離になるか。

セールスマン巡回問題は，論理的には可能な

ツアーの道のりをすべて計算すれば解ける。し

かし，考えられるツアーの数は500都市で 1010

- 20 -

( 5）により，セールスマン巡回問題は，

式E (X）の最小値問題に帰着できる。

ところで，変数XAkの値がOまたは 1でな

く，＋1または－1の2値を持つとしても，

問題の本質には変わりがない。そのことを考慮

して（ 5）式を書き換えると式の形式は次のよ

うになる。

HOPFIELD型ニューラルネットワークによる数理計画法

不向きであると言わざるを得ない。以上の観点

からHN法は大規模組み合わせ最適化問題に対

して，最も優位な手法の一つであると思われる。

しかし， HN法はエネルギ一関数の極小点を

求める解法であることから，当然ながら次のよ

うな疑問が生ずる。

疑問；求めたいのは最小点である。得られた極

小点が最小点である保証はあるのだろうか。

この疑問にたいし， Hopfi巴ldは「極小点の

中に最小点が存在するのは明白であるから，適

切な初期値を選択することにより最小値を得る

可能性がある」と述べている。

このことは，逆にいえば初期値の選択を誤る

と最小値が求められない，すなわち極小解が求

められたとしても，それが最適解であるという

保証は無いということになる。

それが， HNの大きな問題点である。エネル

ギ一関数を最適解に収束させるために，最適解

空聞に状態を射影しながら解を求める方法16)'

ニューロン動作方程式にノイズ項やhillclimbing

項17）を付加し最適解で、ない極小解からの脱出

をはかる方法等が提案されている。しかしなが

ら良質な近似解をより高速に求めうるという

HNの特徴を犠牲にせずにHNを改良すること

は容易なことではない。そこで， HNが電子回

路モデルであるという原点にたちかえって加算

器を例にとり，電子工学的見地から，上述の問

題点改善の方法を細目で考察してみることにする。

5.問題点改善のための一考察

入力nビット，出力mピットの2入力加算器は，

次のような線形計画問題として定式化できる。

（証明は，文献7参照のこと）

【目的条件】

mi骨・v..守万全句｜【制約条件】

minl"t(l一九）｜

ただし， vxk' vyk’vkはそれぞれ入力x,

Thi TbO

Txln TxOn

Txln TxOn

TxlO TxOO

TxlO TxOO

TxlO

TOI

7TT"

VI VO

第6図 目的条件，制約条件を満たす回路

Y，出カVの第kピットである。

Vb

Xn

Yn

XO

YO

co

上記の線形計画問題をHNで解き，回路図で

あらわしたのが第6図である。

HNが平衡状態になっているとき，ニューロン

への入力電圧をHuとすると，その時間的変化

はないので (1）式の左辺の微分項はOである

から次式を得る。

Hu＝ら（か吋 ( 7)

このとき， Huとvkは（ 2 ）式の入出力特

性から次のようになっている。

Hu<O→九＝0

Hu>O→九＝I

( 8)

- 21ー

24

〉

孟 16

" 0

8

。。 8 16 24 31

Sum of inputs X+Y

第7図 入力和に対する出力値（改善前）

従って，（ 8 ）の条件式と（ 7)式から外部

入力電流IKに対して出力の各ピットvkが0と

lのどちらになるかがわかるので，全体の出力

値を計算できる。

第7図はそのようにして計算した5ピット加

算器の入力と出力の関係を示したものである。

( 7）式と（ 8）式をみたす出力をO印で表

Cury v J Vl

したこの図から，例えば加算すると 8になる入

力（ 2+6, 3+5等）に対して，出力は8だ

けでなく 7にもなる可能性があることがわか

る。初期値としてすべてのニューロンアンプに

Uk= 0を与えた場合，シミュレーシヨンによ

れば，加算結果が8と23になるときだけその

結果は，それぞれ7と24になり回路は誤動作

してしまう。この現象こそが，「初期値設定が

適切でない場合には最適解が得られない」と

Hopfieldが述べていることに相当する。

一般にエネノレギ一関数を構成する場合に，目

的関数と制約条件を適当な比率で加算するが，

従来はシナプス結合の数ができるだけ少なくな

るようにその比率を考えるのが普通であった。

（例えば，筆者等のデジタル加算器に関する研

究11）でも 32ピット加算器を構成するシナプス

結合数が第 8図，第 9図，第 10図のように

2304, 512, 320と減少しでも機能は同じであ

る。）しかし，誤動作はエネルギ一関数のd性質

に左右されるのは明らかであるから，目的関数

と制約条件式の比率を変えることによって常に

（すなわち，初期値に影響されずに） 最適解を

得る可能性があると思われる。

ν』 νo

第8図加算器構成例（ 1 )

この方式で32ピットにすると，結合数は2304。

- 22一

HOPFIELD型ニューラルネットワークによる数理計画法

Vil VIO

hUAUnUAU

VXYC

V9 V8 V7 V6 V5 V4 V3 V2 VI VO

第10図加算器摘成例（3)

この方式で32ピットにすると，結合数は320。

lo pot '"•"' '"•"' '"•"'

Ootpot Ootpot Ootp"' Ootpot

第9図加算器構成例（2)

この方式で32ピットにすると，結合数は5120

そこで，制約条件式の重みを従来のA倍にし

て，エネルギ一関数を構成すると以下のように

なる。

E ＝ 一~~~（ γ＋j ）円円 ＋ ~A~2u

－~（%門十勺一 22'- IAJc 9 )

k7'j→T;; = -2•+j

k=j→T,j ＝ー2•+j (l-A) (10)

τi

吋

iA

ヲ－VLM

ゥ“HF、ム同

＋

VVH4

＋

今

LMVL】同

一一F句

上式を用いて（ 7)式を書き換えると次式と

なる。

Hu= 2' r, { G + 2'-1 A(2日一I)} (12)

G＝ヱ2'v,;＋ヱ2'v,;-~2＇円 (13)

(13）式のGは入力と出力の誤差を表してい

る。（8 ）式の条件と (12）式から，誤差Gの

範囲は次のようになることがわかる。

IGI < 2' 'A (14)

24

〉】

g_ 16 ::s 0

8

。。 31 8 24

Sum of inpu!S X+ Y

第11図 入力和に対する出力値（改善後）

入出力の各ピットは， 0または1の2値しかと

らないことを考慮すると，誤差Gの絶対値は 1

未満であれば良いのでは4）式より， A三五 2k-1

となる。出力がmピットの場合には， A=2 z-m

とすれば良い。（Aはk値の如何にかかわらず

成立する必要があるため。） Aは制約条件式の

重みであるから，これを用いてエネルギ一関数

を（ 9）式に基づいて決定すれば回路は誤動作

しないで最適解を得ることができるはずであ

る。

前と同様に平衡状態で計算した結果が第 11

図であり，第7図と比較してみれば実際に誤動

作していないことが明らかである。

6.結びにかえて

本稿では，初期値の設定によっては最適解が

得られないという HNの問題点を指摘し，初期

- 23 -

値と無関係に改善する方法についてHN加算器

を例にとり，電子回路的見地から考察した。そ

の手法を一言でいえば，エネルギ一関数を構成

する際に目的条件式と制約条件式の重みをニ

ューロンの結合数の多少とは無関係に， 誤差が

生じないように強制的に決定してしまうという

ことである。 HN加算器では，誤差を明確に計

算可能であるため，手法の正当性を示すことが

できた。

しかしながら，巡回セールス問題のHN解法

を改善するためには，どの程度の重み調整を行

えば，完全に目的を達成できるかについてはい

まだ未定であり，さらに本稿における手法には，

入出力がデジタノレ値である場合しか適用できな

いという欠点がある。この点については今後の

課題としたい。

また，現実の組み合わせ最適化問題は，巡回

セールス問題のように2値の入出力だけのエネ

ルギ一関数の最小値問題に帰着できるものばか

りではない。例えば，セールスマンに対して，

訪問期日や訪問順番の指定があったり，ツアー

の経路により旅費が異なる場合にはより安価な

経路を選べという ような条件があると複雑な最

適化問題となってしまう。現実社会に対応した

最適化問題を解ける，汎用性のある手法を開発

することと現実の社会システムにHNを適用す

ることも今後の課題としたい。

謝辞

有益なコメントを頂いた審査員に感謝致しま

す。

注 1.

BD Dは論理関数の表現法の一種であり，変数

節点， O枝， 1枝， 定数節点を構成要素とする

真理値表のコンパクト表現である。数理計画法，

被覆問題， nクイーン問題等に適用可能である

ことから近年盛んに研究されている。問題のパ

ラメータが増加すると，計算機の実記憶が多量

に必要となり，演算時間も膨大となる。たとえ

ば，最小正規グラフ問題で論理変数数が45で

d =4の場合，スーパーコンピュータを使用し

でも数10分の演算時間が必要である。

注2.

s Aは関数の局所的最小値から脱出し，大域的

最小値に収束するためのアルゴリズムである。

平衡状態を計算する過程で熱力学的温度に相当

するパラメータを用いることが特徴で，確率的

探索手法の一種である。厳密な解を求めるので

はなく，実用的な現実解を高速に得ょうとする

ものである。常に最適解が得られるわけではな

u、。

注3.

G AもSAと同様な確率的探索手法で，自然界

の淘汰，遺伝機構に基ずく最適化アルゴリズム

である。 GAでは，あらかじめ定められた数の

初期最適解候補を評価して，優れたものだけを

残す。そして，残ったものの遺伝子を操作しよ

り性質の優れた最適解候補を作り出す。以下，

評価，淘汰，遺伝子操作というルーチンを繰り

返し，最適解を求める。常に最適解が得られる

保証はない。

参考文献

[ 1] Hopfi巴ld,J. J. ; Neural networks and

physical systems with emergent

collective computational abilities,

Proc. Natl. Acad. Sci. USA, Vol. 79,

pp2554-25581' 1982 .

[ 2 ] Sivilotti, M. , Emerling, M. and Mead,

C. ; A novel Associative M巴mory

Implement巴dusing白 llective白 mputation,

Chapel Hill Conf巴renceon Ve可 Large

Scale Integration, 1985.

[ 3] Morisue, M. and Koinuma, H. , A

Novel Binary Add巴rusing the Neural

Networks, IEICE Proc. JTC-CSCC, E

2-2-1, pp510-513,1988.

[ 4] Koinuma, H. and Morisue, M. ; A

Josepson N巴ural-N巴twork Circuit,

- 24 -

HOPFIELD型ニューラルネットワークによる数理計画法

IEICE Proc. JTC-CSCC, SCE88-16,

pp85-90'1988.

[ 5 ]Morisue, M.加 dKoinuma, H. ; Neural

networks for Digital Applications,

IEEE. Proc. ISCAS, 3, pp.2189-

2192,1989.

[ 6 ] Koinuma, H. and Morisue, M. ; IEICE

SA-2-4, pp.141-142., 1989.

[ 7] Sakai, K., Morisue, M. and Koinuma

; Simulation of Neural network Digital

Adder and Multiplier, Trans. IEICE, J

74-A, N08, pp.1222-1231, 1991.

[ 8] Morisue, M., Sakai, K.担 dIizuk:a, T. ;

Neural Networks for Digital Adder,

IEEE. Proc. ISCAS, pp.1605-1608,

1991.

[ 9] Morisue, M., Sakai, K. and Fujinaga,

H. ; Implementation of Neural Netwok

Adder, IEEE. Proc. of Second Int’L

Conference on Fussy & Ne町 al

Networks, pp551-554, 1992.

口0]Manome, Y. , Katori, K. et. al. ;

Classification of Solutions on Some

Nonlinear Diffential Equation, IEICE

NOLT A’93' pp 1003-1006' 1993 .

[11] Hayashi, H., Katori, K. et. al. ;

Simulation of 32-bit Word Length

Binary Adders With Hopfield Neural

Networks, IEICE Proc. JTC-CSCC,

VOL 1, pp430-434, 1984.

口2］香取 ；simulation of adders with

Hopfield Neural Networks，文経論叢，

第 30巻第1号， pp65-100'1984.

[13] Hopfield, J. J.担 dTank, D. W. ; Neural

computation of desisions in optimization

problems, Biol. Cybern. 52., pp141-

152, 1985.

口4］柳谷；組合わせ最適化問題のBD Dによ

る解法， 情報処理， VOL34,N05, pp617

-623, 1993.

口5］甘利編著 ；ニューラノレネットの新展開，

- 25 -

サイエンス社， 1993.