11/07/01

1

フォン・ノイマンが考えていた 熱力学と形式論理学にもとづく 情報の理論について ー 神経細胞「量子スイッチ」仮説

得丸　公明 人工知能学会情報編纂研究会

2011.7.1

本研究の背景

  地球環境問題はなぜ起きたか，という問題意識から，人類と文明の起源，言語の起源を探究して，デジタル化・量子メカニズムにたどり着いた．

  6月のLatent Dynamics 2でやや詳しく背景とこれまでの成果を報告したので参照乞う

  http://latent-dynamics.net/02/08_Tokumaru.ppt.pdf   http://latent-dynamics.net/02/08_Tokumaru.pdf

  Latent Dynamicsと本研究会は，予稿締切が遅くパワポ作成との時差がたった3日。予稿とパワポはわりと同期している。

情報とは何か

  情報の編纂というが，情報の定義がない   情報を定義するためのひとつの参考として   「情報はデジタルな表現型で，ネットワークしてオートマトンを構成する」という狭いが深遠な意味で考える

  フォン・ノイマンの念頭にあった「自己複製と進化を生み出す」情報理論を参考にする

本日の講演：「情報」概念構築のために

  1 21世紀の科学のための情報理論：経験則から量子力学へ

  2 シャノンの情報理論を忘れる   3 フォン・ノイマンと生命情報   4 フォン・ノイマンの情報理論 　　* 形式論理学：NW論理層で情報源符号化 　　 * 熱力学：NW物理層で通信路符号化

1 21世紀科学のための情報理論

  脳科学，免疫学，生物学，言語学などの研究領域で，壁にぶつかっている

  自然観察だけでは新しい発見が生まれなくなった時代: ニュートンやケプラーのようにはいかない

  目に見えないところでの情報とその処理を考えるツール「情報理論」が必要では?

(例)　パブロフの負の相互誘導

  犬の条件反射実験をパブロフはすべてシナプス接続が起きたと説明。涎が出ないのは，シナプスが疲れた時と説明。

  だが，この説明ではどうしても説明できない現象があった　⇒相互誘導

11/07/01

2

反対の記憶をもつひと組の記号を使う

餌が出ない記号を、餌が出る記号と一緒に 使うと、何回餌を与えても涎は出なかった

現象を説明不能

パブロフの限界

  すべての事象を，細胞生理学(新たなシナプス接続や接続点の疲労)だけで説明

  犬は機械と同じと考えていた (パブロフは実家がロシア正教の牧師の家庭。高校まで神学校に通っていた。デカルト的な動物観，「魂があるのはヒトのみ」という考えに染まっていた)

  条件反射実験も，弟子と対立した結果，犬には感情や知能がないことを証明するためだった．

  実験結果を丁寧に読み直す(情報処理する)と，パブロフの限界が手付かずで残っていることが見えてきた

チョムスキーも神の名にすがる

  なぜヒトは自由に構文でき，初めて聞いたヒトがそれを理解できるのか　– 1962年の国際言語学者会議でこれを言語理論の目標として設定した

  「神の介在なしにはあり得ない」， 「人間の知的な能力の範囲内にはない」 と解明を放棄 –　1986年にニカラグア(首都マナグア)で行なった講演で

  チョムスキーはデカルト派言語学者を自認．動物には理性も魂もないとする立場．

  そろそろ形而上学から言語学を解放すべきでは?

前衛を走ってきた分子生物学

  かつての生物学は外見の違いによる分類学   シュレジンガーの影響で戦後，物理学者が参入して分子生物学が隆盛を極めた

  タンパク質・核酸・アミノ酸　分子レベルの深層構造が姿を現した

  測定技術の向上により，mtDNAの突然変異のSNP解析が可能。

　☆　すべての生命体は共通祖先 　☆　現生人類の起源は南ア・ブッシュマン   しかし，分子レベルまで分解しても，生命現象がみえてこない。これまで曖昧にしてきた「情報」の考え方に問題があるのではないか?

分子生物学者が情報を論じた

  Noll 「ヒト言語のデジタル起源」(2003)   Yockey 「情報理論，進化と生命の起源」(2005)   分子生物学者たちが情報を論じた著作を出した。いまひとつ歯切れが悪いが，情報を主題にしている。

  若い時分に教えを受けたイエルネ(免疫システムのネットワーク理論)，ガモフ(遺伝暗号のデジタル性を指摘)の思い出や主張を書き残す。

  師の言葉を完全消化できなかった自責の念が，本や論文を書かせたのか。

科学哲学からの反面ヒント

  ロイ・バスカー：「認識の主体の意識構造を問う」哲学こそが，「科学の下働きとして，産婆役としてその下地づくりに寄与する」

  「経験的世界という概念自体，人間を基点にして物事を捉える人間中心的な認識論に立脚している」

  しかし、、、「量子力学には言及しない．哲学は往々にして科学(とりわけ物理学)の最新の研究動向に基づいて議論を組み立てようとする．私の考えでは，これはいついかなる時も間違ったやり方」

  量子力学は，1920年代に生まれ，今日，レーザや光通信，磁気共鳴(MRI)などで広範に実用化。バスカーの決め付けはおかしくないか。

  フォン・ノイマンは「個々の基本単位の構造および機能は，やがて量子力学の助けを大いに受ける」といった．

11/07/01

3

2　シャノンの情報理論を忘れる

  情報理論というとシャノンしかない。   一部の専門家は，シャノンを神格化   だが，著作を読んだ人は少ない。   そもそも著作が少ない。「通信の数学的理論」も2009年まで日本では長らく絶版だった

  IEEEが1993年に論文をまとめたが，読む人少ない。読むといろいろとアラが見える

シャノンはなぜ神格化されたのか

  著作も読まれず，引用もされないのに、なぜたくさんの賞や名誉博士号をもらった?

  神話の連鎖反応を生み出した誰かがいるはず。   MITでの修士時代の指導教官V. Bushとの個人的関係が作用したと考えられる?

戦中・戦後の科学技術政策に絶大な影響を与えたブッシュ 若き日のシャノン

シャノンの批判は難しい

  目に見えない世界であり，読んでも理解しづらい。   専門家に任せようかと思ってしまう。   シャノンを鵜呑みにすると，批判できなくなる   シャノンを読んだ人が少ないから，疑問に思っても，相談相手がいない

  通信工学について相当深い専門知識と理解が求められる。(変調・復調，デジタル・アナログ)

  筆者は(1) 明白な誤り・疑問の指摘を少しと，(2) 代案となるフォン・ノイマン情報理論を提示する

修士論文は中嶋章と似ている

中嶋がスイッチング回路の講演を 行なったのは1935年。その3年後 シャノンの修士論文が出た。 1940年に中嶋はアメリカ出張し、 シャノンに会う。そのときの思い出

1970年12月号

中嶋は講演の後，同じテーマで何本も論文を書いているが， シャノンは修士論文の前にも後にも同じテーマの論文がない。 また、シャノンの参考文献はきわめていい加減。

中嶋　章　1908~1970

AND　が　+

OR が　X

ON が 0

OFF が 1

標本化定理は染谷勲の論文と似ている

昭和20年12月号

波形伝送論が本になったのは1949年だが，学会誌掲載は1946年で，シャノンより約3年早かった。この事実を1982年の回想で触れていない。

1982年，Vol.65,pp695-698

1915-2007

量子化：なぜ情報理論だけ特別?

  物理学における量子化:古典力学で連続量と考えられていた物理量が、量子力学の量子条件に合わせて離散に観測される。

  情報理論における量子化：標本化で得られた離散時間信号のようなアナログデータ（連続量）をデジタルデータなどの離散的な値で近似的に表すこと。

11/07/01

4

紛らわしい。やってはいけないこと

  意味が違うのなら，同じ言葉を使ってはならない

  どうしても使うなら，理由を明示すべき   「まず物の名前を正す」　孔子の正名論が重要

  正しく概念を理解できなかったから，適当にごまかして説明したのではないか?

冗長性：書き言葉の5割~8割が冗長?

  「26の文字すべてが前の文字と独立に生起すると，情報レートはlog227あるいは1文字あたり4.76となる．実際に生み出されるのは1ビットだけであるので，英語はおよそ80%が冗長ということになる」

　　　　　　　　　　　　　　(ブリタニカ百科事典1968-情報理論）

本当にそんなに冗長なのか?

  ビットは0/1を表す情報単位。英文26文字を1ビットで表現し分けることは不可能．

  4.76は，27の文字記号をビットで表現し分けたければ最低5ビット必要と解するのが妥当．

  書き言葉が冗長にみえるのは，1音節を数文字で表現するから(記憶に照らしたアナログ処理)

　　　　　　　　　　MST PPL HV LTTL DFFCLTY N RDNG THS SNTNC

  音節文字である仮名に冗長性は基本的にない

エントロピーは情報量か?

  情報理論においてエントロピーは確率変数が持つ情報の量を表す尺度。情報量とも呼ばれる。

  「熱力学の第二法則を正しく理解すると，情報との関係が必要になると信じている学者もいる．しかしながら，これらの物理学的な関連性は工学ならびに情報理論の他の適用において考慮する必要がない」　 (ブリタニカ百科事典1968-情報理論）

雑音は熱の関数ではないか!

一般通信モデルには回線雑音があるが、熱の関数(kTB, ボルツマン定数 x 絶対温度 x 帯域)である。熱力学の概念としてエントロピーは情報理論に位置づけられているではないか。

誤り訂正システムには回線雑音がない。 送信データと受信データを見比べる観測者が想定されている。また、回線や雑音も消えている。(蛇足の図)

「通信の数学的理論」(ちくま学芸文庫, 2009)より

一般通信モデルは便利だが、図1と図8を 同じ人間が描いたとは考えにくい

フォン・ノイマンの関与を全否定

  情報理論やエントロピーという名前について，フォン・ノイマンの助言を得たという逸話がある．(シャノンに師事したMyron Tribusが書いている)

  1982年のインタヴューでは，フォン・ノイマンの関与を全否定

　　 (Claude E. Shannon, an oral history conducted in 1982 by Robert Price. IEEE History Center, New Brunswick, NJ, USA)

  フォン・ノイマンはシャノンを立てていた。   亡命者が戦後を生きるため取引として「情報理論」の名前と図をブッシュに渡し，ブッシュはそれを愛弟子の名を売るために利用した可能性は?

11/07/01

5

3 フォン・ノイマンと生命情報

  ハンガリー生まれの天才数学者。   原水爆開発にも関与。   ウィーナーからマカロック+ピッツの論文(1943)を紹介され，生物現象を情報システムとして考え始めた

  戦後の学際的雰囲気の中, 1946年 第9回理論物理学ワシントン会議「生物の物理学」に参加。　　組織したガモフ(1904-1968)は，ビッグバン理論やRNAコドン暗号解読で知られるロシア人

  生物学者との親交を急速に深める   ウィルスやファージを使った実験をするよう助言   　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　Lily Kay　“Who Wrote the Book of Life?” (2000)

Hixon Symposium基調講演 　 1948年9月@Cal-Tech, Pasadena

  生物体の自己増殖と進化を情報メカニズムとして解明を目指した。

  「生物体は複雑さがなにも減少していない新しい生物体を生産する。さらに，長い進化の時期には，その複雑さが増加しさえする。この『複雑さ』を構成するものの厳密な概念を形づくる方向で，オートマトンについての系統的な理論の建設を目標とした。」

  複雑さとは，単細胞の卵が生物体に成長する過程であり，また，系統的な進化のメカニズムである。

  フラクタルを考えたマンデルブロは，フォン・ノイマン最後の教え子。自己相似な形状が次々に展開していくフラクタル状に生命は複雑さを生み出すのか

4.1 フォン・ノイマンの情報理論

  自然界の生物体の神経系はデジタル・メカニズムであり，『全か無か』的性格をもった信号でメッセージを伝達

  デジタルという概念を理解してもらうために，デジタル原理とアナログ原理を説明。

  デジタル：1より大きな数の論理記号で表現。(bit=2, RNA=4, 日本語音節=112,　英語音節=4000程…)

  アナログ：ある物理量を別の物理量で表現。誤差混じる   決定的な違いは信号対雑音(S/N)比：デジタルは桁数を増やせばいくらでも精度を高められるが，アナログには精度の限界あり，さらに処理を重ねるとノイズは重畳する。

  ウィーナーのサイバネティックスにはデジタルの発想が欠けている。シャノンもウィーナーも一度もデジタルを論じず

4.2 情報理論の構成原理

  「情報理論という新しい理論が形式論理学のようであることは驚くに値しない．しかし，それが熱力学と共通のものをたくさんもつことは驚くべきことである」

  S/Nは量の差であり，符号語数の多さや誤り確率低さを生む

  だが，2つの相乗効果は質の差を生む? ⇒文法はデジタル固有の複雑化メカニズム

形式論理学:情報源符号化・NW論理層

生命体はデジタルな「全か無か」型のオートマトン   順列組合せ理論：無限に符号語を作り出せる   ○＋△=□ 入力が2値的に単純化され，AND, OR, NOTで構成される論理式に代入して，全か無かの答を生む。

  情報の入力に対して反射的に行動決定・制御する。厳密さが求められ，入力情報には一つの誤りも許されない。

  記憶と結びついた符号語を，法則性を体現する符号語で紡ぐことにより，複雑・精巧なメッセージを伝達できる

  (幼児の二語文・三語文・四語文までは，チンパンジーでも作れる．文法はそれを複雑に組合わせることを可能にする)

4.4で説明 熱力学：通信路符号化・NW物理層

熱力学は情報の統計的理論と密接に関わる通信路符号化の問題。

  蓋然性：回線雑音によって信号劣化・反転の可能性が常にある。どうやって乗り越えるか。

  冗長性・縮重：信号劣化を予定して，送信元からは余裕をもって情報を送る

  可能性のある選択の各々に反応：有限個の元それぞれに対応する受信装置があり，漏れなく，遅れず，歪をリセットして必ず信号を生み出す。

  長期保存に適した符号語を生み出した

4.3で説明

11/07/01

6

信号/雑音比がよいと誤りない受信可能

エントロピー増加は雑音に比例する。図は縦軸が雑音強度(による 熱力学的エントロピー増大)，横軸が信号強度/雑音強度となり， 信号強度一定のとき通信可能性曲線は雑音に反比例する。

通信可能領域 余裕(

吵ー

吏呉)

送信点のS

受信点のS (デジタル利得)

デジタル・ネットワーク・オートマトン

コンピュータ・ネットワークと同じような複雑・精巧・自動の情報メカニズム：

  生命体の神経系メカニズム   遺伝子のタンパク質産生メカニズム   免疫システム，記憶システム   ヒト言語メカニズム　　　　　　　　など

情報源復号化過程(論理層)  ディスプレイ スピーカー アクチュエータ

情報源符号化過程(論理層)  CCDやVOCODERによる画像・

音声のbit列化・ センサーの感知情報

       

Bit化された情報の通信路符号化過程(物理層)：前方誤り訂正技術        

誤り訂正  符号化

電波

雑音源

デジタル  変調

デジタル  復調

誤り検出  訂正

Computer  Networkにおけるbit情報伝送

A/D変換 D/A変換

表示装置 (画像、音声) ビット列化

(デジタイザ)

電子計算機にとってはbitが情報伝送の基本単位

アナログ User Interface

デジタル

通信路において1bitの誤りない伝送が可能となり、プロトコルスイッチが機能する

情報源符号化

通信路符号化

情報源復号化過程

情報源符号化過程

通信路符号化過程(mRNAが信号として機能)        

ゲノム 核膜

雑音源

転写後  修飾  mRNA

リボソーム  rRNA

tRNA  アンチ  コドン

遺伝子情報システムはオートマトン

転写 翻訳

遺伝子  クロマチン  (ゲノム)  

三次元化  タンパク質  器官形成

nc  RNA  

ペプチド

転写

4元のmRNAが情報伝送の基本単位

アナログ

デジタル

ncRNAによる転写後修飾は、プロトコルスイッチとして機能しているのか

転写要求?

情報源符号化

通信路符号化

脳神経はデジタル処理

大気・音波  (デジタル変復調)  PHY:音声

PHY:耳⇒一次聴覚野(音響処理)  

アナログ符号語 DL:ウェルニッケ野 DL:仲間内の符号

PR: 吼え声 PR:  表現型を意味へと復元する

AP:  感情 AP:  行動へ

送信者 受信者

合図・感情

物理層NW(信号層)

哺乳類の音声コミュニケーション�語彙少なく 文法ない 情報は送れ ない

Bit情報網

核酸言語記憶

核酸言語記憶

哺乳類の音声通信の複雑化(=デジタル化)がヒトの言語ではないか

11/07/01

7

情報源復号化過程

情報源符号化過程

通信路符号化過程(mRNAが信号として機能)        

ゲノム 核膜

雑音源

転写後  修飾  mRNA

リボソーム  rRNA

tRNA  アンチ  コドン

言語記憶の分子生物学：DNA符号化仮説

転写

神経パルス 音素・音節  でDNA  を符号化

nc  RNA  

転写

子どものころに覚えた詩はどうやって思い出されるのか

アナログ

デジタル

音素 痕跡記憶

(ウェルニッケ野)

音節列発声 (ブロカ野)

翻訳

言語記憶

4.3 通信路符号化:誤りのない情報伝達

  生命の自己複製や進化のように，誰も管理者がいないところで，誤りなく自己複製・進化できるオートマトンは，回線雑音による信号誤りを限りなくゼロに近づけるメカニズムを必要とする。

  物理層で誤り予防・検出・訂正を行なって，1符号の誤りのない情報を論理層に送る。

4.3.1 デジタル信号

  意味を表わすのではなく，論理値を表わし，   相互に物理的に離散的な特徴をもち，   相互に置き換え可能で(順列を構成し)，   1より大きな整数個でできているひと組の信号

4.3.2 デジタル受信・復調回路

  有限個の元それぞれの離散特性に最適化した受信装置があらかじめ用意されていて，いったんアナログに受信した後，最も蓋然性の高いデジタル値として判定処理する。

  外国人訛りはときどき別の音素として聞き間違えられる。

  フリップフロップ，tRNA，音素痕跡記憶(ウェルニッケ野付近)

  外国人の構文誤りを，まったく別の構文に聞き取った事例あり，ブロカ野も文章の再構築のために働いていると思われる。

4.3.3 デジタル符号語の冗長性(縮重)

送信側の情報量を大きくし，受信側の情報要求精度は相対的に小さい。このため漏斗を使うような効果が生まれ，誤り確率が低下

  61種類のトリプレットで，20種類のアミノ酸を指定するため，多くのアミノ酸には複数のコドンがある。符号誤りが起きても同じか類似のアミノ酸になるように符号が設定されている(縮重)

  言語では発声音素数が，聞き取り可能音素数よりも多い。

  2元のビットには冗長性がないので，誤り訂正符号を計算して付加して送信。

4.3.4 長期保存用符号語の獲得

「神経パルス信号は存在するかしないかで，だんだんぼやけるわけでない。」

  情報は瞬発的・即時的な反応で処理   Bit, RNA, 音節(脳内では神経パルス，大気中は音波)もどれも短命 長期保存は，別の形態の符号語への書き換え⇒磁気媒体, DNA, 文字, 脳内長期記憶

11/07/01

8

長期記憶は進化を加速する

長期記憶は，知識のより確実な蓄積・伝承を可能にするため，進化を加速する

  20億年前　DNAの誕生=真核生物の誕生   6000年前　文字の誕生=巨大文明の誕生   磁気記憶装置付コンピュータの誕生

4.4 情報源符号化: 意味のメカニズム

  通信路符号化によって，ひとつも信号誤りがない通信が可能になった。

  論理回路を形成してデジタル信号を処理し「全か無か」の判断を下す。

  離散信号を順列組合せすると無限の符号語を作れる。それぞれは記憶(=意味)と結びつけられる

  接続・修飾の法則の符号語が生まれ，記憶の符号語を紡いで複雑・精巧なメッセージを交信できるようになった(二重分節化)

4.4.1 論理回路の形成

言葉に置き換えられるものはなんでも論理回路として構築できる。

  脳は，興奮性・抑制性の神経パルスを受け入れて，

  記憶(本能・知能)によって構築した論理回路で処理し，

  興奮性・抑制性の神経パルスを出す

神経細胞論理回路                  

R  E  

S  NXOR  M  

S  

M  

生物神経系：刺激Sと記憶Mの論理演算  　　　アメーバもヒトも同じメカニズム  AND  OR  NOTでどんな回路も作れる

受容器 効果器

ヒトとヒト以外の動物の違いは，①刺激も記憶も言語という 記号で置き換えられること。②人間中心の意味の体系がある

4.4.2 脳内論理回路の量子メカニズム

  脳内のスイッチ器官の寸法は2,3Å。ひとつの分子の量子力学的特性を使ったスイッチであろう。

  神経パルスは，分子や原子との量子力学的な相互作用によって，処理されると考えられる

  動物の脳神経回路はデジタルで，アナログな五官の刺激をデジタルな神経パルスに変えて脳に送信する。

  ヒトは通信をデジタル化したことで，文法を使って複雑精巧なメッセージを交換できるようになった。

論理メカニズムの作用： 　　　概念化・記憶のデータベース管理

  レモンにまつわる様々な五官の記憶が言葉の記憶と結び付けられる

  それらがすべてネットワークされる

  これらは量子現象?   立体モデルは二重らせんを基にするだろう

荒川修作「意味のメカニズム」より

言葉以前叏呃吹呉

11/07/01

9

神経細胞が自動的に回路を作る

  すべての思考は記憶のブール演算

  経験に学び，思考を重ねて，個別の事例ごとに，複雑な論理回路が構築される

  入力は2つまで，答は1つ

荒川修作「意味のメカニズム」より

4.4.3 二重分節化されて直鎖配列

  次数は低い。情報は一直線状に送られる。   2,3の選択肢に対する2,3のきっかけをもてばよい   自動処理に適している。   接続・修飾の法則を体現する文法を獲得して，記憶の符号語を組合せ(二重分節化し)て，複雑・巧妙で長いメッセージを紡げるようになった

  法則語：　プロトコルスイッチ, ncRNA, 文法   これは1信号も誤らない通信路符号化と，個別の符号語に意味を与える情報源符号化のおかげで可能になった質的変化，シナジー効果。

文法は無彩色のベクトル

  文法は，インターネットのプロトコルスイッチやncRNAと似ている

  記憶の符号語をリアルタイムに接続するためのスイッチ

荒川修作「意味のメカニズム」より

4.4.4 より複雑なものを生み出す

  丸ごと複製する細胞分裂(オートマトンA)と与えられたすべての命令のコピーを作れるDNAの転写(オートマトンB)があれば，進化は起こりえる

  フラクタルな自己相似の形状が，マトリョーシカのように次々に展開して，生命体は複雑化するのだろうか

まとめ

  フォン・ノイマンは，生命体の自己複製・進化の仕組みを，独自の情報理論によって解明した。

  その際，細胞内部の量子力学的相互作用が重要な役割を果たす。

  これは脳科学・免疫学・生物学でも参考にならないか。   ヒト言語は，デジタルな生命進化の原理を，哺乳類の音声通信に取り込んだ。それがヒトの言語獲得以降の急速な進化を説明する

  ヒトの崇高さ，自然界における位置づけを，ヒトはまだ理解していない。ヒトとは何かをわかっていない。

  ヒトは自然の進化の産物であり，もっと複雑な方向に，意識を高める努力をしなければならない