68
神経情報システム論 第１回 脳科学の概観と神経細胞モデル
神経情報システム論
第１回 脳科学の概観と神経細胞モデル
2今回の構成
•講義の進め方
•脳科学における種々の方法論
•脳の工学的研究
•神経回路モデル研究の歴史
•神経細胞の構造
•神経細胞のモデル化
3神経情報システム論の背景
•脳の情報処理を工学的に応用したい．
- 人間の優れた能力を生かした情報処理方式の構築．
e.g., 人工知能，学習システム，ロボット
•神経ネットワークの性質を数理的に明らかにしたい．
- 多数の神経素子が生み出す様々な現象の解析．
- そのような性質を生かした情報処理原理の提案．
e.g., 神経力学，学習理論，独立成分解析
•脳の情報処理の仕組みを明らかにしたい．
-神経系がもつ機能を情報処理レベルで理解する．
4講義の方針
•工学的，数理的内容が中心．
•広く浅く：できるだけ多くのアルゴリズムを扱う．
•議論が展開した歴史的な流れを意識する．
•理論的な議論は重要なものだけに限定する．
•例題や演習に重点をおく（自力で実装する）．
•スライドと板書を適宜使い分ける．
5講義ホームページ
http://www.hi.is.uec.ac.jp/lecture/nips/
- 学外からのアクセス時にはパスワードが必要
ID: nips passwd: network
- 講義スライドの写し(PDFファイル）
講義終了後にアップロード．
- 昨年度の講義資料
- 演習問題の配布
- 関連資料や連絡事項の掲示
6講義予定 1
•導入
- 神経科学の方法論，計算モデルの歴史
- 神経素子のモデル
•学習認識システム，教師あり学習
- パーセプトロン
- バックプロパゲーション
- サポートベクトルマシン（今年新しく加えるもの）
7講義予定 2
•連想記憶
- 古典的連想記憶
- エネルギー関数の導入と最適化としての連想回路
•教師なし学習
- 特徴量の自動抽出と自己組織化
- 情報量最大化
- 独立成分分析
8講義予定 3
• EMアルゴリズム
•強化学習
- 報酬の基づく行動学習
- Q学習
進度に応じて柔軟に対応．
最新情報はホームページで．
9教科書と参考書
•教科書：
- 特定の教科書に沿った講義は行なわない．
- 講義で扱う内容をすべての網羅する教科書はない．
•参考書：
- 講義ホームページに掲示．
- 他のホームページ
内容が怪しいものがたくさんあるので注意！
10評価と演習
•成績の評価
- 演習問題 (3回程度）
数値実験によるアルゴリズムの評価
- 受講者僅少の場合はグループでの問題解決と発表
•演習問題の配布と答案の提出
- 配布はホームページでのみ行なう．
- 電子媒体での提出は受け付けない．
11演習の目的
•主目的
- アルゴリズムの性質を実感する．
•副目的
- 数値実験の要領を身につける．
- レポートのまとめ方をトレーニングする．
- プログラミングを練習する．
12脳科学の方法論
•脳の神経回路網
- 複雑，巨大なネットワーク
- 分析的アプローチの限界
•学際的な学問領域
- 医学
- 生物学
- 心理学
- 工学
13脳の構造：機能の局在性
•機能の局在性
- 特定の部位は特定の機能に関与している．
- 進化論的に古い部位は生命維持や情動，運動に関与．
- 新しい部位は感覚・運動，記憶や思考に関係．
•実験および神経心理学による知見の蓄積
- 病巣の位置と生じる障害とのあいだの対応関係
- 実験動物での破壊実験
14医学的なアプローチ 1
•神経解剖学，形態学 (neuroanatomy, morphology)
- 神経回路網の配線を調べる．
- 細胞に染色を施し，顕微鏡でその広がりを調べる．
- 分子生物学的手法の発達により再び盛んに．
•神経心理学 (neuropsychology)
- 臨床的な症状に着目する．
- 脳の障害部位と症状との関係から，その部位が果
たす機能を考察．
15医学的なアプローチ 2
•電気生理学 (electrophysiology)
- 神経細胞の電気的活動を調べる．
- 1950年代に微小電極が開発されて以来急速に進歩．
- 最近では多数の細胞の同時計測が可能に．
- 神経回路モデルと最も親和性の高い．
方法論としては停滞気味？
16医学的なアプローチ 3
•光計測法
- 電位感受性色素を用いて，神経細胞の電気的活動
の空間的な広がりを実時間で計測．
17光計測法の例
18医学的なアプローチ 4
•機能的解剖学 (functional anatomy)
- 課題遂行中の脳内活動を計測することにより，
機能と脳内部位の関係を探る．
- PET や fMRIなどの撮像手法の発達により進歩．
- 非侵襲で人間を対象に使うことが可能．
→ 霊長類にしかない機能を調べることが可能に．
19非侵襲の撮像法
• PET (Positron Emission Tomograpy)
- 放射性物質(15O,11Cなど)による陽電子生成を検出．
- 血流量および代謝活動の観察に有用．
• fMRI (functional Magnetic Resonance Imaging)
- ヘモグロビンの磁気的性質の変化を利用．
- 血流量変化の観察に用いられる．
• NIRS (Near-Infrared Spectroscopy：近赤外線分光)
- ヘモグロビンの近赤外線吸収性の変化を利用．
20PET example 1
話す 創る
聞く 読む
21PET example 2
22MRI example 1
23fMRI example
24生物学的なアプローチ
•分子生物学 (molecular biology)
- 神経活動に関わる遺伝子の働きを調べる．
- 神経細胞内部の化学物質の働き，タンパク質合成
の機構，信号伝達メカニズムなどを明らかにする．
- バイオ技術の進歩により，近年急速に発達．
特定のたんぱく質の合成を抑制する．etc
25心理学的アプローチ
•実験心理学 (experimental psychology)
- 哲学や内省ではなく，客観的な実験事実に基づい
て心理的な働きの性質を明らかにする．
- 心理物理学 (psychophysics)
心理現象を物理的データに基づいて説明する．
感覚や知覚など低次の心理現象を対象とする．
- 認知心理学 (cognitive psychology)
認知, 記憶, 思考など高次の心理活動を対象とする．
26工学的アプローチ
•工学者には三つの人種
- 工学寄り：脳を参考にして優れたシステムを作る．
- 科学寄り：工学の手法を使って脳を理解する．
- どっちつかず？
•立場を理解した上で評価することが重要
- 工学：パフォーマンスを高めることが評価基準．
- 科学：真実を明らかにすることが評価基準．
27鳥と飛行機の例
•飛ぶことを研究する際，鳥を選ぶか飛行機を選ぶか？
•鳥を選ぶ人（科学寄り）
- 鳥がなぜ飛べるのか，どうやって飛んでいるのか
が知りたい．
- 飛行機は鳥を理解する上での参考にする．
•飛行機を選ぶ人（工学寄り）
- 現実に使える方法を使って実際に飛んでみせる．
- 鳥は飛行機を設計する上での参考にする．
28工学的研究の三つのレベル (Marr)
•計算理論 (computational theory)
- 機能の実現に必要な情報処理の本質を理解する．
•アルゴリズムと表現 (representation and algorithm)
- 機能を実現するための計算方法を明らかにする．
•実装 (implementation)
- 計算を実現する媒体を構成する．
29鳥と飛行機の例
•計算理論
- 飛ぶための物理学（揚力の原理）を理解する．
•アルゴリズム
- 揚力を生成するための方法を考案する．
•実装
- その方法を実現するための部品を考える．
30脳科学とロボットの関係
•計算理論
- 多自由度非線形リンク機構の制御理論を作る．
•アルゴリズム
- リンク機構を動かすための仕組みを考える．
•実装
- 力の生成方法やリンク機構を設計する．
31神経情報処理研究の流れ 1
• 1940年代：創世期
- McCulloch-Pitts の神経細胞モデル (1943)
- Hebbの学習原理 (1949)
cf. von Neumann (1945), Shannon (1949)
• 1950年代：
- Hodgkin-Huxley の神経細胞膜モデル (1952)
- Rosenblattによる学習認識装置 perceptron の提案
32神経情報処理研究の流れ 2
• 1960年代：第1次ニューロコンピュータブーム
- perceptronを種々の問題に適用する試み
- 小脳パーセプトロン説 (Marr,1969; Albus,1971)
• 1969年：Minsky & Papert によるperceptron 批判
- パーセプトロンの限界を数理的に指摘．
- 以後，研究は下火に．
33神経情報処理研究の流れ 3
• 1970年代：「冬の時代」（人工知能全盛期）
- 連想記憶モデル(Nakano, Kohonen, Anderson, 1972)
- 特徴抽出細胞の自己組織化モデル (Malsburg, 1973)
- 神経力学による動的情報処理 (Arbib & Amari, 1977)
- 両眼立体視のモデル (Marr & Poggio, 1976)
- トポグラフィのモデル (Willshaw & Malsburg, 1976)
- Amariによる一連の数理的研究
34神経情報処理研究の流れ 4
• 1980年代：第2次ニューロコンピュータブーム
- back propagation (PDP group, 1986)
NetTalk (Sejnowski, 1987)
- 連想回路網の解析 (Hopfield, 1982)
最適化問題への適用 (Hopfield & Tank, 1984)
- Boltzmann Machine
(Hinton, Sejnowski & Ackley, 1984)
- Minsky & Papert による批判 (1988)
35神経回路研究の流れ 4
• 1990年代以降：新たな数理的考察の進展
- 強化学習の発展
- 独立成分分析 (ICA)の提案
- 統計的学習理論の進展
ベイズ学習，情報量最大化
情報幾何学，統計物理
- 特異点理論に基づく学習の数学的議論
- 神経パルスによる時間的情報処理への関心
36神経細胞の性質
•神経細胞の構造
•神経細胞の電気的活動の仕組み
•神経細胞内の電気信号の伝搬
•神経細胞間の信号の伝搬
•細胞間の信号伝達効率の変化
•神経細胞の数理モデル
37神経細胞の性質
•神経細胞 (neuron)
- 脳の神経回路網を構成する要素．
- 109～1010個程度．
- 神経膜における電気化学現象が
電気信号を伝える．
•神経細胞の構造
- 細胞体 (soma)，軸策 (axon)
- 樹状突起 (dendrite)
- シナプス (synapse)
38神経の電気的活動を支える要素
•神経膜 (membrane)を通じたイオンの流れ
- イオンの流れを開閉するチャネル
- イオンをくみ出すポンプ
•イオン分布
- Na+ とK+ が主役．
Na+濃度は細胞内が低く，K+濃度は細胞内が高い．
- 膜内外でイオン濃度が異なるため電位差が生じる．
- 情報伝達にはCa2+が重要な役割．
39神経膜の電位 (membrane potential)
•静止電位 (resting potential)
- およそ -70mV
•脱分極 (de-polarization)
•過分極 (hyper-polarization)
•活動電位 (action potential)
- 脱分極が一定の限度を超えたときに起きる．
- 電気的なパルスが発生する．
- 細胞が活動（興奮）している状態
40神経細胞膜活動のシナリオ
1. 外的要因による膜電位の上昇(脱分極)．
2. Na+ channel 開放による膜電位のさらなる上昇.
→ 活動電位の発生
3. Na+ channel が閉じるとともにK+ channel 開放．
4. 膜電位が低下し，K+ channel が閉じる．
5. ポンプの働きでイオン分布がもとの状態にもどる．
6. 活動後は再活動できない期間がある（不応期）．
これら一連の現象が数 msec のうちに終わる．
41発火頻度 (firing frequency)
•入力電流の強いほど膜電位は早く増加する
- 膜電位はすぐに閾値に達して発火する．
•引き続き入力が続けば，細胞は不応期後に再び発火．
•入力が強いほど，発火の間隔 (interval) が短くなる．
→ 発火頻度が高くなる．
→ 細胞活動の強さは発火頻度として表される．
(各時点では活動・非活動の2状態しかない)
42細胞活動を表わす言葉
• ONの状態
- 活動 activated
- 興奮 excited
- 発火 firing
• OFFの状態
- 非活動 inactivated
- 休止 resting
43Hodgkin-Huxleyの方程式
•神経発火の様子をほぼ正確に再現する数式モデル
•神経膜をコンデンサとチャンネル特性で表す．
• 4本の非線形微分方程式から構成される．
- 電流に関する式1本
- チャンネル開閉に関する式3本
- 細胞から観測したデータを説明すべく作った式
→ 一連の研究でノーベル賞受賞
44膜電位の空間的伝播
•膜の局所的な電位上昇は周辺の電位に影響を与える．
- その結果，信号が空間的に伝播していく．
•信号伝達の速度
- 早いもので 10-20 m/sec.
- 軸策の直径が大きいほど伝達速度が早い．
- 有髄線維と無髄線維
•信号の伝搬方向
- 不応期のため，信号は一方向にしか伝搬しない．
45Hodgkin-Huxleyの方程式の空間版
•局所的な方程式と空間的な伝搬を扱った方程式．
- 局所的部品を抵抗で結合して伝搬を扱う．
電位変化が抵抗を介して周囲へ影響する．
•軸策上のパルスの伝播を表すことができる．
46神経細胞（神経膜）の性質のまとめ
•膜には活動 (興奮) 状態と静止状態の二つがある．
•発火するには膜電位が閾値を超える必要がある．
•一度発火すると，その後一定期間発火しにくくなる．
- 不応期 (refractory period)
•細胞活動の強さはパルスの頻度で決まる．
•局所的に生じた興奮は神経膜に沿って伝播する．
- これにより信号が軸策にそって伝えられる．
47神経細胞間の信号の伝達
•化学シナプス(chemical synapse)による伝達
- 情報は電気信号のまま伝わるわけではない．
電気信号 → 化学反応 → 電気信号
•送り手細胞 (pre-synaptic neuron)
- 電気信号により神経伝達物質放出．
→ 神経伝達物質の拡散．
•受け手細胞 (post-synaptic neuron)
- 伝達物質の受容 → イオンチャンネルの開閉
→ 神経膜電位の変化
48神経伝達物質の種類
•興奮性 (excitatory)
- 電位を上げる（脱分極させる）作用をもつ
acetylcholine, adrenaline, glutamic acid, etc.
•抑制性 (inhibitory)
- 電位を下げる（過分極させる）作用をもつ．
GABA, etc.
•送り手ごとに放出する神経伝達物質が異なる．
- 興奮性細胞，抑制性細胞
49膜電位の変化の様子
•興奮性入力を受けた場合
•抑制性入力を受けた場合
Excitatory Post-Synaptic Potential
Inhibitory Post-Synaptic Potential
50神経パルスのタイミングと演算
•発火頻度は同じでもパルスのタイミングが異なると
影響も異なる．
- 一度にパルスが来ると，膜電位が閾値を超える．
- バラバラにパルスが来ると閾値を超えられない．
•神経活動の同期性が重要であるという仮説
- 情報は発火頻度だけでなく，発火タイミングにも
含まれているという考え方が有力になりつつある．
51神経系での情報伝達に関するまとめ
•化学シナプスによる情報伝達
•細胞ごとにシナプスの数や極性が違う．
•多数の神経細胞からの情報が統合される．
•入力パルス頻度が情報を伝達する第一の媒体．
•パルス到達タイミングの重要性が認識されつつある．
52シナプス結合強度の変化
•シナプスの結合の強さは時間的に変化する．
- 結合は強くなることも弱くなることもある．
シナプス可塑性 (synaptic plasticity)
•結合の強さが変わると回路網の性質が変化する．
- 個々の細胞の影響力が変化する．
→ シナプス結合を変えることで，回路のもつ機能を
変えることができる．＝ 学習能力を有する．
53神経細胞の学習の原理
•心理学者Hebbによる仮説 (1949)
- 局所的な作用によるシナプス結合の強化
54長期増強と長期抑圧
•一定のタイミングでpre- , post-synaptic neuronを刺激
すると，シナプス結合の強さが変化する．
•長期増強 (LTP: long-term potentiation)
- シナプス結合が長い時間にわたって強化される．
•長期抑圧 (LTD: long-term depression)
- シナプス結合が長期間にわたって弱められる．
55スパイクタイミングとシナプス可塑性
•神経パルスのタイミングは学習に影響を与えるか？
- 細胞に入力されるパルスのタイミング
- 細胞の出力するパルスのタイミング
• STDP (spike-time dependent synaptic plasticity)
- 両者のタイミングに応じてシナプスの長期増強・
抑圧の方向が変わる．
- 因果律に従う場合に増強，逆の場合に抑圧
56シナプス可塑性に関するまとめ
•シナプスの結合強度は変化する．
- ネットワークの性質が変化し，学習が実現される．
• Hebbの原理
- 受け手と送り手の細胞活動の同期性が重要である．
•長期増強と長期抑圧
- シナプスの増強と抑圧が実験的に確認されている．
• STDP (spike-time dependent synaptic plasticity)
- スパイクタイミングは学習にも影響を与える．
57神経素子：神経細胞のモデル
• Hodgkin-Huxleyの方程式
- 神経細胞が示す性質を忠実に再現する．
- ネットワークとしての情報処理を語るには複雑.
→ 単純化した「抽象化モデル」 による議論
•注意：
- 現代では，現実の神経細胞に忠実なモデルの方が
研究がさかんに行なわれている．
- 汎用の神経細胞シミュレータも公開されている．
58モデルがもつべき本質的性質
•興奮状態と休止状態がある．
•多数の入力の総和が細胞の活動を決める．
•入力の和が閾値を超えたときに細胞は発火する．
•発火頻度が細胞の活動の強さを表す．
•入力ごとに影響の強さ（シナプス結合強度）が異なる．
•シナプス結合の強さは変化しうる．
59最初の神経細胞モデル
• McCulloch & Pittsのモデル (1943)
- 神経細胞を論理素子として形式化
•時代背景が重要
- Turingの計算可能性理論 (1937)
- von Neumannの計算機モデル (1945)
- Shannon の情報理論 (1949)
- Hodgkin-Huxleyモデル (1952)
60McCulloch & Pittsのモデル
•論理素子としてのモデル
61現在使われる代表的な神経素子
•連続的時間の要素を含まないもの
- 線形閾値素子
- シグモイド素子
- 確率的素子
•連続的時間の要素を含むもの
- leaky-integrator モデル
- leaky-integrate and fire モデル
- Hodgkin-Huxleyモデル
62線形閾値素子 (linear-threshold unit)
•「入力荷重和＋閾値処理」に基づく単純なモデル
- McColloch & Pittsモデルの一般化
- 連続的な時間は扱わない．
- 出力は 0 と 1 の2値
- 素子の動作ルール
u = Σj wj xj - h
y = 1[u]
63sigmoid関数を用いた神経素子
•線形閾値素子の出力を連続値に拡張したもの．
- 出力関数として sigmoid 関数を用いる．
- 出力は発火頻度に対応すると考える．
•動作則
u = Σj wj xj - h
y = f [u]
64雑談
•個々の神経素子は何に対応するのか？
- 一つの神経細胞
- 同じような性質をもった神経細胞集団全体
•数理学者の勝手な設定
- 研究者が重要であると考える性質に注目
その他は理論的取扱いが楽になるように設定．
- あくまで抽象的な設定
現実の神経系との対応は深く考えない．
65確率的な神経素子 (probabilistic unit)
•確率的アルゴリズムの枠組みで用いられる．
- 情報幾何学や統計的学習理論との相性がよい．
•出力は0, 1の2値．どちらを取るかは確率で決まる．
- 出力が1になる確率が膜電位に依存して変化する．
- 動作則
u = Σj wj xj - h
P(y = 1) = f [u]
66leaky-integrator model
•時間的変化を伴う信号を扱うときに使われる．
•出力は連続値である．
•膜電位の挙動を微分方程式で記述．
- 「電流もれがあるコンデンサ」
- 出力関数が非線形なので非線形システムになる．
= - u(t) + Σj wj xj(t)
y(t) = f [u(t) - h]
dt
du(t)τ1
67leaky-integrate and fire model
•連続値ではなくパルスを出力する．
- 膜電位の方程式は leaky-integratorと同じ．
- 入力の時間積分が閾値に達したときにパルスが出
力され，膜電位がリセットされる．
68パルス型神経素子への注目
•最近の研究の中心はパルス出力型の素子モデル
•背景
- 数値計算の高速化
- 頻度表現に基づく研究の行き詰まり
- 頻度表現がもつ本質的な問題（頻度の計測）
- 時間軸上の情報表現に対する関心の広まり
- パルスタイミングの重要性に関する実験的報告
- 素子発火の同期性の意味
