**ニューラルネットワーク**

ニューラルネットワーク

ー研究の歴史と本書の構成

2020/4/23 GUO SIHAN

多層ニューラルネットワークの期待と失望

• 人工ニューラルネットワークは、生物の神経回路網(しんけいかいろもう)を模倣(もほう)して、高度(こうど)な情報処理の実現(じつげん)を目指します
• 1940年代に研究が開始(かいし)されました
• 80年代半ばから90年代にかけて、多層(たそう)ニューラルネットワークの学習法である誤差(ごさ)逆(ぎゃく)伝播(でんぱ)法の発明(はつめい)をきっかけとしたもので、研究は大きな広がりを見せました
• しかし、このブームが終わってしまった、2つ理由を挙げます
  • 第一に、誤差(ごさ)逆(ぎゃく)伝播(でんぱ)法によるニューラルネットの学習は、図1.1左のような２層のニューラルネットでこそ、うまくいきましたが、それ以上多層(たそう)になると期待したような結果を得られませんでした
  • 第二に、ニューラルネットには層数(そうすう)やニット数(かず)その他学習のためのパラメータが多数(たすう)あるのに、それらが最終的な性能(せいのう)とどのように結びつくかがよくわかりませんでした
• 多層(たそう)ニューラルネットワークの学習が難しいことに対しては、層間(そうかん)が密(みつ)に結合された多層ネットワークの学習は困難でした.しかし、画像を対象とする畳込み(たたみこみ)ニューラルネットワーク(CNN)は80年代後半に5つ(いつつ)もの層(こし/そう)から多層ニューラルネットワークの学習に成功していました

多層ニューラルネットワークの事前(じぜん)学習

• 90年代後半(こうはん)から2000年代前半にかけて、Hintonらのディープビリーフネットワーク（DBN)の研究が、これを覆す(くつがえす)ブレークスルーとなりました.DBNは、一般的なニューラルネットに似た多層構造(こうぞう)を持つグラフィカルモデルです
• これに対して、HintonらはDBAを、まず層ごとに制約ボルツマンマシン(RBM)と呼ばれる単層ネットワークに分解した上で、貪欲(どんよく)法の考え方に従い、これらのRBMを入力(にゅうりょく)層(そう)に近い側(がわ)から順番(じゅんばん)に教師なしで学習してゆく方法を提案しました
• 目的とするネットワークの学習前、層(こし)ごとに学習を行うことでパラメータのよい初期値(しょきち)を得ておくこのやり方は、事前学習と呼ばれています
• その後、DBNやRBMではなく、より単純な自己(じこ)符号化を使っても多層ネットワークの事前学習が可能であることがわかりました

特徴(とくちょう)量の学習

• 事前学習の成功の後に、研究者の関心がまず向かったのは、多層ネットワークがこのような自然界のデータを学習したとき、そのようなデータの持つ構造が、どのようにネットワークの多層構造によって捉え(とらえる)られ、表現されるかでした
• 多層ネットワークが学習によって興味深い階層(かいそう)構造を形成することがわかってきました

深層学習の隆盛(りゅうせい)

• 音声認識や画像確認のベンチマークテスト(基准测试的意思)で、多層ニューラルネットワークの有効(ゆうこう)性が認められ(みとめる)、過去の記録を次々(つぎつぎ)にぬりかえる(重涂)ようになりました
• こうして、深層学習(ディーブラーニング)の有効性が広く認知(にんち)されるようになったのです
• 自然言語処理や音声認識の特定のタスクでは、　再帰(さいき)型(がた)ニューラルネットワーク(RNN)が使われています。形(かたち)の上ではいずれも多層ネットワークと言えますが、仕組み(しくみ)と学習方法はかなり音(おと)なるものです
• 事前学習は、深層学習のブームのきっかけをを開きましたが、最近では必須(ひっす)の技術というわけではなくなりつつあります

本書の構成

• ２章では、順(じゅん)伝播型ネットワークを扱います(あつかい)、最も(もっとも)基本的かつ応用範囲が広いニューラルネットワークです
• ３章では、順伝播型ネットワークの学習方法と基礎(きそ)理論を説明します
• ４章では、誤差逆伝播を説明します、プログラムの実装(じっそう)上の考え方についても簡単に触れ(ふれ)ます
• ５章では、教師なし学習を行うニューラルネットで、データの良い表現を得ることを目的とします
• ６章では、画像への応用で欠(かく)かせない存在(そんざい)となっている（CNN）を扱います
• ７章では、再帰(さいき)型ネットワーク（RNN）を扱います
• ８章では、ボルツマンマシンを扱います
• 他の章で扱ったニューラルネットと異なり、双方向(そうほうこう)的なユニット間の結合(けつごう)を持ち、挙動(きょどう)が確率的に記述(きじゅつ)されることが特徴です