ニューロンによる深い理解の理解の欠如

深いニューラルネットワークは、さまざまな困難な課題を解決するために、複雑で直感的な方法で結合する多くの個々のニューロンで構成されています。 この複雑さはニューラルネットワークのパワーをもたらしますが、混乱して不透明なブラックボックスの評判にもなります。

ニューラルネットワークのより深い機能を理解することは、決定を説明し、より強力なシステムを構築するために不可欠です。 たとえば、さまざまなギアがどのように組み合わされているかを知らなくても、時計を作成しようとするのは難しいかもしれないと想像してください。 神経科学と深い学習を含む神経ネットワークを理解する方法は、個々のニューロン、特に解釈が容易なニューロンの効果を研究することである。

何十年もの実験的神経科学の影響を受けた方法を用いて、第6回国際学習とキャラクタリゼーション(ICLR)会議で出現する単方向汎化の重要性を検証します。 :深いニューラルネットワークの小さなニューロンの人口はどれくらい重要ですか? ネットワークコンピューティングではニューロンの説明がより重要ですか?

個々のニューロンおよびニューロン集団を削除することにより、ネットワークを破壊することによるパフォーマンスの影響を測定します。 我々の実験は2つの驚くべき発見をもたらした:

これまでの多くの研究では、解釈が容易な個々のニューロンの理解に焦点を絞っていましたが(例えば、ネコのニューロンや深いネットワークの隠れた層のニューロンは、ネコの画像にしか反応しません)解釈されるニューロンは、解釈が困難なニューロンほど重要ではありません。

目に見えない画像を正しく分類するネットワークは、以前に見た画像のみを分類するネットワークよりもニューロンの削除に適応します。 換言すれば、よく一般化されたネットワークは、記憶されたネットワークよりも単一の方向への依存度が低い。

「猫のニューロン」は説明が簡単かもしれませんが、重要ではありません

神経科学および深い学習において、容易に解釈可能なニューロン(「選択的」ニューロン)は、犬のような単一の入力カテゴリの画像に応答する場合にのみ広く分析される。 深い学習では、これによって猫のニューロン、感情的なニューロン、括弧内のニューロンが強調され、神経科学の分野ではジェニファーアニストンのニューロンはまるで他のものと同じです。 しかしながら、これらのいくつかの高度に選択的なニューロンの相対的重要性は、選択性が低く、困惑し、解釈するのが困難なほとんどのニューロンと比較して未知のままである。

明らかな応答パターン(例えば、ネコにはアクティブ、他のすべてのアクティビティでは非アクティブ)を持つニューロンは、一見無作為な画像に反応して活動的および非活動的であるニューロンよりも解釈が容易です。

ニューロンの重要性を評価するために、我々は、ニューロンが削除されたときに画像分類タスクのネットワーク性能がどのように変化するかを測定した。 ニューロンが非常に重要な場合、それを除去することは非常に破壊的であり、ネットワーク性能を大きく低下させ、重要でないニューロンを削除することは効果がないはずである。 神経科学者は、これらの実験に必要な細かい精度を達成することはできませんが、同様の実験を行うことが多く、人工ニューラルネットワークで容易に利用できます。

概念図 より暗いニューロンがより活動的である。 隠れ層ニューロンをクリックして削除し、出力ニューロンの活動がどのように変化するかを見てください。 1つまたは2つのニューロンだけを削除すると、出力にはほとんど影響しませんが、ほとんどのニューロンを削除すると大きな影響があり、一部のニューロンは他のニューロンよりも重要です。

意外にも、選択性と重要性との間にはほとんど関係がないことがわかった。 言い換えると、「猫のニューロン」は、混乱しているニューロンほど重要ではありません。 この発見は、カオスニューロンが実際に非常に有益であり、深いニューラルネットワークを理解するために最も簡単に説明されたニューロンを超えなければならないことを示唆している、神経科学の分野における最近の研究と一致している。

「猫のニューロン」は解釈が容易であるかもしれないが、明らかに好ましさのないニューロンほど重要ではない。 このイメージをクリックして、重要度と解釈可能性の違いを探しているかどうかを確認してください。

解釈可能なニューロンは直感的に分かりやすく(「イヌが好き」)、紛らわしいニューロンほど重要ではなく、明確な好みもありません。

一般化されたネットワークを破るのは難しい

インテリジェントなシステムを構築しようとしています。新しい状況に一般化することができれば、インテリジェントなシステムと呼ぶことができます。 例えば、画像分類ネットワークは、以前に視聴された特定の犬の画像のみを分類することができるが、同じ犬の新しい画像を分類することはできず、無駄である。 新しい例のインテリジェントな分類でのみ、これらのシステムはその有用性を得ることができます。 Google Brain、Berkeley、DeepMindのICLR 2017でのベスト・ペーパーに関する最近の共同論文によれば、深いネットワークは、より人道的な方法で学習するのではなく、訓練のために受け取ったすべての画像を単純に記憶することができます(例えば、 "抽象的な概念。"

しかし、ネットワークが新しい状況を解決する方法を学んだかどうかは、しばしば不明です。 徐々に大きなニューロン集団を削除することによって、これらの一般化されたネットワークは、トレーニング前のものよりも削除される可能性が高いことがわかりました。 言い換えれば、より良いネットワークを一般化することは壊れにくい(確かに壊れるだろうが)。

より多くのニューロン集団が除去されるにつれて、一般化されたネットワーク性能の性能は、メモリネットワークの性能よりもはるかに遅い。

このようにネットワークの堅牢性を測定することにより、ネットワークが望ましくないメモリを「なりすまし」ているかどうかを評価できます。 ネットワークがメモリ内でどのように変化するかを理解することは、記憶に欠け、より一般的な新しいネットワークを構築するのに役立ちます。

神経科学のインスピレーション解析

一緒に、これらの発見は、経験的な神経科学に触発された技術を使用して神経ネットワークを理解する能力を実証しています。 これらの方法を使用して、我々は高度に選択的な単一ニューロンは非選択的ニューロンより重要ではなく、よく定義されたネットワークはトレーニングデータを単に記憶するネットワークよりも単一ニューロンに依存しないことを見出した。 これらの結果は、単一のニューロンの重要性が、一目で考えられるよりもはるかに重要でないことを示唆している。

解釈しやすいものだけでなく、すべてのニューロンの役割を説明しようとすることで、ニューラルネットワークの内部動作をよりよく理解し、この理解を賢明でより多用途なシステムを構築するために批判的に使用することを望みます。 。

この記事は@阿里云云液社團区によって翻訳されました。

記事の元のタイトルは、 "ニューロン削除による深い学習の理解"

翻訳者:Dong Zhaonan、レビュー:

オリジナルのリンク

この記事はYunqi Communityのオリジナルコンテンツであり、許可なく複製することはできません。

元のリンク