10年間 現在、最も印象的な人工知能システムの多くは、膨大な数のラベル付きデータを使用して教えられています。 たとえば、トラとトラを正しく区別するように人工ニューラル ネットワークを「トレーニング」するために、画像に「トラ猫」または「トラ猫」というラベルを付けることができます。 この戦略は目覚ましい成功を収めましたが、残念ながら不十分でした。
このような「監視された」トレーニングには、人間が手間をかけてラベル付けしたデータが必要であり、ニューラル ネットワークは、ラベルを最小限の、時には表面的な情報と関連付けることを学習して、近道をすることがよくあります。 たとえば、牛は通常野原で撮影されるため、ニューラル ネットワークは草の存在を使用して牛の写真を認識する場合があります。
「私たちは大学生のようなアルゴリズムの世代を育てています。 [who] 学期中は授業に来なかったし、決勝の前夜は詰め込みすぎだった」と語った。 アレクセイ・エフロス、カリフォルニア大学バークレー校のコンピューター科学者。 「彼らは実際には教材を学んでいませんが、テストでは良い成績を収めています。」
さらに、動物の知能と機械の知能の融合に関心のある研究者にとって、この「教師あり学習」は、生物の脳について明らかにできることが限られている可能性があります。 人間を含む動物は、ラベル付けされたデータセットを学習に使用しません。 ほとんどの場合、彼らは自分で環境を探索し、そうすることで、世界についての豊かでしっかりとした理解を得ることができます.
現在、一部の計算神経科学者は、人間がラベル付けしたデータをほとんどまたはまったく使用せずにトレーニングされたニューラル ネットワークの調査を開始しています。 これらの「自己教師あり学習」アルゴリズムは、 人間の言語のモデル化 最近は画像認識も。 最近の研究では、自己教師あり学習モデルを使用して構築された哺乳類の視覚および聴覚システムの計算モデルは、教師あり学習モデルよりも脳機能に密接に対応していることを示しています。 一部の神経科学者にとっては、人工ネットワークによって、私たちの脳が学習に使用する実際の方法の一部が明らかになり始めているように見えます。
欠陥のある監督
人工ニューラル ネットワークに触発された脳モデルは、約 10 年前に成熟しました。 アレックスネット 未知の画像を分類するタスクに革命をもたらしました。 そのネットワークは、すべてのニューラル ネットワークと同様に、強度または「重み」が異なる相互接続を形成する計算単位である人工ニューロンの層で構成されていました。 ニューラル ネットワークが画像を正しく分類できなかった場合、学習アルゴリズムはニューロン間の接続の重みを更新して、次のトレーニング ラウンドで誤分類の可能性を低くします。 アルゴリズムは、ネットワークのエラー率が許容できるほど低くなるまで、すべてのトレーニング イメージでこのプロセスを何度も繰り返し、重みを微調整します。
カリフォルニア大学バークレー校のコンピューター科学者である Alexei Efros は、ほとんどの最新の AI システムは人間が作成したラベルに依存しすぎていると考えています。 「彼らは実際には教材を学んでいません」と彼は言いました。アレクセイ・エフロスの礼儀
同じ頃、神経科学者は、神経科学の最初の計算モデルを開発しました。 霊長類の視覚系、AlexNet とその後継者のようなニューラル ネットワークを使用します。 たとえば、サルと人工ニューラル ネットワークに同じ画像を表示すると、実際のニューロンと人工ニューロンの活動が興味深い対応を示しました。 続いて、聴覚と臭気検出の人工モデルが続きました。
しかし、この分野が進歩するにつれて、研究者は教師付きトレーニングの限界に気づきました。 たとえば、2017 年に、当時ドイツのテュービンゲン大学のコンピューター科学者だった Leon Gatys と彼の同僚は、フォード モデル T の画像を撮影し、写真全体にヒョウの皮のパターンを重ねて、奇妙ではあるが簡単に認識できる画像を生成しました。 . 主要な人工ニューラル ネットワークは、元の画像をモデル T として正しく分類しましたが、変更された画像はヒョウと見なしました。 テクスチャに固執していて、車の形 (さらに言えばヒョウの形) も理解していませんでした。
自己教師あり学習戦略は、このような問題を回避するように設計されています。 このアプローチでは、人間はデータにラベルを付けません。 むしろ、「ラベルはデータ自体に由来する」と述べた フリーデマン・ツェンケ、スイスのバーゼルにあるフリードリッヒ・ミーシャー生物医学研究所の計算神経科学者。 自己管理型アルゴリズムは、基本的にデータにギャップを作成し、ニューラル ネットワークに空白を埋めるように要求します。 たとえば、いわゆる大規模言語モデルでは、トレーニング アルゴリズムがニューラル ネットワークに文の最初の数単語を表示し、次の単語を予測するように求めます。 インターネットから収集した大量のテキスト コーパスでトレーニングすると、モデルは 学ぶように見える 外部のラベルや監督なしで、印象的な言語能力を実証する言語の構文構造。