バックプロパゲーションによって訓練されたニューラル ネットワークの力が真の影響を与えるには、2010 年代までかかりました。 数人の大学院生と協力して、Hinton は、コンピュータに画像内のオブジェクトを識別させる際に、彼の技術が他のどの技術よりも優れていることを示しました。 また、ニューラル ネットワークをトレーニングして、文中の次の文字を予測しました。これは、今日の大規模な言語モデルの前身です。
これらの大学院生の 1 人は Ilya Sutskever で、OpenAI を共同設立し、ChatGPT の開発をリードしました。 「これが素晴らしいものになる可能性があるという最初の予感がしました」とヒントンは言います。 「しかし、それがうまくいくためには大規模に行われる必要があるということを理解するのに長い時間がかかりました。」 1980 年代には、ニューラル ネットワークは冗談でした。 シンボリック AI として知られる当時の支配的なアイデアは、知性が単語や数字などのシンボルの処理に関与するというものでした。
しかし、ヒントンは納得しませんでした。 彼はニューラル ネットワーク、ニューロンとそれらの間の接続がコードによって表される脳のソフトウェア抽象化に取り組みました。 これらのニューロンの接続方法を変更する (ニューロンを表すために使用する数値を変更する) ことで、ニューラル ネットワークをその場で再配線できます。 つまり、学習させることができます。
「私の父は生物学者だったので、私は生物学的な観点から考えていました」とヒントンは言います。 「そして、象徴的推論は明らかに生物学的知性の核心ではありません。
「カラスはパズルを解くことができますが、言語はありません。 彼らは、シンボルの文字列を保存して操作することによってそれを行っていません。 彼らは、脳内のニューロン間の接続の強さを変えることによってそれを行っています. したがって、人工ニューラル ネットワークの接続の強さを変更することで、複雑なことを学習できる必要があります。」
新しい知性
ヒントンは 40 年間、人工ニューラル ネットワークを生物学的なものを模倣するための貧弱な試みと見なしてきました。 今、彼はそれが変わったと考えています.生物の脳がすることを模倣しようとする中で、私たちはより良いものを思いついたと彼は考えています. 「それを見ると恐ろしい」と彼は言います。 「いきなりの逆転です」
ヒントンの恐怖は、SF の世界のように多くの人を襲うだろう。 しかし、これは彼の場合です。
その名前が示すように、大規模な言語モデルは、膨大な数の接続を持つ大規模なニューラル ネットワークから作成されます。 しかし、それらは脳に比べて小さいです。 「私たちの脳には 100 兆のつながりがあります」とヒントンは言います。 「大規模な言語モデルには最大で 5 兆、最大で 1 兆があります。 しかし、GPT-4 は、1 人の人間よりも何百倍も多くのことを知っています。 つまり、実際には私たちよりもはるかに優れた学習アルゴリズムを持っているのかもしれません。」