最近、OpenAI の共同創設者兼 CEO であるサム アルトマンが話すとき、耳を傾けることは理にかなっています。 GPT-4 と ChatGPT のリリース以来、彼の最新の試みは、これまでに作成された最も洗練された大規模な言語モデルベースのインターフェイスの 1 つである ChatGPT のリリース以来、誰もが口にするものでした。 しかし、Altman は慎重かつ謙虚なアプローチを採用しており、大規模な言語モデル (LLM) に関しては、大規模であるほど常に優れているとは必ずしも信じていません。
で Zoom でインタビューを受けた Altman 氏 想像力を働かせる 昨日の MIT でのイベントでは、LLM サイズの限界に近づいていると考えています。 「私たちは、これらの巨大なモデルになる時代の終わりにいると思います。そして、他の方法でそれらをより良くするつもりです」とアルトマンは言いました.
彼はサイズをモデルの品質の誤った測定値と見なし、それを以前に見られたチップ速度の競争と比較しています。 「パラメータ数に注目しすぎていると思います。おそらくパラメータ数は確実に増加傾向にあるでしょう。 しかし、これは 1990 年代と 2000 年代のチップのギガヘルツ競争の多くを思い出させます。そこでは誰もが大きな数を指摘しようとしていたのです」とアルトマンは言いました。
彼が指摘するように、今日、私たちは iPhone を実行するはるかに強力なチップを使用していますが、それらがどれほど高速であるかはほとんどわかりません。 「私たちが焦点を当て続けているのは、急速に能力を高めることが重要だと思います。 そして、パラメーター数が時間の経過とともに減少する何らかの理由がある場合、または複数のモデルを連携させてそれぞれのモデルを小さくする必要がある場合は、そうします。 私たちが世界に届けたいのは、最も機能的で便利で安全なモデルです。 私たちはパラメータ数について自嘲するためにここにいるわけではありません」と彼は言いました。
Altman がこれほど成功したテクノロジストである理由の 1 つは、彼が大きな賭けを行い、慎重に行動し、自分の会社とその製品について深く考えていることです。OpenAI も例外ではありません。
「私たちは長い間取り組んできましたが、本当にうまくいくという自信が徐々に増しています。 私たちはずっと [building] 同社は7年間。 これらのことには、非常に長い時間がかかります。 他の人がうまくいかなかったのに、なぜそれがうまくいったのかという点で、概して言えば、それは、私たちが長い間あらゆる詳細に汗を流してきたからです. そして、ほとんどの人はそれをしたくありません」と彼は言いました。
OpenAI に 6 か月間の一時停止を要求する書簡について尋ねられたとき、彼は書簡の一部に同意しながら、会社のアプローチを擁護しました。
「推力の部分があります [of the letter] 私は本当に同意します。 GPT-4 のトレーニングを終えてからリリースまでに 6 か月以上を費やしました。 そのため、時間をかけて安全モデルを実際に研究し、外部監査を受け、外部のレッドチームが何が起こっているのかを本当に理解しようとし、できる限り軽減しようとすることが重要です」と彼は言いました.
しかし、彼は、手紙が的を外した実質的な方法があると信じています.
「また、機能がますます深刻になるにつれて、安全基準を引き上げなければならないことに同意しました。 しかし残念なことに、手紙には一時停止する必要がある場所に関する技術的なニュアンスがほとんど欠けていると思います。以前のバージョンの手紙では、GPT-5 を訓練していると主張していました。 私たちはそうではないし、しばらくそうするつもりもないので、その意味で、それはちょっとばかげていました — しかし、私たちは GPT-4 に加えて他のことを行っており、対処することが重要なあらゆる種類の安全性の問題があると思います手紙から完全に除外されました。 ですから、慎重に移動し、安全性の問題に対する厳しさを増すことが本当に重要だと思います。 とは思わない [suggestions in the] 手紙はそれに対処する究極の方法です」と彼は言いました。
アルトマン氏は、現在のモデルの安全性の問題と限界についてオープンであるのは、それが正しいことだと信じているからだと言います。 彼や他の会社の担当者が「ばかげたこと」を言うことがあり、それが間違っていることが判明したことは認めていますが、このテクノロジについて対話することが重要であるため、喜んでそのリスクを冒します。
「OpenAI での私たちの目標の大部分は、世界に私たちと関わり、考えてもらうことです。 [this technology]、そして徐々に新しい機関を更新して構築するか、既存の機関を適応させて、私たち全員が望む未来が何であるかを理解できるようにします。 それが、私たちがここにいる理由のようなものです。」