OpenAI の共同創設者が、研究をオープンに共有するという同社の過去のアプローチについて語る:「私たちは間違っていた」

昨日、OpenAI は、待望の次世代 AI 言語モデルである GPT-4 を発表しました。 システムの機能はまだ評価中ですが、研究者や専門家が付随する資料を詳しく調べていると、多くの人が 1 つの特定の機能に失望を表明しています。親会社の名前にもかかわらず、GPT-4 は 開ける AI モデル。

OpenAI は、GPT-4 の多くのベンチマークとテスト結果、およびいくつかの興味深いデモを共有しましたが、システムのトレーニングに使用されたデータ、そのエネルギー コスト、またはそれを作成するために使用された特定のハードウェアまたは方法に関する情報を本質的に提供していません.

AI コミュニティの多くは、この決定を批判しており、研究組織としての会社の設立精神を損ない、他の人がその研究を複製することを難しくしていると指摘しています。 おそらくもっと重要なのは、GPT-4 のような AI システムによってもたらされる脅威に対するセーフガードの開発が困難になっていると言う人もいます。これらの苦情は、AI の世界で緊張が高まり、急速な進歩を遂げている時期に発生しています。

「『オープン』AI については閉鎖的であると言えると思います。GPT-4 を紹介する 98 ページの論文は、彼らがトレーニング セットの内容について*何も*開示していないことを誇らしげに宣言しています。」 つぶやいた このトピックに関するスレッドで、Nomic AI の情報デザイン担当副社長である Ben Schmidt 氏。

ここで、シュミットはGPT-4のセクションを参照しています テクニカルレポート それは次のようになります。

競合状況と GPT-4 のような大規模モデルの安全性への影響の両方を考慮して、このレポートには、アーキテクチャ (モデル サイズを含む)、ハードウェア、トレーニング コンピューティング、データセットの構築、トレーニング方法などに関する詳細は含まれていません。

話しかける ザ・バージ OpenAI のチーフ サイエンティストであり共同創設者である Ilya Sutskever 氏はインタビューで、この点について詳しく説明しました。 Sutskever 氏は、OpenAI が GPT-4 に関する情報をこれ以上共有しない理由 (競争への恐れと安全性への恐れ) は「自明」であると述べました。

Sutskever 氏は次のように述べています。 「GPT-4 の開発は容易ではありません。 これを作成するには、OpenAI のほぼすべてが非常に長い間協力して作業を行いました。 そして、同じことをしたいと考えている企業はたくさんあるので、競争の面から見れば、これはこの分野の成熟と見ることができます。」

「安全面について言えば、安全面はまだ競争面ほど顕著な理由ではないと思います。 しかし、それは変化するものであり、基本的には次のとおりです。 これらのモデルは非常に強力で、ますます強力になっています。 ある時点で、望むなら、これらのモデルに多大な損害を与えることは非常に簡単になります。 そして、能力が高くなるにつれて、それらを開示したくないのは理にかなっています。」

クローズドなアプローチは、2015 年に現在の CEO である Sam Altman、Tesla の CEO である Elon Musk (2018 年に取締役を辞任した)、および Sutskever を含む小さなグループによって設立された OpenAI にとって大きな変化です。 で 紹介ブログ投稿、Sutskeverらは、組織の目的は「株主ではなく、すべての人のために価値を構築する」ことであり、そのために他の分野と「自由に協力」すると述べた. OpenAI は非営利団体として設立されましたが、後に、主に Microsoft から数十億ドルの投資を確保するために「制限付き利益」になりました。

OpenAI が研究を共有するアプローチを変更した理由を尋ねられたとき、Sutskever は単純に次のように答えました。 率直に言って、私たちは間違っていました。 私たちと同じように、ある時点で AI — AGI — 信じられないほど強力になるとしたら、オープンソースにする意味がありません。 それは悪い考えです… 数年以内に、AI のオープンソース化は賢明ではないことがすべての人に完全に明らかになるだろうと私は完全に期待しています。」

この問題に関する AI コミュニティの意見はさまざまです。 特に、GPT-4 の立ち上げは、Facebook の所有者である Meta によって開発された LLaMA という名前の別の AI 言語モデルがオンラインでリークされ、オープンソース研究の脅威と利点に関する同様の議論を引き起こしたわずか数週間後に行われました。 しかし、GPT-4 のクローズド モデルに対する最初の反応のほとんどは否定的でした。

話しかける ザ・バージ Nomic AI の Schmidt 氏は、DM を介して、GPT-4 がトレーニングされたデータを確認できないため、システムを安全に使用できる場所を特定して修正を行うことが困難になったと説明しました。

「人々がこのモデルが機能しない場所について情報に基づいた決定を下すには、モデルが何を行い、どのような仮定が組み込まれているのかをよりよく理解する必要があります」と Schmidt 氏は述べています。 「雪の多い気候での経験なしに訓練された自動運転車は信用できません。 これを実際の状況で使用すると、いくつかの穴やその他の問題が表面化する可能性があります。」

Lightning AI の CEO であり、オープンソース ツール PyTorch Lightning の作成者である William Falcon は、 言った ベンチャービート 彼がビジネスの観点から決定を理解したこと。 （「あなたは会社としてそれを行う権利があります。」）しかし、彼はまた、この動きはより広いコミュニティにとって「悪い前例」を設定し、有害な影響を与える可能性があると述べました.

「もしこのモデルがうまくいかず、実際にそうなるなら、あなたはすでに幻覚や虚偽の情報を与えているのを見てきました。コミュニティはどのように反応することになっていますか?」 ファルコンは言った。 「倫理研究者はどのようにして実際に解決策を提案し、この方法はうまくいかない、別のことを行うために微調整すると言うべきでしょうか?」

OpenAI が GPT-4 の構造の詳細を隠すもう 1 つの理由は、法的責任です。 AI 言語モデルは膨大なテキスト データセットでトレーニングされ、多くの (以前の GPT システムを含む) Web から情報をスクレイピングします。 著作権で保護された素材が含まれている可能性があります. インターネットのコンテンツで訓練された AI 画像ジェネレーターも、まさにこの理由で法的な問題に直面していることに気づきました。現在、いくつかの会社が独立したアーティストやストック フォト サイトのゲッティ イメージズから訴えられています。

これが OpenAI がトレーニング データを共有しなかった理由の 1 つであるかどうかを尋ねられたとき、Sutskever 氏は次のように述べています。 このようには見えないかもしれませんが、そうです。 そして、トレーニング データを開示しない理由は、パラメータの数を開示しない理由とほとんど同じです。」 OpenAI がそのトレーニング データに海賊版が含まれていないと明確に述べることができるかどうか尋ねられたとき、Sutskever は回答しませんでした。

Sutskever 氏は、オープンソース モデルがセーフガードの開発に役立つという考えには「メリット」があるという OpenAI の批評家に同意しました。 「より多くの人々がそれらのモデルを研究するなら、私たちはそれらについてもっと学ぶでしょう。それは良いことです」と彼は言いました. しかし、OpenAI は、これらの理由から、特定の学術機関や研究機関にそのシステムへのアクセスを提供しました。

研究の共有に関する議論は、AI の世界が猛烈に変化し、さまざまな面で圧力が高まっているときに行われます。 企業側では、Google や Microsoft などのテクノロジーの巨人が自社製品に AI 機能を追加することを急いでおり、これまでの倫理的懸念を無視することがよくあります。 (Microsoft は最近、AI 製品が倫理的ガイドラインに従っていることを確認する専任のチームを解雇しました。) 研究面では、テクノロジー自体が急速に進歩しているように見え、AI が深刻かつ差し迫った脅威になりつつあるという懸念を引き起こしています。

これらのさまざまな圧力のバランスを取ることは、深刻なガバナンス上の課題を提示すると、英国のシンクタンク The Center for Long-Term Resilience で AI ポリシーの責任者を務める Jess Whittlestone 氏は述べています。

「これらの AI 機能は非常に急速に変化しており、一般的に、これらの機能が社会として適応するよりも速く進歩することを懸念しています」とホイットルストーン氏は語った。 ザ・バージ. OpenAI が GPT-4 についてこれ以上詳細を公開しない理由は良いが、AI の世界における権力の集中化についての懸念もあると彼女は述べた。

「これらの決定を行うのは、個々の企業の責任であってはなりません」とホイットルストーン氏は述べています。 「理想的には、ここでの実践とは何かを体系化し、特定のモデルに関連するリスクを精査し、それらを世界に公開することが理にかなっているのかどうかを精査する上で、独立した第三者がより大きな役割を果たす必要があります。」