ChatGPT のような最先端の AI システムを開発するには、膨大な技術リソースが必要です。その理由の 1 つは、開発と実行にコストがかかるためです。 Alphabet の DeepMind や OpenAI などの商用ラボによって作成された独自のクローズド ソース システムをリバース エンジニアリングしようとするオープンソースの取り組みがいくつかありますが、主に資本とドメインの専門知識の不足が原因で、しばしば障害に遭遇します。
この運命を回避することを願って、あるコミュニティ研究グループは、 EleutherAI、 は 形にする 非営利財団。 この組織は本日、AI スタートアップの Hugging Face と Stability AI、元 GitHub CEO の Nat Friedman、Lambda Labs、Canva などの支援者からの寄付と助成金によって資金提供された、非営利の研究機関である EleutherAI Institute を設立すると発表しました。
ブーズ・アレン・ハミルトンの AI 研究者で、EleutherAI Institute を共同運営する Stella Biderman 氏は、次のように述べています。とTechCrunchにメールインタビューで語った。 「特に非営利団体という点では、私たちが研究とオープンソース空間に重点を置いていることを考えると、それは簡単なことだと思います。」
EleutherAI は、オープン ソース AI 研究に取り組む開発者の草の根コレクションとして数年前に始まりました。 その創設メンバーである Connor Leahy、Leo Gao、Sid Black は、コードを書き、OpenAI のテキスト生成 GPT-3 に近い機械学習モデルを作成するために必要なデータを収集しました。GPT-3 は、当時多くの報道を受けていました。
The Pile は、GPT-3 のようなモデルをトレーニングしてテキストを完成させたり、コードを書いたりするために使用するように設計されたデータセットのコレクションです。 また、Apache 2.0 ライセンスの下で、GPT-J や GPT-NeoX などの言語モデルを含むいくつかのモデルをリリースしました。 しばらくの間、まったく新しいスタートアップの波に火をつけた.
モデルをトレーニングするために、EleutherAI は主に TPU Research Cloud に依存していました。TPU Research Cloud は、結果が公開されることを期待してプロジェクトをサポートする Google Cloud プログラムです。 AI ワークロード向けのクラウド サービスを提供する米国を拠点とする暗号通貨マイナーである CoreWeave も、顧客が使用および提供できるモデルと引き換えに、コンピューティング リソースを EleutherAI に提供しました。
EleutherAI は急速に成長しました。 現在、コミュニティの定期的な貢献者のうち 20 人以上がフルタイムで働いており、主に研究に専念しています。 過去 18 か月間、EleutherAI のメンバーは 28 の学術論文を共著し、数十のモデルをトレーニングし、10 のコードベースをリリースしました。
しかし、クラウド プロバイダーの気まぐれな性質により、EleutherAI は計画を断念せざるを得ないことがありました。 当初、グループはパラメータ数の点で GPT-3 とほぼ同じサイズのモデルをリリースすることを意図していましたが、技術的および資金上の理由でそのロードマップを棚上げすることになりました。 (AI では、パラメーターは過去のトレーニング データから学習したモデルの一部であり、テキストの生成など、問題に対するモデルのスキルを本質的に定義します。)
2022 年後半、EleutherAI は、画像生成 AI システム Stable Diffusion の背後にある現在十分な資金を得ているスタートアップである Stability AI に精通するようになりました。 他の協力者とともに、Stable Diffusion の初期バージョンの作成を支援しました。 それ以来、Stability AI は AWS クラスターから計算の一部を EleutherAI の進行中の言語モデル研究に寄付しています。
別の大きな後援者である Hugging Face が EleutherAI にアプローチし、非営利団体の話し合いが始まった後、Biderman は言います。 (EleutherAI の多くのスタッフは、GPT-3 に似たモデルを 1 年かけてトレーニングし、オープンソース化しようとする同社の BigScience の取り組みに関与していました。)
「EleutherAI は、過去に ChatGPT とアーキテクチャ的に類似した大規模な言語モデルに重点を置いてきましたが、今後もそうなるでしょう」と Biderman 氏は述べています。 「大規模な言語モデルをトレーニングするだけでなく、倫理、解釈可能性、調整作業により多くのリソースを投入できることを嬉しく思います。」
Stability AI や Hugging Face などの商業目的のベンチャー企業 (どちらも多額のベンチャー キャピタルに支えられている) の関与が、EleutherAI の研究に影響を与えるのではないかと疑問に思う人もいるかもしれません。 それは当然の仮定であり、証拠に裏打ちされています. 少なくとも一つの 勉強 は、寄付と、提案された政府の規則について非営利団体が発言する可能性との間に直接的な相関関係があることを示しています。
Biderman 氏は、EleutherAI Foundation は独立したままであり続けると主張し、今のところドナー プールに問題はないと述べています。
「営利団体の要請でモデルを開発することはありません」と Biderman 氏は述べています。 「どちらかといえば、多様なスポンサーシップを持つことで、私たちの独立性が向上すると思います。 1 つのテクノロジー企業から完全に資金提供された場合、それは私たちにとってより大きな潜在的な問題のように思えます。」
EleutherAI Foundation が克服しなければならないもう 1 つの課題は、財源が枯渇しないようにすることです。 OpenAI は教訓的な話です。 同社は 2015 年に非営利団体として設立された後、進行中の研究に資金を提供するために、後に「上限付き利益」構造に移行しました。
大まかに言えば、AI 研究に資金を提供する非営利のイニシアチブはまちまちです。
サクセス ストーリーの中には、AI と機械学習における科学的ブレークスルーを達成することを目的として、Microsoft の共同創設者である故 Paul Allen によって設立された Allen Institute for AI (AI2) があります。 また、データ サイエンスと機械学習のための、英国を拠点とする政府出資の国立研究所である Alan Turing Institute もあります。 小規模ながら有望な取り組みとしては、AI スタートアップの Cohere の Cohere For AI (企業との関係にもかかわらず) や、Timnit Gebru の Distributed AI Research (世界的な分散研究組織) などがあります。
しかし、すべての AI2 には、元 Google 会長の Eric Schmidt の AI 研究のための基金があります。 1 億 2,500 万ドルを超える規模で、Politico の後、新たな論争を巻き起こしました。 報告 シュミットはホワイトハウスの科学技術政策局に対して異常に大きな影響力を持っている.
EleutherAI Foundation が最終的にどの方向に進むかは、時が経てばわかります。 おそらく、ミッションは時間の経過とともに進化し、変化するでしょう — ポジティブな意味で、私たちは期待するしかありません.