驚異的な能力 スタートアップ OpenAI のチャットボットである ChatGPT は、人工知能への新たな関心と投資の急増を引き起こしました。 しかし先週後半、OpenAI の CEO は、ボットを生み出した研究戦略が実行されたと警告した。 将来の進歩がどこから来るのか正確には不明です。
OpenAI は、既存の機械学習アルゴリズムを利用して、以前には想像もできなかったサイズにスケールアップすることにより、近年、言語と連携する一連の印象的な進歩を AI にもたらしました。 これらのプロジェクトの最新版である GPT-4 は、数兆語のテキストと何千もの強力なコンピューター チップを使用してトレーニングされた可能性があります。 このプロセスには 1 億ドル以上の費用がかかりました。
しかし、同社の CEO である Sam Altman は、モデルを大きくしても、さらなる進歩は得られないと述べています。 「巨大で巨大なモデルが登場する時代は終わりに近づいていると思います」と彼は先週MITで開催されたイベントで聴衆に語った。 「私たちは他の方法で彼らをより良くします。」
アルトマンの宣言は、新しい AI アルゴリズムの開発と展開の競争に予想外のひねりが加えられていることを示唆しています。 OpenAI が 11 月に ChatGPT を開始して以来、Microsoft は基盤となる技術を使用して Bing 検索エンジンにチャットボットを追加し、Google は Bard と呼ばれるライバルのチャットボットを開始しました。 仕事や個人的なタスクを支援するために、多くの人々が新しい種類のチャットボットを使用して実験することを急いでいます.
一方、資金の潤沢なスタートアップは数多くあります。 アンソロピック、 AI21、 密着、 と キャラクター.AI、OpenAIの技術に追いつくために、これまで以上に大きなアルゴリズムを構築するために膨大なリソースを投入しています. ChatGPT の最初のバージョンは、GPT-3 のわずかにアップグレードされたバージョンに基づいていましたが、ユーザーは現在、より機能的な GPT-4 を搭載したバージョンにもアクセスできます。
アルトマンの声明は、GPT-4 が、モデルをより大きくし、より多くのデータを供給するという OpenAI の戦略から出現する最後の主要な進歩になる可能性があることを示唆しています。 彼は、どのような種類の研究戦略や技術がそれに取って代わる可能性があるかについては言いませんでした. の中に GPT-4を説明する論文、OpenAIは、その見積もりは、モデルサイズのスケールアップに対する利益の減少を示唆していると述べています。 アルトマン氏は、同社が構築できるデータセンターの数と構築速度には物理的な限界もあると述べた。
以前は Google で AI に取り組んでいた Cohere の共同設立者である Nick Frosst は、Altman の考えている、大規模化は無限にうまくいくわけではないと述べています。 彼もまた、GPT-4 とそのライバルの中心にある機械学習モデルの一種であるトランスフォーマーの進歩は、スケーリングの先にあると考えています。 「トランスフォーマーをより良く、より便利にする方法はたくさんありますが、その多くはモデルにパラメーターを追加する必要はありません」と彼は言います。 フロスト氏は、新しい AI モデルの設計またはアーキテクチャ、および人間のフィードバックに基づくさらなる調整は、多くの研究者がすでに模索している有望な方向性であると述べています。
OpenAI の影響力のある言語アルゴリズム ファミリの各バージョンは、人工ニューラル ネットワークで構成されています。このソフトウェアは、ニューロンが連携する方法に大まかに着想を得ており、特定のテキスト文字列に続く単語を予測するようにトレーニングされています。