しかし、私にとって本当に注目に値するのは、Meta がその扉をどれだけ開いているかということです。 これにより、より広範な AI コミュニティがモデルをダウンロードして微調整できるようになります。 これにより、より安全で効率的な作業が可能になる可能性があります。 そして決定的に、 AI モデルの内部動作に関しては、秘密性よりも透明性の方が有利であることを実証できる可能性があります。 これはこれ以上にタイムリーで、これ以上に重要なことはありません。
テクノロジー企業は AI モデルの世に出ようと急いでおり、生成 AI がますます多くの製品に組み込まれているのを目にします。 しかし、OpenAI の GPT-4 などの最も強力なモデルは、作成者によって厳重に保護されています。 開発者や研究者は、Web サイトを通じてそのようなモデルに限定的にアクセスするためにお金を払っていますが、内部の仕組みの詳細は知りません。
新しい記事で強調されているように、この不透明さは将来的に問題を引き起こす可能性があります。 査読されていない論文 それは先週ちょっとした話題を引き起こしました。 スタンフォード大学とカリフォルニア大学バークレー校の研究者らは、GPT-3.5 と GPT-4 は、数学の問題を解くこと、デリケートな質問に答えること、コードを生成すること、視覚的な推論を行うことにおいて、数か月前よりもパフォーマンスが低下していることを発見しました。
これらのモデルには透明性が欠如しているため、その理由を正確に言うのは難しいが、いずれにせよ、この結果は割り引いて受け止めるべきだとプリンストン大学コンピューターサイエンス教授のアルビンド・ナラヤナン氏は言う。 書きます 彼の評価では。 これらは、OpenAI がモデルを悪化させたという証拠よりも、「著者の評価の癖」によって引き起こされている可能性が高くなります。 同氏は、OpenAI がモデルのパフォーマンスを向上させるために微調整していることを研究者らが考慮に入れていなかったため、一部のプロンプト手法が以前のように機能しなくなる原因を意図せず引き起こしたと考えている。
これにはいくつかの重大な意味があります。 OpenAIのモデルの特定の反復で動作するように製品を構築し、最適化した企業は、「100％」突然故障して壊れる可能性がある、とスタートアップHugging FaceのAI研究者Sasha Luccioni氏は言う。 OpenAI がこの方法でモデルを微調整すると、たとえば、非常に特殊なプロンプトを使用して構築された製品が以前のように動作しなくなる可能性があります。 クローズドモデルには説明責任が欠けている、と彼女は付け加えた。 「製品を持っていて、その製品に何か変更を加えた場合は、顧客にそれを伝える必要があります。」
LLaMA 2 のようなオープン モデルでは、少なくとも企業がモデルをどのように設計したか、どのようなトレーニング手法を使用したかが明確になります。 OpenAIとは異なり、MetaはLLaMA 2のトレーニング方法、使用されたハードウェア、データの注釈付け方法、被害を軽減するために使用された技術などの詳細を含む、LLaMA 2のレシピ全体を共有している。 研究を行ったり、モデルに基づいて製品を構築したりする人々は、自分たちが何に取り組んでいるのかを正確に知っている、とルッチョーニ氏は言います。
「モデルにアクセスできたら、あらゆる種類の実験を行って、パフォーマンスが向上するか、バイアスが少なくなるかなど、求めているものを確認することができます」と彼女は言います。
AI をめぐる公開か非公開かという議論は、最終的には誰が決定権を握るかということになります。 オープン モデルでは、ユーザーはより多くの権限と制御を得ることができます。 クローズドモデルでは、作成者のなすがままになります。
Meta のような大企業がこのようなオープンで透明性の高い AI モデルをリリースすることは、生成型 AI のゴールド ラッシュにおける潜在的な転換点のように感じられます。