Meta の強力な AI 言語モデルがオンラインでリークされました — 今どうなっているのでしょうか?

2 週間前、Meta は最新の AI 言語モデルである LLaMA を発表しました。 OpenAI のように一般公開はされていませんが、 チャットGPT または Microsoft の Bing、LLaMA は、コンピューターとやり取りする新しい方法と新しい危険性を約束する AI 言語技術の急増に対する Meta の貢献です。

Meta は LLaMA をパブリック チャットボットとしてリリースしませんでした (ただし、Facebook の所有者は は それらもビルドします) が、AI コミュニティの誰もがアクセスを要求できるオープンソース パッケージとして提供されます。 同社によると、その意図は、AI への「アクセスをさらに民主化する」ことで、問題の研究を促進することです。 これらのシステムのバグが少ない場合、メタは利益を得るため、喜んでモデルを作成し、他の人がトラブルシューティングできるように配布するためにお金を費やします.

「大規模な言語モデルの最近の進歩にもかかわらず、そのような大規模なモデルをトレーニングして実行するために必要なリソースのために、それらへの完全な研究アクセスは依然として制限されています」と同社は述べています。 ブログ投稿. 「この制限されたアクセスは、これらの大規模な言語モデルがどのように、なぜ機能するのかを理解する研究者の能力を制限し、堅牢性を向上させ、バイアス、毒性、誤報を生成する可能性などの既知の問題を軽減する取り組みの進歩を妨げています。」

しかし、Meta が LLaMA へのアクセス要求を処理し始めてからわずか 1 週間後に、モデルがオンラインで流出しました。 3 月 3 日、システムのダウンロード可能な torrent が 4chan に投稿され、それ以来、さまざまな AI コミュニティに広がり、急速な技術変化の時代に最先端の研究を共有する適切な方法についての議論が巻き起こっています。

リークが厄介な結果をもたらすだろうと言う人もいれば、Meta が技術を自由に配布しすぎていると非難する人もいます。 「パーソナライズされた大量のスパムやフィッシングの試みに備えましょう。」 つぶやいた ニュースが報じられた後のサイバーセキュリティ研究者ジェフリー・ラディッシュ。 「これらのモデルをオープンソース化するのはひどいアイデアでした。」

他の人々はより楽観的で、AI システムのセーフガードを開発するにはオープンアクセスが必要であり、同様に複雑な言語モデルが重大な害を引き起こすことなくすでに公開されていると主張しています。

「私たちはしばらく前から、悪意のある使用の波が続いていると言われてきました。 [of AI language models] 来ている」と、研究者のSayash KapoorとArvin Narayananは次のように書いています。 ブログ投稿. 「しかし、文書化されたケースはないようです。」 （学生のカプールとナラヤナンの割引レポート ChatGPT を使用した不正行為 これらのアプリケーションは害を及ぼすことを意図しておらず、定義上、悪意のあるものではないためです。)

ザ・バージ リークされたシステムをダウンロードした多くの AI 研究者に話を聞いたところ、それは正当であると述べています。その中には、リークされたバージョンを Meta によって配布された公式の LLaMA モデルと比較し、それらが一致することを確認した Matthew Di Ferrante も含まれます。 メタは質問への回答を拒否しました ザ・バージ Meta AI のマネージング ディレクターである Joelle Pineau 氏は次のように述べています。 確認済み 報道声明の中で、「 [LLaMA] モデルはすべての人が利用できるわけではありません…承認プロセスを回避しようとした人もいます。」

では、LLaMA が野放しにされていると、どの程度の危険性があるのでしょうか? また、Meta のモデルは、ChatGPT や新しい Bing などの一般にアクセス可能なチャットボットとどのように比較されますか?

最も重要な点は、平均的なインターネット ユーザーにとって LLaMA のダウンロードはほとんど役に立たないということです。 これは、すぐに話せるチャットボットではなく、立ち上げて実行するにはかなりの量の技術的専門知識を必要とする「生の」AI システムです。 (ちょっと余談: LLaMA も 独身 システムだけど 四 さまざまなサイズと計算要求のモデル。 これについては後で詳しく説明します。)

ディ・フェランテは語る ザ・バージ 「複雑なプロジェクトのサーバーと開発環境のセットアップに精通している人なら誰でも」、「十分な時間と適切な指示が与えられれば」LLaMA を運用できるはずです。 (ただし、Di Ferrante は経験豊富な機械学習エンジニアでもあり、「4 つの 24 GB GPU を備えた機械学習ワークステーション」にアクセスできるため、一般の人々を代表するものではないことに注意してください。)

ハードウェアと知識の障壁に加えて、LLaMA は ChatGPT や Bing のような会話に「微調整」されていません。 微調整は、言語モデルの多目的テキスト生成機能をより具体的なタスクに集中させるプロセスです。 このタスクは非常に広範囲にわたる場合があります。たとえば、システムに「ユーザーのクエリにできるだけ正確かつ明確に答える」よう指示するなどです。

これらの制限を考えると、LLaMA を家具のない集合住宅と考えるとわかりやすいかもしれません。 多くの重労働が行われました — フレームが構築され、電源と配管が設置されました — しかし、ドア、床、または家具はありません. 引っ越して家と呼ぶことはできません。

非営利の AI 研究所 EleutherAI の所長で、Booz Allen Hamilton の機械学習研究者である Stella Biderman 氏は、モデルの計算上の要求が、その効果的な使用における「最大の制約」になると述べています。 「ほとんどの人は、実行に必要なハードウェアを所有していません。 [the largest version of LLaMA] 効率的には言うまでもなく、まったく」とビダーマン氏は語った。 ザ・バージ.

これらの警告はさておき、LLaMA は依然として非常に強力なツールです。 モデルには 4 つのサイズがあり、数十億のパラメーター (各システム内の接続数に大まかに変換されるメトリック) で測定されます。 LLaMA-7B、13B、30B、65B があります。 Meta によると、単一の A100 GPU で実行できる 130 億バージョンは、比較的アクセスしやすく、クラウド プラットフォームでレンタルするのに 1 時間あたり数ドルかかるエンタープライズ グレードのシステムであり、OpenAI の 1750 億パラメーターの GPT-3 モデルよりも優れているとのことです。 AI 言語モデルの多数のベンチマークで。

もちろん、これらの比較の妥当性については多くの議論があります。 AI ベンチマークは実際の使用に反映されないことで有名であり、一部の LLaMA ユーザーはシステムから適切な出力を得るのに苦労しました (他のユーザーは、これは単なるスキルの問題であると示唆しています)。 しかし、まとめると、これらのメトリックは、微調整された場合、LLaMA が ChatGPT と同様の機能を提供することを示唆しています。 そして、多くのオブザーバーは、LLaMA のコンパクトな性質が開発の促進に大きな影響を与えると考えています。

「このモデルのリリースは大きなマイルストーンになる可能性が非常に高いと思います」と、リークされたモデルの配布を支援した独立系 AI 研究者のショーン プレッサーは語っています。 ザ・バージ. Presser 氏は次のように述べています。単一の A100 GPU で LLaMA を実行できることは、「私たちのほとんどがアクセスできるか、少しだけ使用させてくれる人を知っているかのどちらかです」とは、「大きな飛躍」です。

LLaMA のリークは、より広い AI の世界で進行中のイデオロギー闘争、つまり「クローズド」システムと「オープン」システムの間の戦いに関与しているため、興味深いものです。

この議論を定義するには少し単純化しすぎる必要があり、すべての企業、研究者、およびモデルは、これら 2 つの極の間のスペクトルのどこかに存在します。 しかし基本的には、AI の研究やモデルへのアクセスを拡大することを主張するオープナーと、この情報とテクノロジーをより慎重に提供する必要があると考えるクローザーがいます。

これらの陣営の動機は一致していますが (どちらも世界で悪い AI を減らし、良い AI を増やしたいと考えています)、アプローチは異なります。 オープナーは、AIシステムを広くテストすることによってのみ、脆弱性を発見し、セーフガードを開発することができ、この技術をオープンソース化しないと、思いやりのない企業の手に力が集中するだろうと主張しています. 関係者は、このような自由参加は危険であり、AI がますます高度になるにつれて、公の場でのテストの危険性がますます高くなると答えています。 このような脅威を適切に精査して軽減できるのは、閉鎖的な機関だけです。

もっとオープンにしたい人にとって、LLaMA リークはありがたいものです。 Di Ferrante 氏は、一般的に、オープンソース システムを持つことは「OpenAI などの独占的な状況に陥るのを防いでくれるので、最終的には良いことだと考えている」と述べています。 複雑なサービスを提供できる唯一のエンティティです [AI models]」 Presser 氏も同意見であり、LLaMA の「生の」状態はこの点で特に魅力的であると述べています。 これは、独立した研究者が各自の目的に合わせて Meta のシステムを微調整できることを意味します。 空のフレームをショップ、オフィス、または好きなものとしてキット化します。

Presser は、LLaMA の将来のバージョンがコンピュータ上でホストされ、電子メールでトレーニングされる可能性があると考えています。 仕事のスケジュール、過去のアイデア、やることリストなどに関する質問に答えることができます。 これはスタートアップやテクノロジー企業が開発している機能ですが、多くの AI 研究者にとって、ローカル コントロールのアイデアははるかに魅力的です。 (一般的なユーザーにとって、使いやすさとコストとプライバシーのトレードオフは、物事を逆に左右する可能性があります。)

AI普及のオープンモデルまたはクローズドモデルの強さに関係なく、Bidermanは、Metaのような企業と彼らが研究を共有している学者との間の信頼を低下させるという点で、リークはおそらく有害であると指摘しています. 「法的および倫理的義務に沿った方法でテクノロジーを広めようとする人々の誠実な試みを尊重しなければ、一般の人々と研究者の間に敵対関係が生まれ、人々が物事を公開するのが難しくなるだけです。 」と彼女は指摘します。

ただし、このようなイベントは以前にも見たことがあります。 DALL-E 2 (企業の皮肉を込めてクローズド API としてリリース) でテキストから画像へのシステムを最初にメインストリームに押し上げたのは OpenAI でしたが、OpenAI である Stable Diffusion の立ち上げにより、同社は足を踏み外しました。ソースの代替。 Stable Diffusion の登場により、AI アート スペースに数え切れないほどのアプリケーションと改善がもたらされ、以前の用語を使用することで、より優れたものにつながりました。 と さらに悪いことが起こる。 Meta の LLaMA がリリースされると、AI テキスト生成で同様のダイナミックな展開が再び見られる可能性があります。