より広範なオープンソース コミュニティと同様に、ピノー氏と同僚は透明性が標準であるべきだと信じています。 「私が研究者に勧めていることの 1 つは、オープンソースにしたいと考えてプロジェクトを開始することです」と彼女は言います。 「なぜなら、それを行うと、どのようなデータを使用し、どのようにモデルを構築するかという点で、より高い基準が設定されるからです。」
しかし、重大なリスクもあります。 大規模な言語モデルは、誤った情報、偏見、ヘイトスピーチを吐き出します。 これらは、プロパガンダの大量生産やマルウェア工場の稼働に使用される可能性があります。 「透明性と安全性の間でトレードオフを図る必要があります」とピノー氏は言います。
メタ AI の場合、そのトレードオフにより、一部のモデルがまったくリリースされない可能性があります。 たとえば、ピノー氏のチームが Facebook のユーザー データに基づいてモデルをトレーニングした場合、個人情報が漏洩するリスクが大きすぎるため、モデルは社内に保管されることになります。 それ以外の場合、チームは、研究目的でのみ使用する必要があることを指定するクリックスルー ライセンスを使用してモデルをリリースする可能性があります。
これがLLaMAで採用されたアプローチです。 しかし、リリースから数日以内に、誰かが完全なモデルとそれを実行するための手順をインターネット フォーラム 4chan に投稿しました。 「この特定のモデルにとっては、これが正しいトレードオフだったと今でも思っています」とピノー氏は言います。 「しかし、人々がこれを行うことに私は失望しています。なぜなら、リリースを行うことがより困難になるからです。」
「私たちは常に、マークに至るまで会社のリーダーから強力なサポートを受けてきました。 [Zuckerberg] しかし、それは簡単ではありません」と彼女は言います。
メタ AI のリスクは高いです。 「非常に小さなスタートアップの場合は、非常に大企業である場合よりも、突飛なことを行った場合の潜在的な責任ははるかに低くなります」と彼女は言います。 「現在、私たちはこれらのモデルを何千人もの個人に公開していますが、問題がさらに大きくなったり、安全性のリスクがより大きいと感じた場合は、サークルを閉鎖し、非常に強力な資格を持つ既知の学術パートナーにのみ公開します。機密保持契約や NDA に基づいて、たとえ研究目的であっても、そのモデルを使って何かを構築することは禁止されています。」
そうなれば、オープンソース エコシステムの多くの愛好家は、メタ AI が次に出すものは何であれ、その上に構築するライセンスが取り消されたことに気づくかもしれません。 LLaMA がなければ、Alpaca、Open Assistant、Hugging Chat などのオープンソース モデルはそれほど優れたものではなかったでしょう。 そして、次世代のオープンソース イノベーターは、現在のグループが持つような優位性を獲得することはできません。