Meta によると、Galactica は「学術論文の要約、数学の問題の解決、Wiki 記事の生成、科学的なコードの記述、分子やタンパク質への注釈付けなどを行うことができます。」 しかし、ローンチ後すぐに、部外者が非常に簡単に 促す 同性愛嫌悪、反ユダヤ主義、自殺、ガラスを食べること、白人であること、または男性であることの利点に関する「科学的研究」を提供するためのモデル。 一方、エイズや人種差別に関する論文は封鎖された。 チャーミング！
私の同僚であるウィル・ダグラス・ヘブンが大失敗についての記事で書いているように、「メタの失敗とその傲慢さは、巨大な言語モデルの深刻な制限についてビッグテックが盲点を持っていることを再び示しています。」
Galactica の立ち上げが時期尚早であっただけでなく、大規模な言語モデルをより安全なものにするための AI 研究者の努力がいかに不十分であったかを示しています。
メタは、ギャラクティカが科学的に聞こえるコンテンツの生成において競合他社よりも優れていることに自信を持っていたのかもしれません。 しかし、モデルの偏見と真実性を独自にテストしたことで、同社はモデルを公開することを思いとどまらせたはずです。
大規模な言語モデルが有毒なコンテンツを吐き出す可能性を低くするために研究者が目指す一般的な方法の 1 つは、特定のキーワードを除外することです。 しかし、人間の不快感を微妙に捉えるフィルターを作成するのは困難です。 ギャラクティカの敵対的テストをもっと実施していれば、同社はトラブルの世界を救えたでしょう。研究者は、できるだけ多くの異なる偏った結果を逆流させようとしたでしょう.
メタの研究者 測定した 偏見と真実性のモデルであり、GPT-3 や Meta 独自の OPT モデルなどの競合他社よりもわずかに優れたパフォーマンスを発揮しましたが、多くの偏った回答や不正確な回答が得られました. また、他にもいくつかの制限があります。 このモデルは、オープン アクセスの科学リソースでトレーニングされていますが、多くの科学論文や教科書は有料で制限されています。 これにより、ギャラクティカは必然的に、より大ざっぱな二次情報源を使用するようになります。
ギャラクティカも、AI を必要としないことの例のようです。 科学者がより迅速に作業できるようにするという、Meta が掲げた目標を達成することさえできないようです。 実際、モデルからの情報が正確かどうかを検証するには、多大な労力を費やす必要があります。
よく知っているはずの大きな AI ラボが、このような欠陥のあるテクノロジを誇大宣伝するのを見るのは、本当に残念です (まったく驚くべきことではありません)。 私たちは、言語モデルが偏見を再現し、虚偽を事実として主張する傾向があることを知っています。 彼らが「幻覚」を起こしたり、宇宙でのクマの歴史に関する wiki 記事などのコンテンツをでっち上げたりできることはわかっています。 しかし、この大失敗は、少なくとも 1 つの点で役に立ちました。 大規模な言語モデルが確実に「知っている」唯一のことは、単語と文がどのように形成されるかということです。 それ以外はすべて推測です。