フードの下
LLaMA 2の発売準備には、前モデルよりも安全性を高め、有害な虚偽を吐き出す可能性を低くするために、多くの調整が必要だったとアルダール氏は言う。
メタには学ぶべき過去の失言がたくさんある。 科学用の言語モデルであるギャラクティカはわずか 3 日でオフラインになり、研究目的のみを目的とした以前の LlaMA モデルはオンラインに流出し、批判を引き起こしました。 政治家 メタ社は、偽情報や嫌がらせなど、AI言語モデルに関連するリスクを適切に考慮しているかどうかを疑問視した。
こうした間違いを繰り返すリスクを軽減するために、Meta は有用性と安全性の向上を目的としたさまざまな機械学習技術を組み合わせて適用しました。
AI スタートアップ Hugging Face の研究者である Sasha Luccioni 氏によると、LLaMA 2 のトレーニングに対する Meta のアプローチには、生成 AI モデルの通常よりも多くのステップが含まれていました。
このモデルは、以前のモデルよりも 40% 多いデータでトレーニングされました。 アルダール氏によると、トレーニング データには 2 つのソースがあり、オンラインで収集されたデータと、より望ましい方法で動作するようにヒューマン アノテーターからのフィードバックに従って微調整および微調整されたデータ セットです。 同社は、LLaMA 2ではメタユーザーデータを使用しておらず、多くの個人情報が含まれていることがわかっていたサイトからのデータを除外したと述べた。
それにもかかわらず、LLaMA 2 は、ライバル モデルと同様に、依然として攻撃的で有害な、その他の問題のある言葉を吐き出します。 Metaは、有害なデータをデータセットから削除しなかったと述べている。その理由は、有害なデータを残しておくと、LLaMA 2がヘイトスピーチをより適切に検出できる可能性があり、削除すると、一部の人口統計グループが誤って除外される危険性があるためである。
それにもかかわらず、Meta のオープン性への取り組みはエキサイティングだとルッチョーニ氏は言います。なぜなら、それによって、彼女のような研究者が AI モデルのバイアス、倫理、効率性を適切に研究できるからです。
LLaMA 2がオープンソースモデルであるという事実により、外部の研究者や開発者がセキュリティ上の欠陥を調査することも可能になり、プロプライエタリなモデルよりも安全になるとアルダール氏は言う。
リャン氏も同意する。 「いろいろなことを試してみるのがとても楽しみです。それはコミュニティにとって有益だと思います」と彼は言います。