Midjourney の創設者である David Holz 氏は、会社が「AI 側で物事を改善する」間、人々が衝撃的または残忍なコンテンツを生成するのを防ぐための一時的な手段として、これらの言葉を禁止していると述べています。 ホルツ氏によると、モデレーターは言葉がどのように使われているか、どのような画像が生成されているかを監視し、定期的に禁止を調整しています。 会社には コミュニティ ガイドライン ページ これには、性的な画像、マチ、お尻の記号としてよく使用される🍑絵文字など、この方法でブロックするコンテンツの種類がリストされています。
Midjourney、DALL-E 2、Stable Diffusion などの AI モデルは、インターネットから収集された何十億もの画像でトレーニングされています。 リサーチ ワシントン大学のチームによると、そのようなモデルは女性を性的に客観化するバイアスを学習し、それが生成するイメージに反映されることがわかりました。 データ セットのサイズが膨大なため、性的または暴力的な性質の画像や、偏った結果をもたらす可能性のある画像など、不要な画像を削除することはほとんど不可能です。 データセットに出現する頻度が高いほど、AI モデルが作るつながりが強くなります。つまり、モデルが生成する画像に出現する可能性が高くなります。
Midjourney の単語禁止は、この問題に対処するための断片的な試みです。 「精子」や「睾丸」など、男性の生殖器系に関連するいくつかの用語もブロックされていますが、禁止された単語のリストは主に女性に偏っているようです.
迅速な禁止は、Datafy Clinical の臨床データ アナリストである Julia Rockwell と、ノースカロライナ大学チャペルヒル校の細胞生物学者である友人の Madeline Keenen によって最初に発見されました。 Rockwell は Midjourney を使用して、胎盤を研究している Keenen のために胎盤の楽しいイメージを作成しようとしました。 驚いたことに、Rockwell さんは、プロンプトとして「胎盤」を使用することが禁止されていることを発見しました。 その後、彼女は人間の生殖器系に関連する他の言葉を試し始め、同じものを見つけました。
ただし、このペアは、これらの禁止を回避して、単語のスペルを変えたり、性的なコンテンツや残虐なコンテンツに他の婉曲表現を使用したりすることで、性的な画像を作成できることも示しました。
彼らが MIT Technology Review と共有した調査結果では、イギリスのスペルを使用した迅速な「婦人科検査」が、いくつかの非常に不気味な画像を生成することを発見しました。自分の胃を上げます。
ジュリア・ロックウェル
Midjourney が生殖生物学に関連するプロンプトを大雑把に禁止したことは、生成 AI システムに関するコンテンツを管理することがいかに難しいかを浮き彫りにしています。 また、AI システムが女性を性的に捉える傾向がどのように内臓にまで及ぶかを示しているとロックウェルは言います。