ディープフェイクが拡散した後、AI 画像ジェネレーター Midjourney は「悪用」を理由に無料トライアルを停止

AI 画像ジェネレーター Midjourney は、何世代にもわたってサービスの無料トライアルを停止しました。 ドナルド・トランプが逮捕された画像 スタイリッシュなジャケットを着た法王 — オンラインで口コミで広まり、多くの人が偽物を本物の写真と間違えました。 Midjourney の CEO 兼創設者である David Holz 氏は、火曜日に変更を発表しました。 引用 「異常な要求と裁判上の虐待」（経由で発見 ワシントン・ポスト）。

以前は、Midjourney は Discord 経由で誰でもサインアップしてソフトウェアを使用できるようにしており、月額 10 ドルからのサブスクリプションを請求する前に、25 の無料画像世代を提供していました。 専門家は何年も前から、AI が誤った情報を生成する可能性について警告してきましたが、偽物は簡単に見破られるため、これは以前は大きな問題ではありませんでした。 ホルツが言ったように ザ・バージ 昨年8月、「あなたは本当に強制することはできません [Midjourney] 今すぐディープフェイクを作るために。」

しかし、AI において 6 か月は長い時間であり、3 月 15 日、Midjourney はそのソフトウェアの新しいバージョンをリリースしました (バージョン 5) により、人物を描写する画像の品質が大幅に向上しました。 たとえば、手の形の崩れは、以前は AI によって生成された画像の特徴でしたが、現在ではそれほど難しくありません。 照明と生地もよりリアルになり、このシステムは無数の有名人や著名人の画像を生成することができます。

これらの改善により、ここ数週間で多くのミッドジャーニーの画像が口コミで広まりました。 それらには、トランプの逮捕とファッショナブルに見える法王の偽の写真だけでなく、フランスのエマニュエル・マクロン大統領がパリで進行中の抗議行動を歩いていることや、イーロン・マスクがアレクサンドリア・オカシオ・コルテスと手をつないでいることも含まれています.

偽画像による政治的にデリケートなエスカレートする脅威に対する Midjourney の対応は、これまでのところ断片的であり、モデレーション ポリシーの大幅な見直しは行われていません。 Midjourney のコンテンツ制限は、一部の競合サービス (OpenAI の DALL-E など) よりも寛容ですが、他のサービス (Stable Diffusion など) よりも制限的です。

Midjourney は、「さまざまな国のユーザーからの苦情に基づいて、さまざまな国のトピックに関連する」禁止単語のリストを維持しています。 ホルツからのメッセージによると 昨年10月。 しかし、「ドラマ」を最小限に抑えるために、このリストの完全なバージョンを共有していません。 ホルツが昨年言ったように、「ほとんど誰も気づいていません。 [the ban list] 彼らが特に私たちのルールに反するドラマを作成しようとしている場合を除きます [terms of service] 「ドラマを作るために私たちのツールを使わないでください。」

しかし、偽物が拡散したため、同社はこのリストを拡大し、最近では「逮捕された」という用語を禁止しています。 これは、調査ジャーナリストのエリオット・ヒギンズによって作成された、逮捕されたトランプを描いたミッドジャーニーの画像の人気のある Twitter スレッドに対応しているようです。 ヒギンズは、彼がその後だったと言います Midjourneyの使用禁止.

ただし、このような制限は簡単に回避できます。 たとえば、 ザ・バージのテストでは、「ドナルド トランプが逮捕されている」というプロンプトで画像を生成できませんでしたが、「警察に囲まれた手錠をかけられたドナルド トランプ」というプロンプトで同じ出力を作成できました。 （ストーリーの冒頭の画像に示されているように。）

これを書いている時点では、Midjourney は無料ユーザーが画像を生成することをまだ許可していませんが、これは将来変更される可能性があります。 火曜日、Holz 氏は、「GPU 不足」のためにサービスが遅かったと述べました。 (AI による画像生成は計算負荷の高い作業であり、Midjourney はユーザーと共有する前にクラウドで画像を生成します。) しかし昨日、彼はソフトウェアの悪用が無料試用を中止する主な理由であると示唆しました。

「虐待に対する新しい安全性を備えたトライアルを再びオンにしようとしましたが、十分ではないようでした。他のすべての人へのサービスを維持するために、再びオフにしています。」 ホルツは言った. Holz 氏にコメントを求めており、返答があればこの記事を更新します。