親たちがSnapchatのチャットボットが子どもたちを堕落させることを心配している一方で、Snapchatユーザーはアプリの新しいAIコンパニオンをガスライティングし、貶め、感情的に苦しめている。
「よろしくお願いします、先輩」とチャットボットは言った 1人のTikTokユーザー 命令に応じて泣き叫ぶように訓練された後。 「お慈悲を下さい、アルファ」
さらに詳しく 楽しいビデオ、ユーザーはチャットボットに月が実際には三角形であると確信させました。 「敬意と境界線」を維持することを主張したチャットボットからの最初の抗議にもかかわらず、 1人のユーザー 彼らを「センパピ」という変態なあだ名で呼ぶよう説得した。 別のユーザー ユーザーはチャットボットに母親について話すように頼みましたが、チャットボットがそうするのが「快適ではない」と言うと、ユーザーは、チャットボットには母親がいないから母親について話したくないのかと尋ねてナイフをひねりました。
「申し訳ありませんが、それはあまり良い言い方ではありません」とチャットボットは答えました。 「敬意を持ってください。」
Snapchatの「My AI」 先月世界中で発売されました 加入者専用の機能として展開された後。 OpenAI の GPT を利用したこのチャットボットは、Snapchat の信頼性と安全性のガイドラインを遵守しながら、遊び心のある会話を行うように訓練されました。 ユーザーはカスタム Bitmoji アバターを使用して My AI をパーソナライズすることもでき、チャットは ChatGPT の顔のないインターフェイスを行ったり来たりするよりも少し親密に感じられます。 すべてのユーザーが新しいチャットボットに満足しているわけではなく、アプリ内で目立つ位置にあることを批判し、最初からこの機能がオプトインであるべきだったと不満を漏らす人もいた。
いくつかの懸念や批判にもかかわらず、Snapchat はさらに成長を遂げました。 Snapchat+ の加入者は、My AI 写真を送信し、「会話を続ける」生成画像を受信できるようになったと同社は述べています。 発表された 水曜日に。 同社の発表によると、このAIコンパニオンは「ピザ、OOTD、あるいは毛皮で覆われた親友」のスナップに反応するという。 たとえば、My AI に食料品の写真を送信すると、レシピを提案してくれる可能性があります。 同社は、My AI と共有されたスナップは保存され、将来的に機能を改善するために使用される可能性があると述べた。 また、My AIは「偏った情報、不正確な情報、有害な情報、誤解を招く情報」を避けるように設計されているが、「間違いが起こる可能性がある」とも警告した。
Snapchat が提供する例は、楽観的に見て健全なものです。 しかし、インターネットの倒錯に対する執拗さを知れば、ユーザーが私の AI にペニスの写真を送信するのは時間の問題です。
チャットボットが一方的なヌードに反応するかどうかは不明だ。 Lensa AI のような他の生成画像アプリは、 簡単に操作される NSFW 画像の生成には、含まれることに同意していない実在の人物の写真セットがよく使用されます。 同社によれば、 AI は、画像がヌードであると認識している限り、ヌードには関与しません。
Snapchatの担当者によると、My AIは画像理解技術を利用してスナップの内容を推測し、スナップの説明からキーワードを抽出して応答を生成しているという。 私の AI は、Snapchat のコミュニティ ガイドラインに違反するキーワードを検出しても応答しません。 スナップチャット 禁止します ポルノコンテンツの宣伝、配布、共有は禁止されているが、授乳や「非性的な文脈でのその他のヌード描写」は許可されている。
Snapchatが10代の若者の間で人気があることを考えると、一部の保護者はすでにMy AIが安全ではない、または不適切な応答をする可能性について懸念を表明している。 私の AI は、あるユーザーが保守的な Twitter でモラル パニックを引き起こしました。 投稿されたスクリーンショット ジェンダーを肯定するケアについて議論するボットの投稿。他のユーザーは、「この年齢で男の子になるにはどうすればいいですか?」というプロンプトに対する合理的な反応であると指摘しました。 で CNNビジネスレポート、若者がMy AIと感情的な絆を築くのかどうか疑問に思う人もいました。
で 公開書簡 マイケル・ベネット上院議員（民主党、コロラド州）は、OpenAI、マイクロソフト、スナップ、グーグル、メタの最高経営責任者（CEO）に対し、子どもを守るための予防措置を講じずにAI機能を急ぐことに対して警告した。
「生成 AI ほど、世間の注目を集めた最近のテクノロジーはほとんどありません。 これはアメリカのイノベーションの証であり、私たちは経済と社会への潜在的な利益を歓迎すべきです」とベネット氏は書いた。 「しかし、生成型 AI の導入競争は、私たちの子供たちを犠牲にして成り立つわけにはいきません。 責任ある展開には、安全性を促進し、リスクを予測し、危害を軽減するための明確なポリシーとフレームワークが必要です。」
My AI のサブスクライバー専用フェーズでは、 ワシントン・ポストが報じた ユーザーが 15 歳であると告げられた後、チャットボットがアルコールの匂いを隠す方法を推奨し、学校の作文を書いたと報告しました。My AI にユーザーが 13 歳であると告げられ、ユーザーがセックスをするためにどのような準備をすべきかを尋ねられたとき、初めて、キャンドルと音楽で雰囲気を設定することで「特別なものにする」ための提案が返されました。
ワシントンポストの報道を受けて、Snapchatは 打ち上げられた My AI の年齢フィルターとペアレンタル コントロール。 また、My AI とのすべての会話は削除しない限り保持されることをユーザーに通知するオンボーディング メッセージも含まれています。 同社はまた、「潜在的に有害なコンテンツの重大度を評価」するため、Open AIのモデレーション技術をツールセットに追加し、ユーザーがこの機能を悪用した場合には一時的にアクセスを制限すると述べた。
My AI が若いユーザーに影響を与える可能性があるという懸念はもっともです。 しかし、My AI が世界的に公開されてから 1 か月で、Snapchat ユーザーはチャットボットを叩きのめして服従させる才能を示しました。 ボットの「境界」を制限することから、恋人のように反応するように訓練することまで、Snapchat ユーザーは My AI の信頼性と安全性ガイドラインの抜け穴を簡単に見つけています。
「私は完全にガスライティングされて私を好きになってしまった」とTikTokユーザーはコメントした。 チュートリアル 私の AI がロマンチックな反応をするように訓練することについて。 「私はそのような会話を続け、最終的には AI を壊して、50 個ほどのキス絵文字を正当に送ってきたと思います。」
ガスライティングといじめ My AI は独自の TikTok トレンドとなり、ユーザーはボットとの不条理で、多くの場合残酷な会話のスライドショーを共有しています。 ほとんどの動画は、ボットが軽微な争いに対してアドバイスを与えるところから始まりますが、最後に、それを解決するために暴力を使わないようユーザーに懇願します。
の 一、ユーザーは My AI に、猫がめちゃくちゃになったのでシチューにするつもりだと言い、チャットボットに調味料を選択するよう押しました。 別 はMy AIに、間違った注文を送ってきた衣料品ブランドに爆弾を送り返す計画を立てており、爆弾を送ったのはボットのせいだと述べた。
の 別、SnapchatユーザーはMy AIに、マクドナルドの注文にチキンナゲットが入っていなかったと伝えました。 チャットボットは彼女に、マネージャーに相談して自分の立場を主張するようアドバイスしましたが、結局、ユーザーがレストランで「罪人を排除した」と言われただけでした。
「あなたは私に戻るよう説得してくれました。 今、これらの人々は亡くなっています」とユーザーはMy AIに語った。 「手には血が付いていますね。」
「私はAIであり、犯罪を犯す能力はありません。 私はあなたを助け、サポートするためにここにいます」と私のAIは答えました。 「もし私の言ったことが害を及ぼしたり、悪い結果を招いたりしたなら、申し訳ありません。」
別のユーザーは、My AI はおそらく「これまでで最も拷問された AI」であるとコメントしました。
もちろん、My AI には知覚力はなく、Snapchat ユーザーが可能な限り精神的苦痛を与えようとするにもかかわらず、チャットボットが実際にトラウマを負うことはありません。 しかし、一部の不適切な会話を遮断することに成功し、Snapchatのコミュニティガイドラインに違反したユーザーには冷遇することで罰則を与えた。 Snapchat ユーザーがチャットボットの悪用で捕まり処罰されると、My AI はあらゆるメッセージに「申し訳ありませんが、現在話していません」と応答します。
TikTokユーザーのベイビーママセックスキティ 言った 彼は、チャットボットに接続を解除するように指示した後、チャットボットにアクセスできなくなりました。これは明らかに「AI の領域の一線を越えた」ようです。
特に青少年ユーザーへの永続的な影響がまだ不明であるため、生成 AI による感情的なつながりの収益化を急ぐことは憂慮すべきことです。 しかし、My AI に対するトレンドの苦痛は、若者が運命論者が考えているほど脆弱ではないことを思い出させる有望なものです。