これが実験です ChatGPT にフィッシング メールを生成するよう依頼し、通常のスパムよりも被害者に応答またはリンクのクリックを誘導するのに優れているかどうかをテストします。 これは興味深い実験であり、実験の詳細によって結果が大きく変わる可能性があります。
しかし、実行するのは簡単な実験ですが、詐欺メールを作成する大規模な言語モデル (LLM) の実際のリスクを逃しています。 今日の人手による詐欺は、最初の電子メールの連絡先に応答する人の数によって制限されません。 彼らは、詐欺師に送金するよう人々を説得するという労力のかかるプロセスによって制限されています。 LLM はそれを変えようとしています。
10 年前、ある種類のスパム メールがすべての深夜番組のオチになりました。誰もが彼らが詐欺であることを知っていたに違いないように思われた.
では、なぜ詐欺師は、このような明らかに疑わしい電子メールを送信し続けたのでしょうか? 2012 年、研究者の Cormac Herley は、 答え: 最もだまされやすいものを除くすべてを取り除きました。 巧妙な詐欺師は、電信送金を求められたときに返信した後に、それが詐欺であることに気付く人々と時間を無駄にしたくありません。 明らかな詐欺メールを使用することで、詐欺師は最も収益性の高い人々に焦点を当てることができます. 対話者から信頼できる知人、貧乏人に至るまで、マークを段階的に微調整する往復のコミュニケーションに従事するには、時間と労力がかかります。
長期にわたる金融詐欺は現在、豚の屠殺として知られており、最終的な突然の終焉まで潜在的なマークアップを増やしています. このような詐欺は、信頼を獲得し、ターゲットの個人資産に侵入する必要があり、数週間または数か月の個人的な時間と繰り返しの対話を必要とします。 詐欺師がプレイしているのは、賭け金が高く、確率が低いゲームです。
ここでLLMが違いを生み出します。 OpenAI の GPT モデルやそれに類するモデルの信頼性の低さについては、多くのことが書かれています。彼らは頻繁に「幻覚」を起こし、世界についてでっちあげ、自信を持ってナンセンスを吐き出します。 娯楽の場合はこれで問題ありませんが、ほとんどの実用的な用途では問題になります。 ただし、これはバグではなく、詐欺に関しては機能です。ユーザーが何を投げても、自信を持ってパンチでロールする LLM の能力は、敵対的で困惑し、だまされやすい詐欺師にとって役立つことが証明されます。何十億もの詐欺の標的。 AI チャットボット詐欺は、より巧妙で柔軟な詐欺師 (これまでにオンラインで書かれたすべてのことで訓練された詐欺師) に陥る被害者のプールが、ナイジェリアの王が望んでいると信じている人々のプールよりもはるかに多いため、より多くの人々を魅了する可能性があります。彼らに10億ドルを与えるために。
今日のパーソナル コンピュータは、コンパクトな LLM を実行できるほど強力です。 Facebookの新モデルLLaMAに続き、 ネットに流出した、開発者は、強力なラップトップで高速かつ安価に実行できるように調整しました。 他にも多数のオープンソース LLM が開発中であり、何千人ものエンジニアや科学者のコミュニティがあります。
世界中のどこにいても、1 人の詐欺師が自分のラップトップから数百または数千の詐欺を並行して、昼夜を問わず、世界中のすべての言語で実行できます。 AI チャットボットは決して眠ることはなく、常に目標への道筋に沿って適応します。 そして、ChatGPT からの新しいメカニズム プラグイン に ラングチェーンは、何千もの API ベースのクラウド サービスとオープン ソース ツールを使用して AI を構成できるようにし、LLM が人間と同じようにインターネットと対話できるようにします。 このような詐欺のなりすましは、もはや国の富を提供する王子だけではありません。 彼らは、ロマンス、価値がすぐに急上昇するホットな新しい暗号通貨、および預金に対する驚くべき収益を提供する一見健全な新しい金融ウェブサイトを探している、見知らぬ人です。 そして人々はすでに 落下 の 愛 LLMで。
これは、範囲と規模の両方の変更です。 LLM は詐欺のパイプラインを変え、これまで以上に収益性を高めます。 10 億、100 億の詐欺師が眠らない世界で生きていく方法を私たちは知りません。
これらの攻撃の巧妙化にも変化があります。 これは、AI の進歩だけでなく、インターネットのビジネス モデル (監視資本主義) によるものです。監視資本主義は、データ ブローカーから購入できる、私たち全員に関する大量のデータを生成します。 個人に対する標的型攻撃は、フィッシング、データ収集、詐欺のいずれであっても、かつては国家の手の届くところにしかありませんでした。 データ ブローカーが私たち全員について持っているデジタル ドシエを LLM と組み合わせると、パーソナライズされた詐欺に合わせて作成されたツールが手に入ります。
OpenAI のような企業は、モデルが悪いことをするのを防ごうとしています。 しかし、新しい LLM がリリースされるたびに、ソーシャル メディア サイトは、AI の設計者によって導入された新しい制限を回避する新しい AI ジェイルブレイクで話題になっています。 ChatGPT、Bing Chat、そして GPT-4 はすべて、リリースから数分以内にさまざまな方法でジェイルブレイクされました。 悪用や有害な出力に対するほとんどの保護は表面的なものであり、決心したユーザーによって簡単に回避されます。 ジェイルブレイクが発見されると、通常は一般化することができ、ユーザーのコミュニティは LLM を鎧の隙間から引っ張って開きます。 また、テクノロジの進歩が速すぎて、設計者でさえ、テクノロジがどのように機能するかを完全に理解することはできません。
ただし、これはすべて古い話です。AI の悪用の多くは、AI テクノロジ自体を反映したものではなく、人間性を反映したものであることを思い出させてくれます。 詐欺は新しいものではありません。単純に、ある人が個人的な利益のために別の人をだますという意図と行動です。 そして、詐欺を実行するために他人をミニオンとして使用することは、悲しいことに新しいことでも珍しいことでもありません。 詐欺搾取工場. 組織犯罪が詐欺行為を実行するために人々を搾取したり身体的に虐待したりする必要性をもはや認識しないのは良いことですか、それとも彼らと他の多くの人が前例のないレベルに詐欺を拡大できるようになるのは悪いことですか?
防御は追いつくことができますが、そうなる前に、信号対雑音比は劇的に低下します.