AI が受信トレイをどのように保護 (および攻撃) するか

アパルナ・パプのとき、 Google Workspace の副社長兼ゼネラルマネージャーである彼女は、5 月 10 日の Google I/O で講演し、ユーザーが受信トレイを確認できるようにする人工知能のビジョンを示しました。 Pappu 氏は、生成 AI がどのようにして長いメール スレッドの概要を耳元でささやき、未読メッセージをサルサしながらローカル ファイルから関連データを取得し、挿入可能なテキストを提案して地面にひれ伏す様子を示しました。 未来の受信箱へようこそ。

それがどのように実現するかについての詳細はまだ不明ですが、生成 AI は人々が電子メールでコミュニケーションする方法を根本的に変える準備ができています。 機械学習と呼ばれる AI のより広範なサブセットは、すでにある種の機能を実行しています。 安全ダンス ログオフしてからしばらく経ってから。 「機械学習は、Gmail を保護するために私たちが使用してきた重要な部分でした」とパプ氏は『WIRED』に語った。

疑わしい電子メールを数回誤ってクリックすると、セキュリティに大混乱を引き起こす可能性があります。では、機械学習はフィッシング攻撃を回避するのにどのように役立つのでしょうか? Googleのプロダクトリードでセキュリティを専門とするニール・クマラン氏は、機械学習によって受信メールの文言を調べ、過去の攻撃と比較できると説明する。 また、異常なメッセージ パターンにフラグを立てて、メタデータから発せられる奇妙さを嗅ぎ分けることもできます。

機械学習は、危険なメッセージがポップアップ表示されたときにフラグを立てるだけではありません。 Kumaran 氏は、フィッシング攻撃の犯人を追跡するためにも使用できると指摘しています。 「アカウント作成時に評価を行います。 Google アカウントに対するフィッシング攻撃が成功した場合、AI は回復プロセスにも関与します。 同社は機械学習を利用して、どのログイン試行が正当であるかを判断します。

「ユーザーレポートからインテリジェンスを推定して、私たちが知らない攻撃を特定するにはどうすればよいでしょうか?少なくともユーザーへの影響のモデル化を開始するにはどうすればよいでしょうか?」 クマランは尋ねます。 2023 年の多くの質問に対する答えと同様に、Google からの答えは、より AI です。 この AI インスタンスは、夜遅くまで長いやり取りであなたをからかう軽薄なチャットボットではありません。 それは、アルゴリズムに基づいて腕を組んで暴徒を追い出す屈強な用心棒だ。

逆に、あなたの電子メールの受信箱に対するさらなるフィッシング攻撃を引き起こしているものは何でしょうか? 一つ推測してみます。 最初の文字は「A」、最後の文字は「I」です。 セキュリティ専門家は長年にわたり、AI が生成するフィッシング攻撃が受信トレイを圧倒する可能性について警告してきました。 「方言や URL を通じて肉眼で AI を検出するのは非常に困難です」と CEO のパトリック・ハー氏は言います。 スラッシュネクスト、メッセージングセキュリティ会社。 AI が生成した画像やビデオを使用してかなり説得力のあるディープフェイクを作成するのと同じように、攻撃者は AI が生成したテキストを使用して、ユーザーが検出しにくい方法でフィッシングの試みをカスタマイズする可能性があります。

電子メールのセキュリティに重点を置いている複数の企業が、受信トレイをさらに保護するためにモデルに取り組み、機械学習技術を使用しています。 「私たちは入ってくるデータのコーパスを取得し、教師あり学習と呼ばれるものを実行します」と CEO の Hatem Naguib 氏は言います。 バラクーダネットワークス、ITセキュリティ会社。 教師あり学習では、誰かがメールデータの一部にラベルを追加します。 どのメッセージが安全である可能性が高いでしょうか? どれが疑わしいでしょうか？ このデータは、企業が機械学習を使用してフィッシング攻撃にフラグを立てるのに役立つように推定されます。

これはフィッシング検出の貴重な側面ですが、攻撃者は保護を回避する方法を探し続けています。 昨年、でっち上げられた Yeti Cooler のプレゼントに関する執拗な詐欺が、予期しない種類の HTML アンカリングによってフィルターを回避しました。

サイバー犯罪者は今後もあなたのオンライン アカウント、特にビジネス メールをハッキングしようとします。 生成 AI を利用する企業は、フィッシング攻撃をより適切に複数の言語に翻訳できる可能性があり、チャットボット スタイルのアプリケーションは、潜在的な被害者とのやり取りのメッセージの一部を自動化できます。

AI によって可能になるあらゆるフィッシング攻撃の可能性にもかかわらず、Aparna Pappu は、より優れた、より洗練されたセキュリティ保護の継続的な開発について楽観的です。 「誰かを誘惑するために必要なコストを削減できました」と彼女は言います。 「しかし、裏を返せば、これらのテクノロジーのおかげで、私たちはより優れた検出能力を構築することができました。」