大規模な言語モデルは文の次の単語を予測することで機能するため、風変わりで珍しい単語の代わりに、「the」、「it」、「is」などの一般的な単語を使用する可能性が高くなります。 これはまさに、自動検出システムが検出するのに適した種類のテキストです、Ippolito と Google の研究者チーム 見つかった 彼らが2019年に発表した研究で。
しかし、Ippolito の研究は興味深いことも示しました。人間の参加者は、この種の「クリーンな」テキストは見栄えがよく、間違いが少ないため、人間が書いたにちがいないと考える傾向がありました。
実際には、人間が書いたテキストはタイプミスだらけで、さまざまなスタイルやスラングが組み込まれて信じられないほど変化に富んでいますが、「言語モデルがタイプミスをすることはめったにありません。 彼らは完璧なテキストを生成するのにはるかに優れています」と Ippolito 氏は言います。
「実際、テキストのタイプミスは、それが人間が書いたものであることを示す非常に良い指標です」と彼女は付け加えます。
大規模な言語モデル自体を使用して、AI が生成したテキストを検出することもできます。 これを行う最も成功した方法の 1 つは、人間が作成したテキストと機械が作成したテキストでモデルを再トレーニングすることです。これにより、モデルは 2 つのテキストを区別することを学習します。 -ブリティッシュコロンビア大学で言語処理と機械学習を行い、 研究された検出.
一方、テキサス大学のコンピューター科学者で、OpenAI の研究者として 1 年間出向している Scott Aaronson は、 透かしの開発 GPT-3 などのモデルによって生成されたより長いテキストについては、「そうでなければ、言葉の選択に隠された秘密のシグナルであり、後でこれを使用して、そう、これが GPT から来たものであることを証明できます」とブログに書いています。
OpenAI の広報担当者は、同社が透かしに取り組んでいることを確認し、同社のポリシーでは、ユーザーは AI によって生成されたテキストを「誰も見落としたり誤解したりしないような方法で」明確に示す必要があると述べています。
しかし、これらの技術的な修正には大きな注意点があります。 それらのほとんどは、GPT-2 またはその他の以前のモデルに基づいて構築されているため、最新世代の AI 言語モデルに対抗するチャンスはありません。 これらの検出ツールの多くは、利用可能なテキストが多い場合に最適に機能します。 チャットボットや電子メール アシスタントなど、短い会話に依存し、分析するデータが少ない特定のユース ケースでは効率が低下します。 また、大規模な言語モデルを検出に使用するには、強力なコンピューターと AI モデル自体へのアクセスも必要ですが、テクノロジー企業はこれを許可していません、と Abdul-Mageed 氏は言います。