入居の電報を打った後 メディア出演、OpenAIは ローンチ 同社独自の ChatGPT および GPT-3 モデルによって生成されたテキストなど、人間が作成したテキストと AI によって生成されたテキストを区別しようとするツール。 分類器はそれほど正確ではありません — OpenAI によると、成功率は約 26% ですが、OpenAI は、他の方法と組み合わせて使用すると、AI テキスト ジェネレーターの悪用を防ぐのに役立つ可能性があると主張しています。
「分類器は、AI が生成したテキストが人間によって書かれたという誤った主張を軽減することを目的としています。 ただし、まだ多くの制限があります。そのため、主要な意思決定ツールではなく、テキストのソースを特定する他の方法を補完するものとして使用する必要があります」と OpenAI の広報担当者は TechCrunch に電子メールで語った。 「このようなツールが有用かどうかについてフィードバックを得るために、この初期分類器を利用できるようにしており、将来的に改善された方法を共有したいと考えています。」
生成 AI、特にテキスト生成 AI に対する熱意が高まるにつれ、批評家はこれらのツールの作成者に対し、潜在的に有害な影響を軽減するための措置を講じるよう求めています。 米国最大の学区のいくつかは、ネットワークとデバイスでの ChatGPT を禁止しており、生徒の学習への影響とツールが生成するコンテンツの正確性を懸念しています。 を含むサイト スタックオーバーフローはユーザーを禁止しました ChatGPT によって生成されたコンテンツを共有することから、AI により、ユーザーが疑わしい回答でディスカッション スレッドをあふれさせることがあまりにも簡単になると述べています。
OpenAI の分類子 (OpenAI AI Text Classifier と適切に呼ばれる) は、アーキテクチャ的に興味深いものです。 これは、ChatGPT と同様に、Web から公開されているテキストの非常に多くの例でトレーニングされた AI 言語モデルです。 しかし、ChatGPT とは異なり、テキストが AI によって生成された可能性を予測するように微調整されています。ChatGPT だけでなく、あらゆるテキスト生成 AI モデルからのものです。
より具体的には、OpenAI は、OpenAI 自体を含む 5 つの異なる組織からの 34 のテキスト生成システムからのテキストで OpenAI AI Text Classifier をトレーニングしました。 このテキストは、ウィキペディアの人間が書いた同様の (しかし完全には似ていない) テキスト、Reddit で共有されたリンクから抽出された Web サイト、および以前の OpenAI テキスト生成システム用に収集された一連の「人間のデモンストレーション」とペアになっていました。 (OpenAI は サポート文書ただし、「インターネット上で AI によって生成されたコンテンツが急増していることを考えると」、AI によって書かれたテキストの一部が人間によって書かれたものとして誤って分類された可能性があります。)
重要なことに、OpenAI Text Classifier は、すべてのテキストに対して機能するわけではありません。 最低 1,000 文字、または約 150 ～ 250 語が必要です。 剽窃は検出されません — テキスト生成 AI が 逆流する それが訓練されたテキスト。 また、OpenAI は、英語順のデータ セットを使用しているため、子供が書いたテキストや英語以外の言語で書かれたテキストで問題が発生する可能性が高いと述べています。
検出器は、特定のテキストが AI によって生成されたものかどうかを評価するときに、その答えを少しヘッジします。 信頼度に応じて、AI によって生成された可能性が「非常に低い」(10% 未満の可能性)、「可能性が低い」AI によって生成された (可能性が 10% から 45% の間)、「可能性が不明」などのラベルがテキストに付けられます。 」 AI によって生成された (45% から 90% の確率)、「おそらく」AI によって生成された (90% から 98% の確率)、または「可能性が高い」AI によって生成された (98% を超える確率)。
好奇心から、分類器にテキストを入力して、それがどのように処理されるかを確認しました。 Meta の Horizon Worlds に関する TechCrunch 記事のいくつかの段落と OpenAI サポート ページのスニペットが AI によって生成されたものではないことを自信を持って正しく予測しましたが、分類器は ChatGPT の記事の長さのテキストで苦労し、最終的に分類に失敗しました。完全に。 ただし、Gizmodo からの ChatGPT 出力を検出することに成功しました。 ピース について — 他には? — チャットGPT。
OpenAI によると、分類子は 9% の確率で、人間が書いたテキストを AI が書いたものとして誤ってラベル付けします。 その間違いは私のテストでは発生しませんでしたが、サンプルサイズが小さいためだと思います.
画像クレジット: OpenAI
実用的なレベルでは、分類器は短い文章を評価するのに特に有用ではないことがわかりました。 1,000 文字は、たとえば電子メール (少なくとも私が定期的に受け取るもの) などのメッセージの領域で達成するのは難しいしきい値です。 そして、その制限は一時停止をもたらします — OpenAI は、生成されたテキスト内のいくつかの単語や句を変更することで分類子を回避できることを強調しています。
分類子が役に立たないというわけではありません。 しかし、現在の状態では、犯罪者 (さらに言えば学生) を止めることはできません。
問題は、他のツールを使用するかどうかです。 AI で生成されたテキスト検出器の需要を満たすために、家内工業のようなものが生まれました。 プリンストン大学の学生が開発した ChatZero は、「当惑」(テキストの複雑さ) や「バースト性」(文章のバリエーション) などの基準を使用して、テキストが AI によって書かれた可能性があるかどうかを検出します。 剽窃検出器 ターニチン は、独自の AI 生成テキスト検出器を開発しています。 それらを超えて、グーグル検索は、比喩を拷問するために、AIが生成した小麦を人間が生成した籾殻から分離できると主張する他のアプリを少なくとも半ダース見つけます.
いたちごっこになりそうです。 テキストを生成する AI が向上するにつれて、検出器も向上します。これは、サイバー犯罪者とセキュリティ研究者の間のやり取りに似た終わりのないやり取りです。 OpenAI が書いているように、分類子は特定の状況では役立つかもしれませんが、テキストが AI によって生成されたかどうかを判断する際の信頼できる唯一の証拠にはなりません。
つまり、AI によって生成されたテキストがもたらす問題を解決する特効薬はありません。 おそらく、決してありません。