AIが生成した回答がコーディングQ&Aサイトで一時的に禁止されました

コーダーとプログラマー向けの質問と回答のサイトであるスタック オーバーフローには、 一時的に禁止 AI チャットボット ChatGPT によって生成された応答をユーザーが共有することを防ぎます。

サイトのモッズは、禁止は一時的なものであり、コミュニティとの協議の後、将来的に最終決定が下されると述べた. しかし、モッドが説明したように、ChatGPT は単純に、ユーザーが簡単に応答を生成し、一見正しいように見えてもよく調べると間違っていることが多い応答でサイトを氾濫させます。

「主な問題は、ChatGPT が生成する回答が間違っている可能性が高い一方で、通常、 のように見える 彼ら そうかもしれない 良いことであり、答えは とても 簡単に作成できます」とモッズは書いています（彼らのものを強調してください）。 「そのため、これらの投稿の量を減らす必要があります […] そのため、現時点では、ChatGPT を使用して Stack Overflow に投稿することは許可されていません。 この一時的なポリシーが投稿された後にユーザーが ChatGPT を使用したと思われる場合、投稿が許容されていたとしても、ユーザーがそのようなコンテンツを投稿し続けることを防ぐために制裁が課されます。」

ChatGPT は、OpenAI によって作成された実験的なチャットボットで、オートコンプリート テキスト ジェネレーター GPT-3.5 に基づいています。 ボットの Web デモが先週リリースされ、それ以来、Web 上のユーザーに熱狂的に受け入れられています。 ボットのインターフェースは、人々が質問することを奨励し、その見返りに、さまざまなクエリにわたって印象的で流動的な結果を提供します。 詩、歌、TV スクリプトの生成から、雑学クイズへの回答、コード行の作成とデバッグまで。

しかし、多くのユーザーが ChatGPT の機能に感銘を受けている一方で、他のユーザーは、もっともらしいが誤った応答を生成する傾向が続いていることを指摘しています. たとえば、ボットに著名人の伝記を書くように依頼すると、挿入される可能性があります 不正確な伝記データ 完全な自信を持って。 特定の機能のためにソフトウェアをプログラムする方法を説明するように依頼すると、同様に生成できます 信じられるが、最終的には間違っている コード。

これはいくつかあるうちの 1 つです よく知られた失敗 大規模言語モデルまたは LLM としても知られる AI テキスト生成モデル。 これらのシステムは、Web からスクレイピングされた大量のテキストのパターンを分析することによってトレーニングされます。 このデータから統計的な規則性を探し、これらを使用して、特定の文で次に来る単語を予測します。 ただし、これは、世界の特定のシステムがどのように動作するかについてのハードコードされたルールがないことを意味し、「流暢でたらめ」を生成する傾向があります。

これらのシステムの規模が大きいため、出力の何パーセントが偽であるかを確実に言うことは不可能です。 しかし、Stack Overflow の場合、現時点ではユーザーを誤解させるリスクが高すぎると同社は判断している。

AI コミュニティの専門家が現在、これらの大規模な言語モデルによってもたらされる潜在的な脅威について議論しているため、Stack Overflow の決定は特に注目に値します。 Facebook の親会社 Meta のチーフ AI サイエンティスト Yann LeCun は、 主張したたとえば、LLM は確かに誤った情報のような悪い出力を生成する可能性がありますが、実際の情報は作成しません。 共有 これが害の原因となります。 他の人は言う これらのシステムが大量のテキストを安価に生成できる可能性があるため、後で共有されるリスクが必然的に高まります。

今日まで、実世界における LLM の有害な影響を示す証拠はほとんどありません。 しかし、スタック オーバーフローでのこれらの最近のイベントは、これらのシステムの規模が実際に新しい課題を生み出すという議論を裏付けています。 このサイトのモッズは、ChatGPT の禁止を発表する際にも同様のことを述べています。 [AI-generated] 回答 (数千) と、回答が実際に悪いと判断するために、少なくともある程度の主題の専門知識を持つ誰かが回答を詳細に読む必要があることが多いという事実は、ボランティアベースの品質キュレーションインフラストラクチャを効果的に圧倒してしまいました。」

心配なのは、このパターンが他のプラットフォームでも繰り返される可能性があることです。大量の AI コンテンツが、もっともらしいが不正確なデータで実際のユーザーの声をかき消しているのです。 ただし、これがウェブ上のさまざまなドメインでどのように機能するかは、プラットフォームの正確な性質とそのモデレーション機能に依存します. 改善されたスパム フィルターなどのツールを使用して、これらの問題を将来軽減できるかどうかは、まだわかりません。

一方、スタック オーバーフローのポリシー発表に対する反応は、サイト自身のディスカッション ボードや Hacker News などの関連フォーラムで広く支持されており、スタック オーバーフローのモッドがそもそも AI によって生成された回答を特定するのは難しいかもしれないという警告が追加されています。 .

多くのユーザーは、ボットを使用して自分の経験を語っています。 一人 Hacker News で、コーディングの問題に関するクエリへの回答は、正しいよりも間違っていることが多いことが判明したと述べています。 「恐ろしい部分は、それがどれほど自信を持って間違っていたかということです」とユーザーは言いました. 「テキストはとても良さそうに見えましたが、そこには大きな誤りがありました。」

その他 AIモデレーションの問題をChatGPT自体に引き渡しました、ボットにその禁止に賛成または反対する議論を生成するように依頼します。 ボットは 1 つの応答で、Stack Overflow 自身の mod とまったく同じ結論に達しました。