新しい紙 スイスの大学EPFLの研究者より 示唆する AmazonのMechanical Turkサービスを利用している分散型クラウドワーカーの33%から46%は、割り当てられた特定のタスクを実行する際に「不正行為」をしたようであり、作業の一部にはChatGPTなどのツールを使用していたという。 このような行為が広まれば、かなり深刻な問題になる可能性があります。
アマゾンのメカニカルターク は長い間、人間に仕事をさせたいと不満を抱いている開発者の避難場所でした。 一言で言えば、これは人間にタスクを提供し、人間がタスクを実行して結果を返すアプリケーション プログラミング インターフェイス (API) です。 これらのタスクは、通常、コンピュータにもっとうまくやってもらいたいと思われる種類のものです。 Amazon によると、そのようなタスクの例は次のとおりです。「コンピューター ビジョン モデル用の高品質なデータセットを構築するための境界ボックスの描画。このタスクは純粋に機械的なソリューションには曖昧すぎ、人間の専門家からなる大規模なチームでも膨大すぎる可能性があります。 」
データ サイエンティストは、データセットが人間によって生成されたものであるか、大規模言語モデル (LLM) によって生成されたものであるかなど、その起源に応じて異なる方法でデータセットを扱います。 しかし、Mechanical Turk の問題は思っているよりも深刻です。AI は現在十分に安価に入手できるため、機械が生成するソリューションではなく Mechanical Turk を使用することを選択したプロダクト マネージャーは、ロボットよりも人間の方が優れていることに依存しています。 その大量のデータを汚染すると、深刻な影響が生じる可能性があります。
「LLM と人間が生成したテキストを区別することは、機械学習モデルにとっても人間にとっても同様に困難です」と研究者らは述べています。 そこで研究者らは、テキストベースのコンテンツが人間によって作成されたのか、それとも機械によって作成されたのかを解明するための方法論を作成した。
このテストでは、クラウドソーシングの従業員に、ニューイングランド医学ジャーナルの研究要約を 100 語の要約に要約するよう依頼することが含まれていました。 これは注目に値します 正確に ChatGPT などの生成 AI テクノロジーが得意とする種類のタスクです。