これは避けられないことですが、面白いものとして保存してください。 Mechanical Turk は、初期の頃から悪ふざけを招くように思われたサービスであり、実際、その「ターク」のほぼ半数が、AI では実行できないために人間が行うことを特に意図していたタスクを AI を使用しているようであることが研究者らによって示されています。 これでループは終了しました。皆さん、よく頑張りました!
Amazon の Mechanical Turk を使用すると、ユーザーは単純なタスクを、ほんの数秒で完了し、報酬を支払う任意の数の小さなサブタスクに分割できます。しかし、専任の部分労働者は何千もの仕事をこなし、それによって控えめではありますが確実な賃金を得ることができます。 ジェフ・ベゾスが当時思い出深い言葉を残したように、それは「人工的な人工知能」でした。
これらは通常、自動化が困難なタスクでした。CAPTCHA や文の感情の特定、または単純な「この画像内の猫の周りに円を描く」など、人々が迅速かつ確実に実行できるタスクでした。 これは、比較的複雑なデータにラベルを付ける人々や、人間による評価や決定を大規模に取得することを目的とする研究者によって広く使用されました。
この名前は、チェスの有名な「オートマトン」にちなんで名付けられました。このオートマトンは、実際にその基地に人間を隠れさせてプレーを行っていました。 ポーはそれを現代的に解釈した素晴らしい作品を書きました。 自動化が困難または不可能な場合もありますが、そのような場合には、人間性から一種の機械を作り出すことができます。 注意が必要ですが、長年にわたって有用であることが証明されています。
しかし、スイスの EPFL の研究者らによる研究では、Mechanical Turk の労働者が ChatGPT のような大規模な言語モデルを使用して作業を自動化していることが示されています。ヘビが自分の尻尾を噛んでいるか、あるいは完全に飲み込んでいるのかもしれません。
基本的に信頼できない LLM 応答を改善したり事実確認したりするために、MTurk のようなサービスを「関係者」として使用することを検討したときに、この疑問が生じました。
LLM の出力を検証したり、比較のために人によるゴールドスタンダード データを作成したりするために、クラウドソーシングに依存したくなります。 しかし、クラウド ワーカー自身が、たとえばクラウドソーシング プラットフォームで生産性を向上させ、ひいては収入を向上させるために LLM を使用している場合はどうなるでしょうか?
問題の概要を理解するために、彼らはトルコ人に完了させる「抽象的な要約」タスクを割り当てました。 記載されているさまざまな分析により、 論文に掲載（まだ出版も査読もされていない） 彼らは「クラウド ワーカーの 33 ～ 46% がタスクを完了する際に LLM を使用したと推定しています。」
一部の人にとって、これは驚くべきことではないでしょう。 プラットフォームの開始以来、ターキングにはおそらくある程度の自動化が存在していました。 速度と信頼性が奨励され、特定のリクエストを 90% の精度で処理するスクリプトを作成できれば、かなりの金額を稼ぐことができます。 個々の貢献者のプロセスの監視がほとんどなかったため、宣伝されているように、これらのタスクの一部が実際には人間によって実行されないことは避けられませんでした。 誠実さはアマゾンにとって決して得意ではなかったので、アマゾンに頼るのは意味がありませんでした。
しかし、それがこのように配置されているのを見ると、最近まで人間だけができるように思われていた仕事 – 論文の要旨を適切に要約する – それは、Mechanical Turk の価値に疑問を投げかけるだけでなく、差し迫った危機における別の前線を明らかにします。 AI が生成したデータに対する AI トレーニング」は、さらに別のウロボロスのような苦境に陥ります。
研究者 (Veniamin Veselovsky、Manoel Horta Ribeiro、Robert West) は、最新の LLM の出現現在、このタスクは特に秘密の自動化に適しており、したがって特にこれらの手法の犠牲になる可能性が高いと警告しています。 しかし、最先端技術は着実に進歩しています。
LLM は日に日に人気が高まっており、テキストだけでなく画像やビデオの入出力もサポートするマルチモーダル モデルが増加しています。 これにより、私たちの結果は、プラットフォーム、研究者、クラウドワーカーに、人間のデータが人間のままであることを保証するための新しい方法を見つけることを思い出させる「炭鉱のカナリア」と見なされるべきです。
AI 自体が食べるという脅威は長年理論化されてきましたが、LLM が広範に展開されるとほぼ瞬時に現実になりました。Bing のペットである ChatGPT は、新型コロナウイルスの陰謀に関する新たな誤情報の裏付けとして、自身の誤情報を引用しました。
何かが人間によって行われたと 100% 確信できない場合は、人間によって行われたものではないと仮定したほうがよいでしょう。 これは遵守しなければならない気の滅入る原則ですが、これが現実です。