モデレーション (自動または人的) は、私たちが「急性」害と呼ぶもの、つまり個々のコンテンツによって直接引き起こされるものに対して機能する可能性があります。 しかし、この新しいアプローチが必要です。 問題—差別、精神的健康の低下、市民の信頼の低下などの問題—個々のコンテンツではなく、製品全体に広く現れます。 この種の構造的問題の有名な例は、Facebook の 2012 年の「感情の伝染」実験であり、ユーザーの影響 (プラットフォーム上での行動によって測定される気分) は、ユーザーがさらされた製品のバージョンに応じて測定可能に変化することが示されました。
結果が公開された後に続いた反撃で、Facebook (現在のメタ) はこの種の意図的な実験を終了しました。 しかし、彼らがそのような効果の測定をやめたからといって、製品の決定がそれらを持ち続けないという意味ではありません.
構造上の問題は、製品選択の直接的な結果です。 Facebook、YouTube、TikTok などのテクノロジー企業のプロダクト マネージャーは、プラットフォームでの時間とエンゲージメントを最大化することに圧倒的に集中するよう奨励されています。 そして、実験は今でも活発に行われています。ほぼすべての製品の変更は、無作為化された対照試験を通じて小規模なテスト対象者に展開されています。 進捗状況を評価するために、企業 埋め込む 中心的な使命 (Objective and Key Results (OKR) と呼ばれる) を促進するための厳格な管理プロセス。 これらの結果を使用して ボーナスやプロモーションを決定するため。 製品の決定の結果に対処する責任は、多くの場合、通常は下流にあり、根本原因に対処する権限が少ない他のチームに置かれます。 これらのチームは通常、深刻な被害に対応できますが、製品自体が原因で発生した問題に対処できないことがよくあります。
注意と集中があれば、この同じ製品開発構造を社会的危害の問題に変えることができます。 フランシス・ハウゲンの昨年の議会証言を考えてみてください。 メディアの啓示 Facebookが10代のメンタルヘルスに及ぼすとされる影響について。 フェイスブック 応答した 十代の若者たちかどうかを研究したと説明することで批判に 感じた その製品が彼らの精神的健康に悪影響を及ぼしたかどうか、また、その認識が彼らの製品の使用を減らす原因になったかどうか。 実際に 悪影響を及ぼしました。 回答はその特定の論争に対処したかもしれませんが、ユーザーエンゲージメントへの影響ではなく、メンタルヘルスの問題を直接目的とした研究は大したことではないことを示しています.
全身的な害の評価を組み込むことは容易ではありません。 実際に厳密かつ体系的に測定できるものは何か、企業に何を要求するのか、そのような評価で優先すべき問題は何かを整理する必要があります。
企業はプロトコル自体を実装できますが、 彼らの経済的利益 多くの場合、製品の開発と成長に対する意味のある制限に反します。 その現実は、公共のために機能する規制の標準的なケースです。 連邦取引委員会からの新しい法的命令によるものであろうと、新しい政府機関による害軽減ガイドラインによるものであろうと、規制当局の仕事は、テクノロジー企業の製品開発チームと協力して、測定可能な実装可能なプロトコルを設計することです。 コースの最中 害の意味のある信号を評価するための製品開発の。
このアプローチは面倒に聞こえるかもしれませんが、これらのタイプのプロトコルを追加することは、大企業 (規制を適用する必要がある唯一の企業) にとっては簡単なはずです。なぜなら、彼らはその有効性を測定するために開発プロセスにランダム化比較試験を既に組み込んでいるためです. より時間のかかる複雑な部分は、標準を定義することです。 テストの実際の実行には、規制当局の参加はまったく必要ありません。 通常の成長関連の質問とともに診断上の質問を行い、そのデータを外部のレビュー担当者がアクセスできるようにするだけで済みます。 での私たちの次の論文 2022 ACM Conference on Equity and Access in Algorithms, Mechanisms, and Optimization この手順をより詳細に説明し、効果的に確立する方法を概説します。
数千万に達する製品がエンゲージメントを高める能力についてテストされる場合、企業は、それらの製品が、少なくとも全体として、「問題を悪化させない」という原則を遵守していることを確認する必要があります。 時間が経つにつれて、すでに承認された製品の既存の影響をロールバックするためのより積極的な基準が確立される可能性があります.