ツイッターの研究チームにとって、これは長いパンデミックだった。 嫌がらせ、過激主義、偽情報に関するプラットフォームの最も困難な問題のいくつかを解決する任務を負ったスタッフは、2021 年 11 月に会社のリトリートのためにナパ バレーに逃亡しました。 ジャック・ドーシーは最近辞任し、元最高技術責任者のパラグ・アグラワルを後任に任命した。 オンラインで何ヶ月にもわたって悪意のある人物と戦った後、従業員はリラックスする時間を取った. ある研究者は、「ようやく団結力のあるチームになったように感じました」と述べています。
しかし、最終日のさようならブランチで、人々の携帯電話は憂慮すべきニュースで鳴り始めました。彼らの上司であり、Twitter のデザイン担当副社長である Dantley Davis が解雇されたのです。 それが来ることを誰も知らなかった。 「まるで映画のようでした」と、会社について公に話す権限がないため匿名を希望した出席者の 1 人は言います。 「人々は泣き始めました。 私はちょうどそこに座ってクロワッサンを食べていました。「気分はどうですか？」
このニュースは、研究組織の悪循環を予感させた。 グループは再編成に慣れていましたが、チームを結びつけることを目的とした遠足の途中での混乱は、非常に象徴的に感じました。
混乱は 4 月に頭角を現し、イーロン マスクが Twitter を買収する契約に署名しました。 現従業員と元従業員へのインタビュー、および 70 ページの内部文書によると、マスクの買収をめぐる混乱により、一部のチームが限界点に追い込まれ、多くの健康研究者が辞任に追い込まれたことが示唆されています。ボットとスパムに焦点を当てることに賛成です。 Musk の取り引きは成立しないかもしれないが、Twitter の健康への取り組みへの影響はすでに明らかだ。
医療チームはかつて、非礼儀で有名なプラットフォームで市民の会話を促進する任務を負っていたが、フルタイムのスタッフは 15 人から 2 人に減った。
2019 年、Jack Dorsey は、彼が作成を支援したプラットフォームについて、「会話の健全性を実際に測定できるでしょうか?」という根本的な質問をしました。
バンクーバーで開催された TED カンファレンスのステージで、ビーニー帽をかぶった CEO は、自動化されたシステムに投資して悪い行動を積極的に検出し、「被害者の負担を完全に取り除く」ことについて真剣に話しました。
その夏、同社はドーシーの使命を遂行するために、健康研究者のチームを編成し始めました。 彼の講演は、学術界やメタのような大規模なテクノロジー企業で働いていた人々に、前向きな社会変化に向けて取り組む可能性に触発され、Twitter に参加するよう説得しました。
プロセスが意図したとおりに機能したとき、健康研究者は Twitter が新製品の潜在的な乱用について考えるのを助けました。 2020年、Twitterは、ユーザーがツイートに返信できる人を制限できる「unmention」と呼ばれるツールに取り組んでいました. 研究者は「レッドチーム」演習を実施し、会社全体の従業員を集めて、ツールがどのように悪用される可能性があるかを調査しました。 言及しないと、「強力な人々」が許可される可能性があります [to] 反対意見、議論、修正を抑制し、「標的との接触を求める嫌がらせ者を可能にする」 [to] 直接対応するようにターゲットを強制します」とレッドチームは内部レポートに書いています。
しかし、そのプロセスは必ずしもスムーズではありませんでした。 2021 年、元 Twitter プロダクト チーフの Kayvon Beykpour は、同社の最優先事項は Spaces の立ち上げであると発表しました。 (「Clubhouse を殺すのは完全な攻撃でした」と 1 人の従業員は言います。) プロジェクトに割り当てられたチームは、機能をドアの外に出すために残業し、8 月 10 日まで赤チームの演習をスケジュールしませんでした。発売。 7月に、演習はキャンセルされました。 Spaces は主要なリスクを包括的に評価することなく稼働し、白人至上主義者やテロリストがプラットフォームに殺到しました。 の ワシントンポスト 報告.
Twitter が最終的に 2022 年 1 月に Spaces のレッドチーム演習を行ったとき、レポートは次のように結論付けています。 このレッドチームの発生は遅すぎました。 Spaces の構築の最初の 1 年半に重要な投資を行ったにもかかわらず、私たちは、Spaces で悪意のあるアクターによって与えられた現実世界の被害に大きく対応してきました。 私たちは、問題を特定するために一般大衆に過度に依存してきました。 私たちは、潜在的な健康への影響を十分に調査することなく、製品や機能を発売してきました。」
今年の初め、Twitter はアダルト コンテンツを収益化する計画を撤回しました。レッド チームがプラットフォームが児童の性的搾取の素材に適切に対処できていないことを発見したためです。 これは、研究者が何年も前から警告してきた問題でした。 従業員によると、Twitter の幹部は問題を認識していたが、修正に必要なリソースを割り当てていなかったとのことです。
2021 年後半までに、Twitter の健康研究者はプラットフォーム上で何年にもわたってモグラたたきを行い、有害なコンテンツに対処するためのより洗練されたアプローチを展開することを決定しました。 対外的には、同社は危険なグループの暴走を許していると定期的に批判されていました。 しかし、内部的には、陰謀論者などの特定のグループもプラットフォームから追い出されたように感じることがありました すぐ — 研究者がダイナミクスを研究する前に。
「昔ながらのアプローチは、ほとんどコミカルに効果がなく、非常に受動的でした。キャッチボールをする手作業のプロセスでした」と、会社について公に話す権限がないため匿名を希望した元従業員は言います。 「単に「悪者」を定義して捕まえるだけでは、負けゲームです。」
代わりに、研究者は、有害なツイートに関与しようとしている人を特定し、ポップアップ メッセージやインタースティシャルを使用して、より健全なコンテンツに誘導することを望んでいました。 「このパイロットにより、Twitter はコンテンツではなく行動シグナルを特定して活用し、支援コンテンツやサービスへのリダイレクトにより、危険にさらされているユーザーにリーチできるようになります。」 ザ・バージ.
Twitter の研究者は、暴力的な過激派の研究を専門とする企業である Moonshot と提携し、Google と Facebook が有害なコミュニティの拡散を抑制するために行った作業をモデルにした Redirect と呼ばれるプロジェクトを開始しました。 Google では、この取り組みにより、 人をターゲットにする洗練されたキャンペーン 過激派のメッセージを暴露することを目的とした広告や YouTube 動画で過激派のコンテンツを検索する。 Twitterも同じことを計画していました。
目標は、悪いアカウントや投稿に単に反応することから、より良い行動に向けて積極的にユーザーを導くことへと企業を移行させることでした。
「有害なグループを食い止めようとする Twitter の取り組みは、これらのグループを定義し、ポリシーの枠組みの中でそれらを指定し、(グループへの所属と行動を介して) リーチを検出し、コホート内のグループを一時停止またはプラットフォームから外すことに重点を置く傾向があります」と内部プロジェクトの概要は述べています。 「このプロジェクトは、代わりに、上流のユーザーの行動を理解し、対処することを目指しています。 悪質なアカウントやコンテンツの指定に焦点を当てるのではなく、ユーザーがアカウント内の有害なグループ コンテンツをどのように発見したかを理解し、それらの取り組みをリダイレクトすることを目指しています。」
昨年開始されたプロジェクトのフェーズ 1 では、研究者は 3 つのコミュニティに焦点を当てました。人種的または民族的に動機付けられた暴力的過激主義、反政府または反権威の暴力的過激主義、インセルです。 Moonshot は、第 2 次アメリカ南北戦争の扇動に焦点を当てた極右グループであるブーガルー運動に関するケーススタディで、Twitter を使用してイデオロギーを共有および広め、コミュニティ内で高い関与をしている 17 人のインフルエンサーを特定しました。
このレポートでは、介入の可能性のあるポイントを概説しています。1 つは誰かがブーガルー用語を検索しようとしたとき、もう 1 つはブーガルー コンテンツに関与しようとしていたときです。 「コア コミュニティの識別に対する Moonshot のアプローチは、ユーザーがこの影響範囲に向かっていることを強調し、Twitter からのインタースティシャル メッセージを促す可能性があります」と報告書は述べています。
チームはまた、ユーザーが過激派のコンテンツをリツイートする前に、ポップアップ メッセージを追加することを提案しました。 介入は、有害なツイートを見つけて関与するプロセスに摩擦を追加することを目的としていました. 正しく行われれば、過激派のコンテンツが Twitter に与える影響が鈍くなり、グループが新しいフォロワーを獲得するのが難しくなります。
しかし、その作業が完全に実装される前に、マスクは Twitter の取締役会と会社を買収することに合意しました。 その後まもなく、Moonshot パートナーシップを率いていた従業員が退職しました。 マスクが契約に署名してから数か月で、健康研究チームはほとんど蒸発し、スタッフは 15 人からわずか 2 人になりました。
「会社をイーロン・マスクに売却したことは、会社の上層部が安全性を優先していないことを示した決定のはるかに長い実績のおかげでした」と、ある従業員は言います。
複数の元研究者は、マスク氏の買収提案に関連した混乱が限界点であり、他の研究を追求することを決定したと語った。
「取引の混乱により、私はマスクが所有する非公開のツイッターで働きたくないだけでなく、マスクが所有していない公開のツイッターで働きたくないことに気づきました。従業員は言います。 「私はもうTwitterで働きたくありませんでした。」
Redirect プロジェクトの第 2 段階 (これは、Twitter がどの介入が機能し、ユーザーが実際にどのように介入したかを理解するのに役立つはずだった) に資金を提供した. しかし、資金が入る頃には、それを監督できる研究者はいなくなっていました。 残った一部の従業員は、Redirect の優先順位を下げて、ボットとスパムに関連するプロジェクトを優先するように言われたと言われています。
Twitterのスポークスパーソンであるローレン・アレクサンダーは、記録についてコメントすることを拒否した.
ある従業員は、ツイートでチームのフラストレーションを捉えました。「ジャックや他の幹部がこの買収について何を言おうとしているのか、まったく興味がありません」マスクとの取引から利益を得るために。 「皆さん、長い階段から転げ落ちますように。」 （従業員はコメントを控えた。）
現在の従業員によると、ツイートは同僚に対する脅威であると報告され、従業員は解雇されました。