先週、WIRED は、オランダのロッテルダム市が福利厚生詐欺を根絶するために導入した問題のあるアルゴリズムについて、一連の詳細なデータ駆動型のストーリーを公開しました。
との協力で 灯台レポート調査ジャーナリズムを専門とするヨーロッパの組織である WIRED は、情報公開法の下でアルゴリズムの内部動作にアクセスし、誰が詐欺を犯す可能性が最も高いかを評価する方法を調査しました。
アルゴリズムは民族性と性別に基づいて差別することがわかりました。不当に女性やマイノリティに高いリスク スコアを与え、申立人の私生活に重大な損害を与える調査につながる可能性があります。 インタラクティブな記事では、アルゴリズムの根幹を掘り下げ、2 つの仮説的な例を示して、人種や性別はアルゴリズムに入力される要素ではありませんが、人のオランダ語能力などの他のデータはプロキシとして機能できることを示しています。差別を可能にするもの。
このプロジェクトは、政府をより効率的にするために設計されたアルゴリズム (より公平でデータ駆動型であるとよく言われている) が、社会的偏見を密かに増幅する方法を示しています。 WIRED と Lighthouse の調査では、他の国々でも詐欺師を見つけるために同様に欠陥のあるアプローチを試していることがわかりました。
「政府は何年もの間、スプレッドシートであろうと高度な機械学習であろうと、システムにアルゴリズムを組み込んでいます」と、このプロジェクトに携わった WIRED の調査データ レポーターである Dhruv Mehrotra は言います。 「しかし、このようなアルゴリズムがあらゆる種類の懲罰的かつ予測的な法執行機関に適用されると、影響力が大きくなり、非常に恐ろしいものになります。」
ロッテルダムのアルゴリズムによって引き起こされた調査の影響は、尋問に直面した 3 人の子供の母親の場合に見られるように、悲惨なものになる可能性があります。
しかし Mehrotra は、このプロジェクトがそのような不正を浮き彫りにすることができたのは、WIRED と Lighthouse がアルゴリズムの仕組みを調査する機会を得たからだと述べています。 ロッテルダムで使用されているようなアルゴリズムは、本質的に不公平なシステムの上に構築されていることが多いことを認識することも重要だと彼は言います。
「多くの場合、アルゴリズムは福祉、詐欺、取り締まりのために、すでに懲罰的なテクノロジーを最適化しているだけです」と彼は言います。 「アルゴリズムが公正であれば問題ないとは言いたくないでしょう。」
また、アルゴリズムは政府のあらゆるレベルでますます普及しつつありますが、その機能はほとんどの場合、最も影響を受ける人々から完全に隠されていることを認識することも重要です。
Mehrota が WIRED に参加する前の 2021 年に行った別の調査では、 一部の警察署で犯罪予測ソフトウェアがどのように使用されているかを示しています 黒人およびラテン系コミュニティを不当に標的にしました。 2016 年、プロパブリカ アルゴリズムの衝撃的なバイアスを明らかにした 米国の一部の裁判所では、どの刑事被告が再犯のリスクが最も高いかを予測するために使用されています。 その他の問題のあるアルゴリズム 子供が通う学校を決める、 企業が誰を雇うべきかを推薦する、 と どの家族の住宅ローン申請を承認するかを決定する.
もちろん、多くの企業もアルゴリズムを使用して重要な決定を下していますが、これらは政府の場合よりも透明性が低いことがよくあります。 アルゴリズムによる意思決定の責任を企業に負わせようとする動きが高まっており、より大きな可視性を必要とする法律を求める声が強まっています。 しかし、問題は複雑で、アルゴリズムを公平にすることは、逆に事態を悪化させることがあります。