このアルゴリズムがセルビアのロマ コミュニティに与えた影響は劇的です。 アフメトビッチは、システムが導入されて以来、彼の妹も、彼の隣人の何人かと同様に、生活保護の支払いを削減されたと言いました。 「いくつかの地方自治体のロマ族の入植地に住むほとんどすべての人々が、その恩恵を受けられなくなりました」と、法律扶助を提供するセルビアの非営利団体 A11 のプログラム コーディネーターであるダニロ チュルチッチは言います。 A11 は、アフメトビッチと他の 100 を超えるロマの家族が利益を取り戻す手助けをしようとしています。
しかし、まずチュルチッチは、システムがどのように機能するかを知る必要があります。 これまでのところ、政府は、実際にシステムを構築した会社と締結した契約に違反するとして、知的財産権を理由にソースコードを共有するという彼の要求を拒否している、と彼は言う. チュルチッチによると、 政府契約自動化を専門とする Saga というセルビアの会社が、ソーシャル カード システムの構築に関与しました。 サガもセルビアの社会問題省もWIREDのコメント要請に応じなかった.
ガバメントテックとして セクターが成長し、不正を検出するシステムを販売する企業の数も増加しています。 そして、そのすべてが佐賀のような地元のスタートアップというわけではありません。 アクセンチュア — 世界中で 50 万人以上を雇用するアイルランド最大の上場企業 — は、ヨーロッパ全土で詐欺システムに取り組んできました。 2017 年、アクセンチュアは、オランダのロッテルダム市がすべての福祉受給者のリスク スコアを計算するシステムを開発するのを支援しました。 会社 書類 Lighthouse Reports と WIRED が入手した元のプロジェクトの説明では、アクセンチュアが構築した機械学習システムを参照しています。これは、何千人もの人々のデータをくまなく調べて、それぞれが福祉詐欺を犯す可能性が高いかどうかを判断するものでした。 「その後、市は福祉受給者を非嫡出のリスク順に並べ替え、最もリスクの高い個人を最初に調査できるようにすることができます」と文書は述べています。
ロッテルダムの当局者は、 言った アクセンチュアのシステムは、ロッテルダムの研究およびビジネス インテリジェンス部門のチームがアルゴリズムの開発を引き継いだ 2018 年まで使用されていました。 Lighthouse Reports と WIRED がロッテルダムの不正アルゴリズムの 2021 年版を分析したところ、このシステムが人種と性別に基づいて差別していることが明らかになりました。 そして、2021 年のシステムの変数の約 70% は、ある人が福祉詐欺を犯す可能性を計算するためにアルゴリズムが使用した、性別、話し言葉、メンタルヘルスの履歴などの情報カテゴリです。ように見えた アクセンチュア版と同じ。
類似点について尋ねられたとき、アクセンチュアの広報担当者である Chinedu Udezue 氏は、契約が終了した 2018 年に同社の「スタートアップ モデル」が市に譲渡されたと述べました。 ロッテルダムは 2021 年にアルゴリズムの使用を停止しました。 監査人が見つかりました 使用したデータが偏った結果を生み出す危険性があること。
コンサルティング会社は通常、予測分析モデルを実装し、6 ～ 8 か月後には辞めてしまうと、アクセンチュアの欧州公共サービス責任者である Sheils 氏は言います。 彼のチームは、政府が業界の呪いと彼が説明するものを回避するのに役立っていると彼は言います。「偽陽性」とは、調査のために罪のない人に誤ってフラグを立てるアルゴリズムの人生を台無しにする出来事に対するSheilsの用語です。 「それは非常に臨床的な見方のように思えるかもしれませんが、技術的に言えば、それがすべてです。」 Sheils 氏は、Accenture が AI や機械学習を使用して、意思決定を行う人間を置き換えるのではなく、改善することをクライアントに奨励することで、この問題を軽減していると主張しています。 「これは、純粋に AI の決定に基づいて、市民が重大な悪影響を経験しないようにすることを意味します。」
しかし、最終決定を下す前にこれらのシステムによって警告された人々を調査するように求められたソーシャルワーカーは、必ずしも独立した判断を行っているとは限らないと、キャンペーングループPrivacy Internationalの英国の福祉システムでアルゴリズムを研究した技術政策コンサルタントのEva Blum-Dumontetは述べています。 . 「この人間は、AI の決定によって影響を受けることになります」と彼女は言います。 「ループに人間がいるということは、人間が決定に疑問を呈する時間、訓練、または能力を持っているという意味ではありません。」