AI システムがどれほど強力であるか、また、私たちの生活、家庭、社会に関する重要な決定を下す際に AI システムがますます果たす役割を考えると、AI システムは驚くほど正式な精査を受けません。
AI 監査の開花分野のおかげで、それは変わり始めています。 それらがうまく機能している場合、これらの監査により、システムがどの程度うまく機能しているかを確実に確認し、起こりうる偏見や害を軽減する方法を見つけ出すことができます。
有名なことに、2018 監査 AI 研究者の Joy Buolamwini と Timnit Gebru による市販の顔認識システムの研究では、このシステムが白人ほど肌の色の濃い人を認識しないことがわかりました。 浅黒い肌の女性の場合、エラー率は最大 34% でした。 AI 研究者の Abeba Birhane が新しい論文で指摘しているように、 自然のエッセイ、監査は「顔分析アルゴリズムの偏見、差別、および抑圧的な性質を明らかにした一連の重要な作業を扇動しました。」 さまざまな AI システムでこの種の監査を行うことで、問題を根絶し、AI システムが私たちの生活にどのように影響しているかについて、より幅広い会話ができるようになることが期待されています。
規制当局が追いつきつつあり、それが監査の需要を部分的に押し上げています。 あ 新しい法律 ニューヨーク市では、2024 年 1 月からすべての AI を利用した採用ツールの偏りを監査することが義務付けられ始めます。EU では、2024 年から大手テクノロジー企業が自社の AI システムの年次監査を実施する必要があり、次の AI 法では「リスクの高い」AI システムの監査。
それは素晴らしい野心ですが、いくつかの大きな障害があります。 AI 監査がどのようなものであるべきかについての共通の理解はなく、適切なスキルを持った十分な人材も不足しています。 現在行われている数少ない監査は、ほとんどがアドホックであり、 品質が大きく異なりますと、ブルッキングス研究所で AI ガバナンスを研究している Alex Engler 氏は私に語った。 彼が挙げた 1 つの例は、AI 採用企業 HireVue からのものです。 プレスリリース 外部監査により、アルゴリズムに偏りがないことが判明しました。 監査は会社のモデルを実際に調べておらず、機密保持契約の対象であったため、結果を確認する方法がありませんでした。 それは本質的にPRスタントにすぎませんでした.
AI コミュニティが監査人の不足に対処しようとしている 1 つの方法 これは、サイバーセキュリティのバグ報奨金と同様の方法で機能します。つまり、AI モデルのアルゴリズムのバイアスを特定して軽減するためのツールを作成するよう人々に呼びかけます。 そのようなコンテストの 1 つが、Twitter の倫理的 AI リーダーである Rumman Chowdhury を含むボランティアのグループによって組織されたばかりの先週開始されました。 その背後にあるチームは、それが多くの最初のものになることを望んでいます.
人々が監査を行うために必要なスキルを学ぶインセンティブを作成し、どの方法が最も効果的かを示すことによって、監査がどのようなものであるべきかの基準を構築し始めるのは素晴らしい考えです。 詳細については、こちらをご覧ください。
これらの監査の増加は、いつの日かたばこのパック スタイルの警告が表示される可能性があることを示唆しています。 その AI システムはあなたの健康と安全を損なう可能性があります。 などの他のセクター 化学薬品 製品が安全に使用できることを確認するために、定期的な監査を受けます。 このようなことが AI の標準になるのでしょうか?