カプールとナラヤナンは、 先月末のワークショップ 機械学習を利用する科学における「再現性の危機」と彼らが呼ぶものに注意を引くこと。 彼らは 30 人ほどの参加者を望んでいましたが、1,500 人以上から登録がありました。これは、科学における機械学習の問題が広まっていることを示唆しているという驚きです。
イベント中、招待された講演者は、医学や社会科学などの分野から、AI が悪用された状況の多くの例について語りました。 マイケル・ロバーツケンブリッジ大学のシニア リサーチ アソシエイトである は、機械学習を使用して Covid-19 と戦うと主張する数十の論文に関する問題について議論しました。これには、さまざまな異なる画像処理マシンから取得されたためにデータが歪められたケースが含まれます。 ジェシカ・ハルマン、ノースウェスタン大学の准教授は、機械学習を使用した研究の問題を、心理学における主要な結果の再現が不可能であるという現象と比較しました。 どちらの場合も、研究者は使用するデータが少なすぎて、結果の統計的有意性を誤解する傾向があると、ハルマン氏は言います。
モミン・マリクメイヨー クリニックのデータ サイエンティストである は、科学における機械学習の問題のある使用法を追跡する彼自身の研究について話すよう招待されました。 技術の実装における一般的なエラーに加えて、研究者は、仕事に不適切なツールである場合に機械学習を適用することがあります.
マリクは、誤解を招く結果を生み出す機械学習の顕著な例を挙げています。Google インフル トレンドは、2008 年に検索会社によって開発されたツールで、機械学習を使用して、Web ユーザーが入力した検索クエリのログからインフルエンザの発生をより迅速に特定することを目的としています。 Google はこのプロジェクトの評判を高めましたが、2013 年のインフルエンザ シーズンの行方を予測することは見事に失敗しました。 アン 独立した研究 後に、このモデルはインフルエンザの蔓延とは何の関係もない季節的な用語に引っかかっていたと結論付けます。 「大規模な機械学習モデルにすべてを投入して、結果を確認することはできませんでした」とマリクは言います。
一部のワークショップ参加者は、すべての科学者が機械学習のマスターになることは不可能かもしれないと述べています。 プリンストン大学情報技術政策センターのデータ サイエンティストである Amy Winecoff 氏は、科学者が優れたソフトウェア エンジニアリングの原則を学び、統計技術を習得し、データ セットの維持に時間を費やすことは重要ですが、そのために犠牲を払うべきではないと述べています。領域知識。 「たとえば、統合失調症の研究者にソフトウェア工学について多くのことを知ってほしくありません」と彼女は言いますが、この障害の原因についてはほとんど知りません。 Winecoff は、科学者とコンピューター科学者の間のより多くのコラボレーションが、適切なバランスを取るのに役立つことを示唆しています。
科学における機械学習の誤用はそれ自体が問題ですが、同様の問題が、外部からの精査にあまり開かれていない企業や政府の AI プロジェクトで一般的である可能性が高いことを示していると見なすこともできます。
マリク氏は、AI アルゴリズムが誤って適用されて、誰かの医療を不当に拒否したり、仮釈放を不当に勧めたりするなど、現実世界に影響を与える可能性について最も心配していると述べています。 「一般的な教訓は、機械学習ですべてにアプローチするのは適切ではないということです」と彼は言います。 「レトリック、誇大宣伝、成功、希望にもかかわらず、それは限られたアプローチです。」
プリンストン大学のカプールは、科学界がこの問題について考え始めることが重要だと述べています。 「機械学習ベースの科学はまだ初期段階にあります」と彼は言います。 「しかし、これは緊急を要します。本当に有害で長期的な結果をもたらす可能性があります。」