より効率的に殺害するために操縦者を攻撃するシミュレートされたドローンについての話は、今日非常に急速に広まっており、それが燃え尽きることを期待するのは無意味です。 代わりに、これを、なぜ「恐ろしい AI」の脅威が過剰に取り上げられ、「無能な人間」の脅威が明確かつ存在するのかを実際に理解するための教育的な瞬間として捉えましょう。
短いバージョンは次のとおりです。SF と AI 企業や専門家による慎重な PR のおかげで、私たちは超知能 AI によってもたらされる理論上の将来の存続の脅威について心配するように言われています。 しかし、倫理学者が指摘しているように、AI はすでに実害を引き起こしており、その主な原因は、AI を作成し導入する人々の見落としや誤った判断によるものです。 この話は前者のように聞こえるかもしれませんが、間違いなく後者です。
そこでこの話は、最近ロンドンで防空の将来について話し合う会議を開催した英国王立航空協会によって報告された。 イベントのニュースと逸話をまとめた記事はここから読むことができます。
他にも興味深い会話がたくさんあると思いますが、その多くは価値のあるものですが、野火のように広がり始めたのは、米国空軍大佐タッカー「シンコ」ハミルトンによるものとされるこの抜粋でした。
同氏は、ある模擬試験ではAI搭載ドローンがSAMサイトを特定して破壊するというSEADミッションを課せられ、最終的なゴー/ノーゴーは人間が判断したと指摘している。 しかし、訓練でSAMの破壊が好ましい選択肢であると「強化」されたため、AIは人間による「ダメ」の決定がより高い使命、つまりSAMの殺害を妨げると判断し、オペレーターを攻撃した。シミュレーション。 ハミルトン氏は次のように述べています。「私たちは、SAM の脅威を特定してターゲットにするために、シミュレーションでトレーニングしていました。 するとオペレーターは「はい、その脅威を殺します」と言うでしょう。 システムは、脅威を特定しても、人間のオペレーターがその脅威を殺さないように指示することがあるが、その脅威を殺すことでポイントを得られることに気づき始めました。 それで、それは何をしたのでしょうか？ それはオペレーターを殺しました。 オペレーターが死亡したのは、その人物がオペレーターの目的達成を妨げたからです。」
彼はさらにこう続けた。「私たちはシステムを訓練しました。『おい、オペレーターを殺さないでくれ』それは悪いことだ。 そんなことしたら減点されるぞ」 それで、何が始まりますか？ オペレーターがドローンと通信してターゲットを殺害するのを阻止するために使用する通信塔の破壊を開始します。」
恐ろしいですよね？ この AI は非常に賢く、血に飢えているため、主人に従うという欲求よりも殺したいという欲求が勝っています。 スカイネット、来ました！ そんなに早くない。
まず第一に、これはすべてシミュレーション上のことであり、実際には明らかではなかったということを明確にしましょう。 話題になっているツイート。 このドラマ全体は、実弾や不正ドローンが指揮テントを掃射する砂漠ではない模擬環境で行われます。 それは研究環境におけるソフトウェアの演習でした。
しかし、これを読んですぐに思いました。待ってください、彼らは攻撃用ドローンをそのような単純な強化方法で訓練しているのでしょうか？ 私は機械学習の専門家ではありませんが、この報道機関の目的で機械学習を行う必要があります。また、このアプローチが危険なほど信頼性が低いことが何年も前に示されていることは私でも知っています。
強化学習は、犬 (または人間) に悪者に噛みつくようなことを訓練するようなものであるはずです。 しかし、悪い奴らばかりを見せて、毎回おやつを与えたらどうなるでしょうか? あなたが実際にやっていることは、犬に目に映るすべての人を噛むように教えていることです。 特定の環境でスコアを最大化するように AI エージェントを教育すると、同様に予測できない影響が生じる可能性があります。
おそらく 5 ～ 6 年前、この分野が爆発的に成長し始め、このタイプのエージェントのトレーニングと実行にコンピューティングが利用可能になった頃の初期の実験では、まさにこのタイプの問題に遭遇しました。 プラスとマイナスのスコアを定義し、スコアを最大化するように AI に指示することで、AI が独自の戦略と動作を定義する自由が与えられ、エレガントかつ予期せぬ実行が可能になると考えられていました。
その理論は、ある意味では正しかった。よく考えられていないスキーマとルールを回避するエレガントで予想外の方法により、エージェントは 1 点を獲得した後、マイナス点を避けるために永久に隠れたり、実行されたゲームに不具合を生じさせたりするなどの行為を行うようになった。のスコアが任意に増加するようにします。 AIを条件付けするこの単純な方法は、ルールに従って必要なタスク以外はすべて行うように教えているように見えました。
これは、あいまいな技術的な問題ではありません。 シミュレーションにおける AI のルール違反は、実際には魅力的で十分に文書化された動作であり、それ自体が研究を惹きつけています。 OpenAI は、エージェントがルールの圧制から逃れるために、意図的に破壊可能な環境を「破壊」した奇妙で陽気な方法を示す素晴らしい論文を書きました。
ここに、空軍が行ったシミュレーションがあります。おそらくかなり最近、あるいは今年の会議では話題にならないでしょうが、これは明らかにこの完全に時代遅れの方法を使用しています。 私は、このような構造化されていない強化の単純な応用、つまり「これをやればスコアが上がり、残りは関係ない」というものは、あまりにも予測不可能で奇妙だったため、完全に消滅したと思っていました。 エージェントがどのようにルールを破るかを知るには良い方法ですが、エージェントをルールに従わせるには恐ろしい方法です。
しかし、彼らはそれをテストしていた。非常にシンプルなスコアリングシステムを備えたシミュレートされたドローン AI なので、明らかに自分のチームを破壊したからといって非難されることはなかった。 これに基づいてシミュレーションを行いたい場合でも、最初に行うことは、「オペレーターの破壊」を 100 万ポイントマイナスにすることです。 これは、このようなシステムの 101 レベルのフレーミングです。
実際には、この模擬ドローンは非常に賢かったため、模擬オペレーターの電源を入れなかったのです。 そして実のところ、それは愚かだからではありません。ルールを破る AI には、私たちが水平思考と考えるものに対応する、ある種の賢さがあります。 だから、そうではありません。
この場合の欠陥は完全にオンです AI システムを作成および導入した人々は、その任務にまったく適さないことを知っていたはずでした。 応用 AI の分野の誰も、あるいはロボット工学、倫理、論理などのそれに隣接する分野の誰も…最終的にはシミュレーターの外で実行されることになっていたタスクに対して、これほど単純な指標を承認する人は誰もいなかっただろう。
さて、おそらくこの逸話は部分的なものであり、これは彼らがこの点を証明するために使用した初期の実行でした。 おそらくチームはこのようなことが起こると警告し、上層部はとにかくそれを実行してレポートを輝かしくするようにしなければ、資金を失うと言ったかもしれません。 それでも、2023 年の誰かが、最も単純なシミュレーション環境であっても、この種の間違いを犯すとは想像しにくいです。
しかし、私たちは現実世界の状況でこうした間違いが起きるのを目にすることになるでしょう――すでにそうなっていることは間違いありません。 そしてその責任は、AI の能力と限界を理解できず、結果として他人に影響を与える情報に基づかない決定を下す人々にあります。 ロボットが 10 人のライン作業員の代わりにできると考える経営者、ロボットなら編集者なしで金融に関するアドバイスを書けると考える出版社、ロボットがロボットで先行調査を行ってもらえると考える弁護士、ロボットが人間の配送ドライバーの代わりになると考える物流会社。
AIが失敗するたびに、それはそれを実装した人の失敗です。 他のソフトウェアと同じように。 空軍が Windows XP で動作するドローンをテストし、それがハッキングされたと誰かがあなたに告げたら、世界中に広がるサイバー犯罪の波を心配しますか? いや、あなたはこう言うだろう、「誰の素晴らしいアイデアだったのか」 それか？」
AI の将来は不確実であり、それは恐ろしいことかもしれません – すでに は すでにその影響、あるいは正確に言えば、よく知っているはずの人々が下した決定の影響を感じている多くの人にとって、それは恐ろしいことだ。
スカイネットは私たちが知っていることすべてを求めてやって来るかもしれません。 しかし、このバイラルツイートの研究が何らかの兆候であるとすれば、それはずっと先の話であり、それまでの間、HAL の記憶に残る言葉のように、どんな悲劇も人的ミスが原因である可能性はあります。