または、内部で何が起こっているかを本当に理解している場合にのみ使用できるように、導入する AI システムに関する強力な規制を設ける必要があるかもしれません。 または、十分に正直で、無害で、役立つものであるために、多数のチェックに合格しています。 だから、「[We should] AI の進歩を早めたり遅らせたりすることはできますが、それよりも狭く見て、次のように言うことができます。 あなたは知っていますか？” 2 つ目は、これらすべてのことと同様に、1 人または 1 つのグループが一方的に「OK、私はこれを開発しない」と言った場合、おそらくそれは代わりにそれを促進する、道徳的にやる気のない俳優。
あなたは停滞のリスクについて一章丸ごと書いています。それは経済と技術の進歩の減速です。 これは、それ自体が存続にかかわるリスクをもたらすようには見えません。 今後何世紀にもわたって進歩が現在のレベルに近いままであることの何が悪いのでしょうか?
いくつかの理由でそれを含めました。 1つは、これまでのところ長期主義者の世界では停滞がほとんど注目されていないことです。 しかし、長期的な観点から見ると、潜在的に非常に重要だとも思います。 理由の 1 つは、危険な時期に立ち往生する可能性があることです。 1920 年代のレベルの技術がいつまでも続くとしたら、それは持続可能ではありません。 私たちはすべての化石燃料を使い果たします。気候の大惨事になるでしょう。 現在の技術水準を維持すれば、全面核戦争は時間の問題です。 リスクが非常に低い場合でも、年間のわずかなリスクが時間の経過とともに増加します。
さらに心配なことに、人工生物兵器に関しては、それも時間の問題です。 テクノロジーへのフォーカスを完全にやめるだけでは、選択肢にはならないと思います。 正確にどのくらいの速さで進むべきかは明らかではありませんが、Toby Ord が「実存的」と呼ぶところまで到達するには、現在の技術開発レベルから抜け出し、次のレベルに進む必要があることを意味します。これらのリスクを軽減するためのテクノロジーと知恵がここにあります。
現在の存亡の危機を乗り越えたとしても、私たちの未来にはまだ知らない新たなリスクが潜んでいるのではないでしょうか? 実存的リスクの現在の瞬間を乗り越えることはできますか?
テクノロジーが発展するにつれて、これらの小さな安全な島が存在する可能性があります. 1 つのポイントは、基本的にすべてを発見した場合です。 その場合、私たちを驚かせ、私たち全員を殺す新しいテクノロジーはありません。 または、生物兵器に対する防御、または核戦争を防ぐことができる技術があれば想像してみてください。 そうすれば、その時点でその技術レベルでたむろすることができるので、次に何が起こるかを本当に考えることができます. それは可能かもしれません。 したがって、安全を確保する方法は、それを見て、私たちが直面しているリスク、リスクをどれだけ低く抑えることができたか、または今把握したばかりのポイントにいるかどうかを特定することです。そこにあるすべてを理解する必要があります。