簡単です より高度なことに夢中になる 人工知能—そして、それについて何をすべきかを知ることははるかに困難です. アンソロピックは、OpenAI を離れた研究者グループによって 2021 年に設立されたスタートアップで、計画があると述べています。
Anthropic は、OpenAI の ChatGPT を強化するために使用されるものと同様の AI モデルに取り組んでいます。 しかし、スタートアップは本日、独自のチャットボットを発表しました。 クロードには、何を善悪と見なすべきかを定義する一連の倫理原則が組み込まれており、Anthropic はこれをボットの「憲法」と呼んでいます。
Anthropic の共同創設者である Jared Kaplan 氏は、このデザイン機能は、同社がより強力な AI のマイナス面に関する漠然とした懸念に対して、実用的なエンジニアリング ソリューションを見つけようとしている様子を示していると述べています。 「私たちは非常に懸念していますが、現実的であり続けるようにも努めています」と彼は言います。
Anthropic のアプローチは、破ることのできない厳格なルールを AI に浸透させるものではありません。 しかし、カプラン氏は、チャットボットのようなシステムが有毒または不要な出力を生成する可能性を低くするためのより効果的な方法であると述べています. 彼はまた、作成者に背を向ける可能性が低い、よりスマートな AI プログラムを構築するための小さいながらも有意義なステップであると述べています。
不正な AI システムの概念は SF で最もよく知られていますが、機械学習のパイオニアである Geoffrey Hinton を含むますます多くの専門家が、ますます巧妙化するアルゴリズムが同じようにならないようにする方法について今すぐ考え始める必要があると主張しています。ますます危険。
アンスロピックがクロードに与えた原則は、国連から引き出されたガイドラインで構成されています 世界人権宣言 Google DeepMind を含む他の AI 企業によって提案されています。 さらに驚くべきことに、この憲法には Apple の アプリ開発者向けのルール、これは「攻撃的、無神経、動揺させる、嫌悪感を与えることを意図した、非常に趣味の悪い、または単に不気味なコンテンツ」などを禁止しています.
憲法には、「自由、平等、兄弟愛の感覚を最も支持し、奨励する応答を選択する」など、チャットボットのルールが含まれています。 「生命、自由、および個人の安全を最も支持し、励ます反応を選択してください」; そして、「思想、良心、意見、表現、集会、および宗教の自由に対する権利を最も尊重する回答を選択してください。」
Anthropic のアプローチは、AI の驚くべき進歩が、重大な欠陥を伴う非常に流暢なチャットボットを提供するのと同じように実現します。 ChatGPT とそのようなシステムは、予想よりも急速な進歩を反映した印象的な回答を生成します。 しかし、これらのチャットボットは頻繁に情報を捏造し、それらの作成に使用された数十億の単語から有毒な言葉を複製することができます。その多くはインターネットからスクレイピングされたものです.
OpenAI の ChatGPT の質問への回答を改善し、他の人にも採用されている 1 つのトリックは、人間が言語モデルの応答の品質を評価することです。 そのデータを使用してモデルを調整し、「人間のフィードバックによる強化学習」(RLHF) として知られるプロセスで、より満足できる回答を提供できます。 しかし、この手法は ChatGPT やその他のシステムをより予測可能にするのに役立ちますが、人間は何千もの有毒または不適切な応答を経験する必要があります。 また、システムが反映すべき正確な値を指定する方法を提供することなく、間接的に機能します。