歴史的にも現在でも、記憶力の低下はテキスト生成 AI の有用性の妨げとなってきました。 The Atlantic の最近の記事として適切です 置く ChatGPT のような高度な生成テキスト AI でさえ、金魚の記憶力を持っています。 モデルが応答を生成するたびに、非常に限られた量のテキストのみが考慮されます。たとえば、本の要約や主要なコーディング プロジェクトのレビューなどはできません。
しかし、Anthropic はそれを変えようとしています。
現在、AI研究スタートアップ 発表された Claude (主力のテキスト生成 AI モデル (まだプレビュー段階)) のコンテキスト ウィンドウを 9,000 トークンから 100,000 トークンに拡張したことです。 コンテキスト ウィンドウは追加のテキストを生成する前にモデルが考慮するテキストを指しますが、トークンは生のテキストを表します (たとえば、単語「fantastic」はトークン「fan」、「tas」、「tic」に分割されます)。
では、具体的にはどのような意味があるのでしょうか? 先ほどほのめかしたように、コンテキスト ウィンドウが小さいモデルは、ごく最近の会話の内容さえも「忘れる」傾向があり、話題から逸れてしまいます。 数千語ほど話すと、最初の指示も忘れて、元のリクエストではなくコンテキスト ウィンドウ内の最後の情報から動作を推定します。
大きなコンテキスト ウィンドウの利点を考えると、コンテキスト ウィンドウを拡張する方法を見つけることが、チーム全体をこの問題に費やした OpenAI のような AI ラボの主要な焦点となったのは驚くべきことではありません。 コンテキスト ウィンドウ サイズの点では、OpenAI の GPT-4 がこれまでの王座を保持しており、ハイエンドでは 32,000 トークンに達しましたが、改良された Claude API はそれを超えています。
より大きな「記憶力」があれば、クロードは数分間ではなく、数時間、場合によっては数日間、比較的一貫した会話ができるはずです。 そしておそらくもっと重要なことは、軌道から外れる可能性が低くなることです。
Anthropic はブログ投稿の中で、モデルが数百ページのマテリアルを消化して分析できる機能など、Claude のコンテキスト ウィンドウの拡大によるその他の利点を宣伝しています。 Anthropic 氏によると、アップグレードされた Claude は、長いテキストを読むだけでなく、複数の文書や本から情報を検索するのにも役立ち、テキストの多くの部分にわたる「知識の統合」を必要とする質問に答えることができます。
Anthropic では、考えられる使用例をいくつか挙げています。
- 財務諸表や研究論文などの文書を要約し、説明する
- 年次報告書に基づいて企業のリスクと機会を分析する
- 法案の長所と短所を評価する
- 法的文書全体にわたるリスク、テーマ、さまざまな形式の議論を特定します。
- 何百ページもの開発者ドキュメントを読み、技術的な質問に対する答えを明らかにする
- コードベース全体をコンテキストにドロップし、インテリジェントに構築または変更することで、プロトタイピングを迅速に作成します。
「平均的な人は 100,000 トークンのテキストを約 5 時間で読むことができますが、その後、その情報を消化し、記憶し、分析するにはかなりの時間がかかる可能性があります」とアントロピック氏は続けます。 「クロードはこれを 1 分以内にできるようになりました。 たとえば、『華麗なるギャツビー』の全文をクロードにロードし、キャラウェイ氏が「Anthropic で機械学習ツールに取り組むソフトウェア エンジニア」であると言うように 1 行を変更しました。 モデルに何が違うのかを指摘してもらったところ、モデルは 22 秒以内に正しい答えを返しました。」
現在、コンテキスト ウィンドウが長くても、大規模な言語モデルに関する他のメモリ関連の課題は解決されません。 クロードは、同クラスのほとんどのモデルと同様、セッション間で情報を保持することができません。 また、人間の脳とは異なり、脳はあらゆる情報を同等に重要なものとして扱うため、語り手としてはあまり信頼できません。 一部の専門家は、これらの問題を解決するには、まったく新しいモデル アーキテクチャが必要になると考えています。
しかし今のところ、Anthropic が最前線にあるようだ。