1 分以内に小説を読めるチャットボットを備えた人間界のリープフロッグ OpenAI

チャットボットの見落とされがちな制限は次のとおりです。 メモリー。 これらのシステムを強化する AI 言語モデルがテラバイトのテキストでトレーニングされていることは事実ですが、これらのシステムが使用中に処理できる量、つまり、「コンテキスト ウィンドウ」とも呼ばれる入力テキストと出力の組み合わせは、限定。 ChatGPT の場合、約 3,000 ワードです。 これを回避する方法はありますが、それでも情報量はそれほど多くありません。

現在、AI スタートアップの Anthropic (元 OpenAI エンジニアによって設立) は、自社のチャットボット Claude のコンテキスト ウィンドウを大幅に拡張し、約 75,000 ワードまで拡張しました。 同社がある記事で指摘しているように、 ブログ投稿、全体を処理するには十分です。 グレート・ギャツビー 一度に。 実際、同社はまさにこれを実行してシステムをテストしました。つまり、小説内の単一の文を編集し、クロードに変更を見つけるように依頼しました。 22秒で完了しました。

これらのコンテキスト ウィンドウの長さの説明における私の不正確さに気づいたかもしれません。 それは、AI 言語モデルが情報を文字数や単語の数ではなくトークンで測定するためです。 これらのよく知られた数量に正確にマッピングされない意味単位です。 考えてみれば当然のことです。 結局のところ、単語には長いこともあれば短いこともあり、その長さは必ずしも意味の複雑さに対応するとは限りません。 (辞書にある最も長い定義は、多くの場合、 一番短い言葉.) 「トークン」の使用はこの真実を反映しており、より正確に言えば、Claude のコンテキスト ウィンドウは以前の 9,000 トークンから 100,000 トークンを処理できるようになりました。 比較すると、OpenAI の GPT-4 は約 8,000 トークンを処理します (これは ChatGPT で利用できる標準モデルではありません。アクセスには料金を支払う必要があります)。一方、限定リリースの GPT-4 のフルファット モデルは、 最大 32,000 個のトークンを処理。

現時点では、Claude の新しい能力は、同社の API 経由でチャットボットを利用している Anthropic のビジネス パートナーのみが利用できます。 価格も不明ですが、大幅な値上がりとなることは間違いありません。 より多くのテキストを処理するということは、コンピューティングにさらに多くの費用を費やすことを意味します。

しかしニュースは、AI言語モデルの情報処理能力が向上していることを示しており、これによりこれらのシステムは確実にさらに便利になるでしょう。 Anthropic が指摘しているように、人間が 75,000 ワードのテキストを読むには約 5 時間かかりますが、Claude の拡張されたコンテキスト ウィンドウを使用すると、長い文書を読み、要約し、分析するタスクを数分で実行できる可能性があります。 (ただし、チャットボットが情報をでっち上げる執拗な傾向には何も効果がありません。) コンテキスト ウィンドウが大きくなるということは、システムがより長い会話を保持できることも意味します。 チャットボットが軌道から外れてしまう要因の 1 つは、コンテキスト ウィンドウがいっぱいになるとチャットボットが話した内容を忘れてしまうことがあり、それが Bing のチャットボットが制限されている理由です。 会話20ターン。 より多くのコンテキストはより多くの会話に相当します。