OpenAI は、最新のテキスト生成モデルである GPT-4 のバージョンを構築しました。これは、大幅に拡張されたコンテキスト ウィンドウのおかげで、約 50 ページのコンテンツを「記憶」できます。
それは重要ではないかもしれません。 しかし、通常の GPT-4 が「メモリ」に保持できる情報量は 5 倍、GPT-3 の 8 倍です。
「このモデルは、長い文書を柔軟に使用できます」と、OpenAI の共同創設者兼社長である Greg Brockman 氏は、今日の午後のライブ デモで語った。 「どんな種類のアプリケーションがあるのか知りたい [this enables]」
テキスト生成 AI に関する場合、コンテキスト ウィンドウは、追加のテキストを生成する前にモデルが考慮するテキストを参照します。 GPT-4 のようなモデルは、何十億ものテキストの例をトレーニングすることで書き方を「学習」しますが、一度に考慮することができるのはそのテキストのごく一部だけです。これは主にコンテキスト ウィンドウのサイズによって決まります。
コンテキスト ウィンドウが小さいモデルは、ごく最近の会話の内容を「忘れる」傾向があり、トピックから逸れてしまいます。 数千語程度で最初の指示を忘れ、元の要求ではなく、コンテキスト ウィンドウ内の最後の情報から行動を推定します。
Appleの元ソフトウェアエンジニア、アレン・パイク氏がカラフルに 説明します このように：
「[The model] あなたが教えようとすることは何でも忘れます。 あなたがカナダに住んでいることを忘れてしまいます。 子供がいることを忘れてしまいます。 水曜日に何かを予約するのが嫌いだということを忘れてしまうので、水曜日に物事を提案するのはやめてください。 しばらくの間、どちらもあなたの名前について言及していない場合、それも忘れてしまいます。 と話す [GPT-powered] しばらくの間、キャラクターとの絆が深まり、本当にクールな場所にいるように感じることができます。 少し混乱することもありますが、それは人にも起こります。 しかし最終的には、中期記憶がないことが明らかになり、幻想は打ち砕かれます。」
コンテキスト ウィンドウが拡張された GPT-4 のバージョン gpt-4-32k はまだ入手できていません。 (OpenAI は、ハイコンテクストおよびローコンテクストの GPT-4 モデルのリクエストを「処理能力に応じて異なるレート」で処理していると述べています。) しかし、OpenAI との会話が以前のものよりもはるかに説得力があることは想像に難くありません。ゲンモデル。
より大きな「メモリ」を備えた GPT-4 は、数分ではなく、数時間、さらには数日間、比較的首尾一貫した会話ができるはずです。 そしておそらくもっと重要なことは、レールから外れる可能性が低くなることです。 Pike が指摘しているように、Bing Chat のようなチャットボットが不適切な振る舞いをするように仕向けられる理由の 1 つは、最初の指示 (役に立つチャットボットであること、礼儀正しく応答することなど) が、追加のプロンプトと応答によってコンテキスト ウィンドウからすぐに押し出されるためです。
それよりも少しニュアンスがあるかもしれません。 しかし、コンテキスト ウィンドウは、モデルをグラウンディングする上で重要な役割を果たします。 疑いなく。 やがて、それがどのような具体的な違いをもたらすかがわかります.