OpenAI の ChatGPT に相当する最初のオープンソース版が登場しましたが、ラップトップで実行してください。
今週、Meta の Make-A-Video を含むクローズド ソース AI システムのリバース エンジニアリングを担当する開発者である Philip Wang は、ChatGPT と同様に動作するテキスト生成モデルである PaLM + RLHF をリリースしました。 システムは組み合わせる 手のひら、Google の大規模な言語モデル、およびヒューマン フィードバックによる強化学習 (略して RLHF) と呼ばれる手法を使用して、メールのドラフト作成やコンピューター コードの提案など、ChatGPT が実行できるほとんどすべてのタスクを実行できるシステムを作成します。
しかし、PaLM + RLHF は事前トレーニングされていません。 つまり、システムは、実際に機能するために必要な Web からのサンプル データでトレーニングされていません。 PaLM + RLHF をダウンロードしても、ChatGPT のようなエクスペリエンスが魔法のようにインストールされるわけではありません。そのためには、モデルが学習できる数ギガバイトのテキストをコンパイルし、トレーニング ワークロードを処理するのに十分な強力なハードウェアを見つける必要があります。
ChatGPT と同様に、PaLM + RLHF は基本的に単語を予測するための統計ツールです。 Reddit の投稿、ニュース記事、電子ブックなどのトレーニング データから膨大な数の例を入力すると、PaLM + RLHF は、周囲のテキストの意味的文脈などのパターンに基づいて、単語がどの程度発生する可能性があるかを学習します。
ChatGPT と PaLM + RLHF は、人間のフィードバックを使用した強化学習の特別なソースを共有しています。これは、言語モデルをユーザーが達成したいこととよりよく一致させることを目的とした手法です。 RLHF には、言語モデル (PaLM + RLHF の場合は PaLM) のトレーニングと、人間のボランティアがモデルに期待する内容と組み合わせたプロンプト (「機械学習を 6 歳児に説明する」など) を含むデータ セットでの微調整が含まれます。と言う（例：「機械学習は AI の一形態です…」）。 前述のプロンプトは微調整されたモデルに送られ、いくつかの応答が生成され、ボランティアはすべての応答を最良のものから最悪のものまでランク付けします。 最後に、ランキングを使用して「報酬モデル」をトレーニングします。このモデルは、元のモデルの応答を受け取り、好みの順に並べ替え、特定のプロンプトに対する上位の回答をフィルタリングします。
トレーニング データを収集するのはコストのかかるプロセスです。 そして、トレーニング自体は安くはありません。 PaLM のサイズは 5,400 億個のパラメーターであり、「パラメーター」とは、トレーニング データから学習した言語モデルの部分を指します。 2020年 勉強 わずか 15 億のパラメーターを使用したテキスト生成モデルの開発費用は、160 万ドルにも上ると見積もっています。 また、1,760 億のパラメーターを持つオープン ソース モデル Bloom をトレーニングするには、384 個の Nvidia A100 GPU を使用して 3 か月かかりました。 単一の A100 の価格は数千ドルです。
PaLM + RLHF のサイズのトレーニング済みモデルを実行することも簡単ではありません。 Bloom には、約 8 個の A100 GPU を搭載した専用 PC が必要です。 クラウドの代替手段は高価であり、封筒の裏の計算が必要です 発見 OpenAI のテキスト生成 GPT-3 (約 1750 億のパラメーターを持つ) を単一のアマゾン ウェブ サービスで実行するコストは、年間約 87,000 ドルになります。
AI 研究者の Sebastian Raschka 氏は、LinkedIn で次のように指摘しています。 役職 PaLM + RLHF については、必要な開発ワークフローをスケールアップすることも課題であることが判明する可能性があります。 「誰かがこのモデルをトレーニングするために 500 個の GPU を提供したとしても、インフラストラクチャに対処し、それを処理できるソフトウェア フレームワークを用意する必要があります」と彼は言いました。 「それは明らかに可能ですが、現時点では大きな努力です (もちろん、それをより簡単にするためのフレームワークを開発していますが、まだ簡単ではありません)。」
つまり、PaLM + RLHF が現在 ChatGPT に取って代わることはありません。ただし、潤沢な資金を持つベンチャー企業 (または個人) がトレーニングを行い、それを一般に公開するという手間をかけない限りです。
良いニュースとして、ChatGPT を複製するための他のいくつかの取り組みが急速に進んでいます。 カーパーAI. CarperAI は、オープン AI 研究組織である EleutherAI とスタートアップの Scale AI および Hugging Face と提携して、人間のフィードバックでトレーニングされた、すぐに実行できる ChatGPT のような AI モデルをリリースする予定です。
Stable Diffusion のトレーニングに使用される初期データセットを提供した非営利団体の LAION も、 先鋒 最新の機械学習技術を使用して ChatGPT を複製するプロジェクト。 LAION は野心的に、「未来のアシスタント」を構築することを目指しています。これは、電子メールやカバー レターを作成するだけでなく、「意味のある仕事をし、API を使用し、情報を動的に調査するなど、さまざまな機能を備えたアシスタント」です。 初期段階です。 しかし、GitHub ページ プロジェクトのリソースを使用して、数週間前に公開されました。