OpenAI は現在、機械学習の代名詞かもしれません。Google はフロアから立ち上がろうと最善を尽くしていますが、どちらもすぐに新しい脅威に直面する可能性があります。ほこりの中にいる扱いにくい企業。 このザーグのような脅威は実存的なものではないかもしれませんが、支配的なプレーヤーを確実に防御し続けるでしょう.
この概念は決して新しいものではありません — 急速に変化する AI コミュニティでは、この種の混乱が毎週見られると予想されます — 広く共有されている文書 Google 内で発生したとされています。 「私たちには堀がなく、OpenAI にもありません」とメモには書かれています。
この完全に読みやすく興味深い記事の長い要約で読者を悩ませることはしませんが、要点は、GPT-4 やその他の独自モデルが大きな注目を集め、実際に収入を得ている一方で、有利なスタートを切ったということです。資金調達とインフラストラクチャは日ごとにスリムに見えます。
OpenAI のリリースのペースは、通常のメジャー ソフトウェア リリースの基準からすれば猛烈に思えるかもしれませんが、GPT-3、ChatGPT、および GPT-4 は、iOS や Photoshop のバージョンと比較すると、確かにお互いに追いついています。 しかし、それらは依然として月単位、年単位で発生しています。
メモが指摘しているのは、3 月に Meta からリークされた LLaMA と呼ばれる基礎言語モデルがかなり大まかな形式でリークされたことです。 内部 週間、ラップトップやペニーアミニッツサーバーをいじくり回す人々は、命令の調整、複数のモダリティ、人間のフィードバックからの強化学習などのコア機能を追加しました. OpenAI と Google もおそらくコードを調べていましたが、subreddits や Discord で行われているコラボレーションと実験のレベルを再現することはできませんでした。
乗り越えられない障害物 (壕) を挑戦者に突きつけた巨大な計算問題は、AI 開発の別の時代の遺物であるということは本当にあるのでしょうか?
サム・アルトマンは、問題にパラメータを投げると、リターンが減少することを期待すべきであるとすでに指摘しました。 確かに、大きい方が常に良いとは限りませんが、小さい方が良いと考える人はほとんどいませんでした。
GPT-4 は Wal-Mart であり、誰も実際に Wal-Mart を好きではない
現在 OpenAI などによって追求されているビジネス パラダイムは、SaaS モデルの直系の子孫です。 価値の高いソフトウェアまたはサービスがあり、API などを介して慎重にゲートされたアクセスを提供します。 これは、大規模な言語モデルのような単一のモノリシックでありながら用途の広い製品を開発するために数億ドルを投資した場合に、完全に理にかなっている、簡単で実証済みのアプローチです。
GPT-4 が契約法の先例に関する質問にうまく一般化されているとすれば、素晴らしいことです。その膨大な数の「知性」が、これまでに英語で作品を出版したすべての著者のスタイルをオウム返しできることに専念していることを気にしないでください。 GPT-4 はウォルマートのようなものです。 実際には誰もいない 望む そこに行くため、会社は他に選択肢がないことを確認します。
しかし、顧客は疑問に思い始めています。リンゴを数個購入するために、なぜ私が 50 ものジャンクの通路を歩いているのでしょうか。 この契約の文言を他の数百の文言と一致させるために知性を発揮したいだけなのに、これまでに作成された最大かつ最も汎用的な AI モデルのサービスを採用する必要があるのはなぜですか? 比喩を苦しめることになるかもしれませんが (読者は言うまでもありません)、GPT-4 がリンゴを買いに行くウォルマートだとすると、駐車場にフルーツ スタンドが開いたらどうなりますか?
AI の世界では、大規模な言語モデルが (当然のことながら) Raspberry Pi で実行されるまでに、それほど時間はかかりませんでした。 OpenAI、その騎手である Microsoft、Google、または AI-as-a-Service の世界の他の企業のようなビジネスにとって、それは彼らのビジネスの前提全体を事実上物乞いしています。自分のためにやれ。 実際、これらの企業は、既存のビジネス モデルに適合するバージョンの AI を選択して設計したように見え始めており、その逆ではありません!
むかしむかし、ワード プロセッシングに関連する計算をメインフレームにオフロードする必要がありました。端末は単なるディスプレイでした。 もちろん、それは別の時代であり、アプリケーション全体をパーソナル コンピューターに収めることができたのはずっと前のことです。 私たちのデバイスが計算能力を繰り返し指数関数的に増加させて以来、そのプロセスは何度も発生しています。 スーパーコンピューターで何かを行わなければならない昨今、それは時間と最適化の問題であることは誰もが理解しています。
Google と OpenAI にとって、その時は予想よりもずっと早く訪れました。 そして、彼らは最適化を行うものではありませんでした – そして、この速度ではないかもしれません.
さて、それは彼らが運が悪いという意味ではありません。 Google は、最高であることによって現在の地位に到達したわけではありません。とにかく長い間ではありません。 ウォルマートであることには利点があります。 企業は、既存のベンダーから適切な価格を得ることができ、ボートをあまり揺るがすことができない場合、必要なタスクを 30% 速く実行するオーダーメイドのソリューションを見つける必要はありません。 ビジネスにおける慣性の価値を決して過小評価しないでください。
確かに、人々は LLaMA を非常に速く反復しているため、名前を付けるためのラクダが不足しています。 ちなみに、かわいい黄褐色の何百もの写真をスクロールするだけの言い訳をしてくれた開発者に感謝したいと思います ビキューナ 働く代わりに。 しかし、OpenAI のシンプルで効果的な API を使用して、Stability のオープン ソースの派生物を準合法的にリークされたメタ モデルの実装に取り組もうとする企業 IT 部門はほとんどありません。 彼らは経営するビジネスを持っています！
しかし同時に、Gimp や Paint.net などのオープン ソース オプションが信じられないほど優れているため、何年も前に、画像の編集と作成に Photoshop を使用するのをやめました。 この時点で、議論は別の方向に進みます。 Photoshop の料金はいくらですか? まさか、私たちは経営するビジネスを持っています!
Google の匿名の著者が明らかに懸念しているのは、最初の状況から 2 番目の状況までの距離が、誰もが考えていたよりもはるかに短くなり、誰もそれに対してできることは何もないように見えるということです。
ただし、メモは次のように主張しています：それを受け入れてください。 開き、公開し、共同作業し、共有し、妥協します。 彼らが結論として：
Google は、オープン ソース コミュニティのリーダーとしての地位を確立し、より広範な議論を無視するのではなく、協力することで主導権を握るべきです。 これはおそらく、小さな ULM バリアントのモデルの重みを公開するなど、いくつかの不快な手順を踏むことを意味します。 これは必然的に、私たちのモデルに対するコントロールの一部を放棄することを意味します。 しかし、この妥協は避けられません。 イノベーションの推進と制御の両方を実現することは期待できません。