2月、Sogou創業者の王暁春氏が 言った Weibo で「中国には独自の OpenAI が必要だ」と投稿。 この中国人起業家は、彼の立ち上げたばかりのスタートアップである Baichuan Intelligence が次世代の大規模言語モデルを展開し、夢に少しずつ近づいています。 バイチュアン-13B 今日。
Baichuan は、清華大学出身のコンピュータ サイエンスの天才であり、後に Tencent に買収された検索エンジン プロバイダー Sogou を設立した創業者の輝かしい過去のおかげで、中国で最も有望な LLM 開発者の 1 社としてもてはやされています。
王氏は2021年末にSogou社を退任した。ChatGPTが世界を席巻する中、起業家はBaichuan社を立ち上げた。 4月中 そしてすぐにエンジェル投資家グループから 5,000 万ドルの資金を調達しました。
中国の他の国産 LLM と同様、Baichuan は、Transformer アーキテクチャ (GPT の基盤ともなっている) に基づく 130 億パラメータのモデルで、中国語と英語のデータでトレーニングされています。 (パラメーターは、モデルがテキストの生成と分析に使用する変数を指します。) GitHub ページによると、モデルはオープンソースであり、商用アプリケーション向けに最適化されています。
Baichuan-13 は 1 兆 4000 億のトークンでトレーニングされています。 それに比べてメタさんは ラマ は、130 億のパラメーター モデルで 1 兆のトークンを使用します。 王氏は以前、ある記事でこう語った。 インタビュー 同氏のスタートアップは、今年末までに OpenAI の GPT-3.5 に匹敵する大規模モデルをリリースする予定であると述べた。
Baichuan はわずか 3 か月前にスタートして以来、すでに顕著な発展速度を達成しています。 4月末までに、チームは 50 人に成長し、6 月には、70 億のパラメータを誇る最初の LLM、事前トレーニング モデル Baichuan-7B を公開しました。
現在、基礎モデル Baichuan-13B は、商用目的での使用が正式に承認された学者や開発者に無料で提供されています。 重要なのは、米国による対中国 AI チップ制裁の時代に、このモデルは Nvidia の 3090 グラフィック カードを含む消費者グレードのハードウェアで実行できるバリエーションを提供していることです。
大規模な言語モデルに多額の投資を行っている他の中国企業には、検索エンジン大手の Baidu などがあります。 Zhipu.ai、教授が率いる清華大学のスピンオフ 唐潔; Microsoft Research Asia の共同設立者である Harry Shum 氏が率いる研究機関 IDEA も同様です。
中国が世界で最も厳しい AI 規制の一部を導入する準備を進めている中、中国の大規模な言語モデルが急速に出現しています。 フィナンシャル・タイムズの報道によると, 中国はコンテンツに特に重点を置いた生成AIに関する規制を策定する予定で、4月に導入された規則よりも規制が強化されることになる。 企業は大規模な言語モデルを立ち上げる前にライセンスを取得する必要がある可能性もあり、これにより新興業界で米国と競争しようとする中国の取り組みが遅れる可能性がある。