Google は、世界で最も話されている 1,000 の言語をサポートする巨大な AI 言語モデルを計画しています

Google は、世界で最も話されている言語 1,000 をサポートする単一の AI 言語モデルを開発するという野心的な新しいプロジェクトを発表しました。 この目標に向けた最初のステップとして、同社は 400 を超える言語でトレーニングされた AI モデルを発表しています。これは、「今日の音声モデルで見られる最大の言語範囲」であると説明しています。

言語と AI は間違いなく常に Google の製品の中心にありましたが、最近の機械学習の進歩、特に強力で多機能な「大規模言語モデル」または LLM の開発により、これらの領域が新たに重視されるようになりました。

Google は、システムの機能に関する批判をかわしながら、これらの言語モデルを Google 検索などの製品に統合し始めています。 言語モデルには、人種差別や外国人排斥などの有害な社会的偏見を逆流させる傾向や、人間の感性で言語を解析できないなど、多くの欠陥があります。 Google 自体が、これらの問題の概要を説明する論文を発表した後、自社の研究者を解雇したことで悪名高い.

ただし、これらのモデルは、言語生成 (OpenAI の GPT-3 など) から翻訳 (Meta の No Language Left Behind の作業を参照) まで、多くのタスクを実行できます。 Google の「1,000 言語イニシアチブ」は、特定の機能に焦点を当てているのではなく、世界中の言語にわたる膨大な知識を備えた単一のシステムを作成することに重点を置いています。

話しかける ザ・バージGoogle AI の研究担当バイス プレジデントである Zoubin Ghahramani 氏は、このサイズのモデルを作成することで、オンライン スペースや AI トレーニング データセット (「リソースの少ない言語」）。

「多くの異なる言語にさらされてトレーニングされる単一のモデルを持つことで、リソースの少ない言語でのパフォーマンスが大幅に向上します」と Ghahramani 氏は言います。 「1,000 の言語に到達する方法は、1,000 の異なるモデルを構築することではありません。 言語は有機体のようなもので、互いに進化しており、特定の類似点があります。 また、新しい言語からのデータを 1,000 言語モデルに組み込み、翻訳する能力を得ると、私たちがゼロショット学習と呼ぶものでかなり目覚ましい進歩を遂げることができます。 [what it’s learned] 高リソース言語から低リソース言語へ。」

過去の調査では、このアプローチの有効性が示されています。Google が計画しているモデルの規模は、過去の作業よりも大幅に向上する可能性があります。 このような大規模なプロジェクトは、AI 研究を支配し、膨大な量のコンピューティング パワーとトレーニング データへのアクセスという点で、これらの企業の独自の利点を活用するというテクノロジー企業の野望の典型となっています。 これに匹敵するプロジェクトは、Facebook の親会社である Meta が進行中の「ユニバーサル スピーチ トランスレータ」の構築です。

ただし、非常に多くの言語でトレーニングを行う場合、データへのアクセスが問題になります。Google によると、1,000 言語モデルの作業をサポートするために、音声録音やテキストなど、リソースの少ない言語のデータ収集に資金を提供する予定です。 .

同社によると、このモデルの機能をどこに適用するかについての直接的な計画はありません。Google 翻訳から YouTube キャプションなど、Google の製品全体でさまざまな用途があると予想しているだけです。

「大規模な言語モデルと言語研究全般について本当に興味深いことの 1 つは、それらが非常に多くの異なるタスクを実行できることです」と Ghahramani 氏は言います。 「同じ言語モデルで、ロボットのコマンドをコードに変換できます。 数学の問題を解くことができます。 それは翻訳を行うことができます。 言語モデルの非常に興味深い点は、言語モデルが多くの知識のリポジトリになりつつあり、さまざまな方法で調べることで、さまざまな便利な機能にたどり着けることです。」

Google は、新しい AI 製品のショーケースで 1,000 言語モデルを発表しました。 同社はまた、テキストからビデオへのモデルに関する新しい研究、Wordcraft という名前の AI ライティング アシスタントのプロトタイプ、テキストから画像へのような開発中の AI モデルへの制限付きアクセスをユーザーに提供する AI テスト キッチン アプリのアップデートも共有しました。モデル画像。