より高速で効率的な AI システム開発を追求するために、Intel、AMD、および Nvidia は今日 公開された 彼らが AI の共通交換フォーマットと呼ぶもののドラフト仕様。 自発的ではありますが、提案された「8 ビット浮動小数点 (FP8)」規格は、ハードウェア メモリの使用を最適化し、AI トレーニング (つまり、AI システムのエンジニアリング) と推論 (システム）。
AI システムを開発するとき、データ サイエンティストは、単にデータを収集してシステムをトレーニングするだけでなく、重要なエンジニアリングの選択に直面します。 1 つは、システムの重みを表す形式を選択することです。重みは、システムの予測に影響を与えるトレーニング データから学習した要素です。 ウェイトは、たとえば、GPT-3 のようなシステムが 1 文のプロンプトから段落全体を生成できるようにしたり、DALL-E 2 でキャプションから写真のようにリアルなポートレートを作成したりできるようにするものです。
一般的な形式には、16 ビットを使用してシステムの重みを表す半精度浮動小数点 (FP16) と、32 ビットを使用する単精度 (FP32) があります。 半精度以下では、AI システムのトレーニングと実行に必要なメモリの量が削減され、計算が高速化され、帯域幅と電力の使用量が削減されます。 ただし、これらの利点を達成するために、ある程度の精度が犠牲になります。 結局のところ、16 ビットは 32 ビットよりも少ないのです。
ただし、Intel、AMD、Nvidia など、業界の多くの企業は、スイート スポットとして FP8 (8 ビット) を中心に統合しています。 Nvidia のシニア グループ プロダクト マーケティング マネージャーである Shar Narasimhan 氏は、ブログ投稿で、FP8 である前述の提案された形式は、コンピューター ビジョンや画像生成システムを含むユースケース全体で 16 ビットの精度と「同等の精度」を示し、「有意な」パフォーマンスを提供すると述べています。スピードアップ。
Nvidia、Arm、および Intel は、FP8 フォーマットをオープン フォーマットでライセンスフリーにする予定であると述べています。 ホワイトペーパーで詳しく説明しています。 Narasimhan 氏によると、仕様は IEEE に提出されます。IEEE は、多くの技術分野にわたる標準を維持する専門組織であり、後日検討されます。
「共通の交換フォーマットを持つことで、ハードウェアとソフトウェアの両方のプラットフォームの急速な進歩と相互運用性が可能になり、コンピューティングが進歩すると信じています」と Narasimhan 氏は述べています。
トリオは、必ずしも心の良さから平等を求めているわけではありません. Nvidia の GH100 Hopper アーキテクチャは、Intel の Gaudi2 AI トレーニング チップセットと同様に、FP8 をネイティブに実装しています。 AMDは、今後のInstinct MI300A APUでFP8をサポートする予定です。
しかし、共通の FP8 フォーマットは、SambaNova、Groq、IBM、Graphcore、Cerebras などのライバルにも利益をもたらします。これらの企業はすべて、システム開発のために何らかの形の FP8 を実験または採用しています。 で ブログ この 7 月の投稿で、Graphcore の共同創設者であり CTO である Simon Knowles は、「8 ビット浮動小数点の出現は、AI コンピューティングのパフォーマンスと効率に多大な利点をもたらします」と書いており、業界が「競合するフォーマットの組み合わせを先導するのではなく、単一のオープン スタンダード」を採用する必要があります。