「BERT は計算に数か月かかり、非常に費用がかかります。そのモデルを生成し、それらのプロセスを繰り返すのに 100 万ドル程度です」とバーラミ氏は言います。 「だから、誰もが同じことをしたいのなら、それは高価です。それはエネルギー効率が悪く、世界にとって良くありません。」
この分野には有望性が示されていますが、研究者はまだ autoML 技術の計算効率を高める方法を模索しています。 たとえば、現在、ニューラル アーキテクチャ検索などの方法では、さまざまなモデルを構築してテストし、最適なものを見つけています。これらすべての反復を完了するために必要なエネルギーは、かなりのものになる可能性があります。
AutoML の手法は、データを分類するためのランダム デシジョン フォレストやサポート ベクター マシンの作成など、ニューラル ネットワークを使用しない機械学習アルゴリズムにも適用できます。 これらの分野の研究はさらに進んでおり、プロジェクトに autoML 技術を組み込みたい人々のために、多くのコーディング ライブラリがすでに利用可能になっています。
次のステップは、autoML を使用して不確実性を定量化し、アルゴリズムの信頼性と公平性の問題に対処することです、と会議の主催者である Hutter 氏は言います。 そのビジョンでは、信頼性と公平性に関する基準は、精度などの他の機械学習の制約に似ています。 また、autoML は、これらのアルゴリズムで見つかったバイアスを、リリース前に捕捉して自動的に修正することができます。
捜索は続く
しかし、深層学習のようなものについては、autoML にはまだ長い道のりがあります。 ディープ ラーニング モデルのトレーニングに使用される画像、ドキュメント、録音された音声などのデータは、通常、高密度で複雑です。 処理するには莫大な計算能力が必要です。 これらのモデルをトレーニングするためのコストと時間は、資金力のある民間企業で働く研究者以外には法外なものになる可能性があります。
カンファレンスのコンペティションの 1 つで、参加者はニューラル アーキテクチャ検索用のエネルギー効率の高い代替アルゴリズムを開発するよう求められました。 この手法には悪名高い計算要求があるため、これはかなりの課題です。 無数の深層学習モデルを自動的に循環させて、研究者がアプリケーションに適したモデルを選択できるようにしますが、プロセスには数か月かかり、100 万ドル以上の費用がかかる場合があります。
ゼロコストのニューラル アーキテクチャ検索プロキシと呼ばれるこれらの代替アルゴリズムの目標は、計算の必要性を大幅に削減することで、ニューラル アーキテクチャ検索をよりアクセスしやすく、環境にやさしくすることです。 結果の実行には数か月ではなく、数秒しかかかりません。 これらの手法はまだ開発の初期段階にあり、多くの場合信頼できませんが、 機械学習研究者の予測 モデル選択プロセスをより効率的にする可能性があること。