自動運転車の開発と検証には、シミュレーションで実際のシナリオを再現する機能が必要です。
で GTC、NVIDIAの創設者兼CEOのジェンスンフアンは、 NVIDIA DRIVE Sim 実際の運転シナリオを正確に再構築および変更します。 これらのツールは、次のようなテクノロジーを活用するNVIDIAResearchの画期的な技術によって実現されています。 NVIDIAオムニバース プラットフォームとNVIDIAドライブマップ。
Huangは、メソッドを並べてデモンストレーションし、開発者が複数のシナリオを迅速な反復で簡単にテストできることを示しました。
シミュレーションでシナリオが再構築されると、対向車の軌道の変更や運転経路への障害物の追加など、さまざまなバリエーションの基盤として機能し、開発者がAIドライバーを改善できるようになります。
ただし、実際の運転シナリオを再構築し、シミュレーションでそれから現実的なデータを生成することは、時間と労力を要するプロセスです。 それには熟練したエンジニアやアーティストが必要であり、それでもそれを行うのは難しい場合があります。
NVIDIAは、このプロセスをシームレスに実行するために、仮想再構築と神経再構築という2つのAIベースの方法を実装しました。 1つ目は、実世界のシナリオを完全に合成された3Dシーンとして複製し、2つ目は、ニューラルシミュレーションを使用して実世界のセンサーデータを拡張します。
どちらの方法も、単一のシナリオを再作成するだけでなく、多くの新しく挑戦的なシナリオを生成するために拡張できます。 この機能により、継続的なAVトレーニング、テスト、および検証のパイプラインが加速されます。
仮想再構築
上記の基調講演では、NVIDIAの本社周辺の運転環境全体と一連のシナリオが、NVIDIA DRIVE Map、Omniverse、およびDRIVESimを使用して3Dで再構築されています。
DRIVE Mapを使用すると、開発者はオムニバースの道路網のデジタルツインにアクセスできます。 Omniverseで構築されたツールを使用して、詳細なマップは、NVIDIADRIVESimで使用できる運転可能なシミュレーション環境に変換されます。
再構築されたシミュレーション環境を使用すると、開発者は、実際のドライブからのカメラ、LIDAR、および車両データを使用して、交差点でのクローズコールや建設ゾーンのナビゲートなどのイベントを再現できます。
プラットフォームのAIは、シナリオの再構築に役立ちます。 まず、追跡されたオブジェクトごとに、AIはカメラ画像を調べ、DRIVE Simカタログから入手できる最も類似した3Dアセットと、ビデオのオブジェクトの色に最も近い色を見つけます。
最後に、追跡されたオブジェクトの実際のパスが再作成されます。 ただし、オクルージョンが原因でギャップが生じることがよくあります。 このような場合、AIベースのトラフィックモデルが追跡対象オブジェクトに適用され、オブジェクトが何をしたかを予測し、その軌道のギャップを埋めます。
仮想再構築により、開発者は、多くの新しいシナリオを作成できる物理ベースのセンサーとAI動作モデルによって生成された忠実度の高いデータを使用して、AVシステムをトレーニングおよび検証するための潜在的に困難な状況を見つけることができます。 シナリオのデータは、行動モデルをトレーニングすることもできます。
神経再建
もう1つのアプローチは、実際のセンサーデータから始めてそれを変更することで、シーンを合成的に生成するのではなく、ニューラルシミュレーションに依存しています。
センサーの再生（記録されたセンサーデータを再生してAVシステムのパフォーマンスをテストするプロセス）は、AV開発の主要な要素です。 このプロセスはオープンループです。つまり、すべてのデータが事前に記録されているため、AVスタックの決定が世界に影響を与えることはありません。
NVIDIA Researchによる神経再構築方法のプレビューは、この記録されたデータを完全に反応的で変更可能な世界に変えます—デモのように、最初に記録された車を通り過ぎて運転しているバンを再現して、代わりに右に曲がることができます。 この革新的なアプローチにより、閉ループテストとAVスタックとそれが駆動する世界との間の完全な相互作用が可能になります。
プロセスは、記録された運転データから始まります。 AIは、シーン内の動的オブジェクトを識別し、それらを削除して、新しいビューからレンダリングできる3D環境の正確なレプリカを作成します。 次に、動的オブジェクトが3Dシーンに再挿入され、現実的なAIベースの動作と物理的な外観が使用され、照明と影が考慮されます。
次に、AVシステムがこの仮想世界を駆動し、シーンがそれに応じて反応します。 現実のシーンの一部であるかのようにレンダリングされ、環境と物理的に相互作用できる他の仮想オブジェクト、車両、歩行者を挿入することにより、拡張現実によってシーンをより複雑にすることができます。
カメラやLIDARを含む車両のすべてのセンサーは、AIを使用してシーン内でシミュレートできます。
可能性の仮想世界
これらの新しいアプローチは、レンダリング、グラフィックス、AIに関するNVIDIAの専門知識によって推進されています。
モジュラープラットフォームとして、DRIVE Simは、決定論的シミュレーションの基盤でこれらの機能をサポートします。 車両動力学、AIベースの交通モデル、シナリオツール、および必要なツールを構築するための包括的なSDKを提供します。
これらの2つの強力な新しいAIメソッドを使用すると、開発者は現実の世界から仮想の世界に簡単に移動して、AVの開発と展開を高速化できます。