自律走行車のシミュレーションには 2 つの課題があります。1 つは、AI ドライバーがシミュレーションを現実のものとして認識するのに十分な詳細とリアリズムを備えた世界を生成すること、もう 1 つは、AI ドライバーが完全にトレーニングを受ける必要があるすべてのケースをカバーするのに十分な規模でシミュレーションを作成することです。そしてテストされました。
これらの課題に対処するために、NVIDIA の研究者は、現実世界のデータから直接シミュレーションを構築するための新しい AI ベースのツールを作成しました。 NVIDIA の創業者兼 CEO であるジェンスン フアン (Jensen Huang) は、 GTC 基調。
https://www.youtube.com/check out?v=PWcNlRI00jo
この研究には、先月開催されたコンピュータ グラフィックス カンファレンスである SIGGRAPH で最初に公開された、受賞歴のある作品が含まれています。
ニューラル再構築エンジン
Neural Reconstruction Motor は、 NVIDIA Drive シム 複数の AI ネットワークを使用して、記録されたビデオ データをシミュレーションに変換するシミュレーション プラットフォーム。
新しいパイプラインは AI を使用して、環境、3D アセット、シナリオなど、シミュレーションに必要な主要コンポーネントを自動的に抽出します。 これらの断片は、データ記録のリアリズムを備えたシミュレーション シーンに再構築されますが、完全に反応的で、必要に応じて操作できます。 このレベルの詳細と多様性を手動で実現するには、コストと時間がかかり、拡張性がありません。
環境と資産
シミュレーションには、動作する環境が必要です。 AI パイプラインは、現実世界のドライブからの 2D ビデオ データを、DRIVE Sim にロードできる動的な 3D デジタル ツイン環境に変換します。
Generate Sim AI パイプラインは、同様のプロセスに従って他の 3D アセットを再構築します。 エンジニアは、アセットを使用して現在のシーンを再構築したり、アセットのより大きなライブラリにそれらを配置して、任意のシミュレーションで使用したりできます。
資産収集パイプラインを使用することは、DRIVE Sim ライブラリを成長させ、現実世界の多様性と分布に確実に一致させるための鍵です。
シナリオ
シナリオは、アセットと組み合わされた環境でのシミュレーション中に発生するイベントです。
Neural Reconstruction Engine は、AI ベースの動作をシーン内のアクターに割り当てます。これにより、元のイベントが提示されたときに、実際のドライブで行ったのとまったく同じように動作します。 ただし、AI の動作モデルがあるため、シミュレーション内のフィギュアは、AV やその他のシーン要素による変化に反応することができます。
これらのシナリオはすべてシミュレーションで発生しているため、操作して新しい状況を追加することもできます。 イベントの時間と場所は変更される場合があります。 開発者は、ボールを追いかける子供を下のシーンに追加するなど、シナリオをより挑戦的なものにするために、合成または本物のまったく新しい要素を組み込むこともできます.
Push Sim への統合
環境、アセット、およびシナリオが抽出されると、DRIVE Sim で再構築されて、記録されたシーンの 3D シミュレーションが作成されるか、他のアセットと混合されてまったく新しいシーンが作成されます。
Push Sim は、開発者が動的オブジェクトと静的オブジェクト、車両の経路、車両センサーの位置、向き、パラメーターを調整するためのツールを提供します。
Generate Sim の同じシーンを使用して、事前にラベル付けされた合成データを生成し、認識システムをトレーニングします。 再作成されたシーンの上にランダム化が適用され、トレーニング データに多様性が追加されます。 現実世界のデータからシーンを構築すると、シミュレーションと現実のギャップが大幅に減少します。
シミュレーション形式を組み合わせて一致させる機能は、AV を大規模に包括的にテストおよび検証する上で大きな利点となります。 エンジニアは、応答性が高く、ニーズに正確に一致する世界でイベントを操作できます。
Neural Reconstruction Engine は NVIDIA の研究チームの成果であり、DRIVE Sim の将来のリリースに統合される予定です。 このブレークスルーにより、開発者は同じクラウドベースのプラットフォームで物理ベースとニューラル駆動の両方のシミュレーションを利用できるようになります。