合成のプロセス、つまり実際には存在しない背景の前に俳優を配置するプロセスは、映画制作自体と同じくらい古くからあり、常に苦痛を伴いました。 Netflixは、機械学習に依存して難しい作業の一部を行う新しい技術を導入しているが、それには俳優を派手なマゼンタで照明する必要がある。
何十年もの間、合成の最も簡単な方法はクロマキーイングでした。この方法では、俳優が明るい色の背景（当初は青、後に緑）を背景に立っており、天気図からサノスとの戦いまで、簡単に識別して置き換えることができます。 前景は「マット」であると言われ、背景は赤、緑、青のチャネルとともに操作される透明な「アルファ」チャネルです。
これは簡単で安価ですが、いくつかの欠点があります。その中には、透明なオブジェクト、髪などの細かい部分、そしてもちろん背景と同系色のその他のものに関する問題があります。 しかし、通常はこれで十分なので、これをより洗練された高価な方法 (ライト フィールド カメラなど) に置き換える試みは停滞しています。
しかし、Netflixの研究者らは、新旧を組み合わせてシンプルで完璧な合成を実現できる可能性があることに挑戦しているが、その代償として現場での地獄のような照明設定が必要になる。
最近出版された論文で説明されているように、彼らの「マゼンタ グリーン スクリーン」は、基本的に俳優を照明のサンドイッチに置くことによって印象的な結果を生み出します。 それらの後ろには、明るい緑色（背景ではなく、アクティブに点灯しています）。 正面には赤と青が混ざり、ドラマチックなコントラストを生み出しています。
俳優は緑色のスクリーンを背景にマゼンタ色に光ります。 画像クレジット: Netflix
撮影現場での仕上がりは、最も熟練したポストプロダクション アーティストでも躊躇してしまう可能性があります。 通常、かなり自然な光で俳優を明るく照らしたいと考えます。そのため、ところどころ少しパンチを加える必要があるかもしれませんが、カメラ内の俳優の外観は比較的普通です。 しかし、赤と青の光だけで照らされると、その見た目は完全に歪んでしまいます。もちろん、通常の光ではスペクトルの大きな部分がカットされていないからです。
しかし、このテクニックは、前景を赤/青のみ、背景を緑のみにすることで、2 つを分離するプロセスを簡素化するという点でも賢明です。 通常これらの色をキャプチャする通常のカメラは、代わりに赤、青、アルファをキャプチャします。 これにより、結果として得られるマットが非常に正確になり、スペクトルが制限されたキーの背景からフルスペクトルの入力を分離する必要があることから生じるアーティファクトがなくなりました。
もちろん、ある困難を別の困難に置き換えただけのようです。合成のプロセスは簡単になりましたが、マゼンタに照らされた被写体にグリーン チャンネルを復元するのは困難です。
被写体や構図が異なるため、体系的かつ適応的に行う必要がありますが、緑色を注入する「単純な」直線的なアプローチでは、色褪せた黄色がかった外観が得られます。 どうすれば自動化できるのでしょうか？ AIが助けてくれます！
チームは、基本的には同様のシーンを通常通りに撮影した「リハーサル」テイクである、独自のトレーニング データに基づいて機械学習モデルをトレーニングしました。 畳み込みニューラル ネットワークには、マゼンタに照らされた画像と比較するためのフルスペクトル画像のパッチが与えられ、単純なアルゴリズムよりもインテリジェントな方法で、失われた緑のチャネルを迅速に復元するプロセスを開発します。
単純なアルゴリズムでは悪い結果が得られますが (上)、より洗練された ML モデルではグラウンド トゥルースに非常に似た色が生成されます。 画像クレジット: Netflix
そのため、ポストでは色を驚くほどうまく復元できます（カメラ内のグラウンドトゥルースと「事実上区別がつきません」）。しかし、俳優とセットがこの恐ろしい方法で照明されなければならないという問題はまだ残っています。 多くの俳優はすでに、グリーン スクリーンの前で仕事をすることがいかに不自然であるかについて不満を抱いています。過酷で非人間的な光に照らされながらそれを行うことを想像してみてください。
ただし、この論文では、照明を「時間多重化」する可能性によってこれに対処しており、本質的にはマゼンタ/緑色の照明を 1 秒間に複数回オン/オフすることができます。 これは、1 秒あたり 24 回 (つまり、ほとんどの映画やテレビが撮影されるフレームレート) を行うと気が散ります (危険ですらあります) が、照明の切り替えがより速くなると (1 秒あたり 144 回)、「ほぼ一定」に見えます。
ただし、これにはカメラとの複雑な同期が必要で、シーンがマゼンタになっている一瞬の間の光のみを捉える必要があります。 そして、モーションの欠落フレームも考慮する必要があります…
ご覧のとおり、これはまだ非常に実験的なものです。 しかし、これは、メディア制作における長年の問題に、斬新でハイテクなアプローチで取り組む興味深い方法でもあります。 これは 5 年前には不可能でした。撮影現場で採用されるかどうかはわかりませんが、試してみる価値があることは明らかです。