站長之家(ChinaZ.com) 7月11日 消息:Netflix 利用機器學習技術改進了影視制作中的合成技術。他們提出了一種名為 "Magenta Green Screen" 的方法，通過在拍攝現場使用大量紅色和藍色光線照明演員，再使用機器學習模型將丟失的綠色通道恢復。這種方法簡化了合成過程，使得合成的效果更加準確和清晰。

圖片來源:Netflix

然而，這種方法需要在拍攝現場用花哨的洋紅色照明演員，因此可能會對演員和制作人員造成困擾。

該技術的巧妙之處在于，通過將前景設為紅色/藍色，將背景設為綠色，簡化了分離兩者的過程。普通相機通常會捕捉這些顏色，但會捕捉紅色、藍色和 Alpha。這使得生成的遮罩極其準確，消除了必須將全頻譜輸入與有限頻譜關鍵背景分離而產生的偽影。

當然，他們似乎只是用一個困難代替了另一個困難:現在合成的過程很容易，但恢復洋紅色照明對象的綠色通道卻很困難。

圖片來源:Netflix

由于主題和構圖不同，因此必須系統地、適應性地完成，但注入綠色的“天真的”線性方法會導致褪色、淡黃色的外觀。而這個難題則由人工智能來解決。

該團隊根據自己的訓練數據訓練了一個機器學習模型，本質上是對類似場景的“排練”，但燈光正常。卷積神經網絡被給予全光譜圖像的補丁來與洋紅色的圖像進行比較，并開發出一種以比簡單算法更智能的方式快速恢復丟失的綠色通道的過程。

這一模型讓色彩在后期中可以得到完美的復原，但演員和布景必須以這種可怕的方式進行照明。不少演員抱怨這種光照方式太刺眼且難以忍受。

最新的論文顯示，以上的照明問題也可以解決，只要每秒多次打開和關閉洋紅色/綠色照明。研究發現，每秒24次（即大多數電影和電視拍攝的幀速率）會分散注意力，但如果他們更快地打開燈光——如每秒144次——那么它看起來“幾乎是恒定的”。盡管還存在一些技術挑戰，但這種創新的合成方法為影視制作帶來了新的可能性。