صفحه سبز نتفلیکس با کمک هوش مصنوعی بازیگران را با رنگ سرخابی چشم نواز حمام می کند

روند ترکیب، یا قرار دادن بازیگران در مقابل پس‌زمینه‌ای که در واقع وجود ندارد، به قدمت خود فیلمسازی است – و همیشه دردناک بوده است. نتفلیکس تکنیک جدیدی دارد که برای انجام برخی از کارهای سخت به یادگیری ماشینی متکی است، اما نیاز به نورپردازی بازیگران در رنگ سرخابی پر زرق و برق دارد.

برای چندین دهه، ساده‌ترین روش ترکیب بندی، کلید زدن کروما بود، که در آن بازیگران در مقابل پس‌زمینه‌ای با رنگ روشن (در ابتدا آبی، بعداً سبز) قرار می‌گیرند که به راحتی قابل شناسایی و جایگزینی با هر چیزی از نقشه آب‌وهوا گرفته تا نبرد با تانوس است. گفته می‌شود که پیش‌زمینه «مات» است و پس‌زمینه یک کانال «آلفا» شفاف است که همراه با کانال‌های قرمز، سبز و آبی دستکاری شده است.

این آسان و ارزان است، اما چند جنبه منفی نیز در این مورد وجود دارد، از جمله مشکلات اشیاء شفاف، جزئیات ظریف مانند مو و البته هر چیز دیگری با رنگ مشابه پس زمینه. با این حال، معمولاً به اندازه کافی خوب است که تلاش‌ها برای جایگزینی آن با روش‌های پیچیده‌تر و گران‌قیمت‌تر (مانند دوربین میدان نوری) کمرنگ شده است.

با این حال، محققان نتفلیکس با ترکیبی از قدیمی و جدید که می‌تواند ترکیب ساده و بی‌نقصی را ایجاد کند – به قیمت یک تنظیم نور جهنمی در صحنه، از آن استفاده می‌کنند.

همانطور که در مقاله اخیراً منتشر شده توضیح داده شده است، “صفحه سبز سرخابی” آنها با قرار دادن بازیگران در یک ساندویچ نورپردازی، نتایج چشمگیری ایجاد می کند. پشت آنها، سبز روشن (به طور فعال روشن، نه یک پس زمینه)؛ در جلو، ترکیبی از قرمز و آبی، رنگ‌های متضاد چشمگیری را ایجاد می‌کند.

بازیگران با رنگ سرخابی مقابل صفحه سبز روشن می شوند. اعتبار تصویر: نتفلیکس

ظاهری که در سر صحنه به دست می‌آید احتمالاً حتی باتجربه‌ترین هنرمند پس از تولید را نیز ناامید می‌کند. معمولاً شما می خواهید بازیگران خود را با نور نسبتاً طبیعی روشن کنید، بنابراین اگرچه آنها ممکن است به کمی مشت زدن از اینجا و آنجا نیاز داشته باشند، اما ظاهر آنها در دوربین نسبتاً عادی است. اما اگر آنها منحصراً با نور قرمز و آبی روشن شوند، ظاهر را کاملاً مخدوش می کند، زیرا طبیعتاً نور معمولی بخش بزرگی از طیف خود را قطع نمی کند.

اما این تکنیک همچنین از این نظر هوشمندانه است که با ساختن پیش‌زمینه فقط قرمز/آبی و پس‌زمینه فقط سبز، فرآیند جداسازی این دو را ساده می‌کند. یک دوربین معمولی که معمولا آن رنگ ها را می گیرد، قرمز، آبی و آلفا را می گیرد. این مات های به دست آمده را بسیار دقیق می کند و فاقد مصنوعاتی است که از جدا کردن ورودی طیف کامل از پس زمینه کلید با طیف محدود به دست می آیند.

البته به نظر می‌رسد که آنها فقط یک مشکل را جایگزین مشکل دیگر کرده‌اند: فرآیند ترکیب اکنون آسان است، اما بازگرداندن کانال سبز به سوژه‌های با نور سرخابی دشوار است.

این کار باید به‌طور سیستماتیک و سازگار انجام شود، زیرا موضوعات و ترکیب‌بندی‌ها متفاوت هستند، اما یک رویکرد خطی «ساده‌انگیز» برای تزریق سبز منجر به ظاهری زرد و زرد می‌شود. چگونه می توان آن را خودکار کرد؟ هوش مصنوعی به نجات!

این تیم یک مدل یادگیری ماشینی را بر روی داده‌های آموزشی خود آموزش دادند که اساساً صحنه‌های مشابه را «تمرین» می‌کردند، اما به طور معمول روشن می‌شدند. به شبکه عصبی کانولوشن تکه‌هایی از تصویر طیف کامل داده می‌شود تا با آن‌هایی که با نور سرخابی مقایسه شوند، و فرآیندی را برای بازیابی سریع کانال سبز از دست رفته به روشی هوشمندتر از یک الگوریتم ساده توسعه می‌دهد.

یک الگوریتم ساده منجر به نتایج ضعیف می شود (بالا) در حالی که یک مدل ML پیچیده تر رنگ هایی بسیار شبیه به حقیقت زمین تولید می کند. اعتبار تصویر: نتفلیکس

بنابراین، رنگ را می‌توان به طرز شگفت‌آوری به خوبی در پست بازیابی کرد (عملاً از حقیقتی که در دوربین وجود دارد، قابل تشخیص نیست) – اما هنوز مشکل بازیگران و مجموعه‌ها وجود دارد که باید به این شیوه وحشتناک روشن شوند. بسیاری از بازیگران قبلاً از غیرطبیعی بودن کار در مقابل یک صفحه سبز شکایت دارند – تصور کنید این کار را در حالی که در یک نور خشن و غیرانسانی روشن است انجام دهید.

با این حال، مقاله به این موضوع می پردازد، با امکان “زمان مولتی پلکس کردن” روشنایی، که اساساً نور سرخابی/سبز را چندین بار در ثانیه روشن و خاموش می کند. انجام این کار 24 بار در ثانیه حواس‌پرتی (حتی خطرناک) است (یعنی نرخ فریمی که اکثر فیلم‌ها و تلویزیون‌ها فیلم‌برداری می‌شوند)، اما اگر آنها چراغ را سریع‌تر روشن کنند – 144 بار در ثانیه – “تقریبا ثابت” به نظر می‌رسد.

با این حال، این نیاز به یک هماهنگی پیچیده با دوربین دارد، که فقط باید در لحظات کوتاهی که صحنه سرخابی است، نور را جذب کند. و آنها باید برای فریم های از دست رفته برای حرکت نیز حساب کنند…

همانطور که می توانید بگویید، این هنوز هم بسیار تجربی است. اما همچنین روشی جالب برای مقابله با یک مشکل قدیمی در تولید رسانه با رویکردی جدید و پیشرفته است. این کار پنج سال پیش ممکن نبود، و اگرچه ممکن است در صحنه فیلمبرداری پذیرفته شود یا نشود، اما به وضوح ارزش امتحان کردن را دارد.