Журнал ART-Потяг

Нейромережі у кіно

Алгоритми пидбирають каст і пишуть сценарії.


Завдяки нейромережам відео про Нью-Йорк 1911 року можна подивитись у кольорі і високій роздільній здатності. Але алгоритми допомагають не тільки реставрувати старі фільми. Нейромережі використовують на всіх етапах кіновиробництва - для передбачення касових зборів, підбору акторів, створення звукових ефектів.

Розповідаємо, як алгоритми змінюють кіноіндустрію.

Рахуємо касові збори


Warner Brothers стала першою великою кіностудією, яка почала застосовувати машинне навчання при плануванні зйомок. У січні 2020 вона підписала угоду про співпрацю з стартапом Cinelytic, який також працює зі студією STX Entertainment. Він надає ПЗ, яке аналізує прокатні показники фільмів.

Для навчання нейромережі в Cinelytic завантажили дані про касові збори фільмів, покази на платних каналах, кількість DVD-копій, а також популярність картин на піратських файлообмінниках. Потім інформацію згрупували за трьома категоріями: актори, режисери і жанри.

Система аналізує 19 факторів, які впливають на просування фільму і показує, як кожен фактор змінює прогноз. Наприклад, що трапиться з касовими зборами, якщо замінити актора в головній ролі або скоротити тривалість фільму.

У стартапі підкреслюють, що Cinelytic не втручається в сценарій або творчу частину. Це бізнес-інструмент, який допомагає оптимізувати витрати.

У Голлівуді зараз ставлять на фільми з дорогими спецефектами і франшизи - попит на них легше аналізувати. Але Cinelytic може вказати продюсерам, як побудувати маркетинг або провести кастинг, щоб дати шанс артхаусним або експериментальним фільмам.

Передбачити можна навіть відгуки критиків. Нейромережі часто використовують для прогнозування фаворитів «Оскара». Наприклад, компанія BigML проаналізувала 1288 фільмів з 2000 по 2019 рік, враховуючи рейтинги на порталах iMDB і Metascore, а також наявність інших кінонагород, наприклад, премій BAFTA і «Золотий глобус». Нейромережа визначила 5 з 8 переможців.

Алгоритми системи Bing від Microsoft теж роблять прогнози і пророкують лауреатів Оскара. У 2013 році Bing вгадав 19 з 24 переможців, в 2014 році поліпшив точність до 21 з 24, а в 2018 році назвав 16 лауреатів з 17 (точність прогнозу склала 94%).

Lights, camera, data loading


Найвідоміше застосування нейромереж на зйомках - технологія заміни осіб deepfake. Вона допомагає створювати сцени з померлими акторами або міняти вік героїв, як це робили в кіновсесвіті Marvel або в «Ірландці» Скорсезе. Дія «Ірландця» охоплює 50 років, тому головні герої з'являються у кадрі в різному віці. Але підхід режисера виключав мокап або сцени з застосуванням хромакея.

Тому для обробки фільму створили програму Flux, яка збирала кадри і створювала маски для осіб акторів. Щоб «омолодити» Де Ніро, Пачіно і Пеші, команда створила каталоги для зображень окремих частин особи (очі, носи, вилиці). Ці каталоги порівнювали з кадрами з фільмів, де актори грали, коли були у відповідному віці. Також для проекту розробили нейромережу, яка переглядала архів і знаходила ідеальну відповідність. В результаті постпродакшеном фільму займалися два роки, а бюджет картини виріс.


Існуює також ПЗ, яке спрощує створення візуальних ефектів. Компанія Digital Domain, співзасновник якої - режисер Джеймс Кемерон, використовує нейромережі для фіксації особливостей рухів і мови акторів. Компанія записує всі можливі вирази обличчя десятками камер, використовуючи кілька сотень джерел світла. Потім інформацію обробляють, і Digital Domain відтворює в цифровому вигляді образ актора. Серед відомих робіт - зовнішність Таноса з «Месників» або особа Бреда Пітта у різному віці для «Загадковій історії Бенджаміна Баттона».

Зміни відбуваються і у звуковому дизайні. Співробітники MIT створили штучний інтелект, який здатний вгадати і згенерувати звук з кадрів відео. Вчені сподіваються застосовувати  ШІ  для навчання роботів, але також відзначають, що його можна використовувати для телебачення й кіно. Більшість звукових ефектів і «шумів» насправді відбуваються не в кадрі, а записуються у студії.

На відео без звуку людина стукає по дереву або шарудить листям, а нейромережа розпізнає, що відбувається, і підбирає ідентичне звучання. Для створення технології у нейромережу завантажили майже 1 тис. роликів, в яких люди взаємодіють з матеріалами. Нейромережі згодували понад 46 тис. дій, які розмітили в залежності від місця, способу дотику і його типу (дряпання, удар, тертя). Щоб перевірити ефективність алгоритму, творці провели онлайн-опитування. Учасники переглянули відео з природним звуком і звуком, створеним ШІ. В результаті у 40% випадків люди не відрізняли згенеровані звуки від справжніх.


Штучний інтелект може і сам створювати сценарії і знімати фільми.

Найвідоміший «машинний режисер» - нейромережа Бенджамін. Вона написала сценарій, діалоги і підібрала для кадрів вирази облич акторів, а потім змонтувала фільм за 48 годин з тисяч епізодів інших картин. Вийшов фільм жахів Zone Out. Він вийшов у 2018 році, але не відрізнявся зрозумілим сюжетом.


У 2020 році український програміст Володимир Алєксєєв теж створив фільм використовуючи тільки нейромережі. За допомогою нейромережі GPT-2 згенерував текст, а саундтрек зробила програма JukeBox, він створив фільм «Порожня кімната».



Постпродакшн і стрімінги


Кінокомпанія 20th Century Fox використовує нейромережу Merlin Video для підбору кадрів трейлера. Система шукає ключові елементи у трейлері (машини, дерева, люди, вибухи) і зазначає частоту їх появи. Також Merlin аналізує домінуючі кольори, швидкість зміни кадрів і те, яким планом знятий трейлер, що допомагає нейромережі визначити жанр фільму. Потім Merlin порівнює відео з іншим трейлером. Якщо збігів багато, нейромережа надає список стрічок, які зняті у подібному стилі і теж можуть сподобатися глядачеві.

Стрімінгові сервіси використовують машинне навчання для поліпшення алгоритмів рекомендацій. Netflix впровадив ML ще в 2006 році. Про ефективність такого підходу свідчить те, що 80% відео на сервісі переглянуто через системи рекомендацій, а не за конкретним запитом користувача.

Більшість рекомендацій засновані на двох типах даних: оцінки і поведінки споживача (наприклад, як довго він дивився серіал, в який час, скільки серій). Netflix ділить користувачів на 2000 груп. Крім алгоритму підбору, користувачі отримують персоналізовані постери до серіалів і фільмів, а також в описі продукту кадри з передач підбирають, проаналізувавши технічні показники картинок (яскравість, насиченість, контраст) і естетичні (композиційну рівновагу).

У користувачів Hulu є більше можливостей керувати алгоритмами пошуку. У мобільному додатку стрімінга можна виключати вміст з повторних рекомендацій, а також видаляти фільм з історії переглядів. Тоді нейромережа Hulu забуде, що клієнт його вже дивився.

Стрімінговий сервіс Disney + запустився тільки в 2019 році, але у нього є переваги перед проектами, які давно на ринку. У жовтні 2020 року Disney оголосив про реорганізацію бізнесу: тепер пріоритетом буде онлайн-стрімінг, а не прем'єри у кінотеатрах. Disney належить кілька кіностудій, телеканали (ABS, ESPN), парки розваг і готелі. Це дозволяє збирати набагато більше інформації про поведінку клієнтів і об'єднувати переваги цілої сім'ї, не обмежуючись даними про перегляди. Поки складно судити, наскільки це допоможе Disney + створити унікальні рекомендації, але у інших стрімінга немає можливості зібрати такі дані.

Джерело: robot_dreams
Мистецтво Технологія Гроші