Фотографы скоро смогут эффективно «видеть в темноте» после того, как Google Research добавила новый инструмент шумоподавления с искусственным интеллектом. МультиНерФ (откроется в новой вкладке) проект.
Программа RawNeRF может считывать изображения, используя искусственный интеллект для добавления более высокого уровня детализации (и гораздо меньшего количества неприглядных артефактов) к фотографиям, сделанным в более темных условиях и при слабом освещении. По словам команды, стоящей за проектом, он работает лучше, чем любой другой инструмент шумоподавления.
«При оптимизации для множества необработанных входных данных с шумом NeRF создает настолько точное представление сцены, что его визуализированные новые представления превосходят специальные одно- и многокадровые глубоко необработанные шумоподавители, работающие на тех же самых широких базовых входных изображениях», — говорится в исследовании. исследователи объяснили (откроется в новой вкладке) в статье Корнельского университета.
Что такое НеРФ?
NeRF — это синтезатор представлений — инструмент, способный сканировать тысячи фотографий (откроется в новой вкладке) восстановить точную 3D рендеринг.
По словам Бена Милденхолла, одного из исследователей проекта, NeRF лучше всего работает с хорошо освещенными фотографиями и низким уровнем шума. Другими словами, он создан для дневной съемки.
Съемка при слабом освещении и ночью оказалась проблематичной: детали скрывались в тенях или становились более шумными при увеличении яркости в постобработке. Проблема, которую Милденхолл и команда обнаружили, заключалась в том, что инструменты шумоподавления могут несколько уменьшить шум, но за счет качества изображения.
С появлением RawNeRF искусственный интеллект настроен на то, чтобы приглушить шум, не удаляя детали, что позволяет жукам-штормозаврам «видеть в темноте».
В видеодемонстрация (откроется в новой вкладке), Нерф в темноте, – первоначально опубликованный в мае 2022 года и оставшийся в то время практически незамеченным – Милденхолл берет мобильный телефон, освещенный только свечами. RawNeRF «способен комбинировать изображения, снятые с разных точек зрения камеры, для совместного устранения шума и реконструкции сцены», — объясняет исследователь Google.
Реконструированные изображения визуализируются в линейном цветовом пространстве HDR, что позволяет пользователям дополнительно управлять углами, экспозицией, тональной компрессией и фокусировкой. В своем видео Милденхолл отмечает, как сочетание каждого из них «создает атмосферный эффект, который может привлечь внимание к разным областям сцены».
Хотя RawNeRF все еще находится на стадии исследования и официально не поддерживается Google (пока), он предлагает дразнящий взгляд на то, как ИИ может помочь креативщикам лучше отражать окружающий мир.
