Технологии Nvidia могут помочь в обучении роботов и беспилотных автомобилей, а также в более простом создании 3D-настроек для игр и анимации.
Nvidia предприняла еще одну попытку добавить глубины мелкой графике. После преобразования 2D-изображений в 3D-сцены, модели и видео компания сосредоточилась на редактировании. Сегодня производитель графических процессоров представил новый метод искусственного интеллекта, который преобразует неподвижные фотографии в трехмерные объекты, которые создатели могут легко модифицировать. Исследователи Nvidia разработали новый конвейер обратного рендеринга, Nvidia 3D MoMa, который позволяет пользователям реконструировать серию неподвижных фотографий в трехмерную компьютерную модель объекта или даже сцену. Ключевым преимуществом этого рабочего процесса по сравнению с более традиционными методами фотограмметрии является его способность выводить чистые 3D-модели, которые можно импортировать и редактировать прямо из коробки с помощью 3D-игр и визуальных движков.
Согласно отчетам, другие программы фотограмметрии будут преобразовывать 2D-изображения в 3D-модели, а технология 3D MoMa от Nvidia делает еще один шаг вперед, создавая сетку, материал и информацию об освещении объектов и выводя ее в формате, совместимом с существующими 3D-графическими движками. инструменты для моделирования. И все это делается в относительно короткие сроки: Nvidia заявляет, что 3D MoMa может генерировать модели треугольной сетки в течение часа с использованием одного графического процессора Nvidia Tensor Core.
Дэвид Лубке, вице-президент Nvidia по исследованиям в области графики, описывает эту технику в India Today как «Святой Грааль, объединяющий компьютерное зрение и компьютерную графику».
«Сформулировав каждую часть обратной задачи рендеринга как дифференцируемый компонент с ускорением на GPU, конвейер рендеринга NVIDIA 3D MoMa использует механизмы современного ИИ и чистую вычислительную мощность графических процессоров NVIDIA для быстрого создания 3D-объектов, которые создатели могут импортировать, редактировать, и без ограничений расширять существующие инструменты», — сказал Любеке.
При этом Nvidia заявляет, что ее технология является «одной из первых моделей такого рода, сочетающих сверхбыстрое обучение нейронной сети и быстрый рендеринг». Как упоминалось в его блоге, Instant NeRF может изучить 3D-сцену с высоким разрешением за секунды и «может визуализировать изображения этой сцены за несколько миллисекунд». Это рекламируется как «ускорение более чем в 1000 раз», чем обычные процессы NeRF, наблюдаемые на сегодняшний день.
Что такое НРФ?
Согласно Nvidia, NeRF используют нейронные сети для представления и рендеринга реалистичных 3D-сцен на основе входной коллекции 2D-изображений. Сбор данных для NeRF немного похож на работу фотографа с красной ковровой дорожки, пытающегося запечатлеть наряд знаменитости со всех сторон — нейронной сети требуется несколько десятков изображений, сделанных с разных точек сцены, а также положение камеры каждого из них. те выстрелы.
В сцене, в которой есть люди или другие движущиеся элементы, чем быстрее будут сняты эти кадры, тем лучше. Если в процессе захвата 2D-изображения слишком много движения, 3D-сцена, созданная искусственным интеллектом, будет размытой. Оттуда NeRF по существу заполняет пробелы, обучая небольшую нейронную сеть реконструировать сцену, предсказывая цвет света, излучаемого в любом направлении из любой точки трехмерного пространства. Этот метод может даже работать с окклюзиями — когда объекты, видимые на некоторых изображениях, блокируются препятствиями, такими как столбы на других изображениях.
Эту технологию можно использовать для обучения роботов и беспилотных автомобилей понимать размер и форму объектов реального мира путем захвата их 2D-изображений или видеозаписей. Его также можно использовать в архитектуре и развлечениях для быстрого создания цифровых представлений реальных сред, которые создатели могут изменять и использовать. Помимо NeRF, исследователи NVIDIA изучают, как этот метод кодирования ввода можно использовать для ускорения решения множества задач ИИ, включая обучение с подкреплением, языковой перевод и алгоритмы глубокого обучения общего назначения.
Больше популярных историй
- Биткойн добавил 13 тысяч «Wholecoiners» на прошлой неделе! Умные инвесторы покупали падение
- Новая техника компьютерного зрения может восстанавливать 3D-информацию из 2D-изображений
- Обзор глубокого обучения с подкреплением
- Почему символический ИИ чрезвычайно важен для бизнес-операций?
- Человек в цикле Машинное обучение может спасти вас от ловушки данных
- JHipster может дать преимущество вашим Java-проектам с полным стеком
- 10 лучших акций NFT, которые стоит купить и держать навсегда
Сообщение «Новая модель искусственного интеллекта Nvidia может преобразовывать неподвижные изображения в 3D-графику» впервые появилось на .
