Мета и группа исследователей из Техасского университета в Остине (UT Austin) работают над переносом реалистичного звука в метавселенную.
В качестве Кристен Гаруман, директор по исследованиям Meta AI, объясняет: (откроется в новой вкладке), дополненная и виртуальная реальность (AR и VR соответственно) — это больше, чем просто визуальные эффекты. Звук играет очень важную роль в оживлении мира. Гаруман говорит, что «аудио формируется средой, которая [it’s] в.” Существуют различные факторы, влияющие на поведение звука, такие как геометрия комнаты, что находится в указанной комнате и насколько далеко кто-то находится от источника.
Чтобы достичь этого, Мета планирует использовать очки дополненной реальности для записи аудио и видео из одного места, а затем, используя набор из трех моделей искусственного интеллекта, преобразовать и очистить запись, чтобы при ее воспроизведении казалось, что это происходит прямо перед вами. дома. ИИ будут учитывать комнату, в которой вы находитесь, чтобы она могла соответствовать окружающей среде.
Глядя на проекты, кажется, что Meta фокусируется на очках дополненной реальности. План Meta в отношении гарнитур виртуальной реальности включает в себя воспроизведение изображений и звуков окружающей среды, например, концерта, так что создается впечатление, что вы находитесь там лично.
Мы спросили Мета, как люди могут слушать улучшенный звук. Людям понадобится пара наушников, чтобы слушать, или они будут исходить от гарнитуры? Мы не получили ответа.
Мы также спросили у Meta, как разработчики могут получить доступ к этим моделям ИИ. Они были сделаны с открытым исходным кодом, чтобы сторонние разработчики могли работать над технологией, но Meta не предоставила никаких дополнительных подробностей.
Преобразовано ИИ
Вопрос в том, как Meta может записывать звук на пару очков дополненной реальности и отображать новые настройки.
Первое решение известно как AViTAR. «Модель визуально-акустического сопоставления». (откроется в новой вкладке) Это ИИ, который преобразует звук в соответствии с новой средой. Мета приводит пример матери, записывающей танцевальное выступление своего ребенка в зрительном зале с помощью очков дополненной реальности.
Один из исследователей утверждает, что рассматриваемая мать может взять эту запись и воспроизвести ее дома, где ИИ преобразует звук. Он будет сканировать окружающую среду, учитывать любые препятствия в комнате и воспроизводить сольный концерт так, как будто он происходит прямо перед ней в тех же очках. Исследователь утверждает, что звук будет исходить от очков.
Чтобы помочь очистить звук, есть Визуально-информированная дереверберация (откроется в новой вкладке). По сути, он убирает из клипа отвлекающую реверберацию. Приведенный пример — запись скрипичного концерта на вокзале, принесение его домой, и ИИ очистит клип, чтобы вы не слышали ничего, кроме музыки.
Последняя модель ИИ VisualVoice (откроется в новой вкладке), который использует комбинацию визуальных и звуковых сигналов, чтобы отделить голоса от других шумов. Представьте, что вы записываете видео, на котором два человека спорят. Этот ИИ изолирует один голос, чтобы вы могли его понять, заглушая все остальные. Мета объясняет, что визуальные подсказки важны, потому что ИИ нужно видеть, кто говорит, чтобы понимать определенные нюансы и знать, кто говорит.
Что касается визуальных эффектов, Meta заявляет, что они планируют добавить видео и другие подсказки для дальнейшего улучшения звука, управляемого ИИ. Поскольку эта технология все еще находится на ранней стадии разработки, неизвестно, перенесет ли Meta эти ИИ в ближайшую к вам гарнитуру Quest и если да, то когда.
Обязательно прочитайте наш последний обзор на Окулус Квест 2 если вы думаете о покупке одного. Спойлер: нам нравится.
