Что такое смешанная реальность

В ноябре мы подробно рассказали все, что нужно знать про VR/AR технологии. Но на самом деле это не все. Есть еще третий вид — смешанная реальность (англ. Mixed reality, MR). Это симбиоз VR и AR, который умеет влиять на происходящее в реальном мире. Сложно. Мы не википедия, но сейчас все объясним. Сегодня забираем, что такое смешанная реальность.

Виртуальная реальность — это полностью вымышленный мир. Его создают алгоритмы. Допуск в этот мир дают иммерсивные гаджеты: шлемы, перчатки, наушники, иные имитаторы, которые полностью проектируют окружение. Человек не взаимодействует с реальным миром, VR полностью его отсекает. Каких-либо физических изменений не происходит, VR не меняет действительность. Но с помощью устройств ввода пользователи могут влиять на VR и добиваться в нем изменений. Например, отстреливать чудовищ в джунглях или взрывать корабли пришельцев в космосе.

Парк виртуальной реальности The Void. Участники надевают шлемы и оказываются в джунглях Джуманджи. Иммерсивные устройства проецируют все действия игроков в виртуальный мир, действительность при этом не меняется.

Дополненная реальность — это реальный мир, на который наложены виртуальные слои. Физическая среда частично меняется для пользователя — в ней появляются трехмерные фигуры, добавленные устройством. Обычно для этого достаточно смартфона. Работает так: камера считывает окружение → алгоритмы добавляют объекты → пользователь видит на экране полную картинку с реальным миром и объектами. Вспомните, как все болели игрой Pokemon Go — самый известный пример AR.

На самом деле покемона нет на улице, но человек его видит: алгоритмы дополнили реальный мир трехмерным объектом.

Смешанная реальность — это мир, в котором виртуальные и реальные объекты взаимодействуют между собой. Пользователь может оценить передний и задний план, как объекты расположены относительно друг друга — появляется полноценная точка соприкосновения цифрового объекта и реального мира. Представьте, что вы играете в виртуальную игру, берете в руку реальную бутылку с водой и бьете ею воображаемого персонажа. Примерно так.

Отличный пример MR — голограмма, цифровой аватар человека, спроецированный голографическим устройством. Человек находится в реальном мире и в нем же видит объект виртуального мира — реальности соприкасаются. Нечто похожее вы могли видеть в фильме «Джуманджи», где физическая структура дома, в котором развиваются события, сливается с джунглями.

Microsoft показывает, как MR смешивает виртуальные и реальные миры на примере возможностей Windows 10.

Коротко рассмотрим, чем отличается смешанная реальность от дополненной и виртуальной, в таблице.

На самом деле MR — последствие создания VR и AR, хронологию развития которых мы подробно описали здесь. Эти технологии развиваются последовательно и друг за другом, но гибридный мир MR не способен похвастать такими достижения, как два других собрата. Из-за сложностей технической реализации, разработками MR занимаются только технологические гиганты, и их результаты почти всегда засекречены.

Впервые термин MR появился в 1994 году в документе под названием A Taxonomy of Mixed Reality Visual Displays. Пол Милграм и Фумио Киширо определили MR как всё, что находится между крайностями виртуального континуума. Если по-простому: есть реальный мир и VR, и вот MR где-то посередине между ними. Из-за такого определения в англоязычном мире иногда AR и MR воспринимаются как синонимы. Границы этих технологий действительно сильно размыты и трудноразличимы.

Например, в 2016 году компания Microsoft выпустила голографическую гарнитуру HoloLens и называла ее MR-очками. Устройство представляет собой прозрачные очки, через которые видно реальную физическую среду. При этом алгоритмы проецируют на эти очки двухмерные объекты, с которыми можно взаимодействовать, например, через Windows 10. Информационные окна, с которыми можно работать на компьютере или телефоне, помещаются на стенах, а устройство запоминает их положение.

Человек надевает HoloLens и видит на стенах компьютерные окна Windows 10. Несмотря на то, что гарнитура имеет явно выраженные признаки AR, разработчики называют это первым шагом к смешанной реальности.

В 2019 году вышла другая MR-гарнитура — Magic Leap 1. Она предназначена для разработчиков приложений для пространственной компьютеризации и умеет накладывать анимацию на реальный мир — тоже с помощью очков. Из-за того, что устройство позволяет перемещаться вокруг виртуального объекта, осматривать его со всех сторон и, при необходимости, внутри, это больше похоже на MR-устройство. Но совсем не дотягивает до наших ожиданий и представлений

Magic Leap имеет более расширенный функционал, чем HoloLens. Но в нашем понимании это все еще дополненная реальность.

Больше всего к пространственной визуализации в форме MR близки голограммы-проекции. Пионером в этой сфере в России стала компания Nettle, которая с 2012 года занимается виртуальными голограммами и реализует разработанные устройства NettleBox и NettleDesk для бизнеса.

Но нужно понимать: взаимодействие голограмм с реальным миром сильно ниже, чем в логических гарнитурах. Совсем недавно (в сентябре 2021 года) Самуснг создал дисплей, который воспроизводит трехмерное изображение. Сразу за ним появилась первая в мире осязаемая аэротактильная голограмма.

Со временем может случиться так, что вы сможете встретить виртуального аватара коллеги на другом конце света и по-настоящему почувствовать его рукопожатие. Но пока это технология смешанной реальности ограничивается очками с анимацией. Как AR, только немного лучше.

Неразвитость технологии связана с техническими сложностями. Вот с чем связаны основные трудности:

1. Недостаток сценариев взаимодействия. MR предполагает, что человек может контактировать с виртуальными объектами в реальном мире. Чтобы такие контакты были естественными, разработчики должны прорабатывать сценарии взаимодействия пользователей и цифрового объекта. Иными словами, программа должна запоминать пользователя, его поведение и сама обучаться взаимодействию с ним. Пока программы не научатся так делать, качественного скачка MR не произойдет
2. Громоздкость устройств. Пока что реально компактными и доступными широким массам являются только гарнитуры, которые дают расширенный опыт AR. Об устройствах, которые предлагают полноценный MR-опыт и при этом доступны потребителям, неизвестно в принципе
3. Отсутствие средств ввода. MR-устройства, которые воспроизводят голограммы, должны одновременно считывать действия пользователей, чтобы обеспечить опыт взаимодействия с цифрой. Существующие сегодня устройства умеют так только в контексте использования гарнитур, таки как Magic Leap. Первым устройством, которое дает такой отклик и считывает действия человека, можно считать перчатку, которая воспроизводит аэротактильную голограмму

Как и VR, MR уже успела выйти за пределы индустрии развлечений и искусства. Если говорить про полезность, то чаще всего MR применяется в бизнесе и образовании. Драйверами этих технологий в России выступают строительные компании, ритейл, промышленные предприятия и музеи.

Ритейл. С помощью технологии IPCM (interactive product content management) ритейлеры отходят от статичных продуктовых каталогов в сторону интерактивных, 3D цифровых копий. Вместо листания каталога товаров, клиентам можно показать виртуальную проекцию. А на презентации нового автомобиля можно показать его голограмму без физического присутствия.

Строительство. С помощью MR застройщики предлагают покупателям взглянуть на цифровые макеты многоэтажных объектов до сдачи объекта в эксплуатацию. А при инженерных работах MR делает возможной визуализацию BIM-проекта прямо на строительной площадке.

Производство. MR помогает продавцам оборудования наглядно демонстрировать производственные активы в действии. Например, производители оборудования для автоматизации молочных ферм под маркой «КРОК» демонстрируют работу «умных» ферм на сельскохозяйственных выставках с помощью устройства для голографических макетов NettleBox.

Образование. MR упрощает симуляционное обучение. Будущие врачи смогут тренировать навыки на голограммах пациентов, а военные смогут симулировать боевые ситуации и проецировать их в действительность. Предприятию не придется отправлять инженеров-стажеров в командировку на промышленные объекты — проще показать голограмму.

Диджитал. Появление HoloLens — шаг MR в сторону управления программными интерфейсами. В обозримом будущем люди будут управлять компьютером без мыши и клавиатуры, а с помощью MR-гарнитур: открывать почту, перемещать папки и работать в фотошопе руками.

Выше мы говорили, что возможности для MR предусмотрены в Windows 10. Так вот, Windows Mixed Reality — часть операционной системы, которая отвечает за смешанную реальность. Платформа работает в дуэте с HoloLens и имеет расширенную операционную среду, в которой может работать любое приложение универсальной платформы Windows. Используется преимущественно в версии Windows 10 для AR-компьютеров, платформа также совместима с Xbox One.

Основные возможности Windows Mixed Reality направлены на работу с операционной системой. С помощью HoloLens и некоторых других гарнитур, пользователи могут работать с компьютером, а элементы интерфейса будут проецироваться на реальный мир. Например, на стену вашей комнаты. Управление элементами интерфейса происходит с помощью рук — никаких дополнительных инструментов, кроме HoloLens, не требуется.

Windows Mixed Reality — единственная платформа такого рода, доступная широким массам и реализованная, как для управления ОС, так и для индустрии развлечений.

В обозримом будущем мы вряд ли сможем различать виртуальную и смешанную реальности. Эти технологии уже поменяли привычный нам способ создавать вещи и вскоре помогут каждому смотреть на мир под другим углом. Совсем скоро MR полноценно интегрируется в нашу привычную жизнь и опыт геймификации реальности испытает каждый. Или почти каждый.

В перспективе 10–15 лет хирурги смогут накладывать рентгеновские снимки на тело пациента, пока идет оперативное вмешательство. Дизайнеры будут проектировать идеи в реальное пространство, находясь друг от друга на расстоянии сотен километров — как в Фигме, только в интерфейс будет на стене кабинета. А на совещания и оперативники вместо нас будут ходить наши аватары. Нет конца всему тому, что возможно с MR. Надеемся увидеть это уже на нашем веку.

1. MR — что-то среднее между действительностью и цифровой средой. MR находится на стыке виртуального и реального мира. MR — это технология, которая позволяет воспроизводить цифровые трехмерные объекты наяву и не использовать для этого очки и или шлемы для VR
   
2. В MR цифра и реальный мир взаимодействуют. Вы видите цифровой аватар коллеги, здороваетесь с ним за руку и ощущаете прикосновение — это MR. Вы играете в видеоигру, берете на столе реальную бутылку и разбиваете ее об голову вымышленного чудовища в симуляторе — это MR. Вы приходите на строительную площадку, а на месте будущего дома его голограмма — это MR
3. Вариантов реализации MR масса — технология ограничена лишь фантазиями разработчиков. Но на деле ее развитие упирается в существующие технические возможности. Из-за их неразвитости, современный MR — это скорее расширенная дополненная реальность
4. В массовом доступе слишком мало примеров реализации смешанной реальности. Самые известные — гарнитуры HoloLens и Magic Leap 1. Их возможности далеки от наших представлений об MR. В корпоративном сегменте MR используется для обучения сотрудников, визуализации объектов продаж и демонстрации производственных возможностей
5. Мы ждем от MR качественного скачка. Но пока новаторы только развивают технологии и привлекают инвестиции