Чему вы научились в VR?
Публичный постНичего не знал про VR, но недавно мне подарили шлем Meta Quest 2.
Подумал, что было бы круто в чём-то прокачаться в игровой VR форме. Начал с настольного тенниса (Eleven Table Tennis), там очень крутая максимально правдоподобная механика: как только вспомнил, чему меня когда-то учили и встал в правильную стойку, сразу стал обыгрывать своего заядлого врага — флегматичного VR-кота.
Но проблема в том, что сложно прогрессировать, т.к. никто не учит постановке удара и не указывает на ошибки. Получается, что всё равно нужен тренер, который тебя будет учить играть лучше и обыгрывать всё более и более продвинутого кота.
Интересно, есть ли приложения в VR, которые позволяют реально научиться чему-то новому, а не просто отработать уже имеющийся навык. Мне интереснее всего про спорт и про музыку, но можно и в любых других направлениях.
Удалось ли вам чему-то научиться в VR?
В текущей конфигурации бóльшая часть контента (видео, игры, приложения), созданного под VR/AR/MR, направлена на потребление контента. А в народе VR-гарнитуры — это такая fancy игровая приставка, которая надевается на голову.
Статус-кво сохраняется из-за технических ограничений, связанных с тремя фундаментальными процессами:
Data input
Сейчас гарнитуры крайне ограничены в возможностях инпута данных — чаще всего это контроллеры, акселерометры, отслеживание рук и глаз, сканирование пространства. Все это может звучать клёво и убер-футуристично, но это всё еще базовые технологии, которые появились достаточно давно и только недавно перебрались в VR.
Наверняка в интернете кто-то уже натыкался на наработки от Disney, где они показывали свои Holotyle floors — и именно это то, к чему нужно двигаться и к чему стремиться.
Data interpretation
После того, как гарнитура получила данные от пользователя, их нужно интерпретировать с учетом данных, имеющихся в игре/приложении. Поскольку возможности инпута данных ограничены, гарнитуры не могут интерпретировать их с учетом замысла пользователя (это не только проблема железа, но и проблема софта).
Недавний пример, с которым я столкнулся — игра Angry Birds. Контроллеры выступают в качестве рогатки, но игра не умеет интерпретировать натяжение резинки с учетом акселерометра и положения этой резинки относительно самой рогатки. Я ожидаю одну траекторию полета птицы, а игра рисует другую. И такие вещи встречаются в каждом приложении и игре.
На помощь могут прийти ИИ и большие модели, но сейчас мощностей гарнитуры едва хватает на то, чтобы справляться с растущими требованиями игр и растущей неоптимизированностью кода. Уверен, что в ближайшем будущем мы увидим гарнитуры с NPU в масс-сегменте, которые будут уметь интерпретировать большие данные и обучаться на пользователе.
Status feedback
Собственно VR-гарнитура и ее аксессуары крайне ограничены в передаче фидбека о состоянии системы. Рынок только-только научился создавать максимально примитивные хаптики, которые умеют передавать физические ощущения — в частности, тяжесть от натяжения (игровые контроллеры, перчатки, жилеты/костюмы) и касание в движении (секс-игрушки).
Если мы хотим учить людей навыкам, которыми мы можем обучиться только в реальной жизни, нам нужен резкий скачок возможностей хаптиков, в частности: температура, влажность, морфинг физических объектов в реальном времени.
В лучшем случае это звучит как экспериментальные разработки (с соответствующими бюджетами на R&D), а в худшем — фантастика при текущем состоянии технологий в мире.
Состояния вовлеченности
В иммерсивном опыте можно выделить 4 состояния вовлеченности пользователя:
Сейчас VR-мир уверенно чувствует себя с первыми двумя моделями вовлеченности и постепенно переходит к третей. Обучать пользователя навыкам, которые он может получить только в реальном мире, относится к четвертой модели — а для этого индустрия как раз решить проблемы трех фундаментальных процессов взаимодействия, о которых я говорил выше.
В итоге мы приходим к тому, что даже с учетом невероятного развития VR-технологий у гарнитур способностей чему-то тебя обучить не сильно больше, чем у обычного компьютера с хорошей периферией.
Тот самый момент когда впервые можно потратить доллор на vrporn…
Ритмично рубить кубики световыми мечами под музыку!
Не совсем VR, но по соседству. Можно научиться неплохо летать на FPV дроне, если прикупить подключаемый к ПК пульт и выводить изображение на очки. Уровень реализма и переносимости навыков оч высокий
Быстро перезаряжать M249 в Pavlov VR
Поднимать Boeing 747 в воздух в MSFS и управлять им чуток. В реальности конечно все значительно сложнее, но было интересно узнать как оно работает из кабины пилота.