Чему вы научились в VR?

 Публичный пост

Ничего не знал про VR, но недавно мне подарили шлем Meta Quest 2.

Подумал, что было бы круто в чём-то прокачаться в игровой VR форме. Начал с настольного тенниса (Eleven Table Tennis), там очень крутая максимально правдоподобная механика: как только вспомнил, чему меня когда-то учили и встал в правильную стойку, сразу стал обыгрывать своего заядлого врага — флегматичного VR-кота.

Но проблема в том, что сложно прогрессировать, т.к. никто не учит постановке удара и не указывает на ошибки. Получается, что всё равно нужен тренер, который тебя будет учить играть лучше и обыгрывать всё более и более продвинутого кота.

Интересно, есть ли приложения в VR, которые позволяют реально научиться чему-то новому, а не просто отработать уже имеющийся навык. Мне интереснее всего про спорт и про музыку, но можно и в любых других направлениях.

Удалось ли вам чему-то научиться в VR?

13 комментариев 👇

В текущей конфигурации бóльшая часть контента (видео, игры, приложения), созданного под VR/AR/MR, направлена на потребление контента. А в народе VR-гарнитуры — это такая fancy игровая приставка, которая надевается на голову.

Статус-кво сохраняется из-за технических ограничений, связанных с тремя фундаментальными процессами:

  1. Data input
  2. Data interpretation
  3. Status feedback

Data input

Сейчас гарнитуры крайне ограничены в возможностях инпута данных — чаще всего это контроллеры, акселерометры, отслеживание рук и глаз, сканирование пространства. Все это может звучать клёво и убер-футуристично, но это всё еще базовые технологии, которые появились достаточно давно и только недавно перебрались в VR.

Наверняка в интернете кто-то уже натыкался на наработки от Disney, где они показывали свои Holotyle floors — и именно это то, к чему нужно двигаться и к чему стремиться.

Data interpretation

После того, как гарнитура получила данные от пользователя, их нужно интерпретировать с учетом данных, имеющихся в игре/приложении. Поскольку возможности инпута данных ограничены, гарнитуры не могут интерпретировать их с учетом замысла пользователя (это не только проблема железа, но и проблема софта).

Недавний пример, с которым я столкнулся — игра Angry Birds. Контроллеры выступают в качестве рогатки, но игра не умеет интерпретировать натяжение резинки с учетом акселерометра и положения этой резинки относительно самой рогатки. Я ожидаю одну траекторию полета птицы, а игра рисует другую. И такие вещи встречаются в каждом приложении и игре.

На помощь могут прийти ИИ и большие модели, но сейчас мощностей гарнитуры едва хватает на то, чтобы справляться с растущими требованиями игр и растущей неоптимизированностью кода. Уверен, что в ближайшем будущем мы увидим гарнитуры с NPU в масс-сегменте, которые будут уметь интерпретировать большие данные и обучаться на пользователе.

Status feedback

Собственно VR-гарнитура и ее аксессуары крайне ограничены в передаче фидбека о состоянии системы. Рынок только-только научился создавать максимально примитивные хаптики, которые умеют передавать физические ощущения — в частности, тяжесть от натяжения (игровые контроллеры, перчатки, жилеты/костюмы) и касание в движении (секс-игрушки).

Если мы хотим учить людей навыкам, которыми мы можем обучиться только в реальной жизни, нам нужен резкий скачок возможностей хаптиков, в частности: температура, влажность, морфинг физических объектов в реальном времени.

В лучшем случае это звучит как экспериментальные разработки (с соответствующими бюджетами на R&D), а в худшем — фантастика при текущем состоянии технологий в мире.

Состояния вовлеченности

В иммерсивном опыте можно выделить 4 состояния вовлеченности пользователя:

  1. Наблюдатель — не взаимодействует с системой, система не взаимодействует с ним. Пример — просмотр фильма.
  2. Жертва — не может взаимодействовать с системой, но система может взаимодействовать с ним. Пример — коридорная игра.
  3. Сыщик — ограниченно взаимодействует с системой, система неограниченно взаимодействует с ним. Примеры — игра с несколькими концовками. Стоит дорого.
  4. Убийца — неограниченно взаимодействует с системой, система неограниченно взаимодействует с ним. Примеры — практически нет, потому что очень дорого.

Сейчас VR-мир уверенно чувствует себя с первыми двумя моделями вовлеченности и постепенно переходит к третей. Обучать пользователя навыкам, которые он может получить только в реальном мире, относится к четвертой модели — а для этого индустрия как раз решить проблемы трех фундаментальных процессов взаимодействия, о которых я говорил выше.

В итоге мы приходим к тому, что даже с учетом невероятного развития VR-технологий у гарнитур способностей чему-то тебя обучить не сильно больше, чем у обычного компьютера с хорошей периферией.

  Развернуть 1 комментарий

@rdtrifonov, интересно, спасибо за ликбез!

Тем не менее, кажется, что в каких-то случаях может хватать даже текущих возможностей. В том же настольном теннисе контроллер неплохо эмулирует ракетку (даже по весу), достаточно добавить в игру режим обучения, где тебе покажут базовые удары и будут давать обратную связь, что ты делаешь не так (поздно замахнулся, не "закрыл" ракетку, закрутил не в ту сторону и т.д.) - вроде все данные для этого есть. Но я почему-то пока не встречал такой функциональности.

  Развернуть 1 комментарий

@limixis,

Но я почему-то пока не встречал такой функциональности.

Потому что из-за отсутствия адекватного фидбека и инпута данных, когда мы перейдем к использованию навыка в реальной жизни, мы встретимся со старым добрым «Забудьте все, чему вас учили в школе».

  Развернуть 1 комментарий
Алексей Павлов Адекватный директор 1 июля в 09:16

Тот самый момент когда впервые можно потратить доллор на vrporn…

  Развернуть 1 комментарий

@Perec, а можно поподробнее, тут есть образовательная/развивающая составляющая? :)

  Развернуть 1 комментарий

Ну, строго говоря к заданным вопросам мой комент не подходит конечно.
Если не в тему то нужно удалить ))
Извините )

  Развернуть 1 комментарий

@Perec, а что за ресурс? А то трудно выискивать вр-жемчужины на п-лабе

  Развернуть 1 комментарий

@mammuthus, vrporn.com. там есть все.

  Развернуть 1 комментарий

Ритмично рубить кубики световыми мечами под музыку!

  Развернуть 1 комментарий
Егор Ильченко Пишу код (с удовольствием) 1 июля в 10:51

Не совсем VR, но по соседству. Можно научиться неплохо летать на FPV дроне, если прикупить подключаемый к ПК пульт и выводить изображение на очки. Уровень реализма и переносимости навыков оч высокий

  Развернуть 1 комментарий

@zzodoo, актуалочка!

  Развернуть 1 комментарий

Быстро перезаряжать M249 в Pavlov VR

  Развернуть 1 комментарий

Поднимать Boeing 747 в воздух в MSFS и управлять им чуток. В реальности конечно все значительно сложнее, но было интересно узнать как оно работает из кабины пилота.

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб