Виртуальная реальность для чайников 🧿🧿

Примерно 3 года назад я познакомилась с виртуальной реальностью (Virtual Reality, VR). Мне так понравилось, что я решила поворачивать свою карьеру в её направлении. Сегодня я хочу поделиться своей любовью с вами. Я что вижу, то пою, поэтому если вы знаете лучше, велкам в комменты или писать посты опровержения, с удовольствием почитаю)

В первую очередь, надо напомнить о разнице VR, AR и прочих:
VR - виртуальная реальность, это когда вы полностью погружены в виртуальный мир. Реализуется чаще всего с помощью экранов перед глазами и наушников.
AR (Augmented Reality) - дополненная реальность, когда вы видите мир вокруг себя, и плюс поверх настоящих - виртуальные объекты. Реализуется разными способами, может быть тоже экраном перед глазами, где на видео реального мира накладываются виртуальный, а может быть и телефон. Известный пример - Pokemon Go.
MR и XR - собирательные термины для первых двух, Mixed Reality и eXtended Reality соответственно.
SR - simulated reality, термин, используемый производителями 3д без шлемов (когда экран проецирует линзами разные изображения левому и правому глазам).

Про дополненную реальность есть лонгрид от Вастрика (пара картинок в постe также оттуда). Мне к нeму добавить нечего, так что вернусь к VR.

Виртуальная реальность - не такая молодая область, как могло бы показаться. Первый VR шлем был сделан в 68-м году. Но, конечно, очень долго технологии не позволяли мало-мальски компактных девайсов, поэтому игрались в виртуальную реальность преимущественно исследователи. Довольно интересный период со многими экспериментами, например VR-комнатой, по принципу 3д кинотеатра: виртуальное пространство проецируется на комнату и обновляется по мере ваших движений, а вы носите поляризованные очки и видите всё в 3д. Hе самый жизнеспособный вариант, хоть и выглядит весело.

Эра современной VR началась в 2010-м году с разработки прототипа Oculus Rift - VR шлема принципиально мало отличающегося от сегодняшних.

Как это всё работает?

По сути, у VR шлема есть две задачи - показать вам картинку и обеспечить её интерактивность.

Для того чтобы картинка была объёмная, каждому глазу нужно своё изображение. Это обеспечивается тем, что виртуальная сцена рендерится по сути дважды - с небольшим смещением. Кстати, тот факт что у людей разное расстояние между глазами (Inter-Pupilary Distance, IPD) регулируется линзами. Часто в шлемах есть ползунок, который их двигает.

Линзы также делают изображение "дальше" (ну так как на самом деле экран у вас в шлеме перед самыми глазами) и немного "шире", увеличивая угол обзора. Последний всё равно остаётся небольшой, часто около 100 градусов - это примерно столько, сколько можно увидеть одним каждым на стороне другого, то есть сколько не загораживает нос. Не фонтан, конечно, но над этим тоже работают)

Интерактивность обеcпечивается тем, что система отслеживает положение и место вашей головы и контроллеров (чаще всего рук). Здесь мы добавим ещё терминологии, новый термин - degrees of freedom (DOF), степени свободы. Когда их 3 (только трекинг вращения) - тогда при повороте головы вы увидите окружение, но если сделаете шаг вперёд-назад, от этого ничего не изменится, потому что изменение положения не отслеживается. Все современные телефоны умеют в 3DOF.

Для 6DOF шлему нужно каким-то образом знать где он находится. Это реализуется через наружний (outside-in) или внутренний (inside-out). Первый немного надёжнее, но требует дополнительных прибамбасов, которые работают по ринципу маяка. Внутренний же иногда лагает, но зато более независимый.

Распространённые типы VR шлемов

Тут я классифицирую типы VR шлемов по принципу "где основные вычисления".

Начнём с телефонов. Мобильная VR - это очень просто и дёшево. Телефон вставляется в коробку с линзами Google Cardboard - и готово (например, вот производитель из Берлина). VR приложения сами разделяют экран надвое, а встроенные гироскоп и аккселерометры позволяют узнать положение телефона. Конечно, ресурсы телефона ограничены, поэтому графика в такой виртуальной реальности оставляет желать лучшего. Несмотря на это, за 10-15 евро оно того стоит. Управление также ограничено. Чаще всего для "клика" нужно или смотреть на объект на протяжении какого-то времени, или смотреть на него и одновременно жать на экран телефона через дырку в коробке.

На другой стороне спектра шлемы, подключаемые к компьютерам. В таком случае драйвер стоимости даже не сам шлем (сейчас можно купить хорошие дешевле 500 евро), а компьютер, который потянет необходимый уровень графики. Надо заметить, что комфортными для VR считаются 90 кадров в секунду, потом 60 так себе, а если картинка заметно притормаживает, то очень быстро начнёт укачивать, в том числе потому что при замирании картинки глаза резко начинают фокисироваться на близком экране, это очень неприятно. Так вот, приемлемый стационарный компьютер будет 1k евро+, приемлемый ноутбук 2k+. Если вы геймер, то у вас такой уже наверняка есть, а только заради VR так тратиться мне не видится рациональным. Самые знаменитые - HTC Vive, Valve Index, Oculus Rift. Из них я пробовала HTC Vive (и HTC Vive Pro), они хорошего качества и достаточно удобные, но, кажется, они теряют популярность, так что может другие лучше.

Недавно начали производить отличное промежуточное решение - шлемы, которым не нужен компьютер. Самая знаменитая модель - Oculus Quest. В клубе есть пост про использование шлема для работы.

В октябре выпустили его вторую версию, и до сих пор он в магазинах появляется волнами и быстро раскупается. Дополнительная приятность Quest-а в том, что и трекинг у него изнутри, поэтому можно играть по сути в любом месте, главное обозначить границы правильно, а то будете в стены вбегать. Девайс компактный - шлем и два контроллера, можно возить к друзьям (когда можно будет, плак-плак). При желании можно подключить к компу (если у вас тот, что из предыдущего абзаца, опять же). Такие шлемы немного уступают по производительности стационарным (в Alyx, например, только через Link поиграете, или, возможно, по облаку). Очевидно, всю мощь компа засунуть в шлем проблематично. Тем не менее, многие игры отлично идут на Quest-е.

У меня первый Oculus Quest, он действительно такой, как о нём говорят. Единственное что мне в нём не нравится - неидеальная балансировка, в частности мне или ремнями голову жмёт, или он на нос съезжает. Есть и более удобные шлемы. В остальном отлично.
А, ещё Окулус принадлежит фейсбуку, и поэтому есть вероятность, что скоро им нельзя будет пользоваться, не подключив аккаунт. Евросоюз против, но неизвестно, как пойдёт.

Проблемы VR

До киберпанкового будущего далеко. VR всё ещё очень молодая сфера с кучей проблем, например:

• Линзы по сути "растягивают" маленькие экраны в шлеме до покрытия большей части нашего поля зрения. Но количество пикселей на экранах ограничено, поэтому при таком увеличении их видно, картинка получается зернистая (называется screen door effect).

• Управление в VR тесно связано с эргономикой и комфортом и сильно отличается от управления в компьютерных играх. Золотые стандарты пока в разработке, поэтому от многих игр за короткое время начинает невиртуально тошнить.
• Шлемы всё ещё довольно тяжёлые. Некоторые производители выходят из положения правильной балансировкой, но так или иначе, это минимум полкило на голове.
• Ну и в виртуальной реальности, как и в реальной жизни, очень важно правильно выстраивать границы, иначе игры могут закончиться неиллюзорными травмами и разрушениями)

Где применяется

Конечно, VR наиболее известна по игрушкам и развечениям, но другие сферы тоже активно осваивают её возможности. Насколько я понимаю, VR полезна везде где нужно что-то визуализировать или симулировать. То есть надо вам показать какую-то сложную 3д штуку - модель скана мозга или будущее здание? В VR это намного понятнее, чем на плоском экране, потому что так можно гораздо естественнее крутить-вертеть штуку или увидеть как будет выглядеть зал в натуральную величину. Или хотите чтобы люди тренировались не в настоящих условиях, а в виртуальных - вуаля, быстро, компактно и безотходно.

Приведу тут некоторые примеры по индустриям:

• Медицина - с точки зрения пациента - диагностика и реабилитация (гораздо веселее делать упражнения в игровом формате), с точки зрения врачей - тренировки и визуализация.

• Автомобильная промышленность - визуализация и прототипирование (меньше необходимость делать реалные пластиковые модели будущих машинок и их дизайна салона).

• Рынок недвижимости - во время ковида уже начали проводить просмотры квартир по видео-звонку. То же можно делать и с виртуальной реальностью - агент делает 360-градусные фотки или видео, клиент смотрит, как будто он там был. А когда освоят технологию 3д-сканирования (lidar-ы в айфонах - большой к этому шаг), тогда и своим ходо можно по модели перемещаться.
• Строительство и архитектура - то же что выше, но до создания объекта.

• Тренировка персонала - тут во всех сферах, даже офисному планктону нужно знать как себя вести при пожаре, а людям, которые "работают руками" (пожарники, полицейские, военные, работники аэропорта, кладовщики итп) - и подавно такие тренинги могут частично заменить реальные.

• Образование - одно дело прослушать скучный урок про какую-нибудь очередную войну, и совсем другое оказаться на поле битвы и походить там, посчитать потери. Или помните мультик "Волшебный школьный автобус"? Теперь это можно организовать в VR, а не магией.

• Спорт - если на спортсмена понавешать сенсоров, можно очень подробно анализировать как он движется и как это можно оптимимзировать для получения нужного результата.
• Искусство и дизайн - гигантский простор для фантазии, когда что-то трудно сделать из физических материалов - можно скульптурировать это в виртуале.

Как вкатиться в VR (как юзер)

Я всем рекомендую попробовать мобильный VR. Да, она, конечно не настолько впечатляющая как шлемы, но мне и этого хватило для того чтобы заболеть темой. Тем более стоит смешных денег. Не понравится - выкинуть не жалко. Мне больше всего понравилось смотреть Google Street View, тупо 360-градусные фотки, а смотришь, и как будто действительно на улице детства стоишь) Также попробуйте Hidden Temple VR Adventure (простенький квест), VR Noir (детектива) и InCell VR (красиво, но может укачать).

Если мобильная VR не произвела впечатления, дайте шанс полной версии и сходите в какую-нибудь аркаду (опять же, когда откроют, плак-плак). Там попросить Plank experience (это когда вы идёте по доске над городом), Beat saber (разрубать кубы джедайскими мечами в ритме песен) и какой-нибудь хоррор, если вы любите. И конечно, Alyx - игра - локомотив VR в 2020м году. Вы не много успеете за полчаса-час, но там всё сделано на высшем уровне. Также, в некоторых городах мира есть escape room-ы с виртуальной реальностью.

Если у вас будет VR доме, то Plank experience - это вечное развлечение для гостей и вас, потому что им адреналин, а вам очень смешно смотреть как они боятся))

Как вкатиться в VR (как про)

У меня пока ограниченный опыт, но вся VR на гейм-движках, поэтому сначала учите как пользоваться Unity или Unreal, потом соответствующие языки, потом или параллельно плагины для VR и особенности разработки для неё. Область довольно молодая, поэтому большая часть компаний - стартапы (ну, если вы в долину или Мюнхен не хотите релоцироваться, там и мастодонты VR балуются). Требуются чаще всего разрабы. Моё предположение, что после входа в стартап они становятся и жнецами, и на дуде игрецами.

Полезные и смeшные ссылки

На русском я могу только канал про гейм-разработку посоветовать. Делала их курсы в прошлом году, когда решила перестать быть говнокодером. По-моему помогло, поэтому рекомендую.
https://www.youtube.com/user/OfficialChannelGD

Исходно я учила как пользоваться Unity на курсере вот тут и тут, но с тех пор появилась куча других курсов, сама Unity, например, бесплатно учит. Виртуальную реальность я делала здесь. У них практические части курса не очень хорошо окучены, но первая теоретическая - супер полезная, много важного про VR experience рассказывают. Кроме того, прослушать их можно бесплатно.

Чувак рассказывает каждую неделю новости VR индустрии (подписка через рсс, линкедин и твиттер).
http://skarredghost.com/

Тоже новости и обзоры VR, но видео
https://www.youtube.com/channel/UCsmk8NDVMct75j_Bfb9Ah7w

До чего техника дошла
https://www.reddit.com/r/oculus/comments/fu8z2c/a_spot_of_tea/

VR хоррор
https://www.reddit.com/r/oculus/comments/j2snh6/the_walking_dead_onslaught_is_dead_easy/

Full immersion
https://www.reddit.com/r/virtualreality/comments/fp9son/she_is_still_missing_some_height_and_pandemicfree/

Польза в быту