Виртуальная реальность для чайников 🧿🧿
 Публичный пост
16 февраля 2021     667   

Примерно 3 года назад я познакомилась с виртуальной реальностью (Virtual Reality, VR). Мне так понравилось, что я решила поворачивать свою карьеру в её направлении. Сегодня я хочу поделиться своей любовью с вами. Я что вижу, то пою, поэтому если вы знаете лучше, велкам в комменты или писать посты опровержения, с удовольствием почитаю)

В первую очередь, надо напомнить о разнице VR, AR и прочих:
VR - виртуальная реальность, это когда вы полностью погружены в виртуальный мир. Реализуется чаще всего с помощью экранов перед глазами и наушников.
AR (Augmented Reality) - дополненная реальность, когда вы видите мир вокруг себя, и плюс поверх настоящих - виртуальные объекты. Реализуется разными способами, может быть тоже экраном перед глазами, где на видео реального мира накладываются виртуальный, а может быть и телефон. Известный пример - Pokemon Go.
MR и XR - собирательные термины для первых двух, Mixed Reality и eXtended Reality соответственно.
SR - simulated reality, термин, используемый производителями 3д без шлемов (когда экран проецирует линзами разные изображения левому и правому глазам).

Про дополненную реальность есть лонгрид от Вастрика (пара картинок в постe также оттуда). Мне к нeму добавить нечего, так что вернусь к VR.

Виртуальная реальность - не такая молодая область, как могло бы показаться. Первый VR шлем был сделан в 68-м году. Но, конечно, очень долго технологии не позволяли мало-мальски компактных девайсов, поэтому игрались в виртуальную реальность преимущественно исследователи. Довольно интересный период со многими экспериментами, например VR-комнатой, по принципу 3д кинотеатра: виртуальное пространство проецируется на комнату и обновляется по мере ваших движений, а вы носите поляризованные очки и видите всё в 3д. Hе самый жизнеспособный вариант, хоть и выглядит весело.

Эра современной VR началась в 2010-м году с разработки прототипа Oculus Rift - VR шлема принципиально мало отличающегося от сегодняшних.

Как это всё работает?

По сути, у VR шлема есть две задачи - показать вам картинку и обеспечить её интерактивность.

Для того чтобы картинка была объёмная, каждому глазу нужно своё изображение. Это обеспечивается тем, что виртуальная сцена рендерится по сути дважды - с небольшим смещением. Кстати, тот факт что у людей разное расстояние между глазами (Inter-Pupilary Distance, IPD) регулируется линзами. Часто в шлемах есть ползунок, который их двигает.

Линзы также делают изображение "дальше" (ну так как на самом деле экран у вас в шлеме перед самыми глазами) и немного "шире", увеличивая угол обзора. Последний всё равно остаётся небольшой, часто около 100 градусов - это примерно столько, сколько можно увидеть одним каждым на стороне другого, то есть сколько не загораживает нос. Не фонтан, конечно, но над этим тоже работают)

Интерактивность обеcпечивается тем, что система отслеживает положение и место вашей головы и контроллеров (чаще всего рук). Здесь мы добавим ещё терминологии, новый термин - degrees of freedom (DOF), степени свободы. Когда их 3 (только трекинг вращения) - тогда при повороте головы вы увидите окружение, но если сделаете шаг вперёд-назад, от этого ничего не изменится, потому что изменение положения не отслеживается. Все современные телефоны умеют в 3DOF.

Для 6DOF шлему нужно каким-то образом знать где он находится. Это реализуется через наружний (outside-in) или внутренний (inside-out). Первый немного надёжнее, но требует дополнительных прибамбасов, которые работают по ринципу маяка. Внутренний же иногда лагает, но зато более независимый.

Распространённые типы VR шлемов

Тут я классифицирую типы VR шлемов по принципу "где основные вычисления".

Начнём с телефонов. Мобильная VR - это очень просто и дёшево. Телефон вставляется в коробку с линзами Google Cardboard - и готово (например, вот производитель из Берлина). VR приложения сами разделяют экран надвое, а встроенные гироскоп и аккселерометры позволяют узнать положение телефона. Конечно, ресурсы телефона ограничены, поэтому графика в такой виртуальной реальности оставляет желать лучшего. Несмотря на это, за 10-15 евро оно того стоит. Управление также ограничено. Чаще всего для "клика" нужно или смотреть на объект на протяжении какого-то времени, или смотреть на него и одновременно жать на экран телефона через дырку в коробке.

На другой стороне спектра шлемы, подключаемые к компьютерам. В таком случае драйвер стоимости даже не сам шлем (сейчас можно купить хорошие дешевле 500 евро), а компьютер, который потянет необходимый уровень графики. Надо заметить, что комфортными для VR считаются 90 кадров в секунду, потом 60 так себе, а если картинка заметно притормаживает, то очень быстро начнёт укачивать, в том числе потому что при замирании картинки глаза резко начинают фокисироваться на близком экране, это очень неприятно. Так вот, приемлемый стационарный компьютер будет 1k евро+, приемлемый ноутбук 2k+. Если вы геймер, то у вас такой уже наверняка есть, а только заради VR так тратиться мне не видится рациональным. Самые знаменитые - HTC Vive, Valve Index, Oculus Rift. Из них я пробовала HTC Vive (и HTC Vive Pro), они хорошего качества и достаточно удобные, но, кажется, они теряют популярность, так что может другие лучше.

Недавно начали производить отличное промежуточное решение - шлемы, которым не нужен компьютер. Самая знаменитая модель - Oculus Quest. В клубе есть пост про использование шлема для работы.

В октябре выпустили его вторую версию, и до сих пор он в магазинах появляется волнами и быстро раскупается. Дополнительная приятность Quest-а в том, что и трекинг у него изнутри, поэтому можно играть по сути в любом месте, главное обозначить границы правильно, а то будете в стены вбегать. Девайс компактный - шлем и два контроллера, можно возить к друзьям (когда можно будет, плак-плак). При желании можно подключить к компу (если у вас тот, что из предыдущего абзаца, опять же). Такие шлемы немного уступают по производительности стационарным (в Alyx, например, только через Link поиграете, или, возможно, по облаку). Очевидно, всю мощь компа засунуть в шлем проблематично. Тем не менее, многие игры отлично идут на Quest-е.

У меня первый Oculus Quest, он действительно такой, как о нём говорят. Единственное что мне в нём не нравится - неидеальная балансировка, в частности мне или ремнями голову жмёт, или он на нос съезжает. Есть и более удобные шлемы. В остальном отлично.
А, ещё Окулус принадлежит фейсбуку, и поэтому есть вероятность, что скоро им нельзя будет пользоваться, не подключив аккаунт. Евросоюз против, но неизвестно, как пойдёт.

Проблемы VR

До киберпанкового будущего далеко. VR всё ещё очень молодая сфера с кучей проблем, например:

  • Линзы по сути "растягивают" маленькие экраны в шлеме до покрытия большей части нашего поля зрения. Но количество пикселей на экранах ограничено, поэтому при таком увеличении их видно, картинка получается зернистая (называется screen door effect).

  • Управление в VR тесно связано с эргономикой и комфортом и сильно отличается от управления в компьютерных играх. Золотые стандарты пока в разработке, поэтому от многих игр за короткое время начинает невиртуально тошнить.
  • Шлемы всё ещё довольно тяжёлые. Некоторые производители выходят из положения правильной балансировкой, но так или иначе, это минимум полкило на голове.
  • Ну и в виртуальной реальности, как и в реальной жизни, очень важно правильно выстраивать границы, иначе игры могут закончиться неиллюзорными травмами и разрушениями)

Где применяется

Конечно, VR наиболее известна по игрушкам и развечениям, но другие сферы тоже активно осваивают её возможности. Насколько я понимаю, VR полезна везде где нужно что-то визуализировать или симулировать. То есть надо вам показать какую-то сложную 3д штуку - модель скана мозга или будущее здание? В VR это намного понятнее, чем на плоском экране, потому что так можно гораздо естественнее крутить-вертеть штуку или увидеть как будет выглядеть зал в натуральную величину. Или хотите чтобы люди тренировались не в настоящих условиях, а в виртуальных - вуаля, быстро, компактно и безотходно.

Приведу тут некоторые примеры по индустриям:

  • Медицина - с точки зрения пациента - диагностика и реабилитация (гораздо веселее делать упражнения в игровом формате), с точки зрения врачей - тренировки и визуализация.

  • Автомобильная промышленность - визуализация и прототипирование (меньше необходимость делать реалные пластиковые модели будущих машинок и их дизайна салона).

  • Рынок недвижимости - во время ковида уже начали проводить просмотры квартир по видео-звонку. То же можно делать и с виртуальной реальностью - агент делает 360-градусные фотки или видео, клиент смотрит, как будто он там был. А когда освоят технологию 3д-сканирования (lidar-ы в айфонах - большой к этому шаг), тогда и своим ходо можно по модели перемещаться.
  • Строительство и архитектура - то же что выше, но до создания объекта.

  • Тренировка персонала - тут во всех сферах, даже офисному планктону нужно знать как себя вести при пожаре, а людям, которые "работают руками" (пожарники, полицейские, военные, работники аэропорта, кладовщики итп) - и подавно такие тренинги могут частично заменить реальные.

  • Образование - одно дело прослушать скучный урок про какую-нибудь очередную войну, и совсем другое оказаться на поле битвы и походить там, посчитать потери. Или помните мультик "Волшебный школьный автобус"? Теперь это можно организовать в VR, а не магией.


  • Спорт - если на спортсмена понавешать сенсоров, можно очень подробно анализировать как он движется и как это можно оптимимзировать для получения нужного результата.
  • Искусство и дизайн - гигантский простор для фантазии, когда что-то трудно сделать из физических материалов - можно скульптурировать это в виртуале.

Как вкатиться в VR (как юзер)

Я всем рекомендую попробовать мобильный VR. Да, она, конечно не настолько впечатляющая как шлемы, но мне и этого хватило для того чтобы заболеть темой. Тем более стоит смешных денег. Не понравится - выкинуть не жалко. Мне больше всего понравилось смотреть Google Street View, тупо 360-градусные фотки, а смотришь, и как будто действительно на улице детства стоишь) Также попробуйте Hidden Temple VR Adventure (простенький квест), VR Noir (детектива) и InCell VR (красиво, но может укачать).

Если мобильная VR не произвела впечатления, дайте шанс полной версии и сходите в какую-нибудь аркаду (опять же, когда откроют, плак-плак). Там попросить Plank experience (это когда вы идёте по доске над городом), Beat saber (разрубать кубы джедайскими мечами в ритме песен) и какой-нибудь хоррор, если вы любите. И конечно, Alyx - игра - локомотив VR в 2020м году. Вы не много успеете за полчаса-час, но там всё сделано на высшем уровне. Также, в некоторых городах мира есть escape room-ы с виртуальной реальностью.

Если у вас будет VR доме, то Plank experience - это вечное развлечение для гостей и вас, потому что им адреналин, а вам очень смешно смотреть как они боятся))

Как вкатиться в VR (как про)

У меня пока ограниченный опыт, но вся VR на гейм-движках, поэтому сначала учите как пользоваться Unity или Unreal, потом соответствующие языки, потом или параллельно плагины для VR и особенности разработки для неё. Область довольно молодая, поэтому большая часть компаний - стартапы (ну, если вы в долину или Мюнхен не хотите релоцироваться, там и мастодонты VR балуются). Требуются чаще всего разрабы. Моё предположение, что после входа в стартап они становятся и жнецами, и на дуде игрецами.

Полезные и смeшные ссылки

На русском я могу только канал про гейм-разработку посоветовать. Делала их курсы в прошлом году, когда решила перестать быть говнокодером. По-моему помогло, поэтому рекомендую.
https://www.youtube.com/user/OfficialChannelGD

Исходно я учила как пользоваться Unity на курсере вот тут и тут, но с тех пор появилась куча других курсов, сама Unity, например, бесплатно учит. Виртуальную реальность я делала здесь. У них практические части курса не очень хорошо окучены, но первая теоретическая - супер полезная, много важного про VR experience рассказывают. Кроме того, прослушать их можно бесплатно.

Чувак рассказывает каждую неделю новости VR индустрии (подписка через рсс, линкедин и твиттер).
http://skarredghost.com/

Тоже новости и обзоры VR, но видео
https://www.youtube.com/channel/UCsmk8NDVMct75j_Bfb9Ah7w

До чего техника дошла
https://www.reddit.com/r/oculus/comments/fu8z2c/a_spot_of_tea/

VR хоррор
https://www.reddit.com/r/oculus/comments/j2snh6/the_walking_dead_onslaught_is_dead_easy/

Full immersion
https://www.reddit.com/r/virtualreality/comments/fp9son/she_is_still_missing_some_height_and_pandemicfree/

Польза в быту

20 комментариев 👇
Victoria, ☢️ radiologist 16 февраля в 21:19

Большое спасибо! Ты проделала огромную работу, супер обзор для вкатывания 😍

А это не про VR, а про АR, но всё же...

  Развернуть 1 комментарий

@BariumBarista, Спасибо ^_^

Хаха, сейчас, кстати, начали работать над Brain Computer Interfaces для VR, но пока только в зачатке)) https://skarredghost.com/2021/02/12/openbci-galea-valve-index-bci/

  Развернуть 1 комментарий

Класс! Уже давно вкатился и качусь, пост великолепный!

Пробую разработку под VR, это ощущение, когда ты что-то там в компухторе накидываешь, а потом просто берешь и оказываешься там и с этим взаимодействуешь O____O

Стоит ли делать будущую ставку на устройства VR+AR, где в AR режиме устройства, похожего на обычные очки, ты просто опускаешь шторку и у тебя VR?
Ждем, когда Apple изобретет VR? =D

  Развернуть 1 комментарий

@aiserg, Спасибо, очень приятно)
Да, как написали выше Эпл уже, и снова в своём духе по ценообразованию))

Стоит ли делать будущую ставку на устройства VR+AR, где в AR режиме устройства, похожего на обычные очки, ты просто опускаешь шторку и у тебя VR?

В смысле, мои спекуляции?) Так-то уже есть один AR шлем, где на магнитике шторка крепится и вуаля)
А в будущем, наверное, да, когда AR сможет в высокие разрешения, то, конечно, лучше два девайса по цене одного)

  Развернуть 1 комментарий

@TatianaVR, Класс, поищу что за шлем такой)

Как я понял, сейчас компании делают ставку на связку AR очки + смартфон по беспроводу, так как мы таскаем с собой достаточно мощное вычислительное устройство, чтобы отдавать сложные вычисления туда и облегчить носимую на голове гарнитуру для эстетики и удобства использования

Вроде как 2021 объявили годом AR, может даже покажут какие-нибудь концепты, так как до потребительского рынка такие устройства дойдут через пару-тройку лет

Но вот получить дев киты немного пораньше – интересная перспектива, так как здесь голубой океан и больше возможностей =)

  Развернуть 1 комментарий

@aiserg, http://skarredghost.com/ не больше месяца назад обозревал этот шлем) по идее, если с ним подружишься, может рассказать как их получает) но наверн, это надо инфлюенсером быть)

  Развернуть 1 комментарий

@TatianaVR, да, нужно вписываться в движуху/компании, прокачивать экспертность и потихоньку подбираться к заветной мечте =)

  Развернуть 1 комментарий
Sergei Vedernikov, Разноработчик 22 февраля в 21:46

Классная статья! Спасибо за обзор. Хочется добавить, что internet is for porn и это тоже стоит увидеть в VR 😏

  Развернуть 1 комментарий

@SergeiVedernikov, Хаха, да) мне не понравилось, они всё время в моё личное пространство вторгались 😂

  Развернуть 1 комментарий
Anatoly Shipitsin, Специалист по НЕХ 24 февраля в 10:34

Кстати второй квест хорош тем, что туда наконец появились линзы с диоптриями. Я пробовал для интереса заглянуть в другие VR шлемы без очков, так вот не видно не шиша.

  Развернуть 1 комментарий

@norguhtar, не видел, чтобы такие официально продавались, только от сторонних компаний, где пишут, что они крепятся ненадежно

  Развернуть 1 комментарий

@aiserg, Именно для второго квеста есть и официальные

  Развернуть 1 комментарий
  Развернуть 1 комментарий

@aiserg, ну что поделать. Есть еще там же проставка для очков, как костыль

  Развернуть 1 комментарий

@norguhtar, тестили без этой прослойки – очки не касаются линз
Но в очках все равно не то – мешают и давят, появляются засветы и искажения
Но бесплатная прослойка для очкариков в комплекте – приятно!)

  Развернуть 1 комментарий

Если хочется самому создать игру в VR по быстрому, то хвалят Modbox https://store.steampowered.com/app/414120/Modbox/

  Развернуть 1 комментарий

@txp4, Выглядит интересно! Типа Tilt Brush на стероидах)

  Развернуть 1 комментарий
Oleksandr Martynenko, Ученый, инженер 2 марта в 14:05

Мобильная VR - это очень просто и дёшево.

Ага, вот, например, какая у меня брендированная штука есть. :)


Что самое интересное - работает же!

  Развернуть 1 комментарий
Дима Черненьков, делаю страховое моделирование для ФО, педалю digital transformation 6 марта в 11:07

Ребята, вопрос :) от чайника, которого начинает общение с VR.
Взял в аренду HTC Vive Pro погонять, все классно.
Но меня не отпускает следующая проблема, по крайней мере в Star wars Squadrons сейчас заметил: очень маленькое поле зрения в фокусе. Вот если смотреть ровно перед собой - то там четко. А если хоть чуток скосишь глаза - там вне фокуса всё. Грубо говоря, чтобы в сюжетном ролике читать субтитры - ты не можешь скосить взгляд - нужно прям голову наклонять. А наклоняешь голову - картинка не в фокусе.

Попробовал поиграться с линзами, не заметил разницы. Это фича или свойство технологии? Или еще какая-то настройка? Мне это кажется очень странным, честно говоря. Человеку свойственно перемещать глазные яблоки туда-сюда, а не поворачиваться всей головой.

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб