Примерно 3 года назад я познакомилась с виртуальной реальностью (Virtual Reality, VR). Мне так понравилось, что я решила поворачивать свою карьеру в её направлении. Сегодня я хочу поделиться своей любовью с вами. Я что вижу, то пою, поэтому если вы знаете лучше, велкам в комменты или писать посты опровержения, с удовольствием почитаю)
В первую очередь, надо напомнить о разнице VR, AR и прочих:
VR - виртуальная реальность, это когда вы полностью погружены в виртуальный мир. Реализуется чаще всего с помощью экранов перед глазами и наушников.
AR (Augmented Reality) - дополненная реальность, когда вы видите мир вокруг себя, и плюс поверх настоящих - виртуальные объекты. Реализуется разными способами, может быть тоже экраном перед глазами, где на видео реального мира накладываются виртуальный, а может быть и телефон. Известный пример - Pokemon Go.
MR и XR - собирательные термины для первых двух, Mixed Reality и eXtended Reality соответственно.
SR - simulated reality, термин, используемый производителями 3д без шлемов (когда экран проецирует линзами разные изображения левому и правому глазам).
Про дополненную реальность есть лонгрид от Вастрика (пара картинок в постe также оттуда). Мне к нeму добавить нечего, так что вернусь к VR.
Виртуальная реальность - не такая молодая область, как могло бы показаться. Первый VR шлем был сделан в 68-м году. Но, конечно, очень долго технологии не позволяли мало-мальски компактных девайсов, поэтому игрались в виртуальную реальность преимущественно исследователи. Довольно интересный период со многими экспериментами, например VR-комнатой, по принципу 3д кинотеатра: виртуальное пространство проецируется на комнату и обновляется по мере ваших движений, а вы носите поляризованные очки и видите всё в 3д. Hе самый жизнеспособный вариант, хоть и выглядит весело.
Эра современной VR началась в 2010-м году с разработки прототипа Oculus Rift - VR шлема принципиально мало отличающегося от сегодняшних.
Как это всё работает?
По сути, у VR шлема есть две задачи - показать вам картинку и обеспечить её интерактивность.
Для того чтобы картинка была объёмная, каждому глазу нужно своё изображение. Это обеспечивается тем, что виртуальная сцена рендерится по сути дважды - с небольшим смещением. Кстати, тот факт что у людей разное расстояние между глазами (Inter-Pupilary Distance, IPD) регулируется линзами. Часто в шлемах есть ползунок, который их двигает.
Линзы также делают изображение "дальше" (ну так как на самом деле экран у вас в шлеме перед самыми глазами) и немного "шире", увеличивая угол обзора. Последний всё равно остаётся небольшой, часто около 100 градусов - это примерно столько, сколько можно увидеть одним каждым на стороне другого, то есть сколько не загораживает нос. Не фонтан, конечно, но над этим тоже работают)
Интерактивность обеcпечивается тем, что система отслеживает положение и место вашей головы и контроллеров (чаще всего рук). Здесь мы добавим ещё терминологии, новый термин - degrees of freedom (DOF), степени свободы. Когда их 3 (только трекинг вращения) - тогда при повороте головы вы увидите окружение, но если сделаете шаг вперёд-назад, от этого ничего не изменится, потому что изменение положения не отслеживается. Все современные телефоны умеют в 3DOF.
Для 6DOF шлему нужно каким-то образом знать где он находится. Это реализуется через наружний (outside-in) или внутренний (inside-out). Первый немного надёжнее, но требует дополнительных прибамбасов, которые работают по ринципу маяка. Внутренний же иногда лагает, но зато более независимый.
Распространённые типы VR шлемов
Тут я классифицирую типы VR шлемов по принципу "где основные вычисления".
Начнём с телефонов. Мобильная VR - это очень просто и дёшево. Телефон вставляется в коробку с линзами Google Cardboard - и готово (например, вот производитель из Берлина). VR приложения сами разделяют экран надвое, а встроенные гироскоп и аккселерометры позволяют узнать положение телефона. Конечно, ресурсы телефона ограничены, поэтому графика в такой виртуальной реальности оставляет желать лучшего. Несмотря на это, за 10-15 евро оно того стоит. Управление также ограничено. Чаще всего для "клика" нужно или смотреть на объект на протяжении какого-то времени, или смотреть на него и одновременно жать на экран телефона через дырку в коробке.
На другой стороне спектра шлемы, подключаемые к компьютерам. В таком случае драйвер стоимости даже не сам шлем (сейчас можно купить хорошие дешевле 500 евро), а компьютер, который потянет необходимый уровень графики. Надо заметить, что комфортными для VR считаются 90 кадров в секунду, потом 60 так себе, а если картинка заметно притормаживает, то очень быстро начнёт укачивать, в том числе потому что при замирании картинки глаза резко начинают фокисироваться на близком экране, это очень неприятно. Так вот, приемлемый стационарный компьютер будет 1k евро+, приемлемый ноутбук 2k+. Если вы геймер, то у вас такой уже наверняка есть, а только заради VR так тратиться мне не видится рациональным. Самые знаменитые - HTC Vive, Valve Index, Oculus Rift. Из них я пробовала HTC Vive (и HTC Vive Pro), они хорошего качества и достаточно удобные, но, кажется, они теряют популярность, так что может другие лучше.
Недавно начали производить отличное промежуточное решение - шлемы, которым не нужен компьютер. Самая знаменитая модель - Oculus Quest. В клубе есть пост про использование шлема для работы.
В октябре выпустили его вторую версию, и до сих пор он в магазинах появляется волнами и быстро раскупается. Дополнительная приятность Quest-а в том, что и трекинг у него изнутри, поэтому можно играть по сути в любом месте, главное обозначить границы правильно, а то будете в стены вбегать. Девайс компактный - шлем и два контроллера, можно возить к друзьям (когда можно будет, плак-плак). При желании можно подключить к компу (если у вас тот, что из предыдущего абзаца, опять же). Такие шлемы немного уступают по производительности стационарным (в Alyx, например, только через Link поиграете, или, возможно, по облаку). Очевидно, всю мощь компа засунуть в шлем проблематично. Тем не менее, многие игры отлично идут на Quest-е.
У меня первый Oculus Quest, он действительно такой, как о нём говорят. Единственное что мне в нём не нравится - неидеальная балансировка, в частности мне или ремнями голову жмёт, или он на нос съезжает. Есть и более удобные шлемы. В остальном отлично.
А, ещё Окулус принадлежит фейсбуку, и поэтому есть вероятность, что скоро им нельзя будет пользоваться, не подключив аккаунт. Евросоюз против, но неизвестно, как пойдёт.
Проблемы VR
До киберпанкового будущего далеко. VR всё ещё очень молодая сфера с кучей проблем, например:
- Линзы по сути "растягивают" маленькие экраны в шлеме до покрытия большей части нашего поля зрения. Но количество пикселей на экранах ограничено, поэтому при таком увеличении их видно, картинка получается зернистая (называется screen door effect).
- Управление в VR тесно связано с эргономикой и комфортом и сильно отличается от управления в компьютерных играх. Золотые стандарты пока в разработке, поэтому от многих игр за короткое время начинает невиртуально тошнить.
- Шлемы всё ещё довольно тяжёлые. Некоторые производители выходят из положения правильной балансировкой, но так или иначе, это минимум полкило на голове.
- Ну и в виртуальной реальности, как и в реальной жизни, очень важно правильно выстраивать границы, иначе игры могут закончиться неиллюзорными травмами и разрушениями)
Где применяется
Конечно, VR наиболее известна по игрушкам и развечениям, но другие сферы тоже активно осваивают её возможности. Насколько я понимаю, VR полезна везде где нужно что-то визуализировать или симулировать. То есть надо вам показать какую-то сложную 3д штуку - модель скана мозга или будущее здание? В VR это намного понятнее, чем на плоском экране, потому что так можно гораздо естественнее крутить-вертеть штуку или увидеть как будет выглядеть зал в натуральную величину. Или хотите чтобы люди тренировались не в настоящих условиях, а в виртуальных - вуаля, быстро, компактно и безотходно.
Приведу тут некоторые примеры по индустриям:
- Медицина - с точки зрения пациента - диагностика и реабилитация (гораздо веселее делать упражнения в игровом формате), с точки зрения врачей - тренировки и визуализация.
- Автомобильная промышленность - визуализация и прототипирование (меньше необходимость делать реалные пластиковые модели будущих машинок и их дизайна салона).
- Рынок недвижимости - во время ковида уже начали проводить просмотры квартир по видео-звонку. То же можно делать и с виртуальной реальностью - агент делает 360-градусные фотки или видео, клиент смотрит, как будто он там был. А когда освоят технологию 3д-сканирования (lidar-ы в айфонах - большой к этому шаг), тогда и своим ходо можно по модели перемещаться.
- Строительство и архитектура - то же что выше, но до создания объекта.
- Тренировка персонала - тут во всех сферах, даже офисному планктону нужно знать как себя вести при пожаре, а людям, которые "работают руками" (пожарники, полицейские, военные, работники аэропорта, кладовщики итп) - и подавно такие тренинги могут частично заменить реальные.
- Образование - одно дело прослушать скучный урок про какую-нибудь очередную войну, и совсем другое оказаться на поле битвы и походить там, посчитать потери. Или помните мультик "Волшебный школьный автобус"? Теперь это можно организовать в VR, а не магией.
- Спорт - если на спортсмена понавешать сенсоров, можно очень подробно анализировать как он движется и как это можно оптимимзировать для получения нужного результата.
- Искусство и дизайн - гигантский простор для фантазии, когда что-то трудно сделать из физических материалов - можно скульптурировать это в виртуале.
Как вкатиться в VR (как юзер)
Я всем рекомендую попробовать мобильный VR. Да, она, конечно не настолько впечатляющая как шлемы, но мне и этого хватило для того чтобы заболеть темой. Тем более стоит смешных денег. Не понравится - выкинуть не жалко. Мне больше всего понравилось смотреть Google Street View, тупо 360-градусные фотки, а смотришь, и как будто действительно на улице детства стоишь) Также попробуйте Hidden Temple VR Adventure (простенький квест), VR Noir (детектива) и InCell VR (красиво, но может укачать).
Если мобильная VR не произвела впечатления, дайте шанс полной версии и сходите в какую-нибудь аркаду (опять же, когда откроют, плак-плак). Там попросить Plank experience (это когда вы идёте по доске над городом), Beat saber (разрубать кубы джедайскими мечами в ритме песен) и какой-нибудь хоррор, если вы любите. И конечно, Alyx - игра - локомотив VR в 2020м году. Вы не много успеете за полчаса-час, но там всё сделано на высшем уровне. Также, в некоторых городах мира есть escape room-ы с виртуальной реальностью.
Если у вас будет VR доме, то Plank experience - это вечное развлечение для гостей и вас, потому что им адреналин, а вам очень смешно смотреть как они боятся))
Как вкатиться в VR (как про)
У меня пока ограниченный опыт, но вся VR на гейм-движках, поэтому сначала учите как пользоваться Unity или Unreal, потом соответствующие языки, потом или параллельно плагины для VR и особенности разработки для неё. Область довольно молодая, поэтому большая часть компаний - стартапы (ну, если вы в долину или Мюнхен не хотите релоцироваться, там и мастодонты VR балуются). Требуются чаще всего разрабы. Моё предположение, что после входа в стартап они становятся и жнецами, и на дуде игрецами.
Полезные и смeшные ссылки
На русском я могу только канал про гейм-разработку посоветовать. Делала их курсы в прошлом году, когда решила перестать быть говнокодером. По-моему помогло, поэтому рекомендую.
https://www.youtube.com/user/OfficialChannelGD
Исходно я учила как пользоваться Unity на курсере вот тут и тут, но с тех пор появилась куча других курсов, сама Unity, например, бесплатно учит. Виртуальную реальность я делала здесь. У них практические части курса не очень хорошо окучены, но первая теоретическая - супер полезная, много важного про VR experience рассказывают. Кроме того, прослушать их можно бесплатно.
Чувак рассказывает каждую неделю новости VR индустрии (подписка через рсс, линкедин и твиттер).
http://skarredghost.com/
Тоже новости и обзоры VR, но видео
https://www.youtube.com/channel/UCsmk8NDVMct75j_Bfb9Ah7w
До чего техника дошла
https://www.reddit.com/r/oculus/comments/fu8z2c/a_spot_of_tea/
VR хоррор
https://www.reddit.com/r/oculus/comments/j2snh6/the_walking_dead_onslaught_is_dead_easy/
Full immersion
https://www.reddit.com/r/virtualreality/comments/fp9son/she_is_still_missing_some_height_and_pandemicfree/
Польза в быту
Большое спасибо! Ты проделала огромную работу, супер обзор для вкатывания 😍
А это не про VR, а про АR, но всё же...
Класс! Уже давно вкатился и качусь, пост великолепный!
Пробую разработку под VR, это ощущение, когда ты что-то там в компухторе накидываешь, а потом просто берешь и оказываешься там и с этим взаимодействуешь O____O
Стоит ли делать будущую ставку на устройства VR+AR, где в AR режиме устройства, похожего на обычные очки, ты просто опускаешь шторку и у тебя VR?
Ждем, когда Apple изобретет VR? =D
Классная статья! Спасибо за обзор. Хочется добавить, что internet is for porn и это тоже стоит увидеть в VR 😏
Кстати второй квест хорош тем, что туда наконец появились линзы с диоптриями. Я пробовал для интереса заглянуть в другие VR шлемы без очков, так вот не видно не шиша.
Если хочется самому создать игру в VR по быстрому, то хвалят Modbox https://store.steampowered.com/app/414120/Modbox/
Ребята, вопрос :) от чайника, которого начинает общение с VR.
Взял в аренду HTC Vive Pro погонять, все классно.
Но меня не отпускает следующая проблема, по крайней мере в Star wars Squadrons сейчас заметил: очень маленькое поле зрения в фокусе. Вот если смотреть ровно перед собой - то там четко. А если хоть чуток скосишь глаза - там вне фокуса всё. Грубо говоря, чтобы в сюжетном ролике читать субтитры - ты не можешь скосить взгляд - нужно прям голову наклонять. А наклоняешь голову - картинка не в фокусе.
Попробовал поиграться с линзами, не заметил разницы. Это фича или свойство технологии? Или еще какая-то настройка? Мне это кажется очень странным, честно говоря. Человеку свойственно перемещать глазные яблоки туда-сюда, а не поворачиваться всей головой.
Подскажите, не изменилось ли у вас зрение за это достаточно длительное время?
Меня волнуют штуки типа несовпадения с естественным фокусным расстоянием глаза (картинки в обычном мире и то, что показывается через шлем = глаз все время напряжен) — как мне рассказывали люди из одной исследовательской лаборатории лет 10 назад про sony hmz (были такие для кино или игр), что ушатывали зрение ровно по этой причине = якобы был достаточно сильный негативный вклад.
Я после этого как-то напрягся и забил на любые экраны у глаз.
Интересно, узнать мнение пользователей :-).
Разрабатывал приложения и игры (в стиме JetX, Machine Learning Episode One) под VR (Vive, Oculus) и AR пару лет в 2016-2018. Но в целом пришел к выводу, что технология VR в текущем виде тупиковая - полезных вещей (которые иначе не сделать) на ней можно сделать мало, а неудобств при этом выше крыши.
В играх тоже восторга не было, у меня куда выше погружение в тот же условный Скайрим на обычном мониторе (и глаза меньше портятся), чем в шлеме. Ну есть несколько интересных игрушек, но покупать шлем ради них - не стоит того.
Думаю, трушный VR должен выглядеть не как рендеринг чего-то перед глазами, а подача информации напрямую в мозг, но не знаю, когда мы до этого дойдем. Ну либо преобразование реальности, как в голопалубах Стар Трека, но это уже вообще фантастика)
В компании делаем презентации будущих домов в ВР с помощью сервиса https://kuula.co/. Это по сути точки с 360 фотками(рендерами) и позволяет на обычном экране смотреть. Выглядит прикольно, на клиентов производит ВАУ эффект. Ща хотим попробовать уже в анриале сделать, чтоб можно было ходить как и где захочеться, плюс добавить интерактива. Только для нас добится такого качества рендера онлайн очень сложно пока.
Юзаю Квест2 месяцев 9-10 уже. Играл дома и возил на Бали (попросторнее на улице). Из крутого — Халфа мега крутая, Бонворкс норм, еще полторы игры какие нибудь. Физика и отслеживание движений пальцев топ. Еще спорт игры тоже заходили какое то время — вот этот бокс, когда на тебя летят шарики всякие под ритмичную музыку. Как кардио — супер, разные уровни сложности, нормально выматывает за 20-30 мин, потеешь серьезно. Та игра со световыми мечами (забыл название) — не очень зашла. Но постоянно потеть в шлеме не очень приятно (но я купил пачку масок под очки для гигиены). Так что, в себестоимость игры теперь, кроме электричесва, входит еще рублей 20-30 на маску лол.
Из минусов: игры дорогие, 90% игр — низкокачественное говно, играть не во что. Графоний в топ-тайтле (он тут один) вполне себе приятный, все остальное — унылище.
Работать пробовал полтора раза — ничего путного не наработал. Сейчас лежит в шкафу, достаю раз в месяц минут на 20-30 потыкаться.
Пару лет назад брал в аренду PSVR, мне его привозили его с таким ружьем, на котором еще есть джойстики для передвижения. Это был мега кайф играть в стрелялки с ним! Я прям очень кайфанул тогда! Жаль, что для квеста ничего такого не находил.
Про передвижения в вр (прыжки или ходьба) — у меня после первого часа адаптации, наверное, не было больше проявлений в виде тошноты или головокружения. У жены тоже все норм. Но у всех период привыкания разный, насколько я понял.
Ребят, а как вот такую штуку собрать? (смотрите 1:36)
(камикадзе от Птушкина)
Спасибо большое за контент! Планирую с другом открывать антикафе и хотелось бы там завести опцию ВР. Думали это будет сложнее и дороже.