Как отслеживание взгляда и головы помогает геймерам с инвалидностью

Геймеры с самыми разными формами инвалидности соревнуются на высшем уровне киберспорта. От незрячих игроков вроде BlindWarriorSven до геймеров с деформациями рук, таких как Spear3FW: есть множество ярких примеров цифровых воинов, которые преодолели физические и психологические барьеры и пробились на профессиональную сцену.

Геймеры с инвалидностью составляют значительную часть игроков. Однако им приходилось обходиться почти без вспомогательных технологий, приспосабливаясь к одному из главных врагов: нехватке игровых контроллеров для людей с инвалидностью.

Ограничения и потребность в доступных игровых контроллерах

Разработчики создают игровые контроллеры и компьютерные интерфейсы в первую очередь для людей без инвалидности. Все мы знаем, как выглядят обычные контроллеры консолей. Их кнопки, крестовины и стики рассчитаны на палец среднего человека. Кроме того, их расположение оптимизировано под ловкость рук среднего человека. Несмотря на это, игровые благотворительные и некоммерческие организации, такие как Everyone Can, Extra Life, Able Gamers, Special Effect, Gamers Outreach Foundation, Child’s Play Charity и Games for Change, предоставляют ресурсы геймерам с инвалидностью и отстаивают их интересы. Один из таких защитников, Steven Spohn из Able Gamers, консультирует по вспомогательным технологиям вроде Xbox Adaptive Controller. Ещё один пример: инди-студия Soft Leaf Studios, которая создала Stories of Blossom для детей с инвалидностью.

Например, титулованный игрок в SFV BrolyLegs преодолел эти трудности, нажимая кнопки обычного геймпада Xbox ртом и лицом. Он и другие геймеры с инвалидностью изобретательно, одной лишь силой воли разрушили стены, которые мешали им наслаждаться видеоиграми. Но такие игроки скорее исключение, чем правило.

Ещё в 2008 году более 20,5% казуальных геймеров имели инвалидность. Можно только представить, насколько выросло их число. В то же время, если учесть, что примерно в 60% домохозяйств есть хотя бы одна игра, а почти четверть населения сталкивается с физическими ограничениями, которые мешают играть, можно только догадываться, сколько потенциальных геймеров так и не решились начать.

Очевидно, что потребность в доступных способах управления в играх растёт: об этом пишут на сабреддите Disabled Gamers. Мы, конечно, предвзяты, ведь сами создаём решение для отслеживания головы и взгляда, но считаем, что ответ кроется в технологиях отслеживания взгляда и отслеживания головы.

Применение отслеживания взгляда и головы в играх

Если коротко, отслеживание взгляда и головы с помощью камеры превращает положение ваших глаз или головы в цифровые команды. Поэтому эти сигналы отслеживания можно привязать и к схемам управления в видеоиграх.

В самой идее нет ничего нового. В работе с машинами и компьютерами множество технологий отслеживания уже расширили возможности пользователей с инвалидностью. Самый известный пример: Stephen Hawking, чей датчик движения щеки, разработанный Intel, позволял ему общаться с помощью синтеза речи. Развитие отслеживания взгляда ещё больше улучшает жизнь людей с БАС, таких как профессор Hawking.

Однако игры не похожи на повседневную работу за ПК. Чаще всего, чтобы добиться хоть какого-то успеха в симрейсинге, шутерах от первого лица и других жанрах игр для ПК, нужны предельная точность и быстрая реакция.

Однако благодаря недавним разработкам, за которые стоит благодарить защитников прав людей с инвалидностью, отслеживание головы стало достаточно быстрым для игр. Благодаря продуманному дизайну и более совершенным камерам, таким как TrueDepth в iPhone, управлять игрой с помощью головы теперь вполне реально с приложениями вроде Eyeware Beam или со специальным оборудованием от TrackIR и Tobii.

Геймерам с менее серьёзными физическими ограничениями отслеживание взгляда помогает удерживать внимание на экране. Сейчас стримеры и авторы контента используют айтрекеры, чтобы сделать просмотр интереснее для зрителей, показывая им пузырь взгляда на экране. Та же система может помочь игрокам, которым трудно сосредоточиться или у которых есть определённые нарушения зрения, лучше понимать, куда они смотрят.

У отслеживания головы уже есть реальное применение в игровых интерфейсах. В частности, любители симуляторов вроде Microsoft Flight Simulator уже используют трекеры головы для управления камерой.

Это меняет правила игры для геймеров с инвалидностью, которым не хватает ловкости рук. Если объединить отслеживание головы с последними разработками в области доступных контроллеров, многие люди с инвалидностью смогут играть в игры со сложным управлением.

Это не единственные примеры вспомогательных технологий. Голосовые ассистенты и устройства интернета вещей, такие как игровой адаптер CronusMAX для кросс-совместимости, тоже помогают геймерам с инвалидностью. Эпидемия коронавируса изменила то, как работают многие люди и как выглядит игровая комната, и у этого есть положительная сторона: устройства и программы для дополнительной и альтернативной коммуникации (AAC) теперь разрабатываются быстрее, а их важность признаётся шире.

И напоследок: сочетание отслеживания головы и взгляда может открыть отдельные жанры для геймеров с ограниченной моторикой. Глобальные стратегии, градостроительные симуляторы и стратегии в реальном времени служат яркими примерами игр, где нужно уверенно пользоваться указателем. Логичное решение на первый взгляд: мышь-трекбол.

Проблема в том, что трекбол рассчитан на повседневные задачи. Точно переместиться с одного края большой карты на другой становится утомительно. Отслеживание головы даёт доступ к движениям головы, а они делают наши действия быстрее, естественнее и проще. Сочетание отслеживания головы для прокрутки с отслеживанием взгляда для выбора и точности выглядит более логичным шагом вперёд.

Передовое отслеживание без больших затрат

Вы, наверное, думаете, что такая технология стоит целое состояние, ведь ей нужны специальная камера и оборудование. Айтрекеры и трекеры головы такого рода действительно существуют, но это не единственный вариант. Как мы уже говорили, в камеры некоторых новейших смартфонов встроены технологии, которые анализируют глубину точнее, чем когда-либо. Благодаря этому появились приложения, которые превращают телефон в недорогое устройство для отслеживания взгляда и головы.

Не все применения из предыдущего раздела готовы к использованию в таких приложениях сразу, но разработчики могут получить доступ к API для отслеживания головы и взгляда, чтобы создавать свои программы с отслеживанием головы и взгляда для игр, симуляторов и устройств дополнительной и альтернативной коммуникации (AAC) и решать задачи, у которых пока нет решений.

Благодаря такому открытому подходу к сотрудничеству студии и разработчики могут открыть мир игр для многих геймеров с физическими и ментальными особенностями. По мере того как институты и команды продолжают исследовать отслеживание взгляда и головы в разных контекстах, результаты таких проектов помогут лучше понять, как сделать эту технологию доступнее для геймеров с инвалидностью.

Помимо того что управление в играх становится доступнее, приложение для отслеживания взгляда или головы вроде Eyeware Beam умеет и то, и другое, делая технологию доступной большему числу людей. Приложение превращает iPhone или iPad со встроенной камерой TrueDepth в надёжный, точный и многофункциональный инструмент для отслеживания головы и взгляда. Приложение служит источником ввода для более чем 200 игр для ПК и даёт полный диапазон движений головы в игре: отзывчивое и интуитивное управление движениями головы добавляет играм глубины и помогает многим геймерам с инвалидностью.

Это настоящее технологическое достижение: технология TrueDepth от Apple строит карту глубины вашего лица, проецируя 30 000 инфракрасных точек, которые записывает и обрабатывает нейронный движок чипа смартфона. Eyeware Beam использует эту технологию, чтобы получать точное положение головы и сигнал отслеживания взгляда, сравнимые с дорогими специализированными устройствами от Tobii или TrackIR.

Доступное отслеживание взгляда

Помимо отслеживания головы приложение обеспечивает точное отслеживание взгляда, чтобы геймеры могли транслировать онлайн-арены, MOBA и любой другой игровой контент с точным оверлеем отслеживания взгляда на Twitch, YouTube или Facebook и в реальном времени показывать аудитории, куда они смотрят. Превратить смартфон в трекер совсем несложно.

Без громоздкого дополнительного оборудования вам нужно лишь установить телефон на подставку. Затем простая калибровка поможет настроить трекер, и вы сможете играть наравне с лучшими в Star Citizen, Digital Combat Simulator (DCS World) и Star Wars: Squadrons.

Игровая индустрия стала крупнейшей индустрией развлечений на планете. Естественное следствие такой распространённости в том, что люди самых разных слоёв превращают игры в культуру и образ жизни, независимо от возраста и происхождения.

Главное: видеоигры остаются искусством и хобби, которыми должен наслаждаться каждый. Но это и растущий образ жизни, который должен становиться инклюзивнее для всех, от американских ветеранов с инвалидностью до обычных геймеров. Передовые технологии, такие как отслеживание взгляда и головы, дают надёжные решения, которые помогают сократить разрыв для людей с инвалидностью, которым до сих пор приходится искать сложные обходные пути, чтобы участвовать. Игры не должны быть для людей с инвалидностью таким испытанием или чем-то недостижимым.