Project Gameface — это новая игровая мышь с открытым исходным кодом для громкой связи, которая позволяет людям управлять курсором компьютера с помощью движений головы и жестов лица. Люди могут поднять брови, чтобы щелкнуть и перетащить, или открыть рот, чтобы переместить курсор, позволяя всем участвовать в игровом процессе.
Проект был вдохновлен историей стримера видеоигр, страдающего параличом нижних конечностей. Лэнс Карр, который живет с мышечной дистрофией, прогрессирующим заболеванием, ослабляющим мышцы. Лэнс не позволил своим физическим ограничениям помешать ему любить игры, поэтому он использовал мышь с отслеживанием головы для управления курсором. В 2021 году дом Лэнса загорелся, когда он однажды ночью играл. все это снималось в прямом эфире и видели игроки по всему миру. Лэнс потерял в огне все свое игровое онлайн-оборудование, в том числе свою дорогую мышь с отслеживанием головы, которая является основной технологией, которая позволяла ему играть в компьютерные игры.
Услышав историю Лэнса, мы поняли, что должны помочь. Поэтому мы объединились с Лэнсом для совместной разработки Project Gameface, игровой мыши без помощи рук, в которой используются решения с открытым исходным кодом Google MediaPipe. Движения головы и движения лица, снятые просто с веб-камеры, распознаются моделями машинного обучения для соответствующего перемещения курсора. Чтобы адаптироваться к потребностям разных пользователей, мы включили идею размера жеста, которая позволяет пользователям контролировать, насколько заметным должен быть их жест, чтобы вызвать действие мыши.
