Научная группа под руководством Корнеллского университета разработала кольцо на базе искусственного интеллекта SpellRing, которое помогает в режиме реального времени переводить с американского языка жестов или амслена (American Sign Language, ASL). Помимо ИИ, гаджет использует микросонар для отслеживания дактилологии.
На текущем этапе SpellRing можно использовать для ввода текста на компьютере и или смартфоне с помощью дактилологии, которая используется в амслене для написания слов без таких знаков, как имена собственные и технические термины. В дальнейшем кольцо должно произвести революцию в переводе с ASL, непрерывно отслеживая целые жестовые слова и предложения, уверены исследователи.
Многие другие подобные технологии не приняли в сообществе глухих и слабослышащих из-за громоздкости и непрактичности оборудования, поделился докторант в области информатики Корнеллского университета и ведущий автор работы Хаянчул Лим. По его словам, команда стремилась уместить все необходимые компоненты в кольцо, чтобы фиксировать все тонкие и сложные движения пальцев в ASL.
Работу учёных представят на конференции Human Factors in Computing Systems, которую Ассоциация вычислительной техники проведёт в японской Иокогаме с 26 апреля по 1 мая 2025 года.
SpellRing надевают на большой палец. Кольцо оснащено микрофоном и динамиком, которые посылают и принимают неслышимые звуковые волны, отслеживая движения руки и пальцев владельца. За отслеживание движения руки также отвечает мини-гороскоп. Все компоненты расположены внутри напечатанного на 3D-принтере кольца и корпуса размером чуть менее пятирублёвой монеты.
Запатентованный алгоритм глубокого обучения обрабатывает данные сонара и прогнозирует дактилологические буквы ASL в режиме реального времени с такой же точностью, как и многие существующие системы, требующие большего количества оборудования.
Разработчики протестировали SpellRing на 20 продвинутых и начинающих пользователях амслена, предложив им естественно и непрерывно воспроизводить жестами в общей сложности более 20 тыс. слов различной длины. Точность кольца варьировалась от 82% до 92% в зависимости от сложности слов.
SpellRing базируется на предыдущей разработке под названием Ring-a-Pose. Будущая работа исследователей будет включать интеграцию микросонарной системы в очки для отслеживания верхней части тела и выражений лица человека. Это позволит создать комплексную систему перевода на ASL.
Глухие и слабослышащие используют для амслена не только руки, но и выражения лица, движения верхней части тела и жесты головы, отметил Лим.
Препринт научной работы «SpellRing: Recognizing Continuous Fingerspelling in American Sign Language using a Ring» опубликован 15 февраля 2025 года на сайте arxiv.org (DOI: arXiv:2502.10830 [cs.CV]).
