Разработки новгородских студентов позволят управлять компьютером при помощи глаз
6 июня 2025 год, 12:24 - Общество
В Великом Новгороде студенты Политехнического института НовГУ Артём Алексеев и Валентин Баранов разработали модели искусственного интеллекта, определяющие на фотографиях рамки лиц и их ключевые точки. В будущем учёные НовГУ планируют использовать эту модель при работе над айтрекером — устройством, которое отслеживает движения глаз и позволяет управлять компьютером при помощи взгляда. Это особенно актуально для людей с ограниченными возможностями здоровья, которые из-за своего состояния не могут пользоваться мышью. Первая модель, созданная студентами, умеет определять рамку лица. Вторая — ключевые точки: глаза, брови, нос, рот. Модели образуют своеобразную нейросетевую систему: она распознаёт лица, обрезает эти фрагменты на фото, считывает биометрические показатели. Датасет для обучения нейросети взяли из открытых источников, отредактировали и дополнили. После обучения искусственный интеллект прошёл тестирование на закрытом датасете, к которому у разработчиков не было доступа. При распознавании рамки лица наложение площадей составило 87%. Модель распознавания ключевых точек показала отклонение менее чем в два пикселя при изображении в 96х96 пикселей. Наставник студенческой команды — ассистент кафедры информационных технологий и систем НовГУ Игорь Кулаков. Он изучает айтрекинг и планирует в ближайшей перспективе приступить к разработке такого устройства. Уже в следующем семестре начнётся сборка нового датасета для обучения третьей модели для данной системы. В начале 2026 года планируется уже иметь прототип программного обеспечения. Модели Артёма Алексеева и Валентина Баранова будут использоваться в работе. «Наша гипотеза заключается в том, что трёх моделей машинного обучения достаточно для работы системы айтрекера. Задачи данных моделей — поиск лица, выделение ключевых точек и предсказание, куда именно смотрит человек на мониторе. Первые две уже готовы, третью мы будем реализовывать в ближайшее время. На данный момент нет открытых подходящих датасетов, поэтому мы будем собирать данные для них самостоятельно», — пояснил Игорь Кулаков. Ранее команда под руководством Игоря Кулакова уже создала прототип нейросетевой системы, который находит и обрабатывает жесты рук с камеры. Также сейчас создаётся модель для обработки голосовых команд. Всё это также будет использоваться в айтрекере. Как отметил Игорь Кулаков, в направлении айтрекинга проводилось не так много исследований, и существующие решения имеют относительно большие погрешности при работе. «На данный момент лучший результат показывают системы, которые крепятся на голове с помощью шлема. Но даже у них достаточно большая погрешность — точность составляет примерно 0.5–1 градус визуального угла, что на обычной дистанции, например, 60–70 см от экрана, соответствует 1–2 см или 30–50 пикселей. Нейросетевые айтрекеры «ошибаются» ещё больше — погрешности могут достигать нескольких градусов визуального угла, что на практике может означать отклонения на 5 см и больше от реальной точки взгляда. С учётом появления огромного инструментария для создания моделей машинного обучения, мы считаем, что можем сделать лучше», — рассказал Игорь Кулаков. Разработка студентов представлена на всероссийском студенческом командном соревновании по программированию «Хакатон: грамотное решение» и заняла первое место в номинации «Искусственный интеллект». Ранее «53 новости» сообщали о том, что в Новгородском университете представили математическую модель электронной динамической перестройки аппаратной нейросети. Кроме того, в прошлом году учёные НовГУ совместно с Сеченовским университетом работали над созданием нейросети для оценки риска развития рака лёгкого. По информации пресс-службы Новгородского университета.
Источник: 53 новости
