Фото: Министерство образования Московской области
Ученик 11-го класса Виталий Симонов из школы № 13 Электростали разработал робота «Дактик», который в игровой форме обучает жестовому языку, сообщает Министерство образования Московской области.
Робот распознает жесты с помощью технологий компьютерного зрения и искусственного интеллекта, а затем проверяет их правильность. У «Дактика» три режима работы. В зависимости от выбранного режима система предлагает пользователю показать на жестовом языке букву, слово или целую фразу. Робот считывает положение пальцев кисти руки и показывает корректный ответ.
Постоянного подключения к интернету робот не требует.
Работа над проектом осуществлялась в центре «Диалог». Школьник самостоятельно провел исследование, разработал конструкцию, программное обеспечение и обучил нейронную сеть. Корпус робота был распечатан на 3D-принтере, а нейросеть обучалась на основе фотографий: собирались по пять фотографий руки на каждую из букв жестового алфавита. Чтобы система компьютерного зрения могла фиксировать положение пальцев пользователя, была разработана нейронная сеть – корректность жеста отслеживается по 21 точке, которые равномерно расположены на кисти руки. Координаты точек поступают в математическую модель, самостоятельно разработанную Виталием Симоновым.
Робот «Дактик» прошел апробацию и получил положительные отзывы от педагогов и воспитанников школы-интерната для детей с ограниченными возможностями здоровья № 1 Электростали.
