Тренажер на основе нейронных сетей поможет улучшить произношение на английском языке
Студенты Санкт-Петербургского государственного университета аэрокосмического приборостроения разработали тренажер для корректировки произношения на английском языке с использованием современных нейронных сетей.
Тренажер позволяет корректировать произношение с использованием современных моделей нейронных сетей, таких как Wav2Vec2, предварительно дообученных на задачу распознавания фонем. Такой подход обеспечивает высокую точность распознавания речи и чёткую транскрипцию. Пользователь может записывать своё произношение, получать его транскрипцию и сравнивать её с эталонной версией. Программа анализирует ошибки, дает рекомендации и отслеживает прогресс в обучении.
Система преобразует устную речь пользователя в цифровой формат, анализируя акустические сигналы. Для этого используются технологии автоматического распознавания речи – такие, как модели, обученные на больших объемах данных для распознавания фонем, слов и фраз.
– Мы собрали датасет, включающий аудио и соответствующие фонемные транскрипции. Далее был разработан прототип системы CAPT, позволяющий точно распознавать произношение на уровне фонем. Система анализирует полученные акустические данные и сравнивает их с эталонной моделью речи, затем генерирует обратную связь для пользователя. Она может указать на ошибки в произношении конкретных звуков, выделить проблемные слова или части фраз, повторно воспроизвести эталонную речь для подражания, – рассказал один из разработчиков проекта Михаил Дорохин, студент ГУАП направления «Прикладная информатика».
Применение модели Wav2Vec2 позволяет точно распознавать речь и эффективно анализировать фонетическую транскрипцию. Тренажер поможет изучающим английский язык совершенствовать разговорные навыки независимо от наличия преподавателя или носителя языка. В дальнейшем разработчики планируют расширить функционал системы, интеграцию с другими инструментами обучения и улучшить алгоритмы обратной связи для более детального анализа ошибок произношения.