Профессор из Новосибирска научил нейросеть распознавать эмоции

Ученые СПбГУ научили нейросеть распознавать речь людей, рассказывающих о сильном эмоциональном потрясении. Основой для нейросети послужила русскоязычная модель распознавания речи, разработанная старшим преподавателем кафедры фундаментальной и прикладной лингвистики Гуманитарного института НГУ Иваном Бондаренко.

— Они модифицировали нейросеть Wav2Vec 2.0, обучив ее на интервью с жертвами Холокоста, записанными фондом мемориального комплекса истории Холокоста Яд ва-Шем, — говорится в сообщении НГУ.

Нейросеть выучила сопоставление каждого звука устной речи человека соответствующей букве алфавита. У нейросети Wav2Vec 2.0 есть ряд преимуществ перед другими подобными разработками.

— Во-первых, наша нейросеть не слишком требовательна к ресурсам и достаточно проста в использовании. Во-вторых, она обеспечивает высокое качество распознавания речи без дополнительной настройки. На апрель 2023 года нейросеть вошла в топ лучших открытых систем распознавания русской речи. В-третьих, наши нейросети легко дообучать решению более специализированных задач распознавания речи в ситуации, когда базового качества распознавания недостаточно, — рассказал Бондаренко.

Он также отметил, что эмоциональная нейросеть поможет в автоматизации исторических исследований при обработке историками архивных звукозаписей мемориального комплекса истории Холокоста Яд ва-Шем, а также для анализа и поиска нужной информации в других русскоязычных звуковых архивах. Однако подобная разработка также поможет и в дальнейшем расширить возможности разговорного ИИ.

Ранее редакция сообщала о том, что отечественные ученые создали виртуального дерматолога.