Microsoft усовершенствовала перевод устной речи в письменную на основе использования нейросетей

Компания Microsoft усовершенствовала систему распознавания устной речи, работа которой основана на использовании нейросетей. Теперь система делает меньше ошибок, чем профессиональный специалист по набору текста. Статья ученых, описывающая программу, выложена на сервере препринтов ArXiv. Передает nplus1.ru.

Точный перевод устной речи в письменную - это одна из наиболее актуальных задач в области искусственного интеллекта. Технология преобразования речи в текст используется в программах, которые подразумевают голосовой ввод. К ним относятся виртуальные переводчики, такие как Google Translator, а также мессенджеры и другие системы. Несмотря на то что в последние годы исследователям удалось значительно повысить качество работы подобных программ, они все равно не могут полноценно конкурировать с человеком. Однако использование нейросетей, продвинутых технологий машинного обучения и баз данных с большим набором учебных материалов позволяет разработчикам существенно повысить точность перевода устной речи в письменный текст.

В программе, созданной компанией Microsoft, используются сверточные и LSTM нейросети. Сверточные нейросети представляют собой класс нейросетей, которые хорошо справляются с распознаванием изображений, звуков и другими подобными задачами. Если в обычных перцептронах каждый нейрон предыдущего слоя связан с каждым нейроном последующего слоя, в сверточных сетях связь между разными уровнями осуществляется через операцию свертки. В ходе этой операции используется ограниченная матрица весов небольшого размера, которая двигается по предыдущему слою. Такая архитектура позволяет наращивать большое число слоев без слишком больших вычислительных затрат, что необходимо для решения абстрактных задач, вроде распознавания речи. LSTM нейросети, в свою очередь, представляют собой подвид рекуррентных нейросетей, для которых характерно наличие обратной связи. Их ключевая особенность состоит в том, что они способны обучаться долговременным зависимостям. На практике это означает, что LSTM-нейросети по умолчанию хранят информацию в течение продолжительного периода времени и способны работать с контекстом в длинных предложениях.

В своей системе авторы использовали сверточные сети VCG Net из 14 слоев, Residual-Net из 49 слоев и LACE из 22 слоев. LSTM-нейросеть состояла из шести слоев, в каждом из которых было по 512 скрытых нейронов. Кроме того, при создании программы использовались лингвистическая модель N-грамм и такие инструменты, как Computational Network Toolkit, что позволило ускорить работу графического процессора. Лингвистическая модель была обучена с помощью нескольких баз данных расшифрованных разговоров, состоящих в совокупности из примерно 350 миллионов слов. Для тренировки нейросетей использовались три похожие базы данных, в которых было 85 миллионов слов. Обучение программы заняло в совокупности две тысячи часов. 

Согласно результатам тестов, частота ошибок системы в метрике Word Error Rate составляет всего 5,9 процента, что сопоставимо с аналогичным показателем для людей, которые профессионально занимаются расшифровкой аудиозаписей. В прошлом месяце лучший результат системы составлял 6,3 процента. Наибольшую трудность у нее вызывали междометия, выражающие сомнение («хмм»), и слова, которые использовались людьми для поддержания беседы («ага», «ох» и т.д.).

Разработчики Microsoft планируют использовать систему в голосовом помощнике Cortana, игровой приставке Xbox One и других программах, использующих распознавание речи. Однако теперь программистам предстоит выяснить, как будет работать созданная ими система в реальных условиях. В местах, где много фонового шума, качество распознавания речи может существенно снизиться. В перспективе исследователи планируют научить систему не только транскрибировать речь, но и разговаривать с пользователями и выполнять их команды. 

Технологии машинного обучения используются также и для решения обратной задачи - перевода написанного текста в устную речь. Например, недавно компания Google DeepMind представила новый алгоритм для синтеза человеческой речи под названием WaveNet. В его основе лежит использование нейросети, архитектура которой также была вдохновлена рекуррентной и сверточной нейросетью. Это позволяет добиться более реалистичной имитации голоса. В отличие от классических систем преобразования текста в речь, WaveNet не использует готовые библиотеки «живой» речи, а поточечно генерирует профиль звуковой волны.