Omnilingual ASR

Omnilingual ASR — это передовая система автоматического распознавания речи с открытым исходным кодом, разработанная командой Fundamental AI Research (FAIR) компании Meta. Этот комплексный набор моделей решает важнейшую задачу обеспечения глобальной языковой доступности, поддерживая более 1600 языков, включая сотни тех, которые ранее никогда не охватывались ни одной технологией ASR. Созданная для исследователей, разработчиков и разнообразных языковых сообществ по всему миру, Omnilingual ASR обеспечивает высококачественную, адаптируемую транскрипцию голоса в текст в беспрецедентном масштабе.

Ключевые особенности

Omnilingual ASR использует передовую архитектуру, сочетая масштабированный речевой кодировщик wav2vec 2.0 с декодерами в стиле LLM, чтобы обеспечить мощные и гибкие решения для работы с речью.

🌍 Всеобъемлющая языковая поддержка

Эта система поддерживает более 1600 языков мира, значительно расширяя сферу применения речевых технологий. Важно отметить, что она включает поддержку более 500 малоресурсных языков, которые исторически не имели охвата ASR, открывая жизненно важные возможности транскрипции для недостаточно представленных сообществ и лингвистических исследований.

🚀 Простое расширение языковой поддержки за счет Zero-Shot Learning

В отличие от традиционных систем ASR, требующих огромных и дорогостоящих наборов данных для новых языков, Omnilingual ASR использует масштабируемое обучение с нулевым количеством примеров (zero-shot learning) и контекстные возможности, полученные от LLM. Это позволяет расширять систему на совершенно новые языки или диалекты, используя всего несколько пар аудио-текстовых примеров, что значительно снижает входные барьеры в отношении специализированных знаний и высокопроизводительных вычислительных ресурсов.

✨ Передовая производительность в любом масштабе

Мощная модель 7B-LLM-ASR достигает высочайшей точности для своего обширного языкового портфолио. Для 78% из более чем 1600 поддерживаемых языков система поддерживает коэффициент ошибок по символам (CER) ниже 10, что представляет собой значительный скачок в производительности, особенно для языков с длинным хвостом и малоресурсных языков.

⚙️ Универсальное и масштабируемое семейство моделей

Omnilingual ASR предлагает гибкий набор моделей, адаптированных для различных потребностей развертывания. Вы можете выбрать от легковесных версий 300M, разработанных для эффективного использования на устройствах с низким энергопотреблением, до мощных моделей 7B, которые обеспечивают максимальную точность для требовательных и критически важных сценариев использования.

Сценарии использования

Omnilingual ASR предоставляет исследователям, разработчикам и сторонникам языковых сообществ возможность создавать более инклюзивные и функциональные голосовые приложения.

1. Архивирование и анализ данных малоресурсных языков. Местные сообщества и лингвистические исследователи могут использовать Omnilingual ASR для транскрибирования исторических или недавно записанных речей на малоресурсных языках, которые ранее не были охвачены ИИ-технологиями. Эта возможность облегчает создание текстовых корпусов, доступных для поиска и обмена, способствуя сохранению языков и углубленному научному анализу.

2. Разработка кросс-платформенных, многоязычных приложений. Разработчики могут интегрировать этот набор моделей для развертывания решений ASR, адаптированных к конкретным аппаратным ограничениям. Например, легковесные модели 300M обеспечивают точную транскрипцию на устройстве для мобильных или встроенных систем, в то время как модели 7B могут обеспечивать высокоточную транскрипцию на стороне сервера, поддерживающую сотни языков одновременно.

3. Ускорение исследований в области речевых технологий. Исследователи могут использовать прилагаемый Omnilingual ASR Corpus — крупнейший когда-либо выпущенный набор данных спонтанной речи для ASR с ультранизкими ресурсами — вместе с всеобъемлющими рецептами обучения и базовой моделью Omnilingual wav2vec 2.0. Это позволяет проводить быстрые эксперименты, тонкую настройку и развитие задач, связанных с речью, выходящих за рамки стандартного ASR.

Уникальные преимущества

Omnilingual ASR выделяется тем, что фундаментально переопределяет доступность и масштабируемость технологии автоматического распознавания речи.

• Беспрецедентный охват языков с длинным хвостом: Omnilingual ASR — это первая крупномасштабная система ASR, успешно транскрибирующая более 500 языков, которые никогда ранее не были охвачены ИИ, что делает речевые технологии по-настоящему глобальными и инклюзивными.
• Простота расширения: Фреймворк уникально разработан для расширения на совершенно новые языки с минимальным объемом данных и без специализированных знаний. Используя контекстное обучение от LLM, вы обходите типичные требования к массивным, проприетарным обучающим наборам данных и специализированным высокопроизводительным вычислительным ресурсам.
• Открытый исходный код: Выпущенная командой FAIR компании Meta под разрешительной лицензией Apache 2.0, вся система предназначена для широкого внедрения сообществом. Эта открытая архитектура, построенная на экосистеме PyTorch и fairseq2, обеспечивает максимальную прозрачность, сотрудничество и гибкость интеграции для разработчиков по всему миру.

Заключение

Omnilingual ASR обеспечивает производительность и адаптируемость, необходимые для внедрения точного распознавания речи в каждом языковом сообществе по всему миру. Сочетая передовую точность с беспрецедентным лингвистическим масштабом и фреймворком с открытым исходным кодом, она предлагает мощную основу для следующего поколения инклюзивных голосовых технологий.

Узнайте, как Omnilingual ASR может помочь вам расширить ваши исследования или развернуть голосовые решения для языков, которые ранее были обделены вниманием.

Часто задаваемые вопросы

В: В чем основное отличие Omnilingual ASR от предыдущих крупномасштабных систем ASR? О: Основное отличие заключается в широте охвата и методе расширения. В то время как предыдущие системы в основном ориентировались на высокоресурсные языки, Omnilingual ASR охватывает более 1600 языков, что крайне важно, включая сотни малоресурсных языков. Кроме того, она внедряет возможности контекстного обучения, позволяя разработчикам добавлять поддержку нового языка всего с несколькими парными примерами, устраняя необходимость в масштабном сборе данных и дорогостоящем переобучении.

В: Какова структура лицензирования для Omnilingual ASR? О: Omnilingual ASR является полностью открытым исходным кодом. Активы модели выпущены под разрешительной лицензией Apache 2.0, а связанные данные (такие как Omnilingual ASR Corpus) предоставляются по лицензии CC-BY. Такое открытое лицензирование способствует широкому распространению и вкладу со стороны сообщества.

В: Существуют ли текущие ограничения по аудиовходу? О: В настоящее время конвейер вывода оптимизирован для более коротких сегментов и принимает аудиофайлы продолжительностью менее 40 секунд. Хотя это охватывает множество стандартных сценариев использования, команда активно разрабатывает поддержку транскрипции аудиофайлов неограниченной длины в будущих обновлениях для обработки длинных записей.