Orpheus TTS

Orpheus TTS – это новая система преобразования текста в речь с открытым исходным кодом, которая использует возможности больших языковых моделей (LLM) для создания поразительно человечной речи. Построенная на базе Llama-3b, Orpheus обеспечивает естественную интонацию, эмоции и ритм, соперничая и даже превосходя ведущие закрытые альтернативы, такие как Eleven Labs и PlayHT. Она решает проблему потребности в высококачественной, настраиваемой и доступной TTS – без ограничений проприетарных систем. Вы получаете контроль, гибкость и прозрачность, при этом достигая самых современных результатов.

Ключевые особенности:

• 🗣️ Генерация речи, неотличимой от человеческой: Orpheus создает речь с естественной интонацией, эмоциональной выразительностью и ритмом, превосходя по качеству многие закрытые модели. Это достигается благодаря обширному предварительному обучению на огромном наборе данных и техникам тонкой настройки.

• 🗣️ Клонирование голоса с нуля: Реалистично клонируйте голоса без какой-либо предварительной тонкой настройки. Просто предоставьте образец, и предварительно обученная модель сможет имитировать характеристики голоса. (Больше пар речь-текст в запросе приводят к лучшему клонированию с предварительно обученной моделью.)

• 🗣️ Управление эмоциями и интонацией: Управляйте эмоциональным тоном и подачей сгенерированной речи с помощью простых текстовых тегов (например, <laugh>, <sigh>, <crying>). Выполните тонкую настройку модели для достижения нюансированных и специфических вокальных стилей.

• 🗣️ Достижение низкой задержки потоковой передачи: Наслаждайтесь генерацией речи в реальном времени с задержкой потоковой передачи примерно 200 мс. Это идеально подходит для интерактивных приложений и может быть дополнительно уменьшено до ~100 мс при потоковой передаче ввода.

• 🛠️ Использование предварительно обученных и тонко настроенных моделей: Получите доступ как к универсальной, предварительно обученной модели (обученной на более чем 100 тысячах часов английской речи), так и к тонко настроенной модели, оптимизированной для повседневных приложений TTS.

• 🛠️ Настройка и тонкая настройка: Легко адаптируйте Orpheus к вашим конкретным потребностям. Мы предоставляем скрипты обработки данных и примеры наборов данных, что упрощает создание собственных тонко настроенных моделей. Этот процесс аналогичен настройке LLM с помощью Trainer и Transformers.

• 🛠️ Простая интеграция: Используйте простой пакет Python (orpheus-speech) для быстрой установки и интеграции. Используйте vLLM под капотом для оптимизированного, быстрого вывода.

Сценарии использования:

1. Разговорный AI в реальном времени: Представьте себе создание чат-бота для обслуживания клиентов, который не только понимает естественный язык, но и отвечает голосом, звучащим искренне сочувственно и привлекательно. Низкая задержка потоковой передачи Orpheus делает это возможным, создавая более человечное взаимодействие.

2. Приложения для обеспечения доступности: Разрабатывайте вспомогательные технологические решения для людей с нарушениями зрения или трудностями при чтении. Orpheus может преобразовывать письменный контент в высококачественную, естественно звучащую речь, улучшая доступ к информации и коммуникации.

3. Создание контента и дубляж: Создавайте аудиокниги, подкасты или видео озвучки с разнообразными и выразительными голосами. Клонирование голоса с нуля и контроль эмоций Orpheus позволяют быстро создавать прототипы и выполнять настройку, оптимизируя процесс создания контента.

Технические детали:

• Архитектура: Orpheus использует архитектуру Llama-3b в качестве основы. Предварительно обученная модель была обучена на более чем 100 000 часах данных английской речи и миллиардах текстовых токенов, что обеспечивает глубокое понимание языка и нюансированных речевых паттернов.

• Размеры моделей: Orpheus доступен в четырех размерах: Medium (3B параметров), Small (1B параметров), Tiny (400M параметров) и Nano (150M параметров), что предоставляет варианты для различных требований к производительности и ресурсам.

• Токенизация: Orpheus использует потоковый токенизатор на основе CNN. Модификация скользящего окна в детокенизаторе обеспечивает потоковую передачу без звуковых артефактов ("хлопков").

• Декодирование: Модель сглаживает токены, выбранные на разных частотах, и декодирует их как единую последовательность, что повышает скорость генерации.

FAQ:

• В: Как Orpheus соотносится с другими системами TTS?

  О: Orpheus демонстрирует сопоставимую или превосходящую производительность по сравнению с ведущими закрытыми моделями, такими как Eleven Labs и PlayHT, с точки зрения естественности, интонации и эмоциональной выразительности. См. сравнения в нашей статье в блоге.

• В: Какое оборудование мне нужно для запуска Orpheus?

  О: Orpheus может эффективно работать на графических процессорах, при этом модель с 3 миллиардами параметров обеспечивает потоковую передачу в реальном времени на графическом процессоре A100 40GB. Модели меньшего размера могут работать на менее мощном оборудовании.

• В: Как мне выполнить тонкую настройку Orpheus на моих собственных данных?

  О: Мы предоставляем подробные инструкции и скрипты для тонкой настройки. Этот процесс аналогичен настройке LLM с помощью Trainer и Transformers. Вам понадобится набор данных в указанном формате Hugging Face. Высококачественные результаты можно увидеть после ~50 примеров, но для достижения наилучших результатов рекомендуется 300 примеров/динамик.

• В: Как мне форматировать запросы для тонко настроенной модели?

  О: Для моделей finetune-prod отформатируйте свой запрос как {name}: Я пошел в.... Допустимые имена включают "tara", "leah", "jess", "leo", "dan", "mia", "zac" и "zoe". Наш пакет Python автоматически обрабатывает это форматирование. Вы также можете добавлять эмоциональные теги, такие как <laugh> или <sigh>.

  
  

Вывод:

Orpheus TTS предлагает мощное и гибкое решение для всех, кому требуется высококачественное, настраиваемое преобразование текста в речь. Его открытый исходный код в сочетании с расширенными возможностями и простотой использования делает его убедительной альтернативой проприетарным системам. Вы получаете контроль, прозрачность и возможность адаптировать систему к вашим конкретным потребностям, при этом достигая самых современных результатов.