Orpheus TTS

Orpheus TTS est un nouveau système de synthèse vocale (TTS) open source qui exploite la puissance des grands modèles de langage (LLM) pour générer une parole remarquablement naturelle. Basé sur Llama-3b, Orpheus offre une intonation, une émotion et un rythme naturels, rivalisant, voire surpassant, les principales alternatives propriétaires telles que Eleven Labs et PlayHT. Il résout le problème du besoin d'un TTS de haute qualité, personnalisable et accessible, sans les restrictions des systèmes propriétaires. Vous gagnez en contrôle, en flexibilité et en transparence, tout en obtenant des résultats à la pointe de la technologie.

Principales Caractéristiques :

• 🗣️ Générer une parole naturelle : Orpheus produit une parole avec une intonation naturelle, une expression émotionnelle et un rythme qui dépassent la qualité de nombreux modèles propriétaires. Ceci est réalisé grâce à un pré-entraînement approfondi sur un ensemble de données massif et à des techniques de réglage fin.

• 🗣️ Réaliser un clonage de voix Zero-Shot : Clonez des voix de manière réaliste sans aucun réglage fin préalable. Fournissez simplement un échantillon, et le modèle pré-entraîné peut imiter les caractéristiques de la voix. (Plus il y a de paires parole-texte dans l'invite, meilleur est le clonage avec le modèle pré-entraîné.)

• 🗣️ Guider l'émotion et l'intonation : Contrôlez le ton émotionnel et la manière dont la parole générée est délivrée en utilisant de simples balises de texte (par exemple, <laugh>, <sigh>, <crying>). Affinez le modèle pour obtenir des styles vocaux nuancés et spécifiques.

• 🗣️ Obtenir un streaming à faible latence : Bénéficiez d'une génération de parole en temps réel avec une latence de streaming d'environ 200 ms. Ceci est idéal pour les applications interactives et peut être encore réduit à environ 100 ms avec le streaming d'entrée.

• 🛠️ Utiliser des modèles pré-entraînés et affinés : Accédez à la fois à un modèle pré-entraîné à usage général (entraîné sur plus de 100 000 heures de parole en anglais) et à un modèle affiné optimisé pour les applications TTS quotidiennes.

• 🛠️ Personnaliser et affiner : Adaptez facilement Orpheus à vos besoins spécifiques. Nous fournissons les scripts de traitement des données et des ensembles de données d'exemple, ce qui facilite la création de vos propres modèles affinés. Le processus est similaire à l'affinage d'un LLM avec Trainer et Transformers.

• 🛠️ Intégrer facilement : Utilisez un simple package Python (orpheus-speech) pour une configuration et une intégration rapides. Tirez parti de vLLM sous le capot pour une inférence optimisée et rapide.

Cas d'utilisation :

1. IA conversationnelle en temps réel : Imaginez la création d'un chatbot de service client qui non seulement comprend le langage naturel, mais répond également avec une voix qui semble authentiquement empathique et engageante. Le streaming à faible latence d'Orpheus rend cela possible, créant une interaction plus humaine.

2. Applications d'accessibilité : Développez des solutions de technologie d'assistance pour les personnes ayant une déficience visuelle ou des difficultés de lecture. Orpheus peut convertir du contenu écrit en une parole de haute qualité et naturelle, améliorant ainsi l'accès à l'information et à la communication.

3. Création de contenu et doublage : Créez des livres audio, des podcasts ou des voix off de vidéos avec des voix diverses et expressives. Le clonage de voix zero-shot et le contrôle des émotions d'Orpheus permettent un prototypage et une personnalisation rapides, rationalisant ainsi le processus de création de contenu.

Détails techniques :

• Architecture : Orpheus utilise l'architecture Llama-3b comme base. Le modèle pré-entraîné a été entraîné sur plus de 100 000 heures de données vocales en anglais et des milliards de jetons de texte, garantissant une forte compréhension de la langue et des modèles de parole nuancés.

• Tailles des modèles : Orpheus est disponible en quatre tailles : Medium (3 milliards de paramètres), Small (1 milliard de paramètres), Tiny (400 millions de paramètres) et Nano (150 millions de paramètres), offrant des options pour différentes exigences de performance et de ressources.

• Tokenisation : Orpheus utilise un tokenizer non-streaming basé sur CNN. Une modification de fenêtre glissante du détokeniseur permet le streaming sans artefacts audio ("popping").

• Décodage : Le modèle aplatit les jetons échantillonnés à différentes fréquences et les décode sous forme de séquence unique, améliorant ainsi la vitesse de génération.

FAQ :

• Q : Comment Orpheus se compare-t-il aux autres systèmes TTS ?

  R : Orpheus démontre des performances comparables ou supérieures aux principaux modèles propriétaires tels que Eleven Labs et PlayHT en termes de naturel, d'intonation et d'expression émotionnelle. Reportez-vous aux comparaisons dans notre article de blog.

• Q : Quel matériel ai-je besoin pour exécuter Orpheus ?

  R : Orpheus peut fonctionner efficacement sur les GPU, le modèle de 3 milliards de paramètres atteignant le streaming en temps réel sur un GPU A100 40 Go. Les modèles plus petits peuvent fonctionner sur du matériel moins puissant.

• Q : Comment puis-je affiner Orpheus sur mes propres données ?

  R : Nous fournissons des instructions et des scripts détaillés pour l'affinage. Le processus est analogue à l'affinage d'un LLM à l'aide de Trainer et Transformers. Vous aurez besoin d'un ensemble de données au format Hugging Face spécifié. Des résultats de haute qualité peuvent être observés après environ 50 exemples, mais 300 exemples/locuteur sont recommandés pour de meilleurs résultats.

• Q : Comment dois-je formater les invites pour le modèle affiné ?

  R : Pour les modèles finetune-prod, formatez votre invite comme ceci : {name}: I went to the.... Les noms valides incluent "tara", "leah", "jess", "leo", "dan", "mia", "zac" et "zoe". Notre package Python gère ce formatage automatiquement. Vous pouvez également ajouter des balises émotives telles que <laugh> ou <sigh>.

  
  

Conclusion :

Orpheus TTS offre une solution puissante et flexible pour tous ceux qui ont besoin d'une synthèse vocale de haute qualité et personnalisable. Sa nature open source, combinée à ses capacités avancées et à sa facilité d'utilisation, en fait une alternative intéressante aux systèmes propriétaires. Vous gagnez en contrôle, en transparence et en capacité d'adapter le système à vos besoins spécifiques, tout en obtenant des résultats à la pointe de la technologie.