Weco

La construction et l'optimisation de pipelines d'apprentissage automatique impliquent souvent un processus itératif manuel et exhaustif. La recherche du code le plus performant nécessite un investissement en temps considérable dans l'expérimentation, le peaufinage et l'évaluation. Weco introduit une approche systématique, s'appuyant sur un agent d'IA pour automatiser ce processus complexe. Propulsé par AIDE (Agentic Iterative Design Engine), Weco agit comme votre ingénieur de recherche en IA, transformant vos benchmarks d'évaluation en un système auto-améliorant. Il exécute de manière autonome des expériences, affinant votre code par rapport à vos métriques spécifiées pour découvrir des solutions plus performantes.

Principales capacités basées sur AIDE

• 🤖 Expérimentation automatisée : AIDE génère et teste systématiquement de nombreuses variations de code pour des tâches telles que l'optimisation du noyau GPU, le développement de modèles et l'ingénierie des prompts, exécutant souvent des centaines d'expériences du jour au lendemain. Cela vous permet d'explorer un vaste espace de solutions sans intervention manuelle.

• 📊 Optimisation axée sur les métriques : Vous définissez les critères de succès : exactitude, vitesse, coût ou toute métrique personnalisée. AIDE affine itérativement le code, en se concentrant uniquement sur l'amélioration des performances par rapport à votre pipeline d'évaluation spécifique jusqu'à ce que la métrique indique une meilleure solution. Cette boucle axée sur l'évaluation surpasse de manière démontrable la génération de code unique, comme le montrent les benchmarks tels que MLE-Bench d'OpenAI, où AIDE a obtenu 4 fois plus de médailles que le prochain meilleur agent autonome.

• 🧠 Recherche de code étendue et compréhension du domaine : Contrairement à l'AutoML traditionnel limité à des classes de modèles spécifiques, AIDE exploite les LLM pour rechercher dans l'ensemble de l'espace de code. Il peut appliquer des méthodes dans divers domaines (NLP, CV, tabulaire) et intégrer des connaissances générales pour des domaines spécialisés tels que la finance ou les sciences biomédicales, découvrant souvent de nouvelles approches que les humains pourraient manquer (validées dans RE-Bench de METR).

• 💡 Guidage en langage naturel : Bien qu'AIDE fonctionne de manière autonome, vous pouvez injecter votre expertise du domaine ou des exigences spécifiques à l'aide de prompts en langage naturel, guidant le processus de recherche de l'agent sans avoir besoin d'un réglage complexe des hyperparamètres.

• 🛡️ Exécution flexible et sécurisée : Le code généré s'exécute dans un environnement cloud sécurisé et sandbox géré par Weco, provisionnant automatiquement le matériel optimal (CPU, GPU). Pour les besoins de souveraineté des données, une option d'exécution sur site est disponible, vous donnant un contrôle total. Vous conservez tous les droits de propriété intellectuelle sur tout le code généré.

• ⚙️ Langage et framework agnostiques : Optimisez le code dans divers langages et frameworks, notamment Python, PyTorch, TensorFlow, et ciblez divers matériels, des CPU et GPU aux TPU et Apple Silicon.

Cas d'utilisation pratiques

1. Optimisation des performances du modèle existant : Vous avez un modèle PyTorch fonctionnel pour la détection d'objets, mais la latence est trop élevée pour la production. Vous fournissez à Weco le code de votre modèle, l'ensemble de données d'évaluation et spécifiez la métrique (par exemple, maximiser le mAP tout en maintenant la latence en dessous de 50 ms). AIDE itère sur l'architecture du modèle, le code d'inférence et potentiellement les techniques de quantification, fournissant un code optimisé qui répond à votre objectif de performance.

2. Accélération des noyaux de calcul personnalisés : Votre équipe s'appuie sur un noyau CUDA ou Triton personnalisé pour une étape de prétraitement critique, mais cela devient un goulot d'étranglement. En utilisant Weco, vous fournissez le code du noyau et un benchmark mesurant sa vitesse d'exécution. AIDE explore des implémentations alternatives, des schémas d'accès à la mémoire et des stratégies de parallélisation, dans le but de réduire considérablement le temps d'exécution, de la même manière qu'il a surpassé les experts humains sur RE-Bench de METR pour l'optimisation du noyau Triton.

3. Développement de modèles tabulaires très performants : Vous démarrez un nouveau projet pour prédire le taux de désabonnement des clients à l'aide d'un grand ensemble de données tabulaires ? Fournissez à AIDE la description du schéma de données et la métrique cible (par exemple, le score F1). AIDE génère des pipelines de bout en bout, y compris l'ingénierie des caractéristiques (création potentielle d'indicateurs spécifiques au domaine si guidée), la sélection du modèle, la formation et le code d'évaluation, itérant de manière autonome pour trouver une solution très performante, fournissant souvent une version initiale en quelques minutes.

Pourquoi Weco ?

Weco offre une approche distincte du développement ML en automatisant le cycle d'optimisation crucial, mais souvent laborieux. Sa force réside dans :

• Métriques centrées sur l'utilisateur : L'optimisation est entièrement axée sur vos données, votre pipeline d'évaluation et votre définition du succès.

• Efficacité prouvée : Les capacités d'AIDE sont validées par des benchmarks de premier plan (OpenAI MLE-Bench, METR RE-Bench) et l'adoption par des laboratoires d'IA de pointe et des publications de recherche (par exemple, AI Scientist-v2 de Sakana AI). Il échange de manière démontrable des ressources de calcul contre une qualité de code supérieure.

• Flexibilité : Adaptable à divers langages de programmation, frameworks ML et cibles matérielles.

• Évolutivité : Conçu pour gérer des tâches d'optimisation complexes sur des périodes prolongées, en affinant continuellement les solutions.

Weco vous permet, à vous et à votre équipe, de vous concentrer sur la stratégie et la résolution de problèmes de niveau supérieur, tandis qu'AIDE gère l'expérimentation intensive, axée sur les métriques, nécessaire pour repousser les limites de vos pipelines ML.