ONNX Runtime

Llevar tus modelos de aprendizaje automático desde la investigación a la producción, o ampliar el entrenamiento, a menudo implica navegar por un complejo laberinto de hardware, software y cuellos de botella en el rendimiento. ONNX Runtime está diseñado para simplificar este viaje, proporcionando un motor unificado de alto rendimiento para ejecutar y entrenar tus modelos donde los necesites: desde enormes clústeres en la nube hasta dispositivos periféricos y navegadores. Se integra a la perfección en tu flujo de trabajo existente, lo que te permite acelerar las cargas de trabajo de IA sin necesidad de renovar tu pila tecnológica.

Características clave que impulsan el rendimiento y la flexibilidad

ONNX Runtime ofrece un sólido conjunto de capacidades diseñadas para optimizar y agilizar tus operaciones de aprendizaje automático:

• 🚀 Acelera la inferencia y el entrenamiento: Aprovecha las optimizaciones integradas y la aceleración de hardware (CPU, GPU, NPU) para acelerar significativamente la ejecución del modelo. ONNX Runtime aplica automáticamente técnicas como la optimización de gráficos para aumentar el rendimiento tanto para las tareas de inferencia como para el entrenamiento de modelos grandes, reduciendo la latencia y los costes computacionales.

• 💻 Ejecuta en cualquier lugar: Desarrolla utilizando tu lenguaje preferido (Python, C++, C#, Java, JavaScript, Rust y más) e implementa de forma consistente en diversas plataformas, incluyendo Linux, Windows, macOS, iOS, Android e incluso directamente en navegadores web a través de ONNX Runtime Web.

• 🧩 Intégrate a la perfección: Trabaja con modelos de marcos de aprendizaje profundo populares como PyTorch y TensorFlow/Keras, así como con bibliotecas de ML tradicionales como scikit-learn, LightGBM y XGBoost. Convierte tus modelos existentes al formato ONNX y ejecútalos de forma eficiente utilizando el tiempo de ejecución.

• 💡 Potencia la IA generativa: Integra la IA generativa de vanguardia y los modelos de lenguaje grandes (LLM) como Llama-2 en tus aplicaciones. ONNX Runtime proporciona el rendimiento necesario para tareas exigentes como la síntesis de imágenes y la generación de texto en diversas plataformas.

• 📈 Optimiza las cargas de trabajo de entrenamiento: Reduce el tiempo y el coste asociados con el entrenamiento de modelos grandes, incluyendo los populares transformadores de Hugging Face. Para los usuarios de PyTorch, acelerar el entrenamiento puede ser tan simple como añadir una sola línea de código. También permite el entrenamiento en el dispositivo para experiencias de usuario más personalizadas y que preservan la privacidad.

Cómo utilizan ONNX Runtime los desarrolladores

1. Implementación de un modelo de visión artificial: Has entrenado un modelo de detección de objetos en PyTorch. Para servirlo eficientemente a través de una API web que se ejecuta en servidores Linux y también incrustarlo directamente en una aplicación Android para su uso sin conexión, conviertes el modelo al formato ONNX. A continuación, utilizas ONNX Runtime en tus servidores backend para la inferencia de baja latencia y ONNX Runtime Mobile dentro de la aplicación Android, asegurando un comportamiento consistente y un rendimiento optimizado en ambas plataformas sin reescribir la lógica central.

2. Acelerar la inferencia de PNL: Tu chatbot de atención al cliente utiliza un modelo de transformador para el reconocimiento de intenciones. A medida que crece el tráfico de usuarios, la latencia de inferencia se convierte en un problema. Al implementar el modelo con ONNX Runtime configurado para utilizar los recursos de GPU disponibles, reduces significativamente los tiempos de respuesta, mejorando la experiencia del usuario y reduciendo la carga computacional por consulta.

3. Acelerar el entrenamiento de modelos grandes: Tu equipo necesita ajustar un modelo de lenguaje grande como Llama-2 en un clúster multi-GPU. En lugar de complejas optimizaciones manuales, integras ONNX Runtime Training con tu script de entrenamiento de PyTorch existente. Esto acelera considerablemente el proceso de entrenamiento, lo que permite una iteración más rápida y una reducción de los gastos computacionales.

Obtén un rendimiento optimizado con menos esfuerzo

ONNX Runtime actúa como un acelerador versátil para tus cargas de trabajo de aprendizaje automático. Aborda los retos de la implementación y el entrenamiento de modelos en diversos entornos proporcionando una capa de ejecución consistente y de alto rendimiento. Al ser compatible con tus herramientas existentes y dirigirse a una amplia gama de hardware y plataformas, te permite centrarte más en la creación de aplicaciones innovadoras impulsadas por la IA y menos en las complejidades de la optimización y la implementación. Con la confianza de empresas como Microsoft, Adobe, SAS y NVIDIA, es una solución lista para la producción para tareas de IA exigentes.