Carton

Carton es un software que permite a los usuarios ejecutar modelos de aprendizaje automático (ML) desde cualquier lenguaje de programación. Desvincula el código de inferencia de marcos específicos de ML, lo que permite a los usuarios mantenerse al día fácilmente con las tecnologías de vanguardia. Carton tiene una sobrecarga baja y admite varias plataformas, incluyendo x86_64 Linux y macOS, aarch64 Linux, aarch64 macOS y WebAssembly.

Características principales:

- Desvincula la implementación del marco de ML: Carton permite a los usuarios ejecutar modelos de ML sin estar atados a marcos específicos como Torch o TensorFlow.

- Baja sobrecarga: los puntos de referencia preliminares muestran una sobrecarga de menos de 100 microsegundos por llamada de inferencia.

- Compatibilidad con la plataforma: Carton actualmente admite x86_64 Linux y macOS, aarch64 Linux, aarch64 macOS y WebAssembly.

- Empaquetado sin modificación: Carton es el resultado del paso de empaquetado que contiene el modelo original y los metadatos. No modifica el modelo original, evitando pasos de conversión propensos a errores.

- Compatibilidad con operaciones personalizadas: Carton utiliza el marco subyacente (por ejemplo, PyTorch) para ejecutar modelos, lo que facilita el uso de operaciones personalizadas como TensorRT sin cambios.

- Futuro soporte ONNX: aunque Carton envuelve modelos en lugar de convertirlos como lo hace ONNX, hay planes para admitir modelos ONNX dentro de Carton para habilitar casos de uso interesantes como la ejecución de modelos en el navegador con WASM.

Casos de uso:

1. Experimentación rápida: al desvincular el código de inferencia de marcos específicos y reducir los pasos de conversión, Carton permite una experimentación más rápida con diferentes modelos de ML.

2. Flexibilidad de implementación: con su soporte de plataforma para varios sistemas operativos, incluidos Linux y macOS en diferentes arquitecturas como x86_64 y aarch64, Carton proporciona flexibilidad en la implementación de modelos de ML en diferentes entornos.

3. Integración de operaciones personalizadas: la capacidad de utilizar operaciones personalizadas como TensorRT facilita a los desarrolladores la optimización de sus flujos de trabajo de ML de acuerdo con sus requisitos específicos.

4. ML en el navegador: con el futuro soporte para modelos ONNX y WebAssembly, Carton se puede utilizar para ejecutar modelos de ML directamente en navegadores web, abriendo posibilidades para aplicaciones basadas en navegador que requieren capacidades de aprendizaje automático.