Carton

Carton 是一款允许用户从任何编程语言运行机器学习（ML）模型的软件。它将推理代码与特定的 ML 框架解耦，使用户能够轻松跟上尖端技术。Carton 具有较低的开销，并支持各种平台，包括 x86_64 Linux 和 macOS、aarch64 Linux、aarch64 macOS 和 WebAssembly。

主要特性：

- 解耦 ML 框架的实现：Carton 允许用户运行 ML 模型，而无需绑定到特定的框架，例如 Torch 或 TensorFlow。

- 低开销：初步基准测试表明每次推理调用的开销不到 100 微秒。

- 平台支持：Carton 目前支持 x86_64 Linux 和 macOS、aarch64 Linux、aarch64 macOS 和 WebAssembly。

- 不修改地打包：Carton 是打包步骤的输出，其中包含原始模型和元数据。它不会修改原始模型，从而避免容易出错的转换步骤。

- 自定义运算支持：Carton 使用底层框架（例如 PyTorch）来执行模型，使其能够轻松使用 TensorRT 等自定义运算，而无需更改。

- 未来对 ONNX 的支持：虽然 Carton 会对模型进行封装，而不是像 ONNX 那样进行转换，但计划在 Carton 中支持 ONNX 模型，以便实现有趣的用例，例如使用 WASM 在浏览器中运行模型。

用例：

1. 快速实验：通过将推理代码与特定框架解耦并减少转换步骤，Carton 可以更快地对不同的 ML 模型进行实验。

2. 部署灵活性：凭借其对不同架构（如 x86_64 和 aarch64）上的各种操作系统的平台支持，Carton 可以灵活地在不同的环境中部署 ML 模型。

3. 自定义运算集成：使用类似 TensorRT 的自定义运算的能力使开发人员能够根据其特定要求更轻松地优化其 ML 工作流。

4. 浏览器中的 ML：凭借对 ONNX 模型和 WebAssembly 的未来支持，Carton 可用于直接在网络浏览器中运行 ML 模型，为需要机器学习功能的基于浏览器的应用程序开辟了可能性。