Carton

Carton 是款軟體，讓使用者可以藉由任何程式語言來執行機器學習 (ML) 模型。它將推論程式碼與特定的 ML 架構分開，讓使用者能輕鬆跟上尖端科技。Carton 具有低開銷，並支援多種平台，包括 x86_64 Linux 和 macOS、aarch64 Linux、aarch64 macOS，以及 WebAssembly。

主要特色：

- 分離 ML 架構實作：Carton 讓使用者可以在不綁定到特定架構（例如 Torch 或 TensorFlow）的情況下執行 ML 模型。

- 低開銷：初步基準測試顯示每個推論呼叫的開銷不到 100 微秒。

- 平台支援：Carton 目前支援 x86_64 Linux 和 macOS、aarch64 Linux、aarch64 macOS，以及 WebAssembly。

- 不需修改即可包裝：紙箱是包裝步驟的輸出，其中包含原始模型與元資料。它不修改原始模型，避免容易出錯的轉換步驟。

- 支援自訂運算：Carton 使用底層架構（例如 PyTorch）來執行模型，讓您可以輕鬆使用 TensorRT 等自訂運算，無需變更。

- 未來支援 ONNX：雖然 Carton 封裝模型的方式與 ONNX 將模型轉換的方式不同，但未來計畫在 Carton 中支援 ONNX 模型，以啟用有趣的用例，例如使用 WASM 在瀏覽器中執行模型。

用例：

1. 快速實驗：藉由將推論程式碼與特定架構分開並減少轉換步驟，Carton 可以實現不同 ML 模型的快速實驗。

2. 部署彈性：Carton 支援各種作業系統平台，包括不同架構（例如 x86_64 和 aarch64）上的 Linux 和 macOS，因此可以在不同環境中彈性部署 ML 模型。

3. 整合自訂運算：可以使用 TensorRT 等自訂運算，讓開發人員更容易根據特定需求最佳化他們的 ML 工作流程。

4. 瀏覽器內 ML：透過未來對 ONNX 模型和 WebAssembly 的支援，Carton 可用於直接在網路瀏覽器中執行 ML 模型，為需要機器學習功能的瀏覽器應用程式開啟更多可能性。