What is Modular?
主要特点:
-
使用 Mojo 实现完全可编程性:MAX 基于 Mojo 构建,Mojo 是一种编程语言,它结合了 Python 的易用性、Rust 的安全性以及 C 的性能。这种独特的组合释放了 AI 硬件的全部潜力,使 AI 工程师能够以前所未有的轻松和效率扩展和优化 AI 模型。
-
无与伦比的性能:MAX Engine 是该平台的核心组件,为 AI 管道提供了最先进的延迟和吞吐量。这包括生成模型,从而可以快速生产化 AI 管道,并在云基础设施上大幅节省成本。
-
无缝可移植性:MAX 确保可以将 AI 模型和管道轻松迁移到任何硬件目标。这种灵活性最大化了性能成本比,消除了供应商锁定,在硬件选择方面提供了自由和效率。
-
MAX Engine:作为模型推理运行时和 API 库,MAX Engine 在任何硬件上都以出色的性能执行 AI 管道。它提供了简单的 Python 或 C API,能够快速从现有的推理调用(如 TensorFlow、PyTorch 或 ONNX)过渡,并在各种 CPU 架构上提供高达 5 倍的执行速度。
-
MAX Serving:该模型服务库适用于 MAX Engine,它提供与现有服务系统的完全互操作性,并在类似于 Kubernetes 的容器基础设施中实现无缝部署。它可以作为 NVIDIA Triton Inference Server 等系统的替代品,提高集成和部署的便利性。
用例:
-
快速提升性能:MAX 允许快速提升 AI 模型性能。通过将当前推理调用替换为 MAX Engine,用户可以在最少的代码更改下实现显著的速度提升。
-
扩展和优化模型:通过使用 MAX Engine,用户可以使用 Mojo 进一步优化模型。这包括使用 Mojo 编写自定义操作或构建整个模型,利用 MAX Graph API 进行推理。
-
全栈优化:除了推理之外,MAX 还支持优化整个 AI 管道。用户可以将数据预/后处理代码和应用程序代码迁移到 Mojo,持续添加 MAX 工具和库以加速整个 AI 堆栈的开发。
为何选择 MAX?
-
由 AI 专家构建:Modular 团队包括全球领先的 AI 专家,他们为 TensorFlow、PyTorch、ONNX 和 XLA 等基础 AI 基础设施做出了贡献。
-
重新发明 AI 基础设施:MAX 代表了 AI 堆栈的“第一原理”重建,通过全新的高效方法解决现有解决方案的复杂性。
-
即开即用的基础设施:MAX 设计为无缝集成到现有工作流中,无需重写模型或硬件专业知识即可利用尖端技术。
MAX 不仅仅是一个平台;它标志着 AI 开发和部署方式的范式转变,为 AI 工程师和组织提供了一个面向未来的高性能解决方案。借助 MAX,AI 硬件的潜力得到了充分释放,为下一波 AI 创新铺平了道路。





