Aya Vision 8B

What is Aya Vision 8B?

C4AI Aya Vision 8B 是一款前沿的、开放权重的研究发布版本，代表了视觉-语言 AI 领域的重大进步。这个拥有 80 亿参数的模型擅长处理各种任务，将强大的视觉处理能力与精妙的多语言理解能力相结合。它旨在应对诸如 OCR、图像描述、视觉推理等挑战，并支持 23 种语言。

多模态处理： 👁️📝 无缝集成视觉和文本数据。这使得模型能够根据图像内容和随附的文本提示来理解和生成文本。
多语言精通： 🌍🗣️ 经过训练，擅长处理 23 种语言，使其成为真正的全球视觉-语言解决方案。它可以处理英语、西班牙语、阿拉伯语、中文、日语等多种语言的输入并生成输出。
高级视觉编码： 🖼️ 采用 SigLIP2-patch14-384 视觉编码器，并结合多语言语言模型，通过专门的多模态适配器连接。这种架构实现了细致入微的视觉-语言理解。
灵活的图像处理： 📐 处理任意大小的图像，在保持纵横比的同时将它们映射到支持的分辨率。采用多达 12 个输入图块和一个缩略图（364x364 像素）进行全面的图像分析。
扩展的上下文长度： 🧠 支持 16K tokens 的上下文长度，使其能够处理详细而复杂的提示，以及冗长的文本输入。
简化的集成： 💻 通过 transformers 库提供便捷的集成。借助提供的代码示例和 pipeline 抽象，可以快速设置和实施。

技术细节：

模型架构： 一种视觉-语言模型，结合了多语言语言模型（基于 C4AI Command R7B，并使用 Aya Expanse 配方进一步进行后训练）和一个 SigLIP2-patch14-384 视觉编码器，通过多模态适配器连接。
图像处理： 使用每 364x364 像素图块 169 个视觉 tokens 对图像进行编码。
输入： 文本和图像。
输出： 生成的文本。
语言： 英语、法语、西班牙语、意大利语、德语、葡萄牙语、日语、韩语、阿拉伯语、中文（简体和繁体）、俄语、波兰语、土耳其语、越南语、荷兰语、捷克语、印度尼西亚语、乌克兰语、罗马尼亚语、希腊语、印地语、希伯来语和波斯语。
参数： 80 亿。

多语言文档分析： 一家全球公司可以使用 Aya Vision 8B 分析各种语言的扫描文档（发票、合同、报告）。该模型可以提取文本 (OCR)、总结内容，并回答关于文档内容的特定问题，即使文档包含多种语言的图像和文本。
国际电子商务图像标记： 一家在多个国家/地区运营的电子商务平台可以自动生成各种语言的产品图像的描述性标签和替代文本。这增强了全球客户的搜索性和可访问性。
跨语言视觉问答： 一家研究机构可以使用 Aya Vision 8B 构建一个系统，该系统可以用不同的语言回答关于图像的问题。例如，用户可以上传一张历史文物的图片，并用西班牙语提问，系统会根据其对图像和问题的理解，用西班牙语准确地回答。

对于寻求最先进的开源视觉-语言模型的开发人员和研究人员来说，C4AI Aya Vision 8B 提供了一个强大而通用的解决方案。其多语言能力、先进的架构和易于集成使其成为各种应用的宝贵工具。

Launched

Pricing Model

Free

Starting Price

Global Rank

Month Visit

<5k

Tech used

Aya Vision 8B was manually vetted by our editorial team and was first featured on 2025-03-06.

更多替代方案