TOON

TOON — это компактный, схемоориентированный формат сериализации данных, разработанный специально для снижения затрат и повышения надежности ввода больших объемов данных для больших языковых моделей (LLM). Сохраняя полную верность стандартной модели данных JSON, TOON использует удобочитаемый синтаксис, который существенно сокращает количество токенов, что делает его идеальным уровнем преобразования для эффективной передачи структурированных данных в ваши конвейеры LLM.

Если вы работаете с большими наборами данных, объектами конфигурации или однородными массивами, которые исчерпывают пределы вашего контекстного окна, TOON предлагает мощный механизм для снижения затрат на API и обеспечения надежного анализа данных моделью.

Ключевые особенности

TOON разработан для обеспечения структурной целостности JSON с эффективностью токенов легковесных форматов, используя явные механизмы контроля, которые очень эффективны для потребления LLM.

💸 Существенное сокращение токенов: Достигается типичная экономия токенов на 30–60% по сравнению с форматированным JSON, особенно при работе с большими, однородными массивами объектов. Это сокращение напрямую приводит к снижению операционных затрат и возможности размещать значительно больше данных в пределах фиксированного контекстного окна.

🤿 Удобные для LLM механизмы контроля и валидация: В отличие от необработанных форматов, таких как CSV, TOON включает явные структурные метаданные, такие как длины массивов (например, items[3]) и заголовки полей ({sku,qty,price}). Эти явные механизмы контроля позволяют модели надежно отслеживать структуру, снижая ошибки парсинга и повышая точность задач извлечения данных.

🧺 Эффективные табличные массивы: Конёк TOON – это его формат табличных массивов, который сочетает структуру объектов с эффективностью CSV. Объявляя ключи только один раз в заголовке, вы можете передавать последующие данные в виде простых строк, разделенных запятыми или табуляцией. Этот минимальный синтаксис устраняет избыточную пунктуацию (фигурные скобки, квадратные скобки и большинство кавычек), которая делает стандартный JSON дорогим с точки зрения токенов.

🔗 Опциональное сворачивание ключей для вложенных данных: Эффективно управляйте глубоко вложенными объектами с помощью опционального сворачивания ключей. Эта функция сворачивает цепочки оберток с одним ключом в точечные пути (например, data.metadata.items) для дальнейшего сокращения затрат на отступы и количества токенов без ущерба для исходной структуры.

Варианты использования

TOON служит важным уровнем оптимизации между вашей программной структурой данных (JSON) и уровнем взаимодействия с LLM.

1. Экономичный анализ и суммаризация данных: При подаче больших объемов структурированных логов, финансовых транзакций или данных о событиях пользователя в LLM для суммаризации или распознавания образов, кодирование входных данных в формате TOON может значительно сократить стоимость входных данных для промпта. Например, кодирование 100 000 строк однородных логов событий в TOON вместо JSON может сократить использование токенов более чем на 20%, что позволяет обрабатывать больше данных за ту же стоимость.

2. Надежная генерация вывода и вызов функций: Повысьте успешность выполнения задач по генерации структурированных выходных данных. Инструктируя модель генерировать ответы в формате TOON, вы используете явную длину массива и заголовки полей, которые служат мощными подсказками. Это снижает склонность LLM к пропуску полей или неверному подсчету элементов, обеспечивая, что сгенерированные данные остаются валидными и легко парсятся обратно в JSON с помощью TOON SDK.

3. Модернизация существующих конвейеров JSON: Если ваш бэкенд использует JSON для внутренней связи, но передает данные в сервис LLM, используйте TOON TypeScript SDK или CLI для автоматического кодирования данных непосредственно перед отправкой через API и декодирования ответа по получении. Это обеспечивает немедленную, измеримую экономию средств без необходимости переписывать ваши основные модели данных или отказываться от стандарта JSON.

Уникальные преимущества: эталонная эффективность и точность

TOON — это не просто компактный формат; он специально оптимизирован для понимания LLM и эффективности токенов, что приводит к превосходной производительности на распространенных моделях.

В прямых сравнительных тестах моделей, таких как Gemini, Claude и GPT, TOON постоянно демонстрирует, что его уникальный синтаксис передает информацию модели наиболее эффективным и надежным способом.

Когда использовать другие форматы

Хотя TOON превосходно справляется со структурированными данными, важно понимать его ограничения для максимальной эффективности:

• Глубоко вложенные или крайне неоднородные данные: Если ваши данные имеют много уровней вложенности и мало или совсем не имеют однородных массивов (например, сложные файлы конфигурации), стандартный компактный JSON может использовать меньше токенов.
• Чисто табличные данные: Для плоских таблиц без вложенности или требований к структурным метаданным CSV остается наиболее токен-эффективным форматом, хотя TOON добавляет лишь минимальные 5–10% накладных расходов для обеспечения критически важной структуры и валидации.
• Локальные модели с критичной задержкой: В некоторых средах с критичной задержкой (особенно локальных или квантованных моделях) простота компактного JSON может привести к более быстрому времени до первого токена (TTFT). Всегда проводите бенчмаркинг вашего конкретного развертывания, если микрозадержка является вашим абсолютным приоритетом.

Заключение

TOON предлагает профессиональное, проверяемое решение для постоянной проблемы ввода данных в LLM: высокие затраты на токены и непоследовательный парсинг. Преобразуя ваш JSON в этот компактный, схемоориентированный формат, вы получаете немедленные, измеримые преимущества как в операционной эффективности, так и в точности извлечения данных.