OmniSQL

Преодоление разрыва между вопросами на естественном языке и структурированными запросами к базам данных может стать серьезной проблемой. Вам необходим надежный способ преобразования намерений пользователя в точные SQL-запросы, особенно при работе со сложными базами данных и разнообразными формулировками. Семейство продвинутых моделей преобразования текста в SQL – OmniSQL – создано на основе обширного и качественного синтетического набора данных и призвано помочь вам в решении этой задачи.

Разработанный с использованием новой автоматизированной системы синтеза данных, OmniSQL использует набор данных SynSQL-2.5M. Этот фундаментальный набор данных содержит более 2,5 миллионов образцов преобразования текста в SQL, охватывающих более 16 000 баз данных, что обеспечивает масштаб и разнообразие, необходимые для обучения высокопроизводительных моделей. Модели OmniSQL, доступные в размерах 7B, 14B и 32B параметров, дополнительно дообучаются на признанных бенчмарках, таких как Spider и BIRD, интегрируя данные, размеченные людьми, для повышения качества.

Основные характеристики и компоненты

• 📊 Различные размеры моделей: Выберите модель OmniSQL (7B, 14B, 32B), которая лучше всего соответствует вашим вычислительным ресурсам и требованиям к производительности. Каждая модель оптимизирована для эффективного преобразования текста в SQL.

• 📚 Масштабный набор обучающих данных (SynSQL-2.5M): Воспользуйтесь преимуществами моделей, обученных на более чем 2,5 миллионах разнообразных образцах преобразования текста в SQL, охватывающих 16 583 синтетические базы данных в различных областях и уровнях сложности SQL (от простых до очень сложных).

• 🧠 Интеграция Chain-of-Thought (CoT): Каждый образец в SynSQL-2.5M включает решение CoT, позволяющее моделям изучать этапы рассуждения для генерации сложных запросов.

• 📈 Продемонстрированная высокая производительность: Модели OmniSQL демонстрируют высокие результаты в многочисленных тестах преобразования текста в SQL (включая Spider, BIRD, Spider-DK, Spider-Syn), часто превосходя производительность других моделей аналогичного масштаба и даже более крупных проприетарных моделей на определенных наборах данных, на основе метрик Execution Accuracy (EX) и Test-Suite Accuracy (TS). Подробную таблицу производительности см. здесь.

• 🔧 Фреймворк синтеза с открытым исходным кодом: Получите доступ к базовой системе, используемой для создания SynSQL-2.5M, позволяющей создавать собственные крупномасштабные наборы данных преобразования текста в SQL, адаптированные к конкретным областям или диалектам SQL, отличным от SQLite.

• 💻 Простая интеграция: Быстро приступите к работе, используя знакомые инструменты, такие как vLLM и Hugging Face Transformers, с предоставленными фрагментами кода и понятными шаблонами подсказок.

Сценарии использования

1. Для аналитиков и исследователей данных: Вы часто получаете специальные запросы данных, сформулированные на естественном языке. Вместо того чтобы каждый раз вручную писать SQL-запросы, вы можете использовать OmniSQL для быстрого создания точных SQL-запросов SQLite из вопросов, таких как «Покажите мне среднюю стоимость заказа для клиентов из Калифорнии за последний квартал» или «Перечислите 5 самых продаваемых продуктов в регионе ЕС в этом году вместе с их общим доходом». Это ускоряет исследование данных и создание отчетов.

2. Для исследователей NLP: Вы изучаете проблемы сложного преобразования текста в SQL. Вы можете использовать набор данных SynSQL-2.5M с его огромным масштабом, разнообразными лингвистическими стилями, различными сложностями SQL и включенными рассуждениями CoT в качестве всеобъемлющего ресурса для обучения, оценки и анализа новых моделей или методов. Вы также можете использовать фреймворк синтеза данных с открытым исходным кодом для изучения вариантов или расширений.

3. Для разработчиков приложений: Вы стремитесь создать функцию приложения, позволяющую нетехническим пользователям запрашивать базу данных, используя естественный язык. Вы можете интегрировать модель OmniSQL (например, OmniSQL-7B для эффективности ресурсов) в свой бэкэнд. Используя предоставленную структуру подсказок, ваше приложение может взять вопрос пользователя (например, «Какие заявки в службу поддержки были открыты вчера и до сих пор не решены?») и передать его вместе с соответствующей схемой базы данных SQLite в OmniSQL, чтобы получить исполняемый SQL-запрос.

Заключение

OmniSQL, основанный на крупномасштабном наборе данных SynSQL-2.5M, предоставляет надежное и высокопроизводительное решение для задач преобразования текста в SQL. Независимо от того, анализируете ли вы данные, проводите исследования или создаете приложения, OmniSQL предлагает эффективные модели, построенные на основе разнообразных и качественных данных. Наличие моделей различных размеров, высокая производительность в бенчмарках и открытый исходный код системы синтеза делают его ценным активом для всех, кто работает на стыке естественного языка и баз данных.