reliableGPT

ReliableGPT — это мощный инструмент, разработанный для того, чтобы ни один запрос не был потерян в вашем приложении LLM (языковая модель) в процессе производства. Он эффективно обрабатывает ошибки, используя различные стратегии, такие как повторная попытка с альтернативными моделями, моделями с более крупным окном контекста, кэшированные ответы на основе семантического сходства и резервные ключи API.

Ключевые особенности:

Повторная попытка с альтернативной моделью: повторная попытка для неудачных запросов с альтернативными моделями, такими как GPT-4, GPT3.5, GPT3.5 16k или text-davinci-003. Модели с более крупным окном контекста: повторная попытка для запросов с моделями с более крупным окном контекста для устранения ошибок окна контекста. Кэшированный ответ на основе семантического сходства: предоставление кэшированных ответов на основе семантического сходства для эффективной обработки ошибок. Повторная попытка с резервным ключом API: повторная попытка для запросов с резервным ключом API в случае ошибок недействительного ключа API. Переключение между Azure OpenAI и raw OpenAI: беспроблемное переключение между Azure OpenAI и raw OpenAI для соответствия вашим конкретным требованиям. Кэширование для перегруженных серверов: обработка перегруженных серверов с использованием механизмов кэширования для обеспечения бесперебойной работы. Обработка ротированных ключей: легкая обработка ротированных ключей для предотвращения сбоев в обслуживании.