reliableGPT

ReliableGPT es una poderosa herramienta diseñada para garantizar cero solicitudes perdidas para su aplicación LLM (modelo de lenguaje) en producción. Maneja los errores de manera efectiva al emplear varias estrategias, como reintentar con modelos alternativos, modelos de ventana de contexto más grandes, respuestas en caché basadas en similitud semántica y claves API de emergencia.

Características principales:

Reintento de modelo alternativo: Reintente las solicitudes fallidas con modelos alternativos como GPT-4, GPT3.5, GPT3.5 16k o text-davinci-003. Modelos de ventana de contexto más grande: Reintente las solicitudes con modelos de ventana de contexto más grandes para abordar los errores de ventana de contexto. Respuesta en caché basada en similitud semántica: Proporcione respuestas en caché basadas en similitud semántica para manejar los errores de manera eficiente. Reintento de clave API de emergencia: Reintente las solicitudes con una clave API de emergencia en caso de errores de clave API no válida. Cambie entre Azure OpenAI y OpenAI sin formato: Cambie sin problemas entre Azure OpenAI y OpenAI sin formato para satisfacer sus requisitos específicos. Almacenamiento en caché para servidores sobrecargados: Maneje servidores sobrecargados con mecanismos de almacenamiento en caché para garantizar un funcionamiento sin problemas. Manejo de claves rotadas: Maneje sin esfuerzo las claves rotadas para evitar interrupciones en el servicio.