reliableGPT

ReliableGPT는 운영 중 LLM(언어 모델) 앱에 대해 전혀 요청이 삭제되지 않도록 보장하도록 설계된 강력한 도구입니다. 다양한 모델로 재시도, 큰 컨텍스트 창 모델, 의미적 유사성 기반 캐시된 응답, 폴백 API 키 등의 다양한 전략을 사용하여 오류를 효과적으로 처리합니다.

주요 기능:

대체 모델 재시도: GPT-4, GPT3.5, GPT3.5 16k 또는 text-davinci-003과 같은 대체 모델로 실패한 요청을 재시도합니다.

큰 컨텍스트 창 모델: 문맥 창 오류를 해결하기 위해 더 큰 컨텍스트 창 모델로 요청을 재시도합니다.

의미적 유사성 기반 캐시된 응답: 의미적 유사성에 따라 캐시된 응답을 제공하여 오류를 효율적으로 처리합니다.

폴백 API 키 재시도: 잘못된 API 키 오류가 발생한 경우 폴백 API 키로 요청을 재시도합니다.

Azure OpenAI와 Raw OpenAI 전환: 특정 요구 사항을 충족하기 위해 Azure OpenAI와 Raw OpenAI를 원활하게 전환합니다.

오버로드된 서버에 대한 캐싱: 캐싱 메커니즘으로 오버로드된 서버를 처리하여 원활한 작동을 보장합니다.

회전된 키 처리: 중단 없이 서비스를 제공하기 위해 회전된 키를 손쉽게 처리합니다.