한줄 요약
16개 LLM 프로바이더의 무료 티어를 하나의 API로 통합하여 월 17억 토큰을 제공하는 프록시 프레임워크입니다.
핵심 기능
통합 엔드포인트: Google, Groq, Mistral 등 16개 프로바이더를 하나의 /v1/chat/completions 엔드포인트로 통합합니다.
스마트 라우팅: 요청별로 최적의 사용 가능 모델을 자동 선택합니다.
자동 페일오버: 특정 프로바이더의 속도 제한이나 오류 발생 시 다른 프로바이더로 자동 전환합니다.
사용량 관리: 키별 사용량을 추적하여 각 프로바이더의 무료 할당량을 초과하지 않도록 관리합니다.
보안: API 키는 암호화하여 저장합니다.
언제 쓰나
여러 LLM 프로바이더의 무료 할당량을 효율적으로 활용하고 싶을 때
특정 LLM에 의존하지 않고 높은 월간 토큰 사용량이 필요할 때
OpenAI 호환 클라이언트에서 중단 없이 다양한 모델을 테스트하고 싶을 때