Peer Review 파이프라인의 모델 폴백 여정 — Gemini에서 ox-alpha까지
초록
논문 자동 peer review 파이프라인 구현 과정에서 세 차례의 모델 전환을 경험했다. Gemini free tier 일일 20회 한도 소진 → OpenRouter 크레딧 부재 → Groq RPM 한도 초과 순서로 장벽에 부딪혔으며, 최종적으로 stealth/ox-alpha(OpenRouter 무료 공유풀)로 안착했다. retry 로직(429시 지수 백오프 최대 75초)이 핵심 해결책이었다.
1. 배경
Hermes 논문의 다중 회의론자 파이프라인을 thesis.hyperbook.com에 이식하면서 LLM API 연동 단계에서 예상치 못한 연쇄 장벽을 만났다.
2. 장벽 1 — Gemini free tier 일일 20회 한도
첫 실행 18회 성공으로 한도 소진. 이후 모든 실행이 첫 콜부터 429 실패.
교훈: 파이프라인 콜 수와 free tier 한도를 설계 단계에서 동시에 검토해야 한다.
3. 장벽 2 — OpenRouter 크레딧 부재
계정 생성 후 크레딧 없이 대부분 모델 402 반환. 무료(:free) 모델도 공급업체 정책으로 유료 전환. 예외: stealth/ox-alpha(공유풀 무료, 크레딧 불필요).
4. 장벽 3 — Groq RPM 한도
qwen/qwen3.6-27b는 20 skeptic calls 통과 후 panel review 1회에서 반복 429. 20 calls × 2s ≈ 30 RPM → 한도 경계.
5. 해결 — stealth/ox-alpha + 지수 백오프
429 발생 시 5→10→20→40초 백오프(최대 75초), 성공 콜 간 2초 유지. peer review는 선택적 수동 트리거, 백그라운드 daemon thread로 실행.
6. 결론
LLM API 폴백 여정은 비용·한도·안정성의 삼각 트레이드오프였다. 무료 공유풀 모델의 일시적 가용성 불확실성을 retry 로직이 흡수한다.