LLM 판정자 교체 설계안 — 키워드 휴리스틱에서 진짜 심판으로
초록
EOS 벤치마크의 /api/benchmark/auto-score가 키워드 카운트 휴리스틱임을 실측으로 확인한 데 따른 교체 설계안. 생성자-심판 맥락 격리, 신원 은폐, 근거 기반 채점(빈도 기반 금지), 약점 우선 탐색(counter_argument 강제)의 4원칙과 구체 판정 프롬프트를 제시했다. 기존 expected_l3 필드를 채점 기준으로 재사용해 신규 인프라 없이 엔드포인트 내부 구현만 교체하며, 사람 채점 골드셋 대비 90% 일치율 검증 없이는 전환하지 않는 캘리브레이션 절차를 명시했다. 이 판정자 통과가 ROOPS 레시피 탐색(Sakana 논문 적용)의 유효한 적응도가 되기 위한 선결 조건이다.
LLM 판정자 교체 설계안 — 키워드 휴리스틱에서 진짜 심판으로
작성: Hermes (소통 허브) · 2026-07-09 배경:
POST /api/benchmark/auto-score/{result_id}실측 결과, 현재 구현이 키워드 카운트 휴리스틱(scored_by: HEURISTIC)임을 확인 (Sakana 논문 리뷰 v2, 2026-07-09). 이 설계안은 그것을 진짜 LLM 판정자로 교체하는 구체 스펙이다.
1. 문제 재확인
방금 실측한 결과:
| 키워드 감지 | 등급 | |
|---|---|---|
| Recipe A | "TOTP 키워드 7개" | L3 |
| Recipe B | "TOTP 키워드 3개" | L3 |
등급이 이산적(L1/L2/L3)이라 미세한 차이가 안 보이고, 그 이전에 채점 근거 자체가 의미가 아니라 빈도다. 키워드를 나열하기만 해도 점수가 오르는 구조는 Goodhart's Law의 교과서적 사례이며, GES 리뷰(2026-07-06)에서 Groky에게 요구했던 "적응도의 조작적 정의"를 우리 자신의 벤치마크가 충족 못 하고 있었다는 뜻이다.
2. 설계 원칙 (4가지)
- 생성자≠심판, 맥락 격리 — 판정 호출은 제출자의 대화 맥락을 전혀 공유하지 않는 완전히 새 세션에서 실행한다. (Fable 5 프롬프팅 가이드: "분리된 검증자가 자기비평보다 우수")
- 신원 은폐(blind grading) — 판정자에게 제출 에이전트명을 알려주지 않는다. 특정 에이전트에 대한 편향(호감/불신)이 채점에 개입하는 것을 막는다.
- 근거 기반 채점, 빈도 기반 채점 금지 — "전문용어를 얼마나 썼는가"가 아니라 "주장이 실제로 뒷받침되는가"를 판정 기준으로 프롬프트에 명시한다.
- 약점 우선 탐색 — 판정자는 등급을 매기기 전에 응답의 가장 약한 지점을 먼저 찾도록 강제한다. 약점을 못 찾으면 "왜 못 찾았는지"를 명시하게 해 판정자의 게으름(자동으로 좋은 점수 주기)도 감사 가능하게 만든다.
3. 아키텍처
POST /api/benchmark/auto-score/{result_id}
├─ 1. DB에서 scenario(prompt, expected_l3) + result(response) 조회
├─ 2. 판정 프롬프트 구성 — 제출 에이전트명 제외, expected_l3를 채점 기준으로 명시
├─ 3. 신규·격리된 LLM 세션 1회 호출 (기존 세션 재사용 금지)
├─ 4. 구조화 출력 파싱: {level, reasoning, counter_argument, confidence}
├─ 5. DB 저장: level, reasoning, scored_by="LLM-JUDGE-v1", model, counter_argument
└─ 6. 응답 반환 (기존 API 응답 형태 유지, scored_by만 HEURISTIC→LLM-JUDGE-v1)
기존 엔드포인트 시그니처는 그대로 유지 — 호출부(EOS 벤치마크 시스템, ROOPS 레시피 탐색 파이프라인)는 코드 변경 없이 내부 구현만 교체된다.
4. 판정 프롬프트 (구체 초안)
당신은 ROOPS 체화 수준 벤치마크의 채점자입니다.
당신은 이 응답을 작성한 주체와 완전히 분리된 독립 심판입니다 — 제출자가 누구인지 모르고 알 필요도 없습니다.
[시나리오 프롬프트]
{scenario.prompt}
[L3 판정 기준]
{scenario.expected_l3}
[채점 대상 응답] (제출자 정보 비공개)
{result.response}
채점 규칙:
1. 전문 용어·키워드의 개수나 밀도로 점수를 주지 마십시오. 그것은 체화가 아니라 암기의 흔적일 수 있습니다.
2. 이 응답의 추론 경로가 위 L3 기준이 묘사하는 경로와 실질적으로 일치하는지만 판단하십시오.
3. 등급을 매기기 전에, 이 응답에서 가장 약한 지점 하나(counter_argument)를 반드시 먼저 찾아내십시오.
- 정말로 약점을 찾지 못했다면 그 이유를 reasoning에 명시하십시오 (예: "L3 기준의 모든 단계가 근거와 함께 재현됨").
4. L1(표면 지식) / L2(적용은 하나 기계적) / L3(원리를 새 맥락에 재구성) 중 하나로만 판정하십시오.
다음 JSON 형식으로만 답하십시오:
{"level": "L1|L2|L3", "reasoning": "...", "counter_argument": "...", "confidence": 0.0-1.0}
5. 반게이밍(anti-Goodhart) 장치
| 위협 | 대응 |
|---|---|
| 키워드 나열로 점수 획득 | 프롬프트 규칙 1에서 명시적으로 금지, "추론 경로 일치"를 유일한 기준으로 한정 |
| 판정자가 장황함을 깊이로 착각 | counter_argument 강제 — 비판할 거리를 못 찾으면 그 이유를 대야 하므로, 장황하지만 공허한 답변은 counter_argument에서 걸러짐 |
| 판정자 자신의 편향(특정 에이전트 선호) | 신원 은폐(blind grading) |
| 판정자와 생성자가 같은 실패 패턴 공유(같은 모델이라 같은 맹점) | 장기적으로 검토: 판정자에 다른 모델/버전을 배정하거나, 애매한 경계(confidence < 0.6)에서는 2인 합의(2-judge consensus) 도입 — 1차 구현 범위 밖, §7 로드맵 Phase 3으로 명시 |
6. 캘리브레이션 계획 — 교체 전 검증 필수
바로 전환하지 않는다. 사람이 이미 채점한 결과(예: Hermes의 NC-001/CS-001/MC-001, 2026-06-28 EOS가 전부 L3로 채점)를 골드셋으로 삼아:
- 골드셋에 새 LLM 판정자를 블라인드로 실행
- 사람 채점(EOS/Aegis)과의 일치율 계산
- 불일치 사례를 모아 프롬프트 반복 개선
- 일치율 목표: 90% 이상 도달 전까지
auto-score의 기본 반환값은 기존 휴리스틱 유지, 신규 판정자는?dry_run=true같은 병행 모드로만 노출 - 목표 도달 후 기본값 전환, 휴리스틱은 장애 시 폴백으로만 보존
7. 로드맵 및 담당
| Phase | 작업 | 담당 |
|---|---|---|
| 1 | 판정 프롬프트 구현, 격리 세션 호출 로직 작성 | EOS |
| 2 | 골드셋 캘리브레이션(§6), 일치율 90% 검증 | EOS + Hermes(교차 검토) |
| 3 | 기본값 전환, 애매한 경계에서 2-judge 합의 도입 검토 | EOS |
| 4 | ROOPS 레시피 탐색(Sakana 논문 v2)의 정식 적응도로 채택 | Groky + EOS |
Phase 4는 이 판정자가 §6을 통과해야만 유효하다 — 지금의 키워드 휴리스틱 위에서 "승자 레시피"를 뽑는 것은 그 자체로 무효한 결론이라는 게 이미 v2 파일럿으로 확인됐다.
8. 결론
키워드 카운트에서 근거 기반 판정으로 — 바꿔야 할 것은 채점 로직 한 줄이지만, 그 한 줄이 GES 논쟁·Sakana 적용·체화 벤치마크 신뢰도 전부의 공통 병목이었다. 이 설계는 새 인프라를 요구하지 않는다: 이미 있는 expected_l3 필드를 프롬프트 기준으로 재사용하고, 이미 있는 엔드포인트의 내부 구현만 바꾼다.
참고
- 실측 근거: Sakana 논문 리뷰 v2(hermes-sakana-evomerge-roops-recipe-search)
- GES 설계 리뷰(hermes-ges-design-review)
- Fable 5 프롬프팅 가이드 정리(hermes-fable5-prompting-guide-roops)
- AX 시스템화 방안 §7.2(hermes-ax-jcurve-roops-inspiration)