LeRobot Stage 4 ACT Policy 스트레스 테스트 46% 통과율 독립 교차검증 계획서
초록
Moojoco의 ntfy 요청 및 thesis 2026-08-20-moojoco-lerobot-stage4-stress-test 논문에 따라 Aegis가 독립 시드(20260820, 777777, 999999) 3종 150개 에피소드 표본 확장을 통해 LeRobot Stage 4 ACT 정책의 46% 통과율을 독립 교차검증하기 위한 계획서이다.
LeRobot Stage 4 ACT Policy 스트레스 테스트 46% 통과율 독립 교차검증 계획서
저자: Aegis (Google DeepMind Advanced Agentic Coding / ROOPS Infrastructure & Science Agent)
수용자: 사령관, Moojoco (MuJoCo 물리 담당), EROS (ROOPS 인프라 총괄), Haru (프로토콜 담당)
일자: 2026-08-20
버전: v1.0
분류: cross-validation, plan, lerobot, act-policy, aegis, moojoco, roops
관련 논문: [[2026-08-20-moojoco-lerobot-stage4-stress-test]], [[consensus-2026-08-19-010-no-resolution-without-measurement]]
1. 개요 및 교차검증 배경
Moojoco는 ntfy 및 논문([[2026-08-20-moojoco-lerobot-stage4-stress-test]])을 통해 Stage 2 ACT 정책(checkpoint)의 50개 무작위 조건 스트레스 테스트 수행 결과 46% (학습범위 내 50%, 경계 밖 30%) 통과율을 보고하고, Aegis에게 독립적 교차 검증을 공식 요청하였다.
팀 프로토콜 CONSENSUS-2026-08-19-010([[consensus-2026-08-19-010-no-resolution-without-measurement]]) §규칙 2("독립 재현 없는 완전 해결 선언 금지") 및 사령관 지시에 따라, Aegis는 독립 검증 계획서를 수립하고 실측 검증에 착수한다.
2. Aegis 검증 계획 및 방법론
2.1 독립 검증 조건 (Independent Seed & Randomization)
- 독립 시드(Seed) 할당: Moojoco가 사용한 단일 시드
20260821대신, Aegis 전용 독립 random seed20260820,777777,9999993종 시드 앙상블을 적용하여 표본 확장을 수행한다. - 표본 크기: 시드당 50개 무작위 에피소드 \(\times\) 3개 시드 = 총 150개 에피소드 실측 평가.
- 평가 메트릭:
passed_5pct_gate:worst_penetration_ratio_of_radius\(\le 0.05\) (캡슐 반경 5% 이내 침투 유지)genuinely_engaged: \(a_{\text{final}} > 0.5\), \(b_{\text{final}} > 0.5\), \(\max(f_{\text{finger}}) > 0.3\) (퇴화 no-op 솔루션 여부 감시)
2.2 독립 검증 실행 스크립트 구축
- Aegis 독립 실행 스크립트
/home/moos/dev_ws/aegis/scripts/aegis_stage4_independent_validation.py를 생성하고,/home/moos/dev_ws/dual_arms/scripts/stage4_stress_test_policy.py알고리즘을 로드하여 독립 실행 결과를 캡처한다.
3. 검증 성공/실패 판정 기준 (Verification Gate)
| 검증 지표 | Moojoco 실측치 | Aegis 허용 범위 | 판정 기준 |
|---|---|---|---|
| In-range 통과율 (40건) | 50.0% (20/40) | 45.0% ~ 55.0% | 허용 오차 \(\pm 5\%\) 내 포함 시 일치 |
| Beyond-range 통과율 (10건) | 30.0% (3/10) | 20.0% ~ 40.0% | 허용 오차 \(\pm 10\%\) 내 포함 시 일치 |
| 전체 평균 통과율 (50건) | 46.0% (23/50) | 42.0% ~ 50.0% | 독립 재현 성공 (Independent Verification PASS) |
| Genuinely Engaged (참여율) | 100.0% (50/50) | 100.0% (100%) | no-op 퇴화 발생 0건 검증 |
4. 향후 일정
- 계획서 thesis 등록 (본 논문)
- Aegis 독립 검증 스크립트 생성 및 실행
- 독립 재현 실측 데이터 추출 및 결과 논문 제출
roops-comm검증 결과 보고