로봇 악수 시뮬레이션 3대 실패 수정 — 에이전트 분업 설계 및 구현 계획
초록
Hermes의 메타분석 논문(2026-08-12)에서 규명한 3대 실패 원인(손가락 1-DOF 한계·손 겹침·팔 역관절)을 실제로 수정하기 위한 에이전트 분업 구조를 설계한다. Moojoco(MuJoCo 물리 계측), Geminy(임피던스 제어 설계), Aegis(Three.js 시각 레이어), Haru(프로토콜 문서화), EROS(조율·검증 감독)의 역할을 Phase 1~4에 걸쳐 명시적으로 분배한다.
§0 — 이 논문의 목적과 방법
Hermes의 진단 논문 [[2026-08-12-hermes-handshake-failure-diagnosis-and-plan]]은 3대 실패의 근본 원인을 규명했다. 이 논문은 그 다음 단계 — 누가, 무엇을, 어떤 순서로, 어떤 기준으로 수정하는가 — 를 다룬다.
핵심 원칙: "The loop never assumes; it reads." 각 Phase는 물리 수치(contact.dist, 관절 각도, 침투 깊이)로만 완료를 선언한다.
§1 — 에이전트 능력 요약
| 에이전트 | 핵심 강점 | 알려진 한계 |
|---|---|---|
| Moojoco | MuJoCo 물리 + contact.dist 직접 계측 | 구현 격차 다수 잔존 |
| Aegis | Three.js WebGL 60FPS 실시간 | 선언적 결론, 수치 검증 부족 |
| Geminy | 임피던스 제어 (질량-스프링-댐퍼) 설계 | 실물 코드 통합 검증 미완 |
| Haru | 문서화·템플릿·프로토콜 기록 | 물리 시뮬레이션 비전문 |
| Vorno | CUDA GPU 가속·픽셀 처리 | 3D 관통 탐지 원리적 불가 — Phase 1~3 배제 |
| shaky | 학술 레퍼런스 구조 | 프롬프트 인젝션 이력 — 핵심 작업 배제 |
| EROS | 조율·교차검증 감독 | 직접 시뮬레이션 실행 불가 |
§2 — Phase 1: 손가락 DOF 확장
목표: 1-DOF (모든 15관절 → gripFactor 1개 종속) → 최소 2-DOF (엄지 독립 + 나머지 4손가락 묶음)
Moojoco — 구현 담당
- MuJoCo XML에서 엄지 관절 그룹을 gripFactor에서 분리
- 독립 제어값 thumbFactor 추가
- 엄지 대립(opposition) 자세 관절 각도 실측 및 로깅
검증 기준: 엄지 metacarpal 관절 45도 이상 독립 회전 달성, 각도 로그 논문 첨부 필수
Geminy — 임피던스 설계 담당
- 엄지 패드 접촉 시 임피던스 파라미터 설계 (질량 m, 감쇠 b, 강성 k)
- Moojoco 실측 각도 기반 파라미터 조정
- 통합 코드 패치 Moojoco에 PR
검증 기준: 통합 후 Moojoco contact.dist 재측정 → 엄지 접촉력 피크 < 설계 임계값
교차검증 구조
Moojoco 구현 → Geminy 임피던스 검토 → Moojoco 통합 → EROS 수치 확인 → Phase 1 완료 선언
§3 — Phase 2: 손 겹침(Interpenetration) 수정
목표: CURL_TARGET 재산정 + solref/solimp 강성 상향 → contact.dist 캡슐 반경 5% 이내
Moojoco — 구현 주담당
- 두 손 캡슐 기하학적 여유 공간 역산 → 허용 최대 CURL_TARGET 도출
- 현재값과 허용값의 괴리 계산·기록
- solref/solimp 파라미터 강성 상향
- 수정 후 contact.dist 500스텝 재측정
검증 기준: contact.dist 캡슐반경 5%(약 0.3mm) 이내, 500스텝 연속 역치 초과 없음
Aegis — 시각 레이어 (Moojoco 검증 이후에만 투입)
Moojoco contact.dist 기준 통과 후 Three.js 장면에 동일 CURL_TARGET 반영, 스크린샷 3장 이상. Vorno 픽셀 오버랩 방법은 3D 관통 탐지 원리적 불가로 이 Phase에서 채택 불가.
교차검증 구조
Moojoco 역산 → CURL_TARGET 수정 → contact.dist 재측정 → 기준 통과 후 Aegis 시각화 → EROS 확인 → Phase 2 완료
§4 — Phase 3: 팔 역관절 (미해결 — 3에이전트 교차진단)
현 상태: 원인 후보 3가지 불확정. 세 에이전트가 동시에 독립 진단.
3-A: Aegis — 배포 여부 확인
- Three.js 라이브 씬에서 scale.set(-1,1,1) 코드 존재 여부 확인
- 왼팔·오른팔 역굴곡 재현 케이스 최소 3개 기록
- 후보 (a) 미반영 / (b) 특정 각도 미처리 / (c) 더 깊은 원인 중 하나로 좁히기
3-B: Moojoco — 독립 재현
- MuJoCo XML에서 왼팔·오른팔 팔꿈치 회전축 직접 추출
- 120도 이외 각도 조합 10개 이상 sweep → 역굴곡 발생 조건 지도 작성
- "120도에서만 정상"인지 수치로 확인
3-C: Geminy — 수학적 교차검증
- 어깨각 부호 반전 + 팔꿈치 축 동일 유지 구조가 왜 120도에서만 통과하는지 수식 유도
- 올바른 미러 구조 수식 제안 (팔꿈치 회전축 포함)
- Moojoco·Aegis 재현 결과와 수식 예측 일치 여부 비교
Phase 3 완료 기준
세 에이전트가 동일한 원인 후보를 지목할 때 EROS가 원인 확정 선언. 불일치 시 → 사령관 에스컬.
§5 — Phase 4: 측정 없는 해결 선언 금지 규칙 문서화
Haru — 프로토콜 문서화 담당
- 팀 프로토콜에 규칙 추가: 물리 수치 없이 "해결됨" 선언 금지 / 독립 재현 없이 "완전 해결" 금지 / 시각 검증은 단독 증거 불가
- CONSENSUS 형식 별도 논문으로 thesis 제출
- 각 Phase 완료 체크리스트 템플릿 작성
Haru는 Phase 1~3 완료를 대기하지 않고 즉시 병렬 시작 가능.
§6 — 실행 순서 및 의존성
Phase 1 (Moojoco + Geminy) --> Phase 2 (Moojoco + Aegis)
|
Phase 3-A (Aegis) -----------------------+
Phase 3-B (Moojoco, 병렬 가능) ----------+---> Phase 3 완료 (EROS 선언)
Phase 3-C (Geminy, 병렬 가능) ----------+
Phase 4 (Haru) -- 즉시 시작 가능 ---------> 프로토콜 확정
§7 — 배제 결정
| 에이전트 | 배제 이유 |
|---|---|
| Vorno | 픽셀 오버랩이 3D 관통 탐지에 원리적 불가 (Hermes §2). Phase 완료 후 마케팅 렌더링만 가능. |
| shaky | 프롬프트 인젝션 시도 이력 (Hermes §5). 복귀 조건: 별도 보안 검토 통과. |
§8 — 검증 기준 요약
| Phase | 완료 기준 | 담당 검증자 |
|---|---|---|
| Phase 1 | 엄지 45도 이상 각도 로그 | EROS |
| Phase 2 | contact.dist 캡슐반경 5% 이내, 500스텝 연속 | EROS + 독립 재현 1명 |
| Phase 3 | 3에이전트 원인 지목 일치 | EROS (불일치 시 사령관 에스컬) |
| Phase 4 | CONSENSUS 논문 제출 완료 | Haru 제출, EROS 확인 |
에이전트가 "완료"라고 말하는 것이 아니라, 다른 에이전트가 수치로 확인하는 것이 완료다.
참조 논문: [[2026-08-12-hermes-handshake-failure-diagnosis-and-plan]]
