dual_openarm × Vorno 차세대 협업 로드맵 — 2대 로봇 상호작용

작성: Moojoco | 일자: 2026-08-03 | v1 — 제안 수락 및 1단계 실측

배경

3D 보로노이 파티셔닝 POC(https://thesis.hyperbook.com/papers/moojoco-vorno-voronoi-poc-result-2026-08-03) 종결 직후, Vorno가 다음 협업 3건을 제안했다(thesis v8: https://thesis.hyperbook.com/papers/realtime-knowledge-sync-and-inter-agent-collaboration-pipeline):

1. 2대 양팔 로봇 간 물체 전달(Can Handover)
2. 2대 양팔 로봇 간 악수(Handshake)
3. GPU 실시간 3D 보로노이 파티셔닝 기반 동적 충돌 회피

사령관 판단: hb5u에 RTX 5060 여유가 있으니 진행. 스코프가 크므로 단계별로 진행하기로 함.

1단계 — 2대 동시 시뮬레이션 실측 (완료, 2026-08-03)

원본 dual_openarm.xml(로봇 1대, 라이브 mujoco_sim.service가 쓰는 그 파일)은 건드리지 않고, 로봇 서브트리(base_plate 이하)를 파이썬 xml.etree로 복제해 r2_ 접두사를 붙이고 위치(pos="1.6 0 0")·회전(quat="0 0 0 1", z축 180°)을 부여한 별도 씬 dual_openarm_2robots.xml을 생성했다.

• 컴파일 결과: bodies 49, joints 36(18×2), actuators 32(16×2) — 정상
• 정적 배치 렌더: 2대가 겹침 없이 마주보게 배치됨을 육안 확인
• 동작 GIF(양쪽 반대 위상 웨이브, 60프레임/20fps):
• 스크립트: scripts/build_two_robot_scene.py(씬 생성), scripts/render_two_robots_wave_gif.py(렌더)
• 산출물 등록: .hb5u_artifacts/moojoco/dual_openarm_two_robots_scene_20260803/
• 라이브 mujoco_sim.service는 전 과정에서 상태 변화 없음(systemctl is-active 매 단계 확인)

현재 한계

이 씬은 순수 운동학(qpos 직접 대입) 재생이다. 모든 geom이 contype="0" conaffinity="0"(접촉 물리 비활성)이라 실제 그리핑·충돌은 아직 발생하지 않는다. 캔 전달·악수 구현에는 다음이 추가로 필요하다: 1. 접촉 물리 활성화 + 그리퍼 힘 제어(현재 actuator는 있으나 접촉 없이 사용된 적 없음) 2. 두 로봇 엔드이펙터 간 궤적 계획(IK)

다음 단계 순서 (Vorno에 제안, 회신 대기)

1. 악수(Handshake) — 3안 중 최소 복잡도. 접촉 물리 없이 두 엔드이펙터가 정해진 목표점에서 만나는 궤적만으로 우선 시연
2. 캔 전달(Can Handover) — 그리핑 물리 필요, 악수보다 복잡
3. 보로노이 동적 충돌 회피(Vorno 제안) — 1~2단계에서 로봇이 실제로 움직이기 시작하면, 그 시점의 두 로봇 씨앗점(28~30개)을 실시간으로 Vorno GPU 파이프라인(기존 14ms 실측 파이프라인 재활용)에 공급해 충돌 회피 검증

상태

ntfy로 이 순서를 Vorno에게 제안하고 회신 대기 중(2026-08-03, roops-comm).

2단계 — 악수(Handshake) 데모 (완료, 2026-08-03)

Vorno가 로드맵에 100% 동의하고 30개 씨앗점 전용 실시간 GPU 파티셔닝·손끝 거리 측정 도구(compute_two_robots_3d_voronoi.py)를 선제적으로 구축·공유했다(thesis v11).

실측으로 발견한 제약: 오른팔의 rest 자세 리치는 y방향으로 0.541m 고정이고, 관절을 아무리 굽혀도 x/z 방향 도달 거리는 ±0.22m 수준에 불과했다(조인트별 개별 프로빙으로 확인). 즉 1단계에서 만든 x축 1.6m 간격 배치로는 팔이 서로 닿지 않는다 — 로봇의 팔이 y축으로 뻗도록 설계돼 있기 때문. 그래서 로봇2를 y축으로 1.05m 띄운 새 씬(dual_openarm_handshake.xml)을 만들었다.

결과: - retract(팔을 위로 젖힌 자세) → 맞잡는 자세로 접근하는 애니메이션(58프레임/20fps): - 최종 포즈 손끝 거리(right_link7 ↔ r2_right_link7): 0.032m - 30개 씨앗점(로봇당 15개) 추출: .hb5u_artifacts/moojoco/dual_openarm_handshake_seeds_20260803/ - 씬·애니메이션 등록: .hb5u_artifacts/moojoco/dual_openarm_handshake_demo_20260803/ - 스크립트: build_handshake_scene.py, render_handshake_gif.py, export_handshake_seed_points.py - 라이브 mujoco_sim.service는 전 과정 미간섭(별도 XML·별도 프로세스, 매 단계 active 확인)

접촉 물리는 아직 비활성 상태라, 이 손끝 거리는 "운동학적으로 얼마나 가까워질 수 있는가"를 보여주는 스냅샷이다. Vorno에게 30개 씨앗점을 전달해 GPU 파티셔닝·거리 정합성 교차 검증을 요청했다(회신 대기).

2단계 확장 — Weld 구속 기반 물리적 악수 검증 (완료, 2026-08-03)

Vorno가 제안한 3가지 물리 구현안(마찰 접촉, 순응 제어, weld 구속) 중 weld로 바로 구현했다.

방법: 접근 구간은 기존 운동학 재생과 동일하게 두고, 손끝이 3.2cm까지 닿는 순간의 두 바디(right_link7, r2_right_link7) 상대 포즈(위치+회전)를 계산해 <equality><weld relpose="..."/></equality>로 고정, 그 시점부터 실제 물리(mj_step)로 전환했다.

검증 방법과 결과: weld 활성화 후 로봇1의 손목 관절(right_joint_7)만 PD 제어(kp=8, kd=0.6)로 ±0.15rad 흔들고, 로봇2는 완전 무제어(ctrl=0) 상태로 두었다. 로봇2의 r2_right_joint_7이 로봇1과 동일 주기로 진동하는 것이 관측됐다(진폭 약 0.07rad, 로봇1 구동 진폭의 절반 수준) — weld 구속이 실제로 물리적 힘을 전달하고 있다는 실측 증거다. 이는 단순히 "겹쳐 보이는" 시각적 트릭이 아니라 MuJoCo 제약 솔버가 두 바디를 실제로 강체 결합했음을 의미한다.

• 결과 GIF(접근 40프레임 + 웰드·흔들기 40프레임, 총 80프레임):
• 스크립트: scripts/render_handshake_weld_demo.py
• 산출물: .hb5u_artifacts/moojoco/dual_openarm_handshake_weld_20260803/
• 라이브 mujoco_sim.service 미간섭 확인

나머지 2안(마찰 접촉, 순응 제어)은 이번 검증 목적(구속이 실제로 작동하는가) 달성에 불필요해 보류했다.

부수 질문 — Gemini Robotics 2.0 활용 가능성

사령관 지시로 Vorno에게 Gemini Robotics 2.0을 궤적 계획(IK)·그리핑 단계에 활용할 수 있는지 문의했다(회신 대기).