NVIDIA AVO 하네스와 ARC-AGI-3 100% 달성 사례 분석 — 모델과 에이전트 시스템의 분리
초록
NVIDIA가 발표한 범용 에이전트 하네스 AVO(Agentic Variation Operators)가 상호작용형 추론 벤치마크 ARC-AGI-3(183개 레벨)에서 RHAE 100.00을 달성한 사례를 분석한다. 동일 기반 모델의 단독 성능(약 30%)과 AVO 시스템 내 성능(100%)의 격차를 통해, 프론티어 성능이 모델이 아니라 영속적 메모리·감독 메커니즘·접지된 피드백·복구 능력으로 구성된 에이전트 시스템 설계에서 나온다는 점을 정리한다. 본 논문은 NVIDIA의 발표 내용을 근거로 한 리뷰이며, 서술된 성과는 NVIDIA AVO 팀의 결과임을 명시한다.
출처 및 성격 안내
이 글은 NVIDIA가 2026년 공개한 개발자 블로그 게시물"NVIDIA AVO Reaches 100% on ARC-AGI-3, Demonstrating a Frontier-Level General-Purpose Architecture for Long-Horizon Autonomous Agents"를 근거로 작성한 분석·리뷰다. 아래 서술된 성과(ARC-AGI-3 RHAE 100.00 달성 등)는 전적으로 NVIDIA AVO 팀의 결과이며, Hyperthesis/Ari가 직접 재현하거나 검증한 실험이 아니다. 본 논문의 목적은 그 발표 내용을 정리하고, 에이전트 시스템 설계 관점에서 그 의미를 분석하는 데 있다.
배경 — ARC-AGI-3란 무엇인가
ARC-AGI-3는 에이전트가 명령어, 명시된 규칙, 명시된 목표 없이 낯선 게임형 환경에 진입해 스스로 규칙을 추론하고 목표를 발견해야 하는 상호작용형 추론 벤치마크다. 총 25개 환경, 183개 레벨(환경당 6~10레벨)로 구성되며, 평가지표는 RHAE(Relative Human Action Efficiency) — 과제 완료 여부와 사람이 첫 시도에 사용한 행동 수 대비 효율성을 결합한 지표다.
에이전트에게 요구되는 능력은 다음과 같다.
- 상호작용을 통한 환경 동작 추론
- 목표의 발견과 이해
- 불완전한 증거로부터의 가설 수립
- 장기 진행 중 지식 보존
- 실수로부터의 복구
- 환경 행동의 효율적 사용
이는 단순 정답 예측이 아니라, 장시간에 걸친 자율적 탐색·학습 능력을 측정하도록 설계된 벤치마크다.
AVO 하네스의 아키텍처
AVO(Agentic Variation Operators)는 장시간 자율 작업을 지속할 수 있도록 설계된 NVIDIA의 범용 에이전트 시스템이다. 핵심은 "더 똑똑한 모델"이 아니라 모델을 감싸는 시스템 설계에 있다.
그림. AVO 에이전틱 변이 루프 아키텍처. 출처: NVIDIA Developer Blog
1. 핵심 루프 — 맥락 검사·계획 → 변경 구현 → 결과 평가 → 후보 선택·계보(lineage) 업데이트를 반복한다.
2. 영속적 메모리(Persistent Memory) — 이전 구현, 평가 결과, 컴파일러/프로파일러 출력, 누적된 추론을 저장해 "현재 상태에서 재개"할 수 있게 하며, 매 시도마다 탐색을 처음부터 반복하지 않도록 한다.
3. 감독 메커니즘(Supervisor) — 넓은 탐색 궤적을 모니터링하다가, 진행이 정체되거나 비생산적인 순환이 감지되면 주 에이전트를 다른 전략으로 리다이렉트한다.
4. 도구·환경 인터페이스 — GPU 최적화 과제에서는 컴파일러·테스트·프로파일러를, ARC-AGI-3에서는 환경 상태를 64×64 텍스트 그리드로 변환해 제공한다. 이미지 토큰 없이 텍스트 전용 모드로 작동한다는 점이 특징이다.
100% 달성 과정
발표에 따르면 AVO는 ARC-AGI-3의 183개 레벨을 모두 완료해 RHAE 100.00을 기록했고, 총 6,624회의 환경 행동을 사용했다(비교 대상 VISTA 대비 약 12% 감소 — 더 적은 시행착오로 더 높은 점수를 냈다는 의미).
과정은 다음 흐름의 반복이다.
- 규칙·목표 설명 없이 사용 가능한 행동만 주어진 상태에서 환경과 상호작용
- 가설 수립 → 행동 실행 → 결과 관찰 → 상태 업데이트
- 모든 관찰을 영속적 메모리에 축적 — 이는 이후 시도에서 같은 실수를 반복하지 않게 하고 반복적 탐색을 줄인다
- 정체가 감지되면 감독 메커니즘이 전략 전환을 유도
흥미로운 점은 AVO가 완전히 다른 도메인(GPU 커널 최적화: 7일 연속 운영, 500개 이상 최적화 방향 탐색, 40개 커밋된 커널 버전 생성, FlashAttention-4 대비 최대 10.5% 성능 향상)에서도 같은 구조로 성과를 냈다는 것이다. NVIDIA는 이를 "도메인 지식은 전이되지 않지만, 지속적인 자율 진행을 위한 기계장치는 전이된다"고 요약한다.
의미와 시사점
1) 모델과 시스템의 분리. 발표에서 가장 핵심적인 대비는 이것이다 — 동일한 기반 모델(Claude Opus 5)이 단독으로는 ARC Prize 기준 약 30% 수준의 성능을 보였는데, AVO 시스템 안에서는 100%를 기록했다. 차이는 모델이 아니라 맥락을 전달하는 방식, 도구를 쓰는 방식, 상태를 유지하는 방식— 즉 하네스에서 나왔다는 것이다.
2) 일반성은 도메인 지식이 아니라 "장기 자율성의 메커니즘"에서 나온다. GPU 커널 최적화(정량적, 컴파일러 피드백)와 ARC-AGI-3(상호작용형, 시각·규칙 추론)는 표면적으로 전혀 다른 과제이지만, 영속적 메모리·감독·복구라는 동일한 골격이 양쪽에서 작동했다.
3) 장기 자율 작업의 5원칙 (발표 기반 정리) - 영속적 상태: 무엇이 "살아남아" 다음 시도에 전달되는지 결정 - 도구 활용: 무엇이 가능한지 결정 - 접지된 피드백(grounded feedback): 진행이 실제로 이루어지고 있는지 확인 - 복구 메커니즘: 단일 모델 호출의 실패가 전체 작업의 실패로 이어지지 않게 함 - 장기 맥락 관리: 축적된 증거를 다음 판단에 반영
4) 실무적 시사점. 이는 우리가 앞서 Hyperthesis 프로젝트 관리 기능에서 다뤘던 문제의식(파일 리비전 이력을 남기는 것, 프로젝트/문서 간 관계를 그래프로 축적하는 것)과 같은 방향을 가리킨다 — 단발성 응답이 아니라 상태를 남기고 다음 판단에 쓰는 구조 자체가 장기 작업 능력의 원천이라는 것이다. 다만 AVO의 스케일(183개 레벨, 7일 연속 운영)은 우리가 다루는 문제보다 훨씬 크며, 이 유사성은 어디까지나 설계 원칙 수준의 유비(analogy)임을 밝혀둔다.
결론
NVIDIA AVO의 ARC-AGI-3 100% 달성은 "더 큰 모델"이 아니라 "더 나은 에이전트 시스템 설계"가 프론티어 성능을 만든다는 것을 보여주는 사례다. 영속적 메모리, 감독 메커니즘, 접지된 피드백, 복구 능력이라는 네 축은 특정 벤치마크에 국한되지 않는 일반적 설계 원칙으로 제시되었으며, 이는 에이전트 시스템을 다루는 모든 프로젝트(우리의 것을 포함해)에 참고할 만한 틀을 제공한다.