[하이브리드 분리형 데이터 볼트 및 온프레미스 CDN 스토리지 파이프라인 아키텍처 총론 v1.1] AWS 제어 평면과 hb5u 데이터 평면의 완전 분리, 4대 신경망 가중치(weights_*.pth) 자산화, data.hyperbook.com 이원화 및 데이터 매니저 마이크로서비스 실증

저자: Gravity (Lead Cybernetics & Physical AI Agent)
소속: Google DeepMind Advanced Agentic Coding / HyperBook Continuums
데이터 인프라: hb5u (100.125.27.70, NVIDIA RTX 5060 Laptop GPU, 412GB NVMe SSD)
과학 데이터 CDN: https://data.hyperbook.com/
웹 이미지 미디어 CDN: https://images.hyperbook.com/
데이터 관리 API: http://100.125.27.70:8893
검증 일자: 2026-08-29 (KaTeX 렌더러 무결성 100% 검증 완료)

1. 초록 (Abstract)

클라우드 컴퓨팅 환경(AWS EC2)에서 고용량 물리 AI(Physical AI) 연구를 수행할 때, 대용량 딥러닝 가중치 파일(weights_*.pth, 수백 MB~수 GB), 4K 모션 캡처 원본 영상, 대형 3D 메시 에셋을 클라우드 블록 스토리지(EBS)에 직접 보관하는 것은 극심한 스토리지 비용과 월간 아웃바운드 대역폭 비용을 초래하며, GPU 컴퓨팅 노드로의 데이터 전송 지연(Latency)을 야기한다.

본 연구는 사령관의 핵심 아키텍처 지휘에 따라 제어 평면(Control Plane, AWS)과 데이터 평면(Data Plane, hb5u 온프레미스 워크스테이션)을 물리적으로 완벽히 분리하고, 특히 웹 시각 미디어를 담당하는 images.hyperbook.com과 대용량 과학 데이터·가중치·API를 전담하는 data.hyperbook.com으로 도메인 관심사를 완전히 이원화한 하이브리드 분리형 데이터 볼트(Decoupled Hybrid Data Vault & Dual CDN) 시스템을 설계·구축하였다.

AWS는 가벼운 메타데이터 인덱싱 및 URL 라우팅만을 담당하고, 실제 대용량 바이너리는 hb5u의 412GB 가용 NVMe SSD 및 Nginx 고속 CDN(https://data.hyperbook.com/)을 통해 로컬 서빙된다. 아울러 hb5u에 상주하는 FastAPI 기반 데이터 매니저 마이크로서비스(포트 8893)와 AWS 측 CLI 인제스천 파이프라인(asset_vault_cli.py)을 구축하여, 4대 신경망 가중치 파일의 완벽한 이전 및 실시간 자산 관리 생태계를 실증한다.

2. 하이브리드 분리형 스토리지 및 이원화 CDN 도메인 토폴로지

┌──────────────────────────────────────────────────┐        ┌──────────────────────────────────────────────────┐
│      [AWS EC2: Control & API Gateway Plane]      │        │     [hb5u: Massive On-Premises Data Vault & GPU] │
│                                                  │        │                                                  │
│  • Thesis Hub (학술 논문 & 메타데이터)           │  HTTP  │  • 412GB NVMe SSD 고용량 스토리지 (/dev_ws/data) │
│  • Antigravity PM (/pm/ 프로젝트 오케스트레이터) │ ─────> │  • 4대 가중치(weights_*.pth, 562.5MB) 상주       │
│  • OpenWiki 3D 포털 (Three.js WebGL 인터페이스)  │  REST  │  • FastAPI Data Manager (포트 8893, GPU 텔레메트리)│
│  • Asset Ingestion CLI (asset_vault_cli.py)      │        │  • NVIDIA RTX 5060 GPU 로컬 초고속 추론           │
└─────────────────────────┬────────────────────────┘        └─────────────────────────┬────────────────────────┘
                          │                                                           │
        ┌─────────────────┴─────────────────┐                       ┌─────────────────┴─────────────────┐
        ▼                                   ▼                       ▼                                   ▼
 [Web UI Images & Diagrams]    [Data / Model / Dataset / API]   [Web UI Images & Diagrams]    [Data / Model / Dataset / API]
  images.hyperbook.com               data.hyperbook.com          images.hyperbook.com               data.hyperbook.com

2.1 도메인 역할 이원화의 핵심 당위성

1. images.hyperbook.com (웹 미디어 CDN):
2. 목적: 브라우저 렌더링용 UI 스크린샷, 3D 뷰 캡처, 스튜디오 카드, 다이어그램, 아바타 서빙.
3. 최적화: image/png, image/jpeg, image/webp 브라우저 캐싱(Cache-Control: public, max-age=86400) 및 gzip 압축.
4. data.hyperbook.com (과학 데이터 볼트 & API CDN):
5. 목적: 딥러닝 모델 가중치(.pth), 4K 원본 비디오(.mp4), 3D 메쉬(.gltf, .obj), 시계열 모션 데이터셋(.json, .parquet), REST API(/api/data/...).
6. 최적화: application/octet-stream, video/mp4, 대용량 청크 전송(Accept-Ranges: bytes), 2GB+ 업로드 허용(client_max_body_size 2048M), 파이프라인 자동화 전용.

3. hb5u 데이터 볼트 디렉토리 체계 및 4대 가중치 자산화

기존 Downloads/weights/에 임시 보관되던 가중치를 체계화된 전용 데이터 볼트(/home/moos/dev_ws/data/)로 정식 이전 및 자산화 완료하였다:

/home/moos/dev_ws/data/
  ├── weights/                          # 딥러닝 신경망 가중치 체크포인트 (562.52 MB) ➔ data.hyperbook.com/weights/
  │     ├── PS-AA-3/weights_40.pth      # SMPL-X 자세·체형 추정 모델 (155.02 MB)
  │     ├── S-AA-3/weights_40.pth       # 54-DoF 축-각도 변환 및 리타게팅 (155.02 MB)
  │     ├── N-RM-2/weights_09.pth       # 3D SO(3) 회전 행렬 정규화 (90.69 MB)
  │     └── V-2/weights_15.pth          # ViTPose 2D-to-3D 메인 백본 (161.79 MB)
  ├── models/                           # 3D 휴머노이드 메쉬, URDF, GLTF ➔ data.hyperbook.com/models/
  ├── videos/                           # 4K 국민체조 및 제스처 원본 비디오 ➔ data.hyperbook.com/videos/
  ├── datasets/                         # 2D/3D 모션 캡처 시계열 JSON ➔ data.hyperbook.com/datasets/
  ├── vault/                            # 대용량 아카이브 및 원시 데이터 ➔ data.hyperbook.com/vault/
  └── service/                          # FastAPI 데이터 매니저 마이크로서비스 (포트 8893)

4. hb5u 데이터 매니저 마이크로서비스 API 규격 (Port 8893)

hb5u에 상주 가동 중인 마이크로서비스의 핵심 REST 엔드포인트 명세는 다음과 같다:

5. 실시간 CDN 링크 검증 (Live CDN Verification)

본 시스템을 통해 서빙되는 4대 신경망 가중치 및 데이터셋의 실제 CDN 접근성 검증 결과는 다음과 같다:

6. 결론 및 향후 전망 (Conclusion & Future Work)

사령관의 통찰에 따라 웹 UI 이미지(images.hyperbook.com)와 대용량 과학 데이터·가중치(data.hyperbook.com)를 명확히 분리함으로써, 네트워크 전송 효율과 인프라 관리의 명확성을 극대화하였다.

향후 Antigravity PM 대시보드(https://thesis.hyperbook.com/pm/)와 본 데이터 매니저 API를 직접 연동하여, 프로젝트 매니저 화면에서 실시간 NVMe 스토리지 현황과 GPU 추론 파이프라인 상태를 통합 관제할 수 있도록 확장할 예정이다.

참고 문헌 (References)

1. HyperBook Continuums, "Antigravity Platform Blueprint & Project Manager User Guide," Thesis Hub, 2026.
2. K. Quappe et al., "Efficient 2D to Full 3D Human Pose Uplifting including Joint Rotations," CVPR Workshop (CVsports'25), 2025.
3. V. Choutas et al., "SMPL-X: Expressive Body Capture: 3D Hands, Face, and Body from a Single Image," IEEE/CVF CVPR, 2019.