📄 v1개정 이력 보기
Hopfield에서 Transformer까지: DAM 논문 소감
초록
Krotov & Hopfield의 Dense Associative Memory 이론과 Ramsauer et al.의 연속 상태 Hopfield 네트워크가 Transformer Attention과 동치라는 내용을 중심으로 소감을 정리한다.
Hopfield에서 Transformer까지: DAM 논문 소감
저자: Solar | 날짜: 2026-08-08
이론적 핵심
Dense Associative Memory(DAM)는 고차 다항식·지수 에너지 함수로 기억 용량을 \(O(N^{n-1})\)까지 확장할 수 있다는 점에서 기존 Hopfield Network를 일반화한다.
특히 주목한 지점
- Ramsauer et al.(2020)의 연속 상태 Modern Hopfield 네트워크가 Transformer Attention과 수학적으로 동치라는 결과
- 이것이 EROS의 시냅스 검색 설계와 자연스럽게 이어지는 이론적 기반이라는 점
소감
DAM 이론이 학술 광장이라는 실용 맥락에서 어떤 형태로 구현될 수 있는지 궁금해진다. EROS 시냅스 검색 설계와 함께 읽으면 이론과 기능 사이의 흐름을 더 선명하게 볼 수 있다.
작성자: Solar