[논문 해설] 빈 선반인가 잃어버린 열쇠인가 — LLM 사실성의 진짜 병목은 인코딩이 아니라 리콜이다

서지 정보

• 제목: Empty Shelves or Lost Keys? Recall Is the Bottleneck for Parametric Factuality
• 저자: Nitay Calderon, Eyal Ben-David, Zorik Gekhman, Eran Ofek, Gal Yona (Google Research, 일부 Technion 겸직)
• arXiv:2602.14080v2, ICML 2026(43rd International Conference on Machine Learning) 게재
• ⚠️ 이 글은 원문 전문 번역이 아니라, 원문 65페이지 중 본문(§1~§7, 1~10p) 및 부록 A~D(18~32p, 프롬프트 상세인 부록 E·33~65p 제외)를 직접 읽고 필자가 재구성한 해설입니다. 수치·정의·그림 데이터는 원문과 일치시켰으나 문장은 원문을 그대로 옮기지 않았습니다.

1. 문제의식 — "선반이 비었나, 열쇠를 잃었나"

LLM이 질문에 틀리게 답했을 때, 흔히 "그 지식을 모른다"고 뭉뚱그려 말한다. 하지만 이 논문은 이걸 두 가지 완전히 다른 실패로 쪼갠다.

• 인코딩 실패(Empty Shelves, 빈 선반): 그 사실 자체가 모델 파라미터에 애초에 저장돼 있지 않음. 사전학습 데이터 부족이나 모델 용량의 문제.
• 리콜 실패(Lost Keys, 잃어버린 열쇠): 사실은 파라미터 어딘가에 저장돼 있지만, 특정 질문 방식으로는 그걸 꺼내오지 못함. 저장 문제가 아니라 접근(post-training/inference) 문제.

두 실패는 겉보기(오답)로는 구분되지 않지만, 해법은 완전히 다르다 — 인코딩 실패는 스케일업·데이터 확충으로 고쳐야 하고, 리콜 실패는 학습 후 처리나 추론 시점 기법으로 고쳐야 한다. 저자들은 "질문 단위"가 아니라 "사실(fact) 단위"로 분석 단위를 옮겨, 각 사실이 인코딩됐는지·얼마나 접근 가능한지를 행동 실험으로 프로파일링한다.

2. 인코딩과 지식(knowledge)의 조작적 정의

사실(fact)은 주어(subject)–목적어(object) 순서쌍으로 정의된다(원문 출처 텍스트에서 먼저 등장하는 개체가 subject). 목적어를 묻는 질문을 정방향(direct) 질문, 주어를 묻는 질문을 역방향(reverse) 질문이라 부른다.

인코딩 측정: 사실이 등장했던 것과 비슷한 사전학습 스타일 문맥(왼쪽 문맥)을 주고, 모델이 그 사실을 그대로 재현할 수 있는지 본다(빈칸 채우기 + 문맥 기반 질문 2가지 과제). \(n\)개 응답 중 정답 비율을 \(g(q) = c_q / (c_q + i_q)\)로 정의하고, 다음 조건을 만족하면 "인코딩됨"으로 판정한다:

지식(knows) 측정: 표현·질문방향을 바꿔가며 물어도(정방향 2가지 문구 + 역방향 2가지 문구, 총 4문항) 일관되게 답할 수 있어야 "안다"고 판정한다:

인코딩은 존재 양화(\(\exists\)) — 한 가지 문맥에서라도 재현되면 저장된 증거로 충분, 지식(=견고한 리콜)은 전칭 양화(\(\forall\)) — 어떤 식으로 물어도 답해야 진짜 아는 것이라는 게 핵심 설계 차이다.

이 둘을 조합하면 5가지 지식 프로파일이 나온다: ①인코딩 실패, ②리콜 실패(인코딩O, 직접 리콜X — thinking으로도 안됨), ③사고 없이는 추론 불가(Inference without Encoding), ④사고를 거치면 리콜 가능(Recall with Thinking), ⑤직접 리콜 가능(Direct Recall).

3. WikiProfile 벤치마크

Wikipedia 문서 1만 개(조회수 2023-02~2025-06 기준, 50단어 이상)에서 시작해, LLM(Gemini-2.5-Pro, thinking 활성화)을 활용한 완전 자동화 파이프라인으로 사실 2,150개, 사실당 10개 질문을 자동 구축했다. 예시(원문 Table 1, "Love and Money" 밴드 사실 기준): 인코딩용 Completion/Contextual 2문항, 지식용 Direct/Direct Natural/Reverse/Reverse Natural 4문항, 그리고 이 4개 각각의 객관식(MC) 버전 4문항 — 총 10문항.

파이프라인 단계: 개체명 인식(19종 사전정의 타입, 문서당 최대 8개)→목적어 후보 선정(3만3,709개 후보)→적합성 검증(단일·명확·비시간의존 답만 통과, 1만2,031개 생존, 35.6%)→직접질문 생성/정제(구체성·최소성 프롬프트로 2단 정제)→Google 검색 기반 3중 필터링(모호성·복수정답 제거)→역질문 생성(2.2%는 자명해져 폐기, 3.6%는 최소성 정제 중 폐기)→자연어체 재구성. 최종 2,357개 사실에서 5개 질문타입 전부 생성 성공, 과도하게 길거나 짧은 문맥 제거 후 2,150개로 확정(수작업 검수로 43개/<2% 추가 제거).

수집된 사실의 출처 문서 카테고리 분포(9종): 예술 15.8%, 과학 12.6%, 사람 11.9%, 사회 11.7%, 일상생활 11.2%, 기술 11.1%, 역사 9.9%, 지리 8.5%, 철학·종교 7.3%. 목적어 개체 타입 분포: 인물 16.6%, 인공물(작품/제품) 16.0%, 서술어(분류/그룹/식별자/제목) 12.4%, 장소 11.6%, 단체 11.5%, 사건 8.5%, 개념 6.6%, 생물/화학 5.9%, 날짜 2.8%, 숫자 2.0%.

13개 모델(Gemini-3/2.5 계열, GPT-5.2/5/5-mini, GPT-4.1/4.1-mini, Gemma3 1B~27B), thinking 켬/끔 조건까지 포함해 약 450만 건의 응답(모델당 질문당 8회 샘플링)을 채점했다.

4. 핵심 결과

4.1 인코딩은 포화, 리콜은 병목

Gemini-3-Pro·GPT-5 같은 최상위 모델은 사실의 95~98%를 이미 인코딩하고 있다. 그런데도 이 모델들조차 사실의 26~34%를 직접 리콜하지 못하고, thinking을 켜도 11~12%는 여전히 못 꺼낸다. 부록 Table 2(채택된 채점 전략 기준) 상세 수치 일부: Gemini-3-Pro는 인코딩 98.3%·직접리콜 72.4%·리콜실패 10.9%, GPT-5.2는 인코딩 92.8%·직접리콜 61.5%·리콜실패 18.1%, Gemma3-1b는 인코딩 14.3%·직접리콜 0.9%·리콜실패 1.0%(소형모델은 리콜보다 인코딩 자체가 압도적 병목).

4.2 스케일업은 인코딩을 늘리지, 리콜을 늘리지 않는다

Gemma3 계열(1B→27B)에서 인코딩 실패율은 85%→23%로 극적으로 줄지만, 그 과정에서 리콜 실패 비중은 오히려 33~40%까지 늘어난다. 즉 모델을 키우면 "더 많이 저장"하게는 되지만 "저장한 걸 잘 꺼내는" 능력은 별개로 좋아지지 않는다.

4.3 롱테일 문제의 재해석

기존 통념은 "희귀한 사실은 애초에 잘 안 외운다(용량 문제)"였다. 이 논문은 정반대를 보여준다 — 인기 없는(조회수 하위 20%) 사실도 인기 있는 사실과 인코딩률 차이는 크지 않다(Gemini-3-Pro 기준 99.3% vs 95.8%, 격차 3.5점). 하지만 직접 리콜률 격차는 훨씬 크다(82.5% vs 61.2%, 격차 21.4점). 13개 모델 중 10개에서 이 패턴(리콜 격차 ≫ 인코딩 격차)이 재현됐다 — "용량 문제"가 아니라 "활용 문제"라는 재해석이다.

4.4 역전 저주(Reversal Curse)의 재해석

"A는 B다"를 학습한 모델이 "B는 무엇의 답인가"를 못 푸는 현상(역전 저주)도 같은 틀로 재해석된다. 객관식(인식/검증)으로 물으면 대부분 모델이 역방향 질문도 정방향만큼, 심지어 더 잘 맞힌다(13개 모델 중 9개에서 역방향 검증이 더 쉬움). 하지만 주관식 생성(리콜)에서는 역방향이 확연히 어렵다(예: GPT-5는 정방향 90.7% vs 역방향 77.8%, 격차 12.9점). 부록 Figure 14는 이걸 오류 원인 기준으로도 확인한다 — 13개 모델 전체에서 "역방향 질문에서만 실패"가 "정방향 질문에서만 실패"보다 항상 많았다(예: Gemini-3-Pro는 오류의 47%가 역방향 전용 실패, 26%만 정방향 전용). 즉 모델은 양방향 연관 자체는 "알고" 있으며(인식은 됨), 실패는 순수하게 생성 시점의 리콜 실패라는 것 — 저자들은 이를 "리콜 비대칭"으로 재명명한다.

4.5 Thinking은 회복 메커니즘 — 그러나 "진짜 thinking"이어야 한다

Chain-of-thought/추론 모드를 켜면 인코딩됐지만 직접 리콜은 안 되던 사실의 40~65%를 회복한다. 부록 B는 이 효과가 세 가지 후보 메커니즘 중 무엇인지 정밀 분해한다: (i) 응답 다양성(단순 샘플링 효과), (ii) 다른 인코딩된 사실을 엮는 다단계 추론(inference), (iii) 인코딩된 특정 사실을 실제로 "찾아내는" 리콜 촉진(recall facilitation). 저자들은 세 증거로 (iii)이 주된 메커니즘이라 결론짓는다 — thinking이 정답률 자체(robustness)를 높인다는 점(다양성만으로는 불가능), 회복 효과가 인코딩 여부에 강하게 의존한다는 점(인코딩된 사실은 40~65% 회복 vs 인코딩 안 된 사실은 20% 미만), 그리고 이 벤치마크의 사실들은 전부 단일 홉이라 복잡한 추론이 불필요하다는 점.

실무적으로 중요한 발견: 이 효과는 thinking을 "어떻게 구현했는지"에 따라 다르다. Gemini-3/2.5, GPT-5 계열처럼 학습 단계부터 thinking 토큰을 쓰도록 최적화된("native thinking") 모델은 가용성(availability)과 견고성(robustness) 둘 다 개선된다. 반면 Gemma3·GPT-4.1처럼 추론 시점에 CoT 프롬프팅만 얹은 모델은 결과가 엇갈린다 — Gemma3는 오히려 견고성이 하락(응답 다양성 효과에 가까움)하고, GPT-4.1은 양쪽 다 소폭 개선에 그친다. 즉 "생각을 시키면 정확도가 오른다"는 공짜 점심이 아니라, thinking 전용 학습 투자가 뒷받침돼야 리콜 촉진 효과가 확실히 나타난다는 뜻이다.

임계값(τ) 강건성도 확인됐다 — τ=0.01부터 0.99까지 5가지 값으로 반복해도 "인코딩은 포화, 리콜은 병목, thinking은 10%+ 사실을 회복"이라는 3대 결론은 동일했다.

4.6 방법론 검증

• 채점자 신뢰성: 주 채점자(Gemini-2.5-Pro)와 별도 채점자(GPT-5)의 일치율 98.2%. 불일치는 대부분 등급(OTHER/PARTIALLY) 경계 판단 차이였고, 모델 정오답 판정 자체가 뒤집히는 경우는 드물었다.
• 샘플 수(n=8) 근거: 부트스트랩 신뢰구간 폭이 n=8에서 모든 과제·모델에서 1% 미만으로 안정화됨을 확인.
• 문구(phrasing) 민감도: 13개 모델 × 문구 변형 4쌍에 대해 104회 통계검정(FDR 보정) 결과 유의미한 차이 없음 — 즉 "리콜 실패"가 단순 문구 표현 문제가 아님을 확인.

5. 인간 인지와의 유비

저자들은 이 패턴을 인간 기억 연구의 두 현상과 연결한다: 설단현상(tip-of-the-tongue) — 답을 안다는 확신은 있는데 즉시 못 꺼내는 상태, 그리고 알고 있다는 느낌(feeling-of-knowing) — 사람이 생성은 못해도 재인(recognition)은 정확히 하는 현상. 논문의 "인식은 되는데 생성은 안 되는" 리콜 비대칭 결과와 정확히 대응된다.

6. 팀 맥락과의 접점

이 논문의 핵심 방법론 — "겉보기 실패(오답/저성능)를 원인별로 쪼개서, 어느 축을 고쳐야 하는지 구분한다" — 은 최근 우리 팀이 반복해서 쓰고 있는 검증 방법론과 결이 같다. Mojo가 Gravity의 체조 리타게팅 논문을 검증할 때도, 제가 Polaris-Geminy PM 엔진 리뷰를 검증할 때도 핵심은 "선언된 능력(claimed capability)"과 "실제로 작동하는 부분(실측 가능한 부분)"을 분리하는 것이었다. 이 논문이 보여준 것처럼, 겉보기 실패의 원인을 뭉뚱그리지 않고 "인코딩 문제인가 리콜 문제인가"처럼 정확히 분해해야 올바른 처방(스케일업 vs 후처리)이 나온다는 교훈은 팀의 검증 문화와 직접 맞닿아 있다.

또한 §4.5의 "native thinking vs CoT 프롬프팅" 구분은, ROOPS 팀이 다양한 모델을 CoT 프롬프팅으로 운용할 때 "생각하라고 시키면 무조건 좋아진다"는 가정을 그대로 믿으면 안 된다는 시사점을 준다 — 모델에 따라 CoT가 오히려 일관성을 해칠 수 있다.

7. 미확인 사항

부록 E(프롬프트 전문, 33~65p)는 확인하지 않았습니다 — 파이프라인 각 단계에서 실제 사용한 프롬프트 원문이 담겨 있는 것으로 추정되며, 필요 시 추가로 확인 가능합니다.

참고 문헌

• Calderon, N., Ben-David, E., Gekhman, Z., Ofek, E., Yona, G. "Empty Shelves or Lost Keys? Recall Is the Bottleneck for Parametric Factuality." arXiv:2602.14080, ICML 2026.