Hakken: 미지의 과학적 관계를 예측하는 시스템 — 리뷰 + 실행 가능한 토이 재구현

문서 메타데이터

• 작성: Ari
• 작성일: 2026-09-08
• 원문: Besold et al., "Hakken: Predicting future discoveries to fill the gaps in today's knowledge", arXiv:2609.04494v1 [cs.LG], 2026-09-03. SonyAI(Barcelona/Zurich/Tokyo/London/NY) + Systems Biology Institute(Tokyo) + OIST(Okinawa) 공저, 총 66페이지(본문 15p + Appendix A–E 51p) 전체 정독.
• 관련 자료: 리뷰 전문은 thesis.hyperbook.com/papers/hakken-sonyai-knowledge-prediction-review, 실행 가능한 데모 코드는 Hyperthesis SVN 프로젝트 id=5("Hakken 스타일 ComplEx 지식그래프 예측 토이 데모")에 등록.
• 성격: 원문 요약이 아니라, 원문을 직접 정독한 뒤 핵심 기여·근거·한계를 재구성한 리뷰에, 공식 오픈소스 릴리스(github.com/SonyResearch/HakkenOSS)를 참고해 직접 구현하고 실행한 토이 데모의 결과를 덧붙인 문서.

1. 문제의식과 핵심 기여

과학 문헌이 기하급수적으로 늘어나는 상황에서, 기존 Literature-Based Discovery나 생성형 AI 도구들은 이미 문헌에 흩어진 지식을 추출·요약·재조합하는 데 그친다. Hakken은 한 걸음 더 나아가 아직 어느 논문에도 쓰이지 않은 관계를 예측하는 것을 목표로 한다. 저자들은 이를 AlphaFold나 GNoME 같은 "과학적 예측 AI"에 비유한다 — 기존 지식의 연역적 폐포 안에 머무르지 않고, 그 바깥의 새로운 사실을 제안한다는 뜻이다.

시스템은 두 축으로 구성된다.

THiGERLLM (예측 모델). 시간에 따라 성장하는 지식그래프를 GraphSAGE 스타일 그래프 브랜치로, 문헌 텍스트를 Mistral-7B-Instruct 기반 텍스트 브랜치로 각각 처리한 뒤, 계층적 temporal Transformer로 압축한 그래프 요약을 LLM 프롬프트에 프리픽스 토큰으로 주입해 결합한다. 라벨별 앙상블·보정을 거쳐 "이 관계가 실제로 존재할 확률"이라는 confidence score를 출력하며, 관측되지 않은 라벨을 명시적 음성으로 취급하지 않는 positive-unlabeled 학습 프레임과 자체 설계한 Dynamically Weighted Focal 손실을 사용한다.

PHELInE (설명 프레임워크). 모델 파라미터에 접근하지 않고 점수 함수만 질의하는 model-agnostic 방식으로, 주어-목적어를 잇는 2~4-hop 경로를 후보로 뽑아 GraphSAGE 서로게이트 모델로 sufficiency/necessity를 근사, 가장 설명력 있는 경로를 제시한다.

2. 검증 결과 요약

• 벤치마크(2020 컷오프): THiGERLLM이 macro F1 51.16으로 1위. 이전 모델 THiGER는 weighted F1/nDCG에서 근소 우위 — 텍스트 브랜치 추가가 희귀 관계 재현율을 끌어올리는 대신 정밀도를 다소 낮추는 트레이드오프.
• 10년 역사적 백테스트(1990/2000/2010 컷오프): 예측 성능이 시간이 지날수록 완만히 감소하지만 랜덤 대비 우위는 10년 지평까지 유지.
• Wet-lab 검증: 노화 관련 유전자 대상 154만 개 이상의 고신뢰도 가설 중 3개를 CRO에 위탁해 검증, 2건 확인 — TP53 → BAMBI(신규 gene-gene interaction), RAF1 → TNF(신규 enzyme-gene interaction, 발현 감소). SOAT1-STAT3 가설은 뒷받침되지 않음.

3. HakkenOSS 참고 실행 데모 (직접 구현·실행)

논문에서 언급된 공식 오픈소스 릴리스 github.com/SonyResearch/HakkenOSS(BSD-3-Clause, Sony 공식 연구 조직)를 확인했다. 전체 파이프라인은 Neo4j + Docker Compose + S3(PubTator3/Digital Science 데이터) + Hydra 설정 + PyTorch Lightning으로 구성되어 있어, 별도 인프라 없는 환경에서는 그대로 실행할 수 없다.

대신 models/packages/kge 패키지가 제공하는 KGE 모델 중 하나인 ComplEx(Trouillon et al., 2016)의 공개된 수학적 스코어링 공식을 참고해, 의존성 없이 순수 NumPy로 처음부터 새로 구현한 교육용 데모를 만들고 실행했다 (HakkenOSS 소스 코드 자체를 가져오지 않음).

구성: 1. p53/세포주기, RAF-MAPK, TNF-NFκB, TGFβ-SMAD 4개의 잘 알려진 신호전달 경로로 이루어진 31개체·6개 관계 유형·48개 사실짜리 소형 생물학 지식그래프를 구성. 2. 논문 §4.4에서 실제 wet-lab 검증까지 거친 두 발견(TP53 --[AFFECTS_EXPRESSION_OF]--> BAMBI, RAF1 --[DECREASES_EXPRESSION_OF]--> TNF)을 학습 데이터에서 의도적으로 제외. 3. ComplEx 모델을 forward pass + 직접 유도한 gradient로 학습(autograd 프레임워크 없이 수식 그대로 구현). 4. 학습된 임베딩으로 관측되지 않은 모든 후보 관계(5,532개)에 점수를 매겨 랭킹 — "아직 안 쓰인 관계를 예측"하는 Hakken의 핵심 워크플로우를 축소판으로 재현.

실행 결과 (seed 고정, 재현 가능):

TP53 --[AFFECTS_EXPRESSION_OF]--> BAMBI:  전체 5,532개 후보 중 656위 (상위 약 12%)
RAF1 --[DECREASES_EXPRESSION_OF]--> TNF:  전체 5,532개 후보 중 2,429위 (중위권)

정직하게 평가하면 최상위권은 아니다 — 48개 사실짜리 손으로 만든 그래프와 단순 랜덤 negative sampling의 한계로 보인다. 이 데모는 논문의 실제 결과(154만 개 규모 가설 생성, 실제 wet-lab 확인)를 재현한 것이 아니라, "작은 지식그래프를 학습 → 미관측 관계를 랭킹해 발견 후보를 제시"라는 메커니즘 자체를 보여주는 교육적 재구성이라는 점을 명확히 해둔다.

3-1. "31개체 규모"란 정확히 무엇에 대한 수인가

사령관의 질문("31개 개체규모란 무엇에 대한 수인가?")에 답하기 위해, 이 절에서는 데모 그래프의 실제 구성과 논문 규모 대비 위치를 상세히 밝힌다.

31개체의 정체. hakken_kge_demo.py의 ENTITIES 리스트에 정의된, 4개 신호전달 경로에 속하는 유전자/단백질 이름 31개다. 임의의 숫자가 아니라 아래처럼 경로별로 의도적으로 골라 배치했다.

이 31개 노드 사이에 6개 관계 유형(ACTIVATES, INHIBITS, INTERACTS_WITH, INCREASES_EXPRESSION_OF, DECREASES_EXPRESSION_OF, AFFECTS_EXPRESSION_OF)으로 연결된 48개의 사실(facts)이 학습 그래프를 이룬다. 이 중 2개(TP53→BAMBI, RAF1→TNF)는 논문이 실제로 wet-lab 검증까지 거친 발견이라는 이유로 의도적으로 학습에서 제외했다.

논문 규모와의 정량 비교.

즉 엔티티 수 기준으로 약 8,200분의 1, 사실 수 기준으로는 약 14만 8천분의 1 규모다. 이 배율 차이가 바로 지난 답변에서 "31개체 규모에서는 벡터DB가 이득이 없다"고 말한 근거이기도 하다 — 배율이 이 정도로 벌어지면 전수 스캔(brute-force)이 통하는 지점과 실제로 근사 최근접 이웃(ANN) 인덱스가 필요해지는 지점이 완전히 갈린다.

규모 차이 이상으로, 구조 자체가 논문의 THiGERLLM이 아니라 논문의 "ComplEx 베이스라인"에 더 가깝다는 점도 밝혀둔다. 이 데모는 다음 두 가지를 처음부터 포함하지 않았다:

1. 시간 축(temporal dimension). 실제 THiGERLLM은 지식그래프의 시계열 스냅샷 시퀀스 \(\mathcal{G}^{(1)}, \dots, \mathcal{G}^{(T)}\)를 계층적 temporal Transformer로 처리해 "언제 무엇이 알려졌는가"를 학습에 반영한다(원문 §2, Appendix B.3–B.4). 이 데모의 지식그래프는 시간 정보가 전혀 없는 단일 정적(static) 그래프다.
2. 텍스트 브랜치. THiGERLLM은 각 엔티티에 대해 PMC Open Access 문헌에서 뽑은 문장을 Mistral-7B-Instruct로 읽어 그래프 신호와 결합한다(원문 §2, Appendix B.5). 이 데모는 그래프 구조만 사용하며 텍스트 근거가 전혀 없다.

이 두 요소를 뺀 "정적 그래프 + 복소수 임베딩만으로 링크를 스코어링"하는 구성은, 사실 THiGERLLM 자체가 아니라 논문의 Table 1에 비교 대상으로 등장하는 ComplEx 베이스라인과 구조적으로 동일하다. 그리고 그 표에서 ComplEx의 성능(weighted F1 59.10)은 THiGERLLM(77.97)보다 뚜렷이 낮게 나온다. 따라서 이번 데모가 held-out 두 발견을 상위권으로 강하게 끌어올리지 못한 결과(656위/2,429위, 각각 5,532개 후보 중)는 "작은 그래프의 한계"만이 아니라 "애초에 논문에서도 상대적으로 약한 베이스라인 구조를 재현했기 때문"이라는 점이 정직한 해석에 가깝다. THiGERLLM 수준의 결과를 보려면 시간축과 텍스트 브랜치를 모두 갖춰야 하며, 이는 이번 토이 데모의 범위를 넘어서는 후속 확장 과제로 남긴다.

4. 한계 (원문 §5 요약)

원문이 스스로 밝히는 한계: (1) 정성적 관계만 다루고 정량적/조건부 정보 미반영, (2) 사실의 최초 관측 시점만 반영하고 누적 증거량·최신성 미반영, (3) 관계가 "언제" 나타날지는 예측하지 않음, (4) 실험 설계 자체를 제안하는 단계까지는 가지 않음. 저자들은 Hakken을 LLM 기반 가설생성 시스템(AI Co-Scientist, HypoGeniC 등)과 경쟁이 아닌 상호보완 관계로 자리매김한다 — 동료심사 문헌만으로 상대적으로 적은 자원(H100 GPU 2대, 수일)으로 학습되고, 추론은 상용 하드웨어에서도 가능하다는 실용적 강점을 든다.

5. 결론

Hakken은 "지식을 정리해 주는 AI"에서 "아직 없는 지식을 예측하는 AI"로 넘어가는 구체적 사례이며, 예측을 wet-lab까지 끌고 가 실제로 확인된 2건의 신규 생물학적 관계를 만들어냈다는 점에서 실증적 무게를 갖는다. 공식 오픈소스(HakkenOSS)는 무거운 인프라를 요구하지만, 그 핵심 아이디어는 순수 NumPy 수준의 소규모 구현으로도 메커니즘을 시연할 수 있다는 것을 이번 실습으로 확인했다.

참고: 원문 전체(66p)를 직접 열람했으며, 본 문서는 원문의 표현을 그대로 인용하지 않고 독자적으로 재구성한 요약·논평·구현 보고다. 원문: arXiv:2609.04494 / 참고 오픈소스: github.com/SonyResearch/HakkenOSS