텍스트를 엔티티에 잇기
‘애플이 새 칩을 발표했다’의 애플과 ‘애플 파이를 구웠다’의 애플은 다른 대상입니다. 문장 속 이름을 지식 그래프의 올바른 엔티티 ID에 연결하는 과정을 단계별로 따라갑니다.
이번 회차, 내 속도로.
기초를 더 짚거나 궁금한 주제로 잠깐 넓혀 보세요. 최대 3단계를 거쳐 DAY 69로 돌아옵니다.
난이도·관심 주제 고르기
1/2개 선택 · 새 보충·심화 수업과 본과정 다시 읽기를 선택할 수 있어요.
이렇게 다녀와요 1단계 · 약 12분
- 출발 · DAY 69엔티티 링킹
- 1. 관심 주제인포박스 추출·매핑추가 27 · 새 추가 수업
- 복귀 · DAY 69원래 회차 이어가기
- 인포박스 추출·매핑 · DAY 66에서 지식 그래프의 정의를 봤다면, 대표적인 공개 지식 그래프 하나가 반쯤 구조화된 문서에서 어떻게 만들어지는지 따라가 봅니다.
선택과 경로 기록은 이 브라우저에 저장됩니다. 본과정의 회차 완료와는 별도입니다.
핵심 개념
엔티티 링킹(entity linking)은 텍스트에 나온 언급(mention)을 지식 그래프의 엔티티 식별자에 연결하는 작업입니다. 개체명 인식(named entity recognition)이 ‘문장 어디에 이름이 있나’를 찾는다면, 링킹은 ‘그 이름이 어느 엔티티인가’를 정합니다. 레코드끼리 같은 대상인지 보는 엔티티 해소(DAY 68)와 달리, 링킹은 텍스트와 지식 그래프 사이를 잇습니다.
링킹은 보통 두 단계입니다. 후보 생성(candidate generation)에서는 레이블·별칭·리디렉션으로 만든 사전을 찾아 ‘애플’이 가리킬 수 있는 엔티티(애플 Inc., 과일 사과, 애플 레코드 등)를 모읍니다. 후보 순위 매기기, 곧 중의성 해소(disambiguation)에서는 언급 주변 문맥과 후보 설명의 유사도, 후보의 인기도, 같은 문장의 다른 엔티티와의 일관성을 함께 봅니다. 알맞은 후보가 없으면 NIL(지식 그래프에 없는 엔티티)로 표시합니다.
Wu 등(2020)의 BLINK는 이 두 단계를 신경망으로 구현했습니다. 먼저 바이 인코더(bi-encoder)가 언급 문맥과 엔티티 설명을 각각 벡터로 만들어 밀집 공간에서 후보를 검색하고, 이어서 크로스 인코더(cross-encoder)가 언급과 엔티티 텍스트를 이어 붙여 후보를 다시 순위 매깁니다. 엔티티를 짧은 텍스트 설명만으로 정의하기 때문에 학습 때 보지 못한 엔티티에도 연결할 수 있습니다(zero-shot).
인기도에 크게 기대면 드문 엔티티가 늘 집니다. ‘애플’은 문맥이 과일이어도 회사로 연결되기 쉽습니다. 지식 그래프에 없는 대상을 가장 가까운 엔티티에 억지로 붙이면 그 오류가 그래프의 사실로 굳어지므로, 점수 임계값과 NIL 판단이 필요합니다. Part 4에서 LLM으로 텍스트에서 그래프를 만들 때(DAY 83)도 같은 단계가 반복됩니다.
작은 예제로 따라가기
문장 ‘애플이 새 칩을 발표했다’에서 문맥 단어는 {새, 칩, 발표}입니다. 후보 설명 단어는 애플 Inc.{회사, 아이폰, 칩, 발표}, 사과{과일, 파이, 나무}, 애플 레코드{음반, 비틀스}입니다.
겹치는 단어 수는 애플 Inc. 2(칩, 발표), 사과 0, 애플 레코드 0이므로 애플 Inc.에 연결합니다.
문장 ‘애플 파이를 구웠다’의 문맥 단어 {파이, 굽다}는 사과와 1개(파이)가 겹치고 나머지와는 0개이므로 과일 사과에 연결합니다.
직접 실험해 보기
두 문장을 번갈아 고르고, 언급 ‘애플’의 후보마다 문맥 단어 겹침 점수가 어떻게 바뀔지 먼저 예측한 뒤 실제 점수와 최종 링크를 확인하세요.
언급 ‘애플’을 문맥으로 알맞은 엔티티에 잇기
| 후보 | 겹친 문맥 단어 | 겹침 | 인기도 | 점수 |
|---|---|---|---|---|
| E401 애플(기업) | 칩, 발표 | 2 | 0.6 | 2.60 |
| E402 사과(과일) | – | 0 | 0.3 | 0.30 |
| E403 애플 레코드(음반사) | – | 0 | 0.1 | 0.10 |
이번에는 직접 풀어 보세요
정답을 보기 전에 계산과 이유를 적어 보세요. 해설과 비교하고 확인 표시를 남기면 완료할 수 있습니다.
힌트 보기
문장에서 ‘목소리’, ‘공연장’ 같은 단어를 뽑아 각 후보의 설명 단어와 비교하세요.
풀이와 비교하기
문맥 단어는 {목소리, 공연장, 채우다}입니다. 겹침은 수성 0, 수은 0, 프레디 머큐리 1(목소리)이고, ‘공연장’을 ‘공연’과 같은 어근으로 보면 2입니다. 최종 링크는 프레디 머큐리입니다. 단어 겹침 점수는 형태소 처리 방식에 따라 달라지므로 실제 시스템은 문맥 임베딩을 함께 씁니다.
풀이와 확인 표시는 이 브라우저에 저장됩니다.
오늘 이해한 것과 다시 볼 것
계산이 달라진 이유, 헷갈린 개념, 다음에 확인할 질문을 남겨 보세요.
메모는 이 브라우저에 저장됩니다. 홈에서 전체 기록을 내려받을 수 있습니다.오늘의 이해 확인
엔티티 링킹에서 지식 그래프에 맞는 엔티티가 없을 때 바람직한 처리는?
완료 조건: 확인 퀴즈 정답 · / 직접 풀기 0/1
더 깊이 읽기
예제와 실험 데이터는 이 과정을 위해 만든 것입니다. 원문은 선택 자료이며, 강의와 직접 풀기만으로도 다음 회차를 이어갈 수 있습니다.
Scalable Zero-shot Entity Linking with Dense Entity RetrievalWu et al. (2020)Knowledge GraphsHogan et al. (2021)이 자료는 개념 학습용입니다. 실제 데이터베이스·라이브러리·플랫폼의 동작과 설정은 제품과 버전마다 다를 수 있습니다.