관계를 이동으로, TransE

핵심 개념

지식 그래프 임베딩은 트리플 (머리 h, 관계 r, 꼬리 t)의 엔티티와 관계를 모두 벡터로 만듭니다. TransE(Bordes et al. 2013)는 관계를 엔티티 벡터 위의 평행 이동(translation)으로 해석합니다. 참인 트리플이면 h + r ≈ t, 즉 t가 h+r에서 가장 가까운 이웃이어야 하고, 거짓 트리플이면 h+r이 t에서 멀어야 합니다. 거리 d(h+r, t)는 L1 또는 L2 노름을 쓰며, 이 과정에서는 점수를 −‖h+r−t‖로 적어 0에 가까울수록 그럴듯하다고 읽습니다.

학습은 마진 기반 순위 손실로 합니다. 학습 트리플마다 머리나 꼬리를 무작위 엔티티로 바꾼 ‘오염된 트리플(corrupted triplet)’을 만들고, 참 트리플의 거리가 오염된 트리플의 거리보다 마진 γ 이상 작아지도록 벡터를 조정합니다. 그 결과 관계 하나의 벡터, 예를 들어 ‘수도이다’ 벡터 r이 (서울, 한국)과 (도쿄, 일본)에서 같은 이동으로 작동합니다. 관계마다 벡터 하나만 두므로 매개변수가 적고 큰 그래프로 확장하기 쉽다는 것이 원 논문의 주장입니다.

약점은 관계의 대응 방식에서 드러납니다. 한 머리에 같은 관계로 꼬리가 여럿인 일대다(1-to-N) 관계에서는 h+r≈t₁과 h+r≈t₂를 함께 만족하려다 t₁과 t₂가 한 점 근처로 끌려옵니다. 원 논문도 관계를 1-to-1·1-to-Many·Many-to-1·Many-to-Many로 나눠 결과를 보고하며 ‘1’ 쪽 엔티티를 예측하기가 더 쉽다고 썼고, TransH(Wang et al. 2014)는 TransE가 반사·일대다·다대일·다대다 성질을 잘 다루지 못한다고 지적했습니다. 대칭 관계는 r≈0으로 학습되어 두 엔티티가 가까이 붙는데, RotatE(Sun et al. 2019)는 관계를 복소 공간의 회전으로 바꿔 대칭·역·합성 패턴을 다룹니다.

점수의 의미도 조심해야 합니다. −‖h+r−t‖가 0에 가깝다는 것은 학습된 기하 구조에서 그 트리플이 그럴듯하다는 뜻이지, 사실로 확인되었다는 뜻이 아닙니다. 그래서 임베딩 점수는 다음 회차의 링크 예측처럼 ‘검토할 후보의 순위’를 만드는 데 쓰고, 지식 그래프에 실제로 넣기 전에는 출처로 확인합니다.

작은 예제로 따라가기

이번에는 직접 풀어 보세요

정답을 보기 전에 계산과 이유를 적어 보세요. 해설과 비교하고 확인 표시를 남기면 완료할 수 있습니다.

풀이와 확인 표시는 이 브라우저에 저장됩니다.