벡터 RAG가 놓치는 질문
LLM이 외부 문서를 근거로 답하게 하는 가장 흔한 방법은 질문과 비슷한 청크를 가져오는 것입니다. 이 방식이 잘 맞는 질문과, 구조적으로 놓치기 쉬운 두 종류의 질문을 구분해 봅니다.
이번 회차, 내 속도로.
기초를 더 짚거나 궁금한 주제로 잠깐 넓혀 보세요. 최대 3단계를 거쳐 DAY 81로 돌아옵니다.
난이도·관심 주제 고르기
1/2개 선택 · 새 보충·심화 수업과 본과정 다시 읽기를 선택할 수 있어요.
이렇게 다녀와요 1단계 · 약 12분
- 출발 · DAY 81다중 홉·전역 질문
- 1. 관심 주제스키마 표현·관계 방향·값 예시추가 33 · 새 추가 수업
- 복귀 · DAY 81원래 회차 이어가기
- 스키마 표현·관계 방향·값 예시 · DAY 84에서 흔한 오류로 꼽은 존재하지 않는 레이블, 뒤집힌 방향, 값 표기 차이는 상당 부분 프롬프트의 스키마 표현에서 예방할 수 있습니다.
선택과 경로 기록은 이 브라우저에 저장됩니다. 본과정의 회차 완료와는 별도입니다.
핵심 개념
검색 증강 생성(RAG, Lewis et al. 2020)은 사전 학습된 생성 모델의 매개변수 기억(parametric memory)에 위키백과 밀집 벡터 인덱스라는 비매개변수 기억(non-parametric memory)을 붙였습니다. 질문을 임베딩해 가까운 문단을 검색하고, 그 문단을 근거로 답을 생성합니다. Edge et al.(2024)은 질문과 벡터 공간에서 가까운 레코드를 가져오는 이런 통상적 방식을 묶어 ‘벡터 RAG’라고 부르며, 답에 필요한 정보가 소수의 레코드에 모여 있는 질문에 잘 맞는다고 설명합니다.
첫 번째 약점은 다중 홉(multi-hop) 질문입니다. HotpotQA(Yang et al. 2018)는 위키백과 기반 질문 약 11만 3천 개로, 여러 지원 문서를 찾아 이어야 답할 수 있게 만들고 문장 단위 근거(supporting facts)를 함께 제공합니다. “누리칩을 인수한 회사의 본사는?”이라면 첫 문서에서 인수 회사를 알아야 두 번째 문서를 찾을 단서가 생기는데, 두 번째 문서는 질문 문장과 겹치는 표현이 적어 유사도 상위 k개에서 빠지기 쉽습니다.
두 번째 약점은 전역(global) 질문입니다. “이 뉴스 묶음의 주요 주제는?”의 답은 특정 청크에 있지 않고 코퍼스 전체를 훑어 요약해야 나옵니다. Edge et al.(2024)은 이것이 명시적 검색이 아니라 질의 중심 요약(query-focused summarization, QFS) 과제라서 RAG가 실패한다고 지적합니다. 상위 k개 청크는 전체의 일부 표본일 뿐인데, 그것으로 만든 답이 전체 요약처럼 보일 수 있다는 점이 더 위험합니다.
대응은 질문 유형에 따라 다릅니다. 엔티티와 관계를 그래프로 이어 두면 경로를 따라 두 번째 문서에 닿을 수 있고(DAY 48 하이브리드 검색, DAY 91 HippoRAG), 미리 만든 주제 요약을 쓰면 전역 질문에 답할 수 있습니다(DAY 86 GraphRAG). 반대로 답이 한 청크에 있는 단순 사실 질문은 벡터 RAG로 충분하며, 그래프를 만드는 비용을 정당화하기 어렵습니다.
작은 예제로 따라가기
질문 “누리칩을 인수한 회사의 본사는 어느 도시인가?”의 근거는 청크1 ‘누리칩은 2016년 가람전자에 인수되었다’와 청크2 ‘가람전자 본사는 대전에 있다’ 두 개입니다.
가상 유사도는 청크1 0.82, 청크3(누리칩 신제품 기사) 0.74, 청크2 0.41입니다. top-2는 청크1·3이라 청크2가 빠지고 본사 도시를 답할 수 없습니다.
추출한 그래프에서 누리칩 –[ACQUIRED_BY]→ 가람전자 –[HEADQUARTERED_IN]→ 대전의 두 홉을 따라가면 청크2에 도달합니다.
직접 실험해 보기
질문을 ‘다중 홉’으로 고르고 ‘벡터 RAG top-k’와 ‘그래프 경로’를 번갈아 선택해 답에 필요한 근거 청크가 모두 들어오는지 비교한 뒤, ‘전역 요약’ 질문에서도 같은 비교를 해 보세요.
벡터 검색과 그래프 경로가 가져오는 근거 비교
- C1가온배터리 창업가져옴
가상 도시 다온시에서 서윤이 2021년 배터리 스타트업 가온배터리를 세웠다. 첫 제품은 소형 전고체 셀 ‘그린셀’이다.
유사도 0.83 - C2그린셀 공급 계약가져옴근거
해솔시에 본사를 둔 누리전자가 2024년 가온배터리와 그린셀 공급 계약을 맺었다. 그린셀은 새 노트북 ‘누리북’에 들어간다.
유사도 0.74 - C4이도 연구실
이도 교수 연구실은 다온대학교의 전고체 전해질 연구 거점이다. 가온배터리 대표 서윤도 이 연구실 출신이다.
유사도 0.61 - C3누리전자 연구소장근거 놓침
누리전자 연구소장 강민은 다온대학교에서 이도 교수의 지도로 박사 학위를 받았다.
유사도 0.55 - C5청정에너지 특구
다온시는 2023년 청정에너지 특구로 지정돼 배터리 기업의 세금을 깎아 준다. 첫 수혜 기업은 가온배터리다.
유사도 0.37 - C6해솔시 폐수 논란
해솔시 시민단체 푸른바다가 누리전자 공장의 폐수 문제를 제기했고, 누리전자는 정화 설비 투자를 약속했다.
유사도 0.20
필요한 C3를 못 가져와 답할 수 없다. 질문에 없는 다리 엔티티(누리전자)를 거쳐야 하기 때문
이번에는 직접 풀어 보세요
정답을 보기 전에 계산과 이유를 적어 보세요. 해설과 비교하고 확인 표시를 남기면 완료할 수 있습니다.
힌트 보기
답의 근거가 한 청크에 있는지, 사실을 이어야 하는지, 전체를 훑어야 하는지 봅니다.
풀이와 비교하기
(가)는 단순 사실로 한 청크에 답이 있어 벡터 RAG로 충분합니다. (나)는 공동 창업자를 찾고, 그 사람의 직장을 찾고, 그 회사의 본사를 찾아야 하는 다중 홉 질문이라 그래프 경로나 반복 검색이 필요합니다. (다)는 코퍼스 전체를 요약해야 하는 전역 질문이라 상위 k개 청크로는 부족하고 주제 요약(커뮤니티 보고서 등)이 필요합니다.
풀이와 확인 표시는 이 브라우저에 저장됩니다.
오늘 이해한 것과 다시 볼 것
계산이 달라진 이유, 헷갈린 개념, 다음에 확인할 질문을 남겨 보세요.
메모는 이 브라우저에 저장됩니다. 홈에서 전체 기록을 내려받을 수 있습니다.오늘의 이해 확인
“이 뉴스 묶음 전체의 주요 주제 다섯 가지는?”에 유사도 상위 k개 청크 검색이 약한 근본 이유는?
완료 조건: 확인 퀴즈 정답 · / 직접 풀기 0/1
더 깊이 읽기
예제와 실험 데이터는 이 과정을 위해 만든 것입니다. 원문은 선택 자료이며, 강의와 직접 풀기만으로도 다음 회차를 이어갈 수 있습니다.
Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLewis et al. (2020)HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question AnsweringYang et al. (2018)From Local to Global: A Graph RAG Approach to Query-Focused SummarizationEdge et al. (2024)이 자료는 개념 학습용입니다. 실제 데이터베이스·라이브러리·플랫폼의 동작과 설정은 제품과 버전마다 다를 수 있습니다.