출처 : SONOW
현황/배경: 검색-선정-생성의 병목을 해부하다
기업형 RAG는 사내 문서·규정·로그 등 비정형 지식에서 답을 찾아 모델에 주입한다. 하지만 단일 임베딩 검색만으로는 용어 변형·부정어·신조어를 놓치고, 반대로 키워드 기반만 쓰면 의미 유사성을 포착하지 못한다. 하이브리드 검색(임베딩+BM25)과 쿼리 확장을 결합해 재현율을 충분히 확보한 뒤, 문맥 적합성을 기준으로 재순위를 수행해야 최종 컨텍스트의 품질이 안정된다.
심층 분석: 하이브리드→재순위→압축의 3단 점화
1) 하이브리드 검색: 임베딩 인덱스는 의미 유사성을, BM25는 희귀어·숫자·기호를 보완한다. 기업 환경에서는 필드 가중치(제목>본문>메타)를 달리해 회수 품질을 끌어올린다. 도메인 용어는 사용자 사전과 동의어 사전을 구축해 쿼리 확장에 사용한다.
2) 재순위: 1차 후보군을 ColBERT/코사인 등 경량 재순위로 좁히고, 상위 소수에 Cross-Encoder를 적용해 정밀 점수를 부여한다. 최근/법무/품질관리 등 정책 가중치를 점수에 합산하면 최신성·신뢰도를 반영할 수 있다.
3) 컨텍스트 압축: 길이 한계와 중복을 줄이기 위해 문단 추출→문장 추출→키구절의 단계형 압축을 적용한다. 표·코드·산식은 원문 스니펫을 이미지·마크업으로 보존해 의미 손실을 막는다. 출처 앵커(문서ID·페이지·버전)를 컨텍스트에 삽입하면 답변의 추적성과 신뢰도가 높아진다.
전망/시사점: 지식그래프·정책 라우팅·평가 자동화
지식그래프는 엔티티·관계로 문서 간 연결을 제공해 멀티홉 질의를 견인한다. 정책 라우팅은 질문 유형에 따라 FAQ 전용 경량 모델→일반 RAG→코드/법무 특화 RAG로 분기해 비용과 지연을 제어한다. 평가 자동화는 휴먼 레이블의 병목을 줄이는 핵심이다. 골든셋·시나리오 리플레이·근거 일치율과 같은 지표를 주간 단위로 수집하면, 파이프라인 변경의 효과를 정량으로 추적할 수 있다.
결론/제언: 운영 가능성에 초점을 맞춘 체크리스트
제언 1: 임베딩+BM25의 하이브리드와 필드 가중치를 기본선으로 설정하라. 제언 2: ColBERT→Cross-Encoder 2단 재순위와 최신성·신뢰도 가중치를 결합하라. 제언 3: 단계형 컨텍스트 압축과 출처 앵커를 표준화해 추적성을 확보하라. 제언 4: 지식그래프와 정책 라우팅으로 복잡 질의를 분기 처리하라. 제언 5: 골든셋·근거 일치율·사용자 피드백을 연결한 평가 자동화를 운영 지표로 삼아 개선을 지속하라.