개발과 일상

RAG라고 하면 보통 임베딩과 벡터 검색을 먼저 떠올린다. 의미가 비슷한 문서를 찾아주는 그 능력이 RAG의 핵심처럼 보이니까. 그런데 막상 실제 문서 검색에 붙여보면, 벡터만으로는 자꾸 새는 구멍이 있다. 예를 들어 "IITP"나 "국가연구개발혁신법" 같은 정확한 고유명사·법령명을 검색할 때다. 이런 건 의미가 비슷한 걸 찾으면 곤란하다. 글자 그대로 들어맞는 문서를 찾아야 한다. 벡터 검색은 "비슷함"에 강하지만 "정확히 같음"에는 의외로 약하다. 철자 하나 다른 약어, 학습 때 못 본 신조어, 숫자가 섞인 코드 같은 건 임베딩이 뭉뚱그려버린다. 그래서 키워드(lexical) 검색이 한 축으로 필요했고, 그 표준이 BM25였다. 직접 구현해서 붙여보며 정리해둔다. 솔직히 처음엔 나도 "그냥 질의 단어..