개발과 일상

나는 임베딩 벡터를 이용한 검색 시스템을 사전 이해 없이 통으로 만들어본 적이 있다. 그때의 지식이 크게 변하지 않은 채로 시간이 지나면서, 최근 다시 임베딩 벡터 기반 검색 기술을 공부하던 중 의미 기반 검색(Semantic Search) 과 키워드 기반 검색(Keyword Search) 의 개념을 명확히 알게 되었다. 그리고 이 두 접근 방식을 비교하다 보니, Sparse Vector(희소 벡터) 라는 개념이 그 중심에 있다는 걸 알게 됐다. 이번 글에서는 Sparse Vector가 무엇이고, Dense Vector와 어떤 차이가 있으며, 임베딩 기반 검색에서 어떤 역할을 하는지를 정리해보려 한다. 거기다 이전 글이 Embedding에 사용되는 벡터가 dense만 있다는 듯이 사용해서 자세히 알아봤다..

RAG 시스템에 필요한 것들을 개괄적으로 알아봤었다. 그리고 임베딩 모델의 중요성까지 알아봤다.2025.10.20 - [개발/AI] - RAG 이해하기: Embedding부터 평가 지표까지 RAG 시스템에 큰 영향을 주는 요소들은 데이터 전처리, 임베딩, 조회 알고리즘, 그리고 LLM이 대표적이다. 하지만 결국 저장소가 필요한 만큼 벡터 데이터베이스(Vector DB) 역시 간과할 수 없다. 특히 개발자 입장에서는 단순히 빠르기만 한 DB보다는쓰기 편하고, 조회 알고리즘 옵션이 다양하며, 환경에 맞게 유연하게 쓸 수 있는 도구가 훨씬 중요하다. 그래서 최근 여러 벡터 저장 방식을 테스트하고 있다. 그중 첫 번째로 선택한 건 PostgreSQL에서 제공하는 확장 기능인 pgvector였다. 개인적으로 P..