개발과 일상

한동안 검색을 들여다보다 구멍을 하나 발견했다. 한국어 검색인데, 외래어가 섞인 질의가 자꾸 헛돌았다. 예를 들어 "스마트 팩토리"로 찾으면, 정작 스마트 팩토리를 다루는 문서가 위로 안 올라오고 엉뚱한 게 섞였다. "작년 회의 자료" 같은 평범한 한국어 질의는 멀쩡한데, 이렇게 영어에서 온 말이 한글로 적힌 구간에서만 새는 현상이 있었다. 문제의 원인을 찾는건 그렇게 어렵지 않았는데, 검색의 초기 버전이 임베딩 모델에 전적으로 의존하고 있었기 때문이다.그때 쓰던 건 범용 다국어 임베딩이었다. 여러 언어를 두루 하는 모델. 검색 성능을 조금 더 올리고 싶던 참이라, 이번엔 임베딩 모델 자체를 손대보기로 했다. 한국어에 특화된 임베딩으로. 이 글은 RAG 구축 고려사항의 임베딩 모델 항목에 해당하는, 성능..

앞서 RAG 검색의 개괄적인 내용을 정리해봤고, 이번엔 세부 기술들을 정리해보려고 한다.2025.10.20 - [개발/AI] - RAG 이해하기: Embedding부터 평가 지표까지 RAG는 Retrieval(검색)과 Generation(생성)으로 나뉘는데, 검색의 핵심은 ‘어떻게 의미적으로 비슷한 문서를 찾느냐’이다. 여기서 임베딩이 그 열쇠가 된다. 임베딩 기술이 뭔지, 임베딩이 어떻게 구성되는지는 나보다 더 잘알고 잘 설명해주는 글이 많아 짧게 정리해보면 다음과 같다.임베딩은 텍스트(문장, 단어, 문서 등)를 고차원 벡터 형태로 변환하는 과정이다. 이렇게 하면 문장 간의 의미적 유사도를 수치적으로 비교하기 위한 기법입니다. 최근 가장 보편적으로 사용되는 건 openai의 text-embedding..

RAG란? RAG(Retrieval-Augmented Generation)의 약자로, 대규모 언어 모델(LLM)이 답변을 생성할 때 외부의 신뢰할 수 있는 지식 소스에서 관련 정보를 검색하고 활용하여 답변의 정확성과 최신성을 높이는 기술이다. 위 그림은 AWS에서 제공하는 구성도이다. LLM에게 질문을 할때 답변을 바로 생성하지 않고, Knowledge Sources를 갔다오게끔하는 방식으로 LLM이 어떤 분야에 특화되게끔 만드는데 용이하다. 구성은 간단해보이지만, 몇 가지 기술적인 부분들이 접목된다. 1. 데이터를 어떻게 표현할까?2. 데이터를 어떻게 저장할까?3. 어떻게 평가할 것인가? 요즘 이 과정들을 공부하고 있으니 하나씩 알아보자 1. Embedding Model세상에는 수많은 언어들이 있고, ..