개발과 일상

앞서 RAG 검색의 개괄적인 내용을 정리해봤고, 이번엔 세부 기술들을 정리해보려고 한다.2025.10.20 - [개발/AI] - RAG 이해하기: Embedding부터 평가 지표까지 RAG는 Retrieval(검색)과 Generation(생성)으로 나뉘는데, 검색의 핵심은 ‘어떻게 의미적으로 비슷한 문서를 찾느냐’이다. 여기서 임베딩이 그 열쇠가 된다. 임베딩 기술이 뭔지, 임베딩이 어떻게 구성되는지는 나보다 더 잘알고 잘 설명해주는 글이 많아 짧게 정리해보면 다음과 같다.임베딩은 텍스트(문장, 단어, 문서 등)를 고차원 벡터 형태로 변환하는 과정이다. 이렇게 하면 문장 간의 의미적 유사도를 수치적으로 비교하기 위한 기법입니다. 최근 가장 보편적으로 사용되는 건 openai의 text-embedding..

RAG란? RAG(Retrieval-Augmented Generation)의 약자로, 대규모 언어 모델(LLM)이 답변을 생성할 때 외부의 신뢰할 수 있는 지식 소스에서 관련 정보를 검색하고 활용하여 답변의 정확성과 최신성을 높이는 기술이다. 위 그림은 AWS에서 제공하는 구성도이다. LLM에게 질문을 할때 답변을 바로 생성하지 않고, Knowledge Sources를 갔다오게끔하는 방식으로 LLM이 어떤 분야에 특화되게끔 만드는데 용이하다. 구성은 간단해보이지만, 몇 가지 기술적인 부분들이 접목된다. 1. 데이터를 어떻게 표현할까?2. 데이터를 어떻게 저장할까?3. 어떻게 평가할 것인가? 요즘 이 과정들을 공부하고 있으니 하나씩 알아보자 1. Embedding Model세상에는 수많은 언어들이 있고, ..