[알쓸패잡]김은희 l 한국오라클 컨설턴트
'AI 스피커 변신? 검색해서 말하는 RAG 기술'

“영실아, 나 왜 잠이 안 올까?” “신경 쓰이는 문제가 있나 보네요.” “어 있어! 어떻게 해야 할까?” “잠을 푹 자 보세요.” 드라마 <스타트업> 속에 등장한 AI 비서 영실이의 대답 성공률은 거의 0%였다. 생성형 AI 모델이 세상에 나오기도 전이었지만, 드라마적 상상력으로 창조된 이 챗봇은 인간의 언어를 이해하고 아무 말(Hallucination)이나 할 수 있었다. 챗봇의 허언증을 미세 조정할 수 있는 RAG(검색 증강 생성 모델, Retrieval Augmented Generation) 기술이 등장한 지금 드라마는 어떻게 쓰여야 할까?

아마도 “네. 저는 수면 전문가는 아니지만, 이야기해 드릴게요. 불면증의 원인에는 …… 등이 있고 처방에는 …… 등이 있습니다. 개인별 상황은 다를 수 있으며 의료 전문가와 상담하는 것을 추천해 드려요”라고 인간과 비슷하게 말하거나, 또는 최신 불면증 치료방법까지 정확한 데이터를 검색한 후에 말했을 것이다. 우리들이 익숙했던 규칙 기반(Rule-based) 챗봇, 다시 말해서 정확한 용어를 포함했을 때에만 제대로 답을 하는 챗봇에 비해 RAG 기반 생성형 AI 챗봇은 유추와 검색을 통해 좀 더 정확한 대화가 가능해졌다.

최근 생성형 AI 모델의 급속한 발전과 더불어 다양한 인공지능 용어가 등장했는데, 이번 글에서는 RAG란 무엇인가를 중심으로 이와 관련된 다양한 용어를 소개하려고 한다. RAG는 ‘검색 증강 생성’이라고 직역하며, 그 의미는 대규모 언어모델(LLM)이 답을 생성해 줄 때, 훈련 시 학습된 데이터만을 갖고 답을 내주면 최신 데이터가 부족할 수 있다. 이 때문에 prompt를 입력할 때 검색한 데이터를 동시에 제공해서 LLM이 적절한 답변을 만들 수 있도록 모델을 적용할 때 사용하는 방법이다. 2020년 페이스북 AI팀에서 개발해 ‘Retrieval-Augmented Generation for Knowledge-intensive NLP Tasks’라는 논문을 쓰면서 주목했고 RAG의 제1저자인 패트릭 루이스(Patrick Lewis)는 ‘코히어(cohere)’의 AI 팀장이다.

RAG : LLM 모델이 답을 생성할 때 벡터 DB에서 데이터를 검색 후 답에 추가할 수 있도록 질문을 token화, 질문과 관련된 답을 벡터 DB에서 찾기(retriever), 정확한 정보를 담아서 LLM이 문장 생성하기(RAG)의 3개 과정을 Transformer에 추가하는 모델 아키텍처.

지식저장소 : 외부 데이터(document)를 DB에 넣어 놓은 것을 지식저장소라고 하며 전문(Full text)으로 돼 있는 자연어를 토큰화라는 NLP(자연어처리) 과정을 거친 후 컴퓨터의 언어모델(LLM)이 처리할 수 있도록 Text를 ‘숫자’로 바꿔서 저장하는 곳. 여기서 지식저장소는 벡터 DB를 의미한다. 벡터 : 단어를 숫자의 정렬로 표현한 것이 벡터이며 3차원 벡터(숫자 3개)로 표현한다면 일례로, cat=[2.1, -1.5, 0.8], dog=[-0.5, 1.2, 3.0] 등이 돼 언어모델에서 숫자 연산이 가능하다.

Embedding 모델 : RAG 언어모델에서는 언어를 벡터로 바꿀 때 embedding model을 사용함. RAG 작동 방식 : ①질문(prompt)을 하면 질문을 벡터로 ‘변환’해서 ②이 질문과 연관된 문서를 벡터 DB에서 ‘검색’하고 ③LLM 모델은 질문과 검색 결과를 공급받아서 답을 ‘생성’하는데 이 답은 정확한 정보, 최신 정보, 출처(주석/각주)가 가능한 답이 된다.

세만틱 서치(Semantic Search) : 검색할 때 벡터를 사용하는 방법으로 검색어(벡터)와 문서(벡터) 간 거리가 가까운 관련 문서를 검색할 때 의미론 검색이라고 칭한다.

RAG의 장점 : 새롭게 언어 모델을 학습할 때 소요되는 GPU 비용 대비 저렴하게 정보 업데이트 가능.

최근 구글의 제미나이(gemini)까지 발표되면서 네이버의 하이퍼클로바X, 카카오의 코GPT, 오픈AI의 챗GPT, 메타의 라마(LLaMa), 애플GPT, 앤스로픽의 클로드, 코히어, BERT 등 언어 모델이 홍수를 이루고 있다. 그럴싸한 오류 문장을 해결하기 위한 RAG 기술까지 등장했는데 이처럼 용어 설명이 언어모델 AI의 발전을 이해하는 데 도움을 주길 바란다.


■ 김은희 l 한국오라클 컨설턴트 profile
- 현 한국오라클 상무, 컨설턴트
- MIT 로지스틱스, SCM 공학석사
- FIT 패션바잉, 머천다이징 AAS
- 서울대 의류학과 학사, 석사, 박사