AI에서 LLM과 RAG의 관계
회사에서 새로운 프로젝트를 하면서 기존에 사용하던 LLM이 아닌, RAG모델을 추가한 LLM을 사용하려고 합니다. 그래서 저 또한 LLM과 RAG 모델이 무엇인지 궁금해서 열심히 구글링을 하면서 알아보았습니다.
LLM과 RAG 모델 관계
상호 보완적인 관계
LLM은 Large Language Model의 약자로 대규모 데이터로 학습된 자연어 처리 모델입니다. 따라서 텍스트를 이해하고 생성하는 능력이 상당히 뛰어납니다. 우리는 여기서 생성이라는 단어에 집중해야 합니다.
RAG는 Retrieval Augmented Generation라는 뜻을 가지고 있고, 결론적으로 먼저 기술하면 LLM의 한계를 보완하기 위해서 나온 것입니다.
Shallow Dive
LLM은 최신 정보나 학습 데이터에 없는 정보에 대하 정확하지 않거나 주어진 내용에서만 제공해주는 제한된 답변을 할 수 있습니다. 따라서 RAG는 제한된 답변이라는 문제를 해결하기 위해 LLM의 생성 능력에 검색 기능을 결합한 모델입니다. LLM을 기반으로 외부에서 검색된 최신 정보나 특정 문서의 정보를 활용하여 보다 신뢰성 있고 구체적인 답변을 생성합니다.
즉, 결론적으로는 생성하는 단계에서는 LLM이 중요한 역할을 하고, RAG는 외부 정보를 가져와 그 데이터를 활용할 수 있게 한다는 것입니다.
RAG 모델 상세 설명
RAG모델은 검색 기반 생성 모델로, 2가지 단계로 작동합니다.
1. Retrieval(검색, RAG 담당)
입력된 질문에 대한 관련 정보를 외부 문서 또는 DB에서 검색합니다. 검색을 할 때는 검색 엔진 또는 문서의 index를 사용하여 관련된 정보가 담긴 문서를 찾아옵니다.
2. Generation(생성, LLM 담당)
RAG모델을 사용해 가져온 정보를 바탕으로 답변을 생성합니다. 이 단계에서는 주로 LLM과 같은 자연어 생성 모델이 담당하며, 검색된 텍스트를 참고하여 더 정확하고 정보에 기반한 답변을 제공합니다.
즉, LLM의 경우 학습된 지식만 사용하지만, RAG는 실시간으로 검색된 데이터를 참조하여 담변을 생성하기 때문에 최신 정보나 특정한 외부 데이터를 활용할 수 있습니다.
예시사례
만약 아래와 같은 사례가 있다고 가정하겠습니다.
2024년 AI 기술 트렌드는 무엇인가요?
단순한 LLM의 경우 학습된 시점에 있던 정보를 바탕으로 답변을 생성합니다. 따라서 답변을 하는 내용은 본인이 학습한 내용만을 바탕으로 이루어져 있습니다. 만약 2022년까지만 학습을 했다면 2022년까지의 내용을 바탕으로 AI 기술 트렌드 답변을 제공합니다.
그러나 RAG 모델은 검색 단계에서 최신 2024년의 AI 트렌드에 대한 논문, 뉴스, 기사 또는 보고서를 검색하여 이를 바탕으로 생성 단계에서 정확한 답변을 제공합니다.