croissant_code

LLMLLM방대한 양의 텍스트 데이터를 학습하여 사람과 유사한 방식으로 이해하거나 생성하는 AI 시스템예시 : ChatGPT, Claude, Gemini작동 방식다음에 오는 단어를 예측하는 방식으로 텍스트 생성인터넷의 방대한 데이터로 사전 훈련특정 작업에 맞게 미세 조정 가능트랜스포머 아키텍처인코더 : 입력 텍스트 이해어텐션 : 단어 간 관계 동적으로 가중포지셔널 인코딩 : 단어 순서 정보 등록디코더 : 입축된 의미로 새 텍스트 생성어텐션 메커니즘트랜스포머 아키텍처 핵심 : 모든 내용을 같은 집중도로 읽기 보다는 중요한 것에 집중토큰과 토큰화LLM은 텍스트를 토큰으로 분할 후 처리한국어는 영어보다 더 많은 토큰 필요(비용 증가)예시인공지능이 세상을 바꾸고 있습니다인공 지능 이 세상 을 바꾸 고 있습니다다..

회사에서 새로운 프로젝트를 하면서 기존에 사용하던 LLM이 아닌, RAG모델을 추가한 LLM을 사용하려고 합니다. 그래서 저 또한 LLM과 RAG 모델이 무엇인지 궁금해서 열심히 구글링을 하면서 알아보았습니다.LLM과 RAG 모델 관계상호 보완적인 관계LLM은 Large Language Model의 약자로 대규모 데이터로 학습된 자연어 처리 모델입니다. 따라서 텍스트를 이해하고 생성하는 능력이 상당히 뛰어납니다. 우리는 여기서 생성이라는 단어에 집중해야 합니다. RAG는 Retrieval Augmented Generation라는 뜻을 가지고 있고, 결론적으로 먼저 기술하면 LLM의 한계를 보완하기 위해서 나온 것입니다.Shallow DiveLLM은 최신 정보나 학습 데이터에 없는 정보에 대하 정확하지 않..