document2 실전 RAG로 역량강화하기 - RAG 에서 중요한 문서 파일 처리 실전 RAG으로 역량 강화하기실전 RAG 같이 만들면 만들 수 있지 않을까? RAG 랭체인이나 라마인덱스로 사용은 해봤는데 성능이 안좋은기억이 분명 있을 겁니다. 이번 기회에 Graph DB, Agent 형태의 RAG 등 다양한 기법들을 같이modulabs.co.kr현재 모두의 연구소에서 진행하고 있는 스터디로 제가 퍼실리로 활동을 하고 있습니다. 이 글을 쓰게 된 이유는 주간 공부한 것을 정리하고 스터디에서 나온 insight를 정리할 겸 글을 정리해보려고 합니다. 저희 스터디 같은 경우는 하브루타 방식의 스터디로 와서 공부하는 방식입니다. 1~3주 차까지는 domain 선정 후 기능 아키텍처 정의를 하고 RFP처럼 문서를 작성하고 PT 발표를 3주 차에 진행하고 4주 차부터는 구현을 10주 차까지 .. 2024. 8. 27. RAG 시스템 을 구축하기 위한 데이터 전처리 - PDF 다들 Navie RAG로 간단하게 ChatPDF의 형태로, PDF를 데이터로 집어넣고 청크 하고, 임베딩해서 벡터스토어에 넣고 레트리버를 만들어주고 쿼리가 들어오면 임베딩 해서 다시 벡터스토어에서 벡터서치를 통해 document의 page_content를 받아와서 prompt를 넣어주는 일련의 과정을 경험해 봤을 것입니다. RAG survey 에선 이 과정을 더 넘어 Advanced RAG 를 통해 RAG 성능을 극대화해야 한다 하고, 다양한 방법론들을 소개합니다. RAG 어떻게 하면 더 잘 할까?RAG(Retrieval-Augmented Generation)는 LLM(Large Language Model)의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 knoledg.. 2024. 6. 25. 이전 1 다음
