retrieval5 실전 RAG로 역량강화하기 - RAG 에서 중요한 문서 파일 처리 실전 RAG으로 역량 강화하기실전 RAG 같이 만들면 만들 수 있지 않을까? RAG 랭체인이나 라마인덱스로 사용은 해봤는데 성능이 안좋은기억이 분명 있을 겁니다. 이번 기회에 Graph DB, Agent 형태의 RAG 등 다양한 기법들을 같이modulabs.co.kr현재 모두의 연구소에서 진행하고 있는 스터디로 제가 퍼실리로 활동을 하고 있습니다. 이 글을 쓰게 된 이유는 주간 공부한 것을 정리하고 스터디에서 나온 insight를 정리할 겸 글을 정리해보려고 합니다. 저희 스터디 같은 경우는 하브루타 방식의 스터디로 와서 공부하는 방식입니다. 1~3주 차까지는 domain 선정 후 기능 아키텍처 정의를 하고 RFP처럼 문서를 작성하고 PT 발표를 3주 차에 진행하고 4주 차부터는 구현을 10주 차까지 .. 2024. 8. 27. Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention 논문 리뷰 오늘 소개해드릴 논문은 Long-Context에서 효과적인 방법을 위한 새로운 메커니즘 infini-attention에 관한 내용입니다. https://arxiv.org/abs/2404.07143 Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention This work introduces an efficient method to scale Transformer-based Large Language Models (LLMs) to infinitely long inputs with bounded memory and computation. A key component in our proposed approach .. 2024. 4. 16. RAG 어떻게 하면 더 잘 할까? RAG(Retrieval-Augmented Generation)는 LLM(Large Language Model)의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 knoledge data를 참조하도록 하는 Process입니다. LLM 은 방대한 양의 데이터를 기반으로 학습되며 수십억 개의 파라미터를 사용하여 질문에 대한 답변, 언어 번역, 문장 완성과 같은 Downstream task 작업에 대한 독창적인 결과를 생성합니다. RAG는 이미 강력한 LLM의 기능을 특정 도메인이나 조직의 내부 지식 기반으로 확장하므로 모델을 다시 학습시킬 필요가 없다고는 하지만 현재 시점에서 Hybrid RAG (RAG + Finetunning)을 같이 사용해서 성능을 극대화하는 방법과 RA.. 2024. 4. 9. Corrective Retrieval Augmented Generation 리뷰 안녕하세요 오늘 소개해드릴 논문은 Corrective RAG라는 주제의 논문입니다. 사실 설에 링크드인과 트위터 알람에서 자꾸 이 실험에 관련된 게시글이 많이 보였습니다. 아 이거 중요하겠구나 싶어서 오늘 읽고 리뷰를 하게 되었습니다. 언제나 제 논문은 한글 번역 후 요약정리 중요하게 생각되는 점을 기록하면서 리딩을 하고 있습니다. 참고해 주시길 바랍니다. 논문 원본 Corrective Retrieval Augmented Generation Large language models (LLMs) inevitably exhibit hallucinations since the accuracy of generated texts cannot be secured solely by the parametric knowl.. 2024. 3. 6. 이전 1 2 다음
