fine-tunning2 RAFT: Adapting Language Model to Domain Specific RAG 리뷰 안녕하세요 오늘은 Linkdin 을 보다가 흥미로워 보이는 주제의 RAFT 라는 논문을 리뷰해보려고 합니다. RAG를 넘어서 자꾸 뭐가 발전되는 느낌이네요. https://arxiv.org/abs/2403.10131 RAFT: Adapting Language Model to Domain Specific RAG Pretraining Large Language Models (LLMs) on large corpora of textual data is now a standard paradigm. When using these LLMs for many downstream applications, it is common to additionally bake in new knowledge (e.g., time-cri.. 2024. 3. 21. LoRA+: Efficient Low Rank Adaptationof Large Models 짧은 논문리뷰 안녕하세요 Simon입니다. NLP LLM 논문을 읽다 보면 방대한 양에 지칠 때가 있는데요. 과연 이 논문을 다 읽더라도 나에게 명확하게 인사이트를 줄 수 있을까? 란 생각이 항상 듭니다. 고효율은 아니라고 생각되어서, 이제 제가 필요한 인사이트가 아니라면? 과감하게 Abstrack 정도와 필수 개념만 보고 요약을 하려고 합니다. 아마 비슷하게 생각하실 거라고 생각합니다. 오늘 리뷰해 드릴 논문은 LoRA+ 튜닝의 기존의 방법론보다 더 성능을 개선시키는 LoRA+라는 논문입니다. LoRA+: Efficient Low Rank Adaptation of Large Models In this paper, we show that Low Rank Adaptation (LoRA) as originally intr.. 2024. 3. 6. 이전 1 다음
