분류 전체보기129 RAFT: Adapting Language Model to Domain Specific RAG 리뷰 안녕하세요 오늘은 Linkdin 을 보다가 흥미로워 보이는 주제의 RAFT 라는 논문을 리뷰해보려고 합니다. RAG를 넘어서 자꾸 뭐가 발전되는 느낌이네요. https://arxiv.org/abs/2403.10131 RAFT: Adapting Language Model to Domain Specific RAG Pretraining Large Language Models (LLMs) on large corpora of textual data is now a standard paradigm. When using these LLMs for many downstream applications, it is common to additionally bake in new knowledge (e.g., time-cri.. 2024. 3. 21. RAT: Retrieval Augmented Thoughts ElicitContext-Aware Reasoning in Long-HorizonGeneration 논문 리뷰 안녕하세요 오늘 리뷰해볼 논문은 RAT: Retrieval Augmented Throughts 입니다. 뜻을 직역하면 검색증강을 통해 생각하게 하겠다 정도로 해석할 수 있겠는데요 벌써 느낌이 오긴합니다. LLM 자체에게 생각을 하게 해서 Agent 형태의 모듈들이 많이 만들어지고 있고, Self-RAG, CRAG 등 다양한 RAG 방법론 또한 모델에게 다시 생각을 통해서 원하는 결과를 낼 수 있도록 해주는 방법론 들 입니다. https://arxiv.org/abs/2403.05313 RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation We explore how iterative revising.. 2024. 3. 20. LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 쉽게 논문 코드 리뷰 오늘 리뷰할 논문은 현재 많이 쓰이고 있는 LLM Fine Tunning 기법인 LoRA 에 대해서 리뷰를 하려고 합니다. 저는 LoRA 에 전반적인 메커니즘은 알고는 있지만 조금 더 깊게 알아보고 싶어서 리뷰를 해보겠습니다. LoRA: Low-Rank Adaptation of Large Language Models An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retra.. 2024. 3. 15. Self Consitency prompt CoT 를 향상시키는 기법으로 기본 아이디어는 CoT 에 LLM 에 중간에 생각의 과정을 만들고 생각 Temprature 에 따라 다양하게 샘플링이 가능하기 때문에 모델이 여러개의 추론과정과 결과에 대해서 샘플링이 가능하다. (Temrature가 0이면 안된다) 결국 여러개의 샘플링 된 결과중에서 일관성있는 결과를 통해서 최종적인 정답으로 만든다 방식 : 결과에 대한 값을 투표, Softmax에 의한 확률로 고르는 방법도 있고, 값들의 평균확률 등 다양하게 있다 실험 결과에서는 Majority vote 즉 투표로 일관성있게 많은 답변인게 성능이 제일 좋게 나왔다. class CoT(Basemodel): throught: str = Field(description="step by step throught.. 2024. 3. 7. 이전 1 ··· 10 11 12 13 14 15 16 ··· 33 다음
