huggingface6 실전 데이터를 활용한 LLM Fine-tunning, RAG 적용해보기 (EXAONE Finetuning) - (1) 요즘 회사에서는 LLM과 관련된 업무를 하지는 않지만 LLM 에 대한 꾸준한 포스팅을 해보려고 합니다. Dacon 에서 대회를 하고 있는데 마침 RAG 스터디를 하기도 했고, Advanced RAG 를 막상적용할 도메인이 마땅하지 않다고 생각한 차에 좋은 대회가 있어서 해보게 되었습니다. 재정정보 AI 검색 알고리즘 경진대회 - DACON분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다.dacon.io글쓰는 날 기준으로 대회가 끝나가긴 하지만 그동안 이 대회를 해보면서 다양한 공부도 하였고, 다시 LLM 을 파인튜닝 해볼 기회가 생겨서 정리할겸 써봅니다. 현재 저는 순위자체는 10위 ~ 20위권 왔다갔다하고 있습니다. 아무래도 평가지표가 F1 Score 로 submission 을.. 2024. 8. 22. ORPO: Monolithic Preference Optimization without Reference Model 한글 리뷰 및 학습방법 안녕하세요 오늘 소개해드릴 논문은 ORPO로 LLAMA3 가 나오고 거의 대부분 Training에 쓰이고 있는 최적화 방법입니다. 놀라운 건 이걸 KAIST에서 발표했네요. 역시 다릅니다. ORPO: Monolithic Preference Optimization without Reference ModelWhile recent preference alignment algorithms for language models have demonstrated promising results, supervised fine-tuning (SFT) remains imperative for achieving successful convergence. In this paper, we study the cru.. 2024. 4. 24. Introducing Meta Llama 3: The most capable openly available LLM to date 리뷰 https://ai.meta.com/blog/meta-llama-3/?utm_campaign=llama3&utm_content=video&utm_medium=organic_social&utm_source=twitter 로그인되어 있지 않음 이 페이지를 보려면 로그인하세요. ai.meta.com GitHub - jh941213/LLaMA3_cookbook: Here's how to use Lama3 for beginners and what services are being used. Here's how to use Lama3 for beginners and what services are being used. - jh941213/LLaMA3_cookbook github.com TakeOut 오늘은 최신 오.. 2024. 4. 22. Jamba:A Hybrid Transformer-Mamba Language Model 리뷰 Jamba: A Hybrid Transformer-Mamba Language Model We present Jamba, a new base large language model based on a novel hybrid Transformer-Mamba mixture-of-experts (MoE) architecture. Specifically, Jamba interleaves blocks of Transformer and Mamba layers, enjoying the benefits of both model families. MoE is arxiv.org ai21labs/Jamba-v0.1 · Hugging Face Model Card for Jamba Jamba is a state-of-the-art.. 2024. 4. 2. 이전 1 2 다음
