Gemma5 Chat Vector 를 통한 한국어 모델 튜닝 https://arxiv.org/abs/2310.04799 Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New LanguagesRecently, the development of open-source large language models (LLMs) has advanced rapidly. Nevertheless, due to data constraints, the capabilities of most open-source LLMs are primarily focused on English. To address this issue, we introduce the concept oa.. 2024. 6. 12. Prompt-prompted Mixture of Experts for Efficient LLM Generation 논문 리뷰 오늘 리뷰해 볼 논문은 제가 평소에 LInkdin에서 평소 논문 LLM , RAG 관련 리서치할 때 종종 보는 Pascal Biese 가 소개해준 'Prompt-prompted Mixture of Experts for Efficient LLM Generation '이라는 논문입니다. 궁금해서 공유하기를 눌러두고 오늘 리뷰를 해봅니다. Paper Prompt-prompted Mixture of Experts for Efficient LLM Generation With the development of transformer-based large language models (LLMs), they have been applied to many fields due to their remarkable utili.. 2024. 4. 15. Build with AI 2024 Seoul 후기 3월 31일 (일)에 연세대학교에서 GDG Seoul과 GDG Korea Android가 함께 개최한 Build with AI 2024 Seoul에 다녀왔습니다. 입장료는 15,000원이고, 누구나 참석이 가능합니다. 이번엔 직접 개발에 참여할 수 있는 CodeLAB 과 발표 세션이 있었습니다. 티셔츠만 주는게 아니고 책도 골라서 받을 수 있었는데 , 파이썬 책과 아무래도 Android 가 있다 보니 다른 개발 언어의 책이 있었는데 통근하면서 다시 한번 ML 기초적인 지식을 볼 수 있을 거 같아서 주머니 속의 머신러닝 책을 수령했습니다. 저는 A 타임 CodeLAB 을 신청을 하였고 Gemini Pro API를 활용해서 General 한 개발 체험을 해보는 용도의 시간이었습니다. 이미 Gemini로 라즈.. 2024. 3. 31. Multi-Turn 한국어 데이터를 Fine-Tunning 하는 방법 - (1) 언어모델의 중요한 능력중에 멀티턴 대화 능력이다. 특정 도메인 Task 파인튜닝을 할 시에 데이터가 고객센터에서의 QnA 처럼 멀티턴인 경우가 있다. 그 데이터를 고려해서 파인튜닝을 하는 방법을 한번 알아보자. 모델은 Gemma 를 활용해서 파인튜닝을 해볼 예정이다. 한국어로 파인튜닝이 된 모델일 Gemma-Ko 시리즈를 사용할 예정이다. Data - MultiTurn https://huggingface.co/datasets/maywell/koVast 2024. 3. 28. 이전 1 2 다음
