sllm3 Multi-Turn 한국어 데이터를 Fine-Tunning 하는 방법 - (1) 언어모델의 중요한 능력중에 멀티턴 대화 능력이다. 특정 도메인 Task 파인튜닝을 할 시에 데이터가 고객센터에서의 QnA 처럼 멀티턴인 경우가 있다. 그 데이터를 고려해서 파인튜닝을 하는 방법을 한번 알아보자. 모델은 Gemma 를 활용해서 파인튜닝을 해볼 예정이다. 한국어로 파인튜닝이 된 모델일 Gemma-Ko 시리즈를 사용할 예정이다. Data - MultiTurn https://huggingface.co/datasets/maywell/koVast 2024. 3. 28. SOLAR 10.7B: Scaling Large Language Models with Simple yet EffectiveDepth Up-Scaling 안녕하세요 Simon입니다. 오늘 소개해드릴 논문은 SOLAR 10.7B에 관한 논문입니다. 지금 FastCampus에서 Upstage의 파인튜닝 노하우 강의를 듣고 있는데 김성훈 CEO가 소개해준 내용과 연관해서 리뷰를 해보겠습니다. 강의를 수강하는데 계속 웃음꽃이 떠나질 않는 거 보면 확실히 현재 제일 hot 한 최전선에 있는 분야에서 최고가 된 만큼 얼마나 기쁠까 생각이 들긴 합니다. LLM의 평가지표는 여러 가지가 있습니다. H4는 4개의 데이터셋으로 평가한다는 의미인데요, 현재 H7 까지도 증가해서 평가를 받고 있습니다. 그 말은 즉슨 H4에서의 벤치마크가 높은데 H7에서는 떨어진다? 이 말은 모델이 그만큼 일반화가 되지 않은 모델이라고 생각해 볼 수 있습니다. LLM 평가지표에 대한 글은 제가.. 2024. 3. 5. MoE : Mixture of Experts Explained 리뷰 안녕하세요 Simon 입니다. 이번 포스팅할 게시물은 차기 Transformers 기반의 AI 생태계를 변화시킬 수 있을지 집중이 되고있는 MoE에 대해서 알아보겠습니다. 모든 게시물은 Hugging Face 에 소개된 게시물을 토대로 작성되었습니다. https://huggingface.co/blog/moe#what-is-a-mixture-of-experts-moe Mixture of Experts Explained Mixture of Experts Explained With the release of Mixtral 8x7B (announcement, model card), a class of transformer has become the hottest topic in the open AI commun.. 2024. 3. 5. 이전 1 다음
