NLP20 나만의 원피스 루피 챗봇 만들기 with HyperClovaX Hyper CLOVA 스터디를 참여하게 되었다🙇이직준비와 이직 신입 적응기를 거치며 5월은 빠르게 흘러갔다. 매번 일을 벌이는 걸 좋아하는 나에게 찾아온 트리거 같은 역할 풀잎스쿨네이버클라우드의 하이퍼클로바 콜라보의 풀잎스쿨이hyun941213.tistory.com 저는 지금 HyperCLOVA X 스터디를 하고 있습니다. 풀잎스쿨을 통해서 캐릭터 페르소나 Chatbot을 구축하기 위해 Data 전처리를 하고 있는데요. 또 막차 HyperclovaX 스터디도 같이 진행하고 있습니다. 이 Luffy bot을 활용해서 저는 RAG system을 붙여서 현실세계에 있는 루피를 만들어보려고 합니다. 오늘은 제가 하이퍼크로버를 이용한 API 활용방법과 Data 증강 및 제가 경험했던 방법들을 공유해 볼까 합니다.. 2024. 6. 14. Chat Vector 를 통한 한국어 모델 튜닝 https://arxiv.org/abs/2310.04799 Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New LanguagesRecently, the development of open-source large language models (LLMs) has advanced rapidly. Nevertheless, due to data constraints, the capabilities of most open-source LLMs are primarily focused on English. To address this issue, we introduce the concept oa.. 2024. 6. 12. Multi-Turn 한국어 데이터를 Fine-Tunning 하는 방법 - (1) 언어모델의 중요한 능력중에 멀티턴 대화 능력이다. 특정 도메인 Task 파인튜닝을 할 시에 데이터가 고객센터에서의 QnA 처럼 멀티턴인 경우가 있다. 그 데이터를 고려해서 파인튜닝을 하는 방법을 한번 알아보자. 모델은 Gemma 를 활용해서 파인튜닝을 해볼 예정이다. 한국어로 파인튜닝이 된 모델일 Gemma-Ko 시리즈를 사용할 예정이다. Data - MultiTurn https://huggingface.co/datasets/maywell/koVast 2024. 3. 28. LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement 리뷰 오늘 소개해드릴 논문은 LLM2 LLM입니다. 이름에서도 직관적으로 LLM을 통하여 새로운 데이터를 사용해서 LLM을 강화한다인데 이전에 강화학습 방법인 knowledge distillation과 연관이 있는지 한번 확인해 봐야겠습니다.(일반적으로 knowledge distillation 은 강화학습 방법으로 유명한데요 sLLM을 거대한 LLM 이 선생님이 되어 지식을 주입하는 방법론이라고 할 수 있습니다.) Distilling the Knowledge in a Neural Network라는 논문에서 등장한 개념으로 나중에 리뷰해 보겠습니다. LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement Pretrained large language mode.. 2024. 3. 27. 이전 1 2 3 4 5 다음
