본문 바로가기

전체 글128

Build with AI 2024 Seoul 후기 3월 31일 (일)에 연세대학교에서 GDG Seoul과 GDG Korea Android가 함께 개최한 Build with AI 2024 Seoul에 다녀왔습니다. 입장료는 15,000원이고, 누구나 참석이 가능합니다. 이번엔 직접 개발에 참여할 수 있는 CodeLAB 과 발표 세션이 있었습니다. 티셔츠만 주는게 아니고 책도 골라서 받을 수 있었는데 , 파이썬 책과 아무래도 Android 가 있다 보니 다른 개발 언어의 책이 있었는데 통근하면서 다시 한번 ML 기초적인 지식을 볼 수 있을 거 같아서 주머니 속의 머신러닝 책을 수령했습니다. 저는 A 타임 CodeLAB 을 신청을 하였고 Gemini Pro API를 활용해서 General 한 개발 체험을 해보는 용도의 시간이었습니다. 이미 Gemini로 라즈.. 2024. 3. 31.
Multi-Turn 한국어 데이터를 Fine-Tunning 하는 방법 - (1) 언어모델의 중요한 능력중에 멀티턴 대화 능력이다. 특정 도메인 Task 파인튜닝을 할 시에 데이터가 고객센터에서의 QnA 처럼 멀티턴인 경우가 있다. 그 데이터를 고려해서 파인튜닝을 하는 방법을 한번 알아보자. 모델은 Gemma 를 활용해서 파인튜닝을 해볼 예정이다. 한국어로 파인튜닝이 된 모델일 Gemma-Ko 시리즈를 사용할 예정이다. Data - MultiTurn https://huggingface.co/datasets/maywell/koVast 2024. 3. 28.
[3/27] Text embedding 관련, BERT , MTEB BERT - 교차인콛더를 사용해서 문장과 문장의 유사성의 점수를 매기는 구조 SBERT - 버트의 성능은 유지 하되 더 가볍게 ! 특징 : 문장 단위의 임베딩(input 구조를 단을 문장으로 축소), 샴네트워크 구조(문장 페어별 벡터 연산대신 , 단일문장 단위의 샴쌍둥이 처럼 또하나 생성해서 두문장간 유사성 예측 연습, 이를 통해 임베딩 벡터는 서로의미가 비슷한 문장일 수록 벡터공간 내에, 거리도 가깝게 애초에 표현하도록 네트워크 학습) MTEB : Massive Text Embedding Benchmark 임베딩을 평가하는 8가지의 지표가 있다 Bitext Mining (번역성능) Classification (분류성능) Clustering (클러스터 라벨링 성능) Pair Classification (.. 2024. 3. 27.
LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement 리뷰 오늘 소개해드릴 논문은 LLM2 LLM입니다. 이름에서도 직관적으로 LLM을 통하여 새로운 데이터를 사용해서 LLM을 강화한다인데 이전에 강화학습 방법인 knowledge distillation과 연관이 있는지 한번 확인해 봐야겠습니다.(일반적으로 knowledge distillation 은 강화학습 방법으로 유명한데요 sLLM을 거대한 LLM 이 선생님이 되어 지식을 주입하는 방법론이라고 할 수 있습니다.) Distilling the Knowledge in a Neural Network라는 논문에서 등장한 개념으로 나중에 리뷰해 보겠습니다. LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement Pretrained large language mode.. 2024. 3. 27.
Adaptive-RAG: Learning to Adapt Retrieval-AugmentedLarge Language Models through Question Complexity 논문 리뷰 https://arxiv.org/abs/2403.14403 Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity Retrieval-Augmented Large Language Models (LLMs), which incorporate the non-parametric knowledge from external knowledge bases into LLMs, have emerged as a promising approach to enhancing response accuracy in several tasks, such as Question-Answering (QA). arxiv... 2024. 3. 25.
RAFT: Adapting Language Model to Domain Specific RAG 리뷰 안녕하세요 오늘은 Linkdin 을 보다가 흥미로워 보이는 주제의 RAFT 라는 논문을 리뷰해보려고 합니다. RAG를 넘어서 자꾸 뭐가 발전되는 느낌이네요. https://arxiv.org/abs/2403.10131 RAFT: Adapting Language Model to Domain Specific RAG Pretraining Large Language Models (LLMs) on large corpora of textual data is now a standard paradigm. When using these LLMs for many downstream applications, it is common to additionally bake in new knowledge (e.g., time-cri.. 2024. 3. 21.

티스토리툴바