인공지능6 Gecko: Versatile Text Embeddings Distilledfrom Large Language Models 한글 리뷰 Gecko: Versatile Text Embeddings Distilled from Large Language Models We present Gecko, a compact and versatile text embedding model. Gecko achieves strong retrieval performance by leveraging a key idea: distilling knowledge from large language models (LLMs) into a retriever. Our two-step distillation process begins with gen arxiv.org Abstract Gecko는 큰 언어 모델(Large Language Models, LLMs)에서 지식을 추출.. 2024. 4. 2. Build with AI 2024 Seoul 후기 3월 31일 (일)에 연세대학교에서 GDG Seoul과 GDG Korea Android가 함께 개최한 Build with AI 2024 Seoul에 다녀왔습니다. 입장료는 15,000원이고, 누구나 참석이 가능합니다. 이번엔 직접 개발에 참여할 수 있는 CodeLAB 과 발표 세션이 있었습니다. 티셔츠만 주는게 아니고 책도 골라서 받을 수 있었는데 , 파이썬 책과 아무래도 Android 가 있다 보니 다른 개발 언어의 책이 있었는데 통근하면서 다시 한번 ML 기초적인 지식을 볼 수 있을 거 같아서 주머니 속의 머신러닝 책을 수령했습니다. 저는 A 타임 CodeLAB 을 신청을 하였고 Gemini Pro API를 활용해서 General 한 개발 체험을 해보는 용도의 시간이었습니다. 이미 Gemini로 라즈.. 2024. 3. 31. Switch Transformers: Scaling to Trillion Parameter Modelswith Simple and Efficient Sparsity 리뷰 안녕하세요 Simon 입니다. 오늘 리뷰해볼 논문은 MoE 모델의 아키텍처인 Switch Transformers 입니다. 사실 제가 딥러닝을 배우기전에 나왔던 논문인데 신기하게 다 언젠가는 빛을 바라는 순간이 오는거 같습니다. Abstrack 스위치 트랜스포머는 전통적인 딥러닝 모델의 한계를 극복하기 위해 개발된 새로운 접근 방식입니다. 기존 모델들이 모든 입력에 대해 동일한 매개변수를 사용하는 반면, 스위치 트랜스포머는 각 입력 예제마다 다른 매개변수를 선택하는 혼합(전문가 혼합) 모델을 채택합니다. 이 방식은 매개변수의 수를 크게 늘리면서도 계산 비용을 일정하게 유지합니다. 그러나 이러한 모델은 복잡성, 통신 비용, 그리고 훈련의 불안정성과 같은 문제들을 가지고 있었습니다. 스위치 트랜스포머는 이러한.. 2024. 3. 5. RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models 리뷰 안녕하세요 Simon입니다. 오늘 소개해드릴 논문은 RAG 관련 논문입니다. 아무래도 RAG가 이제 많이 알려지기도 했고 LLM의 필수요소로 자리 잡고 있습니다. 저희도 일단 RAG 자체는 완벽히 이해하고 구현을 하자 느낌이 강해서 새로운 논문을 리딩 한번 해보겠습니다. Abstract 위 논문은 할루시네이션을 줄이기 위해 RAG 검색증강 생성을 사용하였지만 여전히 검색내용과 모순되거나 뒷받침되지 않는 주장을 할 수 있다는 것을 개선하기 위해 RAGTruth라는 코퍼스를 제시합니다. 연구는 다른 LLM들에서 환각 빈도를 비교하고, 기존 환각 탐지 방법의 효과를 평가합니다. 또한, 고품질 데이터셋을 사용하여 작은 LLM을 미세 조정함으로써, 최신 대규모 모델을 사용하는 기존 방법과 경쟁할 수 있는 환각 탐.. 2024. 3. 5. 이전 1 2 다음
