본문 바로가기

전체 글129

Entropy 는 무엇인가? Entropy : 정보를 표현하는데 필요한 최소 평균 자원량 (코딩을 잘한것) 하트와 뻐큐중에 뭐가 더 엔트로피가 높을까? 하트가 높다 Cross Entropy : 동일하게 정보를 표현한다.비효율적인 것 (코딩을 못한것) KL 다이버전스 : Entropy - Cross entorpy + 양수가 되는것 2024. 3. 6.
Direct Preference Optimization: Your Language Model is Secretly a Reward Model 리뷰 안녕하세요 오늘 소개해드릴 논문은 지난 Upstage에서 공개한 모델 Solar의 학습 기법인 DPO입니다. 최근 지도학습 기법으로 떠오르고 있는 DPO인데요. 요즘 LLM Fine-tunning에 많이 쓰이고 있는 방법입니다. 사실 강화학습 분야가 되게 어렵다는 것도 알고 있지만 생각보다 보다 보면 흥미로운 내용이 많았던 거 같습니다. 제일 유명한 PPO 거의 진한 곰탕급으로 우려진 방법론인데요. PPO의 핵심 아이디어는 손실 함수에 특정 제약을 추가하여, 새로운 정책이 이전 정책으로부터 너무 멀어지지 않도록 하는 것입니다. 이를 통해 학습 과정에서 발생할 수 있는 큰 정책 변동을 방지하고, 안정적인 학습을 유도합니다.RLHF와 연관해서 데이터를 통해 반영을 할 수도 있는 메커니즘이라고 볼 수 있습니다.. 2024. 3. 6.
LoRA+: Efficient Low Rank Adaptationof Large Models 짧은 논문리뷰 안녕하세요 Simon입니다. NLP LLM 논문을 읽다 보면 방대한 양에 지칠 때가 있는데요. 과연 이 논문을 다 읽더라도 나에게 명확하게 인사이트를 줄 수 있을까? 란 생각이 항상 듭니다. 고효율은 아니라고 생각되어서, 이제 제가 필요한 인사이트가 아니라면? 과감하게 Abstrack 정도와 필수 개념만 보고 요약을 하려고 합니다. 아마 비슷하게 생각하실 거라고 생각합니다. 오늘 리뷰해 드릴 논문은 LoRA+ 튜닝의 기존의 방법론보다 더 성능을 개선시키는 LoRA+라는 논문입니다. LoRA+: Efficient Low Rank Adaptation of Large Models In this paper, we show that Low Rank Adaptation (LoRA) as originally intr.. 2024. 3. 6.
SELF-DISCOVER: Large Language Models Self-Compose Reasoning Structures 리뷰 Self-Discover: Large Language Models Self-Compose Reasoning Structures We introduce SELF-DISCOVER, a general framework for LLMs to self-discover the task-intrinsic reasoning structures to tackle complex reasoning problems that are challenging for typical prompting methods. Core to the framework is a self-discovery process whe arxiv.org 안녕하세요 Simon입니다. 오늘은 SELF_DISCOVER라는 또 한 번 CoT를 넘어서는 방법론에 대해서.. 2024. 3. 6.
Corrective Retrieval Augmented Generation 리뷰 안녕하세요 오늘 소개해드릴 논문은 Corrective RAG라는 주제의 논문입니다. 사실 설에 링크드인과 트위터 알람에서 자꾸 이 실험에 관련된 게시글이 많이 보였습니다. 아 이거 중요하겠구나 싶어서 오늘 읽고 리뷰를 하게 되었습니다. 언제나 제 논문은 한글 번역 후 요약정리 중요하게 생각되는 점을 기록하면서 리딩을 하고 있습니다. 참고해 주시길 바랍니다. 논문 원본 Corrective Retrieval Augmented Generation Large language models (LLMs) inevitably exhibit hallucinations since the accuracy of generated texts cannot be secured solely by the parametric knowl.. 2024. 3. 6.
Transformer Mechanism 이란? Attention Mechanism 이란? 어텐션이란? 풀고자 하는 Task의 핵심이 되는 정보를 찾아서 집중한다! 주의 주목, 관심 흥미, 뉴진스 어텐션! 등 다양한 뜻으로 쓰이고 있습니다. 자연어 처리 NLP 분야의 혁신으로 이끈 논문 All yo hyun941213.tistory.com Attention mechanism을 돌이켜보며 오늘은 Transformer mechnisim을 알아보겠습니다. - RNN 계열의 신경망의 순차적 연산은 병렬 연산을 할 수 없도록 한다. - LSTM, GRU 을 사용한다고 하더라도, 긴 문장에 대해서는 성능이 저하된다. - 어텐션 메커니즘은 RNN 계열 Seq2 seq 구조에 도입되어 기계번역에 성능을 상당 부분 개선 시킴 그런데 어텐션으로 모든 State를 접근 .. 2024. 3. 6.

티스토리툴바