Deepmind2 효과적인 Attention 매커니즘 infini-attention 의 Code 리뷰 https://github.com/jlamprou/Infini-Attention/blob/main/infiniAttention.py Infini-Attention/infiniAttention.py at main · jlamprou/Infini-Attention Efficient Infinite Context Transformers with Infini-attention Pytorch Implementation + QwenMoE Implementation + Training Script + 1M context keypass retrieval - jlamprou/Infini-Attention github.com + 블로그가 잘안보이는 관계로 https://github.com/jh941213/Code_revi.. 2024. 4. 18. [Tech Report] Gemma: Open Models Based on GeminiResearch and Technology Gemma: Introducing new state-of-the-art open models Gemma is a family of lightweight, state\u002Dof\u002Dthe art open models built from the same research and technology used to create the Gemini models. blog.google 안녕하세요 Simon 입니다. 오늘 소개해드릴 논문은 Google 의 새로운 Open Source LLM "Gemma" 입니다. LLaMA 의 영향일까요? 빅테크 기업들도 앞다투어 오픈소스 모델을 공개하고 있는데요. OpenAI 도 조만간 공개할듯합니다. 과연 Gemini 기반의 Gemma 는 어떻게 탄생한것인지 리뷰해보겠습니.. 2024. 3. 5. 이전 1 다음
