본문 바로가기

전체 글137

DeepPCR : Parallelizing Sequential Operations in Neural Networks 리뷰 안녕하세요 Simon 입니다. 애플이 AI 쪽으로 많이 약하다는 평가가 항상 있는데 슬슬 시동을 거는듯 해보입니다. DeepPCR 이라고 신경망관련해서 기술 개선을 한 논문을 발표를 해서 가져와봤습니다. 애플 공식 홈페이지 머신러닝 리서처에도 올라갔습니다. Introduction 오늘날의 머신러닝과 딥러닝 연구는 복잡성이 증가함에 따라 효율적인 계산 방법에 대한 필요성이 점점 더 커지고 있습니다. 이러한 맥락에서 최근 발표된 논문 "DeepPCR: Parallelizing Sequential Operations in Neural Networks"는 주목할 만합니다. 이 논문은 신경망에서 전통적으로 순차적으로 처리되던 연산을 병렬화하는 새로운 알고리즘, DeepPCR을 제안합니다. Abstract Deep.. 2024. 3. 5.
On the Road with GPT-4V(ision): Early Explorations of Visual-Language Model on Autonomous Driving 리뷰 안녕하세요 현재김입니다. 여러 AI 관련 뉴스레터를 받아보고 있는데 재밌어보이길래 한번 들어가서 봤습니다. On the Road with GPT-4V(ision): Early Explorations of Visual-Language Model on Autonomous Driving The pursuit of autonomous driving technology hinges on the sophisticated integration of perception, decision-making, and control systems. Traditional approaches, both data-driven and rule-based, have been hindered by their inability to gra.. 2024. 3. 5.
[Tech Report] Gemma: Open Models Based on GeminiResearch and Technology Gemma: Introducing new state-of-the-art open models Gemma is a family of lightweight, state\u002Dof\u002Dthe art open models built from the same research and technology used to create the Gemini models. blog.google 안녕하세요 Simon 입니다. 오늘 소개해드릴 논문은 Google 의 새로운 Open Source LLM "Gemma" 입니다. LLaMA 의 영향일까요? 빅테크 기업들도 앞다투어 오픈소스 모델을 공개하고 있는데요. OpenAI 도 조만간 공개할듯합니다. 과연 Gemini 기반의 Gemma 는 어떻게 탄생한것인지 리뷰해보겠습니.. 2024. 3. 5.
[Tech Report] Nemotron-4 15B Technical Report 안녕하세요 오늘 소개해드릴 논문 리뷰는 Nvidia의 오픈소스 언어모델 Nemotron-4 15B입니다. 기존의 엔비디아도 오픈소스 생태계를 위한 언어모델 네모트론을 시리즈별로 발표하기는 했었는데 반응이 그럭저럭이었습니다. 3 같은 경우 Access 신청을 받아서 써볼 수가 있었는데요. 현재 허깅페이스에는 네모트론 3가 업로드가 돼있긴 합니다. nvidia/nemotron-3-8b-base-4k · Hugging Face Nemotron-3-8B-Base-4k Model Overview License The use of this model is governed by the NVIDIA AI Foundation Models Community License Agreement. Description Nemot.. 2024. 3. 5.
Attention Mechanism 이란? 어텐션이란? 풀고자 하는 Task의 핵심이 되는 정보를 찾아서 집중한다! 주의 주목, 관심 흥미, 뉴진스 어텐션! 등 다양한 뜻으로 쓰이고 있습니다. 자연어 처리 NLP 분야의 혁신으로 이끈 논문 All you need is attention 이란 논문을 다들 읽어보셨을 거라고 생각합니다. Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder th.. 2024. 3. 5.
데이터 사이언티스트 특강 머신러닝 데이터 에서 패턴을 찾는다. 라이트 지비엠 : 테이블 데이터에서 가장 성능이 잘나오는 알고리즘 (실무) 분류 / 군집의 차이? 군집 : 비슷한걸 묶어서 공부 차원축소 : 요약 한국 - 서울 + 도쿄 =? RESULT = 일본 mlops? : 모델을 경량화 하여 다른언어로 바꿔서 만들어주는것 은행 통폐합의 이탈 예측모형? 어떻게 만들수 있을까? Fundamental : 기초 역량 - 선형대스, 미적분 등 최적화 행렬연산에 필요한 기본적 수학지식 : youtube의 3blue1brown 채널 https://www.youtube.com/c/3blue1brown - 딥러닝에 대한 깊이 있는 이해 : Coursera Deeplearning.ai 강의 Github , Blog ,Notion.so 등 에디팅.. 2022. 11. 17.

티스토리툴바