huggingface6 Transformer Mechanism 이란? Attention Mechanism 이란? 어텐션이란? 풀고자 하는 Task의 핵심이 되는 정보를 찾아서 집중한다! 주의 주목, 관심 흥미, 뉴진스 어텐션! 등 다양한 뜻으로 쓰이고 있습니다. 자연어 처리 NLP 분야의 혁신으로 이끈 논문 All yo hyun941213.tistory.com Attention mechanism을 돌이켜보며 오늘은 Transformer mechnisim을 알아보겠습니다. - RNN 계열의 신경망의 순차적 연산은 병렬 연산을 할 수 없도록 한다. - LSTM, GRU 을 사용한다고 하더라도, 긴 문장에 대해서는 성능이 저하된다. - 어텐션 메커니즘은 RNN 계열 Seq2 seq 구조에 도입되어 기계번역에 성능을 상당 부분 개선 시킴 그런데 어텐션으로 모든 State를 접근 .. 2024. 3. 6. [Tech Report] Nemotron-4 15B Technical Report 안녕하세요 오늘 소개해드릴 논문 리뷰는 Nvidia의 오픈소스 언어모델 Nemotron-4 15B입니다. 기존의 엔비디아도 오픈소스 생태계를 위한 언어모델 네모트론을 시리즈별로 발표하기는 했었는데 반응이 그럭저럭이었습니다. 3 같은 경우 Access 신청을 받아서 써볼 수가 있었는데요. 현재 허깅페이스에는 네모트론 3가 업로드가 돼있긴 합니다. nvidia/nemotron-3-8b-base-4k · Hugging Face Nemotron-3-8B-Base-4k Model Overview License The use of this model is governed by the NVIDIA AI Foundation Models Community License Agreement. Description Nemot.. 2024. 3. 5. 이전 1 2 다음
