encoder1 Transformer Mechanism 이란? Attention Mechanism 이란? 어텐션이란? 풀고자 하는 Task의 핵심이 되는 정보를 찾아서 집중한다! 주의 주목, 관심 흥미, 뉴진스 어텐션! 등 다양한 뜻으로 쓰이고 있습니다. 자연어 처리 NLP 분야의 혁신으로 이끈 논문 All yo hyun941213.tistory.com Attention mechanism을 돌이켜보며 오늘은 Transformer mechnisim을 알아보겠습니다. - RNN 계열의 신경망의 순차적 연산은 병렬 연산을 할 수 없도록 한다. - LSTM, GRU 을 사용한다고 하더라도, 긴 문장에 대해서는 성능이 저하된다. - 어텐션 메커니즘은 RNN 계열 Seq2 seq 구조에 도입되어 기계번역에 성능을 상당 부분 개선 시킴 그런데 어텐션으로 모든 State를 접근 .. 2024. 3. 6. 이전 1 다음
