네이버3 Hyper CLOVA 스터디를 참여하게 되었다🙇 이직준비와 이직 신입 적응기를 거치며 5월은 빠르게 흘러갔다. 매번 일을 벌이는 걸 좋아하는 나에게 찾아온 트리거 같은 역할 풀잎스쿨네이버클라우드의 하이퍼클로바 콜라보의 풀잎스쿨이었다. LLM을 팔로우를 하는 나로선 Hyper CLOVA에 논문 리뷰 후 제대로 사용해 본 적이 없기 때문에, 이번 기회에 한번 파인튜닝도 해보고! 내 챗봇도 하나 딱 만들고! 여러 서비스에 붙여보고! 해볼 수 있을 거 같아서 신청을 하게 되었다. 풀잎이 시작하기 전, 또 하이퍼 클로바 막차 타기라는 SNS에서 스터디를 홍보하길래 에라 비슷하겠지 하고 무지성으로 신청을 했는데, 당첨이 되어서 팀으로 선발이 되었다. 일단 2개를 같이 한다는 점에서 피곤할 수 있지만 어느 정도 겹치는 부분이 많을 거라 생각해서 별 탈없이 할 수 .. 2024. 5. 30. HyperCLOVA X Technical Report 한글 요약 리뷰 하이퍼 크로버 관련 테크니컬 리포트가 드디어 나왔습니다. GPT-4 보다 한국어 성능만큼은 더 좋다고 계속 얘기되었던 만큼 어떻게 학습시키고 구조가 어떻게 되고, 데이터셋을 어떻게 구성했을지 궁금했는데 링크드인을 서칭 중에 네이버 AI 관련 일 하시는 분들이 업로드해서 리뷰를 해보게 되었습니다. 이번 논문은 전체 번역보다는 Summary Review로 각 단락별로 중요한 내용과 제 생각을 적는 방식으로 리뷰 했습니다. HyperCLOVA X Technical Report We introduce HyperCLOVA X, a family of large language models (LLMs) tailored to the Korean language and culture, along with competit.. 2024. 4. 6. SOLAR 10.7B: Scaling Large Language Models with Simple yet EffectiveDepth Up-Scaling 안녕하세요 Simon입니다. 오늘 소개해드릴 논문은 SOLAR 10.7B에 관한 논문입니다. 지금 FastCampus에서 Upstage의 파인튜닝 노하우 강의를 듣고 있는데 김성훈 CEO가 소개해준 내용과 연관해서 리뷰를 해보겠습니다. 강의를 수강하는데 계속 웃음꽃이 떠나질 않는 거 보면 확실히 현재 제일 hot 한 최전선에 있는 분야에서 최고가 된 만큼 얼마나 기쁠까 생각이 들긴 합니다. LLM의 평가지표는 여러 가지가 있습니다. H4는 4개의 데이터셋으로 평가한다는 의미인데요, 현재 H7 까지도 증가해서 평가를 받고 있습니다. 그 말은 즉슨 H4에서의 벤치마크가 높은데 H7에서는 떨어진다? 이 말은 모델이 그만큼 일반화가 되지 않은 모델이라고 생각해 볼 수 있습니다. LLM 평가지표에 대한 글은 제가.. 2024. 3. 5. 이전 1 다음
