Hyper CLOVA 스터디를 참여하게 되었다🙇

이직준비와 이직 신입 적응기를 거치며 5월은 빠르게 흘러갔다. 매번 일을 벌이는 걸 좋아하는 나에게 찾아온 트리거 같은 역할 풀잎스쿨네이버클라우드의 하이퍼클로바 콜라보의 풀잎스쿨이었다. LLM을 팔로우를 하는 나로선 Hyper CLOVA에 논문 리뷰 후 제대로 사용해 본 적이 없기 때문에, 이번 기회에 한번 파인튜닝도 해보고! 내 챗봇도 하나 딱 만들고! 여러 서비스에 붙여보고! 해볼 수 있을 거 같아서 신청을 하게 되었다.

풀잎스쿨 하이퍼클로바 X

 

풀잎이 시작하기 전, 또 하이퍼 클로바 막차 타기라는 SNS에서 스터디를 홍보하길래 에라 비슷하겠지 하고 무지성으로 신청을 했는데, 당첨이 되어서 팀으로 선발이 되었다. 일단 2개를 같이 한다는 점에서 피곤할 수 있지만 어느 정도 겹치는 부분이 많을 거라 생각해서 별 탈없이 할 수 있지 않을까 생각한다. 또 BoostClass 멘토를 하고 있는데 8주 차에서 Hyper CLOVA를 훈련생이 서비스를 써보는 과정이 있기 때문에 결국 내가 써봐야 멘토링도 가능하지 않을까 생각했다.

 

+ 근데 이정도면 코칭스터디까지 포함하면 네이버와 4개(?) 일을 하고 있는데..

 

아무래도 막차탑승 프로젝트 챌린지에서는 블로그에 포스팅을 많이 하지 않을까 생각을 하고 있다.

 

나는 2주차 부터 풀잎스쿨을 참여했기 때문에, 우선 1주 차 퍼실이 님이 올려주신 글을 한번 훑고 갔다. 아무래도 정보의 초격차다 말이 많은 요즘 AI 관련해서 다양한 사람들이 배움을 하려는 게 느껴졌다. 나는 사실 요즘 원피스에 빠져있기 때문에 루피 페르소나를 넣어서 만들면 좋겠다 생각을 했었다. 루피 관련해서 mindmap을 그려보니 이건 그냥 원피스 소개 챗봇이었다. 그래도 루피 챗봇이라면 어느 정도는 알아야 할 테니.. 우려되는 건 저작권 일 수 있는데 뭐 상업적인 목적이 아니고 학습의 목적이고, 또한 데이터셋을 내가 루피의 형태로 자신감 넘치고 배짱 있는 캐릭터의 형태로 만들 것이기 때문에 크게 우려되진 않는다. credit을 20만 원 정도 받았는데 이전에 GPT3.5 튜닝을 해봤을 때 파인튜닝이 생각보다 가격이 들지 않아서 신기했었는데, 사실 데이터가 많지 않아서였지 않을까 싶은데 이번에는 500개 정도를 만든다. 턱 없이 모자라보이지만 이건 추가사항으로 나중에라도 더 넣어서 기획해 보면 재밌지 않을까 생각한다.

네이버 클라우드

 

요즘 안그래도 AWS 자격증 공부하는데 뭔가 익숙한 거 같기도 하면서 네이버만의 쉬운 UI다.

하이퍼클로바 스튜디오

 

 

하이퍼 클로바 스튜디오에 들어가면 이렇게 다양한 기능을 API로 지원을 한다.

 

 

Downstream task에 맞게 hyperclova를 사용할 수 있도록 튜닝용 모델도 가능하다. 잘해놨다.. huggingFACE 들어가서 문서요약 모델 만들려고 kogpt kobert 찾던 게 엊그제 같은데 깔딱깔딱 클릭 몇 번으로 가벼운 task는 수행이 가능하다.

 

하이퍼크로버를 인스트럭션 튜닝을 통해 조금 더 사용자 지침에 잘 응대하는 모델로 만들려고 한다. 일반적인 LLM과 동일하게 보인다

 

4가지 형태의 컬럼이 나오는데

C_ID : 데이터 index

T_ID : 멀티턴 관련 index

Text : 사용자 질문(instrction)

Completion : 모델로부터 요청받은 답변

 

이렇게 구성이 되어있다. UI 로 구현해 놓으니 정말 보기 좋고 편하다.. eos , bos , sos 등 json 토큰지옥들과 버무려진 LLM 데이터셋만 보다가 엑셀로 구성이 가능하게끔 csv 도 호환이 된다는 점이 정말 인상 깊었다. 

주의사항

 

 

익스플로러라는 곳에는 데이터확장, 생성, 토큰 계산기, 윈도, 문단나누기, 요약, 임베딩으로 보아 RAG를 할 때 필요한 도구들을 지원을 해주는 듯했다. 임베딩도 해준다고 하니.. 그렇다면 한글은 특화 아닐까..? 딴생각이지만 임베딩이 잘된다면, 이것만 갖다 쓰면 안 되나 한국어한정해서 그 생각도 했었다. 하여튼 다양하게 유저들에게 필요한 SDK를 지원을 해준다. 

샘플

익스플로러에서 샘플을 누르면 이렇게 시스템 프롬프트 즉 프롬프트 엔지니어링이 되어있고, 파라미터 값까지 네이버에서 여러 번 시도를 해본 결과에 대한 좋은 예제들을 만들어 두었으니 여기서 관련 프로젝트를 업데이트하면 더 편하지 않을까 생각했다.

 

생각보다 UI 가 직관적으로 잘 만들어져서 이건 초보자도 충분히 개발할 수 있겠다는 생각이 들었다.  유저들끼리 소통을 하면서 발전을 시킬 수 있는 포럼도 있다. 아마 조만간 대세에 흐름에 따라 멀티모달도 업데이트가 되지 않을까 조심스럽게 생각한다. 

 

아쉬운 점은 사용해 보면서 수학적인 능력이 조금 부족해 보였다. 그래서 데이터 셋에 수학적인 데이터 Gsm8k와 같은 math 데이터셋을 루피의 말 형태로 만든다면 페르소나 + 수학능력 보충 두 마리의 토끼를 잡던지.. 아니면 해보고 싶었던 금융권 쪽 정보를 넣어서 루피의 슈카월드를 이어갈 루피월드 이런 게 가능하지 않을까도 망상만 돌려보고 있다. 근데 데이터 구축하는 게 일이라서.. 걱정이긴 하다.

 

결론은 이번 스터디와 활동들을 통해서 내가 만든 산출물이 남들도 쓸 수 있는 범용적인 퀄리티정도까지 만들어보는 게 목표라고 할 수 있다. 느슨해진 나를 채찍 하기 위해 신청한 만큼 열심히 해봐야겠다.