본문 바로가기

전체 글128

나만의 원피스 루피 챗봇 만들기 with HyperClovaX Hyper CLOVA 스터디를 참여하게 되었다🙇이직준비와 이직 신입 적응기를 거치며 5월은 빠르게 흘러갔다. 매번 일을 벌이는 걸 좋아하는 나에게 찾아온 트리거 같은 역할 풀잎스쿨네이버클라우드의 하이퍼클로바 콜라보의 풀잎스쿨이hyun941213.tistory.com 저는 지금 HyperCLOVA X 스터디를 하고 있습니다. 풀잎스쿨을 통해서 캐릭터 페르소나 Chatbot을 구축하기 위해 Data 전처리를 하고 있는데요. 또 막차 HyperclovaX 스터디도 같이 진행하고 있습니다. 이 Luffy bot을 활용해서 저는 RAG system을 붙여서 현실세계에 있는 루피를 만들어보려고 합니다. 오늘은 제가 하이퍼크로버를 이용한 API 활용방법과 Data 증강 및 제가 경험했던 방법들을 공유해 볼까 합니다.. 2024. 6. 14.
Docker에 대하여 - (2) Docker build  컨테이너에서 할당한 포트 를 외부 네트워크 노출을 위해 호스트의 포트와 바인딩한다 .앞 (호스트 포트) : 뒤 (컨테이너 포트)docker run -dit -p 8000:80 nginxDockerfile : 명세서와 같다. 쿠버네티스에서의 YAMLdocker push : # 도커레지스트리docker run : # 호스트 도커 실행환경 도커파일 세부내용# 위에서 아래로 실행이 되는 Docker layerFROM python:3.11WORKDIR /codeCOPY ./requirements.txt /code/requirements.txt #현재 위치로 복사RUN pip install \ #실행 --no-cache-dir \ --upgrade \ -r /code/re.. 2024. 6. 13.
Docker에 대하여 - (1) 도커란?도커(Docker)는 리눅스 컨테이너에 여러 기능을 추가함으로써 애플리케이션을 컨테이너로서 더 쉽게 사용할 수 있게 만들어진 오픈 소스 프로젝트입니다. 가상머신의 장점과 단점가상머신은 완벽한 운영체제를 생성할 수 있다는 장점은 있지만 일반 호스트에 비해 성능 손실이 있으며, 수 기가바이트에 달하는 가상머신을 이미지를 애플리케이션으로 배포하기에는 부담스러운 단점이 있다.도커의 장점리눅스의 자체 기능인 chroot, 네임스페이스, cgroup을 사용하여 프로세스 단위의 격리 환경을 만들기 때문에 손실이 거의 없습니다. 컨테이너에 필요한 커널은 호스트의 커널을 공유하여 사용하고, 컨테이너 안에는 애플리케이션을 구동하는 데 필요한 라이브러리 및 실행 파일만 존재하기 때문에 컨테이너를 이미지로 만들었을 때.. 2024. 6. 13.
Chat Vector 를 통한 한국어 모델 튜닝 https://arxiv.org/abs/2310.04799 Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New LanguagesRecently, the development of open-source large language models (LLMs) has advanced rapidly. Nevertheless, due to data constraints, the capabilities of most open-source LLMs are primarily focused on English. To address this issue, we introduce the concept oa.. 2024. 6. 12.
Hyper CLOVA 스터디를 참여하게 되었다🙇 이직준비와 이직 신입 적응기를 거치며 5월은 빠르게 흘러갔다. 매번 일을 벌이는 걸 좋아하는 나에게 찾아온 트리거 같은 역할 풀잎스쿨네이버클라우드의 하이퍼클로바 콜라보의 풀잎스쿨이었다. LLM을 팔로우를 하는 나로선 Hyper CLOVA에 논문 리뷰 후 제대로 사용해 본 적이 없기 때문에, 이번 기회에 한번 파인튜닝도 해보고! 내 챗봇도 하나 딱 만들고! 여러 서비스에 붙여보고! 해볼 수 있을 거 같아서 신청을 하게 되었다. 풀잎이 시작하기 전, 또 하이퍼 클로바 막차 타기라는 SNS에서 스터디를 홍보하길래 에라 비슷하겠지 하고 무지성으로 신청을 했는데, 당첨이 되어서 팀으로 선발이 되었다. 일단 2개를 같이 한다는 점에서 피곤할 수 있지만 어느 정도 겹치는 부분이 많을 거라 생각해서 별 탈없이 할 수 .. 2024. 5. 30.
Vector DB의 Querying 검색방법(keyword, semantic, hybrid) 키워드 검색 (Keyword Search)속성 필터 (Attribute Filter)정의: 메타데이터를 기반으로 한 필터를 통해 자연어를 검색하는 방식입니다.장점:직관적이고 빠름: 구체적인 검색 요건에 맞춰 빠르게 결과를 제공합니다.고유명사 검색 시 정확: 명확하고 구체적인 키워드일 경우 높은 정확도를 보입니다.단점:유연성 부족: 검색 결과의 다양성과 유연성이 부족합니다.사용자의 검색 능력에 의존: 검색 품질이 사용자의 능력에 크게 좌우됩니다.스파스 벡터 검색 (Sparse Vector Search)정의: 문서 내 단어 은행을 기반으로 n-gram 벡터를 생성하여 검색을 수행합니다.장점:연관성 있는 문서 발췌 가능: 단어의 언급 빈도를 기반으로 관련 문서를 찾아냅니다.단점:유연성 부족: 텍스트의 의미를 .. 2024. 5. 8.

티스토리툴바