본문 바로가기

전체 글128

AWS EKS(쿠버네티스) 쉽게 찍먹해보기 - 이론 컨테이너의 이점이동 가능성클라우드 배포 가능 (EC2, Lambda, EKS, Elastic Container Service , AWS App runner)확장성 (CPU 1개 → CPU4개, Scale up , Scale Out, Scale in) auto scaling지속적 배포 선언형 형식컨테이너는 마이크로 서비스에 적합 (모놀리스 -> 마이크로)현업에서는 수천개의 호스트 수만개의 컨테이너로 관리가 되고 있을 것이다.스케줄링클라우드네트워킹로드 밸런싱스토리지보안모니터링로깅쿠버네티스는 오픈소스 기반의 Google 에서 개발이 되었고 사용이 안정되었기 때문에 많이 사용한다.컨테이너의 이점과 더불어 강력한 커뮤니티가 있다. 하지만 쿠버네티스의 런닝커브는 처음에 배우기가 어렵다고 할 수 있다. PodSpec.. 2024. 6. 26.
RAG 시스템 을 구축하기 위한 데이터 전처리 - PDF 다들 Navie RAG로 간단하게 ChatPDF의 형태로, PDF를 데이터로 집어넣고 청크 하고, 임베딩해서 벡터스토어에 넣고 레트리버를 만들어주고 쿼리가 들어오면 임베딩 해서 다시 벡터스토어에서 벡터서치를 통해 document의 page_content를 받아와서 prompt를 넣어주는 일련의 과정을 경험해 봤을 것입니다. RAG survey 에선 이 과정을 더 넘어 Advanced RAG 를 통해 RAG 성능을 극대화해야 한다 하고, 다양한 방법론들을 소개합니다.  RAG 어떻게 하면 더 잘 할까?RAG(Retrieval-Augmented Generation)는 LLM(Large Language Model)의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 knoledg.. 2024. 6. 25.
HyperClova X 를 Sliding Window 활용하기 - 루피챗 기억 넣기 1편 단일 데이터셋으로 루피 페르소나 부여하기 나만의 원피스 루피 챗봇 만들기 with HyperClovaXHyper CLOVA 스터디를 참여하게 되었다🙇이직준비와 이직 신입 적응기를 거치며 5월은 빠르게 흘러갔다. 매번 일을 벌이는 걸 좋아하는 나에게 찾아온 트리거 같은 역할 풀잎스쿨네이버클라우드hyun941213.tistory.com  2편 멀티턴 데이터셋으로 루피 페르소나 및 미쉐린 데이터 정보 알려주기 HyperClovaX에 2024 미쉐린 음식점을 학습시키자!나만의 원피스 루피 챗봇 만들기 with HyperClovaXHyper CLOVA 스터디를 참여하게 되었다🙇이직준비와 이직 신입 적응기를 거치며 5월은 빠르게 흘러갔다. 매번 일을 벌이는 걸 좋아하는 나에게 찾아온hyun941213.ti.. 2024. 6. 21.
LangChain 을 활용한 Custom LLM 사용하기 (with HyperClova X) HyperClovaX에 2024 미쉐린 음식점을 학습시키자!나만의 원피스 루피 챗봇 만들기 with HyperClovaXHyper CLOVA 스터디를 참여하게 되었다🙇이직준비와 이직 신입 적응기를 거치며 5월은 빠르게 흘러갔다. 매번 일을 벌이는 걸 좋아하는 나에게 찾아온hyun941213.tistory.com HyperClova Study를 하면서 여러 데이터를 생성하는 방법과 Fine-tunning을 하는 방법을 다루었었는데요. 이제 RAG를 통해서 조금 더 하이퍼 크로버에게 정보를 제공하면서 더 좋은 답변을 만들기 위한 개발을 해보겠습니다. 크로버스튜디오에는 스킬트레이너라고 해서 OpenAI에서 GPT에게 지원하는 비슷한 기능이라 볼 수 있는 Function Calling과 같은 API 형태의 기.. 2024. 6. 20.
HyperClovaX에 2024 미쉐린 음식점을 학습시키자! 나만의 원피스 루피 챗봇 만들기 with HyperClovaXHyper CLOVA 스터디를 참여하게 되었다🙇이직준비와 이직 신입 적응기를 거치며 5월은 빠르게 흘러갔다. 매번 일을 벌이는 걸 좋아하는 나에게 찾아온 트리거 같은 역할 풀잎스쿨네이버클라우드hyun941213.tistory.com앞서 1편에서는 루피페르소나를 부여하는 것을 소개해드렸습니다. 사실 루피 세계관도 엄청 방대해서 원피스 세계관만 학습해도 큰 모험일 겁니다. 그러나 그 세계관은 원피스 팬들에게만 특화된 챗봇이라서 더욱 범용적인 챗봇으로 만들고 싶었습니다. 그래서 평소에 맛집을 많이 좋아하고 찾아다니는 편이라. 멀티턴 데이터를 학습시킬 데이터를 찾아보자! 생각을 했습니다. https://guide.michelin.com/kr/ko 미.. 2024. 6. 19.
Docker 에 대하여 - (3) Docker Compose Docker Compose - 손쉬운 컨테이너 관리 도구도커 스웜과 비슷하지만 조금은 다른 개념개발 환경에서 여러 복잡한 환경을 올려서 같이 실행하고 내릴떄 보통 사용을 한다. 비교사항Docker ComposeDocker Swarm사용환경개발 및 테스트프로덕션환경목적컨테이너 구성의 단순화멀티 호스트 컨테이너 관리스케일링단일 호스트멀티 호스트학습난이도비교적 쉬움비교적 어려움 Docker -> Docker-compose.yml -> | mysql,redis,elastic search -> App | 컨테이너  docker build . -t app fastapi-app:버전[이름]docker compose up # 도커 컴포즈 실행docker compose down # 도커 컴포즈 해제  docker com.. 2024. 6. 18.

티스토리툴바