티스토리

김덕배 기술블로그

검색하기

블로그 홈

김덕배 기술블로그

hyun941213.tistory.com/m

김덕배의 기술블로그

구독자: 17

방명록 방문하기

주요 글 목록

postgres db 기반 airflow 배치 작업 FastAPI 만들기 요즘 백엔드 작업을 하면서 자꾸 배치작업 관련 Task 가 주어지면서 아.. 안 할 수 없겠다 느낌이 들었습니다. Java와 다른 아키텍처에서 고통을 받고 있고 현업의 파이썬 코드는 생각보다 날 것 그 자체.. OpenSoruce가 양반이었나 생각이 들 정도로 어지럽습니다. 하여간 Airflow 서버가 안 떠있어서 그냥 나 혼자 DAG 관련 실습 공부 겸 정리해 보았습니다.Airflow란 무엇일까요?Airflow는 복잡한 데이터 파이프라인을 정의하고, 실행하며, 모니터링할 수 있는 강력한 도구입니다. 마치 레고 블록을 쌓듯이, 다양한 작업들을 연결하여 하나의 워크플로우를 만들 수 있죠. 이 워크플로우는 특정 시간에 자동으로 실행되도록 설정할 수 있으며, 작업의 진행 상황을 실시간으로 모니터링할 수 있습.. 공감수 0 댓글수 0 2025. 1. 15.
[Agent Study]RAG 성능을 올리기 위한 Context Retrieval 을 적용 요즘 에이전트를 만들다가 다시금 RAG 관련 툴을 만들면서 예전에 적용했었던 기법들을 재활용해보고 있습니다. 코드 레벨에서 구현은 해본 적은 없고, 가짜연구소 9th 잔디심기에서 관련내용을 발표를 한 적은 있는데요. RAG를 하면서 성능이 많이 개선되었던 기억이 있어서 이번에 새로운 Agent 프로젝트에 들어가면서 실제 사례에서 적용한 UseCase를 토대로 글을 작성해 봅니다. Introducing Contextual RetrievalAnthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.www.anthropic.com 원리는 매우 간단합니다.. 공감수 3 댓글수 0 2025. 1. 12.
파이썬에 Tibero 연결하기 과정 (Apple m1, m2) Docker 로 셋팅하기 개발망을 구축하는 과정에서 Tibero DB를 활용해야 했는데, 정부나 국내 스타트업에서 사용을 많이 하고 있는 걸로 알고 있었는데 실제로 처음 써보게 되어서, 과정을 기록해보려고 합니다. TmaxSoft Technical Network [technet-01] technet.tmax.co.kr 우선 리눅스 / 윈도우 버전이 있는데 저는 윈도에 설치해야 했지만 우선 테스트를 위하여 개발망 PC m2 chip에 설치를 해야 했습니다.이것만 보면 제 PC와 동일하다면 바로 따라칠 수 있게끔 기록해 두었습니다. 우선 홈페이지에 가입 후 티베로 Linux(x86) 64bit를 다운로드합니다. 2개를 다운로드 해야합니다. 하나는 메인 홈페이 2개를 다운로드 합니다. 데모 라이선스는 신청 후 메일로 xml 파일이 .. 공감수 0 댓글수 0 2025. 1. 7.
[가짜연구소] 금융에이전트 Stockelper 개발과정 깃잔심 5기 회고 1월 4일 가짜연구소 9th 깃허브에 잔디심기 일정이 모두 막을 내렸습니다. 처음에는 말 그대로 깃허브에 잔디심기 Commit의 목적으로 조금 러프하게 하지 않을까 생각했지만, 누구보다 프로젝트에 진심이었던 기잔심분들 덕에 동기부여도 되고 성장을 수집하지 않았나 생각합니다. 다시 한번 좋은 스터디를 마련해 주신 가짜연구소와 정한결 님에게 감사인사 드립니다. 스터디는 각자 원하는 프로젝트 개발과 함께 이 개발한 프로덕트를 통한 부가가치 창출이란 좋은 목표와 함께 매주 팀별 LLM Engineering 을 위한 handbook에 들어가기 위한 발표 자료를 공유하는 자리였습니다. 저 같은 경우는 Context Retrieval을 발표했지만 시간도 아쉽고 발표준비도 미숙해서 조금 아쉬움이 남는 발표였던 것 같습.. 공감수 1 댓글수 0 2025. 1. 5.
[Agent Study] LangGraph Human in the loop (경제 리포트 작성하기) Human in the loop 란 말이 agent 스터디를 하면서 많이 듣게되었다. 그래서 human in the loop 이 뭐고, 어떻게 쓰이고 활용하는지 공부해보기로 하였다. 간단하게 설명해서 인공지능이 task 를 처리하는 과정에서 인간이 개입해서 참여 성능을 향상시킨다는 개념이다. 실제 적용 사례의료 분야미국 국가 보건 서비스는 Amazon A2I를 활용하여:매월 5,400만 건의 처방전 데이터 처리신뢰도가 낮은 문서는 수동 검토보험금 지급 프로세스 효율화 달성Input data -> AI 가 예측 -> 신뢰도에 따라 높으면 ClientApplication으로 돌아가고, 낮은 자료는 사람이 검토하게 한다. 실제 사례로는 LangGraph 에도 있다. Iteration 기능과 사람의 개입이란 내.. 공감수 3 댓글수 0 2024. 12. 29.
[Agent Study] 에이전트를 활용하여 멀티 DB 연결 구축하기 요즘 Agent 관련 게시글들이 정말 많이 나오면서 참고를 할만한 글들이 너무 많아서 좋습니다. 문득 작년 봄, 여름 ChatGPT를 활용해 ChatBot 을 만들어야 한다는 미션과 함께, RAG가 처음 얘기가 막 나올때였는데요. 어떻게 하나 막 엄청 돌아다니고, LLaMA가 나오고 ChatGPT 4로 성능이 개선되고, 토큰얼 어쩌니 뭐니 할 때 였는데, 지금 돌이켜보면 시간이 해결을 해주는 것 같네요. WIZnet Official - Leading Internet Connectivity SolutionsDiscover WIZnet's leading role in providing innovative internet connectivity solutions, enhancing networks globa.. 공감수 0 댓글수 1 2024. 12. 20.
[Agent Study] Multi-Agent , Multi-tool 만들기 - (1) : Custom Tool 만들기 오늘은 멀티 Agent 를 구축하는 과정을 포스팅해보려고 합니다. 아마 시리즈 별로 만들 것 같은데 최대한 쉽게 저도 이해하고 공부하면서 해보려고 합니다. 대 에이전트 시대에 다양한 툴들이 있습니다. 이미 Function Calling 을 평소에 잘쓰던 분들은 익숙 할 수 있지만, 저도 LangGraph 노드를 만들면서, Tavily 를 가져다 쓰는 것도 좋지만 적재 적소에 내가 Tool 을 만들고 쓴다면 얼마나 좋을까 생각을 했었습니다. Agent 도구에는 CrewAI, AutoGen, LangGraph 다양한게 존재하지만 저는 랭그래를 기준으로 실습하려고 합니다. 흐름 제어, 분기 처리에 강점이 있다고 생각했고, 노드간 개별 분리를 통해 상호의존성이 낮다고 생각했고, 랭그래프도 프로덕트 레벨에선 쓰.. 공감수 0 댓글수 0 2024. 12. 18.
AWS Nova를 SuperNova 로 전환하기 (feat. LangGraph 멀티툴 에이전트) 정말 오랜만에 글을 쓰게 되었습니다. 너무 재밌어 보이는 모델 Nova가 나와서 이건 ~ 못 참지 하면서 달려왔습니다. AWS 도 Claude에 전략적인 투자를 하고 있어서 자체 LLM을 만드냐 안 만드냐 말이 많았는데, AWS Re:invent에서 'Nova'라는 재미있는 모델을 내놓았습니다. 간단하게 노바에 대해 설명드리면 Tier 별로 나눠져 있지만 한 줄로 GPT-4o 성능인데 가격이 75% 저렴하다! 재밌는점은 Premier 상위 모델이 안 나왔다는 점입니다. 일단 프런티어 모델들의 흐름은 이미 학습은 충분하고 추론 과정에서 CoT와 같은 효율적인 리즈닝과정을 거쳐서 답변을 최적화로 뽑는 형태로 많이 빅테크들이 전환을 하고 있는데, 아마 Premier 도 gpt-o1처럼 그런 느낌의 모델이 아닐.. 공감수 1 댓글수 0 2024. 12. 6.
LangChain 으로 HyperClovaX 적용하는 방법 오랜만에 포스팅하게 되는데 정말 그동안 많은 일들이 있었네요. 오늘은 Stockelper를 개발하는 과정에서 랭체인과 하이퍼크로버를 결합하기 위해 겪었던 과정들을 포스팅해봅니다. LangChain 을 활용한 Custom LLM 사용하기 (with HyperClova X)HyperClovaX에 2024 미쉐린 음식점을 학습시키자!나만의 원피스 루피 챗봇 만들기 with HyperClovaXHyper CLOVA 스터디를 참여하게 되었다🙇이직준비와 이직 신입 적응기를 거치며 5월은 빠르게 흘러갔다.hyun941213.tistory.com 예전에 CustomLLM 기능을 참고해서 클래스를 상속받아서 구현하는 형태로 구현을 한 적이 있는데요. 이 때도 이상하게 Stream 기능이. 잘 동작하지 않았습니다. 아.. 공감수 1 댓글수 1 2024. 10. 30.
실전 RAG로 역량강화하기 - 멀티모달 프로토타입 실전 RAG으로 역량 강화하기실전 RAG 같이 만들면 만들 수 있지 않을까? RAG 랭체인이나 라마인덱스로 사용은 해봤는데 성능이 안좋은기억이 분명 있을 겁니다. 이번 기회에 Graph DB, Agent 형태의 RAG 등 다양한 기법들을 같이modulabs.co.kr실전 RAG 역량 강화하기 스터디는 이제 본격적으로 개발하는 단계에 들어갔습니다. 스터디원 분들이 다양한 주제로 여러 가지 RAG use-case를 준비해 주셔서 마지막 회고날이 기대가 되는 스터디입니다. 매주 저희는 발표를 하고 있기 때문에 RAG로 발표를 할걸 찾다가 일단.. 프로토타입이나 만들어두고 떠들자 생각이 들었고, 한번 만들어봤습니다. 저는 이런 프로젝트를 기획하고 있었습니다. 이미 이전에 LangChain 과 gemini로 .. 공감수 0 댓글수 0 2024. 9. 5.
CrewAI 로 LLM Agent 푹 담궈 찍어먹어보기 예전에 LangGraph를 활용해서 에이전트 찍어먹어 보기를 실행해 본 적 있습니다. 이전에도 Self-RAG, C-RAG와 같은 논문체를 구현하기 위해 Agent를 사용하는 코드도 작성해 보았는데요. HyperClova X 에 LangGraph 적용하기 A to ZHyperClova X 를 통한 RAG 기반 이력서 비서나만의 원피스 루피 챗봇 만들기 with HyperClovaXHyper CLOVA 스터디를 참여하게 되었다🙇이직준비와 이직 신입 적응기를 거치며 5월은 빠르게 흘러갔다. 매번hyun941213.tistory.com 이번엔 조금 더 쉬워진 Agent 활용 도구라고 할 수 있는 CrewAI를 통해 주제를 정하고, 역할에 맞는 기능부여를 하고 마지막 한국어 특화모델 하이퍼크로버를 활용해서 조.. 공감수 2 댓글수 0 2024. 9. 4.
실전 RAG로 역량강화하기 - RAG 에서 중요한 문서 파일 처리 실전 RAG으로 역량 강화하기실전 RAG 같이 만들면 만들 수 있지 않을까? RAG 랭체인이나 라마인덱스로 사용은 해봤는데 성능이 안좋은기억이 분명 있을 겁니다. 이번 기회에 Graph DB, Agent 형태의 RAG 등 다양한 기법들을 같이modulabs.co.kr현재 모두의 연구소에서 진행하고 있는 스터디로 제가 퍼실리로 활동을 하고 있습니다. 이 글을 쓰게 된 이유는 주간 공부한 것을 정리하고 스터디에서 나온 insight를 정리할 겸 글을 정리해보려고 합니다. 저희 스터디 같은 경우는 하브루타 방식의 스터디로 와서 공부하는 방식입니다. 1~3주 차까지는 domain 선정 후 기능 아키텍처 정의를 하고 RFP처럼 문서를 작성하고 PT 발표를 3주 차에 진행하고 4주 차부터는 구현을 10주 차까지 .. 공감수 0 댓글수 0 2024. 8. 27.
실전 데이터를 활용한 LLM Fine-tunning, RAG 적용해보기 (EXAONE Finetuning) - (1) 요즘 회사에서는 LLM과 관련된 업무를 하지는 않지만 LLM 에 대한 꾸준한 포스팅을 해보려고 합니다. Dacon 에서 대회를 하고 있는데 마침 RAG 스터디를 하기도 했고, Advanced RAG 를 막상적용할 도메인이 마땅하지 않다고 생각한 차에 좋은 대회가 있어서 해보게 되었습니다. 재정정보 AI 검색 알고리즘 경진대회 - DACON분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다.dacon.io글쓰는 날 기준으로 대회가 끝나가긴 하지만 그동안 이 대회를 해보면서 다양한 공부도 하였고, 다시 LLM 을 파인튜닝 해볼 기회가 생겨서 정리할겸 써봅니다. 현재 저는 순위자체는 10위 ~ 20위권 왔다갔다하고 있습니다. 아무래도 평가지표가 F1 Score 로 submission 을.. 공감수 2 댓글수 3 2024. 8. 22.
하이퍼클로바 X 프로젝트 회고 3달여간 참여했던 프로젝트에 대해 회고를 해볼까 합니다. 모두 네이버의 토종 한국어 LLM 하이퍼클로바 X로 진행되었는데, 시작은 사실 이직을 하고, 느슨해질까봐 신청한 스터디가 시작이었습니다. 저를 일단 혹사시켜보자 생각으로 하이퍼클로바 스터디 및 해커톤을 다 신청을 했었는데 결과적으로 좋은 리턴값이 되어 되돌아왔습니다. 또 8월 27일 네이버클라우드 테크원에서 유저 커뮤니티에서 연사를 하게 되었습니다. 위 프로젝트를 진행하면서 제가 배운 팁과 노하우를 공유하려고 합니다! 1. 풀잎스쿨 - 대규모 한국어 모델 HyperCLOVA X를 직접 튜닝하여 나만의 캐릭터 챗봇 만들기 NaverCloud 의 Green Developers X 모두의 연구소와 함께 스터디를 진행했는데요. 주니어 마스터 현석님과 .. 공감수 0 댓글수 0 2024. 8. 16.
1년간 AI로만 개발한 사람의 팁과 노하우 X의 Alexander Isora 👽님(@alexanderisorax)I stopped writing code entirely in 2024. I only copy-paste code generated by AI ✌️🤓 How do I do that? 10 hints: Hint 1: if you have a creative task such as code architecture, you want to use so called chain of thoughts. You add "Think step-by-step"x.com평소와 같이 커뮤니티들을 둘러보다가 재밌는 글이 있어서 제가 ChatGPT, Claude를 구독 사용하면서 썼던 방법들과 코드 생성 방법 다양한 팁을 정리해 볼까 합니다. 글쓴이는 24년.. 공감수 2 댓글수 0 2024. 8. 12.
Gemini와 LangChain을 활용한 멀티모달 삼진 하이라이트 시스템 AI가 바꾸는 스포츠 중계 서비스 혁신: AI 하이라이트/AI 캐스터 devocean.sk.com 위 글을 읽고 너무 재밌고 혁신적인 아이디어라고 생각해서 비슷하게 만들어보았습니다. 옛날부터 Gemini가 멀티모달로 학습을 시켜서 멀티모달의 선두주자 아닌가 생각했었는데, 막상 다른 Claude, ChatGPT 가 텍스트 성능이 워낙 좋다 보니 잘 쓸 기회가 없었습니다. 근데 문득 KT 야구 경기를 보다가 하이라이트가 있는데 이것도 결국 나중에 AI 가 해줄 수 있지 않을까? 생각을 했습니다. 스포츠가 다양하지만 일단 야구와 투수의 삼진으로 좁혀야 개발이 가능할 듯 싶어서, 좁혀서 진행해 보았습니다. 위처럼 사람이 직접 공수를 거쳐서 삼진아웃 전 영상을 클립으로 보통 만드는데 이걸 AI에게 맡겨보자? 이.. 공감수 1 댓글수 0 2024. 7. 30.
나혼자 만드는 금융권 LLM Assistant - (1) 페르소나 모델 만들기 본 프로젝트는 RAG PipeLine을 구축하기 위한 개인 학습용 프로젝트입니다. 콘셉트는 경제유투버 슈카 님의 말투를 페르소나 화해서 RAG 정형/비정형 데이터 마트를 구축하여 RAG를 통한 QA 봇을 만들어볼 생각입니다. 처음 했던 루피 봇도 나름 만족하는 결과를 산출했었고, 스터디도 현재 ing 중이고 풀잎스쿨에서 RAG 스터디를 열었기 때문에 거기에 사용할 backbone 모델로 위 모델을 활용할 계획에 있습니다. 슈카월드대한민국 의 금융인이자 인터넷 방송인 . 서울대학교 경제학부 를 졸업하고, 이베스트투자증권 에서 채권 프랍트namu.wiki 슈카월드 나무위키에서 3.8 어록을 통하여 페르소나학습을 할 수 있게 Instruction 을 설정해서 학습을 진행합니다.sys_prompt = '''#.. 공감수 2 댓글수 1 2024. 7. 19.
Searching for Best Practices in Retrieval-Augmented Generation 리뷰 Searching for Best Practices in Retrieval-Augmented GenerationRetrieval-augmented generation (RAG) techniques have proven to be effective in integrating up-to-date information, mitigating hallucinations, and enhancing response quality, particularly in specialized domains. While many RAG approaches have been proposedarxiv.org 오랜만에 논문리뷰를 하는 것 같네요. 링크드인으로 요즘 트렌드나 기술을 팔로 업하고 있는데 'RAG를 최적화하기 위한 필독 논문.. 공감수 2 댓글수 0 2024. 7. 17.
Docker Container 이해하기 - Dockerfile Dockerfile▶ 도커 이미지의 인프라 구성을 기술한 파일 Dockerfile referenceFind all the available commands you can use in a Dockerfile and learn how to use them, including COPY, ARG, ENTRYPOINT, and more.docs.docker.com From 명령FROM [AS ]FROM [:] [AS ] dokcer image builddocker image build -t : [Context PATH] Dockerfile FROM 명령과 docker image build # 1. 이미지 작업할 폴더를 생성하고 이동한 후 Dockerfile 편집mkdir -p ~/buildlab/from .. 공감수 0 댓글수 0 2024. 7. 12.
Docker Container 이해하기 - (4) image 명령어, 도커파일 Docker login#도커 로그인docker login -u kdb17saccess token 입력Docker pushdocker push /:Docker pulldocker pull username/repository:tagDocker Tag docker image tag repository/name:tag repository/name:tag[변경값]Docker rmdocker image rm repository/name:tagDocker image inspectdocker image inspect Docker image prune docker image prune -a 공감수 0 댓글수 0 2024. 7. 12.
Docker Container 이해하기 - (3) UFS(Union File System) ▶ “union mount”를 구현하고 Layer를 생성하여 작동하는 파일 시스템 ▶ 도커는 “copy-on-write”기술과 UFS를 사용하여 컨테이너에 대한 빌딩 블록을 제공하여 매우 가볍고 빠르게 동작함 Docker 용어 Docker HUB ▶ docker 공식 이미지를 관리하는 무료 레지스트리▶ 개인이 작성한 Docker 이미지도 공개 가능 Docker Hub Container Image Library | App ContainerizationIncrease your reach and adoption on Docker Hub With a Docker Verified Publisher subscription, you'll increase trust, .. 공감수 0 댓글수 0 2024. 7. 12.
Docker Container 이해하기 - (2) ###### GUI 프로그램 ######nautilus # 파일탐색기gnome-system-monitor # 작업관리자gedit # 노트패드watch docker container ls -a # 컨테이너 목록 조회chrome # 크롬 브라우저dcrmall # 컨테이너 전체 삭제도커 명령어의 이해 도커 설치 방법curl -sSL https://get.docker.com | sh #최신버전 설치#docker 운영에 필요한 필수 패키치 설치yum install -y yum-utils#docker repository 추가 yum-config-manager --add-repo https://do.. 공감수 0 댓글수 0 2024. 7. 11.
Docker Container 이해하기 Container는 가상환경과 제일 비교가 많이 된다. 가상머신 과 Container 차이- 가상머신은 OS 기 때문에 부팅과정을 거쳐야한다.- 성능손실이 발생한다.- 격리된 환경을 제공받기 위해 쓰는 것 컨테이너 특징- 호스트와 애플리케이션을 분리 : os level 가상화- 적은 시스템 리소스와 디스크 공간 소비- 리소스 사용에 유연성과 효율성 제공- 가상머신과는 달리 개별적인 커널을 갖지 않음. 컨테이너 기반 기술▶ Cgroup- 리소스에 대한 제한과 우선 격리를 제거 ▶ namespace- 애플리케이션에 대한 격리(isolation) 환경을 제공 (docker 회사 때문에 사실상 널리 퍼지게 되었음)linux TIP. (명령어) nautilus # 파일탐색기 (GUI)gnome-system-.. 공감수 0 댓글수 0 2024. 7. 11.
FastAPI 기초부터 A to Z 기본적인 웹서비스 구조 유저 -> 클라이언트 -> 서버 Fast API FastAPI는 현대적이고, 빠르며(고성능), 파이썬 표준 타입 힌트에 기초한 Python의 API를 빌드하기 위한 웹 프레임워크입니다.-> GPT API를 사용하는것처럼 결과를 리스폰해줄 수 있게끔 가능함 FastAPIFastAPI framework, high performance, easy to learn, fast to code, ready for productionfastapi.tiangolo.com pip install fastapipip install "uvicorn[standard]" 먼저 설치를 해준다. from fastapi import FastAPI app = FastAPI()@app.get("/")def read.. 공감수 0 댓글수 0 2024. 7. 10.
HyperClova X 에 LangGraph 적용하기 A to Z HyperClova X 를 통한 RAG 기반 이력서 비서나만의 원피스 루피 챗봇 만들기 with HyperClovaXHyper CLOVA 스터디를 참여하게 되었다🙇이직준비와 이직 신입 적응기를 거치며 5월은 빠르게 흘러갔다. 매번 일을 벌이는 걸 좋아하는 나에게 찾아온hyun941213.tistory.com AI 막차 타기 이후 하이퍼크로버에 적용할게 뭐가 없을까 생각해 보다가 LangGraph를 적용해 보자 생각이 들었습니다. 예전에 CRAG 논문 읽고 코드 구현 examples로 코드를 실행해 본 기억이 있었는데요. 그때 Github에 공개키로 올려서 150$이 삭제당한 적이 있어서 그 이후 랭그래프 쳐다도 안 보고 있다가 LangChain 밋업 코리아 테디노트님 연사를 유튜브에서 보고, 아 이거 .. 공감수 1 댓글수 0 2024. 7. 9.
[Azure AI] 손쉽게 Custom Vision 모델 활용하기 이번에 KT가 MS와 전략적 제휴를 맺은 만큼 Azure 관련한 클라우드 서비스를 알아보려고 합니다. 저도 이전 회사에서 Azure를 사용할 기회가 있었는데 제대로 써보질 못해서 아쉬웠는데 이번기회에 많이 써보려고 합니다. KT·마이크로소프트 ‘AI 동맹’… 한국에 수조원 공동투자KT·마이크로소프트 AI 동맹 한국에 수조원 공동투자 양사 전략적 파트너십 체결www.chosun.com포스팅하게 된 계기는 저도 Azure 초보자이고 아무래도 Cloud가 AWS 위주로 많이 포스팅이 되어있는 만큼 초보자들이 바로 검색해서 도움이 될 수 있기를 바라며 작성해 봅니다. 오늘 소개해드릴 콘텐츠는 Azure의 AI Custom Vision 기능입니다. 우선 Azure AI 를 활용하기 위해 Azure 평가판 첫 계.. 공감수 0 댓글수 0 2024. 7. 3.
HyperClova X 를 통한 RAG 기반 이력서 비서 나만의 원피스 루피 챗봇 만들기 with HyperClovaXHyper CLOVA 스터디를 참여하게 되었다🙇이직준비와 이직 신입 적응기를 거치며 5월은 빠르게 흘러갔다. 매번 일을 벌이는 걸 좋아하는 나에게 찾아온 트리거 같은 역할 풀잎스쿨네이버클라우드hyun941213.tistory.com 위 글을 시작으로 하이퍼크로버로 LLM을 여러 가지 시도를 많이 해봤던 것 같습니다. 여러 스터디도 진행하고 있고 최근에는 하이퍼크로버 막차 타기 Study의 모각코에 다녀왔습니다. 거의 제출하기 전 모여서 아이디어를 나누고 서로의 Insight도 나누고, 네트워킹을 하는 자리였습니다. 아무래도 막차 탑승이라는 주제이고, 누구나 스터디를 할 수 있다는 점에서 다양한 연령 인원 배경들이 있었습니다. 계속 루피를 업.. 공감수 0 댓글수 0 2024. 7. 1.
AWS EKS(쿠버네티스) 쉽게 찍먹해보기 - 이론 컨테이너의 이점이동 가능성클라우드 배포 가능 (EC2, Lambda, EKS, Elastic Container Service , AWS App runner)확장성 (CPU 1개 → CPU4개, Scale up , Scale Out, Scale in) auto scaling지속적 배포 선언형 형식컨테이너는 마이크로 서비스에 적합 (모놀리스 -> 마이크로)현업에서는 수천개의 호스트 수만개의 컨테이너로 관리가 되고 있을 것이다.스케줄링클라우드네트워킹로드 밸런싱스토리지보안모니터링로깅쿠버네티스는 오픈소스 기반의 Google 에서 개발이 되었고 사용이 안정되었기 때문에 많이 사용한다.컨테이너의 이점과 더불어 강력한 커뮤니티가 있다. 하지만 쿠버네티스의 런닝커브는 처음에 배우기가 어렵다고 할 수 있다. PodSpec.. 공감수 0 댓글수 0 2024. 6. 26.
RAG 시스템 을 구축하기 위한 데이터 전처리 - PDF 다들 Navie RAG로 간단하게 ChatPDF의 형태로, PDF를 데이터로 집어넣고 청크 하고, 임베딩해서 벡터스토어에 넣고 레트리버를 만들어주고 쿼리가 들어오면 임베딩 해서 다시 벡터스토어에서 벡터서치를 통해 document의 page_content를 받아와서 prompt를 넣어주는 일련의 과정을 경험해 봤을 것입니다. RAG survey 에선 이 과정을 더 넘어 Advanced RAG 를 통해 RAG 성능을 극대화해야 한다 하고, 다양한 방법론들을 소개합니다. RAG 어떻게 하면 더 잘 할까?RAG(Retrieval-Augmented Generation)는 LLM(Large Language Model)의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 knoledg.. 공감수 0 댓글수 0 2024. 6. 25.
HyperClova X 를 Sliding Window 활용하기 - 루피챗 기억 넣기 1편 단일 데이터셋으로 루피 페르소나 부여하기 나만의 원피스 루피 챗봇 만들기 with HyperClovaXHyper CLOVA 스터디를 참여하게 되었다🙇이직준비와 이직 신입 적응기를 거치며 5월은 빠르게 흘러갔다. 매번 일을 벌이는 걸 좋아하는 나에게 찾아온 트리거 같은 역할 풀잎스쿨네이버클라우드hyun941213.tistory.com 2편 멀티턴 데이터셋으로 루피 페르소나 및 미쉐린 데이터 정보 알려주기 HyperClovaX에 2024 미쉐린 음식점을 학습시키자!나만의 원피스 루피 챗봇 만들기 with HyperClovaXHyper CLOVA 스터디를 참여하게 되었다🙇이직준비와 이직 신입 적응기를 거치며 5월은 빠르게 흘러갔다. 매번 일을 벌이는 걸 좋아하는 나에게 찾아온hyun941213.ti.. 공감수 0 댓글수 0 2024. 6. 21.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.