LangChain8 HyperClova X 를 통한 RAG 기반 이력서 비서 나만의 원피스 루피 챗봇 만들기 with HyperClovaXHyper CLOVA 스터디를 참여하게 되었다🙇이직준비와 이직 신입 적응기를 거치며 5월은 빠르게 흘러갔다. 매번 일을 벌이는 걸 좋아하는 나에게 찾아온 트리거 같은 역할 풀잎스쿨네이버클라우드hyun941213.tistory.com 위 글을 시작으로 하이퍼크로버로 LLM을 여러 가지 시도를 많이 해봤던 것 같습니다. 여러 스터디도 진행하고 있고 최근에는 하이퍼크로버 막차 타기 Study의 모각코에 다녀왔습니다. 거의 제출하기 전 모여서 아이디어를 나누고 서로의 Insight도 나누고, 네트워킹을 하는 자리였습니다. 아무래도 막차 탑승이라는 주제이고, 누구나 스터디를 할 수 있다는 점에서 다양한 연령 인원 배경들이 있었습니다. 계속 루피를 업.. 2024. 7. 1. RAG 시스템 을 구축하기 위한 데이터 전처리 - PDF 다들 Navie RAG로 간단하게 ChatPDF의 형태로, PDF를 데이터로 집어넣고 청크 하고, 임베딩해서 벡터스토어에 넣고 레트리버를 만들어주고 쿼리가 들어오면 임베딩 해서 다시 벡터스토어에서 벡터서치를 통해 document의 page_content를 받아와서 prompt를 넣어주는 일련의 과정을 경험해 봤을 것입니다. RAG survey 에선 이 과정을 더 넘어 Advanced RAG 를 통해 RAG 성능을 극대화해야 한다 하고, 다양한 방법론들을 소개합니다. RAG 어떻게 하면 더 잘 할까?RAG(Retrieval-Augmented Generation)는 LLM(Large Language Model)의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 knoledg.. 2024. 6. 25. LangChain 을 활용한 Custom LLM 사용하기 (with HyperClova X) HyperClovaX에 2024 미쉐린 음식점을 학습시키자!나만의 원피스 루피 챗봇 만들기 with HyperClovaXHyper CLOVA 스터디를 참여하게 되었다🙇이직준비와 이직 신입 적응기를 거치며 5월은 빠르게 흘러갔다. 매번 일을 벌이는 걸 좋아하는 나에게 찾아온hyun941213.tistory.com HyperClova Study를 하면서 여러 데이터를 생성하는 방법과 Fine-tunning을 하는 방법을 다루었었는데요. 이제 RAG를 통해서 조금 더 하이퍼 크로버에게 정보를 제공하면서 더 좋은 답변을 만들기 위한 개발을 해보겠습니다. 크로버스튜디오에는 스킬트레이너라고 해서 OpenAI에서 GPT에게 지원하는 비슷한 기능이라 볼 수 있는 Function Calling과 같은 API 형태의 기.. 2024. 6. 20. RAG 어떻게 하면 더 잘 할까? RAG(Retrieval-Augmented Generation)는 LLM(Large Language Model)의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 knoledge data를 참조하도록 하는 Process입니다. LLM 은 방대한 양의 데이터를 기반으로 학습되며 수십억 개의 파라미터를 사용하여 질문에 대한 답변, 언어 번역, 문장 완성과 같은 Downstream task 작업에 대한 독창적인 결과를 생성합니다. RAG는 이미 강력한 LLM의 기능을 특정 도메인이나 조직의 내부 지식 기반으로 확장하므로 모델을 다시 학습시킬 필요가 없다고는 하지만 현재 시점에서 Hybrid RAG (RAG + Finetunning)을 같이 사용해서 성능을 극대화하는 방법과 RA.. 2024. 4. 9. 이전 1 2 다음
