Bert2 Searching for Best Practices in Retrieval-Augmented Generation 리뷰 Searching for Best Practices in Retrieval-Augmented GenerationRetrieval-augmented generation (RAG) techniques have proven to be effective in integrating up-to-date information, mitigating hallucinations, and enhancing response quality, particularly in specialized domains. While many RAG approaches have been proposedarxiv.org 오랜만에 논문리뷰를 하는 것 같네요. 링크드인으로 요즘 트렌드나 기술을 팔로 업하고 있는데 'RAG를 최적화하기 위한 필독 논문.. 2024. 7. 17. [3/27] Text embedding 관련, BERT , MTEB BERT - 교차인콛더를 사용해서 문장과 문장의 유사성의 점수를 매기는 구조 SBERT - 버트의 성능은 유지 하되 더 가볍게 ! 특징 : 문장 단위의 임베딩(input 구조를 단을 문장으로 축소), 샴네트워크 구조(문장 페어별 벡터 연산대신 , 단일문장 단위의 샴쌍둥이 처럼 또하나 생성해서 두문장간 유사성 예측 연습, 이를 통해 임베딩 벡터는 서로의미가 비슷한 문장일 수록 벡터공간 내에, 거리도 가깝게 애초에 표현하도록 네트워크 학습) MTEB : Massive Text Embedding Benchmark 임베딩을 평가하는 8가지의 지표가 있다 Bitext Mining (번역성능) Classification (분류성능) Clustering (클러스터 라벨링 성능) Pair Classification (.. 2024. 3. 27. 이전 1 다음
