본문 바로가기

quantization2

Vector DB의 Indexing 이란? Vector DB 인덱싱 개요 벡터 데이터베이스 인덱싱(Vector Database Indexing)은 고차원의 데이터를 효율적으로 관리하고 검색하기 위해 사용되는 기술입니다. 이 기술의 주된 목표는 검색 정확도와 검색 속도 사이의 최적의 균형(trade-off)을 찾는 것입니다. 인덱싱은 데이터를 구조화된 인덱스에 저장함으로써, 추후에 이루어지는 검색이 더 빠르고 정확하게 이루어질 수 있도록 합니다. 기술의 필요성 대용량의 데이터셋 내에서 특정 데이터를 빠르게 찾아내는 것은 매우 중요한 문제입니다. 특히, 이미지, 비디오, 오디오와 같은 멀티미디어 데이터들이나, 사용자의 선호도를 반영한 추천 시스템 등에서 사용되는 고차원 벡터들은 전통적인 데이터베이스 인덱스 기법으로는 효율적으로 관리하기 어렵습니다. .. 2024. 4. 23.
LoRA+: Efficient Low Rank Adaptationof Large Models 짧은 논문리뷰 안녕하세요 Simon입니다. NLP LLM 논문을 읽다 보면 방대한 양에 지칠 때가 있는데요. 과연 이 논문을 다 읽더라도 나에게 명확하게 인사이트를 줄 수 있을까? 란 생각이 항상 듭니다. 고효율은 아니라고 생각되어서, 이제 제가 필요한 인사이트가 아니라면? 과감하게 Abstrack 정도와 필수 개념만 보고 요약을 하려고 합니다. 아마 비슷하게 생각하실 거라고 생각합니다. 오늘 리뷰해 드릴 논문은 LoRA+ 튜닝의 기존의 방법론보다 더 성능을 개선시키는 LoRA+라는 논문입니다. LoRA+: Efficient Low Rank Adaptation of Large Models In this paper, we show that Low Rank Adaptation (LoRA) as originally intr.. 2024. 3. 6.