Build with AI (Google Developer Groups)

 

 

Build with AI United 2024 | Festa!

 

Build with AI united

행사 정보

• 행사명 : Build with AI United
• 날짜 및 시간: 2024년 4월 27일 (토) 오전 11시
• 장소: 강남 SC컨벤션

세션 1 : "백만 토큰 윈도우로는 무엇을 할 수 있을까? : Gemini 1.5 Pro와 새로운 가능성"

1. 언어 모델의 발전
   • BERT, Transformer 모델의 등장
   • GPT-3 (2020년), Gemini (2023년)
   • GPU 발전: 초기 100개에서 Llama3 시대의 40,000개로 증가
2. 공개 기반 모델의 확산
   • 2024년 4월 기준, 200개 이상의 기반 모델 존재
3. 언어 모델의 특성 및 발전 방향
   • 토큰: 텍스트를 작은 단위로 나누는 기본 요소 (예: 단어, 문장 부호)
   • 컨텍스트 윈도우: 언어 모델이 한 번에 처리할 수 있는 토큰의 최대 수
   • 창발 현상과 In-context learning: 모델이 훈련되지 않은 작업을 수행할 수 있는 능력
4. 기술적 제약과 해결책
   • 트랜스포머의 구조적 한계와 연산량 증가 문제
   • RAG, Fine-tuning 등을 통한 성능 향상
   • MoE (Mixture of Experts) 기법을 활용한 모델의 발전
5. Gemini 1.5 Pro의 특성
   • 백만 토큰 컨텍스트 윈도우: 대량의 데이터 처리 가능 (예: 70만 단어, 1시간 동영상, 11시간 사운드)
   • 컨텍스트 윈도우 확장의 장점: 장문의 텍스트 이해 및 요약, 대화형 AI의 맥락 파악 개선
   • 추후 Google 은 10M 까지 늘릴려고함.

결론 및 전망

• 백만 토큰 윈도우의 활용은 언어 모델의 능력을 혁신적으로 향상시킬 수 있음
• In-context learning의 향상을 통해 모델 교육의 필요성 감소, 파인튜닝 요구 사라짐
• 대용량 처리 능력으로 인해 텍스트 기반 문제 해결 및 언어 번역의 정확도 및 유창성 증대 예상

 

Build with the Gemini API  |  Google AI for Developers