AIQ AIQ

ChatGPT로 발발된 언어모델 그리고 최근 눈부신 결과를 내고 있는 Foundation 모델에 대해서 궁금해졌다. 그래서, Survey를 통해 Foundation 모델 개발현황에 대해서 정리해보았다. 나중에 논문들을 차차 읽어가면서 확인해볼 예정이다. 또한 ChatGPT 등을 이용한 업무 효율화에 대해서 차곡차곡 정리해보려 한다. [Vision Foundation Model] Scaling Vision Transformers to 22 Billion Parameters - Model: ViT-22B (Vision Transformer 계열) - Model Size: 220억개 parameter - Dataset: 40억장 정도의 이미지들로 학습 - Training: 1024개의 TPU V4으로 학습 [..