AIQ AIQ

스탠포드에서 파운데이션 모델 투명도 지수(The Foundation Model Transparency Index)를 공개했다. https://github.com/stanford-crfm/TransparencyIndex GitHub - stanford-crfm/TransparencyIndex: Stanford CRFM's initiative to assess the transparency of major foundation model provid Stanford CRFM's initiative to assess the transparency of major foundation model providers. - GitHub - stanford-crfm/TransparencyIndex: Stanford CRF..

현재 관심있는 키워드는 Diffusion Model, Synthetic Data, Experience Replay, Knowledge Distillation 이다. 아래의 두 논문을 원래는 읽고 정리할려고 했는데... Diffusion Model 을 이용한 Synthetic Data Generation [2304.08466] Synthetic Data from Diffusion Models Improves ImageNet Classification (arxiv.org) Synthetic Data from Diffusion Models Improves ImageNet Classification Deep generative models are becoming increasingly powerful, now ..

ChatGPT로 발발된 언어모델 그리고 최근 눈부신 결과를 내고 있는 Foundation 모델에 대해서 궁금해졌다. 그래서, Survey를 통해 Foundation 모델 개발현황에 대해서 정리해보았다. 나중에 논문들을 차차 읽어가면서 확인해볼 예정이다. 또한 ChatGPT 등을 이용한 업무 효율화에 대해서 차곡차곡 정리해보려 한다. [Vision Foundation Model] Scaling Vision Transformers to 22 Billion Parameters - Model: ViT-22B (Vision Transformer 계열) - Model Size: 220억개 parameter - Dataset: 40억장 정도의 이미지들로 학습 - Training: 1024개의 TPU V4으로 학습 [..