장점

• Dataset의 적용성이 좋다.
• 모델의 scalability가 좋다.

제대로 Labeling만 되어있는 Dataset 다른 모델 가지고도 충분한 비슷한 성능 낼 수 있음

scale-aware 성능 인상

실제 application 진화에 따라서 computing 하는 도구를 줄일 수가 있었음.

→ 산업 현장에서 응용할 때 가장 중요한 것.

NLP 도메인에서 성능 향상이 가장 힘든 application 예제 문자 생성 이런것의 breakthrough한 성능 향상을 이룰 수있었음.

모델과 데이터의 크기 관계가 sublinear하다

모델 트레이닝 시간 동안 무엇을 하는가?

시간 단축, f리소스 활용, :mPGU

Ex)

• Facebook: ResNet 50, DGX-1 x128, ImageNet 1시간컷
• IBM, Baidu, Uber, etc.

Tesnorflow는 kernel 위에 올려서 함, Horovod 는 PyTorch로.

TCP, RDMA 기술

NVIDIA SATURN V: DGX-1 660개(5,280개 GPU): 660petaFlops

병렬처리는 크게 두 가지가 있음