Colab에서 CUDA out of memory 뜰 때: 배치사이즈·gradient accumulation·AMP로 해결하기
Colab에서 모델을 학습시키다가 RuntimeError: CUDA out of memory를 마주치면 진행 중이던 학습이 그대로 멈춰버립니다. 특히 무료 티어의 T4(16GB)나 Colab Pro의 A100 일부 사양에서도 배치 사이즈를 조금만 키우면 바로 터지는 경우가 많습니다. 이 글에서는 배치사이즈 조정, gradient accumulation, AMP(자동 혼합 정밀도) 세 가지를 실제 코드와 함께 조합하는 방법을 정리합니다. 단순히 “배치를 줄이세요”에서 끝나지 않고, 왜 그렇게 … Read more