VRAM часто является первым жестким ограничением
Для inference и многих ML workloads размер модели и batch size определяют, помещаются ли данные в память GPU. Если workload не помещается в доступную VRAM, даже более быстрый GPU может оказаться неправильным выбором. Начинайте с минимального требования по памяти.
Один большой GPU не всегда равен нескольким меньшим
Multi-GPU задачи зависят от поддержки со стороны software, коммуникации между устройствами и способа распределения работы. Rendering, inference и training используют несколько GPU по-разному, поэтому нужно заранее проверить, получает ли ваш framework реальную выгоду от выбранного количества устройств.
Не экономьте на CPU и RAM без анализа
GPU может простаивать, если CPU, память или storage не успевают подавать данные. Preprocessing, decompression, request handling и загрузка моделей используют ресурсы вне GPU, поэтому сервер должен быть сбалансирован целиком.
Storage throughput тоже важен
Модели, datasets, render assets и результаты могут занимать значительный объем. NVMe может быть важнее общей емкости, если данные постоянно читаются и записываются. В запросе указывайте и емкость, и требования к скорости.
Monthly dedicated GPU подходит для устойчивой нагрузки
ServerGeorgia предоставляет GPU инфраструктуру с помесячной оплатой, а не почасово. Эта модель подходит для постоянной нагрузки, предсказуемого доступа к одному и тому же hardware и стабильного окружения.
Опишите workload, а не только модель GPU
Если вы знаете нужный GPU, укажите его. Если нет, опишите framework, размер модели, VRAM, concurrency, storage и ожидаемую месячную нагрузку. Так команда сможет подобрать конфигурацию, а не просто предложить первый доступный GPU.