soumitss спросил 2 месяца назад
Мужики, подскажите по железу. Обучаем нейросети, сейчас крутимся на паре рабочих станций с игровыми картами, но упёрлись в потолок: памяти не хватает, обучение идёт сутками, о больших моделях речи вообще нет. Пора переходить на нормальную серверную платформу. В серверном сегменте ориентируюсь плохо, не понимаю, что брать под обучение и какие платформы вообще актуальны. Что посоветуете из реально работающего под такие задачи?
hydrogen ответил 2 месяца назад
Здорово. Игровые карты для обучения это тупик, вы вовремя упёрлись. Под такие задачи нужен нормальный сервер для нейросети с серверными GPU и большим объёмом памяти — там и точность вычислений другая, и NVLink между картами, и ECC-память. Смотрите платформы Supermicro, у GetCore есть готовые решения, в том числе под несколько GPU в одном шасси. Ключевое отличие от станции: можно ставить четыре и больше карт, распределённое обучение работает нормально, а не через костыли. Стек обычно ставят сразу, CUDA и PyTorch развёрнуты. Совет: сначала посчитайте требуемый объём видеопамяти под ваши модели, от этого пляшет весь подбор.