dstackai/dstack

dstack — это control plane для провижининга GPU и оркестрации AI-нагрузок. Он нужен ML-инженерам и командам, которые запускают обучение и инференс на разнородном железе: в GPU-облаках, Kubernetes или на собственных серверах.

Ключевые возможности

• Единое управление GPU-вычислениями в облаках, Kubernetes, VM и bare-metal
• Поддержка NVIDIA, AMD, Google TPU и Tenstorrent из коробки
• Запуск обучения и инференса через CLI или API
• Настройка бэкендов для облаков и Kubernetes, SSH-флоты для on-prem
• Интеграция с NVIDIA Dynamo и поддержка PD disaggregation
• Экспериментальные presets для оптимизации инференса

Для каких задач подходит

• Запуск обучения моделей на GPU-облаках без ручного управления инфраструктурой
• Развёртывание инференса на Kubernetes или bare-metal кластерах
• Объединение разнородных вычислительных ресурсов под единым control plane
• Использование on-prem серверов через SSH-флоты без настройки бэкендов
• Работа с разными типами ускорителей в одном пайплайне

Подробнее

dstack работает как единый control plane: вы настраиваете бэкенды для GPU-облаков или Kubernetes, а для on-prem достаточно поднять сервер и создать SSH-флоты. Дальше обучение и инференс запускаются через CLI или API, а dstack сам распределяет нагрузку по доступному железу. Поддерживаются NVIDIA, AMD, Google TPU и Tenstorrent, так что один и тот же пайплайн можно гонять на разных ускорителях.

Отличие от решений, завязанных на один облак или Kubernetes, в том, что dstack стандартизирует управление вычислениями поверх разнородной инфраструктуры. В свежих версиях появились бэкенд Slurm, поддержка нескольких Kubernetes-кластеров, интеграция с NVIDIA Dynamo и PD disaggregation, а также экспериментальные presets для оптимизации инференса.

Обратить внимание стоит на то, что для работы через CLI или API нужен запущенный dstack-сервер, а для облаков и Kubernetes — предварительная настройка бэкендов. Проект распространяется под MPL-2.0.