AWS ajoute le partitionnement NVIDIA Multi-Instance GPU à l'inférence temps réel SageMaker
Unite.AI résume le lancement du 6 novembre: partitions isolées matériellement sur P4d/P5/G7/G7e.
Pourquoi c’est important
Selon Unite.AI, SageMaker Inference prend en charge le MIG NVIDIA pour partager un accélérateur entre modèles isolés sur des endpoints temps réel.
Faits clés
- Announced November 6, 2026 per Unite.AI coverage
- MIG for real-time endpoints using inference components
- Instance families: P4d, P5, G7, G7e
- AWS claims higher tok/s on H100 MIG vs full A100 in tests
- Full-instance billing; in-place layout changes not supported