AWS bringt NVIDIA Multi-Instance-GPU-Partitionierung für SageMaker-Echtzeit-Inferenz
Unite.AI fasst den Launch vom 6. November zusammen: hardwareisolierte Partitionen auf P4d/P5/G7/G7e.
Warum es wichtig ist
Laut Unite.AI unterstützt SageMaker Inference NVIDIA MIG, damit mehrere hardwareisolierte Modelle einen Beschleuniger auf Echtzeit-Endpunkten teilen.
Die wichtigsten Fakten
- Announced November 6, 2026 per Unite.AI coverage
- MIG for real-time endpoints using inference components
- Instance families: P4d, P5, G7, G7e
- AWS claims higher tok/s on H100 MIG vs full A100 in tests
- Full-instance billing; in-place layout changes not supported