AWS añade partición NVIDIA Multi-Instance GPU a la inferencia en tiempo real de SageMaker
Unite.AI resume el lanzamiento del 6 de noviembre: particiones aisladas en hardware en P4d/P5/G7/G7e.
Por qué importa
Según Unite.AI, SageMaker Inference admite MIG de NVIDIA para compartir un acelerador entre modelos aislados en endpoints en tiempo real con inference components.
Datos clave
- Announced November 6, 2026 per Unite.AI coverage
- MIG for real-time endpoints using inference components
- Instance families: P4d, P5, G7, G7e
- AWS claims higher tok/s on H100 MIG vs full A100 in tests
- Full-instance billing; in-place layout changes not supported