AWS 为 SageMaker 实时推理端点加入 NVIDIA Multi-Instance GPU 分区
Unite.AI 概述 11月6日发布：在 P4d/P5/G7/G7e 上提供硬件隔离分区；AWS 测试称 H100 MIG 切片吞吐高于整颗 A100。
为何重要
据 Unite.AI 对 AWS 公告的报道，SageMaker Inference 支持 NVIDIA MIG，使多个硬件隔离模型可在使用 inference components 的实时端点上共享一块加速器。
要点
- Announced November 6, 2026 per Unite.AI coverage
- MIG for real-time endpoints using inference components
- Instance families: P4d, P5, G7, G7e
- AWS claims higher tok/s on H100 MIG vs full A100 in tests
- Full-instance billing; in-place layout changes not supported