AWS、SageMakerリアルタイム推論にNVIDIA Multi-Instance GPU分割を追加
Unite.AIが11月6日発表を要約。P4d/P5/G7/G7eでハード分離パーティション。AWS試験ではH100 MIG切片がA100全体より高トークン/秒。
なぜ重要か
Unite.AIによると、SageMaker InferenceがNVIDIA MIGに対応し、inference componentsを使うリアルタイムエンドポイントで複数のハード分離モデルが1加速器を共有できる。
要点
- Announced November 6, 2026 per Unite.AI coverage
- MIG for real-time endpoints using inference components
- Instance families: P4d, P5, G7, G7e
- AWS claims higher tok/s on H100 MIG vs full A100 in tests
- Full-instance billing; in-place layout changes not supported