谷歌开源 XLA Serving Engine：Python 训练、C++ 推理
Apache-2.0 运行时导出 StableHLO XLA SavedModel；谷歌称相对其最佳 Python 服务吞吐高 2–5 倍，内部超 600 万 QPS。
为何重要
生产推理常禁止 Python，即便模型用 JAX 或 PyTorch 训练。XLA Serving Engine 可导出含 StableHLO 的 XLA SavedModel，并在 TPU/GPU/CPU 上用 C++ 运行。谷歌称短请求吞吐为其最佳 Python 服务的 2–5 倍，内部已超每秒 600 万查询。
要点
- Apache-2.0 开源：github.com/openxla/xla-serving
- Python 训练、C++ 服务，经 XLA SavedModel / StableHLO
- 相对最佳内部 Python 服务吞吐 2–5 倍
- 内部负载超 600 万 QPS（YouTube Shorts、Ads、Search、Gemini Omni）
- 2026-11-05 于 Google Open Source Blog 宣布