Google open-sourceia XLA Serving Engine para treinar em Python e servir em C++
Runtime Apache-2.0 exporta XLA SavedModels StableHLO; Google cita 2–5× o throughput do melhor servidor Python e mais de 6M QPS internos.
Por que importa
Serving de produção muitas vezes proíbe Python mesmo com treino em JAX ou PyTorch. O XLA Serving Engine exporta um XLA SavedModel StableHLO e roda em C++ em TPU, GPU e CPU. A Google cita throughput duas a cinco vezes o do melhor servidor Python e mais de seis milhões de consultas por segundo internamente.
Fatos principais
- Open source Apache-2.0 em github.com/openxla/xla-serving
- Treinar em Python, servir em C++ via XLA SavedModel / StableHLO
- Cita 2–5× throughput vs melhor servidor Python interno
- Carga interna >6M QPS (YouTube Shorts, Ads, Search, Gemini Omni)
- Anunciado 2026-11-05 no Google Open Source Blog