Google abre el código de XLA Serving Engine para entrenar en Python y servir en C++
Runtime Apache-2.0 exporta XLA SavedModels StableHLO; Google cita 2–5× más throughput que su mejor servidor Python y más de 6M QPS internos.
Por qué importa
El serving de producción a menudo prohíbe Python aunque los modelos se entrenen en JAX o PyTorch. XLA Serving Engine permite exportar un XLA SavedModel con StableHLO y ejecutarlo en C++ en TPU, GPU y CPU. Google dice que el throughput en peticiones cortas es de dos a cinco veces su mejor servidor Python, y que XSE ya sirve más de seis millones de consultas por segundo en productos como YouTube Shorts y Ads.
Datos clave
- Open source Apache-2.0 en github.com/openxla/xla-serving
- Entrenar en Python, servir en C++ vía XLA SavedModel / StableHLO
- Cita 2–5× throughput vs mejor servidor Python interno
- Carga interna >6M QPS (YouTube Shorts, Ads, Search, Gemini Omni)
- Anunciado 2026-11-05 en Google Open Source Blog