Google open-source XLA Serving Engine pour entraîner en Python et servir en C++
Runtime Apache-2.0 exporte des XLA SavedModels StableHLO ; Google cite 2–5× le débit de son meilleur serveur Python et plus de 6M QPS en interne.
Pourquoi c’est important
Le serving de production interdit souvent Python même si les modèles sont entraînés en JAX ou PyTorch. XLA Serving Engine permet d’exporter un XLA SavedModel StableHLO et de l’exécuter en C++ sur TPU, GPU et CPU. Google affirme un débit deux à cinq fois supérieur à son meilleur serveur Python, et plus de six millions de requêtes par seconde en interne.
Faits clés
- Open source Apache-2.0 sur github.com/openxla/xla-serving
- Entraîner en Python, servir en C++ via XLA SavedModel / StableHLO
- Cite 2–5× le débit vs meilleur serveur Python interne
- Charge interne >6M QPS (YouTube Shorts, Ads, Search, Gemini Omni)
- Annoncé 2026-11-05 sur Google Open Source Blog