Google stellt XLA Serving Engine als Open Source für Trainieren in Python und Serving in C++ bereit
Apache-2.0-Runtime exportiert StableHLO-XLA-SavedModels; Google nennt 2–5× Durchsatz gegenüber dem besten Python-Server und intern über 6M QPS.
Warum es wichtig ist
Produktionsserving verbietet oft Python, auch wenn Modelle in JAX oder PyTorch trainiert werden. XLA Serving Engine exportiert ein XLA SavedModel mit StableHLO und führt es in C++ auf TPU, GPU und CPU aus. Google nennt zwei- bis fünffachen Durchsatz gegenüber dem besten Python-Server und intern über sechs Millionen Anfragen pro Sekunde.
Die wichtigsten Fakten
- Apache-2.0 Open Source auf github.com/openxla/xla-serving
- Trainieren in Python, Serving in C++ via XLA SavedModel / StableHLO
- Genannt 2–5× Durchsatz vs bester interner Python-Server
- Interne Last >6M QPS (YouTube Shorts, Ads, Search, Gemini Omni)
- Angekündigt 2026-11-05 im Google Open Source Blog