Google、Python訓練・C++サーブのXLA Serving Engineをオープンソース化
Apache-2.0ランタイムがStableHLOのXLA SavedModelを出力。Googleは最良Pythonサーバ比2–5倍スループット、社内600万QPS超と述べる。
なぜ重要か
本番サービングはJAXやPyTorchで学習してもPythonを禁じることが多い。XLA Serving EngineはStableHLO付きXLA SavedModelを書き出し、TPU・GPU・CPU上でC++実行する。Googleは短リクエストで最良Pythonサーバの2–5倍、社内600万QPS超とする。
要点
- Apache-2.0オープンソース：github.com/openxla/xla-serving
- Pythonで訓練、C++でサーブ（XLA SavedModel / StableHLO）
- 社内最良Pythonサーバ比2–5倍スループット
- 社内負荷600万QPS超（YouTube Shorts、Ads、Search、Gemini Omni）
- 2026-11-05にGoogle Open Source Blogで発表