字节跳动 Seed 在 Hugging Face 发布 90 亿参数连续潜空间语言模型 Cola2
模型卡称在 3460.3 亿源 token 上训练，八项任务平均 60.10，潜空间 DiT 尚未收敛；加载需 trust_remote_code。
为何重要
字节跳动 Seed 于 2026年11月6日在 Hugging Face 发布 Cola2：约 90 亿参数基座模型，以连续语义潜变量规划文本，再用扩散 Transformer 生成潜块并解码为 token。
要点
- Hugging Face repo ByteDance-Seed/Cola2 created 2026-11-06T06:59:36Z
- ≈9B params; trained on 346.03B source tokens
- Reported 60.10 average across eight evaluation tasks
- Architecture: compression VAE + block-causal DiT + token decoder
- Requires trust_remote_code; base model, not instruction-tuned