NVIDIA تفتح جماعية Reshard لتسريع إعادة ملاءمة أوزان RL حتى 5.7×
![[object Object]](https://developer-blogs.nvidia.com/wp-content/uploads/2026/11/green-cube.webp)
NCCL M2N Reshard ينقل الشظايا المتقاطعة فقط؛ NeMo RL يظهر 2.7–5.7× مقابل gather-and-broadcast.
لماذا يهم
وصفت NVIDIA جماعية Reshard التي تعامل إعادة ملاءمة أوزان RL كنقل DTensor إلى DTensor.
حقائق رئيسية
- New Reshard collective for DTensor-to-DTensor refit
- Open NCCL M2N Reshard reference implementation
- 2.7×–5.7× faster than gather-and-broadcast in NeMo RL
- Benchmarked on DGX H100 and GB200
- Hybrid path: FFN projections via Reshard; small weights legacy
- Aimed at trillion-parameter RL post-training payloads