Moonlight-16B-A3B是由 MoonshotAI(月之暗面)开发的一种混合专家(MoE)模型,具有160亿总参数和30亿激活参数。该模型使用了改进版的 Muon 优化器进行训练,显著提升了计算效率和性能。