DeepSpeed-MII是微软DeepSpeed团队开源的轻量级Python库，专注于大型语言模型高效推理加速，凭借阻塞KV缓存、连续批处理、动态SplitFuse等创新技术。