Posted on November 10, 2025
引言 我们以huggingface的accelerate库结合deepspeed为例，采用DP并行的方式，实现对GSM8K的训练。 具体而言： DeepSpeed ZeRO 负责 在数据并行维度上分摊参数 / 优化器 / 梯度，实现显存优化与大 batch。 accelerat...
Posted on November 11, 2025
引言 使用 Unsloth 进行多 GPU 训练 参考官方发布的公告，本篇博客意在测试unsloth的多卡训练的情况。 同时，也有开源项目实现了更为简便的并行操作，如： opensloth。 大致介绍unsloth： Unsloth 是一个面向大语言模型（LLM）训练与微调的高效框架...
