Posted on November 10, 2025
引言 我们以huggingface的accelerate库结合deepspeed为例,采用DP并行的方式,实现对GSM8K的训练。 具体而言: DeepSpeed ZeRO 负责 在数据并行维度上分摊参数 / 优化器 / 梯度,实现显存优化与大 batch。 accelerat...
Posted on November 11, 2025
引言 使用 Unsloth 进行多 GPU 训练 参考官方发布的公告,本篇博客意在测试unsloth的多卡训练的情况。 同时,也有开源项目实现了更为简便的并行操作,如: opensloth。 大致介绍unsloth: Unsloth 是一个面向大语言模型(LLM)训练与微调的高效框架...