Unsloth、Axolotl、TRL和LLaMA-Factory：大型语言模型微调框架对比

目前，开源项目Unsloth、Axolotl、TRL和LLaMA-Factory在大型语言模型的微调领域占据主导地位。这些项目都基于相同的PyTorch和Hugging Face技术栈，但在工程投入方面各有侧重。Unsloth通过重写内核来提高性能；Axolotl则专注于并行策略的组合；TRL定义了其他框架使用的训练API；LLaMA-Factory致力于广泛的模型覆盖范围以及零代码操作。本文从训练吞吐量、峰值VRAM和多GPU扩展性三个维度对这些框架进行了对比分析，帮助工程师更好地理解每个框架的特点。Unsloth在单个GPU上通过重写内核实现了性能提升，其基准测试显示Llama 3.1 8B和Llama 3.3 70B的训练速度提高了两倍。