大模型训练算力利用率达60%，蚂蚁开源分布式训练扩展库ATorch

蚂蚁集团最近宣布推出了名为ATorch的大模型分布式训练加速扩展库，这是一个开源工具。ATorch的目标是通过自动资源动态优化和分布式训练稳定性提升，帮助提高深度学习的智能性。根据了解，在大模型训练中，ATorch可以将千亿模型千卡级别训练的算力利用率提高到60%，相当于为跑车添上了强劲的引擎。这对于深度学习的研究人员和开发者来说，将是一个重要的工具，可以帮助他们更高效地训练和优化大型模型。

图：ATorch致力于让大模型训练更高效、可复现

随着生成式大模型的爆发，模型训练的数据集和参数规模呈现指数级增长。为了满足这种庞然大物的训练需求，并且能够快速迭代模型，分布式训练已经成为解决方案之一。在这个领域中，PyTorch和TensorFlow等深度学习框架被广泛采用用于模型的构建和训练。为了更好地适应大模型训练，业内已经开展了多项工作，其中之一就是蚂蚁开源的ATorch工具包。ATorch为PyTorch等深度学习框架提供了更加适用于大模型训练的功能和工具，帮助开发者和研究人员更高效地完成模型训练任务。这一工具包的开源将进一步推动大模型训练的发展，为研究和应用领域带来更多机会和挑战。

据了解，ATorch采用了分层的架构设计，功能清晰、设计全面，可为开发者提供极致精简的开发体验，以及领先的稳定性保障。主要包括统一分布式优化策略配置接口、自动分布式策略搜索、自动弹性容错、高效动态显存管理库、自研优化器加速收敛等核心功能。作为PyTorch框架的高性能扩展加速库，ATorch可实现最少化用户代码侵入，为千亿参数大模型千卡级训练提供易用的高性能方案。

最近，在以开源模型为对象的大模型训练优化实践中，ATorch获得了出色的成绩。举例来说，它成功将清华大学开源的GLM-65b大模型的千卡预训练算力利用率从28.8%提升至62%，将Meta开发的LLama2-70b大模型的预训练算力利用率从42%提升至60%，还将英国AI公司Stability AI开发的多模态大模型Stable Diffusion的训练算力利用率从21.8%提升至58.7%。除此之外，ATorch在千卡训练稳定性方面表现出色，日均纯训练时长占比提升至95%，ckpt save耗时控制在1分钟以内，训练重启耗时最快只需5分钟，达到了行业领先水平。

目前，ATorch已经整合到蚂蚁集团的开源产品DLRover中，该产品是基于云原生技术构建的智能分布式深度学习系统。ATorch的加入使得大模型开发者能够更专注于模型架构的设计，无需繁琐地处理工程细节，从而提高训练效率和智能化程度。