跨国科技公司 Yandex 最近宣布推出 YaFSDP,这是一种用于训练大型语言模型 (LLM) 的开源方法。YaFSDP 是目前最有效的公开可用工具,用于增强 GPU 通信并减少 LLM 训练中的内存使9 . 0 y M S m ~ c用量,与 FSDP 相比,其训练速度提升最高可达 26%,具体取决于架构和参数数量。通过使用 YaFSDP 减少 LLM 的训练时间可以节省高达 20% 的 GPU 资源。
![Yandex 开源 LLM 训练工具可节省高达 20% 的 GPU 资源](https://www.ak123.net/wp-content/uploads/2024/06/c57f1-img_pic_511718097002.jpg)
Yandex 承诺为全球人工智能社区的发展做出贡献,将YaFSDP开源提供给全球的 LLM 开发人员和人工智能爱好者即是履行此承诺的其中一步。
“目前,我们正在积极尝试各种模型架构和参数大小,以扩展 YaFSDP 的多功能性,”Yandex 高级开发专家、YaFSDP 团队成员 Mikhail Khruschev 指出,“我们很高兴与全球 ML 社区分享我们在 LLM 训练方面的研发成果,希望能为P 3 R b全球研究人员和开发者获得更多的开| | (源工具和更高# Q H v的效率做出贡献。”
YaFSDP 案例
LLM 训练是一个耗时且资源密集的过程。机器学习工程师和自主开发 LLM 的公司7 s L L h ` {投入: ? N 5了大量的时间X f ~和 GPU 资源(相当于金钱)来训练这些模{ 3 \ Y型。模型越大,其训练所需的时间和费用就越高。
Yande; , 5 r 9x 的 YaFSDP 优化了学习速度和性能,使全球的 AI 开发人员在训练模型时可以使用更少的计算能力和 GPU 资源。例如,在涉及具有 700 亿个参数之模型的预训练场景中,使用 YaFSDP 可以节省大约 150 个 GPU 的资源,这意味着每月可以节省大约 50 万美元到 150 万美元(取决于虚拟 GPU 提供商或平台)。
YaFSDP 通过消J F } ) 0 K除 GPU 通信效率低下来提升效^ ^ 0 g d能,确保训练时只需必要的处理器内存,并使 GPU 交互不间断。
YaFSDP 的训练效率
YaF9 a D J d d = x %SDP 是 FSDP 的增强版,在 LLM 训练中最耗通信的阶段(如预训练、对齐和微调)中,其表现优于 FSDP 方法。YaFSDP 在 Llama 2 和 Llama 3 上展示的最终提速表明训练速度显著提高,在 Llamw $ } q V \a 2 70B 和 Llama 3 70B 上分别达到 21% 和T W d 26%。
Mikhail Khruschev 表示:“YaFSDP 在 1. f k +30 亿至 700 亿个参数的模型2 J f m % 3上表现出色,在 300 亿至 700 亿个参数范围内表现尤为惊人。目前,YaFSDP 最适合基于 LLaMA 架构的广泛使用之开源模型。”
YaFSDP 并不是 Yande5 V | ) s 1 j 1 Hx 的第一个开源工具。该公司P C i b S ^ R + n之前曾分享过其他9 9 { i几款在 ML 社区中很受欢迎的工具,包括:
- CatBoost:一种高性能的基于决策树之梯度提升库。
- YTsaurus:分布式存储和处理的大数据平台。
- AQLM:最先进的量化算法之一,用于大型K ~ \ +语言模型的极限压缩。由 Yandex Research、HSE 大学、 IST Austria 及 NeuralMagic 共同开发。
- Petals:是一个旨在简化 LLM 训练和微调过程的库,由 Yandex Research、HSE 大学、华盛顿大学、Hugging Face、巴黎-) A { T萨克雷高等经济学院和 Yandeq k f % Y Dx 数据分析学院合作开发。