MIT团队突破AI训练瓶颈，内存占用降低70%

新型优化算法实现突破

该算法通过动态梯度量化与内存复用技术，优化大模型训练过程中的内存使用，可在同等硬件条件下训练参数量更大的模型，或降低硬件门槛。

训练成本显著降低

实验显示，在十亿参数级模型训练中，该算法可将单卡训练内存占用从24GB降至7GB左右，训练总成本降低约40%，对中小团队十分友好。

开源推动技术普及

研究团队已将该算法在GitHub开源，支持主流深度学习框架，有望加速大模型在更多场景的落地，推动AI技术普惠化发展。