Transformer Engine是NVIDIA开发的高性能Transformer模型加速库，支持FP8混合精度训练，显著降低内存占用和提升性能。

Megatron-LM是NVIDIA开发的大规模Transformer模型训练GPU优化库，支持多种并行策略和混合精度训练。