TF32

释义 Definition

TF32（TensorFloat-32）是一种用于深度学习计算的数值格式/计算模式，主要由 NVIDIA 在 Ampere 架构中推广；它通常以 FP32 输入为主，但在 Tensor Core 上以 类似 10 位尾数的精度进行乘加运算，从而在很多模型上实现 接近 FP32 的效果与更高的计算速度（也常用于矩阵乘法 GEMM）。

发音 Pronunciation (IPA)

/ˌtiːˌɛf ˈθɜːrti tuː/

例句 Examples

TF32 can speed up training on supported NVIDIA GPUs.
在支持的 NVIDIA GPU 上，TF32 可以加速训练。

Even with TF32 enabled, we validated the model’s accuracy against FP32 baselines to ensure numerical stability across different batch sizes.
即使启用了 TF32，我们仍将模型精度与 FP32 基线进行对比验证，以确保在不同批大小下的数值稳定性。

词源 Etymology

TF32 是 TensorFloat-32 的缩写：Tensor（张量，深度学习中常见的数据结构）+ Float（浮点数）+ 32（与 32 位浮点相关的定位）。它在 NVIDIA Ampere 时代被重点引入，用于在深度学习的矩阵运算中在“速度”和“精度”之间取得更好的平衡。

相关词 Related Words

• Ampere
• Bfloat16
• Cuda
• Fp16
• Fp32
• Gemm
• Mixed precision
• Tensor core

文学与著作中的用例 Literary Works

• NVIDIA Ampere Architecture In-Depth（NVIDIA 技术白皮书/官方架构介绍中讨论 TF32 与 Tensor Cores）
• CUDA C++ Programming Guide（CUDA 官方编程指南中涉及与矩阵运算、精度模式相关的说明）
• NVIDIA Developer Blog（多篇关于 Ampere、Tensor Core、混合精度训练的文章中出现 TF32）