Inductive Bias

释义 Definition

归纳偏置：在机器学习中，指学习算法在从有限数据推广到未知情况时，预先带有的偏好或假设（例如偏好更简单的模型、平滑的函数、稀疏的表示等）。它影响模型在数据不足或噪声存在时会“倾向学到什么”。（在不同语境下也可泛指“进行归纳推理时的先验倾向”。）

发音 Pronunciation (IPA)

/ɪnˈdʌktɪv ˈbaɪəs/

例句 Examples

Inductive bias helps a model generalize from limited data.
归纳偏置帮助模型从有限数据中实现泛化。

Without an appropriate inductive bias, a learning algorithm may fit the training set perfectly but fail on new examples.
如果缺少合适的归纳偏置，学习算法可能在训练集上拟合得非常完美，却在新样本上表现很差。

词源 Etymology

inductive 来自拉丁语 inducere（“引导、引入”），在逻辑学中与“从具体到一般”的归纳相关；bias 源自法语 biais（“斜向、倾向”），引申为“偏向、偏差”。合在一起，inductive bias 指“归纳学习/归纳推断时带有的倾向性假设”。

相关词 Related Words

• Assumption
• Prior
• Regularization
• Generalization
• Overfitting
• Occam's Razor
• Model Bias
• Hypothesis Space

文学与著作中的用例 Literary & Notable Works

• Pattern Recognition and Machine Learning（Christopher M. Bishop）：讨论学习算法如何依赖先验假设与模型结构来实现泛化，与归纳偏置密切相关。
• The Elements of Statistical Learning（Hastie, Tibshirani, Friedman）：在模型复杂度、正则化与泛化误差的语境中涉及归纳偏置的核心思想。
• Deep Learning（Ian Goodfellow, Yoshua Bengio, Aaron Courville）：在神经网络架构（如卷积的平移不变性）如何体现归纳偏置方面有典型论述。