Covariate Shift

定义 Definition

协变量偏移（covariate shift）：在机器学习中指输入特征（协变量）\(X\) 的分布在训练与测试/部署阶段发生变化，但在理想假设下条件分布 \(P(Y\mid X)\)（给定输入时输出/标签的规律）保持不变。这会导致模型在新环境中表现下降，常见于域适应（domain adaptation）与真实世界部署场景。

发音 Pronunciation

/kovrit ft/

例句 Examples

The model failed after deployment because of covariate shift.
模型在部署后失败了，因为出现了协变量偏移。

Even if the label rule stays the same, covariate shift can make training data unrepresentative of future users.
即使标签生成规律保持不变，协变量偏移也可能让训练数据无法代表未来用户，从而影响模型效果。

词源 Etymology

covariate 源自 *co-*（“共同”）+ vary（“变化”），在统计与回归语境中指“与结果相关的输入变量/特征”；shift 意为“移动、偏移”。合在一起，covariate shift 就是“输入特征分布发生偏移”。该术语主要在统计学习与机器学习文献中用于讨论训练/测试分布不一致的问题。

相关词 Related Words

• Dataset Shift
• Domain Adaptation
• Distribution Shift
• Concept Drift
• Importance Weighting
• Sample Selection Bias
• Out-Of-Distribution

文学与典籍 Literary Works

• Dataset Shift in Machine Learning（Quionero-Candela, Sugiyama, Schwaighofer, Lawrence 编，2009）：系统讨论 covariate shift、sample selection bias 等“数据集偏移”情形。
• Machine Learning in Non-Stationary Environments: Introduction to Covariate Shift Adaptation（Masashi Sugiyama，2012）：以 covariate shift 适应为核心主题的专著。
• “Correcting Sample Selection Bias by Unlabeled Data”（Sugiyama et al.，2007）：与 covariate shift/重要性加权密切相关的代表性论文。