深度学习正则化
@[toc]
参数范数惩罚
作为约束的范数惩罚
正则化和欠约束问题
数据集增强
1.创建一些假数据添加到训练集中
噪声鲁棒性
1.在模型的输入加上方差极小的噪声等价于对权重施加范数惩罚（方差控制过拟合）
2.正则化模型噪声使用方式是将其加到权重（主要用于RNN上）
半监督学习算法
多任务学习
提前终止
MedianStop是一种基于数学统计的前向提前停止算法，实现简单，适用范围广泛，支持最大优化或最小优化指标的场景。
基本原理是以历史任务在各step的中位数为阈值（根据用户不同的设置，step的单位可以是epoch、iteration、运行时间等），若当前任务的表现低于当前step的阈值，则认为该任务产生最优结果的可能性较低，应该提前终止任务训练。
该算法原理简单明了，但是在实际使用中为了使得评估结果更加可信，减少误判，评估启动时机显得尤为重要。
一般在具备一定数量的历史样本结果后，结合训练任务的总Step数，决定何时启动评估。 MedianStop是一种前向评估算法，依据历史结果来评判当前任务的表现。接下来要介绍一种更加复杂的后向提前停止评估算法。