常用损失函数学习
损失函数（Loss Function），在机器学习和统计学中，是用来量化模型预测输出与真实结果之间差异的函数。简而言之，损失函数衡量了模型预测的好坏，目标是通过最小化这个函数来优化模型参数，从而提高预测准确性。下面是一些常用的损失函数及其应用场景：
1. 均方误差（Mean Squared Error, MSE）
- 理解：对于回归问题，MSE计算预测值与真实值之差的平方和的均值，能够放大较大误差的影响。
- 公式： L ( Y , Y ^ ) = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 L(Y, \hat{Y}) = \frac{1}{n} \sum_{i=1}^{n}(y_i - \hat{y}_i)^2 L(Y,Y^)=n1i=1∑n(yi−y^i)2
- 场景：广泛用于连续值预测任务，如房价预测、股票价格预测等。
2. 平均绝对误差（Mean Absolute Error, MAE）
- 理解：与MSE类似，但取差值的绝对值，对异常值敏感性较低。
- 公式： L ( Y , Y ^ ) = 1 n ∑ i = 1 n ∣ y i − y ^ i ∣ L(Y, \hat{Y}) = \frac{1}{n} \sum_{i=1}^{n}|y_i - \hat{y}_i| L(Y,Y^)=n1i=1∑n∣yi−y^i∣
- 场景：同样适用于回归问题，特别是当希望模型对误差有更均匀的反应时。
3. 交叉熵损失（Cross-Entropy Loss）
- 理解：用于分类问题，特别是在神经网络中，衡量预测概率分布与实际类别标签的概率分布的差异。
- 公式（二分类问题，sigmoid激活函数）： L ( y , p ) = − y log ( p ) − ( 1 − y ) log ( 1 − p ) L(y, p) = -y \log(p) - (1-y) \log(1-p) L(y,p)=−ylog(p)−(1−y)log(1−p)
- 场景：分类任务，如图像分类、文本分类等。
4. 逻辑斯谛损失（Logistic Loss）
- 理解：实际上是二元交叉熵损失的一种特例，常用于逻辑回归模型。
- 场景：与交叉熵损失类似，适用于二分类问题。
5. Hinge损失
- 理解：主要用于最大间隔分类器，如支持向量机（SVM），鼓励模型找到宽的分类边界。
- 公式： L ( y , y ^ ) = max ( 0 , 1 − y y ^ ) L(y, \hat{y}) = \max(0, 1 - y\hat{y}) L(y,y^)=max(0,1−yy^)
- 场景：适用于支持向量机等最大间隔分类问题。
6. Huber损失
- 理解：结合了MSE和MAE的优点，对离群点较为鲁棒，当误差较小时表现为平方损失，误差较大时变为线性损失。
- 公式：基于阈值 δ ( δ ) δ(\delta) δ(δ)，当误差 ∣ y − y ^ ∣ ≤ δ |y-\hat{y}|≤δ ∣y−y^∣≤δ时， L = 1 2 ( y − y ^ ) 2 L=\frac{1}{2}(y-\hat{y})^2 L=21(y−y^)2；否则， L = δ ( ∣ y − y ^ ∣ − 1 2 δ ) L=\delta(|y-\hat{y}|-\frac{1}{2}\delta) L=δ(∣y−y^∣−21δ)
- 场景：适合包含较多离群值的数据集的回归问题。
选择原则：
选择损失函数时，需考虑任务类型（回归还是分类）、数据特性（如是否含有离群点）、模型训练的稳定性以及对误差的容忍度等因素。例如，在对预测误差的敏感性要求不高且数据可能存在噪声时，MAE可能是更好的选择；而在分类任务中，尤其是多分类或需要概率输出时，交叉熵损失通常是首选。