机器学习-入门-线性模型(1)

机器学习-入门-线性模型(1)

3.1 线性回归

$$f(x_i)=w{x}_i+b\text{使得}f(x_i)\simeq y_i$$

离散属性的处理：若有"序"（order），则连续化；否则，转化为 $k$ 维向量

令均方误差最小化，有：

$$(w^{\ast },b^{\ast })=\arg \underset{(w,b)}{\min }\sum _{i=1}^m(f(x_i)-y_i{)}^2=\arg \underset{(w,b)}{\min }\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$

对 $$E(w,b)=\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$ 进行最小二乘参数估计

3.2 最小二乘解

$$E_{(w,b)}=\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$

分别对 $w$ 和 $b$ 求导：

$$\frac{\partial E_{(w,b)}}{\partial w}=2\left(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i\right)$$

$$\frac{\partial E_{(w,b)}}{\partial b}=2\left(mb-\sum _{i=1}^m(y_i-w{x}_i)\right)$$

令导数为 0，得到闭式(closed-form)解：

$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}{\left({\sum }_{i=1}^m{x}_i\right)}^2}b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)$$

3.3 多元线性回归

同样采用最小二乘法求解，有

$$w^{\ast }=\arg \underset{w}{\min }(y-Xw{)}^T(y-Xw)$$

令 $$E_w=(y-Xw{)}^T(y-Xw)$$，对 $w$ 求导：

$$\frac{\partial E_w}{\partial w}=2X^T(Xw-y)$$

令其为零可得 $w$

然而，麻烦来了：涉及矩阵求逆！

• 若 $X^{T}X$ 满秩或正定，则 $$w^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y$$
• 若 $X^{T}X$ 不满秩，则可解出多个 $w$

若可解出多个解，可以引入正则化得到唯一解