当前位置：首页 > news >正文

【学习笔记】机器学习(Machine Learning) | 第四章(3)| 多变量线性回归

news 来源：原创 2025/4/29 9:37:15

机器学习（Machine Learning）

简要声明

基于吴恩达教授(Andrew Ng)课程视频
BiliBili课程资源

文章目录

机器学习（Machine Learning）
- 简要声明
三、特征工程与多项式回归
- （一）特征工程：从数据中发现隐藏规律
- - 1.1 特征工程的核心思想
  - 1.2 特征工程的三大范式
- （二）多项式回归：非线性关系的建模利器
- - 2.1 多项式回归原理
- （三）特征选择：在复杂性与效果间寻找平衡
- - 3.1 非线性特征设计

一、特征缩放（Feature Scaling）

二、梯度下降收敛性检验与学习率选择

三、特征工程与多项式回归

（一）特征工程：从数据中发现隐藏规律

1.1 特征工程的核心思想

通过创造性组合原始特征，将领域知识注入机器学习模型。如图1所示，房屋价格预测中：

$\begin{aligned} \text{原始特征} & : x_1(\text{frontage}),\ x_2(\text{depth}) \\ \text{新特征} & : x_3 = x_1 \times x_2 = \text{area} \\ 模型公式 & : f_{\mathbf{w},b}(\mathbf{x}) = w_1x_1 + w_2x_2 + w_3x_3 + b \end{aligned}$

1.2 特征工程的三大范式

方法类型	数学表达	应用场景
数值转换	$\log(x)$	处理长尾分布数据
组合运算	$x_3 = x_1 \times x_2$	揭示交互效应

特征工程有无的对比
在这里插入图片描述

在这里插入图片描述

（二）多项式回归：非线性关系的建模利器

2.1 多项式回归原理

通过引入高次项扩展线性模型：

$f_{w,b}(x) = w_1 x + w_2 x^2 + w_3 x^3 + b$

不同阶数多项式拟合效果

（三）特征选择：在复杂性与效果间寻找平衡

3.1 非线性特征设计

如图所示，通过引入平方根项增强模型灵活性：

$f_{w,b}(x) = w_1 x + w_2 \sqrt{x} + b$
在这里插入图片描述

混合特征设计的拟合效果

x = np.arange(0,20,1)
y = x**2X = np.c_[x, x**2, x**3]
X = zscore_normalize_features(X) model_w, model_b = run_gradient_descent_feng(X, y, iterations=100000, alpha=1e-1)plt.scatter(x, y, marker='x', c='r', label="Actual Value"); plt.title("Normalized x x**2, x**3 feature")
plt.plot(x,X@model_w + model_b, label="Predicted Value"); plt.xlabel("x"); plt.ylabel("y"); plt.legend(); plt.show()

Iteration         0, Cost: 9.42147e+03
Iteration     10000, Cost: 3.90938e-01
Iteration     20000, Cost: 2.78389e-02
Iteration     30000, Cost: 1.98242e-03
Iteration     40000, Cost: 1.41169e-04
Iteration     50000, Cost: 1.00527e-05
Iteration     60000, Cost: 7.15855e-07
Iteration     70000, Cost: 5.09763e-08
Iteration     80000, Cost: 3.63004e-09
Iteration     90000, Cost: 2.58497e-10
w,b found by gradient descent: w: [5.27e-05 1.13e+02 8.43e-05], b: 123.5000