牛客刷题自留-机械学习基础

第一题

下列关于线性回归说法错误的是（）正确答案C
A
在现有模型上，加入新的变量，所得到的R^2的值总会增加

• 选项A
  在线性回归中，$R^2$（判定系数）用于衡量回归模型对观测数据的拟合程度。一般情况下，在现有模型上加入新的变量，即使新变量实际上对因变量没有真正的解释能力，$R^2$的值也总会增加或者至少保持不变，这是因为增加变量后，模型能够更好地拟合样本数据，使得回归平方和增大，而总平方和不变，从而$R^2$会增大。所以该选项说法正确。

B
线性回归的前提假设之一是残差必须服从独立正态分布

• 选项B
  线性回归有多个前提假设，其中之一就是残差必须服从独立正态分布。这一假设非常重要，它保证了回归模型的有效性和统计推断的合理性。如果残差不服从独立正态分布，可能会导致模型的参数估计不准确，假设检验的结果不可靠等问题。所以该选项说法正确。

C
残差的方差无偏估计是SSE/(n-p)

• 选项C
  在多元线性回归中，残差的方差无偏估计是$SSE/(n-p-1)$，其中$SSE$是残差平方和，$n$是样本数量，$p$是自变量的个数。而不是$SSE/(n-p)$，所以该选项说法错误。

D
自变量和残差不一定保持相互独立

• 选项D
  在正确设定的线性回归模型中，自变量和残差应该是相互独立的，这是线性回归的基本假设之一。如果自变量和残差不独立，说明模型可能存在遗漏变量、测量误差等问题，会导致模型的估计结果有偏差。但在实际情况中，如果模型设定不正确等原因，自变量和残差可能不一定保持相互独立。所以该选项说法从某种角度来说是合理的，如果从严格的线性回归假设角度看，它违背了假设，但从实际可能出现的情况看，是有可能存在自变量和残差不独立的情况的。

补充知识点

判定系数$R^2$的计算公式为$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}$ ，其中$SSR$为回归平方和，$SSE$为残差平方和，$SST$为总离差平方和。

相关概念及公式

选项A

• 总离差平方和（SST）：反映因变量$y_i$的观测值与其均值$\overline{y}$之间的总波动程度，计算公式为$SST={\sum }_{i=1}^n(y_i-\overline{y}{)}^2$ ，其中$n$为样本数量，$y_i$是第$i$个观测值，$\overline{y}$是观测值的均值。
• 回归平方和（SSR）：表示回归直线${\hat{y}}_i$对观测值$y_i$的拟合程度，即因变量$y_i$的预测值${\hat{y}}_i$与均值$\overline{y}$之间的差异所引起的波动，计算公式为$SSR={\sum }_{i=1}^n({\hat{y}}_i-\overline{y}{)}^2$ ，其中${\hat{y}}_i$是根据回归模型预测得到的第$i$个值。
• 残差平方和（SSE）：是观测值$y_i$与预测值${\hat{y}}_i$之间差异的平方和，反映了观测值与回归模型预测值之间的误差，计算公式为$SSE={\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2$ 。

计算示例

假设有一组数据点$(x_1,y_1),(x_2,y_2),\cdots ,(x_5,y_5)$ ，具体数值如下：$(1,2)$ ，$(2,3)$ ，$(3,4)$ ，$(4,5)$ ，$(5,6)$ 。通过线性回归分析得到回归方程为$\hat{y}=x+1$ 。

1. 首先计算$\overline{y}$ ，$\overline{y}=\frac{2+3+4+5+6}{5}=4$ 。
2. 然后计算$SST$ ：
   $SST=(2-4{)}^2+(3-4{)}^2+(4-4{)}^2+(5-4{)}^2+(6-4{)}^2=10$ 。
3. 接着计算预测值${\hat{y}}_i$ ，分别为${\hat{y}}_1=1+1=2$ ，${\hat{y}}_2=2+1=3$ ，${\hat{y}}_3=3+1=4$ ，${\hat{y}}_4=4+1=5$ ，${\hat{y}}_5=5+1=6$ 。
4. 再计算$SSR$ ：
   $SSR=(2-4{)}^2+(3-4{)}^2+(4-4{)}^2+(5-4{)}^2+(6-4{)}^2=10$ 。
5. 最后计算$SSE$ ：
   $SSE=(2-2{)}^2+(3-3{)}^2+(4-4{)}^2+(5-5{)}^2+(6-6{)}^2=0$ 。

根据公式$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}$ ，可得$R^2=\frac{10}{10}=1$ ，这表明在这个例子中，回归模型完全拟合了数据，观测值与预测值完全一致。

选项C
残差的方差无偏估计$SSE/(n-p-1)$的推导涉及到线性回归的基本原理和一些统计学知识，以下是详细过程：
(n是观测值的数量，p是自变量，不包含截距项）

在线性回归模型$y=X\beta +ϵ$中，$y$是$n\times 1$的观测值向量，$X$是$n\times p$的设计矩阵，$\beta$是$p\times 1$的回归系数向量，$ϵ$是$n\times 1$的误差向量，且$ϵ\sim N(0,{\sigma }^{2}I)$，即误差服从均值为$0$，方差为${\sigma }^2$的正态分布。

我们用最小二乘法得到回归系数$\beta$的估计$\hat{\beta }=(X^{T}X{)}^{-1}{X}^{T}y$，进而得到拟合值$\hat{y}=X\hat{\beta }$，残差$e=y-\hat{y}$，残差平方和$SSE=e^{T}e=(y-\hat{y}{)}^T(y-\hat{y})$。

可以证明$SSE=y^T(I-H)y$，其中$H=X(X^{T}X{)}^{-1}{X}^T$是帽子矩阵。

根据期望的性质$E(SSE)=E[y^T(I-H)y]$，因为$y=X\beta +ϵ$，所以：

$$\begin{array}{rl}E(SSE)& =E[(X\beta +ϵ{)}^T(I-H)(X\beta +ϵ)]\\ & =E[{\beta }^T{X}^T(I-H)X\beta +{ϵ}^T(I-H)X\beta +{\beta }^T{X}^T(I-H)ϵ+{ϵ}^T(I-H)ϵ]\end{array}$$

由于$H$是幂等矩阵，即$H^2=H$，且$HX=X$，所以$X^T(I-H)X=0$，$E({ϵ}^T(I-H)X\beta )=0$，$E({\beta }^T{X}^T(I-H)ϵ)=0$。

又因为$E({ϵ}^T(I-H)ϵ)={\sigma }^{2}tr(I-H)$，其中$tr(\cdot )$表示矩阵的迹，而$tr(I-H)=n-tr(H)=n-p$，所以$E(SSE)={\sigma }^2(n-p)$。

为了得到方差${\sigma }^2$的无偏估计，我们令${\hat{\sigma }}^2=\frac{SSE}{n-p-1}$，此时$E({\hat{\sigma }}^2)={\sigma }^2$，即$SSE/(n-p-1)$是残差方差${\sigma }^2$的无偏估计。

第二题

关于线性回归的描述,以下正确的有: 正确答案：BCE
A
基本假设包括随机干扰项是均值为0,方差为1的标准正态分布
B
基本假设包括随机干扰项是均值为0的同方差正态分布
C
在违背基本假设时,普通最小二乘法估计量不再是最佳线性无偏估计量
D
在违背基本假设时,模型不再可以估计
E
可以用DW检验残差是否存在序列相关性
F
多重共线性会使得参数估计值方差减小

补充知识
一元线性回归的基本假设有
1、随机误差项是一个期望值或平均值为0的随机变量；
2、对于解释变量的所有观测值，随机误差项有相同的方差；
3、随机误差项彼此不相关；
4、解释变量是确定性变量，不是随机变量，与随机误差项彼此之间相互独立；
5、解释变量之间不存在精确的（完全的）线性关系，即解释变量的样本观测值矩阵是满秩矩阵；
6、随机误差项服从正态分布

违背基本假设的计量经济学模型还是可以估计的，只是不能使用普通最小二乘法进行估计。

杜宾-瓦特森（DW）检验，统计分析中常用的一种检验序列一阶自相关最常用的方法。经常用于检验线性回归模型中残差是否存在序列相关性。它通过计算 DW 统计量，并与相应的临界值进行比较，来判断残差序列是否存在自相关

多重共线性是指线性回归模型中的自变量之间存在高度的线性相关关系。当存在多重共线性时，参数估计值的方差会增大，而不是减小。这是因为多重共线性使得自变量之间的信息重叠，导致估计量对数据的微小变化非常敏感，从而使得估计值的方差增大，估计的稳定性变差。

第三题

评论分类模型好坏的指标是（）A
A
准确率与召回率
B
准确率与置信度
C
准确率与提升度
D
置信度与提升度

补充知识
准确率定义：准确率是指在所有的预测结果中，正确预测的比例。
召回率定义：召回率也称为查全率，是指在所有实际为正类的样本中，被模型正确预测为正类的比例。

下列哪些方法可以用来对高维数据进行降维: 正确答案：ABCDEF
A
LASSO
选项A LASSO（Least Absolute Shrinkage and Selection Operator，最小绝对收缩和选择算子）
LASSO是一种线性回归的正则化方法，它在损失函数中加入了L1正则项。L1正则项具有使某些回归系数变为零的特性，这意味着它可以自动进行特征选择，将不重要的特征系数置为零，从而达到降维的目的。通过去除这些系数为零的特征，数据的维度得以降低。所以LASSO可以用于高维数据降维。

B
主成分分析法
选项B：主成分分析法（Principal Component Analysis，PCA）
PCA是一种经典的无监督降维方法。它通过对原始数据的协方差矩阵进行特征值分解，找到数据的主成分（即数据方差最大的方向）。然后选择方差较大的前k个主成分来表示原始数据，从而将高维数据投影到低维空间中，实现数据降维。PCA在保留数据主要信息的同时，大大减少了数据的维度。所以主成分分析法可用于高维数据降维。
C
聚类分析
选项C：聚类分析
聚类分析的主要目的是将数据集中的样本按照相似性划分为不同的簇，使得同一簇内的样本相似度高，不同簇之间的样本相似度低。虽然在聚类过程中可能会对数据进行一些预处理，但聚类分析本身并不是专门用于降维的方法，它更侧重于发现数据的内在结构和模式，而不是减少数据的维度。所以聚类分析通常不用于高维数据降维。
但是如果问的是可不可以的话，硬要说还是可以的。
D
小波分析法
选项D：小波分析法
小波分析是一种时频分析方法，它具有多分辨率分析的特点。在处理高维数据时，小波变换可以将数据分解为不同尺度和频率的分量，通过保留主要的分量并丢弃次要的分量，可以实现数据的压缩和降维。小波分析法在信号处理、图像处理等领域中常被用于高维数据的降维处理。所以小波分析法可用于高维数据降维。
E
线性判别法
选项E：线性判别法（Linear Discriminant Analysis，LDA）
LDA是一种有监督的降维方法。它的目标是找到一个投影方向，使得不同类别的数据在投影后尽可能分开，同一类别的数据在投影后尽可能聚集。通过将高维数据投影到低维空间中，LDA不仅实现了数据降维，还考虑了数据的类别信息，有助于提高分类性能。所以线性判别法可用于高维数据降维。
F
拉普拉斯特征映射本题可根据各方法的原理和用途，判断其是否可用于高维数据降维。
选项F：拉普拉斯特征映射（Laplacian Eigenmaps）
拉普拉斯特征映射是一种基于图的流形学习方法，属于非线性降维技术。它通过构建数据点之间的邻接图，利用图的拉普拉斯矩阵的特征向量来找到数据的低维嵌入。该方法能够捕捉数据的局部几何结构，将高维数据映射到低维空间中，从而实现降维。所以拉普拉斯特征映射可用于高维数据降维。

第四题

已知一组数据的协方差矩阵P,下面关于主分量说法错误的是（ ）
A
主分量分析的最佳准则是对一组数据进行按一组正交基分解, 在只取相同数量分量的条件下,以均方误差计算截尾误差最小
正确
PCA的目标是找到一组正交基（主成分），使得在保留相同数量分量的条件下，截尾误差（即数据重建的均方误差）最小。
B
在经主分量分解后,协方差矩阵成为对角矩阵
正确
PCA将原始数据的协方差矩阵转换为对角矩阵，对角线上的元素是特征值，表示各主成分的方差。
C
主分量分析就是K-L变换
错误原因：
K-L变换（Karhunen-Loève变换） 是一种基于数据协方差矩阵的特征分解的变换方法，通常用于信号处理和随机过程分析。虽然PCA和K-L变换在数学上有相似之处（都涉及协方差矩阵的特征分解），但它们并不完全相同。

PCA更侧重于数据降维和方差最大化，而K-L变换更侧重于信号的最优表示。因此，不能简单地说PCA就是K-L变换。
D
主分量是通过求协方差矩阵的特征值得到
正确
主分量是通过对协方差矩阵进行特征值分解得到的，特征值对应的特征向量就是主分量

第五题

输入图片大小为200×200，依次经过一层卷积（kernel size 5×5，padding 1，stride 2），pooling（kernel size 3×3，padding 0，stride 1），又一层卷积（kernel size 3×3，padding 1，stride 1）之后，输出特征图大小为：

输出尺寸=(输入尺寸-filter尺寸+2*padding）/stride+1
答案为97。