当前位置：首页 > news >正文

AI人工智能机器学习之监督学习和集成学习

news 来源：原创 2025/4/28 18:39:21

1、概要

本篇学习AI人工智能机器监督学习框架下的集成学习，以鸢尾花iris数据集、随机森林模型和梯度提升为示例，从代码层面测试和讲述监督学习和集成学习能。

2、监督学习和集成学习 - 简介

监督学习和集成学习是机器学习领域中的两个重要概念。

监督学习是一种机器学习任务，其中模型在已标记的数据集上进行训练。
集成学习是一种通过结合多个模型来提高模型性能的技术。利用多个模型的预测结果，通过某种方式进行组合，从而得到比单一模型更好的预测结果。

本篇，以两个示例讲述监督学习框架下集成学习（ensemble learning）的使用方法：

示例1：Random Forest, 随机森林是决策树的集成学习方法，通过构建多个决策树并进行投票来提高预测的准确性
示例2：Gradient Boosting, 梯度提升机是一种强大的集成学习算法，它通过迭代地训练决策树来最小化损失函数，从而提高模型的预测性能

本篇相关资料代码参见：AI人工智能机器学习相关知识资源及使用的示例代码

3、集成学习

3.1、安装依赖

python安装机器学习库： pip install scikit-learn

3.2、示例1：随机森林

from sklearn.datasets import load_iris, make_classification
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.metrics import accuracy_score, classification_report

# 1. 加载数据集, 特征矩阵X, 目标向量y
data = load_iris()
X, y = data.data, data.target

# 2. 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 3. 创建随机森林分类器实例
model = RandomForestClassifier(n_estimators=100)  # n_estimators表示树的数量

# 4. 训练模型
model.fit(X_train, y_train)

# 5. 进行预测
y_pred = model.predict(X_test)

# 6. 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"准确率为: {accuracy:.2f}")

运行上述代码，您将得到如下输出：

准确率为: 1.00

3.3、示例2：梯度提升机

from sklearn.datasets import load_iris, make_classification
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.metrics import accuracy_score, classification_report

# 生成模拟数据集
X, y = make_classification(n_samples=100, n_features=3, n_redundant=1, n_classes=2, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建梯度提升机分类器实例
model = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1, random_state=42)

# 训练模型
model.fit(X_train, y_train)

# 进行预测
y_pred = model.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"准确率为: {accuracy:.2f}")