scikit-learn的CART树——寻找分裂点的两种模式｜使用技巧

CART树

CART（Classification and Regression Trees）是一种用于分类和回归任务的决策树算法。它通过选择最优特征和分裂点来构建树结构，能够有效地对数据进行分类或预测。

两种模式

CART树在寻找最佳分裂点时主要有两种模式：完全遍历模式和部分遍历模式。

  1. 完全遍历模式（Best Split）：在这种模式下，算法会遍历所有可能的特征和分裂点，以寻找能最大程度提升模型性能的最佳划分。这种方法通常能够找到全局最优解，但计算复杂度是最高的，因为它会遍历所有的可能。
  2. 部分遍历模式（Random Split）：在此模式下，算法会从随机选择的一部分特征中随机确定几个划分点，然后从这些"随机"确定的划分点中，选择最佳的一个作为最终的分裂点。这种方法可以被视为一种"折中"方案，因为它没有像完全遍历模式那样穷尽所有可能性来寻找最佳划分，而是采取了一种更为灵活的策略：随机选择几个点进行划分，然后比较它们的效果，最终选择表现最好的作为分裂点。

传统的CART（Classification and Regression Trees）算法在每个节点都会穷尽搜索所有可能的特征和分割点，以找到最佳的分割。这就是我们所说的完全遍历模式。

而部分遍历模式引入了随机性，因此，这种使用部分遍历模式的决策树确实不再是传统意义上的CART算法。这种随机化的方法可以看作是CART算法的一个变体或扩展，旨在提高计算效率和模型的泛化能力，特别是在用于构建集成模型（如随机森林）时。

适用场景

完全遍历模式和部分遍历模式各有其适用的场景。

完全遍历模式适用场景

  • 小型数据集：当数据集较小时，完全遍历所有可能的分裂点在计算上是可行的，可以找到全局最优解。
  • 高精度要求：对于需要高精度结果的任务，完全遍历可以保证找到最佳分裂点，从而提高模型性能。
  • 特征数量较少：当特征数量不多时，完全遍历的计算成本相对较低，可以在合理时间内完成。
  • 解释性要求高：完全遍历模式找到的分裂点更具有代表性，有助于提高模型的可解释性。

部分遍历模式适用场景

  • 大型数据集：对于大型数据集，部分遍历可以显著减少计算时间，使模型训练更加高效。
  • 高维数据：当特征数量很多时，部分遍历可以有效降低计算复杂度，避免维度灾难。
  • 实时或近实时应用：在需要快速训练或更新模型的场景中，部分遍历可以提供更快的响应时间。
  • 集成学习：在随机森林等集成方法中，部分遍历可以增加模型的多样性，有助于提高整体性能。
  • 防止过拟合：引入随机性可以在一定程度上降低过拟合风险，提高模型的泛化能力。

选择哪种模式取决于具体的问题、数据特征和计算资源。在实际应用中，可以通过交叉验证等方法来比较两种模式的性能，选择最适合的方法。

比较

特性 全局遍历模式 部分遍历模式
计算复杂度 较高 较低
模型精度 通常更高 略低
过拟合风险 较高 较低
适用场景 小到中型数据集，精度优先 大型数据集，速度优先，集成方法

如何选用

在Scikit-learn中，可以通过设置决策树模型的splitter参数来选择最佳划分点的方式：

  • 设置splitter='best'：使用完全遍历模式。

需要注意的是，splitter='best'是此参数的默认值。这意味着如果不特别指定，决策树将默认使用完全遍历模式来寻找最佳分裂点。

  • 设置splitter='random'：使用部分遍历模式。

以下是一个使用 splitter='best' 参数的 Python 程序示例：

from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据
iris = load_iris()
X, y = iris.data, iris.target

# 分割数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建决策树分类器，使用 'best' 作为 splitter
clf = DecisionTreeClassifier(splitter='best', random_state=42)

# 训练模型
clf.fit(X_train, y_train)

# 评估模型
accuracy = clf.score(X_test, y_test)
print(f"模型准确率: {accuracy:.2f}")

在这个例子中，我们使用了 Iris 数据集来演示 DecisionTreeClassifier 的使用。通过设置 splitter='best'，我们指定了决策树在选择最佳分割点时使用完全遍历模式，这可能会提高模型的准确性，但也可能增加计算时间。

如果我们将上述示例中的 splitter 参数设置为 'random'，即使用部分遍历模式，代码将变为：

clf = DecisionTreeClassifier(splitter='random', random_state=42)

使用 splitter='random' 时，决策树在选择最佳分割点时会随机选择一部分特征进行评估，而不是遍历所有可能的特征。

总结

Scikit-learn的CART决策树算法明确定义了两种不同的分裂方式，清楚地表明了其完全遍历的能力，而非暗中修改算法以优化建模速度。这对实验对比至关重要，因为实验中通常要求完全遍历。在这种统一的条件下，我们可以公平地比较不同决策树或以决策树为子模型的集成模型的性能。

完全遍历检查所有可能性，适用于小数据集和高精度需求。部分遍历随机评估部分特征和分裂点，效率更高，适合大数据集和集成学习。模式选择取决于具体问题、数据特征和计算资源，可通过交叉验证比较性能。可以通过设置决策树模型的splitter参数为'best'或'random'来选择相应的模式。

浏览量: 284