LightGBM(Light Gradient Boosting Machine)是一种梯度提升树(Gradient Boosting Decision Tree, GBDT)算法的高效实现。它由微软开发,主要应用于分类、回归和排序任务。
LightGBM与XGBoost都是基于GBDT的高效实现,主要的区别在于:
使用pip安装:
pip install lightgbm
或者从源代码编译安装:
git clone --recursive https://github.com/microsoft/LightGBM
cd LightGBM
mkdir build
cd build
cmake ..
make -j$(nproc)
make install
首先,需要导入lightgbm
库并准备数据:
import lightgbm as lgb
import numpy as np
import pandas as pd
# 加载数据
train_data = lgb.Dataset(X_train, label=y_train)
valid_data = lgb.Dataset(X_valid, label=y_valid, reference=train_data)
接下来,设置模型参数:
params = {
'boosting_type': 'gbdt',
'objective': 'binary',
'metric': 'binary_logloss',
'num_leaves': 31,
'learning_rate': 0.05,
'feature_fraction': 0.9,
'bagging_fraction': 0.8,
'bagging_freq': 5,
'verbose': 0
}
最后,训练模型:
gbm = lgb.train(params, train_data, num_boost_round=20, valid_sets=valid_data, early_stopping_rounds=5)
y_pred = gbm.predict(X_test, num_iteration=gbm.best_iteration)
LightGBM可以自动处理缺失值。在分裂节点时,LightGBM会将缺失值分到增益最大的一侧。
在创建数据集时,可以通过categorical_feature
参数设置类别特征:
train_data = lgb.Dataset(X_train, label=y_train, categorical_feature=['col1', 'col2'])
主要的调参参数包括:
num_leaves
:叶子节点数量,决定了树的复杂度。min_data_in_leaf
:叶子节点最小样本数,避免过拟合。max_depth
:树的最大深度。learning_rate
:学习率。feature_fraction
:特征采样比例。bagging_fraction
:样本采样比例。bagging_freq
:进行Bagging的频率。lambda_l1
和lambda_l2
:L1和L2正则化。使用lgb.cv()
函数进行交叉验证:
cv_results = lgb.cv(params, train_data, num_boost_round=100, nfold=5, stratified=False, shuffle=True, metrics='rmse', early_stopping_rounds=10, verbose_eval=50, show_stdv=True, seed=0)
主要损失函数包括:
回归任务 - l2
: 均方误差(默认)
l1
: 平均绝对误差huber
: Huber损失fair
: Fair损失quantile
: 分位数回归损失mape
: 平均绝对百分比误差poisson
: 泊松回归损失gamma
: Gamma回归损失tweedie
: Tweedie回归损失二分类任务
binary
: 二进制对数损失(默认)cross_entropy
: 交叉熵损失多分类任务
multiclass
: 多类别对数损失(默认)multiclassova
: 多类别单一二分类器损失排序任务
lambdarank
: LambdaMART排序损失你可以通过在params
字典中设置objective
参数来选择损失函数。
可能是全网最全的速查表:Python Numpy Pandas Matplotlib 机器学习 ChatGPT
联系客服