2021-06-07

LGBM Python API

Dataset

class lightgbm.Dataset(data, label=None, max_bin=None, reference=None, weight=None, group=None, init_score=None, silent=False, feature_name=‘auto’, categorical_feature=‘auto’, params=None, free_raw_data=True)

创建一个带label的训练集和交叉验证集
trn_data = lgb.Dataset(X_tr, label=y_tr)
val_data = lgb.Dataset(X_valid, label=y_valid)

Booster

class lightgbm.Booster(params=None, train_set=None, model_file=None, silent=False) #booster可用lgb来代替

params 字典形式的参数
train_set Training dataset.
model_file model文件的路径
silent 构建模型时是否打印信息

只要有lgb实例，就可以调用下列函数 ，包括 predict，

lgb.add_valid 添加交叉训练集

lgb.attr(key) Get attribute string from the Booster.

lgb.current_iteration() Get the index of the current iteration.

lgb.dump_model(num_iteration=-1) Dump Booster to json format.

lgb.eval(data, name, feval=None) Evaluate for data. Result – List with evaluation results.

lgb.eval_train(feval=None) Evaluate for training data.

lgb.eval_valid(feval=None) Evaluate for validation data.

lgb.feature_importance(importance_type=‘split’, iteration=-1) Get feature importances.

lgb.feature_name() Get names of features.

lgb.free_dataset() Free Booster’s Datasets.

lgb.free_network() Free Network.

lgb.get_leaf_output(tree_id, leaf_id) Get the output of a leaf.

lgb.num_feature() Get number of features.

predict(data, num_iteration=-1, raw_score=False, pred_leaf=False, pred_contrib=False, data_has_header=False, is_reshape=True, pred_parameter=None)

lgb.reset_parameter(params)

lgb.rollback_one_iter() Rollback one iteration.

lgb.save_model(filename, num_iteration=-1)

lgb.set_attr(**kwargs) Set the attribute of the Booster.

lgb.set_network(machines, local_listen_port=12400, listen_time_out=120, num_machines=1) Set the network configuration.

lgb.set_train_data_name(name)

lgb.update(train_set=None, fobj=None) Update for one iteration.

Train API

lightgbm.train
lightgbm.train(params, train_set, num_boost_round=100, valid_sets=None, valid_names=None, fobj=None, feval=None, init_model=None, feature_name=‘auto’, categorical_feature=‘auto’, early_stopping_rounds=None, evals_result=None, verbose_eval=True, learning_rates=None, keep_training_booster=False, callbacks=None)

params (dict) – Parameters for training.
train_set (Dataset) – Data to be trained.
num_boost_round (int_,_ optional (default=100)) – 迭代次数，也就是弱学习器的数量
valid_sets – List of data to be evaluated during training.
训练参数中没有单个弱学习器的参数(即决策树的参数) ，params表示所有弱学习器的参数

params参数包括：

“objective” : “regression”, “binary”,
“metric” : “rmse”,“auc”
“boosting”: ‘gbdt’,
“max_depth”: -1,
“min_child_samples”: 20,
“num_leaves” : 31,
“learning_rate” : 0.1,
“subsample” : 0.8,
“colsample_bytree” : 0.8,
“verbosity”: -1
“bagging_freq”: 5,
“bagging_fraction” : 0.4,
“feature_fraction” : 0.05,
“min_data_in_leaf”: 80,
“min_sum_heassian_in_leaf”: 10,
“tree_learner”: “serial”,
“boost_from_average”: “false”,
“lambda_l1” : 5,
“lambda_l2” : 5
“bagging_seed” : random_state
“seed”: random_state
boosting_type

提升算法类型：‘gbdt’，‘dart’，‘goss’，‘rf’ 。默认算法为gbdt，一般用的最多。

dart：Dropouts meet Multiple Additive Regression Trees，是利用dropout解决过拟合的Regression Trees，利用了深度神经网络中dropout设置的技巧，随机丢弃生成的决策树，然后再从剩下的决策树集中迭代优化提升树，特点是

因为随机dropout不使用用于保存预测结果的buffer所以训练会更慢
因为随机，早停可能不够稳定
dart与gbdt的不同点：计算下一棵树要拟合的梯度的时候，仅仅随机从已经生成的树中选取一部分。 DART添加一棵树时需 要先归一化。

goss ：基本思想是首先对训练集数据根据梯度排序，预设一个比例划分梯度大小，保留在所有样本中梯度大的数据样本；再设 置一个采样比例，从梯度小的样本中按比例抽取样本。为了弥补对样本分布造成的影响，GOSS算法在计算信息增益时，会 对较小梯度的数据集乘以一个系数，用来放大。这样，在计算信息增益时，算法可以更加关注“未被充分训练”的样本数据。 GOSS通过对较小的样本数据集估算增益，大大的减少了计算量。而且通过证明，GOSS算法不会过多的降低训练的精度。

rf ：随机森林，很熟悉了。

num_leaves

因为LightGBM使用的是leaf-wise的算法，因此在调节树的复杂程度时，使用的是num_leaves而不是max_depth。大致换算关系：num_leaves = 2^{(max_depth)。它的值的设置应该小于2}(max_depth)，否则可能会导致过拟合。

max_depth

每个弱学习器也就是决策树的最大深度，-1表示不限制，

n_estimators

弱学习器的数目，因为gbdt原理是利用通过梯度不断拟合新的弱学习器，直到达到设定的弱学习器的数量。

learning_rate

Boosting learning rate.

max_bin

为直方图算法中特征值离散化的分段数量

lightgbm.cv
lightgbm.cv(params, train_set, num_boost_round=10, folds=None, nfold=5, stratified=True, shuffle=True, metrics=None, fobj=None, feval=None, init_model=None, feature_name=‘auto’, categorical_feature=‘auto’, early_stopping_rounds=None, fpreproc=None, verbose_eval=None, show_stdv=True, seed=0, callbacks=None)