Xgboost 是华盛顿大学陈天奇于 2016 年开发的 Boosting 库，兼具线性规模求解器和树学习算法［14］。 它是 GBDT 算法上的改进，更加高效。传统的 GBDT 方法只利用了一阶的导数信息，Xgboost 则是对损失函 数做了二阶的泰勒展开，并在目标函数之外加入了正 则项，整体求最优解，用于权衡目标函数的下降和模型 的复杂程度，避免过拟合，提高模型的求解效率，其步 骤如下: (