本文主要是介绍机器学习的一些数学诠释,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
文章目录
- 1、线性回归、logistic回归和一般回归
- (1)误差平方和
- (2)交叉熵损失
- (3)softmax的损失函数
- (4)线性判别分析的目标函数
- 2、支持向量机SVM
- (1)硬间隔支持向量机
- (2)软间隔支持向量机
- (3)支持向量回归
- (3)替代损失
- (4)核函数
- 3、决策树
- (1)决策树与条件概率的关系
涉及到:线性回归、logistic回归和一般回归;支持向量机SVM;K-means聚类算法;神经网络;深度学习LSTM;决策树,集成学习(XGBoost,随机森林);主成分分析;线性判别分析;典型关联分析;规则化和模型选择;
1、线性回归、logistic回归和一般回归
(1)误差平方和
(2)交叉熵损失
(3)softmax的损失函数
(4)线性判别分析的目标函数
希望最小化类内协方差使投影后的同类样本点尽可能接近,最大化类中心距离使异类样本尽可能远离。下面是希望最大化的目标。
它可以通过广义瑞利商J来表示,利用定义的 类内散度矩阵和类间散度矩阵,可使用拉格朗日乘子法解决。
2、支持向量机SVM
(1)硬间隔支持向量机
(2)软间隔支持向量机
(3)支持向量回归
(3)替代损失
(4)核函数
3、决策树
(1)决策树与条件概率的关系
决策树表示给定特征条件下,类的条件概率分布,这个条件概率分布表示为特征空间的划分。将特征空间根据各个特征值不断进行划分,就将特征空间分为了多个不相交的单元,在每个单元定义了一个类的概率分布,这样,这条由根节点到达叶节点的路径就成了一个条件概率分布。
各叶结点上的条件概率往往偏向某一个类。根据输入的测试样本,由路径找到对应单元的各个类的条件概率,并将该输入测试样本分为条件概率最大的一类中,就可以完成对测试样本的分类。
这篇关于机器学习的一些数学诠释的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!