李航专题
《李航：统计学习方法》笔记之感知机
感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。也是现代流行的深度学习网络模型的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。 1. 感知机模型 感知机模型如下： f(x)= sign(w*x+b) 其中，x
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第6章 逻辑斯谛回归与最大熵模型（2）6.2 最大熵模型
文章目录 6.2 最大熵模型6.2.1 最大熵原理6.2.3 最大熵模型的学习6.2.4 极大似然估计 《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第3章 k邻近邻法 《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第1章 统计学习方法概论 《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第 2章感知机
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第6章 逻辑斯谛回归与最大熵模型（1）6.1 逻辑斯谛回归模型
文章目录 第6章 逻辑斯谛回归与最大熵模型6.1 逻辑斯谛回归模型6.1.1 逻辑斯谛分布6.1.2 二项逻辑斯谛回归模型6.1.3 模型参数估计6.1.4 多项逻辑斯谛回归 《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第3章 k邻近邻法 《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第1章 统计学习方法概论 《统计学习方法：
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第4章 朴素贝叶斯法
文章目录 第4章 朴素贝叶斯法4.1 朴素贝叶斯法的学习与分类4.1.1 基本方法4.1.2 后验概率最大化的含义 4.2 朴素贝叶斯法的参数估计4.2.1 极大似然估计4.2.2 学习与 算法4.2.3 贝叶斯估计 代码实践GaussianNB 高斯朴素贝叶斯scikit-learn实例scikit-learn：伯努利模型和多项式模型 《统计学习方法：李航》笔记 从原理到实现（
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第3章 k邻近邻法
文章目录 第3章 k邻近邻法3.1 k近邻算法3.2 k近邻模型3.2.1 模型3.2.2 距离度量3.2.3 k值的选择3.2.4 分类决策规则 3.3 k近邻法的实现：kd树3.3.1 构造kd树3.3.2 搜索kd树 算法实现课本例3.1iris数据集scikit-learn实例kd树:构造平衡kd树算法例3.2 《统计学习方法：李航》笔记 从原理到实现（基于python）
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第1章 统计学习方法概论
文章目录 第1章 统计学习方法概论1.1 统计学习1．统计学习的特点2．统计学习的对象3．统计学习的目的4．统计学习的方法1.2.1 基本概念1.2.2 问题的形式化 1.3 统计学习三要素1.3.1 模型1.3.2 策略1.3.3 算法 1.4 模型评估与模型选择1.4.1 训练误差与测试误差1.4.2 过拟合与模型选择 1.5 正则化与交叉验证1.5.1 正则化1.5.2 交叉验证 1.
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第 2章感知机
文章目录 第 2章感知机2.1 感知机模型2.2 感知机学习策略2.2.1 数据集的线性可分性2.2.2 感知机学习策略 2.3 感知机学习算法2.3.1 感知机学习算法的原始形式2.3.2 算法的收敛性2.3.3 感知机学习算法的对偶形式 实践：二分类模型（iris数据集）数据集可视化：Perceptronscikit-learn实例 《统计学习方法：李航》笔记 从原理到实现（
电信保温杯笔记——《统计学习方法（第二版）——李航》（持续更新）
电信保温杯笔记——《统计学习方法（第二版）——李航》（持续更新） 本文是对原书的精读，会有大量原书的截图，同时对书上不详尽的地方进行细致解读与改写。 第2章 感知机 第3章 k近邻法 第4章 朴素贝叶斯 第5章 决策树 第6章 逻辑斯谛回归与最大熵模型 第7章 支持向量机 第8章 提升方法 第9章 EM算法及其推广 第10章 隐马尔可夫模型 第11章 条件随机场
电信保温杯笔记——《统计学习方法（第二版）——李航》第11章 条件随机场
电信保温杯笔记——《统计学习方法（第二版）——李航》第11章 条件随机场 论文介绍概率无向图模型图模型马尔科夫性成对马尔科夫性局部马尔科夫性全局马尔科夫性 概率无向图的定义概率无向图模型的因子分解团与最大团定义例子 因子分解 条件随机场条件随机场的定义线性链条件随机场条件随机场的形式参数化形式例子 简化形式矩阵形式例子 条件随机场的概率计算向前-向后算法概率计算期望计算预测算法步骤例子
电信保温杯笔记——《统计学习方法（第二版）——李航》第8章 提升方法
电信保温杯笔记——《统计学习方法（第二版）——李航》第8章 提升方法 论文介绍提升方法的基本思路提升方法的代表：AdaBoost步骤例子误差分析AdaBoost的另一个解释前向分步算法前向分步算法与AdaBoost的关系 提升方法的实例：提升树（boosting tree）提升树模型提升树算法步骤例子 提升树的优化步骤 本章概要相关视频相关的笔记相关代码pytorchtensorflow
电信保温杯笔记——《统计学习方法（第二版）——李航》第7章 支持向量机
电信保温杯笔记——《统计学习方法（第二版）——李航》第7章 支持向量机 论文介绍数学基础拉格朗日对偶性 线性可分的数据集的线性支持向量机线性可分的数据集的线性支持向量机的定义函数间隔和几何间隔函数间隔的定义几何间隔的定义函数间隔与几何间隔的关系 间隔最大化最大间隔的超平面步骤最大间隔的超平面的唯一性证明 支持向量和间隔边界支持向量的定义间隔边界的定义例子 支持向量机的求解：拉格朗日对偶性步
李航老师《统计学习方法》第1章阅读笔记
1.1 统计学习 统计学习的特点 统计学习：计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析 现在人们提及机器学习时，往往指统计机器学习，所以可以认为本书介绍的是机器学习方法 统计学习的对象 统计学习研究的对象是数据(data)，统计学习关于数据的基本假设是同类数据具有一定的统计规律性，这是统计学习的前提。 e.g.用随机变量描述数据的特征，用概率分布描述数据的统计规律 在统计学
智能与计算 - 李航 - 阅读摘要
智能与计算 - 李航 - 阅读摘要 原文阅读于中国计算机学会通讯 / 机器之心 摘要：本文对计算与思考 (或智能) 这个话题进行简单综述与讨论。人工智能的目标是要构建能够“思考”和“行动”的机器。 关键词：脑科学 认知科学 心智计算理论 体验认知理论 前言 1950 年，图灵发表论文 《计算机器与智能》 (Computing machinery and intelligence)，提出著
【小白啃书】统计学习方法（李航第二版）代码实现 （C++） 之 2.K近邻（1）
【统计学习方法（C++）】 K近邻（1）遍历法 K近邻写在前面（可以不看）算法原理训练判断标签值计算距离根据距离排序统计标签数量将标签赋给待分类样本 调用这个函数运行结果一些说明 本文仅梳理总结自己在学习过程中的一些理解和思路，水平有限，理解粗鄙浅薄且不一定正确。文章所有观点均不保证绝对正确，请酌情参考。如果各位朋友发现任何错误请及时告诉我，大家一起讨论共同提高。 （不要问我为什
李航机器学习 | (7) 统计学习方法(第2版)笔记 --- 朴素贝叶斯习题与编程作业
1. 用极大似然估计法推出朴素贝叶斯法中的概率估计公式： 2. 用贝叶斯估计法推出朴素贝叶斯法中的概率估计公式： 3. 贝叶斯估计求解过程 4. 自编程实现朴素贝叶斯算法，对上述表格中的训练数据进行分类。 """朴素贝叶斯算法的实现2019/4/12"""import numpy as npimport pandas
李航机器学习 | (6) 统计学习方法(第2版)笔记 --- 朴素贝叶斯法
目录 1. 导读 2. 朴素贝叶斯法的学习与分类 3. 朴素贝叶斯法的参数估计 4. 朴素贝叶斯法的参数估计推导 5. 小结 1. 导读 朴素贝叶斯(naive Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。 统计学习
统计学习（李航）笔记（编辑中）
统计学习笔记 1 工具1.1 EM算法1.2 KKT条件1.3 奇异矩阵SVD1.4 马尔科夫链MCMC 2 有监督学习2.1 感知机（二分类）2.2 KNN近邻（分类）2.3 朴素贝叶斯2.4 决策树2.5 提升Boosting2.6 逻辑回归2.7 支持向量机2.8 HMM蒙特卡洛马尔可夫 3 无监督学习3.1 聚类3.2 主成分PCA3.3 潜在语义分析3.4 PageRank
机器学习：李航-统计学习方法笔记（一）监督学习概论
目录 1.1统计学习 1.2统计学习的分类 1.2.1基本分类 监督学习定义： 无监督学习 强化学习 半监督学习 主动学习 1.2.2按模型分类 1.2.3按算法分类 1.2.4按技巧分类 贝叶斯学习（Bayesian learning） 核方法（kernel method） 1.3统计学习的三要素 模型 策略 算法 1.1统计学习 统计学习是
李航统计学习－支持向量机（SVM）之我的理解
支持向量机 是一种 二分类模型 SVM 不同于 感知机 是因为 SVM学习策略是间隔最大化，可以将该问题理解为凸二次规划问题，也可以将该问题理解为正则化的合叶损失函数最小化问题 支持向量机学习方法 可以从简单到繁杂分成三种： 线性可分支持向量机（可以使用硬间隔最大化学习线性分类器）， 线性支持向量机（使用软间隔最大化学习）， 非线性支持向量机（使用核技巧以及软间隔最大化
李航《统计学习方法》第一天之过拟合与泛化误差，极大似然估计和贝叶斯估计
写在前面：《统计学习方法》各章节代码实现与课后习题参考解答 https://blog.csdn.net/breeze_blows/article/details/85469944 1.、过拟合 概念：过拟合简单的说来就是就是训练出来的模型在训练集上表现很好，但是在测试集上表现较差的一种现象！ 模型出现过拟合现象的原因： 发生过拟合的主要原因可以有以下三点： （1）数据有噪声 意思就是把
李航统计学习方法-决策树
决策树 决策树（decision tree）是一种基本的分类与回归方法。本章主要讨论用于分类的决 策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它 可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分 布。其主要优点是模型具有可读性，分类
(李航统计方法学习）朴素贝叶斯Python实现
朴素贝叶斯属于生成模型，学习数据概率分布P(X,Y)，然后求后验概率P(Y|X)。对条件概率分布作条件独立性假设。 模型：贝叶斯定理 策略：后验概率最大化（等价于期望风险最小化） 算法：略 朴素贝叶斯在进行概率估计时有两种方式：基于最大似然估计、基于贝叶斯估计。朴素贝叶斯可以进一步扩展成贝叶斯网络 import numpy as npdef Train(X_train,Y_train,featu
（李航统计学习方法）感知机Python实现
机器学习的三要素：模型，策略，算法 模型：感知机是二分类线性分类模型，属于判别模型。 策略：基于误分类点到超平面的总距离。 学习算法：略 感知机存在的问题： 存在多解，解依赖于初始超平面的选择以及迭代过程中误分类点的选择。训练集线性不可分，算法无法收敛，解决方法：pocket算法或者使用核函数。无法解决异或问题 Python代码实现： import numpy as npdef train