计算机--机器学习---机器learning基石sum

2024-06-20 07:08

本文主要是介绍计算机--机器学习---机器learning基石sum,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

从机器学习基石,开始,重新看文章,复习,

2017.1.4:

复习了对应的pla算法,重新看PPT,可以发现对应的理解在逐步的加深,并且,辅助着看线性代数的时候,可以发现对应的特征理解,是对于一个space进行展开,我们看到的资料,都是针对某个space进行对应的展开,这样的话,所有的feature都可以进行对应的展开工作,feature的选取,就会进一步的展开。

在看PLA的时候,之前第一次看的时候,没有看懂,这点需要注意,自学的时候,必须一次性弄懂,然后后面的时候,就进行对应的复习,不断地加深记忆。---Linear separable的空间,下,结合NG的课程,有两种目前学到的,可以用PLA,也可以用 gradient decent 算法来收敛,并且数学可解,慢慢进阶,把前后的知识串在一起,加深对这个领域的理解


20170105:

NG:

1. feature normalization 强调均衡化。

2. x' 表示转置 pinv (x'*x)*x'*y

3. x'x not invertible: a. Redundant
features
(linearly
dependent).


b.Too
many
features
(e.g. m<=n
).

c. matab: Vectorization malipulating 


e.Sigmoid
func&on:

S(t)={\frac {1}{1+e^{-t}}}.



Logis&c
func&on:

f(x)={\frac  {L}{1+{\mathrm  e}^{​{-k(x-x_{0})}}}}


可以认为 sigmoid function 是 logistic function的特例。


f. 看到一个矩阵:m*n不要认为那么简单,多联想,前后联系,example and feature来表达分析。


g.加上公式解之后,可以看到:在regulization下,也可以进行

带有lambda的收敛表达式


当其invertible的时候,就需要注意变化分析:m<=n

ntu:

1.supervised learning:
every xn comes with corresponding yn

对supervised learning 更好的理解,不仅仅停留在label这个层面上,而是更深地去理解对应的文章,内容。


2. semi-supervised learning: leverage
unlabeled data to avoid ‘expensive’ labeling

----

Learning with Different Data Label yn
supervised: all yn
unsupervised: no yn
semi-supervised: some yn
reinforcement: implicit yn by goodness(~yn)
: : : and more!!


online: hypothesis ‘improves’ through receiving
data instances sequentially

active: improve hypothesis with fewer labels
(hopefully) by asking questions strategically


Protocol , Learning Philosophy
batch: ‘duck feeding’
online: ‘passive sequential’
active: ‘question asking’ (sequentially)
—query the yn of the chosen xn


Learning with Different Protocol f ) (xn; yn)
batch: all known data
online: sequential (passive) data
active: strategically-observed data
: : : and more!!


4. 在feature里面,带有的是特征含义的训练分析,来进一步使得特征INPUT可以驱动运用,比如对应的density, symmetry这种操作的对应feature learning并且,在进一步的基础上,可以看到,联想有些feature 对于input是难以捕捉的,比如对应的rating, id这些,不可表意的,如何进行展开运用分析,

abstract: again need ‘feature
conversion/extraction/construction’


Learning with Different Input Space X
concrete: sophisticated (and related)
physical meaning
raw: simple physical meaning
abstract: no (or little) physical meaning
: : : and more!!


20170106:

lecture 5: hoffeding 作用,进一步体会,有效地对应的空间函数,收敛到一个upper bound的范围,然后,在这种情况下,可以使得问题得到有效的展开。这种收敛非常的重要,从统计概念上,保证了hoffeding的运用可能性,使得函数问题,可以有效地进行推广求解,注意体会,非常的关键。----统计的保证,有效地推广展开。全新的思路,进行对应的理解分析,注意体会。----在做作业的时候,进一步理解hoffeding 函数的作用和意义,---u v 中间产生epison  产生的意义,注意体会,其中的变化观点。----做题的时候,一定哟啊投入,真正做题的时候,才会对公式,有更加深刻的理解,并且,可以进一步进行发散

2.做题的时候,其实,是在不断地体会,优化对应的multiple bin and multiple  choices for  hypothesises的情况,这点要注意体会。其中的变化,要不断地体会。

3.计算的技巧性,进一步进行体会,具体的情况中,在这次计算下,用item表示计算,更方便,有意义分析。

4.重看PPT的时候,一定要思考,当初是如何去学习的,前后如何串在一起,不然,还不如重听视频,这点务必注意,一定要注意对应的学习效率。

5.加快自己的理解,不断地反思优化对应的模型,运用分析,对应部分的求解原理,运用分析。并且,其中如何和线性代数结合在一起的,注意体会,运用分析。


20170110:

lecture 6:

1. break point 进行理解的时候,注意把握对应的时序相关性的特点,然后进行对应相关的求解运用分析。

2.B(N,K)函数的建立,在于尽可能地收敛对应的函数空间,使得对应的limit可以进一步进行对应的收敛工作,使得整体的函数特征,可以进行相关地改变。

3. Vapnik-Chervonenkis (VC) bound:P
h
9h 2 H s.t.

Ein(h)对于vc dimension进行进一步判断分析。


lecture next:

1.对于不同的Noise利用概率来进行相关地求解运用分析,实现对应的概率分配模型。

2. 在其他的运用中,利用相关的

3. 引入weighted error来进一步平衡对应的参数环境,实现对应的参数调解。 

4. weighted error可以利用重复观察次数来进行对应的实现叠加,比如对应的参数多元化,多个重复eg 1000 times这样的话,来进一步协调相关参数的设置范围,实现对应的参数调解范围。


hw 2:

1. 对noise的理解,按照之前上课看到的,利用对应的prob来代替求解。

2. 看到pseudo inverse的时候,重新看了对应的linear algebra加深对应的理解----看知识的时候,一定要沉下去看,记住lindahua说的,学习数学,真的只有靠自己。

3.看了hat matrix 一节所讲述的,Y,不就是对x的投影空间,然后,在空间作为基础,进行展开,寻求逼近,而我们要做的,不就是寻找一个更好的N维空间,进行对应的收敛测试,y是一个未知的空间解,然后,我们希望寻求一个更好的空间解,来进行对应的回归变化分析,体会分析,加深对ML的理解,作为坚实的基础


next lecture:

1.logistic regression的化简过程,全新的理解,关于数学分析,并且在其中,我们可以看到,对应的min 和max之间,利用对应的- 负号,来进行对应的调节分析。实现数学公式的化简分析。

2.在求解,看公式的时候,除了对应的数学公式解的含义,也应该看到对应的物理意义比如对应的xnwtyn这些参数所产生的效果。

3.单个logistic function的变换分析,利用的是对应的SGD这种情况,随机选取一个random selection,避免O N的计算次数,来进行相关地优化,实现计算复杂度的降低。

4. 相互之间的函数是互相联系的,比如对应的pla sgd 在\delta 更新的时候,都会出现对应的相似性,这点要注意进行体会。

5. ONE VS ONE 和 ONE VS ALL 的相关性差异,如何利用有限的空间尺寸,进行对应的求解分析。----具体变换的时候,应该看到对应的优化方向,趋势和模型。如何利用有限的空间,进行对应的优化判别,尽可能的在模型上,优化对应的空间求解,这些都需要进行相关的体会。


next lecture:

1. non linear transform:理解的时候,一定要结合LINEAR ALGEBRA中的空间线性转换分析,来进行对应的求解分析,这样可以更好地进行对应空间的优化,学到的知识,如何利用,进行相关的建模,这点非常的关键,一定要注意进行体会。其中的变换关系,显得非常的essential在研究 Model中。

2. 从z 到a 的vice versa其实,在理论上,是非常的重要的,这点要注意,in math level的统计推导,是严格证明的基础。

3.老师在讲解的时候,进一步介绍当中,可以看到先说明space separable然后,在这个的基础上,进一步展开,说明can learn 这样的话,形成有效的crictical thinking 的思考模式,这点要学习,如何有效地形成对应的critical thinking 的思维求解方式,在研究中,非常的重要。

4.高维度空间都是perceptron和 line vc相关?这样的模型。

5. 最后,我们可以看到,VCdimension 说dd+1因为,在最后的收敛空间里面,我们看到的曲线是对应的linear separable这样的函数,然后,利用这样的基石,我们可以进一步优化对应的求解空间,来运用分析。

6. model complexity 物理空间解集意义的表现分析,来进一步优化对应的元素空间,实现对应的空间求解。

7. vc dimension的贯穿分析,穿起来,相互之间,进行相关的连接。


lecture 13: overfitting

1. generalization error 的表示,利用对应的ein eout来表达,基本的表示方式,应该保持熟悉

2. data  和noise会影响对应的overfitting 情况,曲线图记录了对应的情况。

3. possible action 1: correct the label (data cleaning)
possible action 2: remove the example (data pruning)效果有所不同


lecture 14:

1. w2--w10的进化化简过程,描述的就是对应的空间从w2有限制,但是w10展开w参数个数,但是对应的空间函数大小value会进行对应的限制,使得最终的函数,都尽可能小地收敛在一个确定的值范围内,使得整的函数分析,得以有效地降低,达到整体的分析过程。

2. 这节里面,所阐述的Ein就是描述对应的等值曲线的变化规律来进行对应的运用分析,所以,可以看到梯度,垂直于对应的曲线的切线。----

回顾梯度的意义:函数值增长最快的自变量改变方向。,理解对应的核心观点,才是解题的关键。
3.最终优化的解,是对应的Lagrange Multiplier---这点是理解的关键。called ridge regression in Statistics---联想后面学到的regression方式,就可以进行进一步理解分析了。
4. 并且,在Model问题的时候,有技巧解:if oracle tells you  > 0, then
solving rEin(wREG) +
2
N
wREG = 0
equivalent to minimizing Ein(w) +N
regularizer z }| {
wTw
| {z }--等价问题的转化,显得非常的必要在,在求解定义问题里面,注意体会对应的分析。
 
2. Regularization and VC Theory 之间的相互关系,利用公式的解,进行联系,相互之间,进行对应的观察,来入手求解分析。
3.LL2 L1 regulization分析变化,注意对应的图形表现方式的正确理解。target:regularizer: target-dependent, plausible, or friendly
ringing a bell? :-)
error measure: user-dependent, plausible, or friendly 三个条件进行依附求解分析。
 
lecture validation:
1. 期望值的表达,平均值相关,比如对应的average,实际上,就是一种期望的表现形式。
2. 最终期望,进行表示的时候,概率进行表达,并且,在分析最后方程等式的物理意义的时候,可以看到,涉及到的是,对应的物理意义,解析分析。
3. Eloocv much better than Ein ----优化比较分析。
4.两种model 的 p1, p2相关值测试分析,保证TEST LEARNING都是在尽可能相同的distribution下面进行对应的运用分析求解,然后,这样VC NOT FAILS
 
5.Power of three里面,把前后的知识,串了起来,注意进行体会,融会贯通,进一步深刻理解分析。
6.在后面的表达式子中,自己又看到了对应的linear combination of xnyn这种表达式,这个就很关键了。--前后知识的联系,对于wn都是对于xn, yn的线性组合,这样才可以形成对应的驱动相关。w ‘represented’ by data

这篇关于计算机--机器学习---机器learning基石sum的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1077437

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识

计算机毕业设计 大学志愿填报系统 Java+SpringBoot+Vue 前后端分离 文档报告 代码讲解 安装调试

🍊作者:计算机编程-吉哥 🍊简介:专业从事JavaWeb程序开发,微信小程序开发,定制化项目、 源码、代码讲解、文档撰写、ppt制作。做自己喜欢的事,生活就是快乐的。 🍊心愿:点赞 👍 收藏 ⭐评论 📝 🍅 文末获取源码联系 👇🏻 精彩专栏推荐订阅 👇🏻 不然下次找不到哟~Java毕业设计项目~热门选题推荐《1000套》 目录 1.技术选型 2.开发工具 3.功能

最大流=最小割=最小点权覆盖集=sum-最大点权独立集

二分图最小点覆盖和最大独立集都可以转化为最大匹配求解。 在这个基础上,把每个点赋予一个非负的权值,这两个问题就转化为:二分图最小点权覆盖和二分图最大点权独立集。   二分图最小点权覆盖     从x或者y集合中选取一些点,使这些点覆盖所有的边,并且选出来的点的权值尽可能小。 建模:     原二分图中的边(u,v)替换为容量为INF的有向边(u,v),设立源点s和汇点t