计算机--机器学习---机器learning基石sum

本文主要是介绍计算机--机器学习---机器learning基石sum，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

从机器学习基石，开始，重新看文章，复习，

2017.1.4：

复习了对应的pla算法，重新看PPT，可以发现对应的理解在逐步的加深，并且，辅助着看线性代数的时候，可以发现对应的特征理解，是对于一个space进行展开，我们看到的资料，都是针对某个space进行对应的展开，这样的话，所有的feature都可以进行对应的展开工作，feature的选取，就会进一步的展开。

在看PLA的时候，之前第一次看的时候，没有看懂，这点需要注意，自学的时候，必须一次性弄懂，然后后面的时候，就进行对应的复习，不断地加深记忆。---Linear separable的空间，下，结合NG的课程，有两种目前学到的，可以用PLA，也可以用 gradient decent 算法来收敛，并且数学可解，慢慢进阶，把前后的知识串在一起，加深对这个领域的理解。

20170105：

NG：

1. feature normalization 强调均衡化。

2. x' 表示转置 pinv (x'*x)*x'*y

3. x'x not invertible: a. Redundant
features
(linearly
dependent).

b.Too
many
features
(e.g. m<=n
).

c. matab: Vectorization malipulating 

e.Sigmoid
func&on：

Logis&c
func&on：

可以认为 sigmoid function 是 logistic function的特例。

f. 看到一个矩阵：m*n不要认为那么简单，多联想，前后联系，example and feature来表达分析。

g.加上公式解之后，可以看到：在regulization下，也可以进行

带有lambda的收敛表达式

当其invertible的时候，就需要注意变化分析：m<=n

ntu:

1.supervised learning:
every xn comes with corresponding yn

对supervised learning 更好的理解，不仅仅停留在label这个层面上，而是更深地去理解对应的文章，内容。

2. semi-supervised learning: leverage
unlabeled data to avoid ‘expensive’ labeling

----

Learning with Different Data Label yn
supervised: all yn
unsupervised: no yn
semi-supervised: some yn
reinforcement: implicit yn by goodness(~yn)
: : : and more!!

online: hypothesis ‘improves’ through receiving
data instances sequentially

active: improve hypothesis with fewer labels
(hopefully) by asking questions strategically

Protocol , Learning Philosophy
batch: ‘duck feeding’
online: ‘passive sequential’
active: ‘question asking’ (sequentially)
—query the yn of the chosen xn

Learning with Different Protocol f ) (xn; yn)
batch: all known data
online: sequential (passive) data
active: strategically-observed data
: : : and more!!

4. 在feature里面，带有的是特征含义的训练分析，来进一步使得特征INPUT可以驱动运用，比如对应的density, symmetry这种操作的对应feature learning并且，在进一步的基础上，可以看到，联想有些feature 对于input是难以捕捉的，比如对应的rating, id这些，不可表意的，如何进行展开运用分析，

abstract: again need ‘feature
conversion/extraction/construction’

Learning with Different Input Space X
concrete: sophisticated (and related)
physical meaning
raw: simple physical meaning
abstract: no (or little) physical meaning
: : : and more!!

20170106：

lecture 5: hoffeding 作用，进一步体会，有效地对应的空间函数，收敛到一个upper bound的范围，然后，在这种情况下，可以使得问题得到有效的展开。这种收敛非常的重要，从统计概念上，保证了hoffeding的运用可能性，使得函数问题，可以有效地进行推广求解，注意体会，非常的关键。----统计的保证，有效地推广展开。全新的思路，进行对应的理解分析，注意体会。----在做作业的时候，进一步理解hoffeding 函数的作用和意义，---u v 中间产生epison  产生的意义，注意体会，其中的变化观点。----做题的时候，一定哟啊投入，真正做题的时候，才会对公式，有更加深刻的理解，并且，可以进一步进行发散。

2.做题的时候，其实，是在不断地体会，优化对应的multiple bin and multiple  choices for  hypothesises的情况，这点要注意体会。其中的变化，要不断地体会。

3.计算的技巧性，进一步进行体会，具体的情况中，在这次计算下，用item表示计算，更方便，有意义分析。

4.重看PPT的时候，一定要思考，当初是如何去学习的，前后如何串在一起，不然，还不如重听视频，这点务必注意，一定要注意对应的学习效率。

5.加快自己的理解，不断地反思优化对应的模型，运用分析，对应部分的求解原理，运用分析。并且，其中如何和线性代数结合在一起的，注意体会，运用分析。

20170110：

lecture 6:

1. break point 进行理解的时候，注意把握对应的时序相关性的特点，然后进行对应相关的求解运用分析。

2.B(N,K)函数的建立，在于尽可能地收敛对应的函数空间，使得对应的limit可以进一步进行对应的收敛工作，使得整体的函数特征，可以进行相关地改变。

3. Vapnik-Chervonenkis (VC) bound:P
h
9h 2 H s.t.

Ein(h)对于vc dimension进行进一步判断分析。

lecture next:

1.对于不同的Noise利用概率来进行相关地求解运用分析，实现对应的概率分配模型。

2. 在其他的运用中，利用相关的

3. 引入weighted error来进一步平衡对应的参数环境，实现对应的参数调解。 

4. weighted error可以利用重复观察次数来进行对应的实现叠加，比如对应的参数多元化，多个重复eg 1000 times这样的话，来进一步协调相关参数的设置范围，实现对应的参数调解范围。

hw 2:

1. 对noise的理解，按照之前上课看到的，利用对应的prob来代替求解。

2. 看到pseudo inverse的时候，重新看了对应的linear algebra加深对应的理解----看知识的时候，一定要沉下去看，记住lindahua说的，学习数学，真的只有靠自己。

3.看了hat matrix 一节所讲述的，Y,不就是对x的投影空间，然后，在空间作为基础，进行展开，寻求逼近，而我们要做的，不就是寻找一个更好的N维空间，进行对应的收敛测试，y是一个未知的空间解，然后，我们希望寻求一个更好的空间解，来进行对应的回归变化分析，体会分析，加深对ML的理解，作为坚实的基础。

next lecture:

1.logistic regression的化简过程，全新的理解，关于数学分析，并且在其中，我们可以看到，对应的min 和max之间，利用对应的- 负号，来进行对应的调节分析。实现数学公式的化简分析。

2.在求解，看公式的时候，除了对应的数学公式解的含义，也应该看到对应的物理意义比如对应的xnwtyn这些参数所产生的效果。

3.单个logistic function的变换分析，利用的是对应的SGD这种情况，随机选取一个random selection，避免O N的计算次数，来进行相关地优化，实现计算复杂度的降低。

4. 相互之间的函数是互相联系的，比如对应的pla sgd 在\delta 更新的时候，都会出现对应的相似性，这点要注意进行体会。

5. ONE VS ONE 和 ONE VS ALL 的相关性差异，如何利用有限的空间尺寸，进行对应的求解分析。----具体变换的时候，应该看到对应的优化方向，趋势和模型。如何利用有限的空间，进行对应的优化判别，尽可能的在模型上，优化对应的空间求解，这些都需要进行相关的体会。

next lecture:

1. non linear transform：理解的时候，一定要结合LINEAR ALGEBRA中的空间线性转换分析，来进行对应的求解分析，这样可以更好地进行对应空间的优化，学到的知识，如何利用，进行相关的建模，这点非常的关键，一定要注意进行体会。其中的变换关系，显得非常的essential在研究 Model中。

2. 从z 到a 的vice versa其实，在理论上，是非常的重要的，这点要注意，in math level的统计推导，是严格证明的基础。

3.老师在讲解的时候，进一步介绍当中，可以看到先说明space separable然后，在这个的基础上，进一步展开，说明can learn 这样的话，形成有效的crictical thinking 的思考模式，这点要学习，如何有效地形成对应的critical thinking 的思维求解方式，在研究中，非常的重要。

4.高维度空间都是perceptron和 line vc相关？这样的模型。

5. 最后，我们可以看到，VCdimension 说dd+1因为，在最后的收敛空间里面，我们看到的曲线是对应的linear separable这样的函数，然后，利用这样的基石，我们可以进一步优化对应的求解空间，来运用分析。

6. model complexity 物理空间解集意义的表现分析，来进一步优化对应的元素空间，实现对应的空间求解。

7. vc dimension的贯穿分析，穿起来，相互之间，进行相关的连接。

lecture 13: overfitting

1. generalization error 的表示，利用对应的ein eout来表达，基本的表示方式，应该保持熟悉

2. data  和noise会影响对应的overfitting 情况，曲线图记录了对应的情况。

3. possible action 1: correct the label (data cleaning)
possible action 2: remove the example (data pruning)效果有所不同

lecture 14:

1. w2--w10的进化化简过程，描述的就是对应的空间从w2有限制，但是w10展开w参数个数，但是对应的空间函数大小value会进行对应的限制，使得最终的函数，都尽可能小地收敛在一个确定的值范围内，使得整的函数分析，得以有效地降低，达到整体的分析过程。

2. 这节里面，所阐述的Ein就是描述对应的等值曲线的变化规律来进行对应的运用分析，所以，可以看到梯度，垂直于对应的曲线的切线。----

回顾梯度的意义：函数值增长最快的自变量改变方向。，理解对应的核心观点，才是解题的关键。

3.最终优化的解，是对应的Lagrange Multiplier---这点是理解的关键。called ridge regression in Statistics---联想后面学到的regression方式，就可以进行进一步理解分析了。

4. 并且，在Model问题的时候，有技巧解：if oracle tells you  > 0, then
solving rEin(wREG) +
2
N
wREG = 0
equivalent to minimizing Ein(w) +N
regularizer z }| {
wTw
| {z }--等价问题的转化，显得非常的必要在，在求解定义问题里面，注意体会对应的分析。

2. Regularization and VC Theory 之间的相互关系，利用公式的解，进行联系，相互之间，进行对应的观察，来入手求解分析。

3.LL2 L1 regulization分析变化，注意对应的图形表现方式的正确理解。target:regularizer: target-dependent, plausible, or friendly
ringing a bell? :-)
error measure: user-dependent, plausible, or friendly 三个条件进行依附求解分析。

lecture validation:

1. 期望值的表达，平均值相关，比如对应的average，实际上，就是一种期望的表现形式。

2. 最终期望，进行表示的时候，概率进行表达，并且，在分析最后方程等式的物理意义的时候，可以看到，涉及到的是，对应的物理意义，解析分析。

3. Eloocv much better than Ein ----优化比较分析。

4.两种model 的 p1, p2相关值测试分析，保证TEST LEARNING都是在尽可能相同的distribution下面进行对应的运用分析求解，然后，这样VC NOT FAILS

5.Power of three里面，把前后的知识，串了起来，注意进行体会，融会贯通，进一步深刻理解分析。

6.在后面的表达式子中，自己又看到了对应的linear combination of xnyn这种表达式，这个就很关键了。--前后知识的联系，对于wn都是对于xn, yn的线性组合，这样才可以形成对应的驱动相关。w ‘represented’ by data

这篇关于计算机--机器学习---机器learning基石sum的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---