FindShine +

龙星计划·机器学习_Day1

《机器学习》课程开课第一天。很顺利地占到了座位,并且完成了第一天的学习。课程容量相当大,从上午9点到下午2点持续上课,虽然累,但是很有收获!

lecture 1: Introduction to ML and review of linear algebra, probability, statistics (kai)

余凯博士介绍了本次课程的目标:Excited-Overview-Distinguish-Design.首先激发大家对机器学习的热情,然后从整体的、系统的角度介绍机器学习领域的各项技术,接着让大家学会区分使用不同的方法,最后懂得设计合适的机器学习系统。

在第一讲中,他提到了语音识别技术在学术界和工业界的起伏历程。80年代的提出并受到关注,90年代的没落(由于工业界不够重视)再到如今随着智能手机、语音输入法的发展的炙手可热,语音识别是机器学习的一个重要分支。在学术界,也许将准确率提升一点就可以发论文,并不在意它的鲁棒性,而业界发展产品时,却极致要求完满。所以,从科技发展的角度来看,学术上的创新+工业中的严格要求才能造就非凡的产品。

余凯提出了机器学习的三大要素:数据、模型、算法。但他也指出,数据的预处理效果往往决定了算法表现的Upper bound,这有时候倒是我们不太注意的地方。

lecture 2: linear model (tong)

张潼是做统计出生的,讲的东西比较偏数学。

两位专家都强调了线性模型(Linear model)的重要性,因为很多非线性的结构可以用线性模型的方法(Method)来处理,也就是说,只需要对参数β是线性的,其变量可以是非线性的。

lecture 3: overfitting and regularization (tong)

本节重点讲了如何寻找最重要的特征(variable),一是人工分析,二是动态调配:通过增加或减少variable,观察预测效果的变化来判别其重要性。

在处理overfitting问题上,主要也是两种方法:一是选择重要的features(人工选择或者用model selection algorithm),二是regularization,通过设置λ(regularization parameter)来削弱参数的影响力。

他重点分析了Lp Regularization和Ridge Regression。我都没听懂……

lecture 4: linear classification (kai)

午饭回来,余凯博士讲了线性分类器。主要说了感知机(Perceptron Algorithm)和支持向量机(Support Vector Machine)。课上他提到的Deep learning是一个新概念,我只听说是神经网络的一个发展,有空去具体了解一下。余凯博士在Summary的时候还提出,Large Scale Linear Classification最近又成为一个热门的研究课题,目前还没有很好的解决,也许是一项值得挖掘的领域。

课程刚刚开始,全场400+人,本科生不到10个,略感压力大。不过认识了一些博士生(清华、中科院自动化所等),有很大的交流空间和共同兴趣,相信接下来会有更大的收获。

Tech

Life

Project