机器学习算法_机器学习算法知识图谱

毕业季到了&＃xff01;学生党们即将离开校园迈入社会。随着各个大厂的校招纷纷结束&＃xff0c;一份流传于江湖的“18届互联网校招薪酬表”引得众人羡慕&＃xff01;

这份清单包括多家知名互联网企业AI类岗位的年薪水平&＃xff0c;30万起跳&＃xff0c;40万-50万的也比比皆是。而从拿到这些企业offer的同学反馈来看&＃xff0c;这份清单显示的年薪水平还是比较准确的。

纵使给出了优厚的待遇&＃xff0c;人工智能领域的人才缺口还是非常大。

腾讯近期发布的报告显示&＃xff0c;目前人工智能领域合格的研究人员数量仅为30万&＃xff0c;其中包括相关研究领域的学生。然而&＃xff0c;全国范围内&＃xff0c;人工智能的人才缺口却为一百万甚至更多。在2018年及未来的几年内&＃xff0c;“抢得到人才”绝对是人工智能企业发展的前提及关键。

机器学习算法工程师必备的能力项

01&＃xff1a;基础开发能力

所谓算法工程师&＃xff0c;首先需要是一名工程师&＃xff0c;那么就要掌握所有开发工程师都需要掌握的一些能力。在大多数企业的大多数职位中&＃xff0c;算法工程师需要负责从算法设计到算法实现再到算法上线这一个全流程的工作。

02&＃xff1a;概率和统计基础

概率和统计可以说是机器学习领域的基石之一&＃xff0c;从某个角度来看&＃xff0c;机器学习可以看做是建立在概率思维之上的一种对不确定世界的系统性思考和认知方式。学会用概率的视角看待问题&＃xff0c;用概率的语言描述问题&＃xff0c;是深入理解和熟练运用机器学习技术的最重要基础之一。

在统计方面&＃xff0c;一些常用的参数估计方法也需要掌握&＃xff0c;典型的如最大似然估计、最大后验估计、EM 算法等。这些理论和最优化理论一样&＃xff0c;都是可以应用于所有模型的理论&＃xff0c;是基础中的基础。这些分布贯穿着机器学习的各种模型之中&＃xff0c;也存在于互联网和真实世界的各种数据之中&＃xff0c;理解了数据的分布&＃xff0c;才能知道该对它们做什么样的处理。

03&＃xff1a;开发语言和开发工具

近年来 Python 可以说是数据科学和算法领域最火的语言&＃xff0c;主要原因是它使用门槛低&＃xff0c;上手容易&＃xff0c;同时具有着完备的工具生态圈&＃xff0c;同时各种平台对其支持也比较好。但是在模型训练方面&＃xff0c;有一些更加专注的工具可以给出更好的训练精度和性能&＃xff0c;典型的如 LibSVM、Liblinear、XGBoost 等。大数据工具方面&＃xff0c;目前离线计算的主流工具仍然是Hadoop和Spark&＃xff0c;实时计算方面 Spark Streaming 和 Storm 也是比较主流的选择。

另外&＃xff0c;在学习Python以外&＃xff0c;我建议大家可以再学习一下R语言&＃xff0c;主要原因有以下几点&＃xff1a;

• R语言具有最完备的统计学工具链。我们在上面介绍了概率和统计的重要性&＃xff0c;R语言在这方面提供的支持是最全面的&＃xff0c;日常的一些统计方面的需求&＃xff0c;用R来做可能要比用Python来做还要更快。Python的统计科学工具虽然也在不断完善&＃xff0c;但是R仍然是统计科学最大最活跃的社区。

• **向量化、矩阵化和表格化思维的培养。**R中的所有数据类型都是向量化的&＃xff0c;一个整形的变量本质上是一个长度为一的一维向量。在此基础上R语言构建了高效的矩阵和(DataFrame)数据类型&＃xff0c;并且在上面支持了非常复杂而又直观的操作方法。这套数据类型和思考方式也在被很多更现代化的语言和工具所采纳&＃xff0c;例如Numpy中的ndarray&＃xff0c;以及Spark最新版本中引入的DataFrame&＃xff0c;可以说都是直接或间接从R语言得到的灵感&＃xff0c;定义在上面的数据操作也和R中对DataFrame和向量的操作如出一辙。就像学编程都要从C语言学起一样&＃xff0c;学数据科学和算法开发我建议大家都学一下R&＃xff0c;学的既是它的语言本身&＃xff0c;更是它的内涵思想&＃xff0c;对大家掌握和理解现代化工具都大有裨益。

04&＃xff1a;机器学习理论(最重要)

虽然现在开箱即用的开源工具包越来越多&＃xff0c;但并不意味着算法工程师就可以忽略机器学习基础理论的学习和掌握。这样做主要有两方面的意义&＃xff1a;

①掌握理论才能对各种工具、技巧灵活应用&＃xff0c;而不是只会照搬套用。

②学习机器学习的基础理论的目的不仅仅是学会如何构建机器学习系统&＃xff0c;更重要的是思维模式&＃xff0c;否则思考效率和深度都会非常受限。

-END-