机器学习团队常用工具总结，人生苦短，我用Python！

▼

更多精彩推荐&＃xff0c;请关注我们

▼

来源&＃xff1a;reddit

编辑&＃xff1a;科雨、白峰

本文经授权转自公众号    新智元

【新智元导读】现在国外现初创公司最频繁使用的机器学习工具是什么&＃xff1f;本篇文章详细总结&＃xff0c;带你全方位了解&＃xff0c;想快速坐上人工智能顺风车的小伙伴们&＃xff0c;请抓稳了&＃xff01;

有想法有创意&＃xff0c;想快速自行发起项目&＃xff1f;还在海量的工具包、软件、平台、库和各种插件上毫无头绪地寻觅&＃xff1f;想加入初创公司一展身手&＃xff0c;却找不到补课切入点&＃xff1f;

苦苦自学却最后发现竟然是冷门技术&＃xff1f;总是发愁资料掌握并不齐全&＃xff1f;感叹AI实战技术发展太快&＃xff0c;自己总是落伍&＃xff1f;那这篇文章或许就很适合你&＃xff01;       

机器学习工具&＃xff0c;初创公司最爱哪款&＃xff1f;

近日&＃xff0c;Reddit上一则帖子火了&＃xff1a;发帖者详细总结了近几年初创公司的机器学习团队在各个环节使用的机器学习工具&＃xff0c;从软件开发设置IDE&＃xff0c;机器学习框架&＃xff0c;到实验管理&＃xff0c;可视化工具等等。

评论区也一片火爆&＃xff0c;大家纷纷作出补充&＃xff0c;极大的丰富了现有最新主流资源。

小伙伴们都知道&＃xff0c;挑选最佳的各种工具&＃xff0c;为机器学习团队建立起良好的工作栈&＃xff0c;对于提高项目工作效率以及按时交付工作来说&＃xff0c;非常重要。

如果小伙伴中有人在初创公司工作过&＃xff0c;就会对建立起一个可以随团队进步&＃xff0c;用户需求来快速发展的机器学习环境有着更加深刻的体会。

这里我们正好为大家做个总结&＃xff0c;将当前主流初创公司使用的&＃xff0c;前沿的&＃xff0c;时兴的各种软件和插件&＃xff0c;平台&＃xff0c;工具包&＃xff0c;算法等等&＃xff0c;分享给大家&＃xff01;

为了使结构更加清晰&＃xff0c;接下来&＃xff0c;我们会将内容分成下面几个主题&＃xff0c;一一介绍&＃xff1a;

• 软件开发设置(Software Development Setup)

• 机器学习框架(Machine Learning Frameworks)

• 机器学习模型管理(MLOps)

• 其他

软件开发工具Jupyter最热

相信大家都有这么一种感觉&＃xff1a;开发环境是每个团队工作流程的基础&＃xff0c;因此&＃xff0c;如果能了解在世界范围内&＃xff0c;大部分公司认为的最佳工具有哪些&＃xff0c;那就最好不过了&＃xff01;

IDE&＃xff08;集成开发环境&＃xff09;

对于集成开发环境&＃xff08;IDE&＃xff09;&＃xff0c;主要有两个阵营&＃xff1a;

1 Jupyter Lab&＃43;NB扩展&＃xff08;偶尔带有Neepnote&＃xff09;&＃43;Colab

2 Pycharm/VScode

&＃xff08;PS&＃xff1a;当然&＃xff0c;R Studio显然是R用户的忠实选择&＃xff09;

版本控制&＃xff08;Version Control&＃xff09;

那当然是每个程序员的家园—Github啦哈哈哈&＃xff01;

机器学习语言

经过统计&＃xff0c;Python成为了最经常使用的语言&＃xff0c;同时&＃xff0c;还有一部分开发者在使用R语言&＃xff5e;

机器学习经典框架依然受欢迎

面对花样百出&＃xff0c;种类繁多的选择&＃xff0c;现在海外的主流初创公司最经常使用的机器学习框架和库都有什么呢&＃xff1f;

可视化&＃xff1a;Pandas&＃43;Matplotlib&＃43;Plotly

这三个大名鼎鼎的工具包就不需要过多介绍了吧&＃xff5e;这些工具可真的称得上机器学习可视化利器了。

除此之外&＃xff0c;研究者还经常使用Altair( Python )和Hiplot( R, 超参数可视化 &＃xff09;

经典算法库&＃xff1a;Sklearn&＃43;XGBoost

这两款机器学习库&＃xff0c;包含了初创公司最经常使用的经典算法&＃xff0c;也算是爆款工具了。

深度学习&＃xff1a;Tensorflow&＃43;Keras 或Pytorch

大火的Tensorflow和Pytorch终于出场了&＃xff5e;相信任何一个搞深度的朋友都已经无比熟悉了吧。有的时候&＃xff0c;在同一家公司的深度学习项目中中&＃xff0c;这两种框架会出现同时存在的情况。

在这里&＃xff0c;值得注意的是&＃xff0c;越来越多的正在更加频繁地使用Pytorch训练库&＃xff0c;比如Lightning, Ignite, Catalyst, Fastai和Skorch。

善用编排工具&＃xff0c;管理好你的机器学习模型

看到这里&＃xff0c;你可能在想&＃xff1a;「什么是MLOps」&＃xff0c;或者「为什么要关心这个玩意儿&＃xff1f;&＃xff1f;」

其实&＃xff0c;这个术语其实在指DevOps&＃xff0c;在这里&＃xff0c;用来描述用于机器学习活动和操作的工具。

那下面就来看看初创公司到底在用什么工具来进行机器学习的DevOps吧&＃xff1a;

编排工具&＃xff1a;Kubeflow&＃xff0c;Airflow&＃xff0c;Amazon Sagemaker&＃xff0c;Azure

模型封装&部署&＃xff1a;Kubeflow, MLflow, Amazon SageMaker

从训练到推断&＃xff1a;Pytest-benchmark, MLperf

当开发人员将训练好的模型用于实际情况下的推断时&＃xff0c;就会主要使用这两个工具对模型进行分析和优化。

实验管理&＃xff1a;MLflow, Comet, Neptune

为了进行实验跟踪&＃xff0c;研究者常常使用这些工具&＃xff0c;除此之外&＃xff0c;我们还能看到TensorBorad和Scared等等之类的开源软件包。

有小伙伴还在评论里补充了Google Sheet。

整个机器学习流程&＃xff0c;还是人最重要

相信上面的很多工具&＃xff0c;比如Pytorch和Pandas&＃xff0c;Jupyter Lab等等&＃xff0c;已经在大家的预期之内了&＃xff0c;那在对初创公司的采访中&＃xff0c;还有什么在预期之外呢&＃xff1f;

Wetware

在我们说这个到底是个啥之前&＃xff0c;大家可以往后退一步&＃xff0c;跳脱出具体的某个库某个框架&＃xff0c;来从大局来看看&＃xff1a;

初创公司Trust Insights的Christopher Penn说到&＃xff0c;任何机器学习团队都会使用一种相当有趣的“工具”

——"湿件(Wetware)"——它位于您两个耳朵之间&＃xff0c;是硬件和软件的组合&＃xff0c;这是您拥有的最重要&＃xff0c;最有用&＃xff0c;最强大的机器学习工具“

到目前为止&＃xff0c;太多人们希望AI是一把无所不能的魔杖&＃xff0c;在几乎不需要人类输入的情况下&＃xff0c;它可以解决一切问题。但是&＃xff0c;反之亦然&＃xff0c;人工智能比以往任何时候&＃xff0c;都需要更多的管理和审查&＃xff0c;因为&＃xff0c;我们对复杂模型缺乏足够的了解。

在网络上爆发大量关于偏见和歧视的丑闻之后&＃xff0c;可解释性是人工智能研究人员当前面临的最大挑战。

人工智能供应商通常专注于模型的事后&＃xff08;post hoc&＃xff09;解释&＃xff08;和具有内在可解释性的模型相比&＃xff0c;事后解释就好比先训练一个黑盒模型&＃xff0c;比如一个深度网络&＃xff0c;然后应用一些可解释的方法&＃xff0c;比如度量特征重要性&＃xff0c;来作出“解释”&＃xff09;&＃xff0c;而不是在模型中构建解释和检查点。

所以呢&＃xff1f;湿件&＃xff08;Wetare&＃xff09;——也就是人类&＃xff0c;将是2020年&＃xff0c;以及未来人工智能发展中&＃xff0c;最有用的工具。

那直接说“多用脑子”不得了&＃xff0c;还发明一个专业名词&＃xff0c;果然显得高大上了一些...嗯&＃xff0c;硅谷某些初创公司的脑回路就是不一样&＃xff01;

好啦&＃xff0c;看到这里&＃xff0c;大家还有什么想补充的吗&＃xff1f;如果大家还有什么在实操中觉得特别好用的&＃xff0c;可以留言评论哦&＃xff5e;

近期开班情况

2020年6月28日