AI开源的硬核战场：领军者百度如何亮剑？

本文转载自InfoQ

AI 开源的黄金时代已来&＃xff0c;百度的开源理想要实现了吗&＃xff1f;

《西部世界》中的 AI 机器人引发了人们对于 AI 技术的惶恐——因为它描绘出了一个机器人拥有意识和意志的世界。埃隆·马斯克不止一次在公开场合重申了他对超级 AI 潜在崛起的担忧。他说&＃xff1a;“请记住我的话&＃xff0c;AI 比核武器危险得多。”

核武器没有开源&＃xff0c;而 AI 开源的战场却硝烟弥漫。

近几年来&＃xff0c;全球科技巨头不约而同地在做同一件事&＃xff1a;将旗下的 AI 项目开源&＃xff0c;与全世界的开发者共享。对这些 AI 科技巨头而言&＃xff0c;为什么要开源其最先进的技术呢&＃xff1f;

今天我们来聊聊 AI 与开源的故事。

01

AI 开源是科技公司的价值名片

AI 的火热&＃xff0c;得益于大批成功的开源深度学习框架的不断涌现。

2015 年&＃xff0c;谷歌推出深度学习框架 TensorFlow&＃xff0c;它是在 DistBelief 的基础上研发的第二代人工智能学习系统&＃xff0c;目前已发展为最受欢迎的深度学习框架之一&＃xff0c;被广泛地应用于语音识别或图像识别等多项机器学习和深度学习等领域。

在谷歌开源 TensorFlow 一年以后&＃xff0c;百度宣布开源其深度学习平台飞桨&＃xff08;英文名 PaddlePaddle&＃xff09;。飞桨发展到现在&＃xff0c;已经具备了开发便捷的核心框架、支持超大规模深度学习模型训练、多端多平台部署的高性能推理引擎和产业级开源模型库等领先技术。飞桨是开源开放、功能完备的产业级深度学习平台&＃xff0c;正是因为它的出现&＃xff0c;百度成为继 Facebook、谷歌和 IBM 之后世界上又一个开源深度学习框架的科技公司。

从传统观念来看&＃xff0c;开源深度学习框架的决定很奇怪。许多科技公司对于自己的产品、技术一直是保密的&＃xff0c;核心算法更是秘而不宣。为什么要开源深度学习框架&＃xff1f;

1. 首先看市场需求。AI 具有较高的技术门槛&＃xff0c;对于多数中小企业难以长期自主研发。而在产业互联网的浪潮下&＃xff0c;谁能率先拥抱 AI &＃xff0c;谁就能在未来发展的不确定性中赢得更多主动权。所以借助成熟的、开源的深度学习框架是很多公司的首选。

2. 其次&＃xff0c;对于开源的公司而言&＃xff0c;这是一次绝佳的展示机会。将深度学习框架开源&＃xff0c;嵌入到其他公司的产品中去&＃xff0c;以便更好地扩大巨头的领域。以 TensorFlow 为例&＃xff0c;当一个用户在使用它的数据库时&＃xff0c;能更加顺畅地连接谷歌的云服务。也就是说&＃xff0c;在使用这个免费的工具时&＃xff0c;用户会很自然地被引导到需要付费的服务。

这就是为什么处于技术前沿的公司要公开自己的重要技术&＃xff0c;这既是对人工智能领域的资源争夺&＃xff0c;也是提升自己在行业内话语权的绝佳机会。

02

飞桨开源&＃xff0c;诚意更大

开源是一张王牌&＃xff0c;可以让企业走近价值链的中心。

IDC 发布的 2019 年下半年《深度学习框架和平台市场份额》报告显示&＃xff0c;在深度学习平台市场&＃xff0c;谷歌、Facebook、百度三强鼎立态势稳固&＃xff0c;已占据接近 80% 的市场份额&＃xff0c;其中百度的市场份额在过去半年里增长迅猛&＃xff0c;占比提升 5.98 个百分点。AWS、微软等国外平台的份额下滑明显。

能在激烈的市场竞争中保持稳步增长&＃xff0c;与百度多年来深耕 AI 关系密切。百度的血液里有两个词非常关键&＃xff1a;一个是搜索&＃xff0c;2010 年以前百度靠搜索技术打下江山&＃xff1b;另一个就是 AI&＃xff0c;从 2010 年以后&＃xff0c;AI 成为百度最鲜明的竞争力。

在 AI 领域&＃xff0c;百度做了两件非常牛的事&＃xff0c;一是开源了深度学习平台飞桨&＃xff0c;另一件是开源了自动驾驶平台 Apollo。前者让百度在国外巨头垄断的深度学习平台的市场份额里硬是撕出了一道口子&＃xff1b;后者则奠定了百度在全球自动驾驶生态里的核心地位。

百度其实一直走在深度学习研究和应用的前沿&＃xff0c;对于深度学习而言&＃xff0c;百度在一开始就把握住了机遇。早在 2012 年百度就将深度学习 DNN 模型成功应用到语音识别、OCR 等任务中。随后在 2013 年&＃xff0c;百度成立了深度学习研究院&＃xff08;IDL&＃xff09;。自此&＃xff0c;百度全面进入深度学习阶段&＃xff0c;在深度学习的框架开发、平台建设以及应用创新方面都走在行业前列&＃xff0c;在企业内的应用具有很高的实用性、很大的规模化特色。

百度为什么要开源深度学习平台飞桨&＃xff1f;

对于深度学习框架的价值&＃xff0c;百度首席技术官&＃xff08;CTO&＃xff09;王海峰曾经如此表示&＃xff1a;“在智能时代&＃xff0c;深度学习框架起到了承上启下的作用&＃xff0c;下接芯片&＃xff0c;上承各种业务模型、行业应用。”

国内绝大多数企业&＃xff0c;基本是依赖国外框架&＃xff0c;并不掌握最核心的技术。他们通常是基于 TensorFlow、PyTorch 之类的国外框架和模型进行训练&＃xff0c;然后再进行部署&＃xff0c;加上边缘的工具等&＃xff0c;就可以直接使用&＃xff08;例如 XDL&＃xff0c;其后台实际上就是 TensorFlow&＃xff09;。因此&＃xff0c;虽然国内有一些企业声称自己有深度学习框架&＃xff0c;但很少有企业敢于将深度学习框架开源。

百度为什么敢&＃xff1f;

一位亲历百度开源的工程师曾感慨道&＃xff1a;“到目前为止&＃xff0c;我仍然坚定的认为&＃xff0c;百度是中国最适合做技术的公司。”百度飞桨的开发&＃xff0c;是一行一行的代码敲出来的&＃xff0c;具有完全自主知识产权。独立研发一个深度学习平台&＃xff0c;需要深厚的深度学习专业功底、极强的软件开发经验和大量的时间&＃xff0c;和独立写出一个操作系统的难度相差无几&＃xff0c;而百度将飞桨百万行代码整体开源&＃xff0c;足可见其对技术的自信和对开源的诚意。截至目前&＃xff0c;全球范围内做得比较成功的深度学习框架&＃xff0c;也只有谷歌、Facebook 和百度。

当然&＃xff0c;TensorFlow 和飞桨也有很大的不同。

飞桨的核心框架采用基于编程逻辑的组网范式&＃xff0c;对于普通开发者而言更容易上手&＃xff0c;符合他们的开发习惯。同时&＃xff0c;飞桨支持声明式和命令式编程&＃xff0c;兼具开发的灵活性和高性能&＃xff0c;网络结构自动设计&＃xff0c;模型效果超越人类专家。

飞桨突破了超大规模深度学习模型训练技术&＃xff0c;实现了世界上首个支持千亿特征、万亿参数、数百节点的开源大规模训练平台。据了解&＃xff0c;TensorFlow 只支持千亿级规模的模型参数训练&＃xff0c;是飞桨的十分之一。

飞桨不仅兼容其他开源框架训练的模型&＃xff0c;还可以轻松地部署到不同架构的平台设备上。同时&＃xff0c;飞桨的推理速度也是全面领先的。比如&＃xff0c;在质检线上&＃xff0c;一个零件停留的时间可能只有数十毫秒&＃xff0c;因此&＃xff0c;速度快就有更大的优势。飞桨适配的国产硬件&＃xff08;华为、寒武纪等&＃xff09;更多&＃xff0c;同样都是跑在华为麒麟芯片上&＃xff0c;飞桨的速度会比 TensorFlow 更快。在与北京大恒图像视觉有限公司的合作中&＃xff0c;使用百度飞桨分割库 PaddleSeg&＃xff0c;可在收集数据后快速地完成模型训练和部署&＃xff0c;结合传统算法对隔膜生产中的缺陷进行实时的检测和分类。

PaddleSeg 集成了丰富的数据增广方法和最新的网络模型&＃xff0c;使用方便、功能强大。训练出来的模型有良好的泛化能力&＃xff0c;能检测出不同工艺和不同亮度的图像的缺陷 20 余种&＃xff0c;分类精度达到 0.98&＃xff0c;预测速度 0.12ms/img&＃xff0c;分割模型 iou0.82。安装调试时间也缩短到 2 周&＃xff0c;质检设备的通用及易用性都得到了较大的提高。

百度飞桨已累计服务了 150 多万开发者&＃xff0c;这一数字约占中国软件平均从业人数的 1/4。此外&＃xff0c;其定制化训练平台上企业用户超过 6.5 万&＃xff0c;发布了 16.9 万个模型&＃xff0c;2019 年第二季度百度飞桨深度学习平台开发者下载量环比增加 45&＃xff05;。

虽然当下飞桨的生态规模和国外框架相比还有一些差距。但对于国内的开发者而言&＃xff0c;深度学习平台飞桨的开源&＃xff0c;提供了一个跟国际潮流技术比肩的选择。

03

Apollo 在自动驾驶生态的特别地位

百度除了开源深度学习平台飞桨之外&＃xff0c;在应用层面还开源了自动驾驶平台 Apollo。

百度自动驾驶研发项目启动于 2013 年&＃xff0c;早年技术核心是“百度汽车大脑”&＃xff0c;包括高精度地图、定位、感知、智能决策与控制四大模块&＃xff1b;2014 年&＃xff0c;正式启动“百度无人驾驶汽车”研发计划&＃xff0c;一年后&＃xff0c;成立自动驾驶事业部成立&＃xff0c;大规模投入研发。

2017 年 7 月&＃xff0c;百度 Apollo 发布 1.0 版本并正式对外开源&＃xff0c;历时两年零五个月后&＃xff0c;Apollo 5.5 版本发布&＃xff0c;重点便是开放了“点到点城市自动驾驶”能力&＃xff0c;以及面向量产落地自动驾驶场景的解决方案。

与以往版本比&＃xff0c;Apollo 5.5 增加了三项新能力&＃xff0c;分别是&＃xff1a;

语义地图深度学习方法。该方法是将高精地图加上交通规则、车辆信息等语义&＃xff0c;然后生成图片&＃xff0c;用深度学习的 CNN 网络进行学习&＃xff0c;从而应用于包括感知、预测在内的多个模块中。

Apollo 还对规划算法进行了更新。通过灵活的换道策略、智能的路权处理以及优化的速度决策几个方面的提升&＃xff0c;提高问题的可求解性。

Apollo 5.5 引入最新的、基于非线性速度规划的数学表述&＃xff0c;在优化器和优化器求解上做了大量的改进&＃xff0c;保证在有限时间内也可以求出最优解。

在 CVPR&＃xff08;全球计算机视觉及模式识别领域顶级学术会议&＃xff09;2019 会议期间&＃xff0c;百度 Apollo 公开了国内唯一的自动驾驶纯视觉城市道路闭环解决方案——百度 Apollo Lite。据悉&＃xff0c;这是一套自动驾驶纯视觉城市道路闭环解决方案&＃xff0c;能够支持对 10 路摄像头、200 帧 / 秒数据量的并行处理&＃xff0c;单视觉链路最高丢帧率能够控制在 5‰ 以下&＃xff0c;实现全方位 360° 实时环境感知&＃xff0c;前向障碍物的稳定检测视距达到 240 米。

前不久&＃xff0c;知名投资咨询公司广证恒生发布了《自动驾驶专题研究之企业评估指标体系——立体分析企业核心竞争力》&＃xff0c;对国内外数家自动驾驶公司进行排名分析&＃xff0c;百度以 3.6 分的综合评分位居世界第一&＃xff0c;谷歌旗下的自动驾驶企业 Waymo 以 0.2 分之差紧随其后。

Apollo 平台是百度自动驾驶的技术基石。自发布至今&＃xff0c;Apollo 平台共进行了 8 次迭代&＃xff0c;分别是 1.0、1.5、2.0、2.5、3.0、3.5、5.0、5.5。以最新的 Apollo 5.5 为例&＃xff0c;不仅在开放数据的基础上新增了帮助自动驾驶车辆快速学习交通规则&＃xff0c;理解路面环境的语义地图深度学习方法&＃xff0c;还为开发者开放了一个“技能库”&＃xff0c;提供传感器标定和深度学习模型训练的服务&＃xff0c;进一步提升开发效率。

截至目前&＃xff0c;百度 L4 级别自动驾驶城市道路测试里程已经突破 300 万公里&＃xff0c;已经在 23 个城市进行测试&＃xff0c;智能汽车专利 1237 项&＃xff0c;位列全国第一。

百度测试车队行驶在长沙的街道上

在保定&＃xff0c;百度智能交通信控系统帮助保定交通延误时间减少 20%~30%。而在长沙“两个 100 公里”项目建设中&＃xff0c;百度 Apollo 参与 135 公里车路协同道路改造。据悉&＃xff0c;该项目建成后可直接支持进一步开展 Robotaxi 业务&＃xff0c;从而加速推进自动驾驶规模化、商业化的落地进程。

此外&＃xff0c;百度与重庆达成战略合作&＃xff0c;围绕自动驾驶、智能城市、智能政务、区块链等多层面达成合作。2019 年 9 月 12 日&＃xff0c;百度 Apollo 来到“渤海之滨”狮城&＃xff0c;与沧州市人民政府正式签署战略合作框架协议&＃xff0c;双方将自动驾驶、智能交通、电子政务等多个方面展开全面合作&＃xff0c;共同打造“智能沧州”。

除了 Apollo 自动驾驶平台&＃xff0c;百度还在车联网和车路协同领域不断推出新产品。据了解&＃xff0c;2019 年&＃xff0c;百度 Apollo 在全球 97 个国家拥有 3.6 万名开发者&＃xff0c;是 2018 年的 2.4 倍。Apollo 目前共拥有 177 位生态合作伙伴&＃xff0c;拥有 56 万行开源代码。Apollo 自动驾驶平台已成为全球最强大、最开放、最活跃的自动驾驶平台。

百度在 AI 和开源上的投入&＃xff0c;有目共睹。

04

将 AI 开源进行到底

据了解&＃xff0c;谷歌开源 TensorFlow 的想法最初是由是其首席架构师 Jeff Dean 提出的&＃xff0c;他认为常规的科学发展缓慢&＃xff0c;阻碍了公司的创新。开源 TensorFlow 能够加快研究人员与科学界的实时协作。谷歌之外的人才也能改善源代码&＃xff0c;通过更广泛地分享机器学习技术&＃xff0c;还能为该领域培养更加专业的人才。

“我们决定开源后&＃xff0c;代码运行更快了&＃xff0c;可以做更多的事情&＃xff0c;也更加便捷。”TensorFlow 团队负责人 Rajat Monga 说。

百度 CTO 王海峰也曾在多个场合提出开源开放对人工智能时代的重要价值。他认为&＃xff0c;一方面&＃xff0c;人工智能技术的发展和突破需要所有人齐心协力、共同推动&＃xff0c;因此开源、开放就尤为重要&＃xff1b;另一方面&＃xff0c;人工智能技术会赋能各行各业&＃xff0c;开源、开放让各行各业可以便捷地使用人工智能&＃xff0c;让社会各界都受益。

在百度&＃xff0c;很多人对开源文化颇有感触。一位百度开源负责人曾在一篇文章中写道&＃xff0c;他所在的工程效率部门&＃xff0c; 2017 年至今都在整体组织和推进百度开源的工作&＃xff0c;包括引入开源、内部开源和对外开源。而他也看到&＃xff0c;在开源世界里面&＃xff0c;中国公司和中国人不再仅仅是以索取者的身份出现&＃xff0c;领先企业华为、阿里巴巴、百度、腾讯等在开源界的声音也越来越大&＃xff0c;投入和实际贡献也越来越多。对开源的玩法越来越熟悉&＃xff0c;玩得也越来越溜&＃xff0c;在遵守社区规则、理解社区精神的前提下&＃xff0c;慢慢走上了前台和中心。“这是非常令人欣喜的变化。”

除了以上提到的飞桨和 Apollo 的开源&＃xff0c;百度还有很多非常有代表性的开源项目&＃xff0c;比如 2019 年春晚红包中扛住超大用户压力、数次流量波峰的转发引擎——百度的统一七层流量转发平台 BFE、中国首个开源的边缘计算框架 BAETYL 等等。

此外&＃xff0c;除了将重磅技术开源外&＃xff0c;各大巨头也通过收购的方式加紧自己的开源生态建设。2018 年 10 月&＃xff0c;微软以 75 亿美元的价格收购 GitHub&＃xff0c;这个举措被认为是微软拥抱开源与布局企业市场的关键&＃xff1b;2019 年 7 月&＃xff0c;IBM 宣布以 340 亿美元的价格收购红帽&＃xff08;Red Hat&＃xff09;&＃xff0c;红帽将成为 IBM 混合云部门的一部分。国内对开源生态也表现出前所未有的重视。腾讯收购 Coding.net&＃xff0c;推出腾讯云开发者平台&＃xff1b;阿里巴巴收购 Teambition&＃xff0c;支持开发者团队沟通协作。

2019 年 12 月 6 日&＃xff0c;开源中国获得百度最新战略投资。百度除了把飞桨入驻到 Gitee 之外&＃xff0c;其他百度系优秀的开源产品也将陆续入驻。

开源生态之争&＃xff0c;寸土寸金。云 &＃43; AI 的行业背景之下&＃xff0c;对于开发者生态的重视&＃xff0c;让开源事业迎来了春天。开源社区和代码托管平台是科技公司与开发者建立联系的关键点&＃xff0c;自然成为了必争之地。“一流企业定标准&＃xff0c;二流企业做品牌&＃xff0c;三流企业做产品”&＃xff0c;想要在未来竞争的商业市场里占据话语权&＃xff0c;就需要加快产品的研发和迭代速度&＃xff0c;让产品被更多人喜欢和使用&＃xff0c;并积极地参与开源组织和标准的制定。

05

写在最后

当下&＃xff0c;越来越多的企业开始意识到开源的重要性&＃xff0c;中国的互联网企业也需要像百度一样&＃xff0c;给开发者足够信任的时间和空间去做开源项目、维护开源项目&＃xff0c;毕竟在开发者数量占绝对优势的背景下&＃xff0c;我们需要让世界看到中国的开源力量。

百度笃信于此&＃xff0c;并时刻做好“领路人”的准备。