百度飞桨部署月，带你畅享TensorRT高性能推理

点击左上方蓝字关注我们

部署是人工智能落地的最后一公里&＃xff0c;但是这“一公里”往往并不好走。如何让模型落地复杂的软硬件环境&＃xff0c;并充分实现最优的推理效果&＃xff0c;一直是人工智能从业者们追求和努力的方向。飞桨听见所有开发者的心声&＃xff0c;在未来的一个月中&＃xff0c;分別准备了十节不同场景的手把手部署实操课程&＃xff0c;其中又分为四月服务器侧部署系列5节课程&＃xff0c;及五月端侧部署系列的5节推理实践。今天就来为大家介绍一下4月19、20日的这两节课程&＃xff0c;想提前了解课程内容可以观看下方视频哦&＃xff01;    

一般来说深度学习部署往往不外乎两个方面: 如何选择合适的推理预测库和相应的硬件。

在预测库部分&＃xff0c;飞桨深度学习平台除了为人工智能的应用提供了扎实的框架基座&＃xff0c;也在预测库上根据不同场景提供了多端多平台的选择&＃xff1a;包含了适合传统数据中心及服务器的高性能预测库Paddle Inference&＃xff0c;其抽取了主框架的前向算子&＃xff0c;再整合TensorRT等加速库达到最极致的性能; 基于Paddle Inference封装了gRPC, bRPC, RestfulAPI的服务化部署框架Paddle Serving&＃xff0c;让你轻松一键完成模型即服务; 根据手机及端侧的有限内存及功耗最佳化的轻量化预测库Paddle Lite&＃xff1b;专门设计给APP开发者的开箱即用工具LiteKit和国内唯一的前端Javascript预测库Paddle.js等。

而在硬件方面&＃xff0c;英伟达可以说是人工智能时代的领跑者&＃xff0c;旗下丰富的通用GPU硬件&＃xff0c;从服务器端的Tesla系列、端侧的Jeston系列、到人手一张的消费型显卡Geforce系列&＃xff0c;相信所有开发者都或多或少使用过。而要想充分释放你手边英伟达GPU硬件最大能力&＃xff0c;除了使用通用的CUDA&＃xff0c; 使用TensorRT加速库也是绝对必备的&＃xff01;

扫描下方二维码立即报名

那么飞桨与基于英伟达GPU&＃xff0b;TensorRT具体怎么使用&＃xff0c;才能够充分实现更卓越的部署体验呢&＃xff1f;飞桨将会在部署月活动课程中&＃xff0c;详细解读如何在上述各种不同GPU硬件场景下如何利用飞桨框架更便利的启用TensorRT。举例来说&＃xff0c;在对模型推理延时和吞吐量要求极高的数据中心及服务器部署时&＃xff0c;飞桨将通过Paddle Inference与TensorRT的结合&＃xff0c;实现高性能的推理。而進一步还可以搭配飞桨的模型压缩工具PaddleSlim对模型进行剪枝、量化等操作&＃xff0c;或者使用C&＃43;&＃43;的推理库取代大家比较熟悉的Python推理库&＃xff0c;都能有效提升性能。

直播课精彩内容抢先看

最后&＃xff0c;入门深度学习用戶或者传统制造业中常常使用的Windows系统台式机&＃xff0c;而且Windows系统下许多开发者选用的C#编程环境&＃xff0c;这类场景中如何结合TensorRT做推理呢&＃xff1f;又如何解决编译环境通常比较复杂的问题&＃xff1f;相关的教程资源网络上还比较少&＃xff0c;但是飞桨部署月的课程都会为大家详细讲解。更多精彩的內容&＃xff0c;欢迎大家踊跃报名&＃xff0c;我们4月19-20日两天直播间见&＃xff01;

飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础&＃xff0c;是中国首个开源开放、技术领先、功能完备的产业级深度学习平台&＃xff0c;包括飞桨开源平台和飞桨企业版。飞桨开源平台包含核心框架、基础模型库、端到端开发套件与工具组件&＃xff0c;持续开源核心能力&＃xff0c;为产业、学术、科研创新提供基础底座。飞桨企业版基于飞桨开源平台&＃xff0c;针对企业级需求增强了相应特性&＃xff0c;包含零门槛AI开发平台EasyDL和全功能AI开发平台BML。EasyDL主要面向中小企业&＃xff0c;提供零门槛、预置丰富网络和模型、便捷高效的开发平台&＃xff1b;BML是为大型企业提供的功能全面、可灵活定制和被深度集成的开发平台。

END