热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

【本周特惠课程】深度学习模型优化(剪枝量化蒸馏)核心技术理论与实战!...

前言欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下:第1层:掌握学习算法必要的预

3dafa4f5ae70dbcdda1aa3fc02de1019.png

前言

欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下:

第1层:掌握学习算法必要的预备知识,包括Python编程,深度学习基础,数据使用,框架使用。

第2层:掌握CV算法最底层的能力,包括模型设计基础,图像分类,模型分析。

第3层:掌握CV算法最核心的方向,包括图像分割,目标检测,图像生成,视频分类。

第4层:掌握CV算法最核心的应用,包括人脸图像,图像质量,视频分析,图像编辑。

第5层:掌握算法落地的关键技术,包括模型优化,模型部署。

efac605ef22920dda6c288d831bff0dd.jpeg

其中部分课程的主体内容已经更新完毕,比如数据使用/模型分析/图像分类/图像分割/目标检测/图像生成/图像翻译/图像增强/视频分类/模型部署/模型优化/人脸图像检测与识别/人脸属性编辑;部分课程正在重制更新中,比如人脸三维重建;部分课程正在计划上线中,比如通用图像编辑/视觉Transformer/强化学习/半监督与无监督,请大家及时关注!

最新的完整介绍如下:【总结】最系统化的CV内容,有三AI所有免费与付费的计算机视觉课程汇总(2022年12月)

2a5e49fe45700e24d74ba1e7f1a56fab.png

2023年开始,每周都会有一门课程在当周有9折特惠,本周特惠课程是《深度学习之模型优化:理论实践篇》,特惠价格是314元,本课程的目标是帮助大家掌握深度学习模型优化的核心内容。

为什么要学习这门课

好的模型结构是深度学习成功的关键因素之一,不仅是非常重要的学术研究方向,在工业界实践中也是模型是否能上线的关键。对各类底层深度学习模型设计和优化技术理解的深度是决定我们能否在深度学习项目中游刃有余的关键,模型压缩与优化是专门针对模型进行精简的技术,这是模型能够在各类嵌入式平台使用的关键技术,包括紧凑模型设计,模型剪枝,模型量化,模型蒸馏,自动化模型设计等内容。

07fc60eb71be5c3b9f897565ec46483e.jpeg

当前许多成熟的框架都支持进行模型的压缩优化,比如Tensorflow、TensorRT,内置了经典的模型压缩优化方法。

156b7fbd07825e1f8cf4ae11c98a4ad7.png

为了帮助大家系统性地学习深度学习模型优化的相关内容,我们推出了《深度学习之模型优化》系列课程,目前已完成约7个小时的理论课+4个小时的实践课(还在更新中)

子欲学深度学习,模型优化是必学进阶内容!我们这一门课期望帮大家彻底搞定模型优化的学习问题!课程的第一阶段内容已经更新完毕,本课程结合实际项目,将所学理论应用于实践。

53eb04f490100a8180382665a0b48b2f.png

深度学习之模型优化课程

课程内容介绍

本课程内容包括模型优化压缩的经典算法理论与实践,目前一期已经基本更新完毕,超过10个小时,涵盖了深度学习模型压缩的核心领域,包括模型剪枝、模型量化、知识蒸馏等,既有足够的宽度,也具备有足够的深度。我们会非常详细地讲解算法中的细节,帮助彻底消化算法原理;

下图是已有课程的大纲脑图:

9d5129fb982c1c63c2ebddb384fea42f.png

下面简单了解一下各部分的内容:

(1) 模型剪枝基础,包括模型剪枝的基本概念,模型的冗余性分析,约25分钟【本部分内容可以免费收听】。

18b96ed2416d4d734fdaab6390a03b21.png

b8e9953b38b3ae22975ecb498f17ab05.png

(2) 非结构化模型剪枝(基础篇),包括基于幅度的连接权重剪枝框架及其改进,约25分钟【本部分内容可以免费收听】。

25e8e5298f08ae8df3a68332f05616ae.png

9acfb807411047ece14e606ffb96b8da.png

(3) 结构化模型剪枝,包括幅度篇、稀疏权重篇、稀疏因子篇、重建篇,详细介绍了当前各种主流的结构化模型剪枝技术,一共约110分钟。

11ea40b6e2cf527cfbfc6ea2a2f82657.png

b78bb27cb1026abc18586e4340730d63.png

a1a85ffec248576aa8000194320c58ef.png

39f526db82c8bc1efcbc4d73b9626663.png

7a30493be498016b090c97a0cd6dc8d6.png

(4) 模型量化基础,介绍模型量化方法的分类,模型量化的优势,约20分钟,本部分内容可以免费收听

c18cc306a1e5cee31dba9fec805673c7.png

39e30a1033102b91bd9a3536080df5d6.png

(5) 2值模型量化,包括基础篇、重建篇,详细介绍了当前主流的2值网络,约50分钟。

907a64cc1db3a0bc7f13c970eba54aff.png

8bf661c8c06a4eb2baf63f0766c202bf.png

55f716b3c480fa55003b45554f9f24e9.png

(6) 8bit模型量化,介绍的内容包括基于KL散度的对称量化、非对称的训练时与训练后量化框架,时长约45分钟。

759e60f17e85599d3576389ddabb4d3d.png

d5b2fcd744523568193b9d88b0d63bd7.png

(7) 混合模型量化,介绍了基于不同位宽的激活值、权重值、梯度值的量化训练框架,约30分钟

7ce8ecd97b35bee3d3e2f0d394dd841b.png

655e09d8bd017cd7d403c5ab9b1c16ae.png

(8) 知识蒸馏基础,包括知识蒸馏的概念与迁移学习基础,约25分钟【本部分内容可以免费收听】

2e311d1107be91df09d4c09648bdbafc.png

18a5f8fd12c12d329c2b278d172239b1.png

(9) 知识蒸馏框架,包括基于特征匹配,基于优化目标驱动,基于自蒸馏的框架,时长约90分钟。

28f4b3a33fdf838c8b7e437a3f18b5a1.png

a3750c032d6dfbfd5353c389410e21c2.png

2a31fa856ce44129e1171432c7059408.png

(10) Distiller模型压缩框架,介绍Distiller的整体架构,模型剪枝与模型量化的功能模块,约40分钟【本部分内容可以免费收听】

5798af640b467d4bae9ed4fd412a785e.png

a00a37982cc2f8182aba2fe531067517.png

5e9cdcb666b4596e998edc1f5e0a9345.png

ecdf4b6a117ff530ed7ffc83732cc057.png

(11) 结构化模型剪枝实践,包括基准模型训练以及基于稀疏约束与缩放因子的结构化剪枝实践,约60分钟

379cd2636c0d0d223b6244c3a79e6106.png

08509aef6a66da00e0d4a167d67bc621.png

(12) 8bit模型量化实践,包括量化校准表生成与模型量化,ncnn框架介绍,模型转化与推理,约50分钟

50c999f9654c248d685fa0051026d61c.png

4fa34597bc877c8ef13d480dd56b06b6.png

(13) 模型蒸馏实践,包括模型训练与蒸馏,一共约30分钟。

9277b87e3cbc8e60a6593de952177d03.png

61e86352614978bb56c5f8e5bd44cfc1.png

(14) 早期直播回放,包括模型压缩基础,模型精简设计实践,模型剪枝实践,模型量化实践,模型蒸馏实践,工程技巧,AutoML的应用,约60分钟。

以上就是已有的课程内容,共计超过10个小时,后续还会持续丰富完善内容,请大家保持关注。

本课程讲师为言有三,讲师简介如下:

d0033cf02c552bf8aa720340fbaa9544.png

龙鹏,笔名言有三,技术社区《有三AI》创始人。先后就读于华中科技大学(2008-2012),中国科学院半导体研究所神经网络实验室(2012-2015),先后就职于奇虎360人工智能研究院(2015.7-2017.5),陌陌科技深度学习实验室(2017.5-2019.3),深度学习算法专家,阿里云MVP,华为云MVP。

拥有超过7年的计算机视觉从业经验,拥有丰富的传统图像算法和深度学习计算机视觉项目经验,著有书籍《深度学习之图像识别:核心技术与案例实战》(机械工业出版社2019.4),《深度学习之模型设计:核心算法与案例实践》(电子工业出版社2020.6),《深度学习之人脸图像处理:核心算法与案例实战》(机械工业出版社2020.7),《深度学习之摄影图像处理:核心算法与案例精粹》(人民邮电出版社2021.4),《生成对抗网络GAN:原理与实践》(机械工业出版社2022.10),拥有10余项发明技术专利与学术论文。

擅长领域:Caffe,Tensorflow,Pytorch等主流深度学习平台。神经网络与深度学习理论,深度学习模型设计与优化,计算机视觉的基础领域,AI美学,2D与3D人脸算法,生成对抗网络GAN等领域。

本课程是模型使用课程的其中一部分,属于有三AI整个课程体系中的高阶课程,需要大家已经能够熟练使用深度学习框架与基础模型,建议与另外3门课程配合享用,包括《深度学习之模型分析》,《深度学习之模型设计》,《深度学习之模型部署》,详细介绍请查看:

【视频课】AI必学,超3小时,3大模块,掌握模型分析核心技术!

【视频课】AI必学,超20小时,4大模块,循序渐进地搞懂CNN模型设计与简单部署!

【视频课】快速掌握6大模型部署框架(Pytorch+NCNN+MNN+Tengine+TensorRT+微信小程序)!

a5a1583fd7d961b7a3d57ea170a2e350.png

3034622ca16b0f968623d0de897ac9af.png

3fe33256ac20698441393d93d33ec765.png

如何获取课程

订阅本课程的方法有两个:

其一:订阅《深度学习之模型优化》专栏,随着内容增加价格会不断增加,感兴趣的请提前订阅,链接如下:

96abde653e0bbe9c6f83e032c9585681.jpeg

已有的课程目录如下:

6a0957e32af25e27558548fc051036e3.jpeg

其二:参加有三AI-CV秋季划-模型优化组,可以获得4套模型设计与优化部署相关的课程,包括《深度学习之模型设计-理论实践篇》,《深度学习之模型分析-理论实践篇》,《深度学习之模型优化-理论实践篇》,《深度学习之模型部署-移动端与服务端》,《深度学习之数据使用-理论实践篇》,了解课程目录可以扫码:

a2666c9a6b408f9592e372480c942445.png

课程设有交流群,大家在订阅课程后可以添加小助手入群:

53d8ad771bad7cb05bd8d9811019db73.png

同时欢迎在深度学习领域有沉淀积累的同学加入有三AI生态,让更多人受益!

fd01b29161f6df5ad3cc6239bc4385d9.jpeg

90078468bb4d5481b572d08e2a547542.png

92393ff629550076d3380fa31afa4651.png

往期相关






推荐阅读
author-avatar
最棒的寒冬腊月_531
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有