lisp线性标注自动避让_《数据标注工程》第一章学习笔记及作业：数据标注概述...

第一章&＃xff1a;数据标注概述

一、数据标注的起源与发展

1、人工智能行业的发展

• AI的概念&＃xff1a;意指让机器具有像人一般的智能行为&＃xff08;1956年&＃xff0c;达特茅斯会议&＃xff0c;由约翰·麦卡锡提出&＃xff09;
• AI的发展&＃xff1a;60多年来&＃xff0c;浮浮沉沉、三起三落

2、数据标注的起源与发展

• 前两次AI浪潮中&＃xff0c;由于数据量级很小&＃xff0c;数据标注主要由研究的工程师完成
• 第三次浪潮后&＃xff0c;数据标注需求逐渐增大
• 2011年&＃xff0c;数据标注的外包市场开启
• 2017年&＃xff0c;数据标注行业真正爆发

3、什么是数据标注

• 概念&＃xff1a;通过分类、画框、标注、注释等&＃xff0c;对图片、语音、文本等数据进行处理&＃xff0c;标记对象的特征&＃xff0c;以作为机器学习的基础素材的过程。

4、数据标注分类概述

a. 图像标注&＃xff1a;

• 对汽车和行人进行筛选、分类、标框等
• 对骨骼进行描点
• 对病理切片标注

b. 语音标注&＃xff1a;

• 发音人角色标注
• 环境情景标注
• 多语种标注
• ToBI&＃xff08;Tones and Break Indices&＃xff09;韵律标注体系标注
• 噪声标注等

c. 文本标注&＃xff1a;

• 语句分词标注
• 语义判定标注
• 文本翻译标注
• 情感色彩标注
• 拼音标注
• 多音字标注
• 数字符号标注等

5、数据标注流程概述

a. 数据采集&＃xff1a;

采集来源&＃xff1a;

• • 公开数据集
  • 专业数据集

获取方式&＃xff1a;

• • 用SQL从内部数据库提取
  • 下载公开数据集
  • 编写网页爬虫自主收集

采集要求 &＃xff1a;

• • 要考虑采集规模和预算
  • 要注重采集数据的多样性
  • 考虑是否适用于应用场景
  • 采集方法要合法合理

b. 数据清洗&＃xff1a;

概念&＃xff1a;

• • 清洗脏数据&＃xff0c;将数据统一成适合于标注且与注意密切相关的标准格式&＃xff0c;以帮助训练更为精确的数据模型和算法

方法&＃xff1a;

• • 对所有采集的数据进行筛检&＃xff0c;最大限度的纠正数据的不一致性和不完整性

举例&＃xff1a;

• • 去除重复值
  • 去除无关值
  • 去除异常值
  • 补充缺失值
  • 平滑噪声数据

c. 数据标注&＃xff1a;

先试标&＃xff1a;

• • 需求方算法工程师给出标注样板
  • 详细阐述标注需求和标注规则

后标注&＃xff1a;

• • 有数据标注员对不同素材的数据进行标注

d. 数据质检&＃xff1a;

目的&＃xff1a;

• • 提高输出数据的准确率

方法&＃xff1a;

• • 排查
  • 抽查

二、数据标注的应用场景

1、出行行业

场景 &＃xff1a;

• 汽车自动驾驶研发
• 规划出行路线
• 优化驾驶环境

应用&＃xff1a;

• 矩形框或描点标注车辆
• 矩形框或描点标注人体轮廓
• 在地图上标记POI

2、金融行业

场景&＃xff1a;

• 身份验证
• 智能投资顾问
• 风险管理
• 欺诈检测

应用&＃xff1a;

• 通过语义分析制作合同研发软件&＃xff0c;大大缩短合同审查工作的时间&＃xff0c;并显著降低错误率

3、医疗行业

场景&＃xff1a;

• 医学编码和注释
• 远程医疗
• 医疗机器人
• 医疗影像
• 药物挖掘
• 疾病预测

应用&＃xff1a;

• 人体标框
• 3D画框
• 骨骼点标记
• 病历转录

4、家居行业

场景&＃xff1a;

• 智能家居

应用&＃xff1a;

• 矩形标框标记人脸
• 人脸精细分割
• 对物品进行画框标记
• 通过描点来区域划分
• 采集语音进行标注处理

5、安防行业

场景&＃xff1a;

• 日常监控

应用&＃xff1a;

• 人脸标注
• 视频分割
• 语音采集
• 行人标注

6、公共服务

场景&＃xff1a;

• 内容审核

应用&＃xff1a;

• 将同意语句归类的语义分析
• 音频转化文字的语音转录

7、电子商务

场景&＃xff1a;

• 建立客户全生命周期数据
• 预测需求趋势
• 优化价格与库存
• 精准营销

应用&＃xff1a;

• 搜索完善
• 情绪分析
• 人脸标注
• 语音采集

三、有多少智能&＃xff0c;就有多少人工

1、有监督的机器学习

AI体系的三大底层&＃xff1a;

• 数据
• 算法
• 应用

机器学习 &＃xff1a;

• 有监督学习
  • 核心在于“分类”
  • 主要用于实际产品应用
• 无监督学习
  • 核心在于“聚类”
  • 主要用于探索研究

1. 数据标注工作都是有监督学习

2、最后一批人工智能的“老师”

AI疯狂生长&＃xff0c;标注岗位逐渐消亡&＃xff1a;

• 由弱人工智能&＃xff0c;到强人工智能&＃xff0c;直至超人工智能
• 最终“学生“将超越”老师“&＃xff0c;人工标注也将不复存在

目前阶段的AI辅助工具&＃xff1a;

• 例如“流体标注”

四、数据越多&＃xff0c;智能越好

深度学习的成功归功于&＃xff1a;

• 高容量的模型
• 越来越强的计算能力
• 可用的大规模标签数据

大规模数据有助于表征学习&＃xff1a;

• 模型性能与数据的数量级呈线性增长关系

• 随着感知智能向认知智能发展&＃xff0c;对数据标注的维度和细化程度的要求也会增加

五、本章框架

六、作业与练习

1、如何理解数据标注与人工智能的关系&＃xff1f;

答&＃xff1a;人工智能意指让机器具有像人一般的智能行为&＃xff0c;目前阶段的人工智能技术主要通过机器学习算法来达到相应的目的&＃xff0c;而数据标注工作通过对数据进行处理&＃xff0c;标记对象的特征&＃xff0c;为机器学习提供了基础素材&＃xff0c;因此数据标注可以看做是部分人工智能算法的前期基础工作。

2、什么是数据标注&＃xff1f;

答&＃xff1a;通过分类、画框、标注、注释等方法&＃xff0c;对图片、语音、文本等数据进行处理&＃xff0c;标记对象的特征&＃xff0c;以作为机器学习的基础素材的过程就是数据标注。

3、数据标注对象可以划分为哪几类&＃xff1f;

答&＃xff1a;按标注对象为分类基础&＃xff0c;可分为&＃xff1a;图像标注、语音标注和文本标注等。

4、数据标注流程包括哪些环节&＃xff1f;

答&＃xff1a;包括四个环节&＃xff0c;即数据采集、数据清洗、数据标注和数据质检。

5、数据标注有哪些应用场景&＃xff1f;

答&＃xff1a;数据标注的应用场景随着人工智能行业的发展日趋多样化&＃xff0c;深入各行各业。例如&＃xff1a;出行行业中的自动驾驶研发、物联网数据、交通网络大数据、车载应用技术等&＃xff1b;金融行业中的身份验证、智能投资顾问、风险管理、欺诈检测等&＃xff1b;医疗行业中的远程医疗、医疗机器人、医疗影像、药物挖掘、高效诊断与治疗等&＃xff1b;家居行业丰富的智能家居场景&＃xff1b;安防行业的日常监控、出入境管理、刑侦案件侦查等&＃xff1b;公共服务行业的内容审核、语义分析、语音转录、视频审核等&＃xff1b;电子商务行业的精准营销、搜索完善、情绪分析等。

6、如何理解“有多少智能&＃xff0c;就有多少人工”&＃xff1f;

答&＃xff1a;机器的智能程度与数据处理的量级和质量直接相关&＃xff0c;而目前&＃xff0c;数据的采集、清洗、标注、质检大多由人工完成&＃xff0c;换言之&＃xff0c;现在的弱人工智能阶段&＃xff0c;有监督学习的机器智能是通过人工的“老师”“教”出来的。在向强人工智能甚至超人工智能的发展过程中&＃xff0c;有监督学习会逐渐向无监督学习或迁移学习进行转变&＃xff0c;到时&＃xff0c;人工的部分可能将会大幅度削减。

7、数据量级与智能程度之间存在怎样的联系&＃xff1f;

答&＃xff1a;数据量级越高&＃xff0c;智能水平越高&＃xff0c;大规模数据有助于表征学习&＃xff0c;随着训练数据的数量级增长&＃xff0c;模型性能呈线性增长。