小谈&＃xff1a;一直想整理机器学习的相关笔记&＃xff0c;但是一直在推脱&＃xff0c;今天发现知识快忘却了&＃xff08;虽然学的也不是那么深&＃xff09;&＃xff0c;但还是浅浅整理一下吧&＃xff0c;便于以后重新学习。

最近换到新版编辑器写文章了&＃xff0c;有的操作挺方便的&＃xff0c;但是&＃x1f62d;我目前还没有找到在哪里插入目录。

&＃x1f4d9;参考&＃xff1a;ysu期末复习资料和老师的课件

目录

1.机器学习的定义

2.机器学习的发展历程

3.监督学习、半监督学习和无监督学习的特点

3.1 监督学习

3.2 无监督学习

3.3 半监督学习

3.4 强化学习

4.机器学习的一般流程

4.1 数据预处理

4.1.1 数据清洗

4.1.2数据采样

4.1.3 数据集拆分

4.2 特征工程

4.2.1 特征编码

4.2.2 特征选择

4.3 数据建模

4.4 结果评估

1.机器学习的定义

机器学习专门研究计算机怎样模拟或实现人类的学习行为&＃xff0c;以获取新知识或技能&＃xff0c;重新组织已有的知识结构使之不断改善自己的性能。

机器学习是人工智能的一个分支。我们使用计算机设计一个系统&＃xff0c;使它能够根据提供的训练数据按照一定的方式来学习&＃xff1b;随着训练次数的增加&＃xff0c;该系统可以在性能上不断学习和改进&＃xff0c;通过参数优化的学习模型&＃xff0c;能够用于预测相关问题的输出。

2.机器学习的发展历程

推理期→知识期→学科形成→繁荣期

• 推理期&＃xff1a;认为只要给机器赋予逻辑推理能力&＃xff0c;机器就能具有智能
• 知识期&＃xff1a;认为要使机器具有智能&＃xff0c;就必须设法使机器拥有知识
• 学科形成&＃xff1a;20世纪80年代&＃xff0c;机器学习成为一个独立学科领域并开始迅速发展、各种机器学习技术百花齐放
• 繁荣期&＃xff1a;20世纪90年代后&＃xff0c;统计学习方法占主导

3.监督学习、半监督学习和无监督学习的特点

3.1 监督学习

从给定的有标注的训练数据集中学习出一个函数&＃xff08;模型参数&＃xff09;&＃xff0c;当新的数据到来时&＃xff0c;可以根据这个函数预测结果。

常见任务&＃xff1a;包括分类与回归。

3.2 无监督学习

没有标注的训练数据集&＃xff0c;需要根据样本间的统计规律对样本集进行分析

常见任务&＃xff1a;聚类

3.3 半监督学习

结合&＃xff08;少量的&＃xff09;标注训练数据和&＃xff08;大量的&＃xff09;未标注数据来进行数据的分类学习。

半监督学习可进一步分为纯半监督学习和直推学习&＃xff0c;前者假定训练数据中的未标记样本并非待测的数据&＃xff0c;而后者则假定学习过程中所考虑的未标记样本恰是待预测数据&＃xff0c;学习的目的就是在这些未标记样本上获得最优泛化性能。

3.4 强化学习

基于环境的反馈而行动&＃xff0c;通过不断与环境交互、试错&＃xff0c;使整体行动收益最大化&＃xff0c;强化学习不需要训练数据的Label&＃xff0c;但是它需要每一步行动环境给予的反馈&＃xff0c;是奖励还是惩罚&＃xff0c;基于反馈不断调整训练对象的行为。

&＃xff08;强化学习接触的很少&＃xff0c;以后遇到会补充&＃xff09;

4.机器学习的一般流程

数据预处理→特征工程→数据建模→结果评估

4.1 数据预处理

数据预处理&＃xff1a;数据清洗、数据集成、数据采样

4.1.1 数据清洗

数据清洗&＃xff1a;对各种脏数据进行对应方式的处理&＃xff0c;得到标准、干净、连续的数据&＃xff0c;提供给数据统计&＃xff0c;数据挖掘等使用。

确保数据的五个性质&＃xff1a;完整性、合法性、一致性、唯一性、权威性&＃xff01;

数据清洗要保证&＃xff1a;数据的完整性、数据的合法性、数据的一致性、数据的唯一性、数据的权威性

&＃xff08;这个期末考试考到了&＃xff0c;没有写上一致性&＃x1f636;&＃xff09;

解析一下数据的一致性吧&＃xff1a;

不同来源的不同指标&＃xff0c;实际内涵是一样的&＃xff0c;或是同一指标内涵不一致。

解决方法&＃xff1a;建立数据体系&＃xff0c;包含但不限于指标体系、维度、单位等

4.1.2数据采样

&＃xff08;1&＃xff09;数据不平衡

数据不平衡&＃xff0c;指数据集的类别分布不均。

&＃xff08;2&＃xff09;解决方法

解决方法&＃xff1a;过采样&＃xff08;Over-Sampling&＃xff09;、欠采样&＃xff08;Under-Sampling&＃xff09;

过采样&＃xff1a;通过随机复制少数类来增加其中的实例数量&＃xff0c;从而可增加样本中少数类的代表性。

欠采样&＃xff1a;通过随机地消除占多数的类的样本来平衡类分布&＃xff0c;直到多数类和少数类的实例实现平衡。

4.1.3 数据集拆分

&＃xff08;1&＃xff09;常将数据划分为3份

• 训练数据集&＃xff0c;train dataset&＃xff1a;用来构建机器学习模型
• 验证数据集&＃xff0c;validation dataset&＃xff1a;辅助构建模型&＃xff0c;用于在构建过程中评估模型&＃xff0c;提供无偏估计&＃xff0c;进而调整模型参数
• 测试数据集&＃xff0c;test dataset&＃xff1a;用来评估训练好的最终模型的性能

&＃xff08;2&＃xff09;常用拆分方法

4.2 特征工程

特征工程&＃xff1a;特征编码、特征选择、特征降维、规范化

4.2.1 特征编码

数据集中经常会出现字符串信息&＃xff0c;例如男女、高中低等&＃xff0c;这类信息不能直接用于算法计算&＃xff0c;需要将这些数据转化为数值形式进行编码&＃xff0c;便于后期进行建模。

比如&＃xff1a;

ont-hot编码&＃xff1a;

语义编码&＃xff1a;

4.2.2 特征选择

不是所有属性特征都有用。

• 过滤法

按照发散性或相关性对各特征进行评分&＃xff0c;设定阈值完成特征选择。

互信息&＃xff1a;指两个随机变量之间的关联程度&＃xff0c;即给定一个随机变量后&＃xff0c;另一个随机变量的确定性。

所以&＃xff0c;互信息取值最小为0&＃xff0c;意味着给定一个随机变量对&＃xff0c;确定和另一个随机变量没有关系&＃xff0c;越大表示另一个随机变量的确定性越高。

• 包裹法

选定特定算法&＃xff0c;然后通过不断的启发式方法来搜索特征。

• 嵌入法

利用正则化的思想&＃xff0c;将部分特征属性的权重调整到0&＃xff0c;则这个特征相当于就是被舍弃了。

常见的正则有L1的Lasso&＃xff0c;L2的Ridge&＃xff0c;和一种综合L1和L2这两个方法的Elastic Net方法。

4.3 数据建模

数据建模&＃xff1a;回归问题、分类问题、聚类问题、其他问题

4.4 结果评估

结果评估&＃xff1a;拟合度量、查准率、查全率、F1值、PR曲线、ROC曲线