机器学习7/100天K近邻算法

Day7 K近邻算法

github: 100DaysOfMLCode

What is K-NN

k近邻算法是常用的简单分类算法也可用于回归问题。
KNN是一个无参的&＃xff08;不需要对数据分布做任何假设&＃xff09;、基于实例的&＃xff08;没有明显的学习一个模型&＃xff0c;只需要记住训练实例&＃xff09;用于监督学习的算法。

How does knn work

KNN三要素&＃xff1a;训练数据集&＃xff0c;距离&＃xff0c;最近邻数量
计算输入数据实例与训练数据集中实例的距离&＃xff0c;选取最近的k个实例&＃xff0c;决定输入实例的标签。
通常距离有欧拉距离、汉明距离、曼哈顿距离、闵可夫斯基距离。

K值

K值太小噪声对结果影响过大&＃xff0c;过拟合&＃xff1b;
K值太大增加了计算复杂度&＃xff0c;而且欠拟合。
通常依次尝试&＃xff0c;选取最佳k值。