Python最近邻算法（KNN）

近朱者赤，近墨者黑。

（学习笔记）
KNN:
一个样本在特征空间中，总有k个与之最相似（即特征空间中最邻近）的样本。其中，大多数属于某一类别，则该样本也属于这个类别。

计算步骤:
1.算距离:算出测试样本到训练集中每个样本的距离。（例如:欧氏距离）
2.找邻居:找出距离最近的k个训练对象。（k值的选取:交叉验证）
3.做分类:将这k个对象的主要类别作为测试数类别。（少数服从多数/根据距离的远近，距离越近权重越大，权重为距离平方的倒数）

算法流程
1.计算已知类别数据集中的点与当前点之间的距离。
2.按照距离递增次序排序。
3.选取与当前点距离最小的k个点。
4.确定前k个点所在类别对应的出现频率。
5.返回前k个点出现频率最高的类别作为当前点的预测分类。

优点:
1.简单，易于理解，易于实现，无需估计参数，无需训练；
2.适合对稀有事件进行分类；
3.适合于多分类问题。
缺点:
1.计算量大，内存开销大，评分慢；
2.可解释性较差。

行业应用:

* 客户流失预测
* 欺诈侦测（更适合于稀有事件的分类问题）
knn算法解决鸢尾花分类问题
from sklearn.datasets import load_iris from sklearn.model_selection import
train_test_splitfrom sklearn.neighbors import KNeighborsClassifier iris =
load_iris() # 鸢尾花数据 data_tr, data_te, label_tr, label_te = train_test_split(iris
.data, iris.target, test_size=0.2) # 拆分专家样本集 model = KNeighborsClassifier(
n_neighbors=5) # 构建模型 model.fit(data_tr, label_tr) # 模型训练 pre = model.predict(
data_te) # 模型预测 acc = model.score(data_te, label_te) # 模型在测试集上的精度 acc

• « 上一篇：sklearn机器学习之分类决策树（泰坦尼克号幸存者数据集）
• » 下一篇：TCP协议和UDP协议头部结构