scikit-learn库之k近邻算法
由于k近邻可以做回归又可以做分类，所以最普通的k近邻算法在scikit-learn库中有两种实现，即KNeighborsClassifier和KNeighborsRegressor；上次讲到了k近邻的两个扩展限定半径k近邻，因此该方法在scikit-learn中也有两种实现，即RadiusNeighborsClassifier和RadiusNeighborsRegressor；k近邻还有一种扩展，即最近质心分类算法NearestCentroid。
接下来将会讨论这五者的区别，由于是从官方文档翻译而来，翻译会略有偏颇，有兴趣的也可以去scikit-learn官方文档查看https://scikit-learn.org/stable/modules/classes.html#module-sklearn.neighbors
KNeighborsClassifier
使用场景
KNeighborsClassfier模型就是最普通的k近邻算法，可以通过参数控制使用高斯距离、kd树、球树找到实例的$k$个近邻。
代码
from sklearn.neighbors import KNeighborsClassifier
X = [[0], [1], [2], [3]]
y = [0, 0, 1, 1]neigh = KNeighborsClassifier(n_neighbors=3)
neigh.fit(X, y)KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
metric_params=None, n_jobs=None, n_neighbors=3, p=2,
weights='uniform')print(neigh.predict([[1.1]]))[0]print(neigh.predict_proba([[0.9]]))[[0.66666667 0.33333333]]参数详解
- n_neighbors：$k$值选择，int类型。一般选择一个较小的$k$值，然后通过交叉验证选择一个较好的$k$值。默认为5。
- weights：近邻权重，str类型。如果weights=’uniform’，则意味着所有近邻的权重都一样；如果weights=’distance’，则意味着权重和距离成反比，即距离目标点更近的点有更高的权重；可以自定定义函数自定义权重，输入是距离值，输出是权重值。默认为’uniform’。
- algorithm：算法实现，str类型。如果algorithm=’brute’，即最原始的k近邻算法，计算出所有点与点之间的距离；如果algorithm=’kd_tree’，即kd树实现；如果algorithm=’ball_tree’，即球树实现；如果algorithm=’auto’，则模型会选择一个拟合最好的算法。如果样本特征少，使用’auto’即可；如果数据量大或者样本特征多，推荐使用kd树之后再尝试球树，如此做可以提高准确度；如果输入的样本特征是稀疏的时候，scikit-learn始终会自行选择’brute’实现。默认为’auto’。
- leaf_size：叶子节点阈值，int类型。只有当algorithm={‘kd_tree’,’ball_tree’}时该参数才生效，这个值越小，则生成的kd树或球树层数越大，建树时间越长，泛指层数越小，建树时间短。如果样本数量过大，则必须得增大该值，因为树的层数越大，则树越容易过拟合，推荐使用交叉验证选择一个较优值。默认为30。
- p：距离度量附属参数，int类型。只有当metric=’minkowski’时该参数才生效，p=1时为曼哈顿距离，p=2时为欧氏距离。默认为2。
- metric：距离度量类型，str类型。metric=’euclidean’为欧氏距离；metric=’manhattan’为曼哈顿距离；metric=’chebyshev’为切比雪夫距离；metric=’minkowski’为闵可夫斯基距离；metric=’wminkowski’为带权重闵可夫斯基距离；metric=’seuclidean’为标准化欧氏距离；metric=’mahalanobis’为马氏距离，通常情况下默认的metric=’minkowski’+p=2即欧式距离就可以满足大多数业务的需求。默认为’minkowski’。
- metric_params：距离度量附属参数，dict类型。如带权重闵可夫斯基距离的参数，一般不会用到。
- n_jobs：并行数，int类型。n_jobs=1使用1个cpu运行程序；n_jobs=2，使用2个cpu运行程序；n_jobs=-1，使用所有cpu运行程序。默认为1。