您是否希望线性分类器在2DPC空间中分离这两个类？

Question

我总共有183个特征，我已经应用了PCA来减少维度，然后我做了一个散点图。现在的问题是：“直观地分析散点图。你是否期望一个线性分类器在2D-PC空间中分离这两个类？”

from sklearn.decomposition import PCA
pca = PCA(n_components = 3)
pca.fit(scaled_data)
x_pca = pca.transform(scaled_data)

下面是散点图代码：

plt.figure(figsize =(6, 6))
plt.scatter(x_pca[:, 0], x_pca[:, 1], c = y_train)
plt.xlabel('First Principal Component')
plt.ylabel('Second Principal Component') 
legend1 = plt.legend(*scatter.legend_elements(),
               loc="upper right", title="Classes")

Here is the scatter plot.

Answer 1

如果您想根据PCA后降维的结果这两个特征对它们进行分类，那么很明显，您不能期望线性分类器将它们分开，如图所示

然而，可以在另一个空间中找到一个线性分类器，该空间由基于所有特征的内核计算

在这个链接中有一个完美的例子，用于对圆内外的点进行分类的内核技巧https://medium.com/@ankitnitjsr13/math-behind-svm-kernel-trick-5a82aa04ab04

通用核技巧可以很容易地集成到ml分类器中。大多数框架都支持它，但您必须尝试不同的内核，看看哪一个运行得最好