声明:
t-SNE是目前来说效果最好的数据降维与可视化方法,但是它的缺点也很明显,比如:占内存大,运行时间长。但是,当我们想要对高维数据进行分类,又不清楚这个数据集有没有很好的可分性(即同类之间间隔小,异类之间间隔大),可以通过t-SNE投影到2维或者3维的空间中观察一下。如果在低维空间中具有可分性,则数据是可分的;如果在高维空间中不具有可分性,可能是数据不可分,也可能仅仅是因为不能投影到低维空间。
下面会简单介绍t-SNE的原理,参数和实例。
t-SNE(TSNE)将数据点之间的亲和力转换为概率。原始空间中的亲和度由高斯联合概率表示,嵌入空间的亲和度由“学生t分布”表示。这使得t-SNE对局部结构特别敏感,并且与现有技术相比具有一些其他优点:
虽然Isomap,LLE和variants等数据降维和可视化方法,最适合展开单个连续的低维的manifold,但是t-SNE主要是关注数据的局部结构,并且对于下图所示的S曲线(不同颜色的图像表示不同类别的数据)。正是这种关注数据局部特征的方法,更有利于manifold数据的可视化。
使用t-SNE的缺点大概是:
init ='pca'
)来缓解。t-SNE的主要目的是高维数据的可视化。因此,当数据嵌入二维或三维时,效果最好。有时候优化KL散度可能有点棘手。有五个参数可以控制t-SNE的优化,即会影响最后的可视化质量:
困惑度被定义为,其中S是条件概率分布的香农熵。 k条边的模型,其perplexity是k,所以k在产生条件概率时,实际上是t-SNE考虑的最近邻的数量。Perplexities越大,近邻越多,对小区域的敏感度就越小。相反,perlexity越小,考虑的近邻数目就越小,就会忽视更多的全局信息。如果数据集变大,就需要更多的点来获得对近邻的合理采样,因此可能需要更大的perplexities。对于噪声数据集也是一样的,需要较大的perplexity来包含足够的近邻以减小背景噪声的影响。
Maximum number of iterations通常是比较高的,不需要任何调整。优化包括两个阶段:前期放大阶段和最终优化阶段。在前期放大阶段,原始空间的联合概率将通过乘以给定因子(参数early exaggeration factor)的方式人为的增加。其中,给定因子越大,自然类之间的间隔越大。如果因子太高,KL散度可能会增加。不过通常我们不需要调整它。一个关键参数是learning rate。learning rate如果太低的梯度下降将被困在局部最小的地方。如果太高,则优化过程中KL散度将会增加。最后一个参数angle是性能和精度之间的折衷。较大的angle意味着我们可以通过单个点近似较大的区域,导致更好的速度,但是不太准确的结果。
在这里实施的Barnes-Hut t-SNE通常比其他流形学习算法慢得多。它的优化是相当困难的,梯度的计算复杂度是O[dNlog(N)],其中d是输出维数,N是样本数。 虽然相比原始t-SNE中梯度计算复杂度O[dNlog(N)]有了提升,但它还有其他几个显着差异:
method="exact"
时,angle参数不能使用。 为了可视化的目的(这是t-SNE的主要用处),强烈建议使用Barnes-Hut方法。精确的t-SNE方法可用于检查可能在较高维空间中的嵌入的理论属性,但由于计算约束限制了对小数据集的可视化应用。
还要注意,手写数字集合的标签大致与t-SNE发现的自然分组相符,而PCA模型的线性2D投影产生标签区域则有特别多的重叠。这很好的表明了,这个数据集可以通过专注于局部结构的非线性方法(例如,具有高斯RBF内核的SVM)来很好地分离。然而,未能在2D中用t-SNE显现良好分离的均匀标记的组不一定意味着数据不能被监督模型正确分类,还可能是因为2维不足以准确地表示数据的内部结构。
parameters | description |
---|---|
n_components | int, 默认为2,嵌入空间的维度(嵌入空间的意思就是结果空间) |
perplexity | float, 默认为30,数据集越大,需要参数值越大,建议值位5-50 |
early_exaggeration | float, 默认为12.0,控制原始空间中的自然集群在嵌入式空间中的紧密程度以及它们之间的空间。 对于较大的值,嵌入式空间中自然群集之间的空间将更大。 再次,这个参数的选择不是很关键。 如果在初始优化期间成本函数增加,则可能是该参数值过高。 |
learning_rate | float, default:200.0, 学习率,建议取值为10.0-1000.0 |
n_iter | int, default:1000, 最大迭代次数 |
n_iter_without_progress | int, default:300, 另一种形式的最大迭代次数,必须是50的倍数 |
min_grad_norm | float, default:1e-7, 如果梯度低于该值,则停止算法 |
metric | string or callable, 精确度的计量方式 |
init | string or numpy array, default:”random”, 可以是’random’, ‘pca’或者一个numpy数组(shape=(n_samples, n_components)。 |
verbose | int, default:0, 训练过程是否可视 |
random_state | int, RandomState instance or None, default:None,控制随机数的生成 |
method | string, default:’barnes_hut’, 对于大数据集用默认值,对于小数据集用’exact’ |
angle | float, default:0.5, 只有method='barnes_hut' 时可用 |
attributes | description |
---|---|
embedding_ | 嵌入向量 |
kl_divergence | 最后的KL散度 |
n_iter_ | 迭代的次数 |
Methods | description |
---|---|
fit | 将X投影到一个嵌入空间 |
fit_transform | 将X投影到一个嵌入空间并返回转换结果 |
get_params | 获取t-SNE的参数 |
set_params | 设置t-SNE的参数 |
一个简单的例子,输入4个3维的数据,然后通过t-SNE降维称2维的数据。
import numpy as npfrom sklearn.manifold import TSNEX = np.array([[0, 0, 0], [0, 1, 1], [1, 0, 1], [1, 1, 1]])tsne = TSNE(n_components=2)tsne.fit_transform(X)print(tsne.embedding_)'''输出[[ 3.17274952 -186.43092346] [ 43.70787048 -283.6920166 ] [ 100.43157196 -145.89025879] [ 140.96669006 -243.15138245]]'''
S曲线上的数据是高维的数据,其中不同颜色表示数据的不同类别。当我们通过t-SNE嵌入到二维空间中后,可以看到数据点之间的类别信息完美的保留了下来
# coding='utf-8'"""# 一个对S曲线数据集上进行各种降维的说明。"""from time import timeimport matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3Dfrom matplotlib.ticker import NullFormatterfrom sklearn import manifold, datasets# # Next line to silence pyflakes. This import is needed.# Axes3Dn_points = 1000# X是一个(1000, 3)的2维数据,color是一个(1000,)的1维数据X, color = datasets.samples_generator.make_s_curve(n_points, random_state=0)n_neighbors = 10n_components = 2fig = plt.figure(figsize=(8, 8))# 创建了一个figure,标题为"Manifold Learning with 1000 points, 10 neighbors"plt.suptitle("Manifold Learning with %i points, %i neighbors" % (1000, n_neighbors), fontsize=14)'''绘制S曲线的3D图像'''ax = fig.add_subplot(211, projection='3d')ax.scatter(X[:, 0], X[:, 1], X[:, 2], c=color, cmap=plt.cm.Spectral)ax.view_init(4, -72) # 初始化视角'''t-SNE'''t0 = time()tsne = manifold.TSNE(n_components=n_components, init='pca', random_state=0)Y = tsne.fit_transform(X) # 转换后的输出t1 = time()print("t-SNE: %.2g sec" % (t1 - t0)) # 算法用时ax = fig.add_subplot(2, 1, 2)plt.scatter(Y[:, 0], Y[:, 1], c=color, cmap=plt.cm.Spectral)plt.title("t-SNE (%.2g sec)" % (t1 - t0))ax.xaxis.set_major_formatter(NullFormatter()) # 设置标签显示格式为空ax.yaxis.set_major_formatter(NullFormatter())# plt.axis('tight')plt.show()
这里的手写数字数据集是一堆8*8的数组,每一个数组都代表着一个手写数字。如下图所示。
# coding='utf-8'"""t-SNE对手写数字进行可视化"""from time import timeimport numpy as npimport matplotlib.pyplot as pltfrom sklearn import datasetsfrom sklearn.manifold import TSNEdef get_data(): digits = datasets.load_digits(n_class=6) data = digits.data label = digits.target n_samples, n_features = data.shape return data, label, n_samples, n_featuresdef plot_embedding(data, label, title): x_min, x_max = np.min(data, 0), np.max(data, 0) data = (data - x_min) / (x_max - x_min) fig = plt.figure() ax = plt.subplot(111) for i in range(data.shape[0]): plt.text(data[i, 0], data[i, 1], str(label[i]), color=plt.cm.Set1(label[i] / 10.), fontdict={'weight': 'bold', 'size': 9}) plt.xticks([]) plt.yticks([]) plt.title(title) return figdef main(): data, label, n_samples, n_features = get_data() print('Computing t-SNE embedding') tsne = TSNE(n_components=2, init='pca', random_state=0) t0 = time() result = tsne.fit_transform(data) fig = plot_embedding(result, label, 't-SNE embedding of the digits (time %.2fs)' % (time() - t0)) plt.show(fig)if __name__ == '__main__': main()
联系客服