今天的帖子是我和我童年朋友安德烈斯·西尔瓦的合作 :-) ------- 如果你在一个单位正方形中随机投放一个点，它落在内切圆内的概率大约是78.5%。如果你在一个单位立方体中投放一个点，它落在内切球内的概率是52.4%。到达10维时，这个概率降至0.25%。到达100维时，几乎为零。 这就是“维度诅咒”——在任何机器学习课程中都是标准内容，也是长篇数学文献的主题。随机点在一个盒子中的平均距离是由罗宾斯提出并在1978年解决的。约翰·菲利普推导出了3D的完整分布。这些问题已经被广泛研究。 我们想在这里做一些不同的事情：系统地比较不同几何（欧几里得、球面、双曲面）、拓扑（超立方体与环面）和维度的距离直方图——然后询问这些“特征”可能揭示的关于神经网络中真实世界嵌入空间的信息。 核心思想：随机点之间的成对距离的直方图是一个几何指纹。不同的空间留下不同的痕迹。你可能能够利用这一点来诊断你的数据秘密生活在哪种几何中。 起源故事：两个安德烈斯走进了科约阿坎的一家酒吧…… 这篇文章中的想法源于我们两人之间的对话（是的，我们都叫安德烈斯——欢迎来到墨西哥）。设定是：如果你和一个朋友随机被放置在一个n维超立方体中的位置，你们之间的平均距离是多少？更有趣的是，可能的距离分布是什么样的？ “问题是，”我们其中一人说，“如果你在空间中抓住两个随机点，距离分布是什么样的？我相信你也考虑过这个问题？” - “是的，我想过更高维度。” 答案对于1D情况（线段）来说是美丽而简单的：在[0,1]上两个均匀随机点之间的距离分布是三角形的，峰值在0。大多数对是靠近的，恰好相距1（最大值）的概率恰好为零——这是一个测度为零的集合。 但是当你添加环绕时会发生什么？当你不再处于线段上，而是在一个圆上时？ 环面技巧：不失一般性 这里是第一个美丽的洞察出现的地方。在一个线段[0,1]上，点x和y之间的距离就是|x - y|。但是在一个圆上（1-环面），你可以朝任一方向走。 “环绕”的距离是min(|x - y|, 1 - |x - y|)。 关键思想：在环面上，你总是可以假设一个点位于原点而不失一般性。 为什么？因为环面是均匀的——每个点看起来都像其他点。没有边缘，所以没有角落。你放置第一个点的每个位置都是“相同的位置”。如果你在环面上投放两个随机点，你总是可以在脑海中将空间平移，使一个点位于零。这意味着距离的分布完全由单个均匀随机点与零的距离的分布决定。 在1D环面（圆）上，这个环绕坐标在[0, 0.5]上是均匀的。整个问题美丽地分解：在n维平坦环面上，总距离是： D = sqrt(D_1^2 + D_2^2 + ... + D_n^2) 其中每个D_i是在维度i中独立均匀分布的环绕坐标距离，范围在[0, 0.5]。 “所以你在看一个向量的欧几里得范数的分布，其分量在[0, 0.5]上是均匀的，”安德烈斯·S在我们的对话中指出。“你可以有一组测度为1/2的所有这些可能性……” ...