Rubriques tendance
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Captain Pleasure, Andrés Gómez Emilsson
Regards d’un néo-bouddhiste transhumain du futur sur la sociologie, l’intelligence artificielle, les mathématiques, la philosophie, le cinéma néonoir et l’ère post-singularité.
Résumé des _informations_ clés utiles pour la foule de l'interprétabilité mécaniste spécifiquement :
Les distributions de distance sont un diagnostic peu coûteux pour la géométrie apprise.
Étant donné un espace de représentation, l'histogramme des distances par paires entre des points échantillonnés au hasard est une empreinte géométrique forte. Différentes géométries—euclidienne, sphérique, hyperbolique—et différentes topologies—bornées vs. périodiques—produisent des distributions de distance nettement distinctes, même à dimension modérée. Ces signatures proviennent de la concentration de mesure, des effets de bord et de la courbure, et elles sont robustes au bruit. La proposition clé est de traiter les histogrammes de distance non pas comme des curiosités, mais comme des sondes judiciaires de la géométrie qu'une représentation apprise utilise implicitement.
La topologie compte indépendamment de la courbure.
Un n-tore plat et un hypercube n-dimensionnel partagent la même géométrie euclidienne locale, pourtant leurs distributions de distance diffèrent considérablement. Le tore élimine les effets de bord, ce qui donne une distance moyenne plus faible et une concentration plus serrée (~0.289√n) que l'hypercube (~0.408√n). Ces différences persistent et se précisent avec la dimension. Cela montre que de nombreuses "pathologies de haute dimension" attribuées uniquement à la dimensionnalité sont en fait des artefacts de condition de bord—une distinction rarement explicitée dans la pratique de l'IA.
Les anomalies de basse dimension exposent des mécanismes géométriques.
Dans les basses dimensions, les distributions de distance révèlent une structure non gaussienne liée directement à la géométrie. Par exemple, le tore plat en 2D présente une cuspide intégrable à la distance maximale en raison des contraintes de coin dans le carré de coordonnées enroulé. Cela disparaît rapidement avec la dimension à mesure que la concentration domine. De telles caractéristiques ne sont pas du bruit numérique ; ce sont des conséquences analytiques de la géométrie. Voir (ou ne pas voir) ces artefacts dans les embeddings appris fournit des informations sur la dimensionnalité effective et la structure d'indépendance des sous-espaces de représentation.
Application d'interprétabilité : forensique de l'espace d'embedding.
Étant donné un modèle entraîné, on peut sélectionner des sous-ensembles sémantiquement cohérents d'embeddings (par exemple, entités géographiques, taxonomies, émotions, concepts temporels) et calculer leurs histogrammes de distance par paires. Comparer ces histogrammes aux prédictions théoriques permet d'inférer la géométrie que le modèle a apprise pour ce domaine. Des signatures sphériques suggéreraient des représentations angulaires ou de type variété ; des signatures hyperboliques suggéreraient une structure hiérarchique ; des signatures euclidiennes ou toroïdales suggéreraient des espaces de similarité plats avec ou sans artefacts de bord.
Implication : les représentations apprises sont probablement hybrides-géométriques.
La plupart des travaux actuels supposent une seule géométrie globale (typiquement euclidienne ou hyperbolique). L'approche par histogramme se généralise naturellement aux géométries mixtes, où différents sous-espaces sémantiques instaurent différentes courbures ou topologies. Cela suggère un chemin vers des représentations explicitement architecturales et conscientes de la géométrie, où la géométrie est un paramètre de conception plutôt qu'un accident émergent—et où les outils d'interprétabilité peuvent localiser quel type de structure un modèle a appris, pas seulement où l'information se trouve.
Résumé.
Les histogrammes de distance sont des sondes simples, rapides et théoriquement fondées qui exposent la courbure, la topologie et la dimensionnalité effective dans les représentations apprises. Ils fournissent un diagnostic au niveau de la géométrie qui complète l'interprétabilité au niveau des neurones et des circuits, et ils suggèrent des expériences concrètes pour tester comment les modèles organisent en interne différents types de connaissances.
(Résumé par Chat 5.2)
il y a 51 minutes
Le post d'aujourd'hui est une collaboration avec mon ami d'enfance Andrés Silva :-)
-------
Si vous placez un point aléatoire dans un carré unité, il y a environ 78,5 % de chances qu'il se trouve à l'intérieur du cercle inscrit. Si vous en placez un dans un cube unité, il y a 52,4 % de chances qu'il soit à l'intérieur de la sphère inscrite. À la dimension 10, cette probabilité tombe à 0,25 %. À la dimension 100, elle est pratiquement nulle.
C'est ce qu'on appelle la "malédiction de la dimensionnalité" - un sujet standard dans n'importe quel cours d'apprentissage automatique, et le sujet d'une longue littérature mathématique. La distance moyenne entre des points aléatoires dans une boîte a été posée par Robbins et résolue en 1978. Johan Philip a dérivé la distribution complète pour la 3D. Ces problèmes sont bien connus.
Ce que nous voulons faire ici est quelque chose d'un peu différent : comparer systématiquement les histogrammes de distance à travers différentes géométries (euclidienne, sphérique, hyperbolique), topologies (hypercube vs. tore), et dimensions - puis demander ce que ces "signatures" pourraient révéler sur les espaces d'incorporation du monde réel dans les réseaux neuronaux.
L'idée principale : l'histogramme des distances par paires entre des points aléatoires est une empreinte géométrique. Différents espaces laissent des marques différentes. Vous pourriez être en mesure d'utiliser cela pour diagnostiquer quelle géométrie vos données vivent secrètement.
L'histoire d'origine : Deux Andreses entrent dans un bar à Coyoacán...
Les idées de ce post ont émergé d'une conversation entre nous deux (oui, nous nous appelons tous les deux Andrés - bienvenidos a México). Le cadre : si vous et un ami êtes tous deux placés à des emplacements aléatoires dans un hypercube n-dimensionnel, quelle est la distance moyenne entre vous ? Et plus intéressant encore, à quoi ressemble la distribution des distances possibles ?
"Le fait est," comme l'un d'entre nous l'a dit lors de notre discussion, "si vous prenez deux points aléatoires dans l'espace, à quoi ressemble la distribution des distances ? Je suis sûr que vous avez réfléchi à ce problème ?" - "oui, et je me suis demandé à propos des dimensions supérieures."
La réponse s'avère être d'une simplicité magnifique pour le cas 1D (un segment de ligne) : la distribution des distances entre deux points aléatoires uniformes sur [0,1] est triangulaire, avec un pic à 0. La plupart des paires sont proches l'une de l'autre, et la probabilité d'être exactement à 1 d'écart (le maximum) est précisément nulle - c'est un ensemble de mesure nulle.
Mais que se passe-t-il lorsque vous ajoutez un wraparound ? Lorsque, au lieu d'un segment de ligne, vous êtes sur un cercle ?
Le tour de force du tore : sans perte de généralité
C'est ici que la première belle idée émerge. Sur un segment de ligne [0,1], la distance entre les points x et y est simplement |x - y|. Mais sur un cercle (un 1-tore), vous pouvez aller dans les deux directions. La distance "enroulée" est min(|x - y|, 1 - |x - y|).
Idée clé : Sur un tore, vous pouvez toujours supposer qu'un point est à l'origine sans perte de généralité.
Pourquoi ? Parce que le tore est homogène - chaque point ressemble à chaque autre point. Il n'y a pas de bords, donc il n'y a pas de coins. Chaque emplacement où vous placez le premier point est "le même emplacement". Si vous placez deux points aléatoires sur un tore, vous pouvez toujours mentalement traduire l'espace pour que l'un des points soit à zéro. Cela signifie que la distribution des distances est complètement déterminée par la distribution de la distance d'un seul point aléatoire uniforme par rapport à zéro.
Sur le tore 1D (cercle), cette coordonnée enroulée est uniforme sur [0, 0,5]. Tout le problème se factorise magnifiquement : dans un tore plat n-dimensionnel, la distance totale est :
D = sqrt(D_1^2 + D_2^2 + ... + D_n^2)
où chaque D_i est la distance de coordonnée enroulée dans la dimension i, uniformément indépendante sur [0, 0,5].
"Donc vous regardez la distribution de la norme euclidienne d'un vecteur dont les composants sont uniformes sur [0, 0,5]," a noté Andrés S. lors de notre conversation. "Vous pourriez avoir un ensemble de mesure 1/2 de toutes ces possibilités..."
Exactement. Et cette factorisation - cette belle indépendance à travers les dimensions - est ce qui rend le tore si mathématiquement maniable.
La géométrie du clipping
L'hypercube ne bénéficie pas de ce luxe. Un hypercube a des bords. Il a des coins. Il en a en fait tous les 2^n, multipliant exponentiellement à mesure que vous augmentez les dimensions.
Que signifie cela pour les distributions de distance ? Imaginez que vous êtes à un point à l'intérieur de l'hypercube et que vous voulez savoir combien d'autres points sont à distance r de vous. Dans un espace euclidien non borné, ce serait la surface d'une (n-1)-sphère : proportionnelle à r^(n-1).
Mais vous n'êtes pas dans un espace non borné. Vous êtes dans une boîte.
"Qualitativement : imaginez un ballon gonflé centré à l'origine à l'intérieur d'une boîte," comme le décrivent les notes de simulation de Monte Carlo. "Au début, le ballon grandit librement et vous ajoutez rapidement de la surface (la croissance r^(n-1)). Mais ensuite, le ballon commence à appuyer contre les murs et les coins de la boîte, et la 'nouvelle' surface que vous ajoutez est coupée."
Dans les dimensions élevées, ce clipping se produit brusquement. Pourquoi ? Parce que presque tout le volume d'un hypercube vit près de ses coins. Le centre d'un hypercube de haute dimension est essentiellement vide - ce sont tous des coins. Si vous mangez une Rosca de Reyes hypercubique (aujourd'hui, c'est le 6 janvier, rappelez-vous !), tous les Niños sont dans les coins (et toutes les calories aussi !).
En conséquence, nous voyons un pic net dans la distribution des distances qui ressemble de plus en plus à une distribution gaussienne en raison de la concentration de mesure. Mais avec quelques différences cruciales par rapport au cas du tore.
Le cadre des trois axes
À ce stade, nous avons réalisé que nous avions besoin d'un moyen systématique de penser à tous ces différents cas. Le cadre qui a émergé a trois axes indépendants :
Géométrie : Euclidienne, Sphérique ou Hyperbolique
Dimension : 1, 2, 3, ... n
Conditions aux limites : Hypercube (avec murs) vs. Tore (avec wraparound)
Cela peut sembler être de simples curiosités théoriques. Mais en réalité, chaque combinaison produit une "empreinte" distinctive - un histogramme de distance caractéristique que vous pourriez, en principe, reconnaître à partir des données. Et nous pensons que cela a une grande importance pour comprendre le monde (continuez à lire pour voir pourquoi).
57
Le post d'aujourd'hui est une collaboration avec mon ami d'enfance Andrés Silva :-)
-------
Si vous placez un point aléatoire dans un carré unité, il y a environ 78,5 % de chances qu'il se trouve à l'intérieur du cercle inscrit. Si vous en placez un dans un cube unité, il y a 52,4 % de chances qu'il soit à l'intérieur de la sphère inscrite. À la dimension 10, cette probabilité tombe à 0,25 %. À la dimension 100, elle est pratiquement nulle.
C'est ce qu'on appelle la "malédiction de la dimensionnalité" - un sujet standard dans n'importe quel cours d'apprentissage automatique, et le sujet d'une longue littérature mathématique. La distance moyenne entre des points aléatoires dans une boîte a été posée par Robbins et résolue en 1978. Johan Philip a dérivé la distribution complète pour la 3D. Ces problèmes sont bien connus.
Ce que nous voulons faire ici est quelque chose d'un peu différent : comparer systématiquement les histogrammes de distance à travers différentes géométries (euclidienne, sphérique, hyperbolique), topologies (hypercube vs. tore), et dimensions - puis demander ce que ces "signatures" pourraient révéler sur les espaces d'incorporation du monde réel dans les réseaux neuronaux.
L'idée principale : l'histogramme des distances par paires entre des points aléatoires est une empreinte géométrique. Différents espaces laissent des marques différentes. Vous pourriez être en mesure d'utiliser cela pour diagnostiquer quelle géométrie vos données vivent secrètement.
L'histoire d'origine : Deux Andreses entrent dans un bar à Coyoacán...
Les idées de ce post ont émergé d'une conversation entre nous deux (oui, nous nous appelons tous les deux Andrés - bienvenidos a México). Le cadre : si vous et un ami êtes tous deux placés à des emplacements aléatoires dans un hypercube n-dimensionnel, quelle est la distance moyenne entre vous ? Et plus intéressant encore, à quoi ressemble la distribution des distances possibles ?
"Le fait est," comme l'un d'entre nous l'a dit lors de notre discussion, "si vous prenez deux points aléatoires dans l'espace, à quoi ressemble la distribution des distances ? Je suis sûr que vous avez réfléchi à ce problème ?" - "oui, et je me suis demandé à propos des dimensions supérieures."
La réponse s'avère être d'une simplicité magnifique pour le cas 1D (un segment de ligne) : la distribution des distances entre deux points aléatoires uniformes sur [0,1] est triangulaire, avec un pic à 0. La plupart des paires sont proches l'une de l'autre, et la probabilité d'être exactement à 1 d'écart (le maximum) est précisément nulle - c'est un ensemble de mesure nulle.
Mais que se passe-t-il lorsque vous ajoutez un wraparound ? Lorsque, au lieu d'un segment de ligne, vous êtes sur un cercle ?
Le tour de force du tore : sans perte de généralité
C'est ici que la première belle idée émerge. Sur un segment de ligne [0,1], la distance entre les points x et y est simplement |x - y|. Mais sur un cercle (un 1-tore), vous pouvez aller dans les deux directions. La distance "enroulée" est min(|x - y|, 1 - |x - y|).
Idée clé : Sur un tore, vous pouvez toujours supposer qu'un point est à l'origine sans perte de généralité.
Pourquoi ? Parce que le tore est homogène - chaque point ressemble à chaque autre point. Il n'y a pas de bords, donc il n'y a pas de coins. Chaque emplacement où vous placez le premier point est "le même emplacement". Si vous placez deux points aléatoires sur un tore, vous pouvez toujours mentalement traduire l'espace pour que l'un des points soit à zéro. Cela signifie que la distribution des distances est complètement déterminée par la distribution de la distance d'un seul point aléatoire uniforme par rapport à zéro.
Sur le tore 1D (cercle), cette coordonnée enroulée est uniforme sur [0, 0,5]. Tout le problème se factorise magnifiquement : dans un tore plat n-dimensionnel, la distance totale est :
D = sqrt(D_1^2 + D_2^2 + ... + D_n^2)
où chaque D_i est la distance de coordonnée enroulée dans la dimension i, uniformément indépendante sur [0, 0,5].
"Donc vous regardez la distribution de la norme euclidienne d'un vecteur dont les composants sont uniformes sur [0, 0,5]," a noté Andrés S. lors de notre conversation. "Vous pourriez avoir un ensemble de mesure 1/2 de toutes ces possibilités..."
Exactement. Et cette factorisation - cette belle indépendance à travers les dimensions - est ce qui rend le tore si mathématiquement maniable.
La géométrie du clipping
L'hypercube ne bénéficie pas de ce luxe. Un hypercube a des bords. Il a des coins. Il en a en fait tous les 2^n, multipliant exponentiellement à mesure que vous augmentez les dimensions.
Que signifie cela pour les distributions de distance ? Imaginez que vous êtes à un point à l'intérieur de l'hypercube et que vous voulez savoir combien d'autres points sont à distance r de vous. Dans un espace euclidien non borné, ce serait la surface d'une (n-1)-sphère : proportionnelle à r^(n-1).
Mais vous n'êtes pas dans un espace non borné. Vous êtes dans une boîte.
"Qualitativement : imaginez un ballon gonflé centré à l'origine à l'intérieur d'une boîte," comme le décrivent les notes de simulation de Monte Carlo. "Au début, le ballon grandit librement et vous ajoutez rapidement de la surface (la croissance r^(n-1)). Mais ensuite, le ballon commence à appuyer contre les murs et les coins de la boîte, et la 'nouvelle' surface que vous ajoutez est coupée."
Dans les dimensions élevées, ce clipping se produit brusquement. Pourquoi ? Parce que presque tout le volume d'un hypercube vit près de ses coins. Le centre d'un hypercube de haute dimension est essentiellement vide - ce sont tous des coins. Si vous mangez une Rosca de Reyes hypercubique (aujourd'hui, c'est le 6 janvier, rappelez-vous !), tous les Niños sont dans les coins (et toutes les calories aussi !).
En conséquence, nous voyons un pic net dans la distribution des distances qui ressemble de plus en plus à une distribution gaussienne en raison de la concentration de mesure. Mais avec quelques différences cruciales par rapport au cas du tore.
Le cadre des trois axes
À ce stade, nous avons réalisé que nous avions besoin d'un moyen systématique de penser à tous ces différents cas. Le cadre qui a émergé a trois axes indépendants :
Géométrie : Euclidienne, Sphérique ou Hyperbolique
Dimension : 1, 2, 3, ... n
Conditions aux limites : Hypercube (avec murs) vs. Tore (avec wraparound)
Cela peut sembler être de simples curiosités théoriques. Mais en réalité, chaque combinaison produit une "empreinte" distinctive - un histogramme de distance caractéristique que vous pourriez, en principe, reconnaître à partir des données. Et nous pensons que cela a une grande importance pour comprendre le monde (continuez à lire pour voir pourquoi).
1,43K
Meilleurs
Classement
Favoris