Les progrès conjoints dans la collecte de jeux de données toujours plus vastes et complexes, ainsi que l’essor rapide des grands modèles de fondation (foundation models), ont rendu essentiel le développement de méthodes capables de s’adapter à une diversité de tâches et de modalités de données. Cela soulève un défi fondamental : comment apprendre des représentations des données à la fois riches, polyvalentes et réutilisables efficacement dans un large éventail de tâches en aval (downstream applications) ?
Pour répondre à cette question, l’apprentissage auto-supervisé (self-supervised learning, SSL) s’est imposé comme un paradigme majeur [Gui+24]. Le SSL consiste à entraîner des modèles — généralement des réseaux de neurones — sur des données non annotées en leur faisant résoudre des tâches dites de prétexte (pretext tasks), telles que le débruitage d’entrées corrompues ou la discrimination entre des échantillons perturbés et leurs versions originales. Ces approches ont atteint des performances remarquables, dépassant même, dans certains cas, celles des méthodes entièrement supervisées [Li+25].
Malgré ces succès, les mécanismes qui les sous-tendent restent encore imparfaitement compris. En particulier, pourquoi les représentations apprises par le SSL généralisent-elles aussi efficacement ? Quels sont les principes fondamentaux qui expliquent ce comportement ?
Une première étape vers une meilleure compréhension des performances du SSL consiste à étudier ses liens avec la réduction de dimension et le transport optimal (Optimal Transport, OT). En effet, le SSL présente de fortes connexions conceptuelles et mathématiques avec les méthodes classiques de réduction de dimension, telles que la PCA [AW10], t-SNE [VH08] et UMAP [MHM18], notamment à travers l’utilisation de fonctions de coût et de stratégies d’optimisation apparentées [Dam+23]. Par ailleurs, la réduction de dimension entretient elle-même des liens profonds avec la théorie du transport optimal ; elle peut même être interprétée comme un cas particulier de celle-ci.
Des travaux récents des encadrants [Van+25] ont mis en évidence que le SSL et le transport optimal partagent plusieurs principes fondamentaux, laissant entrevoir un cadre théorique unificateur. Le transport optimal occupe aujourd’hui une place centrale dans de nombreuses applications modernes de l’apprentissage automatique, allant de la modélisation générative et de l’adaptation de domaine à l’analyse de dynamiques cellulaires, en passant par les réseaux de neurones et les modèles fondés sur les graphes (voir [PC+19] pour une présentation détaillée). Comprendre le SSL à travers le prisme du transport optimal pourrait ainsi apporter des éclairages théoriques précieux et conduire au développement d’algorithmes d’apprentissage de représentations plus fondés, plus robustes et plus efficaces.
