PaperlayerView exact revision on arXiv

Résumé par IA · traduit de l'anglais par IA

LaGSplat: Inferring Physics-Governed Interactive Simulation from Monocular Video Using Latent Lagrangian Gaussian Splatting

Louen Pottier

arXiv:2608.16324v1cs.CVcs.LG

TL;DR

Apprendre des dynamiques physiques interactives à partir de vidéos exige de combiner reconstruction visuelle et mécanique sans disposer de coordonnées généralisées mesurées. LaGSplat couple un lagrangien dissipatif appris et un décodeur de Gaussian Splatting à points mobiles via un état latent partagé de faible dimension. Sur sept systèmes réels, il retrouve les fréquences propres à quelques pour cent près à partir d’enregistrements qui les excitent.

  • Problème

    Le problème ouvert est l’apprentissage de dynamiques physiques interactives directement à partir de vidéos, plutôt que de coordonnées généralisées mesurées ou de données de simulation.

    Source : §1 · p. 2

  • Méthode

    LaGSplat couple un lagrangien dissipatif appris et un décodeur de Gaussian Splatting à points mobiles via un unique état latent de faible dimension appris sans supervision.

    Source : §1 · p. 2

  • Résultats

    Sept systèmes réels montrent que les fréquences propres sont retrouvées à quelques pour cent près des valeurs observées dans les vidéos, sur des enregistrements qui excitent leurs modes propres.

    Source : §6 · p. 19

  • Conclusions et limites

    Les utilisateurs peuvent appliquer des forces inédites aux objets reconstruits sans réentraînement, l’amplitude des forces n’étant déterminée qu’à un facteur d’échelle énergétique global près.

    Source : §6 · p. 19

    La dynamique mise en œuvre suppose un faible nombre de coordonnées généralisées, une cinématique lisse et un mouvement dissipatif autonome ou à excitation mesurée, ce qui exclut les contacts, les impacts, les changements de topologie, la plasticité et l’hystérésis.

    Source : §5 · p. 17

Abstract

from arXiv · show

We present LaGSplat (Latent Lagrangian Gaussian Splatting), a framework that infers interactive, physics-governed dynamics from one or a few monocular videos. At inference it lets a user push on the filmed object, rigid or deformable, with an external force that was never measured, annotated, or seen during training. This is possible because a low-dimensional latent state $\mathbf{q} \in \mathbb{R}^d$ plays two roles at once: it is the generalised coordinate of a learned dissipative Lagrangian and the conditioning variable of a Gaussian Splatting decoder. The inductive bias of this decoder, whose primitives are explicit points $μ_i(\mathbf{q})$ that move with the object, is what lets a force $f$ applied in the image pull back into a latent generalised force $J(\mathbf{q})^\top f$ and enter the equations of motion, which pixel-space (CNN) or neural-field (NeRF) decoders cannot do. We validate LaGSplat on test cases of increasing difficulty, from rigid to deformable and from autonomous to forced real systems, combining monocular video and sensor measurements. We further demonstrate interactive use: forces of arbitrary magnitude and direction can be applied to the reconstructed object at any time, its response rendered in real time, in 2D or 3D. Assuming a dissipative Euler-Lagrange equation over a few generalised coordinates trades generality for a bounded, plausible response to unseen forces, where an unconstrained predictor diverges.

1 Introduction

LaGSplat apprend un modèle physique et une représentation gaussienne de la scène à partir d’une vidéo monoculaire, permettant une interaction en temps réel avec des forces jamais mesurées auparavant. Un état latent partagé relie la dynamique lagrangienne apprise à des points explicites qui se déplacent avec l’objet.

1 Introduction

  • Les méthodes antérieures fondées sur la vidéo utilisent une dynamique non contrainte [62], des équations imposées [7] [35] [69], des pixels fixes [21] [35], ou aucune reconstruction [7].La reconstruction dynamique [31] [75] reproduit le mouvement enregistré sans interaction, tandis que l’apprentissage de systèmes physiques [11] [21] [48] exige des trajectoires observées de coordonnées généralisées. LaGSplat identifie plutôt la physique propre au système filmé à partir de sa vidéo et associe des lois mécaniques à des primitives mobiles explicites.Source : §1 · p. 2
  • Les coordonnées latentes émergent sans annotations d’état ni simulateur externe, sous les contraintes conjointes de la reconstruction photométrique et d’un résidu d’Euler–Lagrange.Un encodeur transforme les images en états latents, un réseau neuronal lagrangien latent intègre les équations apprises, et le décodeur gaussien produit le rendu des états obtenus.Source : §1 · p. 2
  • Les primitives mobiles explicites permettent de prendre en compte les forces appliquées dans l’image : leur jacobienne transforme une force f en force généralisée latente J(q)^T f sans réentraînement.Cette transformation dépend de la cinématique apprise plutôt que du chargement : une vidéo d’entraînement montrant un mouvement autonome suffit donc à la déterminer, sans exemples de forces appliquées.Source : §1 · p. 2
  • Les réponses aux forces se limitent aux états latents visités à l’entraînement, présentent une échelle globale d’amplitude indéterminée et ne peuvent activer des modes de mouvement absents de la vidéo.Si la dynamique est bien identifiée et les primitives se déplacent correctement, la direction et la forme de la réponse sont correctes ; une mesure force–déplacement suffit à calibrer l’amplitude, sinon son échelle est choisie manuellement. Les modes non observés n’ont pas de coordonnées latentes et se comportent comme s’ils étaient infiniment rigides.Source : §1 · p. 2
  • LaGSplat couple un lagrangien dissipatif appris et un décodeur de Gaussian Splatting via un même état latent, permettant une simulation interactive en temps réel à partir d’une vidéo monoculaire.L’état latent sert à la fois de coordonnées généralisées et de variable de conditionnement du décodeur. Le rendu est possible en 2D ou depuis de nouveaux points de vue en 3D, avec une supervision par la profondeur ou par plusieurs vues.Source : §1 · pp. 2–3
  • LaGSplat converge vers un équilibre stable absent de l’entraînement, contrairement à un prédicteur de mouvement sans a priori mécanique, tout en ciblant des systèmes à peu de coordonnées généralisées.La validation porte sur un pendule simple, un corps rigide oscillant, un sac suspendu et l’actionneur pneumatique de Krauss et al. [35], couvrant des systèmes rigides ou déformables, autonomes ou forcés.Source : §1 · p. 3

2 Travaux connexes

Cette section distingue la synthèse de vues dynamiques, la mécanique analytique apprise, la génération de vidéos physiquement plausibles et l’apprentissage d’une simulation à partir de vidéos du système lui-même. LaGSplat adopte ce dernier cadre, en associant une mécanique dissipative latente à des primitives gaussiennes mobiles par lesquelles les forces interactives entrent dans la dynamique.

2.1 Synthèse dynamique de nouvelles vues

  • Les primitives gaussiennes conditionnées par l’état latent fournissent des points matériels mobiles, des jacobiennes de position constantes et une rastérisation en temps réel, permettant d’intégrer les forces interactives sous forme analytique.Les formulations dominantes de NeRF [53] [56] [61] ne comportent pas de points matériels, bien que la déformation depuis l’objet vers l’extérieur [22], les champs de radiance particulaires [44] et PAC-NeRF [40] offrent des solutions exploitables. LaGSplat remplace le temps par des coordonnées latentes dans les gaussiennes de dimension supérieure de Yang et al. [75] et utilise gsplat [76] pour la rastérisation ; contrairement à la déformation canonique, ce choix préserve des applications de position affines. FreeTimeGS [70] privilégie également des primitives placées directement dans un espace étendu pour les contenus riches en mouvement.Source : §2.1 · p. 3

2.2 Mécanique analytique apprise

  • La mécanique latente apprise permet déjà de ramener les forces aux coordonnées latentes par le principe des travaux virtuels, mais les modèles existants obtiennent états et forces par instrumentation plutôt que par des points matériels rendus en vidéo.L-LNN transporte les forces via les jacobiennes de l’encodeur, tandis que Friedl et al. [14] [15] utilisent celles du décodeur ; LaGSplat reprend ce transport, mais non son recours à l’instrumentation. Les difficultés d’apprentissage pertinentes comprennent l’identifiabilité à partir des seules positions [5], les potentiels non convexes [30], les matrices de masse mal conditionnées [23, 34] et la stabilité insuffisante à long terme d’un ajustement des dérivées sur un seul pas [24] [27] [36].Source : §2.2 · p. 5

2.3 Génération de vidéos physiquement plausibles

  • Les générateurs vidéo à physique imposée permettent des interventions, mais leurs lois d’évolution ne sont pas apprises à partir du mouvement observé de l’objet filmé.VR-GS [29] permet une interaction soutenue en temps réel, mais utilise des matériaux paramétrés manuellement et une acquisition multivue statique. PhysDreamer calibre la rigidité sur des vidéos générées par diffusion avec une physique MPM imposée, puis répond à des impulsions initiales plutôt qu’à des forces soutenues, pour un coût d’environ une minute de simulation par seconde rendue.Source : §2.3 · p. 5
  • Force Prompting [18] apprend à générer des vidéos conditionnées par des forces sans modèle mécanique, exige des paires force-vidéo d’entraînement et fixe la force avant la génération plutôt que de permettre une interaction causale.Sa génération ne s’effectue ni en temps réel ni de manière causale image par image. LaGSplat accepte au contraire des forces inédites pouvant changer à tout instant, qu’il transporte via les points matériels vers la dynamique identifiée par le principe des travaux virtuels.Source : §2.3 · pp. 5–6
  • NeuROK [17] partage une dynamique latente d’Euler–Lagrange et l’application interactive de forces par travaux virtuels, mais apprend une mécanique de maillage transférable plutôt que d’identifier un système à partir de sa propre vidéo.Son décodeur de maillage non linéaire fournit la métrique induite G(q) = J^T J et la force Q = J^T F sur des régions et des fenêtres temporelles choisies par l’utilisateur, contrairement au décodeur gaussien affine de LaGSplat. LaWM [73] apprend quant à lui un lagrangien latent conservatif à partir de rendus de simulateur, avec des signaux auxiliaires lorsqu’ils sont disponibles, et ses trajectoires simulées restent sans forçage.Source : §2.3 · p. 6

2.4 Apprentissage et simulation sous supervision vidéo

  • La simulation supervisée par vidéo identifie le système filmé et extrapole au-delà de l’enregistrement, mais les règles d’évolution non structurées n’offrent ni entrée de force mécanique ni garantie de plausibilité physique.Chen et al. [8] découvrent des états compacts, mais prédisent à travers des pixels régénérés ; Zhu et al. [81] imposent des filtres lipschitziens pour obtenir des représentations latentes continues avant d’ajuster une EDO neuronale non contrainte. ParticleGS [62], EvoGS [3], GaussianPrediction et NVFi [39] sont également dépourvus de structures apprises d’énergie, d’inertie et de dissipation permettant d’introduire un effort extérieur.Source : §2.4 · p. 6
  • Les approches structurées antérieures fondées sur la vidéo limitent la mécanique ou les possibilités d’application de forces, tandis que LaGSplat fixe une carte latente issue de la reconstruction avant d’apprendre une loi dissipative à inertie dépendant de l’état.Pixel-HNN [21] est conservatif et sans forçage, avec un décodeur à pixels fixes ; Castañeda Garcia et al. [7] ajustent des équations scalaires connues sans reconstruction ; Krauss et al. [35] apprennent des oscillateurs linéaires pilotés uniquement par des canaux de pression mesurée, dont les centroïdes d’attention ne sont pas des points matériels génératifs. LaGSplat reprend les filtres lipschitziens de Zhu et al. [81] et utilise M(q) pour tenir compte de l’échelle et de la courbure de la carte ; quatre coordonnées latentes surpassent la chaîne d’oscillateurs à dix dimensions sur le robot pneumatique à deux segments.Source : §2.4 · pp. 6–7
  • LaGSplat combine une mécanique dissipative latente supervisée par vidéo, des primitives gaussiennes mobiles explicites et des forces interactives, en ciblant le système filmé plutôt que le transfert zero-shot.Les axes des primitives portent le même état que celui régi par l’équation du mouvement, reliant ainsi les points d’application des forces aux coordonnées intégrées. Wang et al. [69] permettent également d’appliquer des forces, mais ajustent une dynamique de corps rigides imposée avec des poses prédéfinies plutôt que de découvrir des états latents pour des objets rigides et déformables.Source : §2.4 · p. 7

3 Méthode

LaGSplat apprend une carte latente continue avec un autoencodeur de Gaussian splatting, puis la fige pour ajuster une dynamique lagrangienne dissipative. La cinématique du décodeur transforme des forces utilisateur inédites en forces généralisées latentes ; une mesure d’étalonnage suffit à établir l’échelle physique des forces.

3.1 Formulation du problème et vue d’ensemble

  • Un état latent appris sans supervision sert à la fois de coordonnée généralisée et de condition de rendu ; l’apprentissage de l’apparence précède l’ajustement de la dynamique sur la carte figée.L’étape 1 ajuste conjointement l’encodeur et le décodeur de Gaussian splatting ; l’étape 2 les fige, encode la séquence une seule fois, puis ajuste le lagrangien latent et la dissipation.Source : §3.1 · p. 7

3.2 Étape 1 : autoencodeur et carte latente

  • Les filtres de l’encodeur soumis à une contrainte de Lipschitz préservent la continuité temporelle, tandis que le blanchiment et une métrique de visibilité issue du décodeur tiennent compte des différences d’observabilité entre directions latentes.La régularisation de continuité suit Zhu et al. [81] ; la dimension latente est déterminée par les degrés de liberté physiques connus ou par la plus petite largeur permettant une reconstruction quasi parfaite. Les états encodés figés sont blanchis pour obtenir une moyenne nulle et une covariance identité ; la métrique image ramenée dans l’espace latent, puis moyennée sur la trajectoire, pondère l’ajustement de la dynamique et les erreurs rapportées.Source : §3.2 · pp. 7–8
  • Les splats gaussiens conditionnés par l’état ne stockent qu’une fois les états revisités et rendent des trajectoires issues de conditions initiales ou de forces appliquées inédites.Le conditionnement déplace les centres de manière affine, maintient la covariance conditionnelle indépendante de l’état et atténue les primitives éloignées dans l’espace latent ; l’apprentissage photométrique inclut des pénalités de continuité et de rapport des axes des ellipsoïdes. La sortie directe en 2D utilise une supervision monoculaire, tandis que le rendu 3D de nouveaux points de vue nécessite une supervision multivue, synthétisée dans les expériences avec SHARP [51].Source : §3.2 · p. 8

3.3 Étape 2 : dynamique lagrangienne latente

  • Une inertie et un amortissement appris, définis positifs, s’associent à un potentiel convexe ou invexe, permettant des cartes latentes courbes et des contours d’énergie non convexes tout en conservant un équilibre unique.Le lagrangien sépare les énergies cinétique et potentielle ; la masse apprise absorbe la géométrie de la carte, tandis qu’une variante sans paramètres fondée sur le jacobien du décodeur suppose une inertie visible uniformément répartie. Les résultats rapportés utilisent la masse apprise. Un Input-Convex Neural Network [2] représente les bassins convexes ; sa composition avec un difféomorphisme appris produit un potentiel invexe [65], tandis que plusieurs puits nécessiteraient une variante localement convexe [30].Source : §3.3 · p. 9
  • Une borne inférieure strictement positive sur l’amortissement garantit des réponses libres bornées et convergentes, tandis que des fonctions concaves de volume des chambres préservent un équilibre stable unique sous des pressions pneumatiques non négatives.Ces propriétés de stabilité sont garanties avant l’apprentissage ; la dynamique libre converge vers le minimum du potentiel et, sous charge maintenue, vers l’équilibre correspondant. Les pressions mesurées dans les chambres interviennent comme forces généralisées via les dérivées de la fonction latente donnant leur volume.Source : §3.3 · p. 9
  • L’apprentissage de la dynamique minimise l’erreur de prédiction à un pas pondérée par la visibilité, mais la sélection du modèle utilise l’erreur de simulation à plusieurs pas pour pallier l’angle mort du forçage par les états de référence à long horizon.Un pas différentiable de Verlet en vitesse prédit l’état encodé suivant ; la pondération par la métrique du décodeur approxime l’erreur image sans rastérisation. Un plancher isotrope plafonne le rapport de pondération à 1/ρ, évitant que des directions à peine visibles et potentiellement raides restent sans contrainte.Source : §3.3 · p. 9

3.4 Interaction et inférence

  • Les jacobiens des centres des gaussiennes transforment des forces utilisateur inédites en forces généralisées latentes, avec une répartition du contact sur le voisinage et une mesure pour étalonner l’échelle physique des forces.La cinématique affine de chaque primitive fournit un jacobien constant, permettant de ramener les forces dans l’espace latent en O(nd) sans différencier le réseau à l’inférence. La vidéo détermine la direction et la forme de la réponse, mais une ambiguïté globale sur l’échelle d’énergie nécessite une mesure connue de force-réponse.Source : §3.4 · p. 10
  • Une dynamique à 30 ou 60 Hz et un rendu à plus de 80 fps sur un GPU de 16 Go permettent d’interagir en modifiant les trajectoires par des forces et en ajustant les propriétés physiques.Une ou deux images initialisent l’état et la vitesse ; avec une seule image, la vitesse initiale est supposée nulle. L’intégration symplectique limite la dérive énergétique des simulations longues [9]. Le rendu s’exécute indépendamment de la dynamique, et la mise à l’échelle de D, T ou V modifie respectivement l’amortissement, l’inertie ou le potentiel effectif.Source : §3.4 · p. 10

4 Expériences

Les expériences évaluent la restitution des fréquences propres par LaGSplat, la précision de ses prédictions pour les robots souples, ses mouvements dissipatifs à long terme et ses réponses interactives aux forces appliquées. Faute de vérité terrain sur les forces, les tests interactifs examinent la déformation des robots souples et les réponses directionnelles d’une bascule 3D, régies par la cinématique apprise des gaussiennes.

4.1 Protocole

  • Les expériences ajustent la dynamique sur des cartes latentes photométriques figées pour des systèmes réels avec d = 1–4, sans annotations d’état, de force ou de couple.Les cas étudiés couvrent des oscillateurs rigides, un sac suspendu et des robots souples actionnés par pression [35] ; les dimensions des systèmes déformables sont choisies empiriquement, et seule la bascule bénéficie d’une supervision 3D multivue. Les trajectoires simulées sans réancrage sont évaluées par l’erreur de fréquence, la NRMSE latente pondérée par la visibilité et l’erreur d’image par rapport au plancher d’erreur de l’autoencodeur ; les erreurs latentes et d’image sont moyennées sur deux périodes propres.Source : §4.1 · pp. 10–11

4.2 Résultats sur les différents cas étudiés

  • L’erreur de fréquence propre reste de 1–6% pour tous les systèmes sauf le robot à un segment, dont le mode propre non excité conduit à une erreur de 31.4%.Même de faibles erreurs de fréquence et d’amortissement entraînent une dérive de phase cumulative : l’erreur latente du sac suspendu passe de 0.150 sur deux périodes à 0.396 sur sept. Celle du double pendule atteint 0.947 sur deux périodes et 1.544 sur l’ensemble de la séquence, révélant les limites de l’identification d’un mouvement chaotique à partir de 211 images d’entraînement.Source : Table 2 · p. 11, §4.2 · pp. 11–12

4.3 Apports de l’a priori lagrangien

  • 53% de l’amplitude initiale subsiste après 1000 secondes avec GaussianPrediction, tandis que LaGSplat atteint en quelques dizaines de secondes l’équilibre stable imposé par sa structure.GaussianPrediction obtient néanmoins un PSNR supérieur de 2.0 dB sur les données de test et une erreur de fréquence de 0.9% contre 1.2% pour LaGSplat ; ses images à long terme restent visuellement cohérentes et dans la plage latente observée. Les deux méthodes sous-estiment le coefficient de dissipation sur la fenêtre filmée : de 29% pour LaGSplat et de 60% pour GaussianPrediction.Source : Table 3 · p. 12, §4.3 · p. 12

4.4 Robot souple réel actionné

  • Seul LaGSplat permet d’appliquer des forces n’importe où dans l’image ; Osc. + ABCD autorise d/2 points d’application, tandis que les méthodes de référence Koopman ne peuvent pas recevoir de forces mécaniques.Les décodeurs déconvolutionnels ne fournissent aucun point d’application, et seule la dynamique d’oscillateur convertit mécaniquement les forces latentes en accélération ; l’autre méthode de référence à oscillateur n’accepte donc des forces qu’en coordonnées latentes. Les comparaisons sur les robots conservent le protocole publié : 32 × 32, 60 fps et partition contiguë 80/20. Elles utilisent les pressions mesurées via un modèle d’actionnement appris dépendant de la configuration, ainsi que les erreurs publiées des méthodes de référence sur 30 pas et 50 trajectoires de validation.Source : §4.4 · pp. 13–14
  • Une MSE de 0.769 × 10^-3 sur les pixels fait de LaGSplat le prédicteur le plus précis pour le robot souple à deux segments sur l’horizon de 0.5 seconde du banc d’essai.Cette médiane sur cinq graines aléatoires est obtenue avec d = 4 contre d = 10 pour les méthodes de référence, réduisant l’erreur par rapport à Osc. + ABCD, Osc. + deconv, Koopman + deconv et Koopman + ABCD par des facteurs respectifs de 8.5, 30, 7.4 et 1.28. Ce dernier écart est faible ; sur le robot à un segment faiblement excité, LaGSplat arrive dernier et l’inertie est difficile à identifier.Source : Table 4 · p. 14, §4.4 · p. 14
  • Sur le robot à deux segments, l’inertie induite par le décodeur donne 1.33 × 10^-3 sur 0.5 seconde contre 0.769 × 10^-3 pour l’inertie apprise, mais devance trois des quatre méthodes de référence.L’inertie dérivée du jacobien du décodeur, sans paramètres, suppose une densité uniforme ; la comparaison fixe l’autoencodeur, la carte latente, la fonction objectif et les réglages, tout en réentraînant les autres termes. L’erreur de fréquence est de 6.9% contre 5.7% pour l’inertie apprise, tandis qu’une inertie constante atteint 4.8 × 10^-3 sur ce cas.Source : §4.4 · p. 14

4.5 Application de forces

  • Des forces inédites appliquées dans l’image entrent dans la dynamique apprise via J(q)^T f sans réentraînement, se combinent à l’actionnement par pression et préservent les réponses visualisées lors des changements de coordonnées latentes.Le transport additionne les contributions jacobiennes de chaque primitive sous le clic, en utilisant la cinématique déjà fixée par l’entraînement sur les vidéos. Faute de vérité terrain sur les forces et d’étalonnage absolu de l’énergie, les expériences examinent des rapports, des signes et des sommes de réponses à l’équilibre qui restent invariants à l’échelle d’énergie non identifiée.Source : §4.5 · p. 15
  • Une erreur relative de 8 × 10^-8 étaye la superposition des forces sur la bascule, ainsi que la proportionnalité au bras de levier, l’inversion du signe et une réponse négligeable de l’arrière-plan.Des forces égales produisent des déplacements latents de -0.50, -0.76 et -0.84 lorsque le bras de levier augmente, puis de +1.22 de l’autre côté du centre de rotation ; les clics sur l’arrière-plan donnent des déplacements absolus ≤ 0.007 sans segmentation. Sur le robot déformable, les deux segments suivent les forces dirigées vers la gauche ou la droite, et une charge appliquée au premier seul fléchit aussi le second, sans que la figure permette de départager les explications.Source : §4.5 · p. 15
  • Les réponses aux forces au sein des segments et entre eux découlent uniquement de la cinématique apprise, sans connaissance explicite des segments, car les utilisateurs appliquent les forces aux gaussiennes sélectionnées.Quantifier l’erreur de déformation nécessiterait des réponses enregistrées à des forces ponctuelles connues, ce qu’aucun des systèmes disponibles ne fournit.Source : §4.5 · p. 16
  • Le robot souple à deux segments de Krauss et al. [35] fléchit sous des forces latérales et s’allonge ou se raccourcit sous des forces axiales, tout en préservant largement la symétrie gauche-droite.Des forces opposées à la jonction et à l’extrémité fléchissent le second segment, tandis que le premier dévie dans le sens opposé, d’environ un quart de sa déviation sous la seule force à la jonction. La gravité empêche d’interpréter cette réponse comme un équilibre statique.Source : Figure 9 · p. 16, §4.5 · p. 16
  • Des vues synthétiques SHARP supervisent le décodeur 3D ; un clic lance un rayon vers la première gaussienne rencontrée, où une force dans le repère du monde est appliquée.La supervision utilise des vues rendues à partir d’images relevées en trois dimensions, plutôt qu’une acquisition réelle avec plusieurs caméras.Source : §4.5 · p. 16
  • La variation de l’état latent reste inférieure à 3 × 10^-9 sous une force 3D orthogonale, tandis qu’une force verticale de même intensité donne un équilibre q = +1.52.Pour la bascule à un seul degré de liberté, la force orthogonale produit J^T f = -3.1 × 10^-17, soit une valeur pratiquement nulle quelle que soit l’intensité de la force.Source : §4.5 · pp. 16–17, Figure 10 · p. 17

5 Discussion

La discussion de LaGSplat cerne les limites de ses hypothèses dynamiques, de la couverture vidéo, de la validation des forces et des choix de modélisation, puis propose des extensions vers une physique plus riche, le couplage à un simulateur, la commande et l’apprentissage entre systèmes.

Limites

  • L’a priori lagrangien limite LaGSplat à un petit nombre de coordonnées, à une cinématique lisse et à des dynamiques dissipatives autonomes ou pilotées par des entrées mesurées.La dynamique mise en œuvre exclut les contacts, les impacts, les changements de topologie, la plasticité et l’hystérésis, alors qu’un prédicteur de mouvement non structuré peut couvrir ces comportements. D’autres équations d’évolution de faible dimension ne pourraient préserver l’interaction qu’en acceptant l’effort généralisé J^T f ; le contact et la plasticité admettent des formulations adaptées, mais aucun des deux n’est implémenté.Source : §5 · p. 17

Observabilité, couverture et conception de l’excitation

  • L’apprentissage à partir de vidéos exige des états observables et suffisamment excités, ainsi que des enregistrements de plus en plus étendus à mesure que l’espace d’état latent grandit.Les déplacements hors du plan nécessitent plusieurs vues réelles, et les mouvements non observés restent inaccessibles : la bascule ne peut pas se renverser sous une forte poussée, car sa séquence vidéo n’excite jamais ce mouvement. Les gaussiennes doivent couvrir chaque état atteignable pour en permettre le rendu, tandis que les images doivent échantillonner densément cette région pour identifier la dynamique ; concevoir des entrées à excitation persistante ou des lâchers adaptés pourrait améliorer cette couverture.Source : §5 · pp. 17–18

Limites et forces mesurées

  • Le mécanisme d’application des forces manque de validation par des forces mesurées, alors qu’une seule poussée mesurée suffirait à déterminer l’échelle d’énergie kappa de l’ensemble du modèle.Les tests existants vérifient des propriétés du jacobien invariantes par rapport à kappa ; PokeFlex [54] fournit des interactions enregistrées, mais permettrait de tester l’équilibre quasi statique plutôt que la dynamique forcée. La validation exige un point de vue monoculaire fixe, peu de degrés de liberté et l’enregistrement des forces et des points de contact ; masquer les mains et utiliser des gants instrumentés pourrait fournir des enregistrements de manipulations humaines.Source : §5 · pp. 17–18

Hypothèses de densité et séparation des matériaux

  • Des primitives de densité uniforme peuvent mal estimer l’inertie et attribuer à tort une masse et une réponse aux forces aux ombres mobiles.L’erreur d’inertie n’a été mesurée que sur un seul système, où elle était faible ; des objets constitués de matériaux aux densités très différentes pourraient se comporter autrement. La prédiction des matériaux à partir de l’apparence, suivant Le et al. [37] et Lin et al. [45], pourrait déterminer les densités relatives des primitives, mais pas kappa, tandis qu’une segmentation séparant objets et ombres exclurait ces dernières des calculs de masse comme de force.Source : §5 · pp. 17–19

Entraînement et dimension latente

  • L’ajustement séquentiel n’a pas encore été comparé à l’entraînement conjoint dans LaGSplat, tandis que la dimension latente est choisie manuellement et peut être surestimée.Friedl et al. [14] rapportent un avantage d’un ordre de grandeur en prédiction après décodage pour l’entraînement conjoint, tandis que Zhu et al. [81] surpassent les associations usuelles entraînées conjointement grâce à une représentation latente continue et à un encodeur figé ; les différences d’encodeurs et de données — états simulés ou vidéos — ne permettent pas de trancher le choix pour LaGSplat. La dimension est choisie à partir de la physique ou d’un coude de la courbe d’erreur de reconstruction, bien que Chen et al. [8] rapportent une dégradation de la reconstruction avant que l’espace latent n’atteigne la dimension d’état minimale.Source : §5 · p. 18

Contact, impact, plasticité et hystérésis

  • Les contacts et les impacts nécessitent une géométrie de collision compatible, tandis que la plasticité et l’hystérésis exigent un état dépendant de l’historique, au-delà de l’encodeur actuel traitant chaque image séparément.Un modèle latent différentiable de contact [80] pourrait transférer les impulsions appliquées aux primitives via J^T, contrairement au pinceau de force actuel à état continu ; Wang et al. [69] proposent une géométrie de collision gaussienne, mais la préservation des covariances anisotropes de LaGSplat reste à résoudre. La plasticité pourrait intégrer des variables internes, une énergie libre et une dissipation suivant Masi and Stefanou, ce qui augmenterait la dimension et nécessiterait des fenêtres d’images ; les modèles récurrents supervisés par les réponses offrent une piste lorsque les variables internes microscopiques ne sont pas observées.Source : §5 · p. 18

Couplage à un simulateur, commande et systèmes multiples

  • Les extensions proposées comprennent le couplage à un simulateur, la commande fondée sur un modèle, les dynamiques indépendantes de plusieurs objets et les systèmes articulés ou explicitement contraints.Les réactions du simulateur pourraient être intégrées via J^T, tandis que les primitives fourniraient la géométrie de collision sans réentraînement ; la masse, la dissipation, le potentiel et l’actionnement identifiés pourraient servir à commander des robots souples sans codeurs articulaires [34] [48]. Les objets indépendants devraient disposer de blocs de coordonnées découplés et satisfaire un test vérifiant qu’une poussée n’affecte que l’objet visé, mais les fonctions de perte actuelles ne favorisent pas cette structure, et leur espace d’état produit accroît les besoins de couverture ; les réseaux de graphes lagrangiens [6] pourraient prendre en charge les articulations, tandis que les contraintes explicites [13] ne sont actuellement pas imposées afin de permettre une topologie de contraintes inconnue.Source : §5 · pp. 18–19

A priori entre systèmes et cartes communes

  • Des a priori cinématiques et dynamiques communs à plusieurs systèmes pourraient réduire les besoins d’enregistrement, mais exigent des coordonnées latentes aux rôles cohérents d’un système à l’autre.Des a priori sur la cinématique, la masse, le potentiel et la dissipation pourraient permettre des séquences d’identification plus courtes, dans l’esprit de [17] [73] ; le transfert des forces invariant par changement de coordonnées autorise un espace partagé, mais n’aligne pas à lui seul la signification des coordonnées. NeuROK [17] apprend un encodeur partagé, tandis qu’un encodeur DINOv2 [55] figé ou des encodeurs vidéo de type JEPA [71] pourraient éviter l’entraînement d’un encodeur pour chaque scène, à condition que leurs caractéristiques distinguent les quelques degrés de liberté qui portent le mouvement.Source : §5 · p. 18

6 Conclusion

LaGSplat apprend directement à partir de vidéos un état physique de faible dimension et utilise les jacobiennes du décodeur pour appliquer des forces inédites sans réentraînement. Son a priori lagrangien restreint son domaine d’application, mais produit des réponses bornées et physiquement plausibles.

6 Conclusion

  • Un unique état de faible dimension remplace la paramétrisation temporelle et sert à la fois de coordonnées d’un lagrangien dissipatif et de variable de conditionnement pour un décodeur de points mobiles explicites.L’état ne reçoit aucune supervision directe : seule la vidéo fournit le signal d’apprentissage.Source : §6 · p. 19
  • Quatre coordonnées suffisent à LaGSplat pour surpasser les quatre autres méthodes sur le robot continuum souple à deux segments de Krauss et al. [35] ; les méthodes de référence publiées en utilisent dix.L’évaluation reprend les données, le partitionnement et le protocole des auteurs. Une inertie dérivée de la cinématique du décodeur, sans paramètres libres, surpasse encore trois des modèles comparés.Source : §6 · p. 19
  • Sept systèmes réels ayant un à quatre degrés de liberté présentent des fréquences propres apprises à quelques pour cent près de celles observées en vidéo, dès lors que les modes correspondants sont excités dans les enregistrements.Source : §6 · p. 19
  • Mille secondes plus tard, GaussianPrediction poursuit sa trajectoire orbitale, tandis que LaGSplat atteint un équilibre stable jamais observé durant l’apprentissage.GaussianPrediction est un prédicteur de mouvement dépourvu de structure mécanique.Source : §6 · p. 19
  • Des forces inédites sont transmises aux équations apprises via les jacobiennes du décodeur, sans réentraînement, alors qu’aucune force n’a été appliquée durant l’apprentissage.Les forces peuvent agir en tout point de l’image ou, avec une supervision multivue, du volume reconstruit. La cinématique détermine leur direction et leur forme, mais leur amplitude n’est identifiable qu’à un facteur global d’énergie près.Source : §6 · p. 19
  • L’a priori lagrangien restreint la classe de systèmes pris en charge en contrepartie de réponses bornées et physiquement plausibles à des forces inédites.Source : §6 · p. 19

A Développements mathématiques

Cette annexe établit comment la cinématique apprise transporte les forces et l’inertie, puis le bilan énergétique qui sous-tend la remarque sur le caractère borné de la réponse.

A.1

  • La Section A.1 établit comment la cinématique apprise transporte les forces et l’inertie.Source : A Derivations · p. 19

A.2

  • La Section A.2 établit le bilan énergétique qui sous-tend la remarque sur le caractère borné de la réponse.Source : A Derivations · p. 19

A Développements mathématiques

  • L’annexe rassemble les développements mathématiques dont la Section 3 a différé le détail.Source : A Derivations · p. 19

A.1 Forces et inertie issues de la cinématique apprise

La cinématique apprise des primitives détermine à la fois les forces généralisées et l’énergie cinétique. Le transport des forces préserve le travail virtuel indépendamment de la carte de coordonnées latentes, tandis que la pondération par la présence rend l’inertie dépendante de la configuration.

Transport d’une force

  • Les forces appliquées sont ramenées, par la jacobienne cinématique apprise, à des forces généralisées latentes uniques qui préservent le travail virtuel et respectent le bilan énergétique du modèle.L’étape 1 apprend une application affine de position pour chaque primitive, analogue aux positions des particules en mécanique analytique. Une force f appliquée à la primitive i devient J_i^T f.Source : §A.1 · p. 19

Invariance par changement de carte latente

  • La réponse à une force exercée par l’utilisateur est invariante aux changements lisses de coordonnées latentes, bien que ces coordonnées n’aient aucune signification physique intrinsèque.Sous q = ψ(q̃), la jacobienne devient J_i Ψ et la force généralisée se transforme en Ψ^T f_lat, préservant le travail associé au déplacement virtuel transformé.Source : §A.1 · p. 19

La même application détermine l’inertie

  • Des masses identiques pour les primitives, pondérées par l’opacité latente normalisée, induisent une matrice de masse dépendante de la configuration et des termes de Coriolis, même si les jacobiennes cinématiques sont constantes.Les vitesses des primitives vérifient μ̇_i = J_i q̇ ; l’énergie cinétique découle donc des applications de position apprises. Toute la dépendance de la matrice de masse à l’état provient des poids de présence.Source : §A.1 · pp. 19–20

A.2 Réponse forcée bornée

Avec une inertie définie positive, un potentiel coercif et un amortissement strictement positif, les réponses libres et sous force constante de LaGSplat restent bornées et convergent vers des équilibres. Ces garanties en temps continu n’assurent pas la précision quantitative loin des données d’entraînement.

Hypothèses

  • Les garanties exigent une inertie définie positive, un potentiel coercif imposé par une borne inférieure quadratique et un amortissement uniformément minoré par une constante strictement positive.Sans coercivité, l’énergie pourrait décroître alors que ses ensembles de sous-niveau resteraient non bornés, permettant une dérive de la position.Source : §A.2 · p. 20

Évolution libre

  • Toute trajectoire libre reste bornée et converge vers l’unique minimum du potentiel, ce qui exclut les oscillations entretenues indépendamment de l’entraînement.L’énergie décroît hors du repos, et le principe d’invariance de LaSalle établit la convergence vers une vitesse nulle et un point stationnaire du potentiel. La forte convexité du potentiel ICNN muni d’une borne inférieure et la construction invexe garantissent chacune un minimum unique.Source : §A.2 · p. 20

Force maintenue

  • Une force généralisée constante produit une réponse bornée qui converge vers un équilibre sous charge satisfaisant ∂V/∂q = f.L’énergie sous charge E_f = T + V − f^T q compense la puissance injectée ; la borne inférieure quadratique du potentiel domine le terme linéaire de chargement, préservant ainsi la coercivité.Source : §A.2 · p. 20

Portée

  • Les garanties concernent le temps continu ; l’intégration symplectique limite la dérive des longues trajectoires discrètes, mais le caractère borné n’implique pas une précision quantitative loin des données d’entraînement.Source : §A.2 · p. 20

B Décodeur à champ de déformation à budget égal

À nombre de primitives et conditions d’entraînement identiques, le décodeur à champ de déformation utilise davantage de paramètres, mais reconstruit moins fidèlement les images utilisées pour l’ajustement que LaGSplat. Les vitesses moins régulières de ses primitives montrent que des rendus visuellement similaires ne garantissent pas des dérivées pertinentes pour le transfert des forces et l’inertie.

Paramétrisation du décodeur

  • LaGSplat conditionne les primitives dans un volume (n+d)D pour obtenir des positions affines et des jacobiennes constantes ; l’autre approche déforme des primitives n-D au moyen d’un réseau suivant Wu et al..La famille des champs de déformation inclut la paramétrisation de LaGSplat et peut représenter des trajectoires courbes de primitives, mais cette liberté supplémentaire n’améliore pas la qualité des images dans cette expérience.Source : B Deformation-Field Decoder at Equal… · p. 20

Suivi de la matière

  • Le suivi de la matière est non supervisé : les contraintes de trajectoire de LaGSplat incitent les primitives à suivre la matière, tandis que les champs de déformation autorisent les primitives à se remplacer sans pénalité sur le rendu.Les primitives visibles de LaGSplat se déplacent le long de droites fixes dans q, tandis qu’un mécanisme latent de modulation les fait apparaître et disparaître progressivement. Les centres et les dimensions des primitives du champ de déformation varient librement : une primitive peut devenir plus petite qu’un pixel pendant qu’une autre grandit à sa place.Source : B Deformation-Field Decoder at Equal… · p. 20

Reconstruction

  • Les valeurs du champ de déformation, 0.0157 L1 et 0.076 pour le terme SSIM, dépassent celles de LaGSplat, 0.0142 L1 et 0.063 pour le terme SSIM, sur les images utilisées pour l’ajustement.Les deux méthodes utilisent 15,000 primitives et les mêmes fonctions de perte, régularisations, optimiseurs et calendriers d’entraînement ; le champ de déformation compte 9.8M paramètres, contre 195k pour LaGSplat. L’évaluation mesure la capacité mobilisée, et non la généralisation.Source : B Deformation-Field Decoder at Equal… · p. 20

Le champ jacobien

  • L’écart médian de vitesse entre primitives voisines atteint 6.9 px/s pour le champ de déformation, contre 1.4 px/s pour LaGSplat, malgré des rendus visuellement similaires.Le champ de déformation déplace aussi des primitives sur l’arrière-plan statique. Ces dérivées déterminent à la fois la projection des forces appliquées vers les coordonnées généralisées et l’inertie inférée ; la qualité de reconstruction seule ne suffit donc pas à établir leur pertinence physique.Source : B Deformation-Field Decoder at Equal… · pp. 20–21, Figure 11 · p. 21

C Détails de mise en œuvre

LaGSplat utilise les mêmes architectures pour tous les systèmes, avec des dimensions, résolutions d’image, nombres de primitives et durées d’exécution propres à chaque système. L’entraînement ajuste d’abord conjointement l’encodeur et le décodeur, puis apprend la dynamique sur une carte latente blanchie et figée.

Architectures

  • Tous les systèmes utilisent les mêmes architectures, tandis que la dimension latente, la résolution des images, le nombre de primitives et la durée d’exécution varient selon le système.L’encodeur convolutif préservant la continuité [81] utilise trois convolutions de pas 2 avec des filtres 12×12, deux canaux et des activations ELU, suivies d’un sous-échantillonnage par moyenne 4×4 et d’une application linéaire vers l’espace latent, pour environ 2,000 paramètres au total. Le décodeur contient 1,000–15,000 gaussiennes de dimension n + d.Source : C Implementation Details · p. 21
  • Moins de 15,000 paramètres définissent le LNN, qui combine un ICNN pour le potentiel [2], des matrices de masse et d’amortissement apprises, et des têtes d’actionnement propres à chaque chambre.Le potentiel utilise des couches softplus [64] et, lorsque l’invexité est requise, un i-ResNet à deux blocs de largeur 64, avec une constante de Lipschitz plafonnée à 0.9. Des MLP distincts [64] produisent le facteur de Cholesky de la matrice de masse, avec un plancher de 0.1 garantissant une matrice symétrique définie positive, et une matrice d’amortissement pleine initialisée à 0.2 I avec un plancher isotrope de 1 ; chaque chambre possède une tête d’actionnement ICNN invexe.Source : C Implementation Details · p. 21

Entraînement

  • Environ 5 × 10^4 itérations d’Adam entraînent conjointement l’encodeur et le décodeur à l’étape 1, avec un recyclage périodique des gaussiennes de faible opacité.La fonction de coût est 0.08 L1 + 0.02 (1 − SSIM) + 0.01 anisotropie, avec une fenêtre SSIM de 7×7 ; les gaussiennes dont l’opacité maximale est inférieure à 0.02 sont recyclées par subdivision des primitives surchargées suivant le vecteur propre principal de leur matrice de covariance, ou par téléportation vers les régions à forte erreur. En supervision multivue, 65 rendus SHARP par image sont calculés une seule fois et mis en cache.Source : C Implementation Details · p. 21
  • Environ 5 × 10^4 itérations d’Adam entraînent uniquement la dynamique à l’étape 2, avec un pas de Verlet différentiable sur des fenêtres temporelles extraites des séquences.Après l’étape 1, un blanchiment latent fondé sur la covariance est calculé à partir des images d’entraînement, puis figé avec la carte ; à l’étape 2, la métrique de visibilité pondère également la position et la vitesse latentes, avec une régularisation de Tikhonov ρ = 0.01. Le rendu haute résolution nécessite de réentraîner uniquement le décodeur sur la carte figée.Source : C Implementation Details · p. 21

Related papers

Loading 2608.16324v1…