PaperlayerView exact revision on arXiv

Source-linked AI summary

LaGSplat: Inferring Physics-Governed Interactive Simulation from Monocular Video Using Latent Lagrangian Gaussian Splatting

Louen Pottier

arXiv:2608.16324v1cs.CVcs.LG

TL;DR

Les reconstructions de scènes à partir de vidéos rejouent les mouvements sans interaction, tandis que les simulateurs physiques appris exigent des données de coordonnées généralisées provenant de capteurs ou de simulations. LaGSplat associe un Lagrangien dissipatif latent à des primitives gaussiennes mobiles pour inférer une dynamique interactive à partir d’une vidéo monoculaire, en reproduisant les fréquences observées sur sept systèmes réels et en surpassant les méthodes de référence sur un robot souple.

  • Problème

    Les reconstructions de scènes à partir de vidéos rejouent les mouvements enregistrés sans interaction, tandis que les simulateurs physiques appris exigent des données de coordonnées généralisées provenant de capteurs ou de simulations.

  • Méthode

    LaGSplat utilise un état latent non supervisé de faible dimension à la fois comme coordonnée généralisée d’un Lagrangien dissipatif et comme variable de conditionnement de primitives gaussiennes mobiles.

  • Résultats

    Sur sept systèmes réels, les fréquences naturelles concordent avec les valeurs observées à quelques pourcents près lorsqu’ils sont excités, tandis que LaGSplat est la plus précise des cinq modèles sur un robot souple à deux segments.

  • Conclusions et limites

    L’objet reconstruit peut recevoir des forces dans l’espace image ou volumique, qui se transmettent à la dynamique apprise par l’intermédiaire des jacobiennes du décodeur, sans réentraînement.

  • Conclusions et limites

    La méthode s’applique aux systèmes comportant peu de coordonnées généralisées, une cinématique régulière et une dynamique dissipative, à l’exclusion du contact, de l’impact, des changements de topologie, de la plasticité et de l’hystérésis.

Abstract

from arXiv · show

We present LaGSplat (Latent Lagrangian Gaussian Splatting), a framework that infers interactive, physics-governed dynamics from one or a few monocular videos. At inference it lets a user push on the filmed object, rigid or deformable, with an external force that was never measured, annotated, or seen during training. This is possible because a low-dimensional latent state $\mathbf{q} \in \mathbb{R}^d$ plays two roles at once: it is the generalised coordinate of a learned dissipative Lagrangian and the conditioning variable of a Gaussian Splatting decoder. The inductive bias of this decoder, whose primitives are explicit points $μ_i(\mathbf{q})$ that move with the object, is what lets a force $f$ applied in the image pull back into a latent generalised force $J(\mathbf{q})^\top f$ and enter the equations of motion, which pixel-space (CNN) or neural-field (NeRF) decoders cannot do. We validate LaGSplat on test cases of increasing difficulty, from rigid to deformable and from autonomous to forced real systems, combining monocular video and sensor measurements. We further demonstrate interactive use: forces of arbitrary magnitude and direction can be applied to the reconstructed object at any time, its response rendered in real time, in 2D or 3D. Assuming a dissipative Euler-Lagrange equation over a few generalised coordinates trades generality for a bounded, plausible response to unseen forces, where an unconstrained predictor diverges.

1 Introduction

LaGSplat combine des primitives Gaussian explicites avec un Lagrangien latent appris pour reconstruire des objets filmés sous forme de simulations interactives en temps réel régies par la physique. Ses primitives mobiles fournissent le Jacobien nécessaire pour transporter les forces dans l’espace image vers des forces généralisées latentes sans réentraînement.

  • Motivation: Contrairement aux reconstructions de scènes dynamiques paramétrées par le temps, qui rejouent des séquences enregistrées, LaGSplat permet d’interagir avec les objets reconstruits.La reconstruction de scènes dynamiques fournit des représentations photoréalistes en temps réel, mais une paramétrisation fondée sur le temps ne permet pas l’interaction avec les objets.
  • Contribution: LaGSplat comble cette lacune en combinant une véritable loi mécanique avec des primitives explicites qui se déplacent avec l’objet et le rendent.Les approches antérieures fournissent soit une dynamique structurée sans primitives explicites mobiles persistantes, soit des reconstructions explicites sans véritable loi mécanique.
  • Méthode: Un état latent q de faible dimension est à la fois la coordonnée généralisée d’un Lagrangien dissipatif appris et la variable de conditionnement d’un décodeur Gaussian Splatting.Un encodeur projette les images sur q, le Lagrangien latent intègre les équations du mouvement et le décodeur rend q sous forme d’images 2D ou 3D.
  • Forçage interactif: Les points explicites du décodeur μ_i(q) se déplacent sous l’effet des variations latentes, ce qui permet à une force dans l’espace image f de devenir la force généralisée J(q)^T f par le travail virtuel.Cette force intervient dans les mêmes équations du mouvement sans réentraînement, bien qu’aucune force n’ait été appliquée dans les vidéos d’entraînement.
  • Contribution: Le pipeline transforme une vidéo monoculaire en un modèle physique identifié et en une simulation interactive en temps réel rendue en 2D ou 3D.Il combine des primitives Gaussian explicites et une rastérisation différentiable avec un Lagrangien latent et une dynamique à forces généralisées.

2 Travaux connexes

Les travaux connexes couvrent le rendu dynamique, la mécanique apprise, la dynamique supervisée par vidéo et les modèles interactifs avec forces. LaGSplat combine un lagrangien dissipatif appris sur des coordonnées latentes avec un décodeur gaussien explicite à points matériels, dont le jacobien transporte les forces.

  • Vue d’ensemble du domaine: La littérature distingue la synthèse dynamique de vues inédites, la mécanique analytique, le rendu physique généré par vidéo et l’apprentissage de la dynamique directement à partir de séquences du système simulé.La distinction essentielle porte sur le rôle de la vidéo — sortie ou supervision — et sur le fait que le modèle reproduit le système filmé ou une scène plausible du même type.
  • Représentations du rendu: Les décodeurs fondés sur NeRF sont eulériens et ne fournissent aucun point matériel auquel attacher une force, tandis que les primitives explicites mobiles fournissent des positions et des jacobiens.Les réseaux neuronaux qui déforment des primitives canoniques satisfont le critère d’attachement, mais les primitives directes sont privilégiées pour les contenus riches en mouvement.
  • Physique et contrôle des forces: Les méthodes à physique prescrite, telles que PhysGaussian [37] [45] [74] et VR-GS [29], utilisent une dynamique externe, tandis que Force Prompting [18] apprend les réponses aux forces sans structure mécanique.Force Prompting [18] nécessite des exemples force-vidéo, utilise un vecteur de force fixe par clip généré et n’est ni en temps réel ni contrôlable image par image.
  • Mécanique latente: NeuROK [17] et les méthodes apparentées de mécanique latente partagent l’intégration latente et les pullbacks jacobiens, mais leurs décodeurs rendent des maillages plutôt que des primitives gaussiennes affines.Les méthodes graphiques à ordre réduit utilisent également des décodeurs à points matériels et une structure de pullback, tandis que LaGSplat apprend la loi gouvernante sur l’état appris.
  • Spécificité de LaGSplat: LaGSplat remplace le temps par des coordonnées latentes dans des Gaussiennes de dimension supérieure, apprend un lagrangien dissipatif et transporte des forces arbitraires jamais observées via J^T f.Contrairement aux systèmes interactifs avec forces limités aux objets rigides, tels que Wang et al. [69], il traite les objets déformables et permet de redéfinir les forces à tout instant.

3 Méthode

LaGSplat apprend un état latent continu qui paramètre simultanément une dynamique dissipative d’Euler–Lagrange et un décodeur Gaussian Splatting conditionné par l’état. Sa cinématique apprise ramène les forces dans l’espace image vers des forces généralisées latentes, permettant des réponses interactives bornées à des chargements inédits tout en tenant compte de la géométrie d’observation et de l’ambiguïté d’échelle des forces.

  • Architecture et entraînement: LaGSplat apprend conjointement un encodeur, un Lagrangien latent avec dissipation et un décodeur Gaussian Splatting, puis fige l’autoencodeur avant d’ajuster la dynamique sur la trajectoire encodée.L’étape 1 ajuste l’apparence et fixe le repère latent ; l’étape 2 ajuste le Lagrangien après avoir encodé le clip une seule fois.
  • Architecture et entraînement: Un encodeur contraint par Lipschitz régularise la continuité temporelle, car l’objectif dynamique dérive la trajectoire encodée pour obtenir q̇ et q̈.La méthode utilise le régularisateur de continuité de Zhu et al. [81] plutôt que de s’appuyer sur une plus grande profondeur ou expressivité de l’encodeur.
  • Décodeur Gaussian Splatting: Le décodeur pave le volume espace–état (x, y, q), de sorte que chaque état de la scène est stocké une seule fois et peut être rendu à partir de trajectoires d’Euler–Lagrange, de conditions initiales inédites ou de forces appliquées.Le conditionnement des primitives gaussiennes par q produit des centres dépendant de l’état et atténue les primitives éloignées de l’état latent interrogé ; le rendu prend en charge une sortie vidéo avec n=2 ou des scènes 3D interactives avec n=3.
  • Dynamique latente: Le repère latent appris est blanchi, tandis que les erreurs sont mesurées dans la métrique image de pull-back anisotrope Ḡ, qui pondère les directions latentes selon leur mouvement en pixels décodé.Cette métrique approxime au premier ordre l’erreur d’image décodée sans nécessiter de rasterisation pendant l’évaluation.
  • Dynamique latente: La dissipation et un potentiel possédant un minimum unique garantissent une dynamique libre bornée qui se stabilise au repos et converge vers un équilibre chargé sous une force maintenue.Un ICNN modélise un unique bassin convexe pour le pendule, le rocking chair et le sac suspendu ; le robot continuum souple utilise à la place un ICNN composé avec un i-ResNet afin d’assouplir les ensembles de niveaux convexes tout en préservant un équilibre unique.
  • Forçage interactif: Les jacobiennes de la cinématique gaussienne ramènent les forces exercées sur les primitives vers des forces généralisées latentes, avec agrégation des contacts de voisinage et un coût d’inférence O(nd), ce qui permet des chargements inédits sans dérivation du réseau.La direction et la forme de la réponse sont déterminées par la cinématique apprise, mais l’amplitude physique de la force reste ambiguë à un facteur d’énergie global κ près, car (L, D) et (αL, αD) produisent des trajectoires observées identiques.

4 Expériences

LaGSplat est évalué sur des vidéos monoculaires d’objets réels couvrant des systèmes rigides et déformables autonomes, ainsi qu’un robot souple à actionnement continu avec mesures de pression. Dans l’ensemble de ces tests, il retrouve une dynamique plausible et prend en charge, de manière unique, des forces externes dans l’espace image ou monde à l’inférence grâce aux jacobiennes dérivées du décodeur.

  • Évaluation globale de la dynamique: Sur presque tous les systèmes, l’erreur non supervisée de fréquence propre εfreq est de 1–6 %, tandis que le robot à un segment atteint 31.4 % parce que ses enregistrements n’excitent pas le mode propre.Le double pendule a εq = 0.947, qui atteint 1.544 sur l’ensemble de la séquence, tandis que l’erreur du sac suspendu passe de 0.150 sur deux périodes à 0.396 sur sept.
  • Robot continu souple: LaGSplat reste précis sur le robot plus difficile à deux segments, atteignant 0.769 × 10−3 avec d=4 coordonnées et surpassant les modèles de comparaison par ×0.98 dans ce cas.Le résultat est la médiane de cinq initialisations, tandis que les quatre références utilisent toutes d=10 ; les enregistrements à un segment révèlent principalement une correspondance quasi statique entre pression et forme, plutôt que l’inertie ou les fréquences propres.
  • Application interactive de forces: Les forces externes dans l’image s’intègrent à la dynamique apprise de LaGSplat à l’inférence sous la forme f_lat = J^T f sans réentraînement, au moyen des jacobiennes induites par l’application gaussienne q 7→μ_i.Le décodeur rétropropage les forces depuis les primitives de l’image vers les coordonnées généralisées latentes, tandis que l’entraînement identifie la dynamique autonome et l’application de l’actionnement ; cette capacité est absente des méthodes comparées.
  • Application interactive de forces: Sur le rocker arc-en-ciel unidimensionnel, des forces égales produisent des déplacements latents dépendant du bras de levier et inversant leur signe, notamment Δq = −0.50, −0.76, −0.84 et +1.22 selon les points d’application.Les Gaussiens du fond, dont les jacobiennes sont nulles, ne transmettent pas la force, ce qui montre que la réponse suit le mouvement de l’objet plutôt qu’un contenu arbitraire de l’image.
  • Interaction tridimensionnelle: Avec une supervision synthétique multi-vues, le même mécanisme de transport opère en 3D : un Gaussien sélectionné par rayon reçoit une force dans l’espace monde et peut déplacer l’objet vers un nouvel équilibre à q = +1.52.Les démonstrations incluent des poussées selon des directions absentes du mouvement d’entraînement, montrant des réponses interactives au-delà de la trajectoire observée.

5 Discussion

Le prior physique de LaGSplat améliore la structure, mais limite l’applicabilité aux systèmes dissipatifs observables, lisses et de faible dimension, tandis que son mécanisme de force reste non validé par rapport à des forces mesurées. Les travaux futurs portent sur des données annotées par les forces, les variables constitutives cachées, le couplage avec des simulateurs et l’amélioration de la modélisation latente et géométrique.

  • Limitations: Le prior lagrangien exclut le contact, l’impact, les changements de topologie, la plasticité et l’hystérésis, ce qui restreint la méthode aux dynamiques lisses, dissipatives et décrites par quelques coordonnées.La limite énoncée provient de la dynamique instanciée plutôt que de la représentation elle-même.
  • Limitations: L’apprentissage monoculaire requiert un état observable dans l’image ; les mouvements hors plan nécessitent donc une supervision multi-vues, tandis que la plasticité requiert des informations cachées sur l’historique de chargement.Des images visuellement identiques peuvent encoder des historiques plastiques différents, ce qui rend ces variables invisibles pour une supervision sur une seule image.
  • Limitations: Le mécanisme central de force n’est pas validé par rapport à des forces mesurées, car aucun jeu de données ne combine une vidéo à point de vue fixe, quelques degrés de liberté, des forces ponctuelles appliquées et la déformation résultante.La Section 4.5 vérifie à la place des rapports, signes, sommes et propriétés du noyau de pullback dérivés du Jacobien, invariants par rapport au facteur d’énergie κ.
  • Limitations: L’ajustement privilégiant d’abord l’apparence reste un choix de conception controversé, tandis que la sélection manuelle de la dimension latente d peut surestimer la taille minimale de l’état.Friedl et al. [14] rapportent que les modèles entraînés conjointement surpassent l’entraînement séquentiel, tandis que Zhu et al. [81] rapportent qu’une approche à encodeur gelé surpasse les modèles de référence entraînés conjointement ; Chen et al. [8] rapportent que la reconstruction se dégrade au-delà de la largeur latente minimale.
  • Travaux futurs: Les travaux futurs proposent des jeux de données de forces mesurées, des variables internes pour la plasticité et l’hystérésis, le couplage avec des simulateurs externes et un meilleur traitement de la densité de chaque primitive.Les modèles à variables internes nécessiteraient un d plus grand et un encodeur multi-images, tandis que le couplage avec un simulateur doit préserver le test d’isolation du mécanisme de force.

6 Conclusion

LaGSplat apprend à partir de la vidéo seule un état physique partagé de faible dimension, qu’il utilise à la fois comme coordonnée généralisée et comme conditionnement du décodeur gaussien. Sur des systèmes réels, il restitue fidèlement les dynamiques observées et permet des réponses bornées et plausibles à des forces inédites, sans réentraînement.

  • LaGSplat apprend de manière non supervisée un état physique q qui paramètre simultanément un Lagrangien dissipatif et conditionne des primitives gaussiennes explicites en mouvement.La vidéo fournit elle-même le signal d’apprentissage ; q ne reçoit aucune supervision directe.
  • Sur sept systèmes réels, les fréquences propres apprises correspondent aux observations vidéo à quelques pourcents près pour chaque enregistrement qui les excite.Les systèmes comptent de un à quatre degrés de liberté.
  • Sur les données du robot continu souple à deux segments de Krauss et al. [35], LaGSplat est le plus précis des cinq modèles, tout en utilisant quatre coordonnées au lieu de dix.L’évaluation utilise les données, le découpage et le protocole des auteurs.
  • À l’inférence, les forces exercées dans l’image ou le volume reconstruit entrent dans les équations apprises par l’intermédiaire des jacobiennes du décodeur, sans réentraînement, malgré l’absence de mesures de forces pendant l’apprentissage.La direction et la forme de la force suivent la cinématique apprise, tandis que son amplitude n’est déterminée qu’à un facteur d’énergie global près.
  • Le prior lagrangien limite la classe des systèmes accessibles, mais maintient des réponses bornées et physiquement plausibles aux forces inédites.

A Dérivations

Cette annexe dérive la manière dont la cinématique apprise transporte les forces et l’inertie, et explicite le bilan énergétique qui sous-tend l’affirmation d’une réponse bornée.

  • A.1: La cinématique apprise transporte aussi bien les forces que l’inertie.Cette dérivation est présentée à la Section A.1.
  • A.2: L’annexe dérive le bilan énergétique qui sous-tend la remarque sur la réponse bornée.Cette analyse est présentée à la Section A.2.

A.1 Forces et inertie issues de la cinématique apprise

La cinématique apprise associe les configurations latentes aux positions des primitives, déterminant ainsi les forces généralisées et l’énergie cinétique sans choix de modélisation supplémentaire. Le transport des forces est invariant par changement régulier des coordonnées latentes, tandis que les opacités normalisées des primitives rendent la matrice de masse dépendante de la configuration le long des trajectoires.

  • A.1 Forces et inertie issues de la cinématique apprise: L’application apprise des configurations aux primitives détermine à la fois les forces généralisées et l’énergie cinétique selon les règles usuelles de la mécanique analytique.Elle joue le rôle de la position de chaque particule ; une fois l’application fixée, aucun choix de modélisation supplémentaire n’est nécessaire.
  • A.1 Forces et inertie issues de la cinématique apprise: Une force appliquée à une primitive se transporte en force généralisée latente canonique par l’intermédiaire du Jacobien de la primitive et préserve le travail virtuel.Cette construction rend l’injection des forces dans les équations du mouvement cohérente avec le bilan énergétique.
  • A.1 Forces et inertie issues de la cinématique apprise: La force transportée et la réponse qui en résulte sont invariantes par rapport à toute reparamétrisation régulière des coordonnées latentes.La transformation du Jacobien et celle du déplacement virtuel se compensent, laissant le travail inchangé d’une carte latente à l’autre.
  • A.1 Forces et inertie issues de la cinématique apprise: Les opacités latentes normalisées pondèrent des primitives de masse égale afin de produire une matrice de masse dépendante de la configuration.Comme les vitesses des primitives vérifient dot(μ_i) = J_i dot(q), la dépendance à l’état intervient par les poids de gating ; la matrice de masse varie donc le long des trajectoires et comporte des termes de Coriolis même lorsque chaque J_i est constant.

A.2 Réponse forcée bornée

Sous une inertie définie positive, un potentiel coercif et un amortissement uniformément positif, la dynamique en temps continu de LaGSplat reste bornée et dissipative. Les déroulements libres convergent vers l’unique minimum du potentiel, tandis que des forces constantes maintenues produisent une convergence bornée vers des équilibres chargés ; l’intégration symplectique limite la dérive discrète, mais pas l’erreur quantitative loin de la distribution d’entraînement.

  • Hypothèses: La garantie de réponse bornée repose sur une inertie définie positive, un plancher de potentiel coercif et un amortissement avec un plancher isotrope c0 > 0.Ces hypothèses empêchent la dérive non bornée de la position tout en assurant le contrôle cinétique et dissipatif.
  • Déroulement libre: Les déroulements libres sont bornés et convergent vers l’unique minimum global du potentiel sous un potentiel coercif, une inertie définie positive et un amortissement uniformément positif, selon le principe d’invariance de LaSalle.L’énergie décroît selon Ė ≤ −c0∥q̇∥2, tandis que le sous-niveau d’énergie borne à la fois q̇ et q.
  • Force maintenue: Des forces constantes maintenues produisent des réponses bornées qui convergent vers des équilibres chargés satisfaisant ∂V/∂q = f.L’énergie chargée E_f = T + V − f^Tq annule la puissance injectée, et le plancher de potentiel quadratique la maintient coercive.
  • Déroulement discret: Le schéma symplectique préserve les déroulements discrets longs contre la dérive, mais le caractère borné n’implique pas une précision quantitative loin des données d’entraînement.Les garanties énoncées en temps continu contraignent donc la croissance de la réponse sans assurer une extrapolation exacte.

B Décodeur de champ de déformation à budget égal

À budget d’entraînement égal, le décodeur affine latent-vers-primitives de LaGSplat égale ou améliore la reconstruction, tout en produisant des jacobiennes de primitives nettement plus lisses et plus sémantiquement pertinentes qu’un champ de déformation appris. La capacité supplémentaire du champ de déformation n’améliore pas la qualité d’image, mais peut fausser les dérivées nécessaires à l’application des forces et à l’estimation de l’inertie.

  • Paramétrisation du décodeur: LaGSplat place les primitives dans un volume de dimension (n+d) conditionné par q, ce qui rend chaque μ_i affine en q avec une jacobienne constante, tandis que l’alternative apprend des déformations non linéaires dépendant de q.La famille de déformations peut suivre des courbes arbitraires et potentiellement maintenir les primitives sur les parties de l’objet pendant tout le mouvement, contrairement aux trajectoires rectilignes dans l’espace latent.
  • Reconstruction: À budget de reconstruction égal, le champ de déformation est moins performant que LaGSplat sur L1 (0.0157 vs 0.0142) et la perte SSIM (0.076 vs 0.063), malgré 9.8M contre 195k paramètres.Les deux décodeurs utilisent 15,000 primitives, des pertes, régularisateurs, optimiseur et calendrier identiques ; seule la paramétrisation diffère.
  • Le champ jacobien: Figure 11 montre des vitesses de primitives plus lisses pour LaGSplat, avec des différences médianes entre voisines de 1.4 px/s contre 6.9 px/s pour le champ de déformation.Le champ de déformation déplace également des primitives sur l’arrière-plan statique et les régions du culbuteur, ce qui indique une jacobienne moins pertinente malgré des rendus visuellement similaires.
  • Pourquoi la jacobienne est importante: Comme la reconstruction des images ne supervise ni le suivi du matériau ni les vitesses des primitives, un décodeur peut ajuster la séquence tout en produisant un ∂μ_i/∂q dépourvu de sens pour la rétropropagation des forces et l’estimation de l’inertie.Le suivi du matériau émerge dans LaGSplat parce que les mêmes primitives doivent expliquer chaque image, de faibles déplacements entre états voisins préservant la matière qu’elles couvrent.

Détails de l’implémentation C

LaGSplat utilise les mêmes architectures d’encodeur, de décodeur et de LNN pour tous les systèmes, tout en ajustant la dimension latente, la résolution, le nombre de primitives et la longueur des séquences pour chaque système. L’entraînement comprend deux étapes optimisées par Adam, avec gestion du cycle de vie des Gaussians et procédures de blanchiment latent.

  • Paramètres d’implémentation: Les mêmes architectures sont utilisées pour chaque système, tandis que la dimension latente, la résolution des images, le nombre de primitives et la longueur des séquences sont définis pour chaque système.
  • Architectures: L’autoencodeur convolutionnel préservant la continuité utilise trois convolutions 12×12, deux canaux, un stride de 2, des activations ELU, un average pooling 4×4 et une application linéaire vers q.Il comporte environ 2 000 paramètres ; le décodeur contient 1 000–15 000 Gaussians, avec 104 à 2 × 10^5 paramètres, et le LNN compte moins de 15 000 paramètres.
  • Entraînement: Les deux étapes d’entraînement utilisent Adam, l’étape 1 entraînant conjointement l’encodeur et le décodeur pendant environ 5 × 10^4 étapes d’optimisation.Le nombre d’époques dépend de la taille du clip.
  • Entraînement: L’étape 1 optimise 0.08 L1 + 0.02 (1 − SSIM) + 0.01 anisotropy, tout en recyclant périodiquement les Gaussians dont l’opacité maximale tombe sous 0.02.Le recyclage scinde les Gaussians surchargés selon le vecteur propre principal de leur covariance complète de dimension (n+d), ou les téléporte vers des régions à forte erreur ; le blanchiment latent utilise une décomposition en valeurs propres de la covariance encodée.
Loading 2608.16324v1…