PaperlayerView exact revision on arXiv

Source-linked AI summary

LaGSplat: Inferring Physics-Governed Interactive Simulation from Monocular Video Using Latent Lagrangian Gaussian Splatting

Louen Pottier

arXiv:2608.16324v1cs.CVcs.LG

TL;DR

Bestehende videobasierte Szenenrekonstruktionen spielen Bewegungen ohne Interaktion ab, während erlernte physikalische Simulatoren Daten zu verallgemeinerten Koordinaten aus Sensoren oder Simulationen benötigen. LaGSplat kombiniert eine latente dissipative Lagrange-Funktion mit bewegten Gaussian-Primitiven, um interaktive Dynamik aus monokularem Video zu erschließen; dabei stimmt es die beobachteten Frequenzen über sieben reale Systeme hinweg ab und übertrifft auf einem weichen Roboter die Baselines.

  • Problem

    Videobasierte Szenenrekonstruktionen spielen aufgezeichnete Bewegungen ohne Interaktion ab, während erlernte physikalische Simulatoren Daten zu verallgemeinerten Koordinaten aus Sensoren oder Simulationen benötigen.

  • Methode

    LaGSplat verwendet einen einzigen unüberwachten niedrigdimensionalen latenten Zustand sowohl als verallgemeinerte Koordinate einer dissipativen Lagrange-Funktion als auch als Konditionierungsvariable für bewegte Gaussian-Primitiven.

  • Ergebnisse

    Über sieben reale Systeme hinweg stimmen die Eigenfrequenzen bei Anregung innerhalb weniger Prozent mit den beobachteten Werten überein, während LaGSplat unter fünf Modellen auf einem zweigliedrigen weichen Roboter am genauesten ist.

  • Schlussfolgerungen & Einschränkungen

    Das rekonstruierte Objekt kann Bild- oder Volumenraumkräfte aufnehmen, die über Decoder-Jacobi-Matrizen in die erlernte Dynamik übertragen werden, ohne erneutes Training.

  • Schlussfolgerungen & Einschränkungen

    Die Methode gilt für Systeme mit wenigen verallgemeinerten Koordinaten, glatter Kinematik und dissipativer Dynamik und schließt Kontakt, Stoß, Topologieänderungen, Plastizität und Hysterese aus.

Abstract

from arXiv · show

We present LaGSplat (Latent Lagrangian Gaussian Splatting), a framework that infers interactive, physics-governed dynamics from one or a few monocular videos. At inference it lets a user push on the filmed object, rigid or deformable, with an external force that was never measured, annotated, or seen during training. This is possible because a low-dimensional latent state $\mathbf{q} \in \mathbb{R}^d$ plays two roles at once: it is the generalised coordinate of a learned dissipative Lagrangian and the conditioning variable of a Gaussian Splatting decoder. The inductive bias of this decoder, whose primitives are explicit points $μ_i(\mathbf{q})$ that move with the object, is what lets a force $f$ applied in the image pull back into a latent generalised force $J(\mathbf{q})^\top f$ and enter the equations of motion, which pixel-space (CNN) or neural-field (NeRF) decoders cannot do. We validate LaGSplat on test cases of increasing difficulty, from rigid to deformable and from autonomous to forced real systems, combining monocular video and sensor measurements. We further demonstrate interactive use: forces of arbitrary magnitude and direction can be applied to the reconstructed object at any time, its response rendered in real time, in 2D or 3D. Assuming a dissipative Euler-Lagrange equation over a few generalised coordinates trades generality for a bounded, plausible response to unseen forces, where an unconstrained predictor diverges.

1 Einleitung

LaGSplat kombiniert explizite Gaussian-Primitives mit einer gelernten latenten Lagrange-Funktion, um gefilmte Objekte als interaktive Echtzeitsimulationen mit physikalisch gesteuerter Dynamik zu rekonstruieren. Die bewegten Primitives liefern den benötigten Jacobian, um Kräfte im Bildraum ohne erneutes Training in latente verallgemeinerte Kräfte zu überführen.

  • Motivation: Im Gegensatz zu dynamischen Szenenrekonstruktionen mit zeitparametrisierter Wiedergabe aufgezeichneter Clips ermöglicht LaGSplat die Interaktion mit rekonstruierten Objekten.Die Rekonstruktion dynamischer Szenen liefert fotorealistische Darstellungen in Echtzeit, doch eine zeitbasierte Parametrisierung erlaubt keine Objektinteraktion.
  • Beitrag: LaGSplat schließt eine Lücke, indem es ein echtes mechanisches Gesetz mit expliziten Primitives kombiniert, die sich mit dem Objekt bewegen und es rendern.Frühere Ansätze liefern entweder strukturierte Dynamik ohne dauerhaft explizite bewegte Primitives oder explizite Rekonstruktionen ohne ein echtes mechanisches Gesetz.
  • Methode: Ein niedrigdimensionaler latenter Zustand q ist sowohl die verallgemeinerte Koordinate einer gelernten dissipativen Lagrange-Funktion als auch die Konditionierungsvariable eines Gaussian-Splatting-Decoders.Ein Encoder bildet Frames auf q ab, die latente Lagrange-Funktion integriert die Bewegungsgleichungen, und der Decoder rendert q in 2D- oder 3D-Bilder.
  • Interaktive Krafteinwirkung: Explizite Decoder-Punkte μ_i(q) bewegen sich unter latenten Variationen, sodass eine Kraft f im Bildraum über die virtuelle Arbeit zur verallgemeinerten Kraft J(q)^T f werden kann.Diese Kraft geht ohne erneutes Training in dieselben Bewegungsgleichungen ein, obwohl in den Trainingsvideos keine Kraft ausgeübt wurde.
  • Beitrag: Die Pipeline wandelt ein monokulares Video in ein identifiziertes physikalisches Modell und eine interaktive Echtzeitsimulation um, die in 2D oder 3D gerendert wird.Sie kombiniert explizite Gaussian-Primitives und differenzierbare Rasterisierung mit einer latenten Lagrange-Funktion und einer Dynamik verallgemeinerter Kräfte.

2 Verwandte Arbeiten

Verwandte Arbeiten umfassen dynamische Darstellung, erlernte Mechanik, videobasierte Überwachung dynamischer Systeme und kraftinteraktive Modelle. LaGSplat kombiniert eine erlernte dissipative Lagrange-Funktion über latenten Koordinaten mit einem expliziten, auf Materialpunkten basierenden Gaussian-Decoder, dessen Jacobi-Matrix Kräfte überträgt.

  • Überblick über das Gebiet: Die Literatur unterscheidet zwischen der Synthese dynamischer neuartiger Ansichten, analytischer Mechanik, physikalischer Darstellung aus Videos und dem direkten Erlernen von Dynamik aus Aufnahmen des simulierten Systems.Der zentrale Unterschied besteht darin, ob das Video Ausgabe oder Überwachungssignal ist und ob das Modell das gefilmte System oder eine plausible Szene seiner Art reproduziert.
  • Darstellungsformen für das Rendering: NeRF-basierte Decoder sind eulerisch und bieten keinen Materialpunkt zur Kraftanbindung, während sich explizite bewegte Primitive durch Positionen und Jacobi-Matrizen auszeichnen.Neuronale Netze, die kanonische Primitive verformen, erfüllen das Kriterium der Anbindung; für bewegungsreiche Inhalte werden jedoch direkte Primitive bevorzugt.
  • Physik und Kraftsteuerung: Methoden mit vorgegebener Physik wie PhysGaussian [37] [45] [74] und VR-GS [29] verwenden eine externe Dynamik, während Force Prompting [18] Kraftantworten ohne mechanische Struktur erlernt.Force Prompting [18] erfordert Kraft-Video-Beispiele, verwendet pro erzeugtem Clip einen festen Kraftvektor und ist weder echtzeitfähig noch bildweise steuerbar.
  • Latente Mechanik: NeuROK [17] und verwandte Methoden der latenten Mechanik nutzen ebenfalls latente Integration und Jacobian-Pullbacks, doch ihre Decoder rendern Meshes statt affiner Gaussian-Primitiven.Methoden für Grafiken mit reduzierter Ordnung verwenden ebenfalls Materialpunkt-Decoder und Pullback-Strukturen, während LaGSplat das maßgebliche Gesetz über dem erlernten Zustand erlernt.
  • Der Unterschied von LaGSplat: LaGSplat ersetzt die Zeit durch latente Koordinaten in höherdimensionalen Gaussians, erlernt eine dissipative Lagrange-Funktion und überträgt beliebige zuvor ungesehene Kräfte über J^T f.Im Gegensatz zu rein starren kraftinteraktiven Systemen wie Wang et al. [69] behandelt das Verfahren deformierbare Objekte und erlaubt, Kräfte zu jedem Zeitpunkt neu zu definieren.

3 Methode

LaGSplat lernt einen kontinuierlichen latenten Zustand, der gleichzeitig dissipative Euler–Lagrange-Dynamik parametrisiert und als Zustandsbedingung für einen Gaussian-Splatting-Decoder dient. Die gelernte Kinematik überführt Kräfte im Bildraum in latente generalisierte Kräfte und ermöglicht so begrenzte interaktive Reaktionen auf ungesehene Belastungen unter Berücksichtigung von Beobachtungsgeometrie und Ambiguität der Kraftskalierung.

  • Architektur und Training: LaGSplat lernt gemeinsam einen Encoder, eine latente Lagrange-Dynamik mit Dissipation und einen Gaussian-Splatting-Decoder und friert anschließend den Autoencoder ein, bevor die Dynamik an die kodierte Trajektorie angepasst wird.Stufe 1 passt Erscheinungsmerkmale an und fixiert die latente Karte; Stufe 2 passt die Lagrange-Dynamik an, nachdem der Clip einmal kodiert wurde.
  • Architektur und Training: Ein Lipschitz-beschränkter Encoder regularisiert die zeitliche Kontinuität, da das Dynamikziel die kodierte Trajektorie ableitet, um q̇ und q̈ zu bestimmen.Die Methode verwendet den Kontinuitätsregularisierer von Zhu et al. [81], statt auf größere Encodertiefe oder Ausdrucksstärke zu setzen.
  • Gaussian-Splatting-Decoder: Der Decoder kachelt das Raum-Zustands-Volumen (x, y, q), sodass jeder Szenenzustand einmal gespeichert wird und aus Euler–Lagrange-Trajektorien, ungesehenen Anfangsbedingungen oder angewendeten Kräften gerendert werden kann.Die Konditionierung der Gaussian-Primitives auf q erzeugt zustandsabhängige Zentren und unterdrückt Primitive fern vom abgefragten latenten Zustand; das Rendering unterstützt eine Videoausgabe mit n=2 oder interaktive 3D-Szenen mit n=3.
  • Latente Dynamik: Die gelernte latente Karte wird weiß gemacht, während Fehler im anisotropen Pull-back-Bildmaß Ḡ gemessen werden, das latente Richtungen anhand ihrer dekodierten Pixelbewegung gewichtet.Dieses Maß approximiert den dekodierten Bildfehler in erster Ordnung, ohne beim Evaluieren eine Rasterisierung zu erfordern.
  • Latente Dynamik: Dissipation und ein Potenzial mit eindeutigem Minimum garantieren eine begrenzte freie Dynamik, die sich im Ruhezustand stabilisiert und unter anhaltender Krafteinwirkung zu einem belasteten Gleichgewicht konvergiert.Ein ICNN modelliert für das Pendel, den Schaukelstuhl und die hängende Tasche ein einziges konvexes Becken; der weiche Kontinuumsroboter verwendet stattdessen ein mit einem i-ResNet verkettetes ICNN, um konvexe Niveaumengen zu lockern und gleichzeitig ein eindeutiges Gleichgewicht zu bewahren.
  • Interaktive Krafteinwirkung: Die Jacobimatrizen der Gaussian-Kinematik überführen Kräfte auf Primitive in latente generalisierte Kräfte; die Aggregation von Kontakten in der Nachbarschaft und die Inferenzkosten von O(nd) ermöglichen ungesehene Belastungen ohne Netzwerkdifferenzierung.Richtung und Form der Reaktion werden durch die gelernte Kinematik bestimmt, doch die physikalische Kraftgröße bleibt bis auf einen globalen Energiefaktor κ ambig, da (L, D) und (αL, αD) identische beobachtete Trajektorien erzeugen.

4 Experimente

LaGSplat wird anhand monokularer Videos realer Objekte evaluiert, die autonome starre und deformierbare Systeme sowie einen kontinuierlich aktuierten weichen Roboter mit Druckmessungen abdecken. Über diese Tests hinweg rekonstruiert das Verfahren plausible Dynamiken und unterstützt als einziges bei der Inferenz externe Kräfte im Bild- oder Weltraum durch vom Decoder abgeleitete Jacobi-Matrizen.

  • Evaluation der Gesamtdynamik: Bei nahezu jedem System liegt der unüberwachte Fehler der Eigenfrequenz εfreq bei 1–6%, während der Einsegmentroboter 31.4% erreicht, da seine Aufzeichnungen die Eigenmode nicht anregen.Das Doppelpendel weist εq = 0.947 auf, der über den gesamten Clip auf 1.544 ansteigt, während der Fehler des hängenden Beutels über zwei Perioden von 0.150 auf 0.396 über sieben Perioden zunimmt.
  • Weicher Kontinuumsroboter: LaGSplat bleibt auch beim anspruchsvolleren Zweisegmentroboter präzise und erzielt mit d=4 Koordinaten 0.769 × 10−3; damit übertrifft es dort die Vergleichsmodelle um ×0.98.Das Ergebnis ist der Median von fünf Seeds, während alle vier Baselines d=10 verwenden; die Aufzeichnungen des Einsegmentroboters erfassen hauptsächlich eine quasistatische Druck-zu-Form-Abbildung statt Trägheit oder Eigenfrequenzen.
  • Interaktive Kraftanwendung: Externe Bildkräfte gehen bei der Inferenz als f_lat = J^T f ohne erneutes Training in die erlernte Dynamik von LaGSplat ein; dabei werden durch die Gauß-Abbildung q 7→μ_i induzierte Jacobi-Matrizen verwendet.Der Decoder überträgt Kräfte von Bildprimitiven in latente generalisierte Koordinaten, während das Training die autonome Dynamik und die Aktuierungsabbildung identifiziert; diese Fähigkeit fehlt den verglichenen Verfahren.
  • Interaktive Kraftanwendung: Beim eindimensionalen Regenbogenwipper erzeugen gleich große Kräfte hebelarmabhängige und vorzeichenumkehrende latente Verschiebungen, darunter Δq = −0.50, −0.76, −0.84 und +1.22 über die Angriffspunkte hinweg.Hintergrund-Gauß-Primitiven mit verschwindenden Jacobi-Matrizen übertragen keine Kraft. Dies zeigt, dass die Reaktion der Objektbewegung und nicht beliebigen Bildinhalten folgt.
  • Dreidimensionale Interaktion: Mit synthetischer Multi-View-Supervision funktioniert derselbe Transportmechanismus auch in 3D: Ein durch einen Strahl ausgewählter Gauß erhält eine Kraft im Weltraum und kann das Objekt zu einem neuen Gleichgewicht bei q = +1.52 bewegen.Die Demonstrationen umfassen Stöße entlang von Richtungen, die in der Trainingsbewegung nicht vorkommen, und zeigen interaktive Reaktionen jenseits der beobachteten Trajektorie.

5 Diskussion

LaGSplats Physikprior verbessert die Struktur, begrenzt aber die Anwendbarkeit auf beobachtbare, glatte, niedrigdimensionale dissipative Systeme, während sein Kraftmechanismus bislang nicht anhand gemessener Kräfte validiert ist. Zukünftige Arbeiten zielen auf kraftannotierte Daten, verborgene konstitutive Variablen, die Kopplung an Simulatoren sowie eine verbesserte Modellierung des latenten Raums und der Geometrie.

  • Limitationen: Der Lagrange-Prior schließt Kontakt, Stoß, Topologieänderungen, Plastizität und Hysterese aus und beschränkt die Methode auf glatte, dissipative Dynamik mit wenigen Koordinaten.Die angegebene Grenze ergibt sich aus der instanziierten Dynamik und nicht aus der Repräsentation selbst.
  • Limitationen: Monokulares Lernen erfordert einen im Bild beobachtbaren Zustand; Bewegungen außerhalb der Bildebene benötigen daher Mehransicht-Supervision, und für Plastizität sind verborgene Informationen zur Belastungshistorie erforderlich.Visuell übereinstimmende Frames können unterschiedliche plastische Historien kodieren, wodurch solche Variablen für eine Einzelbild-Supervision unsichtbar bleiben.
  • Limitationen: Der zentrale Kraftmechanismus ist nicht anhand gemessener Kräfte validiert, da kein Datensatz Videoaufnahmen mit fester Kameraposition, wenigen Freiheitsgraden, angewandten Punktkräften und der resultierenden Deformation kombiniert.Section 4.5 prüft stattdessen Jacobian-abgeleitete Verhältnisse, Vorzeichen, Summen und Eigenschaften des Pullback-Kernels, die gegenüber dem Energiefaktor κ invariant sind.
  • Limitationen: Das Appearance-first-Fitting bleibt eine umstrittene Designentscheidung, während die manuelle Auswahl der latenten Dimension d die minimale Zustandsgröße überschätzen kann.Friedl et al. [14] berichten, dass gemeinsam trainierte Modelle das sequenzielle Training übertreffen, während Zhu et al. [81] berichten, dass ein Ansatz mit eingefrorenem Encoder gemeinsam trainierte Baselines übertrifft; Chen et al. [8] berichten, dass sich die Rekonstruktion jenseits der minimalen latenten Breite verschlechtert.
  • Zukünftige Arbeiten: Zukünftige Arbeiten schlagen Datensätze mit gemessenen Kräften, interne Variablen für Plastizität und Hysterese, die Kopplung an externe Simulatoren sowie eine verbesserte Behandlung der Dichte pro Primitiv vor.Modelle mit internen Variablen würden ein größeres d und einen Multi-Frame-Encoder erfordern, während die Kopplung an Simulatoren den Isolationstest des Kraftmechanismus bewahren muss.

6 Schlussfolgerung

LaGSplat lernt allein aus Video einen gemeinsamen physikalischen Zustand niedriger Dimension, der sowohl als generalisierte Koordinate als auch als Bedingung für den Gaussian-Decoder dient. Über reale Systeme hinweg rekonstruiert das Verfahren die beobachtete Dynamik präzise und ermöglicht begrenzte, plausible Reaktionen auf zuvor ungesehene Kräfte ohne erneutes Training.

  • LaGSplat lernt einen unüberwachten physikalischen Zustand q, der gleichzeitig einen dissipativen Lagrangian parametrisiert und explizite, sich bewegende Gaussian-Punktprimitive konditioniert.Das Video selbst liefert das Trainingssignal; q erhält keine direkte Überwachung.
  • Über sieben reale Systeme hinweg stimmen die gelernten Eigenfrequenzen bei jeder sie anregenden Aufnahme bis auf wenige Prozent mit den Videobeobachtungen überein.Die Systeme umfassen ein bis vier Freiheitsgrade.
  • Auf den Daten des zweigliedrigen Soft-Continuum-Roboters von Krauss et al. [35] ist LaGSplat das genaueste von fünf Modellen und verwendet dabei vier statt zehn Koordinaten.Die Evaluation verwendet die eigenen Daten, das eigene Split und das eigene Protokoll der Autoren.
  • Bei der Inferenz gehen Kräfte aus dem Bild oder dem rekonstruierten Volumen über die Jacobians des Decoders ohne erneutes Training in die gelernten Gleichungen ein, obwohl keine Kraftmessungen im Training vorliegen.Richtung und Form der Kraft folgen der gelernten Kinematik, während ihre Amplitude nur bis auf einen globalen Energiefaktor bestimmt ist.
  • Der Lagrangian-Prior begrenzt die Klasse erreichbarer Systeme, hält Reaktionen auf ungesehene Kräfte jedoch begrenzt und physikalisch plausibel.

A Herleitungen

Dieser Anhang leitet her, wie gelernte Kinematik Kräfte und Trägheit transportiert, und erläutert die der Aussage zur begrenzten Reaktion zugrunde liegende Energiebilanz.

  • A.1: Gelernte Kinematik transportiert gleichermaßen Kräfte und Trägheit.Diese Herleitung wird in Abschnitt A.1 behandelt.
  • A.2: Der Anhang leitet die der Bemerkung zur begrenzten Reaktion zugrunde liegende Energiebilanz her.Diese Analyse wird in Abschnitt A.2 behandelt.

A.1 Kräfte und Trägheit aus der erlernten Kinematik

Die erlernte Kinematik bildet latente Konfigurationen auf Primitive-Positionen ab und bestimmt dadurch generalisierte Kräfte und kinetische Energie ohne zusätzliche Modellierungsentscheidungen. Der Krafttransport ist invariant gegenüber glatten Änderungen der latenten Koordinaten, während normalisierte Primitive-Opazitäten die konfigurationsabhängige Massenmatrix entlang von Trajektorien variieren lassen.

  • A.1 Kräfte und Trägheit aus der erlernten Kinematik: Die erlernte Abbildung von Konfigurationen auf Primitive bestimmt sowohl generalisierte Kräfte als auch kinetische Energie nach den Standardregeln der analytischen Mechanik.Sie übernimmt die Rolle der Position jedes Partikels, sodass nach Festlegung der Abbildung keine weitere Modellierungsentscheidung erforderlich ist.
  • A.1 Kräfte und Trägheit aus der erlernten Kinematik: Eine auf ein Primitive wirkende Kraft wird über die Primitive-Jacobi-Matrix in die kanonische latente generalisierte Kraft transportiert und erhält die virtuelle Arbeit.Diese Konstruktion macht die Einspeisung von Kräften in die Bewegungsgleichungen mit der Energiebilanz konsistent.
  • A.1 Kräfte und Trägheit aus der erlernten Kinematik: Die transportierte Kraft und die daraus resultierende Reaktion sind gegenüber jeder glatten Reparametrisierung der latenten Koordinaten invariant.Die Jacobi-Transformation und die Transformation der virtuellen Verschiebung heben sich auf, sodass die Arbeit über verschiedene latente Karten hinweg unverändert bleibt.
  • A.1 Kräfte und Trägheit aus der erlernten Kinematik: Normalisierte latente Opazitäten gewichten Primitive gleicher Masse und erzeugen eine konfigurationsabhängige Massenmatrix.Da die Primitive-Geschwindigkeiten dot(μ_i) = J_i dot(q) erfüllen, tritt die Zustandsabhängigkeit über die Gate-Gewichte ein; dadurch variiert die Massenmatrix entlang von Trajektorien und enthält Coriolis-Terme, selbst wenn jedes J_i konstant ist.

A.2 Beschränkte erzwungene Antwort

Unter positiv definiter Trägheit, einem koerziven Potential und strikt positiver Dämpfung bleiben die Dynamiken von LaGSplat in kontinuierlicher Zeit beschränkt und dissipativ. Freie Rollouts konvergieren zum eindeutigen Potentialminimum, während konstant anliegende Kräfte eine beschränkte Konvergenz zu belasteten Gleichgewichtszuständen bewirken; die symplektische Integration begrenzt die diskrete Drift, nicht jedoch quantitative Fehler weit außerhalb der Verteilung.

  • Annahmen: Die Garantie für eine beschränkte Antwort beruht auf positiv definiter Trägheit, einer koerziven Potentialschranke und einer Dämpfung mit isotroper Schranke c0 > 0.Diese Annahmen verhindern ein unbeschränktes Abdriften der Position und gewährleisten zugleich die Kontrolle von kinetischer und dissipativer Energie.
  • Freier Rollout: Freie Rollouts sind beschränkt und konvergieren unter einem koer­ziven Potential, positiv definiter Trägheit und strikt positiver Dämpfung nach dem Invarianzprinzip von LaSalle zum eindeutigen globalen Potentialminimum.Die Energie nimmt gemäß Ė ≤ −c0∥q̇∥2 ab, während die Energie-Niveaumenge sowohl q̇ als auch q beschränkt.
  • Anliegende Kraft: Konstant anliegende Kräfte erzeugen beschränkte Antworten, die zu belasteten Gleichgewichtszuständen mit ∂V/∂q = f konvergieren.Die belastete Energie E_f = T + V − f^Tq hebt die eingespeiste Leistung auf, und die quadratische Potentialschranke erhält ihre Koerzivität.
  • Diskreter Rollout: Das symplektische Verfahren erhält lange diskrete Rollouts ohne Drift, doch Beschränktheit impliziert keine quantitative Genauigkeit weit außerhalb der Trainingsdaten.Die für kontinuierliche Zeit formulierten Garantien begrenzen daher das Anwachsen der Antwort, gewährleisten jedoch keine exakte Extrapolation.

B Deformationsfeld-Decoder bei gleichem Budget

Bei gleichem Trainingsbudget erreicht oder übertrifft der affine Latent-to-Primitive-Decoder von LaGSplat die Rekonstruktionsqualität und erzeugt dabei deutlich glattere, aussagekräftigere Primitive-Jacobians als ein gelerntes Deformationsfeld. Die zusätzliche Kapazität des Deformationsfelds verbessert die Bildqualität nicht, kann aber die für Kraftanwendung und Trägheitsschätzung erforderlichen Ableitungen verfälschen.

  • Decoder-Parametrisierung: LaGSplat platziert Primitive in einem (n+d)D-Volumen, das durch q konditioniert wird, sodass jedes μ_i affin von q abhängt und einen konstanten Jacobian besitzt, während die Alternative nichtlineare, von q abhängige Verformungen lernt.Die Deformationsfamilie kann beliebige Kurven nachzeichnen und Primitive potenziell während der gesamten Bewegung auf Objektteilen halten, im Gegensatz zu geradlinigen Trajektorien im latenten Volumen.
  • Rekonstruktion: Bei gleichem Rekonstruktionsbudget bleibt das Deformationsfeld bei L1 (0.0157 vs 0.0142) und beim SSIM-Verlust (0.076 vs 0.063) hinter LaGSplat zurück, trotz 9.8M gegenüber 195k Parametern.Beide Decoder verwenden 15,000 Primitive, identische Verluste, Regularisierer, Optimierer und denselben Zeitplan; nur die Parametrisierung unterscheidet sich.
  • Das Jacobian-Feld: Figure 11 zeigt glattere Primitive-Geschwindigkeiten für LaGSplat, mit medianen Nachbardifferenzen von 1.4 px/s gegenüber 6.9 px/s beim Deformationsfeld.Das Deformationsfeld bewegt Primitive außerdem über statischen Hintergrund und Wippenbereiche, was trotz visuell ähnlicher Renderings auf einen weniger aussagekräftigen Jacobian hindeutet.
  • Warum der Jacobian wichtig ist: Da die Rekonstruktion von Einzelbildern weder Materialverfolgung noch Primitive-Geschwindigkeiten überwacht, kann ein Decoder den Clip anpassen und dennoch bedeutungslose ∂μ_i/∂q für Kraft-Rückprojektion und Trägheitsschätzung liefern.Materialverfolgung entsteht in LaGSplat, weil dieselben Primitive jedes Einzelbild erklären müssen, wobei kleine Verschiebungen zwischen benachbarten Zuständen die von ihnen abgedeckte Materie erhalten.

C Implementierungsdetails

LaGSplat verwendet systemübergreifend gemeinsame Encoder-, Decoder- und LNN-Architekturen, während latente Dimension, Auflösung, Anzahl der Primitive und Laufzeit für jedes System abgestimmt werden. Das Training erfolgt in zwei Adam-optimierten Stufen mit Gaussian-Lifecycle-Management und Verfahren zur latenten Whitening.

  • Implementierungseinstellungen: Für jedes System werden dieselben Architekturen verwendet, während latente Dimension, Bildauflösung, Anzahl der Primitive und Laufzeit systemspezifisch festgelegt werden.
  • Architekturen: Der die Kontinuität erhaltende konvolutionale Autoencoder verwendet drei 12×12-Convolutions, zwei Kanäle, Stride 2, ELU-Aktivierungen, 4×4 Average Pooling und eine lineare Abbildung auf q.Er umfasst etwa 2 000 Parameter; der Decoder enthält 1 000–15 000 Gaussians mit 104 bis 2 × 10^5 Parametern, und das LNN hat weniger als 15 000 Parameter.
  • Training: Beide Trainingsstufen verwenden Adam, wobei Stufe 1 Encoder und Decoder gemeinsam über etwa 5 × 10^4 Optimierungsschritte trainiert.Die Anzahl der Epochen hängt von der Clipgröße ab.
  • Training: Stufe 1 optimiert 0.08 L1 + 0.02 (1 − SSIM) + 0.01 Anisotropie und recycelt regelmäßig Gaussians, deren maximale Opazität unter 0.02 fällt.Beim Recycling werden überlastete Gaussians entlang des Haupteigenvektors ihrer vollständigen (n+d)-dimensionalen Kovarianz aufgeteilt oder in Regionen mit hohem Fehler teleportiert; das latente Whitening verwendet eine Eigenwertzerlegung der kodierten Kovarianz.
Loading 2608.16324v1…