PaperlayerView exact revision on arXiv

KI-Zusammenfassung · mit KI aus dem Englischen übersetzt

LaGSplat: Inferring Physics-Governed Interactive Simulation from Monocular Video Using Latent Lagrangian Gaussian Splatting

Louen Pottier

arXiv:2608.16324v1cs.CVcs.LG

TL;DR

Interaktive physikalische Dynamik aus Videos zu lernen erfordert, visuelle Rekonstruktion und Mechanik ohne gemessene generalisierte Koordinaten zu verbinden. LaGSplat koppelt eine gelernte dissipative Lagrangefunktion und einen Gaussian-Splatting-Decoder mit beweglichen Punkten über einen gemeinsamen niedrigdimensionalen latenten Zustand. Bei sieben realen Systemen rekonstruiert es die Eigenfrequenzen mit Abweichungen von wenigen Prozent, sofern diese in den Aufnahmen angeregt werden.

  • Problem

    Die Forschungslücke besteht darin, interaktive physikalische Dynamik direkt aus Videos statt aus gemessenen generalisierten Koordinaten oder Simulatordaten zu lernen.

    Quelle: §1 · p. 2

  • Methode

    LaGSplat koppelt eine gelernte dissipative Lagrangefunktion und einen Gaussian-Splatting-Decoder mit beweglichen Punkten über einen einzigen unüberwacht gelernten niedrigdimensionalen latenten Zustand.

    Quelle: §1 · p. 2

  • Ergebnisse

    Sieben reale Systeme zeigen, dass sich Eigenfrequenzen mit Abweichungen von wenigen Prozent gegenüber den im Video beobachteten Werten rekonstruieren lassen, sofern die Aufnahmen die Eigenmoden anregen.

    Quelle: §6 · p. 19

  • Kernaussagen & Einschränkungen

    Nutzende können zuvor ungesehene Kräfte ohne erneutes Training auf rekonstruierte Objekte ausüben, wobei die Kraftamplitude nur bis auf einen globalen Energiefaktor bestimmt ist.

    Quelle: §6 · p. 19

    Die konkret umgesetzte Dynamik setzt wenige generalisierte Koordinaten, eine glatte Kinematik und autonome oder durch gemessene Eingangsgrößen angeregte dissipative Bewegungen voraus und schließt Kontakt, Stöße, Topologieänderungen, Plastizität und Hysterese aus.

    Quelle: §5 · p. 17

Abstract

from arXiv · show

We present LaGSplat (Latent Lagrangian Gaussian Splatting), a framework that infers interactive, physics-governed dynamics from one or a few monocular videos. At inference it lets a user push on the filmed object, rigid or deformable, with an external force that was never measured, annotated, or seen during training. This is possible because a low-dimensional latent state $\mathbf{q} \in \mathbb{R}^d$ plays two roles at once: it is the generalised coordinate of a learned dissipative Lagrangian and the conditioning variable of a Gaussian Splatting decoder. The inductive bias of this decoder, whose primitives are explicit points $μ_i(\mathbf{q})$ that move with the object, is what lets a force $f$ applied in the image pull back into a latent generalised force $J(\mathbf{q})^\top f$ and enter the equations of motion, which pixel-space (CNN) or neural-field (NeRF) decoders cannot do. We validate LaGSplat on test cases of increasing difficulty, from rigid to deformable and from autonomous to forced real systems, combining monocular video and sensor measurements. We further demonstrate interactive use: forces of arbitrary magnitude and direction can be applied to the reconstructed object at any time, its response rendered in real time, in 2D or 3D. Assuming a dissipative Euler-Lagrange equation over a few generalised coordinates trades generality for a bounded, plausible response to unseen forces, where an unconstrained predictor diverges.

1 Einleitung

LaGSplat lernt aus monokularem Video ein physikalisches Modell und eine Gauß-basierte Szenenrepräsentation und ermöglicht so Echtzeitinteraktion mit zuvor nicht gemessenen Kräften. Ein gemeinsamer latenter Zustand verbindet die gelernte Lagrange-Dynamik mit expliziten Punkten, die sich mit dem Objekt bewegen.

1 Einleitung

  • Bisherige videobasierte Methoden verwenden unbeschränkte Dynamik [62], vorgegebene Gleichungen [7] [35] [69], ortsfeste Pixel [21] [35] oder keine Rekonstruktion [7].Dynamische Rekonstruktion [31] [75] gibt aufgezeichnete Bewegungen ohne Interaktion wieder, während das Lernen physikalischer Systeme [11] [21] [48] beobachtete Trajektorien generalisierter Koordinaten erfordert. LaGSplat identifiziert stattdessen die Physik des konkret gefilmten Systems aus dessen eigenem Video und verbindet mechanische Gesetze mit expliziten beweglichen Primitiven.Quelle: §1 · p. 2
  • Latente Koordinaten entstehen ohne Zustandsannotationen oder externen Simulator, gemeinsam durch photometrische Rekonstruktion und ein Euler–Lagrange-Residuum beschränkt.Ein Encoder bildet Einzelbilder auf latente Zustände ab, ein latentes Lagrange-Netz integriert die gelernten Gleichungen, und der Gauß-Decoder rendert die resultierenden Zustände.Quelle: §1 · p. 2
  • Explizite bewegliche Primitive machen im Bild angesetzte Kräfte wirksam: Ihre Jacobi-Matrix bildet eine Kraft f ohne erneutes Training auf die latente generalisierte Kraft J(q)^T f ab.Diese Abbildung hängt von der gelernten Kinematik statt von der Belastung ab. Daher lässt sie sich aus einem Trainingsvideo autonomer Bewegung ohne Beispiele angelegter Kräfte bestimmen.Quelle: §1 · p. 2
  • Reaktionen auf Kräfte sind auf im Training durchlaufene latente Zustände beschränkt, weisen eine unbestimmte globale Amplitudenskalierung auf und können keine im Video fehlenden Bewegungsmoden aktivieren.Bei gut identifizierter Dynamik und korrekt bewegten Primitiven stimmen Richtung und Form der Reaktion; eine Kraft–Verschiebungs-Messung kalibriert die Amplitude, andernfalls wird ihre Skalierung manuell gewählt. Für unbeobachtete Moden fehlen latente Koordinaten, sodass sie sich als unendlich steif verhalten.Quelle: §1 · p. 2
  • LaGSplat koppelt eine gelernte dissipative Lagrange-Funktion und einen Gaussian-Splatting-Decoder über einen einzigen latenten Zustand und ermöglicht so interaktive Echtzeitsimulation aus monokularem Video.Der latente Zustand dient zugleich als generalisierte Koordinaten und zur Konditionierung des Decoders. Das Rendering unterstützt 2D oder, bei Tiefen- oder Mehransichts-Supervision, neue 3D-Blickwinkel.Quelle: §1 · pp. 2–3
  • LaGSplat konvergiert zu einem im Training nicht enthaltenen stabilen Gleichgewicht, anders als ein Bewegungsprädiktor ohne mechanisches Vorwissen, und zielt dabei auf Systeme mit wenigen generalisierten Koordinaten ab.Die Validierung umfasst ein einfaches Pendel, einen schwingenden starren Körper, einen hängenden Beutel und den pneumatischen Aktuator von Krauss et al. [35] und deckt starre sowie deformierbare, autonome sowie angetriebene Systeme ab.Quelle: §1 · p. 3

2 Verwandte Arbeiten

Der Abschnitt unterscheidet zwischen dynamischer Ansichtssynthese, erlernter analytischer Mechanik, physikalisch plausibler Videoerzeugung und Simulationen, die aus dem Video des gefilmten Systems selbst erlernt werden. LaGSplat verfolgt den letzten Ansatz und verknüpft latente dissipative Mechanik mit beweglichen Gauß-Primitiven, über die interaktive Kräfte in die Dynamik eingehen.

2.1 Dynamische Synthese neuer Ansichten

  • Durch latente Koordinaten konditionierte Gauß-Primitive liefern bewegliche materielle Punkte, konstante Positions-Jakobimatrizen und Echtzeit-Rasterisierung, sodass interaktive Kräfte in geschlossener Form eingehen können.Vorherrschenden NeRF-Formulierungen [53] [56] [61] fehlen materielle Punkte; vom Objekt ausgehende Deformationen [22], partikelbasierte Strahlungsfelder [44] und PAC-NeRF [40] bieten jedoch nutzbare Alternativen. LaGSplat ersetzt in den höherdimensionalen Gauß-Primitiven von Yang et al. [75] die Zeit durch latente Koordinaten und rasterisiert mit gsplat [76]. Anders als die Verformung aus einem kanonischen Raum erhält dies affine Positionsabbildungen; auch FreeTimeGS [70] bevorzugt für bewegungsreiche Inhalte direkt im erweiterten Raum platzierte Primitive.Quelle: §2.1 · p. 3

2.2 Erlernte analytische Mechanik

  • Erlernte latente Mechanik unterstützt bereits die Kraftrückführung mittels virtueller Arbeit, doch bestehende Modelle gewinnen Zustände und Kräfte durch Messtechnik statt über im Video gerenderte materielle Punkte.L-LNN überträgt Kräfte über die Jakobimatrizen des Encoders, während Friedl et al. [14] [15] diejenigen des Decoders verwenden; LaGSplat übernimmt die Übertragung, nicht jedoch die messtechnische Herkunft der Größen. Zu den relevanten Trainingsproblemen zählen die Identifizierbarkeit allein aus Positionen [5], nichtkonvexe Potenziale [30], schlecht konditionierte Massenmatrizen [23, 34] und unzureichende Langzeitstabilität bei der Anpassung von Ableitungen über einzelne Zeitschritte [24] [27] [36].Quelle: §2.2 · p. 5

2.3 Erzeugung physikalisch plausibler Videos

  • Videogeneratoren mit vorgegebener Physik können Eingriffe unterstützen, lernen ihre Bewegungsgesetze jedoch nicht aus der beobachteten Bewegung des gefilmten Objekts.VR-GS [29] unterstützt fortlaufende Echtzeitinteraktion, verwendet aber manuell festgelegte Materialeigenschaften und einen statischen Mehransichtsscan. PhysDreamer kalibriert die Steifigkeit anhand diffusionsgenerierter Videos unter vorgegebener MPM-Physik und reagiert anschließend auf Anfangsimpulse statt auf anhaltende Kräfte; dabei benötigt es etwa eine Minute Simulation pro gerenderter Sekunde.Quelle: §2.3 · p. 5
  • Force Prompting [18] lernt kraftkonditionierte Videos ohne Mechanik, benötigt dafür Kraft-Video-Trainingspaare und legt die Kraft vor der Erzeugung fest, statt kausale Interaktion zu ermöglichen.Die Erzeugung erfolgt weder in Echtzeit noch kausal für jedes Einzelbild. LaGSplat akzeptiert dagegen bislang ungesehene Kräfte, die sich jederzeit ändern können, und überträgt sie mittels virtueller Arbeit über materielle Punkte in die identifizierte Dynamik.Quelle: §2.3 · pp. 5–6
  • NeuROK [17] nutzt ebenfalls latente Euler–Lagrange-Dynamik und interaktive Krafteinwirkung mittels virtueller Arbeit, lernt jedoch übertragbare Netzmechanik, statt ein System aus dessen eigenem Video zu identifizieren.Sein nichtlinearer Netzdecoder liefert die Rückzugsmetrik G(q) = J^T J und die Kraft Q = J^T F für nutzergewählte Bereiche und Zeitfenster, anders als der affine Gauß-Decoder von LaGSplat. LaWM [73] lernt dagegen eine konservative latente Lagrange-Funktion aus Simulator-Renderings, bei Verfügbarkeit mit zusätzlichen Signalen; seine simulierten Trajektorien bleiben ohne äußere Krafteinwirkung.Quelle: §2.3 · p. 6

2.4 Lernen und Simulieren unter Videosupervision

  • Videogestützt erlernte Simulation identifiziert das gefilmte System und extrapoliert über die Aufnahme hinaus, doch unstrukturierte Entwicklungsgesetze bieten weder mechanische Krafteingaben noch garantierte physikalische Plausibilität.Chen et al. [8] entdecken kompakte Zustände, treffen Vorhersagen jedoch über neu erzeugte Pixel; Zhu et al. [81] erzwingen mit Lipschitz-Filtern kontinuierliche latente Zustände, bevor sie eine unbeschränkte neuronale ODE anpassen. Auch ParticleGS [62], EvoGS [3], GaussianPrediction und NVFi [39] fehlen erlernte Energie-, Trägheits- und Dissipationsstrukturen, die eine Eingabe für äußere Kräfte bereitstellen würden.Quelle: §2.4 · p. 6
  • Strukturierte videobasierte Vorläufer schränken die Mechanik oder die Krafteinleitung ein; LaGSplat fixiert dagegen eine aus der Rekonstruktion abgeleitete latente Koordinatenkarte, bevor es ein dissipatives Gesetz mit zustandsabhängiger Trägheit lernt.Pixel-HNN [21] ist konservativ und ohne äußere Krafteinwirkung und verwendet einen Decoder mit festen Pixelpositionen; Castañeda Garcia et al. [7] passen bekannte skalare Gleichungen ohne Rekonstruktion an; Krauss et al. [35] lernen lineare Oszillatoren, die ausschließlich über gemessene Druckkanäle angeregt werden und deren Aufmerksamkeitsschwerpunkte keine generativen materiellen Punkte sind. LaGSplat übernimmt Lipschitz-Filter von Zhu et al. [81] und berücksichtigt mit M(q) Skalierung und Krümmung der Koordinatenkarte; vier latente Koordinaten übertreffen die zehndimensionale Oszillatorkette beim pneumatischen Roboter mit zwei Segmenten.Quelle: §2.4 · pp. 6–7
  • LaGSplat kombiniert videogestützt erlernte latente dissipative Mechanik, explizite bewegliche Gauß-Primitive und interaktive Kräfte und zielt dabei auf das gefilmte System statt auf Zero-Shot-Transfer.Die Achsen der Primitive tragen denselben Zustand, der durch die Bewegungsgleichung bestimmt wird, und koppeln so Kraftangriffspunkte an die integrierten Koordinaten. Wang et al. [69] unterstützen ebenfalls angelegte Kräfte, passen jedoch vorgegebene Starrkörperdynamik mit vordefinierten Posen an, statt latente Zustände für starre und deformierbare Objekte zu entdecken.Quelle: §2.4 · p. 7

3 Methode

LaGSplat lernt mit einem Gaussian-Splatting-Autoencoder eine kontinuierliche latente Karte und friert diese anschließend ein, um dissipative Lagrange-Dynamik anzupassen. Die Decoder-Kinematik überführt zuvor nicht beobachtete Nutzerkräfte in latente generalisierte Kräfte; eine Kalibriermessung legt den physikalischen Kraftmaßstab fest.

3.1 Problemstellung und Überblick

  • Ein unüberwacht gelernter latenter Zustand dient zugleich als generalisierte Koordinate und als Rendering-Bedingung; das Erscheinungsbild wird vor der Dynamikanpassung auf der eingefrorenen Karte trainiert.Stufe 1 passt Encoder und Gaussian-Splatting-Decoder gemeinsam an; Stufe 2 friert beide ein, kodiert den Videoclip einmalig und passt die latente Lagrange-Funktion sowie die Dissipation an.Quelle: §3.1 · p. 7

3.2 Stufe 1: Autoencoder und latente Karte

  • Lipschitz-beschränkte Encoder-Filter bewahren die zeitliche Kontinuität, während Whitening und eine aus dem Decoder abgeleitete Sichtbarkeitsmetrik die unterschiedliche Beobachtbarkeit latenter Richtungen berücksichtigen.Die Kontinuitätsregularisierung folgt Zhu et al. [81]; die latente Dimension ergibt sich aus bekannten physikalischen Freiheitsgraden oder der kleinsten Breite, die eine nahezu perfekte Rekonstruktion erreicht. Die eingefrorenen kodierten Zustände werden durch Whitening auf Mittelwert null und Einheitskovarianz gebracht; der über die Trajektorie gemittelte Rückzug der Bildmetrik gewichtet die Dynamikanpassung und die berichteten Fehler.Quelle: §3.2 · pp. 7–8
  • Zustandskonditionierte Gauß-Splats speichern wiederholt besuchte Zustände nur einmal und rendern Trajektorien aus zuvor nicht beobachteten Anfangsbedingungen oder angelegten Kräften.Die Konditionierung verschiebt Zentren affin, hält die bedingte Kovarianz zustandsunabhängig und unterdrückt im latenten Raum weit entfernte Primitive; das photometrische Training umfasst Strafterme für Kontinuität und Ellipsoid-Achsenverhältnisse. Die direkte 2D-Ausgabe nutzt monokulare Supervision, während 3D-Rendering aus neuen Ansichten Mehransichten-Supervision erfordert, die in den Experimenten mit SHARP [51] synthetisiert wird.Quelle: §3.2 · p. 8

3.3 Stufe 2: Latente Lagrange-Dynamik

  • Gelernte positiv definite Trägheit und Dämpfung ergänzen ein konvexes oder invexes Potenzial und ermöglichen gekrümmte latente Karten sowie nichtkonvexe Energie-Niveaulinien bei weiterhin nur einem Gleichgewicht.Die Lagrange-Funktion trennt kinetische und potenzielle Energie; die gelernte Masse nimmt die Kartengeometrie auf. Eine parameterfreie Alternative auf Basis der Decoder-Jacobi-Matrix setzt gleichmäßig verteilte sichtbare Trägheit voraus; die berichteten Ergebnisse verwenden jedoch die gelernte Masse. Ein Input-Convex Neural Network [2] modelliert konvexe Potenzialmulden; seine Verknüpfung mit einem gelernten Diffeomorphismus ergibt ein invexes Potenzial [65], während mehrere Mulden eine lokal konvexe Variante erfordern würden [30].Quelle: §3.3 · p. 9
  • Eine positive Dämpfungsuntergrenze gewährleistet beschränkte, konvergente freie Systemantworten, während konkave Kammervolumenabbildungen unter nichtnegativen pneumatischen Drücken ein eindeutiges stabiles Gleichgewicht bewahren.Diese Stabilitätseigenschaften gelten bereits vor dem Training; die freie Dynamik kommt im Potenzialminimum zur Ruhe, bei anhaltender Belastung im zugehörigen belasteten Gleichgewicht. Gemessene Kammerdrücke gehen über Ableitungen der latenten Kammervolumenabbildung als generalisierte Kräfte ein.Quelle: §3.3 · p. 9
  • Das Dynamiktraining minimiert den sichtbarkeitsgewichteten Einschritt-Vorhersagefehler; die Modellauswahl nutzt dagegen den Mehrschritt-Rollout-Fehler, um den blinden Fleck von Teacher Forcing bei langen Zeithorizonten auszugleichen.Ein differenzierbarer Velocity-Verlet-Schritt sagt den nächsten kodierten Zustand voraus; die Gewichtung mit der Decoder-Metrik approximiert den Bildfehler ohne Rasterisierung. Eine isotrope Untergrenze begrenzt das Gewichtungsverhältnis auf 1/ρ und verhindert, dass kaum sichtbare, potenziell steife Richtungen unbeschränkt bleiben.Quelle: §3.3 · p. 9

3.4 Interaktion und Inferenz

  • Jacobi-Matrizen der Gauß-Zentren überführen zuvor nicht beobachtete Nutzerkräfte in latente generalisierte Kräfte; Kontaktbeiträge werden über die Nachbarschaft gemischt, und eine Messung kalibriert den physikalischen Kraftmaßstab.Die affine Kinematik jedes Primitivs liefert eine konstante Jacobi-Matrix, sodass der Kraftrückzug O(nd) ohne Netzwerkdifferenzierung bei der Inferenz benötigt. Das Video bestimmt Richtung und Form der Systemantwort; eine globale Mehrdeutigkeit der Energieskala erfordert jedoch eine bekannte Kraft-Antwort-Messung.Quelle: §3.4 · p. 10
  • Dynamik mit 30 oder 60 Hz und Rendering mit über 80 fps auf einer 16-GB-GPU ermöglichen Interaktion mit kraftmodifizierten Trajektorien und veränderbaren physikalischen Eigenschaften.Ein oder zwei Einzelbilder initialisieren Zustand und Geschwindigkeit; bei einem Einzelbild wird eine Anfangsgeschwindigkeit von null angenommen. Symplektische Integration begrenzt die Energiedrift bei langen Rollouts [9]. Das Rendering läuft unabhängig von der Dynamik; die Skalierung von D, T oder V verändert Dämpfung, Trägheit beziehungsweise effektives Potenzial.Quelle: §3.4 · p. 10

4 Experimente

Die Experimente bewerten LaGSplats Rekonstruktion der Eigenfrequenzen, Vorhersagegenauigkeit bei weichen Robotern, dissipative Langzeitbewegung und interaktive Reaktionen auf aufgebrachte Kräfte. Mangels Referenzdaten zu Kräften untersuchen die interaktiven Tests die Verformung weicher Roboter und richtungsabhängige Reaktionen einer 3D-Wippe, die durch die erlernte Kinematik der Gauß-Primitiven bestimmt werden.

4.1 Versuchsprotokoll

  • Die Experimente passen die Dynamik auf eingefrorenen photometrischen latenten Karten für reale Systeme mit d = 1–4 an, ohne Zustands-, Kraft- oder Drehmomentannotationen.Die Testfälle umfassen starre Oszillatoren, einen hängenden Beutel und druckgesteuerte weiche Roboter [35]; die Dimensionen für nichtstarre Systeme werden empirisch gewählt, und nur die Wippe erhält 3D-Supervision aus mehreren Ansichten. Rollouts ohne erneute Verankerung werden anhand des Frequenzfehlers, der sichtbarkeitsgewichteten latenten NRMSE und des Bildfehlers relativ zum Fehlerniveau des Autoencoders bewertet; latente Fehler und Bildfehler werden über zwei Eigenperioden gemittelt.Quelle: §4.1 · pp. 10–11

4.2 Ergebnisse über die Testfälle hinweg

  • Der Eigenfrequenzfehler beträgt bei allen Systemen 1–6%, mit Ausnahme des einsegmentigen Roboters, dessen nicht angeregte Eigenmode zu 31.4% Fehler führt.Auch kleine Frequenz- und Dämpfungsfehler führen zu einer zunehmenden Phasendrift: Der latente Fehler des hängenden Beutels steigt von 0.150 über zwei Perioden auf 0.396 über sieben. Das Doppelpendel erreicht einen latenten Fehler von 0.947 über zwei Perioden und 1.544 über die gesamte Videosequenz und zeigt damit die Grenzen der Identifikation chaotischer Bewegung aus 211 Trainingsbildern.Quelle: Table 2 · p. 11, §4.2 · pp. 11–12

4.3 Was der Lagrange-Prior bewirkt

  • Bei GaussianPrediction bleiben nach 1000 Sekunden 53% der Anfangsamplitude erhalten, während LaGSplat sein strukturell erzwungenes stabiles Gleichgewicht innerhalb einiger zehn Sekunden erreicht.GaussianPrediction erzielt auf zurückgehaltenen Testdaten dennoch einen um 2.0 dB höheren PSNR und einen Frequenzfehler von 0.9% gegenüber 1.2% bei LaGSplat; seine langfristig vorhergesagten Bilder bleiben visuell konsistent und innerhalb des beobachteten latenten Bereichs. Beide unterschätzen den Dissipationskoeffizienten des gefilmten Zeitfensters: LaGSplat um 29% und GaussianPrediction um 60%.Quelle: Table 3 · p. 12, §4.3 · p. 12

4.4 Realer aktiv angesteuerter weicher Roboter

  • Nur LaGSplat unterstützt das Aufbringen von Kräften an beliebigen Stellen im Bild; Osc. + ABCD erlaubt d/2 Angriffspunkte, während Koopman-Baselines keine mechanischen Kräfte verarbeiten können.Dekonvolutionale Decoder stellen keine Kraftangriffspunkte bereit, und nur die Oszillatordynamik wandelt latente Kräfte mechanisch in Beschleunigung um; die andere Oszillator-Baseline akzeptiert Kräfte daher nur in latenten Koordinaten. Die Robotervergleiche übernehmen das veröffentlichte Protokoll mit 32 × 32, 60 fps und einer zusammenhängenden 80/20-Aufteilung. Dabei nutzen sie gemessene Drücke über eine erlernte konfigurationsabhängige Ansteuerung sowie veröffentlichte Baseline-Fehler über 30 Schritte und 50 Validierungstrajektorien.Quelle: §4.4 · pp. 13–14
  • Ein Pixel-MSE von 0.769 × 10^-3 macht LaGSplat zum genauesten Prädiktor für den zwe segmentigen weichen Roboter über den Benchmark-Horizont von 0.5 Sekunden.Dieser Median über fünf Zufallsinitialisierungen wird mit d = 4 gegenüber d = 10 bei den Baselines erreicht und verbessert die Ergebnisse gegenüber Osc. + ABCD, Osc. + deconv, Koopman + deconv und Koopman + ABCD um die Faktoren 8.5, 30, 7.4 beziehungsweise 1.28. Der letzte Vorsprung ist gering; beim schwach angeregten einsegmentigen Roboter liegt LaGSplat auf dem letzten Platz, und die Trägheit ist nur schlecht identifizierbar.Quelle: Table 4 · p. 14, §4.4 · p. 14
  • Beim zwe segmentigen Roboter erzielt die decoderinduzierte Trägheit über 0.5 Sekunden 1.33 × 10^-3 gegenüber 0.769 × 10^-3 mit erlernter Trägheit, liegt aber vor drei der vier Baselines.Die parameterfreie, aus der Jacobi-Matrix des Decoders abgeleitete Trägheit setzt eine gleichmäßige Dichte voraus; im Vergleich bleiben Autoencoder, latente Karte, Zielfunktion und Einstellungen unverändert, während die übrigen Terme neu trainiert werden. Der Frequenzfehler beträgt 6.9% gegenüber 5.7% mit erlernter Trägheit, während konstante Trägheit bei diesem Testfall 4.8 × 10^-3 erreicht.Quelle: §4.4 · p. 14

4.5 Aufbringen von Kräften

  • Im Training nicht beobachtete Bildkräfte gehen ohne erneutes Training über J(q)^T f in die erlernte Dynamik ein, wirken mit der Druckansteuerung zusammen und erhalten die gerenderten Reaktionen bei Änderungen der latenten Koordinaten.Die Übertragung summiert die Beiträge der Jacobi-Matrizen der einzelnen Primitive unter dem Klickpunkt und nutzt dabei die bereits durch das Videotraining festgelegte Kinematik. Da weder Referenzdaten zu Kräften noch eine absolute Energiekalibrierung vorliegen, untersuchen die Experimente Verhältnisse, Vorzeichen und Summen der Gleichgewichtsreaktionen, die gegenüber der nicht identifizierten Energieskala invariant bleiben.Quelle: §4.5 · p. 15
  • Ein relativer Fehler von 8 × 10^-8 stützt die Kraftsuperposition an der Wippe, neben der Skalierung mit dem Hebelarm, dem Vorzeichenwechsel und einer vernachlässigbaren Hintergrundreaktion.Gleiche Kräfte erzeugen bei zunehmendem Hebelarm latente Verschiebungen von -0.50, -0.76 und -0.84 sowie auf der anderen Seite des Drehzentrums +1.22; Klicks auf den Hintergrund ergeben ohne Segmentierung absolute Verschiebungen ≤ 0.007. Beim verformbaren Roboter folgen beide Segmente nach links beziehungsweise rechts gerichteten Kräften. Wird nur das erste belastet, biegt sich auch das zweite, wobei die Abbildung keine Unterscheidung zwischen möglichen Erklärungen erlaubt.Quelle: §4.5 · p. 15
  • Kraftreaktionen innerhalb und zwischen Segmenten entstehen allein durch die erlernte Kinematik, ohne explizites Wissen über die Segmente, da Nutzer Kräfte auf ausgewählte Gauß-Primitive aufbringen.Eine Quantifizierung des Verformungsfehlers würde aufgezeichnete Reaktionen auf bekannte Punktkräfte erfordern, die keines der verfügbaren Systeme bereitstellt.Quelle: §4.5 · p. 16
  • Der zwe segmentige weiche Roboter von Krauss et al. [35] biegt sich unter seitlichen Kräften und dehnt oder verkürzt sich unter axialen Kräften, wobei die Links-rechts-Symmetrie weitgehend erhalten bleibt.Entgegengesetzte Kräfte am Segmentübergang und an der Spitze biegen das zweite Segment, während das erste etwa ein Viertel so stark wie unter der alleinigen Kraft am Segmentübergang ausgelenkt wird, jedoch in die Gegenrichtung. Die Schwerkraft verhindert eine Interpretation dieser Reaktion als statisches Gleichgewicht.Quelle: Figure 9 · p. 16, §4.5 · p. 16
  • Synthetische SHARP-Ansichten dienen als Supervision für den 3D-Decoder; ein Klick sendet einen Strahl zur ersten geschnittenen Gauß-Primitive, an der eine Kraft in Weltkoordinaten aufgebracht wird.Das Trainingssignal stammt aus gerenderten Ansichten räumlich rekonstruierter Einzelbilder statt aus realen Mehrkameraaufnahmen.Quelle: §4.5 · p. 16
  • Unter orthogonaler 3D-Krafteinwirkung ändert sich der latente Zustand um weniger als 3 × 10^-9, während eine gleich große vertikale Kraft zum Gleichgewicht q = +1.52 führt.Bei der Wippe mit einem einzigen Freiheitsgrad erzeugt die orthogonale Kraft J^T f = -3.1 × 10^-17, also unabhängig vom Kraftbetrag praktisch null.Quelle: §4.5 · pp. 16–17, Figure 10 · p. 17

5 Diskussion

Die Diskussion von LaGSplat benennt Grenzen der Dynamikannahmen, der Videoabdeckung, der Kraftvalidierung und der Modellierungsentscheidungen und skizziert Erweiterungen um komplexere Physik, Simulatorkopplung, Regelung und systemübergreifendes Lernen.

Einschränkungen

  • Die Lagrange-basierte Vorannahme beschränkt LaGSplat auf wenige Koordinaten, glatte Kinematik und dissipative Dynamik, die autonom ist oder durch gemessene Eingangsgrößen angetrieben wird.Die implementierte Dynamik schließt Kontakt, Stöße, Topologieänderungen, Plastizität und Hysterese aus, obwohl ein unstrukturierter Bewegungsprädiktor diese Verhaltensweisen abdecken kann. Alternative niedrigdimensionale Evolutionsgleichungen könnten die Interaktionsfähigkeit nur erhalten, wenn sie die generalisierte Kraft J^T f aufnehmen; für Kontakt und Plastizität existieren geeignete Formulierungen, doch keine davon ist implementiert.Quelle: §5 · p. 17

Beobachtbarkeit, Abdeckung und gezielte Anregung

  • Das Lernen aus Videos erfordert beobachtbare, hinreichend angeregte Zustände und mit wachsendem latentem Zustandsraum immer umfangreichere Aufnahmen.Bewegungen aus der Bildebene heraus erfordern tatsächliche Mehransichtenaufnahmen; unbeobachtete Bewegungen bleiben unzugänglich: Die Wippe kann unter einem starken Stoß nicht kippen, weil ihr Videoclip das Kippen nie anregt. Für die Darstellung müssen die Gauß-Primitive jeden erreichbaren Zustand abdecken, während die Einzelbilder diesen Bereich dicht abtasten müssen, um die Dynamik zu identifizieren; gezielt entworfene, persistent anregende Eingangsgrößen oder Freisetzungsversuche könnten die Abdeckung verbessern.Quelle: §5 · pp. 17–18

Einschränkungen und gemessene Kräfte

  • Dem Kraftmechanismus fehlt eine Validierung anhand gemessener Kräfte, obwohl bereits ein einzelner Stoß mit Kraftmessung die modellweite Energieskala kappa bestimmen würde.Bisherige Tests prüfen Eigenschaften der Jacobi-Matrix, die gegenüber kappa invariant sind; PokeFlex [54] liefert protokollierte Interaktionen, würde jedoch das quasistatische Gleichgewicht statt der erzwungenen Dynamik prüfen. Die Validierung erfordert eine feste monokulare Kameraperspektive, wenige Freiheitsgrade sowie aufgezeichnete Kräfte und Kontaktpunkte; das Maskieren von Händen und der Einsatz instrumentierter Handschuhe könnten Aufnahmen menschlicher Manipulation ermöglichen.Quelle: §5 · pp. 17–18

Dichteannahmen und Materialtrennung

  • Primitive mit einheitlicher Dichte können die Trägheit falsch schätzen und bewegten Schatten fälschlich Masse und eine Reaktion auf Kräfte zuweisen.Der Trägheitsfehler wurde nur an einem System gemessen und war dort gering; Objekte mit stark unterschiedlichen Materialdichten könnten sich anders verhalten. Eine erscheinungsbasierte Materialvorhersage nach Le et al. [37] und Lin et al. [45] könnte relative Dichten der Primitive bestimmen, nicht jedoch kappa; eine Objekt-Schatten-Segmentierung würde Schatten sowohl aus der Massen- als auch aus der Kraftberechnung ausschließen.Quelle: §5 · pp. 17–19

Training und latente Dimension

  • Die sequenzielle Anpassung wurde in LaGSplat noch nicht mit gemeinsamem Training verglichen; zugleich wird die latente Dimension manuell gewählt und kann überschätzt werden.Friedl et al. [14] berichten für gemeinsames Training über um eine Größenordnung bessere Vorhersagen im dekodierten Raum, während Zhu et al. [81] mit einer kontinuierlichen latenten Repräsentation und einem eingefrorenen Encoder herkömmliche gemeinsam trainierte Kombinationen übertreffen; wegen unterschiedlicher Encoder und der Nutzung simulierter Zustände statt Videos bleibt die Wahl für LaGSplat ungeklärt. Die Dimension wird anhand physikalischer Überlegungen oder eines Knicks im Verlauf des Rekonstruktionsfehlers gewählt, obwohl Chen et al. [8] eine Verschlechterung der Rekonstruktion berichten, noch bevor die latente Dimension die minimale Zustandsdimension erreicht.Quelle: §5 · p. 18

Kontakt, Stöße, Plastizität und Hysterese

  • Kontakt und Stöße erfordern eine kompatible Kollisionsgeometrie, während Plastizität und Hysterese einen verlaufsabhängigen Zustand jenseits des derzeitigen Einzelbild-Encoders benötigen.Ein differenzierbares latentes Kontaktmodell [80] könnte Impulse der Primitive über J^T übertragen, anders als der derzeitige Kraftpinsel für kontinuierliche Zustände; Wang et al. [69] liefern eine Kollisionsgeometrie auf Basis von Gauß-Primitiven, doch der Erhalt der anisotropen Kovarianzen von LaGSplat bleibt ungelöst. Für Plastizität ließen sich nach Masi und Stefanou interne Variablen, freie Energie und Dissipation ergänzen, was die Dimension erhöhen und Zeitfenster aus mehreren Einzelbildern erfordern würde; mit Systemantworten überwacht trainierte rekurrente Modelle bieten einen Ansatz, wenn mikroskopische interne Variablen unbeobachtet bleiben.Quelle: §5 · p. 18

Simulatorkopplung, Regelung und mehrere Systeme

  • Vorgeschlagene Erweiterungen umfassen Simulatorkopplung, modellbasierte Regelung, unabhängige Mehrkörperdynamik sowie gelenkig verbundene oder explizit zwangsbeschränkte Systeme.Reaktionskräfte eines Simulators könnten über J^T eingehen, während die Primitive ohne erneutes Training Kollisionsgeometrie zurückliefern; identifizierte Masse, Dissipation, Potenzial und Aktuierung könnten die Regelung weicher Roboter ohne Gelenkwinkelgeber ermöglichen [34] [48]. Unabhängige Objekte sollten ungekoppelte Koordinatenblöcke besitzen und einen Test bestehen, bei dem ein Stoß auf ein Objekt die anderen unbeeinflusst lässt; die derzeitigen Verlustfunktionen fördern diese Struktur jedoch nicht, und der Produktzustandsraum erhöht die Anforderungen an die Abdeckung. Lagrange-Graphnetzwerke [6] könnten gelenkige Verbindungen unterstützen, während explizite Zwangsbedingungen [13] derzeit nicht durchgesetzt werden, um eine unbekannte Topologie der Zwangsbedingungen zuzulassen.Quelle: §5 · pp. 18–19

Systemübergreifende Vorannahmen und gemeinsame Koordinatenkarten

  • Systemübergreifende kinematische und dynamische Vorannahmen könnten den Aufnahmeaufwand verringern, erfordern jedoch latente Koordinaten mit konsistenten Rollen über Systeme hinweg.Vorannahmen zu Kinematik, Masse, Potenzial und Dissipation könnten im Sinne von [17] [73] kürzere Videoclips zur Identifikation ermöglichen; koordinateninvariante Kraftübertragung erlaubt einen gemeinsamen Raum, gleicht aber allein die Bedeutungen der Koordinaten nicht an. NeuROK [17] lernt einen gemeinsamen Encoder, während ein eingefrorener DINOv2 [55] oder Video-Encoder nach dem JEPA-Ansatz [71] das szenenspezifische Encoder-Training überflüssig machen könnte, sofern ihre Merkmale die wenigen bewegungsrelevanten Freiheitsgrade auflösen.Quelle: §5 · p. 18

6 Fazit

LaGSplat lernt direkt aus Video einen niedrigdimensionalen physikalischen Zustand und nutzt die Jacobi-Matrizen des Decoders, um zuvor ungesehene Kräfte ohne erneutes Training anzuwenden. Seine Lagrange-Vorannahme schränkt die Anwendbarkeit ein, liefert dafür aber beschränkte, physikalisch plausible Reaktionen.

6 Fazit

  • Ein einziger niedrigdimensionaler Zustand ersetzt die Zeitparametrisierung und dient zugleich als generalisierte Koordinaten einer dissipativen Lagrange-Funktion und als Konditionierungsvariable für einen Decoder expliziter beweglicher Punkte.Der Zustand wird nicht direkt überwacht: Allein das Video liefert das Trainingssignal.Quelle: §6 · p. 19
  • Vier Koordinaten genügen LaGSplat, um beim zweigliedrigen weichen Kontinuumsroboter von Krauss et al. [35] alle vier Alternativen zu übertreffen; veröffentlichte Vergleichsverfahren nutzen zehn.Die Auswertung verwendet die Daten, Datenaufteilung und das Protokoll der Autoren. Auch eine aus der Decoder-Kinematik abgeleitete Trägheit ohne freie Parameter übertrifft noch drei Vergleichsmodelle.Quelle: §6 · p. 19
  • Bei sieben realen Systemen mit einem bis vier Freiheitsgraden weichen die erlernten Eigenfrequenzen nur um wenige Prozent von den im Video beobachteten Frequenzen ab, sofern diese in den Aufnahmen angeregt werden.Quelle: §6 · p. 19
  • Tausend Sekunden später kreist GaussianPrediction noch immer, während LaGSplat ein stabiles Gleichgewicht erreicht, das im Training nie gezeigt wurde.GaussianPrediction ist ein Bewegungsprädiktor ohne mechanische Struktur.Quelle: §6 · p. 19
  • Zuvor ungesehene Kräfte gehen über die Jacobi-Matrizen des Decoders ohne erneutes Training in die erlernten Gleichungen ein, obwohl im Training keine Kräfte angewendet wurden.Kräfte können überall im Bild oder bei Überwachung aus mehreren Ansichten im rekonstruierten Volumen wirken. Die Kinematik bestimmt ihre Richtung und Form, doch ihre Amplitude bleibt nur bis auf einen globalen Energiefaktor identifizierbar.Quelle: §6 · p. 19
  • Die Lagrange-Vorannahme schränkt die abbildbare Systemklasse ein und ermöglicht dafür beschränkte, physikalisch plausible Reaktionen auf zuvor ungesehene Kräfte.Quelle: §6 · p. 19

A Herleitungen

Dieser Anhang leitet die Übertragung von Kräften und Trägheit durch die erlernte Kinematik sowie die Energiebilanz her, die der Bemerkung zur beschränkten Systemantwort zugrunde liegt.

A.1

  • In Section A.1 wird hergeleitet, wie die erlernte Kinematik sowohl Kräfte als auch Trägheit überträgt.Quelle: A Derivations · p. 19

A.2

  • In Section A.2 wird die Energiebilanz hergeleitet, die der Bemerkung zur beschränkten Systemantwort zugrunde liegt.Quelle: A Derivations · p. 19

A Herleitungen

A.1 Kräfte und Trägheit aus der gelernten Kinematik

Die gelernte Kinematik der Primitive bestimmt sowohl generalisierte Kräfte als auch kinetische Energie. Die Kraftübertragung erhält die virtuelle Arbeit unabhängig von der latenten Koordinatenkarte, während die Präsenzgewichtung die Trägheit konfigurationsabhängig macht.

Übertragung einer Kraft

  • Angelegte Kräfte werden über die gelernte kinematische Jacobi-Matrix auf eindeutige latente generalisierte Kräfte zurückgeführt, die die virtuelle Arbeit erhalten und die Energiebilanz des Modells einhalten.Stufe 1 lernt für jedes Primitiv eine affine Positionsabbildung, analog zu Teilchenpositionen in der analytischen Mechanik. Eine Kraft f auf Primitiv i wird zu J_i^T f.Quelle: §A.1 · p. 19

Invarianz gegenüber der latenten Koordinatenkarte

  • Die Reaktion auf eine vom Nutzer ausgeübte Kraft ist unter glatten Wechseln der latenten Koordinaten invariant, obwohl diese Koordinaten keine intrinsische physikalische Bedeutung haben.Unter q = ψ(q̃) wird die Jacobi-Matrix zu J_i Ψ und die generalisierte Kraft transformiert sich als Ψ^T f_lat, wodurch die Arbeit bei der transformierten virtuellen Verschiebung erhalten bleibt.Quelle: §A.1 · p. 19

Dieselbe Abbildung bestimmt die Trägheit

  • Gleiche Massen der Primitive, gewichtet mit der normierten latenten Opazität, führen zu einer konfigurationsabhängigen Massenmatrix und Coriolis-Termen, obwohl die kinematischen Jacobi-Matrizen konstant sind.Die Geschwindigkeiten der Primitive erfüllen μ̇_i = J_i q̇, sodass sich die kinetische Energie aus den gelernten Positionsabbildungen ergibt. Die gesamte Zustandsabhängigkeit der Massenmatrix stammt aus den Präsenzgewichten.Quelle: §A.1 · pp. 19–20

A.2 Beschränkte Antwort auf äußere Kräfte

Bei positiv definiter Trägheit, einem koerziven Potential und strikt positiver Dämpfung bleiben die freien und die durch konstante Kräfte angeregten Bewegungen von LaGSplat beschränkt und konvergieren zu Gleichgewichtslagen. Diese Garantien für kontinuierliche Zeit gewährleisten keine quantitative Genauigkeit weit entfernt von den Trainingsdaten.

Annahmen

  • Die Garantien setzen positiv definite Trägheit, ein durch eine quadratische untere Schranke erzwungenes koerzives Potential und eine gleichmäßig positive untere Dämpfungsschranke voraus.Ohne Koerzivität könnte die Energie abnehmen, während ihre Subniveaumengen unbeschränkt blieben, sodass die Position driften könnte.Quelle: §A.2 · p. 20

Freier Verlauf

  • Jede freie Trajektorie bleibt beschränkt und konvergiert zum eindeutigen Minimum des Potentials; anhaltende Schwingungen sind unabhängig vom Training ausgeschlossen.Außerhalb des Ruhezustands nimmt die Energie ab, und das Invarianzprinzip von LaSalle sichert die Konvergenz zu Geschwindigkeit null und einem stationären Punkt des Potentials. Die starke Konvexität des mit einer unteren Schranke versehenen ICNN-Potentials und die invexe Konstruktion gewährleisten jeweils ein eindeutiges Minimum.Quelle: §A.2 · p. 20

Konstante Kraft

  • Eine konstante verallgemeinerte Kraft erzeugt eine beschränkte Antwort, die zu einer Gleichgewichtslage unter Last mit ∂V/∂q = f konvergiert.In der Energie unter Last E_f = T + V − f^T q hebt sich die zugeführte Leistung auf; die quadratische untere Potentialschranke dominiert den linearen Lastterm und erhält so die Koerzivität.Quelle: §A.2 · p. 20

Geltungsbereich

  • Die Garantien gelten für kontinuierliche Zeit; symplektische Integration begrenzt die langfristige Drift zeitdiskreter Simulationsverläufe, doch Beschränktheit impliziert keine quantitative Genauigkeit weit entfernt von den Trainingsdaten.Quelle: §A.2 · p. 20

B Deformationsfeld-Decoder bei gleichem Budget

Bei gleicher Anzahl an Primitiven und gleichen Trainingsbedingungen benötigt der Deformationsfeld-Decoder mehr Parameter, rekonstruiert die zur Anpassung verwendeten Einzelbilder aber ungenauer als LaGSplat. Seine unregelmäßigeren Primitivgeschwindigkeiten zeigen, dass ähnlich aussehende Renderings nicht zwangsläufig sinnvolle Ableitungen für Kraftübertragung und Trägheit liefern.

Decoder-Parametrisierung

  • LaGSplat konditioniert Primitive in einem (n+d)D-Volumen, um affine Positionen und konstante Jacobi-Matrizen zu erhalten; die Alternative verformt n-D-Primitive durch ein Netzwerk nach Wu et al..Die Familie der Deformationsfelder umfasst die Parametrisierung von LaGSplat und kann gekrümmte Primitivtrajektorien darstellen. Diese zusätzliche Freiheit verbessert in diesem Experiment jedoch nicht die Bildqualität.Quelle: B Deformation-Field Decoder at Equal… · p. 20

Materialverfolgung

  • Die Materialverfolgung erfolgt unüberwacht: LaGSplats Trajektorienbeschränkungen begünstigen, dass Primitive der Materie folgen, während Deformationsfelder zulassen, dass Primitive einander ersetzen, ohne die Renderqualität zu beeinträchtigen.LaGSplats sichtbare Primitive bewegen sich entlang fester Geraden in q, während latentes Gating sie ein- und ausblendet. Zentren und Ausdehnungen der Deformationsfeld-Primitive variieren frei, sodass ein Primitiv auf weniger als ein Pixel schrumpfen kann, während ein anderes an seiner Stelle wächst.Quelle: B Deformation-Field Decoder at Equal… · p. 20

Rekonstruktion

  • 0.0157 L1 und ein SSIM-Term von 0.076 beim Deformationsfeld übersteigen LaGSplats 0.0142 L1 und den SSIM-Term von 0.063 auf den zur Anpassung verwendeten Einzelbildern.Beide verwenden 15,000 Primitive sowie identische Verlustfunktionen, Regularisierer, Optimierer und Trainingspläne; die Parameterzahlen betragen 9.8M beim Deformationsfeld gegenüber 195k bei LaGSplat. Die Auswertung misst die eingesetzte Modellkapazität, nicht die Generalisierung.Quelle: B Deformation-Field Decoder at Equal… · p. 20

Das Feld der Jacobi-Matrizen

  • 6.9 px/s beträgt der Median der Geschwindigkeitsdifferenzen zwischen benachbarten Primitiven beim Deformationsfeld, gegenüber 1.4 px/s bei LaGSplat – trotz visuell ähnlicher Renderings.Das Deformationsfeld bewegt Primitive auch über den statischen Hintergrund. Diese Ableitungen bestimmen sowohl die Rücktransformation aufgebrachter Kräfte als auch die erschlossene Trägheit; die Rekonstruktionsqualität allein belegt daher nicht ihre physikalische Brauchbarkeit.Quelle: B Deformation-Field Decoder at Equal… · pp. 20–21, Figure 11 · p. 21

C Implementierungsdetails

LaGSplat verwendet für alle Systeme dieselben Architekturen, mit systemspezifischen Dimensionen, Bildauflösungen, Primitivanzahlen und Laufdauern. Zunächst werden Encoder und Decoder gemeinsam trainiert, anschließend die Dynamik auf einer fixierten, mittels Whitening normierten latenten Koordinatenkarte.

Architekturen

  • Alle Systeme verwenden dieselben Architekturen; latente Dimension, Bildauflösung, Primitivanzahl und Laufdauer variieren je nach System.Der kontinuitätserhaltende Faltungsencoder [81] verwendet drei Faltungen mit Schrittweite 2, 12×12-Filtern, zwei Kanälen und ELU-Aktivierungen, gefolgt von 4×4-Average-Pooling und einer linearen Abbildung in den latenten Raum, mit insgesamt etwa 2,000 Parametern. Der Decoder enthält 1,000–15,000 Gauß-Primitive der Dimension n + d.Quelle: C Implementation Details · p. 21
  • Weniger als 15,000 Parameter definieren das LNN, das ein ICNN für das Potenzial [2], gelernte Massen- und Dämpfungsmatrizen sowie kammerspezifische Aktuierungsköpfe kombiniert.Das Potenzial verwendet [64]-Softplus-Schichten und, wenn Invexität erforderlich ist, ein i-ResNet mit zwei Blöcken der Breite 64 und einer Lipschitz-Schranke von 0.9. Separate [64]-MLPs erzeugen den Cholesky-Faktor der Massenmatrix mit einer SPD-Untergrenze von 0.1 sowie die vollbesetzte Dämpfungsmatrix, die mit 0.2 I initialisiert wird und eine isotrope Untergrenze von 1 besitzt; jede Kammer hat einen invexen ICNN-Aktuierungskopf.Quelle: C Implementation Details · p. 21

Training

  • In Stufe 1 werden Encoder und Decoder mit etwa 5 × 10^4 Adam-Schritten gemeinsam trainiert; Gauß-Primitive mit geringer Opazität werden regelmäßig wiederverwendet.Die Verlustfunktion lautet 0.08 L1 + 0.02 (1 − SSIM) + 0.01 Anisotropie und verwendet ein 7×7-SSIM-Fenster. Gauß-Primitive mit maximaler Opazität unter 0.02 werden wiederverwendet, indem überlastete Primitive entlang des Eigenvektors ihrer Kovarianzmatrix zum größten Eigenwert aufgeteilt oder in Bereiche mit hohem Fehler versetzt werden. Bei Mehransichts-Supervision werden einmalig 65 SHARP-Renderings pro Frame berechnet und zwischengespeichert.Quelle: C Implementation Details · p. 21
  • In Stufe 2 wird mit etwa 5 × 10^4 Adam-Schritten ausschließlich die Dynamik trainiert, wobei auf zeitlichen Clip-Ausschnitten jeweils ein differenzierbarer Verlet-Schritt ausgeführt wird.Nach Stufe 1 wird anhand der Trainingsframes ein kovarianzbasiertes Whitening des latenten Raums berechnet und zusammen mit der Koordinatenkarte fixiert. Stufe 2 gewichtet latente Position und Geschwindigkeit in der Sichtbarkeitsmetrik gleich, mit Ridge-Regularisierung ρ = 0.01. Für hochauflösendes Rendering wird nur der Decoder auf der fixierten Koordinatenkarte nachtrainiert.Quelle: C Implementation Details · p. 21

Related papers

Loading 2608.16324v1…