PaperlayerView exact revision on arXiv

Resumen con IA · traducido del inglés con IA

LaGSplat: Inferring Physics-Governed Interactive Simulation from Monocular Video Using Latent Lagrangian Gaussian Splatting

Louen Pottier

arXiv:2608.16324v1cs.CVcs.LG

TL;DR

Aprender dinámica física interactiva a partir de vídeo exige combinar reconstrucción visual y mecánica sin coordenadas generalizadas medidas. LaGSplat acopla un lagrangiano disipativo aprendido y un decodificador de Gaussian Splatting con puntos móviles mediante un estado latente compartido de baja dimensión. En siete sistemas reales, recupera las frecuencias naturales con un error de un pequeño porcentaje en grabaciones que las excitan.

  • Problema

    El problema abierto es aprender dinámica física interactiva directamente a partir de vídeo, en lugar de usar coordenadas generalizadas medidas o datos de simuladores.

    Fuente: §1 · p. 2

  • Método

    LaGSplat acopla un lagrangiano disipativo aprendido y un decodificador de Gaussian Splatting con puntos móviles mediante un único estado latente de baja dimensión aprendido sin supervisión.

    Fuente: §1 · p. 2

  • Resultados

    Siete sistemas reales demuestran la recuperación de las frecuencias naturales con un error de un pequeño porcentaje respecto a los valores observados en vídeo, en grabaciones que excitan sus modos naturales.

    Fuente: §6 · p. 19

  • Conclusiones y limitaciones

    Los usuarios pueden aplicar fuerzas no vistas previamente a los objetos reconstruidos sin reentrenamiento, aunque la amplitud de la fuerza solo queda determinada salvo un factor global de energía.

    Fuente: §6 · p. 19

    La dinámica implementada supone pocas coordenadas generalizadas, una cinemática suave y un movimiento disipativo autónomo o con entradas medidas, lo que excluye el contacto, los impactos, los cambios de topología, la plasticidad y la histéresis.

    Fuente: §5 · p. 17

Abstract

from arXiv · show

We present LaGSplat (Latent Lagrangian Gaussian Splatting), a framework that infers interactive, physics-governed dynamics from one or a few monocular videos. At inference it lets a user push on the filmed object, rigid or deformable, with an external force that was never measured, annotated, or seen during training. This is possible because a low-dimensional latent state $\mathbf{q} \in \mathbb{R}^d$ plays two roles at once: it is the generalised coordinate of a learned dissipative Lagrangian and the conditioning variable of a Gaussian Splatting decoder. The inductive bias of this decoder, whose primitives are explicit points $μ_i(\mathbf{q})$ that move with the object, is what lets a force $f$ applied in the image pull back into a latent generalised force $J(\mathbf{q})^\top f$ and enter the equations of motion, which pixel-space (CNN) or neural-field (NeRF) decoders cannot do. We validate LaGSplat on test cases of increasing difficulty, from rigid to deformable and from autonomous to forced real systems, combining monocular video and sensor measurements. We further demonstrate interactive use: forces of arbitrary magnitude and direction can be applied to the reconstructed object at any time, its response rendered in real time, in 2D or 3D. Assuming a dissipative Euler-Lagrange equation over a few generalised coordinates trades generality for a bounded, plausible response to unseen forces, where an unconstrained predictor diverges.

1 Introducción

LaGSplat aprende un modelo físico y una representación gaussiana de la escena a partir de vídeo monocular, lo que permite interactuar en tiempo real mediante fuerzas no medidas previamente. Un estado latente compartido conecta la dinámica lagrangiana aprendida con puntos explícitos que se mueven con el objeto.

1 Introducción

  • Los métodos previos basados en vídeo utilizan dinámicas sin restricciones [62], ecuaciones predefinidas [7] [35] [69], píxeles fijos [21] [35] o ninguna reconstrucción [7].La reconstrucción dinámica [31] [75] reproduce el movimiento registrado sin interacción, mientras que el aprendizaje de sistemas físicos [11] [21] [48] requiere trayectorias observadas de coordenadas generalizadas. En cambio, LaGSplat identifica la física del sistema concreto filmado a partir de su propio vídeo y combina leyes mecánicas con primitivas explícitas móviles.Fuente: §1 · p. 2
  • Las coordenadas latentes emergen sin anotaciones de estado ni un simulador externo, restringidas conjuntamente por la reconstrucción fotométrica y un residuo de Euler–Lagrange.Un codificador transforma fotogramas en estados latentes, una red neuronal lagrangiana latente integra las ecuaciones aprendidas y el decodificador gaussiano renderiza los estados resultantes.Fuente: §1 · p. 2
  • Las primitivas explícitas móviles permiten incorporar las fuerzas aplicadas en la imagen: su jacobiano transforma una fuerza f en la fuerza generalizada latente J(q)^T f sin reentrenamiento.Esta transformación depende de la cinemática aprendida y no de las cargas aplicadas, por lo que puede determinarse a partir de un vídeo de entrenamiento de movimiento autónomo, sin ejemplos de fuerzas aplicadas.Fuente: §1 · p. 2
  • Las respuestas a fuerzas se limitan a los estados latentes recorridos durante el entrenamiento, tienen una escala global de amplitud sin determinar y no pueden activar modos de movimiento ausentes del vídeo.Con una dinámica bien identificada y primitivas que se mueven correctamente, la dirección y la forma de la respuesta son correctas; una medición de fuerza–desplazamiento calibra la amplitud y, en su ausencia, la escala se elige manualmente. Los modos no observados carecen de coordenadas latentes y se comportan como infinitamente rígidos.Fuente: §1 · p. 2
  • LaGSplat acopla un lagrangiano disipativo aprendido y un decodificador de Gaussian Splatting mediante un único estado latente, lo que permite la simulación interactiva en tiempo real a partir de vídeo monocular.El estado latente sirve simultáneamente como coordenadas generalizadas y como variable de condicionamiento del decodificador. El renderizado admite 2D o vistas 3D inéditas con supervisión de profundidad o multivista.Fuente: §1 · pp. 2–3
  • LaGSplat converge a un equilibrio estable ausente del entrenamiento, a diferencia de un predictor de movimiento sin una estructura mecánica a priori, y se centra en sistemas con pocas coordenadas generalizadas.La validación abarca un péndulo simple, un cuerpo rígido oscilante, una bolsa colgante y el actuador neumático de Krauss et al. [35], e incluye sistemas rígidos y deformables, autónomos y forzados.Fuente: §1 · p. 3

2 Trabajos relacionados

La sección distingue entre la síntesis de vistas dinámicas, la mecánica analítica aprendida, la generación de vídeo físicamente plausible y la simulación aprendida del propio vídeo de un sistema. LaGSplat adopta este último enfoque y combina una mecánica disipativa latente con primitivas gaussianas móviles a través de las cuales las fuerzas interactivas se incorporan a la dinámica.

2.1 Síntesis dinámica de nuevas vistas

  • Las primitivas gaussianas condicionadas por el estado latente proporcionan puntos materiales móviles, jacobianos de posición constantes y rasterización en tiempo real, lo que permite incorporar fuerzas interactivas en forma cerrada.Las formulaciones predominantes de NeRF [53] [56] [61] carecen de puntos materiales, aunque la deformación desde el objeto hacia el exterior [22], los campos de radiancia de partículas [44] y PAC-NeRF [40] ofrecen alternativas utilizables. LaGSplat sustituye el tiempo por coordenadas latentes en las gaussianas de mayor dimensión de Yang et al. [75] y rasteriza con gsplat [76]; a diferencia de la deformación canónica, esto preserva los mapeos afines de posición. FreeTimeGS [70] también favorece las primitivas situadas directamente en un espacio extendido para contenidos con abundante movimiento.Fuente: §2.1 · p. 3

2.2 Mecánica analítica aprendida

  • La mecánica latente aprendida ya permite el transporte inverso de fuerzas mediante trabajo virtual, pero los modelos existentes obtienen estados y fuerzas mediante instrumentación, no a través de puntos materiales renderizados en vídeo.L-LNN transporta las fuerzas mediante los jacobianos del codificador, mientras que Friedl et al. [14] [15] utilizan los del decodificador; LaGSplat adopta este transporte, pero no la obtención de datos mediante instrumentación. Entre las dificultades de entrenamiento relevantes figuran la identificabilidad a partir únicamente de posiciones [5], los potenciales no convexos [30], las matrices de masa mal condicionadas [23, 34] y la estabilidad insuficiente a largo plazo al ajustar derivadas en un solo paso [24] [27] [36].Fuente: §2.2 · p. 5

2.3 Generación de vídeo físicamente plausible

  • Los generadores de vídeo con física prescrita permiten realizar intervenciones, pero no aprenden las leyes que los rigen a partir del movimiento observado del objeto filmado.VR-GS [29] permite una interacción sostenida en tiempo real, pero utiliza propiedades de los materiales fijadas manualmente y un escaneo estático multivista. PhysDreamer calibra la rigidez frente a un vídeo generado por difusión bajo una física MPM prescrita; después responde a impulsos iniciales en lugar de fuerzas sostenidas, con un coste aproximado de un minuto de simulación por segundo renderizado.Fuente: §2.3 · p. 5
  • Force Prompting [18] aprende a generar vídeo condicionado por fuerzas sin modelar la mecánica; requiere pares de entrenamiento fuerza-vídeo y fija la fuerza antes de la generación, en lugar de permitir una interacción causal.Su generación no funciona en tiempo real ni es causal fotograma a fotograma. LaGSplat, en cambio, acepta fuerzas no vistas previamente que pueden cambiar en cualquier instante y las transporta, a través de puntos materiales y mediante trabajo virtual, a la dinámica identificada.Fuente: §2.3 · pp. 5–6
  • NeuROK [17] también utiliza dinámica latente de Euler–Lagrange y fuerzas interactivas mediante trabajo virtual, pero aprende una mecánica de mallas transferible en lugar de identificar un sistema a partir de su propio vídeo.Su decodificador no lineal de mallas proporciona la métrica inducida G(q) = J^T J y la fuerza Q = J^T F sobre regiones e intervalos temporales seleccionados por el usuario, a diferencia del decodificador gaussiano afín de LaGSplat. LaWM [73], por su parte, aprende un lagrangiano latente conservativo a partir de imágenes renderizadas por un simulador, con señales auxiliares cuando están disponibles, y sus trayectorias simuladas siguen sin incorporar fuerzas externas.Fuente: §2.3 · p. 6

2.4 Aprendizaje y simulación con supervisión por vídeo

  • La simulación supervisada por vídeo identifica el sistema filmado y extrapola más allá de la grabación, pero las reglas de evolución no estructuradas no ofrecen entradas de fuerza mecánica ni garantizan la plausibilidad física.Chen et al. [8] descubren estados compactos, pero predicen mediante píxeles regenerados; Zhu et al. [81] imponen filtros de Lipschitz para obtener estados latentes continuos antes de ajustar una EDO neuronal sin restricciones. ParticleGS [62], EvoGS [3], GaussianPrediction y NVFi [39] también carecen de estructuras aprendidas de energía, inercia y disipación que permitan incorporar una entrada de esfuerzo externo.Fuente: §2.4 · p. 6
  • Los métodos estructurados previos basados en vídeo restringen la mecánica o la aplicación de fuerzas, mientras que LaGSplat fija una carta latente obtenida de la reconstrucción antes de aprender una ley disipativa con inercia dependiente del estado.Pixel-HNN [21] es conservativo, no incorpora fuerzas externas y utiliza un decodificador de píxeles fijos; Castañeda Garcia et al. [7] ajustan ecuaciones escalares conocidas sin reconstrucción; Krauss et al. [35] aprenden osciladores lineales excitados únicamente mediante canales de presión medidos, cuyos centroides de atención no son puntos materiales generativos. LaGSplat adopta los filtros de Lipschitz de Zhu et al. [81] y utiliza M(q) para acomodar la escala y la curvatura de la carta; cuatro coordenadas latentes superan a la cadena de osciladores de diez dimensiones en el robot neumático de dos segmentos.Fuente: §2.4 · pp. 6–7
  • LaGSplat combina mecánica disipativa latente supervisada por vídeo, primitivas gaussianas móviles explícitas y fuerzas interactivas, centrándose en el sistema filmado en lugar de la transferencia sin ejemplos.Los ejes de las primitivas representan el mismo estado regido por la ecuación de movimiento, lo que acopla los puntos de aplicación de las fuerzas con las coordenadas integradas. Wang et al. [69] también permiten aplicar fuerzas, pero ajustan una dinámica prescrita de cuerpos rígidos con poses predefinidas en lugar de descubrir estados latentes para objetos rígidos y deformables.Fuente: §2.4 · p. 7

3 Método

LaGSplat aprende una carta latente continua con un autocodificador de Gaussian splatting y después la congela para ajustar una dinámica lagrangiana disipativa. La cinemática del decodificador transforma fuerzas del usuario no vistas en fuerzas generalizadas latentes; una medición de calibración permite establecer la escala física de las fuerzas.

3.1 Planteamiento del problema y descripción general

  • Un estado latente no supervisado sirve tanto de coordenada generalizada como de condición de renderizado; el entrenamiento de la apariencia precede al ajuste de la dinámica sobre la carta congelada.La etapa 1 ajusta conjuntamente el codificador y el decodificador de Gaussian splatting; la etapa 2 congela ambos, codifica el vídeo una sola vez y ajusta el lagrangiano latente y la disipación.Fuente: §3.1 · p. 7

3.2 Etapa 1: Autocodificador y carta latente

  • Los filtros del codificador con restricciones de Lipschitz preservan la continuidad temporal, mientras que el blanqueo y una métrica de visibilidad derivada del decodificador tienen en cuenta la observabilidad desigual entre direcciones latentes.El regularizador de continuidad sigue a Zhu et al. [81]; la dimensión latente se obtiene de los grados de libertad físicos conocidos o de la menor dimensión que logra una reconstrucción casi perfecta. Los estados codificados congelados se blanquean para tener media cero y covarianza identidad, mientras que la métrica inducida por la métrica de imagen, promediada sobre la trayectoria, pondera el ajuste de la dinámica y los errores reportados.Fuente: §3.2 · pp. 7–8
  • Los splats gaussianos condicionados por el estado almacenan una sola vez los estados revisitados y renderizan trayectorias con condiciones iniciales o fuerzas aplicadas no vistas.El condicionamiento desplaza los centros de forma afín, mantiene la covarianza condicional independiente del estado y suprime las primitivas distantes en el espacio latente; el entrenamiento fotométrico incluye penalizaciones de continuidad y de la relación de aspecto de los elipsoides. La salida directa en 2D utiliza supervisión monocular, mientras que el renderizado 3D desde vistas nuevas requiere supervisión multivista, sintetizada en los experimentos mediante SHARP [51].Fuente: §3.2 · p. 8

3.3 Etapa 2: Dinámica lagrangiana latente

  • La inercia y el amortiguamiento aprendidos, ambos definidos positivos, acompañan a un potencial convexo o invexo, lo que permite cartas latentes curvas y contornos de energía no convexos manteniendo un único equilibrio.El lagrangiano separa la energía cinética de la potencial; la masa aprendida absorbe la geometría de la carta, mientras que una alternativa sin parámetros basada en el jacobiano del decodificador supone una inercia visible distribuida uniformemente. Los resultados reportados usan la masa aprendida. Una Input-Convex Neural Network [2] modela cuencas convexas; su composición con un difeomorfismo aprendido produce un potencial invexo [65], mientras que varios pozos requerirían una variante localmente convexa [30].Fuente: §3.3 · p. 9
  • Una cota inferior positiva del amortiguamiento garantiza respuestas libres acotadas y convergentes, mientras que las funciones cóncavas de volumen de las cámaras preservan un único equilibrio estable bajo presiones neumáticas no negativas.Estas propiedades de estabilidad se cumplen antes del entrenamiento; la dinámica libre converge al mínimo del potencial y, bajo una carga mantenida, al equilibrio correspondiente. Las presiones medidas en las cámaras entran como fuerzas generalizadas mediante las derivadas de la función que relaciona el estado latente con el volumen de las cámaras.Fuente: §3.3 · p. 9
  • El entrenamiento de la dinámica minimiza el error de predicción a un paso ponderado por visibilidad, pero la selección del modelo usa el error de simulación de varios pasos para abordar la limitación del teacher forcing a largo plazo.Un paso diferenciable de velocity-Verlet predice el siguiente estado codificado; la ponderación mediante la métrica del decodificador aproxima el error de imagen sin rasterización. Una cota inferior isótropa limita la razón de ponderación a 1/ρ, evitando que las direcciones apenas visibles y potencialmente rígidas queden sin restricciones.Fuente: §3.3 · p. 9

3.4 Interacción e inferencia

  • Los jacobianos de los centros gaussianos transforman fuerzas del usuario no vistas en fuerzas generalizadas latentes, con una combinación de contactos vecinos y una medición para calibrar la escala física de las fuerzas.La cinemática afín de cada primitiva proporciona un jacobiano constante, por lo que la transformación de fuerzas cuesta O(nd) sin diferenciar la red durante la inferencia. El vídeo determina la dirección y la forma de la respuesta, pero una ambigüedad global en la escala de energía exige una medición conocida de fuerza y respuesta.Fuente: §3.4 · p. 10
  • La dinámica a 30 o 60 Hz y el renderizado a más de 80 fps en una GPU de 16 GB permiten interactuar con trayectorias modificadas por fuerzas y propiedades físicas editables.Uno o dos fotogramas inicializan el estado y la velocidad; con un solo fotograma se supone una velocidad inicial nula. La integración simpléctica limita la deriva energética en simulaciones largas [9]. El renderizado se ejecuta independientemente de la dinámica, y escalar D, T o V modifica el amortiguamiento, la inercia o el potencial efectivo.Fuente: §3.4 · p. 10

4 Experimentos

Los experimentos evalúan la recuperación de frecuencias naturales, la precisión predictiva en robots blandos, el movimiento disipativo a largo plazo y las respuestas interactivas a fuerzas aplicadas de LaGSplat. Sin valores de referencia de las fuerzas, las pruebas interactivas examinan la deformación de robots blandos y las respuestas 3D de un balancín dependientes de la dirección, regidas por la cinemática aprendida de las gaussianas.

4.1 Protocolo

  • Los experimentos ajustan la dinámica sobre cartas latentes fotométricas congeladas para sistemas reales con d = 1–4, sin anotaciones de estado, fuerza ni par.Los casos abarcan osciladores rígidos, una bolsa colgante y robots blandos accionados por presión [35]; las dimensionalidades de los sistemas no rígidos se eligen empíricamente, y solo el balancín recibe supervisión 3D multivista. Las predicciones sin reanclaje se evalúan mediante el error de frecuencia, el NRMSE latente ponderado por visibilidad y el error de imagen respecto al mínimo del autocodificador; los errores latentes y de imagen se promedian sobre dos períodos naturales.Fuente: §4.1 · pp. 10–11

4.2 Resultados por caso de prueba

  • El error de frecuencia natural se mantiene en 1–6% en todos los sistemas salvo el robot de un segmento, cuyo modo natural no excitado produce un error del 31.4%.Incluso pequeños errores de frecuencia y amortiguamiento acumulan desfase: el error latente de la bolsa colgante aumenta de 0.150 en dos períodos a 0.396 en siete. El péndulo doble alcanza un error latente de 0.947 en dos períodos y de 1.544 en toda la secuencia, lo que revela las limitaciones de identificar movimiento caótico a partir de 211 fotogramas de entrenamiento.Fuente: Table 2 · p. 11, §4.2 · pp. 11–12

4.3 Qué aporta el prior lagrangiano

  • En GaussianPrediction persiste el 53% de la amplitud inicial tras 1000 segundos, mientras que LaGSplat alcanza en decenas de segundos el equilibrio estable impuesto por su estructura.No obstante, GaussianPrediction supera a LaGSplat en PSNR de prueba por 2.0 dB y logra un error de frecuencia del 0.9% frente al 1.2% de LaGSplat; sus fotogramas a largo plazo mantienen la coherencia visual y permanecen dentro del rango latente observado. Ambos subestiman el coeficiente de disipación durante el intervalo filmado: LaGSplat en un 29% y GaussianPrediction en un 60%.Fuente: Table 3 · p. 12, §4.3 · p. 12

4.4 Robot blando real accionado

  • Solo LaGSplat admite fuerzas aplicadas en cualquier punto de la imagen; Osc. + ABCD permite d/2 ubicaciones, mientras que los métodos de referencia de Koopman no admiten fuerzas mecánicas.Los decodificadores deconvolucionales no proporcionan posiciones de aplicación, y solo la dinámica de osciladores convierte mecánicamente las fuerzas latentes en aceleración; por ello, el otro método de referencia basado en osciladores solo admite fuerzas en coordenadas latentes. Las comparaciones con robots conservan el protocolo publicado de 32 × 32, 60 fps y división contigua 80/20, utilizando las presiones medidas mediante una actuación aprendida dependiente de la configuración y los errores publicados de los métodos de referencia sobre 30 pasos y 50 trayectorias de validación.Fuente: §4.4 · pp. 13–14
  • Un MSE por píxel de 0.769 × 10^-3 convierte a LaGSplat en el predictor más preciso del robot blando de dos segmentos durante el horizonte de evaluación de 0.5 segundos.Esta mediana sobre cinco semillas utiliza d = 4 frente a d = 10 de los métodos de referencia, y mejora respecto a Osc. + ABCD, Osc. + deconv, Koopman + deconv y Koopman + ABCD por factores de 8.5, 30, 7.4 y 1.28, respectivamente. El último margen es estrecho; en el robot de un segmento débilmente excitado, LaGSplat queda en último lugar y la inercia es difícil de identificar.Fuente: Table 4 · p. 14, §4.4 · p. 14
  • En el robot de dos segmentos, la inercia inducida por el decodificador obtiene 1.33 × 10^-3 en 0.5 segundos frente a 0.769 × 10^-3 de la inercia aprendida, pero supera a tres de los cuatro métodos de referencia.La inercia sin parámetros, derivada del jacobiano del decodificador, supone una densidad uniforme; la comparación mantiene fijos el autocodificador, la carta latente, la función objetivo y la configuración, mientras reentrena los demás términos. El error de frecuencia es del 6.9% frente al 5.7% de la inercia aprendida, mientras que la inercia constante alcanza 4.8 × 10^-3 en este caso de prueba.Fuente: §4.4 · p. 14

4.5 Aplicación de fuerzas

  • Las fuerzas en la imagen no vistas durante el entrenamiento se incorporan a la dinámica aprendida mediante J(q)^T f sin reentrenamiento, combinándose con la actuación por presión y preservando las respuestas renderizadas ante cambios de coordenadas latentes.El transporte suma las contribuciones del jacobiano de cada primitiva situada bajo el punto de clic, utilizando la cinemática ya fijada por el entrenamiento con vídeo. Como no se dispone de valores de referencia de las fuerzas ni de una calibración absoluta de la energía, los experimentos examinan cocientes, signos y sumas de las respuestas de equilibrio que son invariantes respecto a la escala de energía no identificada.Fuente: §4.5 · p. 15
  • Un error relativo de 8 × 10^-8 respalda la superposición de fuerzas en el balancín, junto con el escalado según el brazo de palanca, la inversión de signo y una respuesta despreciable del fondo.Fuerzas iguales producen desplazamientos latentes de -0.50, -0.76 y -0.84 al aumentar el brazo de palanca, y después de +1.22 al otro lado del centro de rotación; los clics en el fondo producen desplazamientos absolutos ≤ 0.007 sin segmentación. En el robot deformable, ambos segmentos responden a fuerzas hacia la izquierda o la derecha, y cargar solo el primero también flexiona el segundo, aunque la figura no permite distinguir entre las posibles explicaciones.Fuente: §4.5 · p. 15
  • Las respuestas a fuerzas dentro de los segmentos y entre ellos surgen únicamente de la cinemática aprendida, sin conocimiento explícito de los segmentos, porque los usuarios aplican fuerzas a gaussianas seleccionadas.Cuantificar el error de deformación requeriría registrar respuestas a fuerzas puntuales conocidas, algo que ninguno de los sistemas disponibles proporciona.Fuente: §4.5 · p. 16
  • El robot blando de dos segmentos de Krauss et al. [35] se flexiona bajo fuerzas laterales y se estira o acorta bajo fuerzas axiales, conservando en gran medida la simetría izquierda-derecha.Las fuerzas opuestas en la unión y el extremo flexionan el segundo segmento, mientras que el primero se desvía aproximadamente una cuarta parte de lo que lo hace bajo la fuerza en la unión por sí sola, y en sentido contrario. La gravedad impide interpretar esta respuesta como equilibrio estático.Fuente: Figure 9 · p. 16, §4.5 · p. 16
  • Las vistas sintéticas de SHARP supervisan el decodificador 3D; al hacer clic, se lanza un rayo hasta la primera gaussiana intersectada, donde se aplica una fuerza en coordenadas del mundo.La supervisión utiliza vistas renderizadas de fotogramas reconstruidos en el espacio tridimensional, en lugar de capturas reales con varias cámaras.Fuente: §4.5 · p. 16
  • El cambio de estado latente es inferior a 3 × 10^-9 bajo una fuerza 3D ortogonal, mientras que una fuerza vertical de igual magnitud produce un equilibrio q = +1.52.En el balancín de un solo grado de libertad, la fuerza ortogonal produce J^T f = -3.1 × 10^-17, prácticamente cero independientemente de la magnitud de la fuerza.Fuente: §4.5 · pp. 16–17, Figure 10 · p. 17

5 Discusión

La discusión de LaGSplat identifica limitaciones en sus supuestos dinámicos, la cobertura de los vídeos, la validación de fuerzas y las decisiones de modelado, y plantea extensiones hacia una física más compleja, el acoplamiento con simuladores, el control y el aprendizaje entre sistemas.

Limitaciones

  • El prior lagrangiano restringe LaGSplat a pocas coordenadas, una cinemática suave y dinámicas disipativas autónomas o accionadas por entradas medidas.La dinámica implementada excluye el contacto, los impactos, los cambios de topología, la plasticidad y la histéresis, aunque un predictor de movimiento no estructurado puede abarcar estos comportamientos. Otras ecuaciones de evolución de baja dimensión solo podrían conservar la interacción si admiten el esfuerzo generalizado J^T f; existen formulaciones adecuadas para el contacto y la plasticidad, pero ninguna está implementada.Fuente: §5 · p. 17

Observabilidad, cobertura y diseño de la excitación

  • El aprendizaje a partir de vídeo requiere estados observables y suficientemente excitados, así como grabaciones cada vez más extensas al crecer el espacio de estados latentes.El desplazamiento fuera del plano requiere múltiples vistas reales, y el movimiento no observado sigue sin estar disponible: el balancín no puede volcar ante un empuje fuerte porque su vídeo nunca excita ese movimiento. Las gaussianas deben cubrir todos los estados alcanzables para poder renderizarlos, mientras que los fotogramas deben muestrear densamente esa región para identificar la dinámica; diseñar entradas o liberaciones que produzcan una excitación persistente podría mejorar la cobertura.Fuente: §5 · pp. 17–18

Limitaciones y fuerzas medidas

  • El mecanismo de fuerzas carece de validación con fuerzas medidas, aunque bastaría medir un empuje para determinar la escala energética kappa de todo el modelo.Las pruebas existentes comprueban propiedades del jacobiano invariantes respecto a kappa; PokeFlex [54] proporciona interacciones registradas, pero permitiría evaluar el equilibrio cuasiestático, no la dinámica forzada. La validación requiere un punto de vista monocular fijo, pocos grados de libertad y registros de las fuerzas y los puntos de contacto; enmascarar las manos y utilizar guantes instrumentados podría proporcionar grabaciones de manipulación humana.Fuente: §5 · pp. 17–18

Supuestos de densidad y separación de materiales

  • Las primitivas de densidad uniforme pueden estimar mal la inercia y asignar erróneamente masa y respuesta a fuerzas a las sombras en movimiento.El error de inercia solo se midió en un sistema, donde fue pequeño; los objetos cuyos materiales tengan densidades muy distintas podrían comportarse de otra manera. La predicción de materiales a partir de la apariencia, siguiendo a Le et al. [37] y Lin et al. [45], podría determinar las densidades relativas de las primitivas, pero no kappa, mientras que la segmentación de objetos y sombras excluiría las sombras de los cálculos tanto de masa como de fuerzas.Fuente: §5 · pp. 17–19

Entrenamiento y dimensión latente

  • En LaGSplat aún no se ha comparado el ajuste secuencial con el entrenamiento conjunto, mientras que la dimensión latente se elige manualmente y puede sobreestimarse.Friedl et al. [14] señalan una ventaja de un orden de magnitud en la predicción decodificada con entrenamiento conjunto, mientras que Zhu et al. [81] superan las combinaciones estándar entrenadas conjuntamente mediante una representación latente continua y un codificador congelado; las diferencias entre sus codificadores y entre el uso de estados simulados y de vídeo dejan sin resolver qué opción conviene a LaGSplat. La dimensión se selecciona a partir de la física o de un punto de inflexión del error de reconstrucción, aunque Chen et al. [8] observan una degradación de la reconstrucción antes de que el espacio latente alcance la dimensión mínima del estado.Fuente: §5 · p. 18

Contacto, impactos, plasticidad e histéresis

  • El contacto y los impactos requieren una geometría de colisión compatible, mientras que la plasticidad y la histéresis requieren un estado dependiente de la historia que el codificador actual por fotograma no proporciona.Un modelo diferenciable de contacto latente [80] podría transportar los impulsos de las primitivas mediante J^T, a diferencia del pincel de fuerzas actual, que opera sobre estados continuos; Wang et al. [69] proporcionan geometría de colisión gaussiana, pero sigue sin resolverse cómo preservar las covarianzas anisótropas de LaGSplat. La plasticidad podría incorporar variables internas, energía libre y disipación siguiendo a Masi y Stefanou, lo que aumentaría la dimensión y requeriría ventanas de fotogramas; los modelos recurrentes supervisados mediante respuestas ofrecen una vía cuando no se observan las variables internas microscópicas.Fuente: §5 · p. 18

Acoplamiento con simuladores, control y múltiples sistemas

  • Las extensiones propuestas incluyen el acoplamiento con simuladores, el control basado en modelos, las dinámicas independientes de múltiples objetos y los sistemas articulados o con restricciones explícitas.Las reacciones del simulador podrían incorporarse mediante J^T, mientras que las primitivas aportarían la geometría de colisión sin reentrenamiento; la masa, la disipación, el potencial y el accionamiento identificados podrían facilitar el control de robots blandos sin encóderes articulares [34] [48]. Los objetos independientes deberían tener bloques de coordenadas desacoplados y superar una prueba que verifique que un empuje solo afecta al objeto correspondiente, pero las pérdidas actuales no favorecen esa estructura y el espacio de estados producto aumenta las exigencias de cobertura; las redes de grafos lagrangianas [6] podrían permitir la articulación, mientras que actualmente no se imponen restricciones explícitas [13] para admitir topologías de restricciones desconocidas.Fuente: §5 · pp. 18–19

Priors entre sistemas y cartas compartidas

  • Los priors cinemáticos y dinámicos entre sistemas podrían reducir las necesidades de grabación, pero requieren coordenadas latentes con funciones coherentes entre sistemas.Los priors sobre cinemática, masa, potencial y disipación podrían permitir vídeos de identificación más cortos, en la línea de [17] [73]; el transporte de fuerzas invariante respecto a las coordenadas permite un espacio compartido, pero no alinea por sí solo los significados de las coordenadas. NeuROK [17] aprende un codificador compartido, mientras que DINOv2 [55] congelado o los codificadores de vídeo de tipo JEPA [71] podrían eliminar el entrenamiento de un codificador por escena, siempre que sus características distingan los pocos grados de libertad responsables del movimiento.Fuente: §5 · p. 18

6 Conclusión

LaGSplat aprende un estado físico de baja dimensión directamente del vídeo y utiliza los jacobianos del decodificador para aplicar fuerzas no vistas sin reentrenamiento. Su hipótesis a priori lagrangiana restringe su aplicabilidad, pero produce respuestas acotadas y físicamente plausibles.

6 Conclusión

  • Un único estado de baja dimensión sustituye la parametrización temporal y sirve tanto de coordenadas del lagrangiano disipativo como de variable de condicionamiento de un decodificador de puntos móviles explícitos.El estado no recibe supervisión directa: el vídeo es la única fuente de señal de entrenamiento.Fuente: §6 · p. 19
  • Cuatro coordenadas bastan para que LaGSplat supere las cuatro alternativas en el robot continuo blando de dos segmentos de Krauss et al. [35]; los métodos de referencia publicados utilizan diez.La evaluación utiliza los datos, la partición y el protocolo de los autores. Una inercia derivada de la cinemática del decodificador, sin parámetros libres, también supera a tres de los modelos comparados.Fuente: §6 · p. 19
  • En siete sistemas reales con entre uno y cuatro grados de libertad, las frecuencias naturales aprendidas difieren de las observadas en vídeo en apenas un pequeño porcentaje, siempre que las grabaciones las exciten.Fuente: §6 · p. 19
  • Mil segundos después, GaussianPrediction sigue orbitando, mientras que LaGSplat alcanza un equilibrio estable nunca mostrado durante el entrenamiento.GaussianPrediction es un predictor de movimiento sin estructura mecánica.Fuente: §6 · p. 19
  • Las fuerzas no vistas se incorporan a las ecuaciones aprendidas mediante los jacobianos del decodificador, sin reentrenamiento y pese a no haberse aplicado fuerzas durante el entrenamiento.Las fuerzas pueden actuar en cualquier punto de la imagen o del volumen reconstruido con supervisión multivista. La cinemática determina su dirección y su forma, pero la amplitud solo es identificable salvo un factor global de energía.Fuente: §6 · p. 19
  • La hipótesis a priori lagrangiana restringe la clase de sistemas admitidos a cambio de respuestas acotadas y físicamente plausibles ante fuerzas no vistas.Fuente: §6 · p. 19

A Derivaciones

Este apéndice deduce cómo la cinemática aprendida transporta las fuerzas y la inercia, así como el balance de energía que sustenta la observación sobre la respuesta acotada.

A.1

  • En Section A.1 se deduce cómo la cinemática aprendida transporta las fuerzas y la inercia.Fuente: A Derivations · p. 19

A.2

  • En Section A.2 se deduce el balance de energía que sustenta la observación sobre la respuesta acotada.Fuente: A Derivations · p. 19

A Derivaciones

A.1 Fuerzas e inercia a partir de la cinemática aprendida

La cinemática aprendida de las primitivas determina tanto las fuerzas generalizadas como la energía cinética. El transporte de fuerzas preserva el trabajo virtual independientemente de la carta de coordenadas latentes, mientras que la ponderación por presencia hace que la inercia dependa de la configuración.

Transporte de una fuerza

  • Las fuerzas aplicadas se transforman mediante el jacobiano cinemático aprendido en fuerzas generalizadas latentes unívocas que preservan el trabajo virtual y respetan el balance energético del modelo.La etapa 1 aprende una aplicación afín de posición para cada primitiva, análoga a las posiciones de las partículas en mecánica analítica. Una fuerza f sobre la primitiva i se convierte en J_i^T f.Fuente: §A.1 · p. 19

Invariancia respecto a la carta latente

  • La respuesta a una fuerza del usuario es invariante ante cambios suaves de coordenadas latentes, aunque estas coordenadas carezcan de significado físico intrínseco.Bajo q = ψ(q̃), el jacobiano pasa a ser J_i Ψ y la fuerza generalizada se transforma como Ψ^T f_lat, preservando el trabajo respecto al desplazamiento virtual transformado.Fuente: §A.1 · p. 19

La misma aplicación determina la inercia

  • Las masas iguales de las primitivas, ponderadas por la opacidad latente normalizada, inducen una matriz de masas dependiente de la configuración y términos de Coriolis, aunque los jacobianos cinemáticos sean constantes.Las velocidades de las primitivas satisfacen μ̇_i = J_i q̇, por lo que la energía cinética se obtiene de las aplicaciones de posición aprendidas. Toda la dependencia de la matriz de masas respecto al estado proviene de los pesos de presencia.Fuente: §A.1 · pp. 19–20

A.2 Respuesta forzada acotada

Con una inercia definida positiva, un potencial coercivo y un amortiguamiento estrictamente positivo, las respuestas de LaGSplat, tanto libres como bajo una fuerza constante, permanecen acotadas y convergen a estados de equilibrio. Estas garantías en tiempo continuo no aseguran precisión cuantitativa lejos de los datos de entrenamiento.

Hipótesis

  • Las garantías requieren una inercia definida positiva, un potencial coercivo impuesto mediante una cota inferior cuadrática y una cota inferior uniformemente positiva del amortiguamiento.Sin coercividad, la energía podría disminuir mientras sus conjuntos de subnivel siguieran siendo no acotados, permitiendo que la posición derivase sin límite.Fuente: §A.2 · p. 20

Evolución libre

  • Toda trayectoria libre permanece acotada y converge al único mínimo del potencial, lo que descarta oscilaciones sostenidas independientemente del entrenamiento.La energía disminuye fuera del reposo, y el principio de invariancia de LaSalle establece la convergencia a una velocidad nula y a un punto estacionario del potencial. Tanto la convexidad fuerte del potencial ICNN con cota inferior como la construcción invexa garantizan un mínimo único.Fuente: §A.2 · p. 20

Fuerza sostenida

  • Una fuerza generalizada constante produce una respuesta acotada que converge a un equilibrio bajo carga que satisface ∂V/∂q = f.La energía bajo carga E_f = T + V − f^T q cancela la potencia inyectada; la cota inferior cuadrática del potencial domina el término de carga lineal, preservando la coercividad.Fuente: §A.2 · p. 20

Alcance

  • Las garantías se refieren al tiempo continuo; la integración simpléctica limita la deriva en evoluciones discretas prolongadas, pero la acotación no implica precisión cuantitativa lejos de los datos de entrenamiento.Fuente: §A.2 · p. 20

B Decodificador de campos de deformación con el mismo presupuesto

Con el mismo número de primitivas y las mismas condiciones de entrenamiento, el decodificador de campos de deformación usa más parámetros, pero reconstruye los fotogramas de ajuste con menor precisión que LaGSplat. Sus velocidades menos suaves muestran que unas renderizaciones visualmente similares no garantizan derivadas útiles para la transferencia de fuerzas y la inercia.

Parametrización del decodificador

  • LaGSplat condiciona las primitivas en un volumen (n+d)D para obtener posiciones afines y jacobianos constantes; la alternativa deforma primitivas n-D mediante una red siguiendo a Wu et al..La familia de campos de deformación incluye la parametrización de LaGSplat y puede representar trayectorias curvas de las primitivas, pero esta libertad adicional no mejora la calidad de imagen en este experimento.Fuente: B Deformation-Field Decoder at Equal… · p. 20

Seguimiento del material

  • El seguimiento del material no es supervisado: las restricciones de trayectoria de LaGSplat favorecen que las primitivas sigan la materia, mientras que los campos de deformación permiten que unas primitivas sustituyan a otras sin penalización en la renderización.Las primitivas visibles de LaGSplat se desplazan por rectas fijas en q, mientras que un mecanismo de activación latente las hace aparecer y desaparecer gradualmente. Los centros y las extensiones de los campos de deformación varían libremente, permitiendo que una primitiva se reduzca por debajo de un píxel mientras otra crece en su lugar.Fuente: B Deformation-Field Decoder at Equal… · p. 20

Reconstrucción

  • Los valores de 0.0157 L1 y 0.076 en el término SSIM del campo de deformación superan los de 0.0142 L1 y 0.063 en el término SSIM de LaGSplat en los fotogramas de ajuste.Ambos usan 15,000 primitivas y las mismas funciones de pérdida, regularizadores, optimizadores y pautas de entrenamiento; el campo de deformación tiene 9.8M parámetros frente a los 195k de LaGSplat. La evaluación mide la capacidad empleada, no la generalización.Fuente: B Deformation-Field Decoder at Equal… · p. 20

El campo de jacobianos

  • La mediana de la diferencia de velocidad entre primitivas vecinas es de 6.9 px/s para el campo de deformación, frente a 1.4 px/s para LaGSplat, pese a sus renderizaciones visualmente similares.El campo de deformación también desplaza primitivas sobre el fondo estático. Estas derivadas determinan tanto la transformación de las fuerzas aplicadas a coordenadas latentes como la inercia inferida, por lo que la calidad de reconstrucción por sí sola no demuestra su utilidad física.Fuente: B Deformation-Field Decoder at Equal… · pp. 20–21, Figure 11 · p. 21

C Detalles de implementación

LaGSplat utiliza las mismas arquitecturas en todos los sistemas, con dimensiones, resoluciones de imagen, cantidades de primitivas y duraciones de ejecución específicas para cada sistema. Primero se entrenan conjuntamente el codificador y el decodificador; después, se ajusta la dinámica sobre una carta latente blanqueada y fija.

Arquitecturas

  • Todos los sistemas comparten arquitecturas, mientras que la dimensión latente, la resolución de imagen, la cantidad de primitivas y la duración de ejecución varían según el sistema.El codificador convolucional que preserva la continuidad [81] utiliza tres convoluciones de paso 2 con filtros de 12×12, dos canales y activaciones ELU, seguidas de pooling medio de 4×4 y una transformación lineal al espacio latente, con unos 2,000 parámetros en total. El decodificador contiene 1,000–15,000 gaussianas de dimensión n + d.Fuente: C Implementation Details · p. 21
  • Menos de 15,000 parámetros definen la LNN, que combina una ICNN de potencial [2], matrices de masa y amortiguamiento aprendidas y cabezales de accionamiento específicos para cada cámara.El potencial utiliza capas softplus [64] y, cuando se requiere invexidad, una i-ResNet de dos bloques de anchura 64 con una cota de Lipschitz de 0.9. Dos MLP independientes [64] generan el factor de Cholesky de la matriz de masa con una cota inferior SPD de 0.1 y la matriz completa de amortiguamiento, inicializada en 0.2 I con una cota inferior isótropa de 1; cada cámara tiene un cabezal de accionamiento ICNN invexo.Fuente: C Implementation Details · p. 21

Entrenamiento

  • Unos 5 × 10^4 pasos de Adam entrenan conjuntamente el codificador y el decodificador en la etapa 1, con reciclaje periódico de gaussianas de baja opacidad.La función de pérdida es 0.08 L1 + 0.02 (1 − SSIM) + 0.01 anisotropía, con una ventana SSIM de 7×7; las gaussianas cuya opacidad máxima es inferior a 0.02 se reciclan dividiendo primitivas sobrecargadas a lo largo del autovector principal de su covarianza o trasladándolas a regiones de alto error. Con supervisión multivista, se calculan una sola vez 65 renderizados de SHARP por fotograma y se almacenan en caché.Fuente: C Implementation Details · p. 21
  • Unos 5 × 10^4 pasos de Adam entrenan únicamente la dinámica en la etapa 2 mediante un paso de Verlet diferenciable sobre ventanas de fragmentos de vídeo.Tras la etapa 1, se calcula un blanqueamiento latente basado en la covarianza a partir de los fotogramas de entrenamiento y se fija junto con la carta; la etapa 2 pondera por igual la posición y la velocidad latentes en la métrica de visibilidad, con regularización ridge ρ = 0.01. Para renderizar en alta resolución, se reentrena únicamente el decodificador sobre la carta fija.Fuente: C Implementation Details · p. 21

Related papers

Loading 2608.16324v1…