Algunas de las tecnologías detrás de SAM 3D que me entusiasman especialmente: 1⃣ Los conjuntos de datos 3D existentes (Objaverse-XL, ProcTHOR, etc.) son geniales para enseñar "priors 3D" (forma y apariencia básicas). Pero no son suficientes para cerrar completamente la brecha con el mundo real, donde las escenas están saturadas, los objetos están ocultos, son pequeños y en general desordenados. 2⃣Aquí entra nuestro motor de datos 3D model-in-the-loop: modelo ➜ predice 3D a partir de imágenes reales ➜ los humanos seleccionan rápidamente a buenos candidatos (solo sí/no) ➜ el 3D verificado vuelve a entrenarse ➜ el modelo mejorado vuelve al bucle. Un ciclo virtuoso que mejora la calidad de la anotación 3D, la velocidad de etiquetado y el rendimiento del modelo, sin necesidad de herramientas 3D ni conocimientos de diseño. 3⃣Los objetivos 3D son complicados: ninguna pérdida diferenciable en forma cerrada captura completamente la "buena 3D" (simetrías, suavidad, completitud). Así que tomamos prestado del manual de los LLM y formamos después con datos de preferencias humanas. Esta alineación apenas se refleja en las métricas (que heredan las mismas limitaciones que las pérdidas), pero mejora drásticamente la calidad percibida de los resultados 3D. Más detalles en el artículo.