Meta刚刚发布了SAM 3D，但更有趣的是，他们基本上破解了困扰该领域多年的3D数据瓶颈。 在规模上手动创建或扫描混乱的现实世界的3D真实数据几乎是不可能的。 但如果你让人类对模型输出进行排名呢？将奇怪的边缘案例交给实际的3D艺术家建模，然后再循环回来。突然间，你可以标注大约一百万张图像。 这基本上是3D重建的RLHF。合成数据是预训练，现实世界的排名是对齐。他们借用了整个剧本，而且它确实有效。 两个模型 - 一个用于物体/场景，一个用于人类。他们已经在FB Marketplace上发布了这个功能，这样你就可以在购买之前看看那盏灯或椅子在你的房间里是否合适。 此外，他们将发布所有内容 - 模型、代码、他们的人体骨架，采用商业许可。他们还建立了一套实际混乱的现实世界图像的评估集，以帮助弥合模拟与现实之间的差距。 不过，数据引擎的东西是最有趣的。3D一直被真实数据瓶颈所困扰。如果验证比创建更容易扩展，整个游戏就会突然改变。