智源开源无标注视频学习3D生成模型See3D

2024-12-10内容来源AIbase基地

北京智源人工智能研究院（BAAI）近日宣布推出一款创新的3D生成模型See3D，该模型能够利用大规模无标注的互联网视频进行学习。这一技术突破标志着向“See Video， Get3D”的理念迈进了重要一步。See3D模型不依赖于传统的相机参数，而是采用视觉条件技术，仅通过视频中的视觉线索生成相机方向可控且几何一致的多视角图像。这种方法避免了昂贵的3D或相机标注的需求，能够高效地从互联网视频中学习3D先验。

See3D模型支持从文本、单视图和稀疏视图到3D的生成，并能够进行3D编辑与高斯渲染。该模型、代码和Demo已经开源，供更多的技术细节参考。See3D的效果展示包括解锁3D互动世界、基于稀疏图片的3D重建、开放世界3D生成和基于单视图的3D生成。这些功能使得See3D在多种3D创作应用中展现出广泛的适用性。

电脑版