0.7MB搞定一帧3D场景！英伟达新AI模型QUEEN AI让自由视角直播成为现实

2024-12-10内容来源AIbase基地

在虚拟现实和流媒体领域，英伟达携手马里兰大学带来了一项突破性进展。这个被命名为QUEEN的AI模型，不仅能让观众在体育赛事中随心所欲地切换观赛视角，更能将每帧3D场景压缩至仅0.7MB大小，同时保持惊人的350帧每秒渲染速度。

这项技术的关键在于其独特的处理方式。传统的3D场景重建往往面临着存储空间过大或画质不佳的两难困境，而QUEEN巧妙地解决了这一问题。它采用智能算法专注于捕捉画面中发生变化的部分，对于保持静态的场景元素则进行重复利用，大大提升了计算效率。

英伟达研究主管沙利尼·德梅洛道出了QUEEN的核心优势:"我们创造了一个完美平衡压缩率、视觉质量、编码时间和渲染速度的解决方案。"这种平衡使得近乎实时的自由视点视频传输成为可能。

在技术层面，QUEEN采用了创新的3D高斯飞溅框架，通过学习连续帧之间的高斯属性残差来实现高质量重建。研究团队还开发了量化稀疏框架，结合了专门的latent-decoder和门控模块，进一步优化了数据存储效率。

这项技术的应用前景令人期待:体育爱好者可以在比赛直播中自由选择观赛角度，音乐会观众能够获得身临其境的虚拟现实体验，远程教学时学习者也可以选择最适合自己的视角来学习烹饪或手工艺等技能。在工业领域，它更可以助力仓库的远程操作管理。

如此快速的渲染速度配合出色的视觉效果，QUEEN正在重新定义流媒体体验的未来。这不仅是技术的进步，更是为数字内容创作者和消费者开启了一个充满可能性的新时代。