「ai」苹果展示新AI系统GAUDI可将文字提示转变成3D场景

原文标题：苹果展示新AI系统GAUDI可将文字提示转变成3D场景

近日，苹果展示了其最新的 AI 系统 GAUDI，是一款基于新一代 NeRFs 的生成式 AI 系统，可以生成 3D 室内场景。

所谓的神经渲染将 AI 带入计算机图形学，例如，英伟达的 AI 研究人员正在展示如何从照片创建 3D 对象，而谷歌则依靠神经辐射场（NeRFs）来实现沉浸式视图或开发 NeRFs 来渲染人物。

到目前为止，NeRFs 主要用作 3D 模型和 3D 场景的一种神经存储介质，然后可以从不同的相机视角进行渲染。这就是经常显示的摄像机在房间或物体周围移动的方式，用于 VR 体验的 NeRF 初步实验也在进行中。

但是，如果 NeRF 从不同角度逼真地渲染图像的能力可以用于生成 AI 呢？OpenAI 的 DALL-E 2 或谷歌的 Imagen 和 Parti 等 AI 系统展示了可控生成 AI 的潜力，但仅限于 2D 图像和图形。

谷歌在 2021 年末通过 Dream Fields 首次展示了 3D AI 生成系统，将 NeRF 生成 3D 视图的能力与 OpenAI 的 CLIP 评估图像内容能力相结合。结果 Dream Fields 生成匹配文本描述的 NeRF。

现在，苹果 AI 团队正在推出 GAUDI，这是一种用于生成沉浸式 3D 场景的神经架构，可以根据文字提示创建 3D 场景。虽然谷歌致力于使用 Dream Fields 生成单个对象，但将生成 AI 扩展到完全不受约束的 3D 场景仍然是一个尚未解决的问题。

造成这种情况的其中一个原因可能是摄像机位置的限制。虽然对于单个对象，每个可能的合理摄像机位置都可以映射到一个圆顶，但在 3D 场景中，这些摄像机位置受到对象和墙壁等障碍物的限制。如果在场景生成期间不考虑这些，则生成的 3D 场景不可用。

苹果的 GAUDI 模型通过三个专门的网络解决了这个问题。其中相机姿态解码器预测可能的相机位置，并确保输出是 3D 场景架构的有效位置；场景解码器通过一种 3D 画布的形式对场景进行预测；而辐射场解码器在其上使用体积渲染方程绘制后续图像。

在对四个不同数据集（包括室内扫描数据集 ARKitScences）的实验中，研究人员表明 GAUDI 可以重建学习视图并匹配现有方法的质量。

苹果还展示了 GAUDI 可以通过 3D 室内场景生成新的摄像机运动。生成可以是随机的，可以从图像开始，也可以由带有文本编码器的文本输入控制。

GAUDI 生成的视频质量仍然很低，并且充满了伪影。但凭借其 AI 系统，苹果正在为可以渲染 3D 对象和场景的生成式 AI 系统奠定另一个基础。一种可能的应用是为苹果的 XR 头显生成数字位置。

热门阅读：同门师兄弟切磋武艺！352空气净化器X83vsY100C<\a>