NVIDIA Edify 解密 — 一种帮助开发者创建自定义模型的技术 这些模型可基于其数据进行训练

Generative AI by iStock 为工作室和创作者提供了图像生成和修改工具。

编者注:本文属于《解码 AI》系列栏目,该系列的目的是让技术更加简单易懂,从而解密 AI,同时向 NVIDIA RTX PC 和工作站用户展示全新硬件、软件、工具和加速特性。

内容生成器 — 无论是生成语言、2D 图像、3D 模型还是视频 — 为创意社区提供了各种工具,可更快将想象变为现实。

为帮助开发者构建这些新型生成式 AI 工具,NVIDIA 建立了 NVIDIA AI Foundry。它有助于公司使用 NVIDIA Edify 基于自己的已授权数据训练生成式 AI 模型。Edify 是一种多模态 AI 结构,可使用简单的文本提示生成图像、视频、3D 素材、360 度高动态范围成像和基于物理性质的渲染 (PBR) 材质。使用 AI Foundry,公司可以训练定制 AI 模型来生成上述任何素材。

Edify 的关键优势包括能够生成多种类型的内容、其卓越的训练效率 (这便于它在基于更少的图像进行训练时生成高质量内容),及其调优模型以进行风格匹配或学习字符或对象的能力。

基于 NVIDIA AI Foundry 和 Edify 构建的服务范例之一为 Generative AI by Getty Images,一种可商用的生成式摄影服务。组合使用 AI Foundry 与 Edify,用户可以控制他们的训练数据集,从而创建符合其需求的模型。

为避免版权问题,Getty Images 使用 Edify 基于自己的已授权内容对该服务进行了训练,以确保数据集中不存在知名人物或产品。该公司还与贡献者分享部分利润,为对该模型做出贡献的创作者创造了新的收入来源。

使用 Edify 生成资产

可以对 Edify 进行训练,以生成各种图像类型,包括图像、3D 素材和 360 度 HDRi 环境光贴图。

Edify Image 可在约六秒内生成四张高质量 1K 图像,性能比之前的模型提高一倍。还可以通过生成式放大器添加其他细节,将图像转换为 4K 格式。

Getty Images 4K 图像生成使用安全商用创意库在 NVIDIA Edify 上进行训练。

得益于高级提示依从性,图像实现了高度可控,摄像头控制可指定焦距或场景深度,同时 ControlNets 将指导生成。ControlNets 包括 Sketch 和 Depth,前者允许用户提供要依从的草图或复制图像的构图,后者用于复制图像的构图。

也可以使用 Edify Image 来编辑图像。InPaint 允许用户在图像中添加或修改内容。Replace — 一个严格 InPaint — 可以更改衣服等细节。并且 OutPaint 可以扩大图像以匹配不同的宽高比。所有这些操作都可通过 Segment 进行简化,这是一项只需要一条文本提示即可遮罩对象的功能。

Edify 还可以创建艺术家级别的 3D 网格。这些网格采用基于四边形的清晰拓扑、高达 4K 的 PBR 材质和自动 UV 展开,便于更轻松地进行纹理编辑。快速预览模式可在短短 10 秒内提供结果,然后将其转换为完整的 3D 网格。

这类网格非常适合原型设计场景、为布景生成背景对象,或作为 3D 雕刻的开端。

Edify 360 HDRi 将生成自然景观环境图,可将其用于场景照明、反射甚至作为背景。该模型可根据文本或图像提示生成高达 16K 的 HDRi 图像。获得所需背板后,用户就可以创建自定义 HDRi 来进行匹配,而不必花费数小时寻找。

根据文本提示生成高动态范围 360 度全景图。

多模态功能为 Edify 所独有,能够实现组合不同素材类型的高级工作流。例如,与智能体结合使用时,Edify 允许用户在几分钟内使用简单的文本提示进行完整场景原型设计 — 就像在 NVIDIA 研究团队 SIGGRAPH 演示中那样,该演示展示了由 NVIDIA Edify 提供支持的模型和 NVIDIA Omniverse 平台的辅助性 3D 世界构建功能。

另一个用例是将 Edify 3D 和 360 HDRi 与 Image 结合起来使用,以便用户完全控制图像生成过程。通过以 3D 格式生成场景,艺术家可以四处移动物体并设定他们想要的镜头,然后使用 Edify Image 将原型转化为逼真的图像。

Generative AI by Getty Images

Getty Images 是创意视觉效果、编辑摄影、视频和音乐领域的大型内容服务提供商和供应商之一,也是人们最初搜寻、购买和分享来自世界上的优秀摄影师和录像师的精彩视觉内容的地方之一。

Getty Images 使用 NVIDIA AI Foundry 来训练 NVIDIA Edify Image 模型,以支持其生成式 AI 服务。该服务通过面向企业的 Generative AI by Getty Images 以及面向小型企业和业余创作者的 Generative AI by iStock 提供,允许用户使用由 NVIDIA Edify 提供支持的模型来生成和修改图像。

Generative AI by Getty Images(或 iStock)提供了一系列已授权内容。

Getty Images 和 iStock 最近已更新到最新版本的 Edify Image,以便更快生成内容,实现更高的提示依从性并公布摄像头控制。

已更新 Generative AI by Getty Images 中的摄像头控制。

用户现在还可以在预拍创意内容时使用生成式 AI 工具,这便于他们编辑和修改 iStock 的视觉效果库,以快速迭代和美化内容。这些相同的功能将于不久后在 Gettyimages.com 上发布。

请在 ai.nvidia.com 上试用 Generative AI by Getty Images。

请订阅《解码 AI》时事通讯,我们每周都会将新鲜资讯直接投递到您的收件箱。

###