Nova

Amazon Nova 是一种新一代的多模态理解和创意内容生成模型,提供最先进的质量、无与伦比的定制化和最佳的价格性能。Amazon Nova 模型采用与所有 AWS 服务相同的安全设计方法,内置了安全和负责任使用 AI 的控制措施。

Amazon Nova 有两类模型:

  • 理解模型 - 这些模型能够对包括文本、视频和图像在内的多种输入模态进行推理,并输出文本。
  • 创意内容生成模型 - 这些模型根据文本或图像提示生成图像或视频。

media/model_intro.png

多模态理解模型, 它是一系列能够对包括文本、视频、文档和图像在内的多种输入模态进行推理并输出文本的模型。我们可以通过 Bedrock Converse APIInvokeModel API 访问这些模型。

  • Amazon Nova Micro: 闪电般快速、成本效益的纯文本模型。针对大规模、对延迟敏感的部署进行了优化,如对话界面、聊天和高容量任务,如分类、实体提取和文档摘要。
  • Amazon Nova Lite: 行业内最快、最实惠的多模态 FM。在智能性、延迟和成本效益之间达到了平衡。它针对需要低延迟(最小延迟)的复杂场景进行了优化,例如需要同时协调多个工具调用的交互式代理。Amazon Nova Lite 支持图像、视频和文本输入,并输出文本。
  • Amazon Nova Pro: 行业内最快、最实惠的最先进多模态模型。专为需要高级推理、创造力和代码生成的高度复杂用例而设计。Amazon Nova Pro 支持图像、视频和文本输入,并输出文本。

创意内容生成模型

  • Amazon Nova Canvas: 图像生成模型
  • Amazon Nova Reel: 视频生成模型

Nova Canvas

Nova Canvas 是一个图像生成和编辑模型。使用 Nova Canvas 模型,我们可以通过使用文本提示生成逼真、工作室品质的图像。

我们可以将亚马逊 Nova Canvas 用于文本到图像和图像编辑应用程序。支持的功能包括:

  • 文本到图像
  • 修补
  • 图像条件化
  • 颜色条件化
  • 调整大小
  • 背景移除

文本到图像流程:

图像编辑流程:

对于艺术家、设计师和内容创作者来说,图像生成是一项繁琐的任务,他们借助图像来表达自己的想法。借助基础模型(FMs),这项繁琐的任务可以简化为只需一行文本就能表达艺术家的想法,FMs可用于从语言提示中创造各种主题、环境和场景的逼真和艺术图像。

Amazon Nova Canvas是一款图像生成和编辑模型。它使用户能够以多种方式生成和编辑图像。用户只需输入自然语言提示,就可以创造出与文本描述相匹配的图像。此外,他们还可以上传和编辑现有图像,包括在不需要遮罩的情况下应用基于文本的提示,或使用图像遮罩编辑图像的特定部分。该模型还支持外部绘画,可扩展图像的边界,以及内部绘画,可填充缺失区域。它提供基于可选文本提示生成图像变体的功能,以及使用参考图像即时自定义样式或组合多个参考样式的功能,无需进行任何微调。

此外,Amazon Nova Canvas允许用户利用参考图像来指导图像生成,输出图像与参考图像的布局和构图保持一致,同时仍然遵循文本提示。它还包括自动背景删除功能,可以在没有任何用户输入的情况下从包含多个对象的图像中删除背景。该模型提供了对生成图像的色彩调色板的精确控制,使用户能够在不需要额外微调的情况下保留品牌的视觉识别。此外,主题一致性功能使用户能够使用参考图像对模型进行微调,以在生成的图像中保留所选主题(例如宠物、鞋子或手袋)。

这一全面的功能套件使用户能够释放自己的创造力,将想象中的愿景变为现实。

Nova Reel

Nova Reel 是一个视频生成模型。使用Nova Reel 模型,我们可以通过使用基于文本和图像的提示生成逼真、工作室级别的视频。

我们可以将亚马逊 Nova Reel 用于各种视频生成应用程序。支持的功能包括:

  • 文本到视频生成
  • 图像到视频生成

文本到视频流程:

图像到视频流程:

开启Nova Model Access

转到 Amazon Bedrock 控制台,在左侧菜单中单击"模型访问”:

在"模型访问"屏幕上,单击右上角的"管理模型访问"按钮:

在模型访问屏幕上,仅选择以下模型,然后单击"请求模型访问"按钮:

  • Amazon
    • Nova Canvas
    • Nova Reel