Nova Canvas - 基于图象的生成

​

我们将使用一个图像的内容和布局来影响新图像的生成，输入图像被称为"条件图像 - conditioning image”。这个功能可以用来更好地控制以下内容:

  • 图像构图
  • 相机角度
  • 主体位置
  • 主体姿态

目前支持两种条件图像控制模式:

  • “CANNY_EDGE” - 这种模式保留了条件图像中物体的突出轮廓。当您希望生成的图像中的物体形状与条件图像中的形状紧密一致时,这种模式最有用。
  • “SEGMENTATION” - 这种模式允许模型更灵活地改变它生成的物体形状,同时仍然产生相同的图像布局。

代码使用下面图像，将下面图版本保存为condition-image-1.png,并放到代码目录。使用prompt*“3d动画电影风格, 一个有着疯狂金发造型的女人, 穿着绿色亮片连衣裙”*：

img 请注意,使用CANNY_EDGE作为控制模式时,它包括边缘定义的细节,如眼镜、背景中垂直线的收敛,并保持了精确的领子形状：

image-20241215102610301

img

使用SEGMENTATION模式时,模型可以更自由地创造性：

img

image-20241215102437403

尝试改变controlStrength、controlMode和text提示。

from random import randint
import json
import base64
import boto3

client = boto3.client(service_name='bedrock-runtime', region_name="us-east-1")

conditioning_image_path = "condition-image-1.png"
with open(conditioning_image_path, "rb") as image_file:
    condition_image = base64.b64encode(image_file.read()).decode("utf8")


inference_params = json.dumps({
    "taskType": "TEXT_IMAGE",
    "textToImageParams": {
        "text": "3d animated film style, a woman with a crazy blond hair style, wearing a green sequin dress",
        "conditionImage": condition_image,
        "controlMode": "SEGMENTATION", # "CANNY_EDGE" or "SEGMENTATION",
        "controlStrength": 0.3  # How closely to match the condition image
    },
    "imageGenerationConfig": {
        "numberOfImages": 1,  # Number of variations to generate. 1 to 5.
        "quality": "standard",  # Allowed values are "standard" and "premium"
        "width": 1280,  # See README for supported output resolutions
        "height": 720,  # See README for supported output resolutions
        "cfgScale": 8.0,  # How closely the prompt will be followed
        "seed": randint(0, 858993459),  # Use a random seed
    },
})

response = client.invoke_model(
    body=inference_params,
    modelId="amazon.nova-canvas-v1:0",
    accept="application/json",
    contentType="application/json",
)

response_body = json.loads(response.get("body").read())  # 读取并解析响应体
base64_image = response_body.get("images")[0]  # 获取返回的 Base64 编码图片数据

# 将 Base64 编码的图片解码为二进制数据
base_64_image = base64.b64decode(base64_image)

# 将解码后的图片保存为文件
file_path = "1.png"
with open(file_path, "wb") as f:
    f.write(base_64_image)

print(f"图片已成功保存为: {file_path}")